「1ビットって、何なんですか？」
由紀は葵の説明を聞きながら、ずっと疑問だったことを尋ねた。
「データの最小単位、というのは知ってるよね？」葵が確認する。
「0か1、ですよね」
「それは表現方法の一つ。でも情報理論では、もっと深い意味がある」葵はノートに簡単な図を描いた。「1ビットは、2つの等しく確からしい選択肢から一つを選ぶ情報量だ」
「等しく確からしい？」
「50パーセントずつの確率、という意味。例えば、公平なコインを投げて『表だった』と伝えるメッセージは、ちょうど1ビットの情報を運ぶ」
その時、静かな足音とともに、ミラが部室に入ってきた。交換留学生の彼女は、いつも観察者のように無言で座る。
「ミラ、今日も来てくれたんだ」由紀が微笑む。
ミラは小さく頷き、ノートを取り出した。
葵が続けた。「では、もし由紀に『今日は火曜日です』と伝えたら、何ビットの情報？」
「えっと…7つの曜日から一つを選ぶから…」
「log₂(7)で、約2.8ビット。でも、もし今日が本当に火曜日だと由紀が既に知っていたら？」
「情報量は…ゼロ？」
「正解。情報量は、受信者の不確実性に依存する。これが主観的情報量という概念だ」
ミラがノートに何かを書いて、由紀に見せた。「Surprise = -log₂(p)」
「あ、ミラが式を…」由紀が驚く。
葵が説明を引き継ぐ。「その通り。イベントの確率pが低いほど、起こったときの驚き、つまり情報量は大きくなる」
「だから珍しいニュースほど、情報価値が高い…」由紀が理解する。
「そう。『太陽が東から昇った』というニュースは、確率がほぼ1だから、情報量はほぼゼロ。でも『巨大隕石が接近』なら、確率が低いから情報量は大きい」
ミラが再び書く。「Common events: low information. Rare events: high information.」
「でも」由紀が考え込んだ。「それだと、嘘をついた方が情報量が多くなりませんか？」
葵が感心した表情を見せた。「鋭い指摘だ。だから情報理論では、『真の確率分布』を仮定する。嘘は、受信者の確率モデルを狂わせる攻撃みたいなものだ」
「通信路攻撃」ミラが小さく呟いた。
「ミラは通信理論に詳しいね」葵が言った。
ミラは頷いたが、説明は続けなかった。いつものことだ。
由紀がノートに計算を書き込む。「じゃあ、サイコロを振って『6が出た』と伝えるのは、-log₂(1/6)で…約2.58ビット」
「完璧。それが自己情報量。一方、エントロピーは、その期待値なんだ」
「期待値？」
「全ての起こりうるイベントについて、確率で重み付けした平均情報量。だから、サイコロの全体的な不確実性は約2.58ビットになる」
ミラが静かに立ち上がり、ホワイトボードに書いた。
「H(X) = E[I(X)] = Σ p(x)・(-log₂ p(x))」
「エントロピーは、個々の自己情報量の期待値」葵が補足する。「ミラ、良いまとめだ」
ミラは微かに微笑んだ。
由紀が興奮気味に言った。「つまり、ビットって単なるデータの単位じゃなくて、驚きや不確実性を測る単位なんですね」
「そう。情報理論の美しさは、主観的な『驚き』を客観的な数値に変換できること」
「先輩たちと話すと、いつも新しい驚きがあります」
葵が笑った。「その驚きも、情報量で測れるかもね」
ミラがノートを閉じ、静かに席を立った。去り際、由紀に小さなメモを渡す。
「Next: conditional probability」
「条件付き確率…？」由紀が呟く。
「ミラは、いつも次のステップを示してくれる」葵が言った。「彼女の情報量は、いつも高いんだ」
由紀はメモを大切にしまった。今日もまた、新しい1ビットを得た気がした。