「先輩、質問があります」
由紀は図書室の隅で、葵とミラに話しかけた。
「何？」
「エントロピーは不確実性を測る。でも、何かを知った後の不確実性は？」
葵が微笑んだ。「良い質問。それが条件付きエントロピーだ」
ミラが静かにノートを開き、式を書いた。「H(X|Y) = H(X,Y) - H(Y)」
「H(X|Y)は、Yを知った後のXの不確実性」葵が説明する。
「具体例で教えてください」
「では、天気の例で。今日の天気と明日の天気、二つの変数がある」
葵は表を描いた。
「今日晴れ、明日晴れ: 40パーセント 今日晴れ、明日雨: 10パーセント 今日雨、明日晴れ: 10パーセント 今日雨、明日雨: 40パーセント」
「今日の天気を知らないとき、明日の天気のエントロピーは？」
由紀が計算する。「明日晴れは50パーセント、雨も50パーセントだから、1ビット」
「正解。では、今日が晴れだと知ったとき、明日の天気のエントロピーは？」
「今日晴れなら、明日は40+10=50の中で、晴れが40、雨が10…」
「確率は 40/50=0.8 と 10/50=0.2」
由紀が計算を続ける。「H = -0.8 log₂(0.8) - 0.2 log₂(0.2) ≈ 0.72ビット」
「完璧。今日の天気を知ることで、明日の不確実性が1ビットから0.72ビットに減った」
ミラが書き加えた。「Information gain = 1 - 0.72 = 0.28 bits」
「情報利得。Yを知ることで得られる、Xについての情報量」葵が補足する。
「じゃあ、今日が雨だと知ったときは？」由紀が計算を始める。
「同じように、0.72ビットになる。この場合、対称だから」
「でも、平均すると？」
「H(明日|今日) = 0.5×0.72 + 0.5×0.72 = 0.72ビット。これが条件付きエントロピー」
由紀が驚いた。「今日を知っても、明日の不確実性は0.72ビット残る」
「そう。完全には予測できない。でも、何も知らないより0.28ビット分、確実になった」
ミラが別の図を描いた。二つの円が重なるベン図。
「I(X;Y) = H(X) - H(X|Y)」
「相互情報量。XとYが共有する情報の量だ」葵が説明する。
「共有する情報…」由紀が考え込む。
「XとYが独立なら、相互情報量はゼロ。完全に相関するなら、H(X)と等しい」
「今日と明日の天気は、少し相関している」
「正確。I(今日;明日) = 0.28ビット。弱い相関だ」
由紀がノートに書き込む。「じゃあ、もっと相関が強い例は？」
「例えば、同じコインを二回見る。一回目と二回目は完全に同じ」
「I(X;Y) = H(X)？」
「そう。Yを知れば、Xは完全に確定する。H(X|Y) = 0」
ミラが静かに立ち上がり、窓の外を見た。雨が降り始めていた。
「天気予報、当たったね」葵が言った。
「予報も条件付き確率ですか？」由紀が聞く。
「そう。過去のデータ、気圧、風向き。全てを条件として、今日の天気を予測する」
「H(今日|全データ)を最小化する」
「まさに。情報を集めるほど、不確実性が減る」
ミラがメモを差し出した。「Uncertainty = Ignorance」
「知らないことが、不確実性の源」葵が頷く。
由紀が真剣に言った。「だから、情報を得ることで世界が確実になる」
「でも、完全な確実性はない。どこかに必ず残余の不確実性がある」
「それが条件付きエントロピー…」
「そう。予測の限界を教えてくれる」
雨が強くなった。三人は窓の外を見つめる。
「明日の天気は分からない」由紀が呟く。
「でも、今日の情報で、少しだけ推測できる」葵が答える。
ミラが微笑んだ。彼女の表情は、いつも情報に満ちている。
「不確実性と共に生きる。それが情報理論の教えかもしれない」
由紀は、雨の音を聞きながら考えた。世界は不確実だ。でも、情報を集めることで、少しずつ理解できる。それが、学ぶということなのかもしれない。