伝わってると思ってたのに

エントロピー、不確実性、そして情報理論が世界を理解するのにどう役立つかの探求。

  • #mutual information
  • #conditional entropy
  • #shared information
  • #independence

「昨日、陸に説明したんだけど、全然伝わってなかった」

由紀が落ち込んでいた。

「どんな説明?」葵が聞く。

「符号化について。でも、陸は『暗号化』と混同してた」

葵はノートに式を書いた。「相互情報量という概念がある。I(X;Y)。二つの変数が、どれだけ情報を共有しているか」

「共有している情報…?」

「そう。Xを知ることで、Yについての不確実性がどれだけ減るか」

ミラが静かに近づき、図を描いた。二つの円が重なるベン図。

「重なる部分が相互情報量」葵が説明を続ける。「Xのエントロピー、Yのエントロピー、そして共有部分」

由紀が理解し始めた。「じゃあ、私の説明と陸の理解の相互情報量が低かった?」

「おそらく。完全に独立だと、相互情報量はゼロ。完全に依存すると、一方のエントロピーに等しくなる」

「どうすれば相互情報量を増やせますか?」

葵が考えた。「共通の文脈を作る。事前知識を確認する。フィードバックを求める」

ミラがメモを見せた。「I(X;Y) = H(X) - H(X|Y)」

「そう。XのエントロピーからXのYに対する条件付きエントロピーを引いたもの。Yを知った後、Xの不確実性がどれだけ減ったか」

由紀がノートに書き込んだ。「H(X|Y)は、Yを知った後のXの不確実性…」

「正確。もしYがXについて何も教えてくれないなら、H(X|Y) = H(X)。相互情報量はゼロ」

「陸の場合、私の説明を聞いても、符号化の不確実性が減らなかった」

「そういうこと。でも、それは陸のせいだけじゃない。説明の仕方も影響する」

ミラが新しい式を書いた。「I(X;Y) = I(Y;X)」

「相互情報量は対称的だ」葵が補足する。「XがYについて教える量と、YがXについて教える量は等しい」

由紀が目を輝かせた。「つまり、伝える側と受け取る側、両方の問題?」

「まさに。コミュニケーションは双方向だ」

「じゃあ、完璧に伝わるって、どういうこと?」

「X = Y の場合。相互情報量がH(X)に等しくなる。つまり、完全な冗長性」

陸が部室に入ってきた。「何の話?」

「相互情報量」由紀が答えた。

「あ、昨日のやつ。実は俺、後で調べたんだ。符号化と暗号化、違うって分かった」

由紀が驚いた。「本当?」

「うん。符号化は効率化、暗号化は秘匿化。目的が違う」

葵が微笑んだ。「陸、相互情報量が増えたね」

「え?」

「昨日よりも、由紀との共有知識が増えた。それが相互情報量だ」

陸が笑った。「じゃあ、俺たち三人の相互情報量は?」

「I(X;Y;Z)。三変数の相互情報量。もっと複雑だけど、同じ原理だ」

ミラがホワイトボードに図を描いた。三つの円が複雑に重なっている。

「真ん中の部分が、三人全員が共有している情報」葵が指差した。

由紀が考え込んだ。「じゃあ、部活動って、相互情報量を増やす活動?」

「良い比喩だ。共通の経験、共通の知識。それが相互情報量を育てる」

「伝わらないことがあっても、諦めちゃダメなんですね」

「そう。何度も試行することで、徐々に相互情報量は増えていく」

陸が言った。「俺、昨日は理解できなかったけど、今日は少し分かる気がする」

「それがコミュニケーションの本質だ」葵が静かに言った。

ミラが微笑んで、小さなメモを残した。「Communication = increasing mutual information」

由紀はそれを読んで、頷いた。伝わってると思ってたのに、伝わってなかった。でも、それは始まりに過ぎない。相互情報量は、これから育てていくものだ。