条件付きエントロピーの憂鬱

情報を得ることで不確実性が減る。でも、時には知らない方が幸せだったかもしれない。

  • #conditional entropy
  • #mutual information
  • #uncertainty reduction
  • #information gain

「知ってしまったら、もう戻れない」

由紀が呟いた。ミラが静かに頷く。

「それが情報の本質だ」葵が言った。「一度知れば、不確実性は減る」

「条件付きエントロピーですか?」

「そう。H(Y|X)は、Xを知った後のYの不確実性だ」

葵はノートに式を書いた。

「H(Y|X) = H(X,Y) - H(X)」

「Xを知ることで、エントロピーは減る」

由紀が考え込んだ。「でも、時には知りたくないこともあります」

「それは人間的な感情」葵が認めた。「情報理論では、情報は常に価値があると仮定する」

「本当にそうでしょうか」

ミラがノートに何か書いて、由紀に見せた。

「Information can hurt」

「ミラの言う通り」由紀が言った。「知ることで、苦しむこともある」

葵が静かに答えた。「情報理論は、情報の『量』を測る。でも『質』や『影響』は測らない」

「量と質は違う」

「まさに。大量の無意味な情報より、少量の重要な情報の方が価値があることもある」

由紀がホワイトボードに近づいた。

「じゃあ、相互情報量I(X;Y)は何を表すんですか?」

「XとYが共有する情報の量。お互いについて、どれだけ教え合えるか」

葵は図を描いた。二つの円が重なっている。

「重なり部分が相互情報量だ」

「I(X;Y) = H(Y) - H(Y|X)」

「Yの元のエントロピーから、Xを知った後のエントロピーを引く」

由紀が理解した。「減った分が、Xから得た情報」

「正確。相互情報量は、常に非負だ」

ミラが別の式を書いた。

「I(X;Y) = I(Y;X)」

「対称性がある」葵が説明した。「XがYについて教える量と、YがXについて教える量は等しい」

「でも」由紀が言った。「人間関係では、対称じゃないですよね」

「鋭い指摘だ。Aさんが知ってるBさんの情報と、Bさんが知ってるAさんの情報は違う」

「情報理論の限界?」

「いや、定義の問題だ。相互情報量は、統計的な依存性を測る。個人の知識は、別の概念」

ミラが立ち上がり、窓の外を見た。

「Sometimes knowing less is peaceful」

「平和のために無知でいる?」由紀が聞いた。

ミラは頷いた。

葵が続けた。「でも、長期的には情報を持つ方が有利なことが多い」

「短期と長期で違う」由紀がまとめた。

「そう。意思決定理論では、情報の価値を定量化できる」

「情報の価値?」

「情報を得る前と後で、期待効用がどれだけ増えるか」

葵は例を出した。

「天気予報を知ることで、傘を持つか決められる。濡れるリスクが減る」

「実用的な価値」由紀が理解した。

「でも」ミラが小さく言った。「Some information has negative value」

「負の価値?」

「知ることで、行動が制約されることもある」葵が説明した。「例えば、病気のリスクを知ると、人生の選択が狭まるかもしれない」

由紀が静かに言った。「条件付きエントロピーは減る。でも、幸福度が増えるとは限らない」

「情報理論と人生の幸福は、別の尺度だ」

三人は、しばらく沈黙した。

「それでも」由紀が言った。「私は知りたいです。たとえ憂鬱でも」

「なぜ?」葵が聞いた。

「不確実性の中で生きるより、真実を知って向き合いたい」

ミラが微笑んだ。「Courage to face information」

「勇気ですか」由紀が頷いた。

葵が言った。「情報は道具だ。使い方次第で、助けにも害にもなる」

「条件付きエントロピーは減る」由紀がまとめた。「でも、それをどう使うかは、私たち次第」

夕暮れが近づいていた。知ることの憂鬱と、知ることの勇気と。

今日も、彼らは新しい情報を得た。そして、少しだけ成長した。