その発言、情報量が高すぎます!

確率が情報と不確実性の理解をどのように形作るかについての放課後の議論。

  • #self-information
  • #surprise
  • #probability and information
  • #rare events

「葵先輩、今日は時間通りに来ましたよ!」

陸が胸を張って言った。由紀と葵は驚いて顔を見合わせた。

「マジで?」由紀が時計を確認した。「15時ちょうど…本当だ」

「すごい情報量だ」葵が笑った。

「情報量?」陸が首をかしげた。

「そう。予測しにくい出来事ほど、高い情報量を持つ。これを自己情報量という」

葵はノートに式を書いた。「I(x) = -log₂ p(x)」

「確率p(x)で起こる事象xの情報量。確率が低いほど、情報量は高い」

由紀が計算し始めた。「陸くんが時間通りに来る確率を0.1とすると…」

「-log₂(0.1) ≈ 3.32ビット」葵が答えた。

「それって多いんですか?」陸が聞いた。

「とても多い。例えば、公平なコイントスの結果は1ビット。でも陸の時間通り登場は3.32ビット。つまり、3倍以上驚きがある」

「俺、そんなに予測不能?」

「悪い意味ではないよ」由紀が笑った。「今日はポジティブサプライズだから」

葵が続けた。「情報理論では、サプライズを数値化できる。めったに起きない出来事は、高い情報価値を持つ」

「じゃあ、いつも遅刻する俺が時間通りに来たから、今日の情報量は高い?」

「正確。もし陸がいつも時間通りなら、今日の到着は情報量ほぼゼロだ」

陸が考え込んだ。「情報って、普通のことには価値がないんだ」

「ある意味でね。完全に予測できる事象からは、新しい情報が得られない」

由紀が例を考えた。「じゃあ、『太陽が東から昇った』は情報量ゼロ?」

「ほぼゼロ。確率が1に近いから」葵が頷いた。「でも、『太陽が西から昇った』なら、情報量は無限大に近い」

「無限大?」陸が驚いた。

「確率がほぼゼロの事象だから。log₂(0)は発散する」

「でも実際には起きないでしょ?」由紀が言った。

「そう。だから情報理論は、ありえる事象の範囲で考える。確率ゼロの事象は扱わない」

陸がスマートフォンを取り出した。「ニュースって、珍しいことばかり報道するよね」

「まさに情報量の観点だ」葵が認めた。「『今日も平和でした』というニュースは、情報量が低い。でも『隕石が落ちた』は高い」

「だからニュース価値がある」由紀がまとめた。

「正確。人は、自己情報量の高い事象に注意を向ける。進化的に重要だったから」

陸が真剣な顔をした。「じゃあ俺、毎日時間通りに来た方がいい?それとも、たまに来た方が価値がある?」

葵が笑った。「存在論的な問いだね。でも、情報理論的には、適度な予測不能性が最適かもしれない」

「適度?」

「完全にランダムだと、パターンが学習できない。完全に予測可能だと、新しい情報がない。その中間が良い」

由紀が納得した表情をした。「音楽みたいですね。繰り返しがあるけど、時々意外な展開がある」

「完璧な比喩だ。適度なサプライズが、情報を価値あるものにする」

陸がふと思いついた。「じゃあ次は、1時間早く来てみる!」

「それも高い情報量だけど」葵が苦笑した。「有用性は別問題だよ」

「有用性?」

「情報量が高くても、役に立たないなら意味がない。情報の価値は、文脈で決まる」

由紀が笑った。「陸くんが早く来すぎて、誰もいないとか」

「それはノイズだな」陸が認めた。

「いや」葵が訂正した。「ノイズではなく、誤った情報。情報量は高いが、期待と違う」

三人は笑った。情報量の高さと有用性は別物だ。でも、時々現れるサプライズが、日常に彩りを与える。

「次回は、普通に時間通りに来ます」陸が宣言した。

「それが一番情報量が低いかもね」葵が笑った。

でも、それでいいのだ。予測可能な日常の中に、時々混ざる高情報量の出来事。それが、情報理論の示す最適なバランスなのかもしれない。