情報理論部の奇妙な日常

エントロピー、不確実性、そして情報理論が世界を理解するのにどう役立つかの探求。

  • #typical sequences
  • #asymptotic equipartition property
  • #law of large numbers
  • #entropy rate

「今日も陸は遅刻だね」

由紀が時計を見る。午後4時15分。約束の時間を15分過ぎている。

「予測通り」葵が淡々と言った。「陸の遅刻パターンは、かなり典型的だ」

「典型的?」

「情報理論には、典型系列という概念がある」

その時、陸が息を切らして飛び込んできた。

「ごめん!今日は本当にごめん!」

「今日で今週3回目だよ」由紀が呆れる。

葵がノートを開いた。「陸の遅刻を記録してみたんだ。過去30日間のデータ」

「えっ、記録してたの?」陸が驚く。

「見て。遅刻22回、時間通り8回。遅刻確率は約0.73だ」

ミラが静かに近づき、データを見た。彼女はノートに何かを書き始める。

「で、何が典型系列なの?」由紀が尋ねた。

葵が説明を始めた。「長期的に見ると、ほとんどの系列は特定のパターンに収束する。これが漸近等分割性だ」

「難しそう…」

「例えば、コインを1000回投げる。理論的には2^1000通りの結果があるけど、実際にはほとんどの結果は『だいたい500回表、500回裏』に近い」

陸が手を挙げた。「つまり、俺の遅刻パターンも予測可能ってこと?」

「ある意味でね。30回中22回遅刻なら、今後も約73%の確率で遅刻する」

ミラが式を書いた。「-1/n log P(X₁...Xₙ) → H(X)」

「ミラが示したのは、典型系列の定義だ」葵が補足した。「長いシーケンスの確率の対数平均が、エントロピーに収束する」

由紀が考え込んだ。「じゃあ、珍しいパターンは?」

「非典型系列。例えば、陸が30日連続で時間通りに来る確率は、0.27^30で…」

「ほぼゼロだ」陸が苦笑いした。

「でも面白いのは」葵が続けた。「典型系列の数は、約2^(nH)個しかない。nはシーケンスの長さ、Hはエントロピー率だ」

「少ない?」

「そう。可能な系列は2^n個あるのに、実際に起こりうる典型系列は指数的に少ない。これが情報源符号化の基礎になる」

ミラが頷いた。彼女はいつも、こういう抽象的な議論を楽しんでいる。

由紀が言った。「つまり、現実は思ったよりパターン化されている?」

「そう。ランダムに見えても、統計的な規則性がある。それが大数の法則だ」

陸が真面目な顔をした。「じゃあ俺、明日から毎日時間通りに来たら、非典型系列になる?」

「そうなる。確率的に珍しい事象だ」

「よし、やってみる!」

葵が冷静に言った。「でも、新しいパターンが確立されれば、それが新しい典型系列になる。エントロピー率が変わるだけだ」

「厳しい…」

由紀が笑った。「でも、変化することは可能ってことですよね」

「もちろん。統計的な性質は、生成過程を変えれば変わる。人間には意志がある」

葵が別の図を描いた。「人間の行動が情報理論の観点から面白いのは、そこだ。純粋にランダムでもなく、純粋に決定論的でもない。その中間に存在し、進化できるパターンを持つ」

「私たちは適応的な確率過程みたいなもの?」陸が意外な洞察を見せた。

「まさにその通り」葵が微笑んだ。

ミラが小さなメモを渡した。「Typical sequences: predictable. Non-typical: surprising. Both exist.」

「ミラの言う通り」葵が言った。「典型的な日常と、非典型的な驚き。両方があるから、情報理論も人生も面白い」

陸は手帳を取り出した。「明日から記録つける。俺の新しいエントロピー率を作る」

「応援してるよ」由紀が言った。

「でも」葵が付け加えた。「人間の行動は完全には予測できない。だからこそ、相互情報量が意味を持つ」

部室の窓から夕日が差し込む。情報理論部の日常は、今日も典型的だった。

でも、少しだけ非典型的な希望も混ざっていた。