曖昧な未来に符号をつけて

エントロピー、不確実性、そして情報理論が世界を理解するのにどう役立つかの探求。

  • #source coding
  • #predictive coding
  • #entropy coding
  • #prediction
  • #adaptive coding

「未来は予測できるんですか?」

由紀が唐突に尋ねた。喫茶店シャノンのカウンター越しに、S教授が静かにコーヒーを淹れている。

「完全には無理だ。でも、確率的には近づける」S教授が答えた。

葵が補足する。「予測符号化という技術がある。過去のデータから未来を推測し、その差分だけを送る」

「差分?」

「例えば、気温のデータ。今日が20度で、明日も20度前後と予測できる。なら、『予測通り』という1ビットの情報で済むかもしれない」

S教授がカップを置いた。「でも、予測が外れたら?」

「予測との差を送る。もし22度なら、『+2度』という情報を送る」

由紀が理解し始めた。「予測が当たれば、送る情報量が減る」

「まさに。これが予測符号化の原理だ」葵が説明した。「動画圧縮でも使われる。前のフレームから変化した部分だけを符号化する」

「だから動画ファイルはそんなに大きくならないのか」

S教授が静かに言った。「情報理論では、情報源の冗長性を利用する。過去と現在が相関していれば、未来も予測できる」

「でも、完全にランダムなら?」

「その場合、予測は役に立たない。エントロピーは最大で、圧縮の余地がない」

葵がノートに図を描いた。「だから、情報源の性質を理解することが重要。マルコフモデルという考え方がある」

「マルコフ?」

「現在の状態が、未来を決める確率モデル。過去の全履歴ではなく、現在だけで予測する」

由紀が例を求めた。「例えば?」

「天気予報。今日が晴れなら、明日も晴れの確率が高い。昨日の天気は、今日を経由して影響する」

S教授が付け加えた。「文字列も同じだ。英語で『Q』の次は『U』が高確率。これを利用すれば、効率的に符号化できる」

「適応的符号化」葵が専門用語を使った。「文脈に応じて、符号を動的に変える」

由紀が興奮気味に言った。「だから、同じアルファベット26文字でも、状況によって必要なビット数が変わるんですね」

「正解。頻度だけでなく、文脈も考慮する」

S教授がコーヒーを注ぎ足した。「でも、予測は必ず誤差を伴う。完璧な予測は不可能だ」

「不確実性は消せない?」

「消せない。でも、減らすことはできる。それが符号化理論の役割だ」

葵が続けた。「シャノンのエントロピーレートという概念がある。無限に長いシーケンスを考えたとき、1シンボルあたりの平均情報量だ」

「長期的な平均?」

「そう。短期的にはばらつきがあっても、長期的には安定する」

由紀がふと思いついた。「人生も、そういうものかもしれませんね」

S教授が微笑んだ。「哲学的だ。確かに、短期的な出来事は予測しにくいが、長期的なパターンは見えてくる」

「曖昧な未来に、符号をつける」由紀が呟いた。

「良い表現だ」葵が認めた。「不確実な未来を、確率的にモデル化し、効率的に符号化する。それが情報理論の美学だ」

S教授が静かに言った。「だが、符号化できないものもある。完全にランダムなものは、圧縮できない」

「それはそれで、情報が豊かだということ?」

「そうとも言える。予測可能性と情報量は、トレードオフの関係にある」

葵がコーヒーを飲み干した。「予測できすぎる未来は、つまらないかもしれない」

「驚きがないから」由紀が理解した。

「情報理論は、驚きを測る学問でもある」S教授が結んだ。

店の外では、人々が各自の未来を予測しながら歩いている。完璧には予測できない未来に、それぞれが自分なりの符号をつけながら。

「次回は、エントロピーの深い話をしようか」S教授が提案した。

由紀と葵は頷いた。曖昧な未来への旅は、まだ始まったばかりだ。