情報理論初心者のための放課後

由紀が初めて情報理論クラブに参加し、情報とは何かの基本を学ぶ。

  • #information theory
  • #entropy
  • #beginner
  • #introduction
  • #uncertainty

「情報理論クラブ?」

由紀は教室の扉を見つめた。偶然見つけた貼り紙に、興味を引かれた。

「入ってみたら?」陸が後ろから声をかけた。

「でも、情報理論って何ですか?」

「俺もよく分からん。でも面白そうだぞ」

二人は扉を開けた。

部室には一人の先輩がいた。葵だ。整理されたノートが机に並んでいる。

「新入部員?」葵が振り返った。

「見学です」由紀が答えた。

「歓迎するよ。情報理論に興味は?」

「正直、よく分かりません」

葵が微笑んだ。「それで良い。みんな最初はそうだ」

陸が質問した。「情報理論って、何を研究するんですか?」

「情報とは何か。それをどう測るか。どう伝えるか」

「抽象的ですね」由紀が言った。

「じゃあ、具体例から」葵がホワイトボードに向かった。

「明日の天気は?」

「晴れか雨」陸が答えた。

「どっちの確率が高い?」

「晴れかな。70パーセントくらい」

「なら、明日雨が降ったら驚く?」

「驚きます」由紀が頷いた。

「その驚きこそが情報だ」葵が説明した。

「驚き?」

「そう。予想外なことが起こったとき、私たちは情報を得る。予想通りなら、情報は少ない」

陸が考えた。「じゃあ、太陽が東から昇るのは?」

「情報量ゼロ。確実だから」

「面白い視点だ」由紀が感心した。

葵が式を書いた。「情報理論では、これを数式で表す。I(x) = -log₂(p)」

「pは確率」

「そう。確率が低いほど、情報量は大きい」

由紀がノートに書き写した。「だから驚きと情報は関係してるんですね」

「正確。そして、全ての可能な出来事の情報量を平均したのがエントロピー」

「エントロピー?」陸が聞いた。

「不確実性の尺度。H(X) = -Σ p(x) log₂(p)」

葵は例を出した。「コインを投げる。表か裏、50パーセントずつ。エントロピーは1ビット」

「1ビット?」

「情報の単位。2択を決めるのに必要な情報量が1ビットだ」

由紀が質問した。「じゃあ、もし表が90パーセント、裏が10パーセントなら?」

「エントロピーは約0.47ビット。偏ってるから、不確実性が減る」

「予測しやすいってことですね」

「その通り。エントロピーが高いほど、予測が難しい」

陸が目を輝かせた。「じゃあ、俺の行動は高エントロピー?」

「たぶんね」葵が笑った。「予測不可能だから」

「それって褒めてます?」

「中立的事実だよ」

由紀が深く考え込んだ。「情報理論って、世界を測る道具なんですね」

「良い理解だ。情報理論は、不確実性を数値化する」

「数値化できると、何が良いんですか?」

「比較できる。最適化できる。そして理解が深まる」

陸が手を挙げた。「次は何を学ぶんですか?」

「通信。情報をどう伝えるか。ノイズがあっても、正確に届ける方法」

「ノイズ?」

「雑音。メッセージを歪める要因だ」

由紀が笑った。「陸くんみたいですね」

「どういう意味だよ!」

葵が二人を見た。「人間のコミュニケーションも、情報理論で分析できる」

「例えば?」

「会話の冗長性。誤解を防ぐために、同じことを違う言い方で繰り返す。それが誤り訂正符号の役割だ」

陸が感心した。「日常生活が、情報理論だらけなんだ」

「そう。気づかないだけで、情報理論は至る所にある」

由紀は決心した。「入部します」

「俺も」陸が続いた。

葵が嬉しそうに頷いた。「歓迎する。一緒に情報の世界を探検しよう」

窓の外で鳥が鳴いた。新しい情報が、二人の日常に流れ込む。それが情報理論との出会いだった。