理解した瞬間、エントロピーが減った

エントロピー、不確実性、そして情報理論が世界を理解するのにどう役立つかの探求。

  • #learning as entropy reduction
  • #uncertainty decrease
  • #knowledge acquisition
  • #information gain

「分かった!」

由紀が突然叫んだ。

「何が?」陸が驚いて聞く。

「相互情報量の式。ずっと意味が分からなかったけど、今ようやく理解できた」

葵が微笑んだ。「それが学習だ。君のエントロピーが減少した」

「エントロピーが減った?」

「そう。理解する前は、不確実性が高かった。でも理解した今、不確実性が減った」

その時、教授Sが部室に顔を出した。

「良いタイミングだ。今のが、情報理論における学習の定義そのものだ」

「教授」葵が挨拶する。

「学習とは、エントロピーの減少だ」教授は簡潔に言った。「知識を得ることで、世界についての不確実性が減る」

由紀がノートを開いた。「具体的には?」

「例えば、コインが表か裏か分からないとき、エントロピーは1ビット。でも、見た瞬間、エントロピーはゼロになる」

「観測が学習?」

「そう。観測は、特別な形の学習だ。直接的な情報獲得」

陸が質問した。「じゃあ、勉強もエントロピー減少?」

「そう。未知の概念は、高エントロピー状態。理解すると、エントロピーが減る」

葵が補足した。「でも、新しい疑問が生まれることもある。それはエントロピーの増加だ」

「学習は一方向じゃないってこと?」由紀が聞く。

「まさに」教授が頷く。「理解が深まると、新たな不確実性に気づく。これが学問の本質だ」

教授はホワイトボードに図を描いた。

「知識空間を考える。学習前は、広い範囲が不確実。学習後は、ある領域の不確実性が減る。でも、その周辺に新しい未知の領域が現れる」

「フラクタルみたい」陸が言った。

「良い比喩だ。知れば知るほど、知らないことが見えてくる」

由紀が考え込んだ。「じゃあ、完全な理解ってありえないんですか?」

「理論上は、全てのエントロピーをゼロにすることは可能だ。でも、実際には新しい情報が常に生まれる」

葵が付け加えた。「それに、計算量の問題もある。全てを知るには、宇宙の寿命でも足りない」

「じゃあ、効率的に学習するには?」由紀が聞く。

「情報利得を最大化する」教授が答えた。「最も不確実性を減らす質問をする。最も学びの多い経験を選ぶ」

「機械学習の決定木みたいですね」葵が言った。

「そう。情報利得で分岐を決める。同じ原理だ」

陸が手を挙げた。「でも、俺みたいに、間違って覚えることもあるよね?」

「それは、誤ったエントロピー減少だ」教授が説明する。「主観的には不確実性が減ったが、客観的には間違った確信だ」

「危険だな」

「だから、検証が重要。フィードバック。誤った確信を修正する仕組みだ」

由紀がノートに書き込んだ。「学習 = 正しいエントロピー減少 + 検証」

「簡潔で正確だ」教授が認めた。

葵が質問した。「教授、教えることもエントロピー操作ですか?」

「そう。教師は、生徒のエントロピーを減らす情報を提供する。でも、生徒の現在のエントロピー状態を理解しないと、効果的ではない」

「だから、質問が大切なんですね」由紀が理解した。

「質問は、生徒のエントロピーを測る手段だ。どこが不確実か、何を知らないか」

陸が真剣に聞いた。「じゃあ、僕らが質問すればするほど、先輩は教えやすくなる?」

「その通り」葵が笑った。「君たちのエントロピーが見えれば、最適な説明ができる」

教授は立ち上がった。「今日も、君たちのエントロピーは少し減ったようだ」

「でも、新しい疑問も生まれました」由紀が正直に言った。

「それでいい」教授が微笑む。「学習は終わらない旅だ。エントロピーとの対話は、続く」

教授が去った後、三人は少し沈黙した。

「今日、また理解が一つ増えた」由紀が呟いた。

「エントロピーが減った瞬間は、気持ちいいよね」陸が言った。

「それが学習の報酬だ」葵が頷いた。「不確実性が減る快感。人間は、それを求めて学ぶ」

由紀は窓の外を見た。世界は、まだ高エントロピーで満ちている。でも、一つずつ理解していけば、少しずつ減っていく。それが学びの旅なのだろう。