最大エントロピーの午後

制約の下でエントロピーを最大化する分布が、最も偏りのない状態であることを学ぶ。

  • #maximum entropy
  • #probability distribution
  • #constraints
  • #equilibrium

「最大エントロピー原理って、何ですか?」

陸が突然質問した。いつもは適当な彼が、珍しく真面目だ。

「制約がある時、それに従いつつエントロピーを最大にする分布を選ぶ、という考え方」葵が答えた。

「なんで最大にするの?」由紀が聞いた。

「情報が少ない状態で、最も偏りのない予測をするため」

葵はホワイトボードに図を描いた。

「例えば、サイコロの平均値が3.5だと分かっているとする」

「普通のサイコロなら、そうですね」陸が言う。

「でも、平均が3.5というだけで、各面の確率は分からない」

「それで、どうするんですか?」由紀が興味を示した。

「この制約の下で、エントロピーを最大化する。すると、一様分布、つまり各面1/6になる」

「当たり前じゃん」陸が言った。

「いや、重要なんだ」葵が反論した。「なぜ一様分布を仮定するのか、理論的根拠がある」

葵は別の例を出した。

「では、平均値が3だと分かっている場合は?」

「一様分布じゃない?」由紀が考えた。

「正解。最大エントロピー分布は、指数分布の形になる」

陸が混乱した顔をした。「平均で変わるの?」

「制約が変われば、最適な分布も変わる。それが最大エントロピー原理の面白さだ」

葵は計算を示した。

「平均と分散が固定されてる時、最大エントロピー分布は正規分布だ」

「あ、前に聞いた」由紀が思い出した。

「そう。だから正規分布は、情報が少ない時の『最も無難な』選択なんだ」

陸が窓の外を見た。「人生も、最大エントロピーで生きた方がいいのかな」

「どういう意味?」葵が聞いた。

「制約はあるけど、その中で最も自由に、偏りなく」

由紀が笑った。「哲学的ですね」

「でも、悪くない考え方だ」葵が認めた。「制約を受け入れつつ、可能性を最大化する」

「平衡状態みたいだね」由紀が言った。

「まさに。熱平衡も、エントロピー最大の状態だ」

陸が別の質問をした。「じゃあ、恋愛も最大エントロピーで?」

由紀が少し赤くなった。

「恋愛に制約はある」葵が冷静に答えた。「時間、距離、社会的規範」

「その中で、エントロピーを最大化?」

「可能性を広く保つ、という意味では、そうかもね」

由紀が口を開いた。「でも、恋愛って、一つの相手に絞る方が…」

「それは制約を追加してる」葵が説明した。「『この人が好き』という制約の下で、最適化してる」

「なるほど」陸が納得した。「制約が増えると、分布が変わる」

「人生の各段階で、制約が変わる。それに応じて、最適な生き方も変わる」

葵は静かに続けた。

「最大エントロピーは、『知らないことを認める』謙虚さでもあるんだ」

「知らないこと?」由紀が聞いた。

「知ってる情報だけを使い、知らない部分には偏見を持ち込まない」

「公平な判断」陸が理解した。

「そう。ベイズ推論でも、事前分布として最大エントロピー分布を使うことが多い」

由紀がノートにまとめた。「制約を満たしつつ、最も偏りのない状態」

「それが最大エントロピー。平衡、公平、謙虚さの数学的表現だ」

三人は、しばらく沈黙した。

「先輩」由紀が言った。「私たちも、最大エントロピーで生きてるのかもしれませんね」

「学校、部活、勉強という制約の中で」陸が続けた。

「それでも、可能性は広がってる」葵が微笑んだ。「だからこそ、毎日が新鮮なんだ」

夕日が部室を照らした。制約の中で、彼らは最大限の自由を見つけていた。