不確実性の森を抜ける方法

エントロピー、不確実性、そして情報理論が世界を理解するのにどう役立つかの探求。

  • #decision under uncertainty
  • #information gain
  • #entropy reduction
  • #bayesian inference

「迷ってます」

由紀は難しい顔をしていた。

「何を?」葵が聞く。

「明日の予定。晴れるか雨か分からなくて」

陸が笑った。「天気予報を見ればいいじゃん」

「見た。でも70パーセント晴れって、どう判断すれば?」

葵が興味を持った。「これは、不確実性の下での意思決定だ」

「不確実性?」

「完全な情報がない状態。確率でしか分からない」

葵はホワイトボードに書いた。

「最初の状態: 晴れ 70% 雨 30% エントロピー = -0.7 log(0.7) - 0.3 log(0.3) ≈ 0.88 ビット」

「このエントロピーが、不確実性の量だ」

由紀が理解した。「高いほど、不確実?」

「そう。完全に確実なら、エントロピーはゼロ。50-50が最も不確実で、1ビット」

陸が質問した。「じゃあ、どうやって決めるの?」

「情報を追加して、エントロピーを下げる」葵が説明する。

「例えば、気象レーダーを見る。朝の空を見る。ニュースを聞く」

「それぞれが情報を加えて、確率を更新する」

由紀がノートに書く。「ベイズ推定ですね」

「正確。事前確率と新しい証拠から、事後確率を計算する」

葵は例を示した。

「朝、空が暗かった。この観測が『雨条件で暗い確率90%、晴れ条件で暗い確率20%』だとすると...」

陸が計算を試みる。「晴れの確率が下がる?」

「そう。ベイズの定理で更新すると、晴れの確率は約50%まで下がる」

「不確実性が変わったんだ」

葵が続ける。「情報利得という概念がある。新しい情報で、エントロピーがどれだけ減るか」

「情報利得 = 元のエントロピー - 条件付きエントロピー」

由紀が興奮した。「情報は不確実性を減らす道具なんですね」

「まさに。完全に消せなくても、減らせる」

陸が別の例を出した。「ゲームの選択肢も同じ?」

「同じだ。複数の選択肢がある。結果が不確実。でも、経験や情報で確率を推定できる」

「そして、期待値を計算して、最良の選択をする」

葵は図を描いた。

「決定木。各選択から可能な結果が枝分かれする。各結果に確率と価値を付ける」

「期待値が最大の選択を選ぶ」

由紀が考え込んだ。「でも、不確実性を完全に消すのは無理ですよね」

「無理だ。未来は本質的に不確実。でも、情報で確率を改善できる」

「だから情報収集が重要なんだ」

陸が手を挙げた。「俺、いつも直感で決めてる」

「直感も、一種の確率推定だ」葵が言った。「経験から無意識に確率を計算してる」

「でも、時々外れる」

「そう。だから、意識的な確率推定が有用だ。バイアスを減らせる」

由紀が決心した。「じゃあ、明日の予定、決めました」

「どうする?」

「晴れに賭けます。でも、傘も持っていきます」

葵が微笑んだ。「賢い選択だ。主要な可能性に賭けつつ、リスクヘッジする」

「不確実性との付き合い方だ」

陸がノートに書いた。「不確実性は敵じゃなくて、一緒に歩く仲間」

「詩的だね」由紀が笑った。

「情報理論は、不確実な世界を生きる技術だ」葵が総括する。

三人は窓の外を見た。明日の天気は分からない。でも、不確実性の森を抜ける方法を、彼らは知っている。