その予測、合ってるかな?

予測理論と情報理論の関係、モデルの精度と不確実性の測定について探る。

  • #prediction
  • #model accuracy
  • #uncertainty
  • #cross-entropy

「明日は雨だと思う」

陸が窓の外を見て言った。

「その自信はどこから?」葵が尋ねた。

「雲の感じとか、空気の湿り気とか」

由紀がノートを開いた。「予測と情報理論って、関係あるんですか?」

「深く関係してる」葵が答えた。「予測の精度は、情報理論で測定できる」

「どうやって?」

「クロスエントロピーという概念を使う。予測分布と実際の分布の距離を測る」

陸が首を傾げた。「分布?天気予報じゃないのか」

「天気予報も、確率的な予測だ」葵が説明した。「明日の雨の確率70%、晴れ30%、みたいに」

「ああ、確かに」

由紀が質問した。「じゃあ、どうやって予測の良し悪しを判断するんですか?」

「実際の結果と比較する」葵がホワイトボードに図を描いた。

「予測:雨70%、晴れ30% 実際:雨が降った」

「この場合、予測は良かったといえる。雨に高い確率を割り当てていたから」

陸が別のケースを考えた。「逆に、晴れ90%と予測して雨だったら?」

「予測は悪い。クロスエントロピーが大きくなる」

由紀が理解し始めた。「つまり、起こったことに高い確率を割り当てていれば、良い予測?」

「正確にはそう。情報理論的に、良いモデルは驚きを最小化する」

「驚き?」

「稀なイベントが起こると、驚きが大きい。頻繁なイベントなら、驚きは小さい」葵が続けた。

「良い予測モデルは、実際に起こるイベントを高頻度と見積もる。だから驚きが少ない」

陸が例を出した。「俺が遅刻する確率を90%と予測すれば、実際遅刻しても驚かない」

「残念な例だけど、正しい」葵が苦笑した。

由紀がノートに書いた。「予測精度 = 驚きの少なさ = クロスエントロピーの小ささ」

「良い整理だ」

陸が真剣な顔になった。「じゃあ、完璧な予測は可能?」

「本当にランダムな現象には、不可能」葵が答えた。「エントロピーがゼロでない限り、完璧な予測はできない」

「エントロピー…不確実性の尺度」由紀が思い出した。

「そう。世界には本質的な不確実性がある。だから予測には限界がある」

陸が窓を見た。「じゃあ、明日の天気も、完璧には予測できない」

「できない。でも、良いモデルは、その不確実性を正確に表現する」

由紀が質問した。「不確実性を正確に表現するって、矛盾してませんか?」

葵が微笑んだ。「良い疑問だ。でも矛盾じゃない。『明日は雨60%、晴れ40%』という予測は、不確実性を認めている。でも、もし実際の確率もそれに近ければ、良い予測だ」

「確率分布そのものを予測する」

「そう。点推定じゃなく、分布推定。それが現代の予測理論の核心」

陸が考え込んだ。「難しいな」

「でも重要だ」葵が言った。「機械学習も、気象予測も、経済予測も、全て確率的予測に基づく」

由紀がまとめた。「予測は確実性じゃなく、不確実性の適切な表現」

「完璧」葵が頷いた。

窓の外で、雲が流れていく。明日の天気は分からない。でも、その不確実性を理解することが、予測の第一歩だった。

陸が言った。「じゃあ俺の予測、当たるかな?」

「それは明日になればわかる」葵が笑った。「でも、予測そのものの良し悪しは、一回の結果だけでは判断できない」

「え?」

「何度も予測して、平均的な精度を見る。それがクロスエントロピーの本質」

由紀が驚いた。「一回の当たり外れじゃダメなんですね」

「そう。統計的な評価が必要。だから科学的予測には、データの蓄積が不可欠」

三人は静かに、情報理論と予測の深い関係を噛み締めた。

明日、雨が降るかどうか。それは分からない。でも、予測の質を測る方法は、確かに存在する。