その違和感、KL距離かも

確率が情報と不確実性の理解をどのように形作るかについての放課後の議論。

  • #KL divergence
  • #expectation mismatch
  • #subjective probability
  • #model fitting

「なんか、違和感あるんだよな」

陸が教科書を睨みながらつぶやいた。

「何が?」由紀が聞く。

「この問題の答え。正しいはずなのに、しっくりこない」

葵が興味深そうに覗き込んだ。「その『違和感』、測定できるかもしれない」

「違和感を測る?」

「KLダイバージェンス。前にやったろ?」

「ああ、KL先輩」陸が思い出した。「でも、これ数学の問題だよ?」

「人間の違和感は、期待と現実のズレから生まれる。それを数値化したのがKLダイバージェンスだ」

由紀がノートを開いた。「つまり、陸くんは心の中で答えの分布を予想していて、実際の答えの分布とずれてる?」

「哲学的だな」陸が笑った。

「でも、当たってる」葵が続けた。「脳は常に確率モデルを作ってる。その予測と観測がずれると、違和感として認識される」

「じゃあ、俺の脳のモデルがバグってる?」

「バグというより、データ不足。モデルを更新すれば、違和感は消える」

由紀が別の例を出した。「私も、たまにあります。友達の反応が予想と違うとき」

「それも同じ」葵が説明した。「相手の確率モデルを推測してる。でも完璧じゃないから、ズレが生じる」

「D_KL(真実||予想)が大きいほど、驚きや違和感が大きい」

陸が納得した。「つまり、違和感は情報理論的には正常な反応?」

「そう。予測と観測の差を検出するセンサーだ」

由紀が考え込んだ。「じゃあ、全く違和感を感じない人は?」

「モデルが完璧か、あるいは更新しない人」

「どっちも極端ですね」

葵が図を描いた。

「主観的確率P、客観的確率Q。KLダイバージェンスが大きいほど、認知的不協和が大きい」

「認知的不協和…難しい言葉」陸が言った。

「要するに、『なんか変だな』って感覚」

由紀が手を叩いた。「デジャヴもこれで説明できますか?」

「面白い視点。デジャヴは、現在の状況と記憶の確率分布が似ている状態かもしれない。KLダイバージェンスが小さい」

「逆に、全く予想外の出来事は?」

「KLダイバージェンスが巨大。脳はパニックになる」

陸が真剣な顔をした。「じゃあ、この違和感を消すには、問題をもっと理解すればいい?」

「正解。学習は、KLダイバージェンスを減らすプロセスだ」

「機械学習と同じだ」由紀が付け加えた。「訓練で、モデルと真実の距離を縮める」

「人間も機械も、やってることは同じ」葵が頷いた。

陸が教科書を読み直した。「わかった!この公式、こう解釈すればいいのか」

「違和感、消えた?」

「だいぶ。まだちょっとKL距離あるけど」

三人が笑った。

「KL距離って便利な概念だな」陸が言った。「日常の感覚を数学で語れる」

「情報理論の魅力は、抽象と具体をつなぐこと」葵が言った。

由紀がノートに書いた。「違和感=期待と現実のKL距離」

「次に違和感を感じたら、何が期待とずれてるか考えてみます」

「それが、批判的思考の第一歩だ」

窓の外で夕日が沈む。違和感は、成長のシグナル。三人は今日も、少しモデルを更新した。