KL距離の小さな約束

カルバック・ライブラー距離を通して、約束と期待のズレを理解する。

  • #KL divergence
  • #distance
  • #expectation
  • #promise
  • #distribution difference

「約束、破られたことある?」

陸が突然聞いた。部室での休憩時間。

「ある」由紀が答えた。「小さなものだけど」

「どんな気分だった?」

「がっかりした。期待してたから」

葵が興味を示した。「それ、KLダイバージェンスで説明できるかも」

「KL?」陸が首をひねった。

「カルバック・ライブラー距離。二つの確率分布の違いを測る指標だ」

葵がノートに式を書いた。「D_KL(P||Q) = Σ P(x) log(P(x)/Q(x))」

「Pが真の分布、Qが予測分布」

由紀が考えた。「約束と関係あるんですか?」

「ある。約束は期待を作る。その期待が確率分布Qだ」

「じゃあ、Pは?」

「実際に起こったこと。現実の分布だ」

陸が例を求めた。「具体的には?」

葵が説明した。「例えば、友達が『明日10時に来る』って約束した」

「うん」

「君の中で、『10時に来る確率90パーセント、来ない確率10パーセント』という期待分布Qができる」

由紀が続けた。「でも実際は来なかった。P(来た)=0、P(来なかった)=1」

「このPとQのズレが、KLダイバージェンスで測れる」

陸が計算しようとした。「数値は?」

「この場合、無限大に近くなる。P(x)=1だけどQ(x)が小さいから」

「無限大?」

「数学的にはね。でも意味は明確。期待と現実のズレが極端に大きい」

由紀がしみじみ言った。「だからがっかりするんですね」

「そう。KLダイバージェンスが大きいほど、失望も大きい」

陸が質問した。「じゃあ、良い約束ってどんな?」

「KL距離が小さい約束」葵が答えた。

「期待と現実が近い。約束通りに実現する」

由紀が別の例を出した。「でも、期待値が低すぎても問題ですよね」

「どういうこと?」

「『たぶん来れない』って言われて、本当に来なかった。KL距離は小さいけど、嬉しくない」

葵が感心した。「鋭い。KL距離だけでは測れない、期待値の絶対値も大事だ」

「バランスか」陸が理解した。

「そう。適度に高い期待を持たせて、それを実現する。それが良い約束だ」

由紀が笑った。「情報理論で約束を分析するなんて」

「でも納得感がある」陸が言った。

葵が続けた。「逆に、サプライズは?」

「サプライズ?」

「期待以上のことが起こる。P(良いこと)>Q(良いこと)」

「それもKL距離は大きくなる」由紀が気づいた。

「そう。でも、嬉しい方向のズレだ」

陸が面白がった。「ポジティブなKLダイバージェンスってこと?」

「KL自体は非負だけど、解釈としてはね」

由紀が考え込んだ。「じゃあ、約束は期待を管理することなんですね」

「良い表現だ」葵が頷いた。

「相手の期待分布Qを適切に設定して、現実Pがそれを上回るか、少なくとも一致するようにする」

陸が実践的に言った。「じゃあ、約束する時は少し控えめに?」

「一つの戦略だね。期待を低めにして、実際はそれ以上やる」

「でも、嘘はダメですよね」由紀が指摘した。

「もちろん。誠実な範囲で、期待を調整する」

葵が補足した。「通信理論では、KLダイバージェンスを最小化することが目標になる」

「予測分布を真の分布に近づける」

「人間関係も同じかもね。相手の期待と自分の行動を、できるだけ一致させる」

陸が笑った。「俺、KL距離大きそうだな」

「予測不可能だから?」由紀が同意した。

「でも、大事な約束は守るぞ」陸が真剣に言った。

葵がそっと言った。「それで十分だよ。全ての行動を予測可能にする必要はない」

「適度な驚きは、関係を面白くする」

由紀が窓の外を見た。「小さな約束を、丁寧に守る」

「KL距離を小さく保つ」

「それが信頼を築くんですね」

三人は静かに頷いた。約束は確率分布。期待は予測モデル。そして信頼は、KL距離の小ささの積み重ね。

陸が言った。「今度から、約束守るよ。KL距離を小さくする」

由紀が微笑んだ。「期待してます」

「プレッシャーだな」陸が笑った。

でも、その笑顔に嘘はなかった。小さな約束が、少しずつ世界を変えていく。