曖昧な関係を最適化する方法

KLダイバージェンスを通じて、期待と現実のズレを理解する物語。

  • #KL divergence
  • #expectation
  • #reality
  • #optimization

「陸、また遅刻したんですか」

由紀が呆れた声で言った。

「ごめん。でも、たまにだろ?」

葵が口を挟んだ。「たまにではない。統計的に週二回だ」

「厳しい!」陸が抗議する。

「これがKLダイバージェンスだ」葵が静かに言った。

「何それ?」由紀が聞く。

「期待と現実の乖離を測る指標。正式にはカルバック・ライブラー情報量」

葵はホワイトボードに式を書いた。

「D_KL(P||Q) = Σ P(x) log(P(x)/Q(x))」

「Pが真の分布、Qがモデルの分布」

由紀が考えた。「陸の場合、何がPで何がQ?」

「P:実際の遅刻パターン Q:陸が主張する『たまに』という分布」

陸が苦笑いした。「ズレてるってこと?」

「そう。期待と現実のズレが、KLダイバージェンスだ」

由紀がノートに書く。「ゼロなら完全一致?」

「正解。KLダイバージェンスがゼロなら、モデルと現実が同じだ」

「でも、完全一致は難しい」

葵が頷いた。「だから、最適化する。KLダイバージェンスを最小にする」

陸が真剣に聞く。「どうやって?」

「モデルを現実に近づける。または、現実をモデルに近づける」

由紀が興味を持った。「二つの方向がある?」

「そう。陸の場合、『遅刻を減らす』か『期待値を下げてもらう』か」

「後者は無理だ」陸が即答した。

「なら、行動を変えるしかない」葵が笑った。

「KLダイバージェンス、人間関係にも使える?」由紀が聞く。

「使える。相手への期待と、実際の行動。そのズレがストレスだ」

葵は図を描いた。

「期待が高すぎる → 大きなKLダイバージェンス → 失望 期待が低すぎる → 小さなKLダイバージェンス → 驚き 適切な期待 → KLダイバージェンスが小さい → 安定」

由紀が理解した。「相手を正確に理解することが大事なんですね」

「まさに。情報を集めて、モデルを更新する」

陸が考え込んだ。「でも、完璧に理解するのは無理だろ」

「その通り」葵が認めた。「KLダイバージェンスをゼロにはできない」

「でも、減らすことはできる」

由紀が質問した。「KLダイバージェンスが大きいと、何が問題?」

「誤った予測、無駄なリソース、誤解」

「機械学習でも、KLダイバージェンスは損失関数として使われる」

陸が窓の外を見た。「俺と葵先輩のKLダイバージェンス、大きそうだな」

「それは確かだ」葵が笑った。「でも、減ってきている」

「本当?」

「そう。一年前より、お互いを理解している」

由紀が微笑んだ。「曖昧な関係を最適化してるんですね」

「良い表現だ。関係の最適化は、KLダイバージェンスの削減だ」

陸が真剣に言った。「じゃあ、遅刻減らす努力するよ」

「期待値の更新だ」葵が認めた。「ベイズ推定にも似ている」

由紀がノートを閉じた。「期待と現実、完全には一致しないけど、近づけられる」

「それが最適化の本質だ」葵が答えた。

陸が笑った。「情報理論、人間関係にも役立つんだな」

「情報理論は、関係性の数学だから」

三人は静かに教室を出た。曖昧な関係を、少しずつ最適化していく。

KLダイバージェンスを減らす旅は、まだ続く。