情報密度の高い会話をしよう

エントロピー、不確実性、そして情報理論が世界を理解するのにどう役立つかの探求。

  • #information density
  • #data compression
  • #lossless compression
  • #huffman coding
  • #entropy rate

「葵先輩の説明って、すごく濃密ですよね」

由紀がふとそんなことを言った。部室で三人、いつもの放課後。

「濃密?」葵が首をかしげる。

「少ない言葉で、たくさんの意味を伝えてる気がして」

ミラがノートに書いた。「High information density」

「情報密度か」葵が微笑んだ。「面白い観察だ。実は、それも情報理論で扱える」

「どういうこと?」

「同じ情報量を伝えるのに必要な記号の数。それが情報密度に関係する」

葵はホワイトボードに向かった。

「例えば、『私は今日学校に行きました』という文。日本語で14文字。でも英語では『I went to school today』で5単語だ」

「単位が違うけど…」

「そう。でも、情報量自体は同じはず。表現方法によって、必要な記号の数が変わる」

ミラが補足した。「Compression. Remove redundancy.」

「圧縮だね」由紀が理解した。「冗長性を取り除く」

「まさに。データ圧縮は、情報密度を高める技術だ」葵が説明を続けた。

「自然言語には冗長性がたくさんある。例えば、英語で『Q』の後には必ず『U』が来る。だから、『QU』を1つの記号として扱えば、密度が上がる」

「なるほど!」

「ハフマン符号という圧縮方法がある。頻繁に出る文字には短い符号、稀な文字には長い符号を割り当てる」

由紀が考えた。「日本語だと、『は』『の』『を』とかが多いから、短くする?」

「その通り。平均符号長を最小化する」

ミラが式を書いた。「L_avg ≥ H(X)」

「平均符号長は、エントロピー以下にはできない」葵が解説した。「これがシャノンの情報源符号化定理だ」

「エントロピーが限界なんですね」

「そう。どんなに賢く圧縮しても、情報量そのものは減らせない」

由紀がふと思いついた。「じゃあ、会話も圧縮できる?」

「できる。実際、慣れた相手とは、省略表現が増える」葵が例を挙げた。「『昨日の、あれ、どうだった?』みたいに」

「文脈を共有してるから、少ない言葉で済む」

「情報理論では、それを条件付きエントロピーで表現する。相手が知ってることを前提にすれば、送るべき情報量は減る」

ミラが頷いた。「Shared context reduces entropy」

「共有文脈がエントロピーを減らす」由紀が訳した。

葵が続けた。「逆に、初対面の人には詳しく説明する必要がある。共有する情報が少ないから」

「だから、先輩の説明は最初は丁寧だったんですね」

「でも今は、由紀も基礎を理解してる。だから、より高密度な議論ができる」

由紀が嬉しそうに笑った。「情報密度が上がってる!」

ミラがノートに絵を描いた。友達同士が矢印で繋がり、その上に「compressed communication」と書かれている。

「でも」葵が注意した。「圧縮しすぎると、誤解が生まれる」

「ロッシー圧縮?」由紀が専門用語を使った。

「そう。非可逆圧縮。画像や音声では許容されるけど、正確な情報伝達では避けるべきだ」

「会話でも、省略しすぎると誤解される」

「バランスが大事。相手の理解度に応じて、情報密度を調整する」

ミラが最後に書いた。「Efficient communication = mutual understanding + compression」

「効率的なコミュニケーションは、相互理解と圧縮の組み合わせ」

葵が頷いた。「ミラは、いつも本質を一言で表現する。高密度の極みだ」

由紀がノートを見返した。「情報密度の高い会話、意識してみます」

「でも、無理に圧縮する必要はない」葵が微笑んだ。「冗長性も、時には必要だから」

「誤り訂正のため?」

「それもあるし、感情を伝えるためにも」

ミラが静かに立ち上がった。去り際、小さく手を振る。

「ミラの無言すら、高密度な情報を運んでる」由紀が言った。

「言葉以上のものを伝えることもある」葵が同意した。

窓の外では、人々が会話を交わしている。それぞれが、自分なりの情報密度で、想いを圧縮し、伝え合っている。