ユキとアオイの情報探検記

通信チャネルの基本的な限界と、情報がどれだけ流れるかを決定するものについて学ぶ。

  • #channel capacity
  • #Shannon limit
  • #noisy channel
  • #mutual information

「今日は二人だけですね」

由紀は部室の窓を開けた。秋の風が心地よい。

「たまには、ゆっくり基礎を固めよう」葵がお茶を淹れながら言った。

「実は、まだよく分かってないことがあって」

「何?」

「通信路容量って、結局何なんですか?」

葵が席に座り、ノートを開いた。「簡単に言えば、通信路が伝えられる情報の最大レート」

「レート?」

「単位時間あたりのビット数。例えば、1秒間に最大100ビット送れる通信路なら、容量は100bps」

由紀が考えた。「でも、ノイズがあったら?」

「鋭い。ノイズがあると、容量は減る。でも、ゼロにはならない」

葵は図を描いた。

「送信側→通信路(ノイズ付き)→受信側」

「シャノンが証明したのは、容量以下のレートなら、誤り確率をほぼゼロにできること」

「でも、ノイズで情報が壊れるのに?」

「誤り訂正符号を使う。適切に設計すれば、どんなにノイズがあっても、容量まで到達できる」

由紀が驚いた。「それって、魔法みたいですね」

「数学の魔法だ。ただし、容量を超えるレートでは、どんな符号でも誤りを避けられない」

「シャノン限界…」

「そう。これが通信理論の最も重要な定理だ」

由紀がお茶を飲みながら尋ねた。「容量は、どうやって計算するんですか?」

「相互情報量の最大値。C = max I(X;Y)」

「相互情報量?」

「送信Xと受信Yが、どれだけ情報を共有しているか。完璧な通信ならI(X;Y)=H(X)。ノイズがあると減る」

葵は例を書いた。

「2値通信路で、確率pで誤るとする。容量は1 - H(p)ビット」

「pが0なら、容量は1ビット。pが0.5なら、容量はゼロ」

「完全にランダムだと、情報が伝わらない」由紀が納得した。

「でも、pが0.5より大きくても、容量は正になる」

「え?半分以上間違えても?」

「ビットを反転させればいい。誤りが多いという情報自体が、実は情報だ」

由紀が笑った。「なるほど!逆転の発想」

二人は静かに計算を続けた。

「葵先輩」由紀がふと言った。「情報理論って、探検みたいですね」

「探検?」

「限界がどこにあるか分からない。でも、少しずつ見えてくる。今日も新しい景色を見た気がします」

葵が微笑んだ。「良い比喩だ。シャノンも、未知の領域を探検していた」

「私たちも、その道をたどってるんですね」

「そう。教科書の式も、昔は誰かの大発見だった」

由紀がノートに書いた。「通信路容量:情報が流れる川の幅」

「いい例えだ」

「ノイズは岩や障害物。でも、流れ方を工夫すれば、水は通る」

「誤り訂正符号が、その工夫」

窓の外で、鳥が鳴いた。

「次は、どこを探検しましょうか?」由紀が目を輝かせた。

「レート歪み理論。容量の双対概念だ」

「楽しみです」

葵がお茶を注ぎ足した。「情報理論の探検は、まだ始まったばかりだ」

二人の探検記は続く。通信路の奥深くへ。