シャノンの情報理論（1948年）：エントロピーと信頼性を読む

記事

シャノンの論文は『ベル・システム・テクニカル・ジャーナル』の1948年7月号と10月号に掲載された。ナイキスト、ハートレーらを土台として、情報量と信頼できる通信の限界を調べた。その量はメッセージの統計的構造に関するもので、内容が真実か、意味を持つかを表すものではない。シャノンとウィーバーに関連づけられる1949年の書物は後の刊行物であり、元の論文の年代ではない。

情報エントロピーは何を測るのか

シャノンの出発点は、可能なメッセージの集合と、それぞれの確率です。すでに確実だった結果には、新たに解消すべき不確実性がありません。複数のありそうな結果を持つ情報源には、異なる記述が必要です。エントロピーは、そのような情報源に伴う平均的な不確実性を要約し、見た目のメッセージの長さを数えるだけよりも精密な比較を可能にします。

これは工学的な意味での情報です。文の重要性、正確さ、感情への影響を評価するものではありません。統計的な性質が似た二つの情報源でも、まったく異なる意味を運ぶことがあります。これらの問いを分けることで、人々が話す主題ごとに別の説明を作るのではなく、異なる種類の信号に適用できる一般理論を発展させられました。

通信路に雑音があるとき、符号化が重要なのはなぜか

通信システムは、伝送のためにメッセージを表現し、受信側でそれを復元しなければなりません。雑音によって受信信号が変わることがあります。通信路容量は、仮定した通信路の条件のもとで、情報を信頼性を保って伝えられる速度の限界を表します。したがって、伝送速度を上げるだけでは、よりよい通信システムを十分に説明できません。

符号化は表現を変え、ある程度の乱れがあっても、受信側がメッセージを復元できるようにします。シャノンの結果は、適切な容量限界より低い速度で、適切な符号を使い、ブロック長を長くすれば、誤り率を任意に小さくできる可能性を示しました。すべての短いメッセージ、有限長の符号、実際の接続が無誤りになるという約束ではありません。効率のよい実用的な符号を見つけることは、なお工学と数学の課題でした。

理論はデジタル生活とどうつながるのか

情報源符号化と通信路符号化は、異なる問題を解きます。圧縮は情報源をより効率よく表すことを目指し、通信路の誤りへの対策では、構造化された冗長性を意図的に加える場合があります。通信システムの異なる段階で行われるなら、冗長性を取り除くことと加えることは矛盾した目的ではありません。

この区別によって、すべての実装を一つの論文に帰することなく、情報理論を後のデジタルシステムと結びつけられます。シャノンは、システムを評価するための尺度と限界を与えました。それでも研究者や技術者は、動作する符号器、復号器、ハードウェアを設計する必要がありました。長く残る貢献は、一連の結果であるとともに、システムの限界が実装に由来するのか、通信条件そのものに由来するのかを問う方法でもあります。

年代と精度

1948年（2部に分けて論文刊行） 記録された日付

記録された年・月・日に基づいて位置づけています。不明な精度を推定で補ってはいません。

地図の代表地点

マレーヒル・ベル研究所

マレーヒルのキャンパスを、ベル研究所の研究ネットワークの代表地点としている。論文に記された所属から特定の執筆室を確定することはできず、確認済みの執筆住所ではない。

代表地点の座標 · 40.6832°, -74.4°

地点は、写本の所蔵先、実験室、観測地など、一つの代表的な場所を示します。研究がそこでしか行われなかったことを意味せず、共同の発見を一つの国に帰属させるものでもありません。

参考文献

• クロード・E・シャノン | 通信の数学的理論（1948年）
• ノキア・ベル研究所 | 歴史
• MITニュース | 解説：シャノン限界

参考資料は、外部リンクなしの書誌タイトルとして表示します。個々の事実や背景を支えるもので、記事のすべての解釈を保証するものではありません。日本語版は英語版の本文を翻訳し、英語版が独立に選定した参考資料の原URLを保持しています。日本語の原資料であることや、日本語を母語とする編集者による独立した校閲が済んでいることを示すものではありません。