エントロピーとシャノン

エントロピーを調べていて、情報理論の創始者クロード・シャノンにたどり着いた。彼は記号論と数学を組み合わせて当時計算しかできなかったコンピュータに論理演算を導入した人。今ではピンと来ないけれど、1930年代のコンピュータは10進法で設計されていたらしい。だがシャノンの修士論文『A Symbolic Analysis of Relay and Switching Circuits(継電器とスイッチ回路の記号論的解析)』(1936)でスイッチのオン・オフが記号論における真・偽に対応することを指摘して、コンピュータに2進法を組み入れることを提唱した。

なんだか面白い話。僕は少し誤解していたところがある。よく人間の思考とコンピュータの類似性が取り上げられているけど、コンピュータの創成期に組み入れられた2進法は、人間の価値判断である真・偽による二項対立がモデルだったなんて。偶然ではなくちゃんとした起源があったわけだ。





さてエントロピーとシャノンの関連は情報エントロピーという発想。エントロピーは熱力学第二法則の重要なタームで、便宜的に言えば、「乱雑さ」の度合いを示すもの。もっと正確に言えば、二つの極のどちらとも言えないあいまいさ、もしくは「平均」の値である。例で示してみよう。コップに満たされた水の中に一滴のインクをたらすと、最初のうちは形を保っているが(エントロピー少)、次第に分散していき(エントロピー増大)、やがて全体にいきわたる(エントロピー最大値)。この考えは元々熱力学の領域だったが、それを情報理論に組み込んだのがシャノンだった。人物Aが人物Bに情報を伝えようとする場合、その情報の伝わり具合の平均を求めるときに、エントロピーが用いられた。つまり、誰かに何か話をして、相手が怪訝な顔をしたとすれば、僕の発した情報エントロピーは増大していることになるのだ。

そんなエントロピーと情報の関係を、シャノンが論文にまとめているらしい。「A Mathematical Theory of Communication (コミュニケーションの数学的理論)」。明治図書出版から1969年に邦訳が出ているようだ。ぜひ読みたい。

b0041761_0581756.jpg

[PR]
by jaro050 | 2005-11-04 04:32 | 雑記
<< 横浜トリエンナーレ 爆音ゴダール >>