フォン・ノイマンとエントロピー



ボルツマンのエントロピーの式
 
 S = k log W
 
を見ると、あることに気づく。
Wは、ミクロな状態の「数」だというのだから、log W は、ある整数の対数を取ったもの。W=1の時、 log 1 = 0 だから S = 0となるが、次の値は、W=2の時で、S = k log 2。その次は、S = k log 3である。この式で表されるエントロピーの値は、決して任意の連続な値をとるわけではない。
現在の目から見れば、この式は、エントロピーの離散的で「量子論的」性質を表していると解釈できるのだが、ボルツマンの生きた19世紀には、量子論はまだなかった。量子論は、彼が、マッハらに攻撃された「原子論」の、自然な帰結なのだということも、よくわかる。
同時に、この時代には、エントロピーの離散的な解釈を与える、シャノンの情報理論も存在していない。不思議な関係式だ。
エントロピーの量子論的定式化を行ったのは、フォン・ノイマンである。もちろん、シャノンの登場のはるか以前である。驚くほどの慧眼である。
すでに、1932年の「量子力学の数学的基礎」の中で、次のようなエントロピーの定式化を与えている。
 
 S = - Tr ( ρ log ρ )
 
ここで、ρ は密度行列、Trは行列のTrace(対角要素の和をとったもの)である。この式の説明は、別の機会にゆずるが、ギブスの与えた密度関数 ρ を用いたエントロピーの式と、基本的には同じ形をしている。(ΣもTrも、和をとる演算である)
 
 S = - Σ ( ρ log ρ )
 
エントロピーの歴史の中で、フォン・ノイマンは、エントロピーの量子化だけでなく、もう一つの重要な「貢献」をしている。
1940年、それまでの熱力学的エントロピー概念の系譜とは全く独立にシャノンが発見した「不確実さの関数」=「情報量」の概念に、「エントロピー」という名前をつけることを勧めたのは、フォン・ノイマンだと言われている。https://goo.gl/Lkm98X
「あなたは、それをエントロピーと呼ぶべきだ。二つ理由がある。第一に、あなたの不確実さの関数は、統計力学の中では、その名前で利用されてきていて、既に名前があるのだから。第二に、もっと重要なことなのだが、誰もエントロピーが実際に何であるかを、実は知っていないのだ。だから、論争では、あなたはいつも有利な立場にいられる。」
図は、生まれたばかりのシャノンの赤ん坊に「エントロピー」というキラキラ名をつけることを勧めるフォン・ノイマン。

コメント

このブログの人気の投稿

Google翻訳での日本語の点数の低さについて

誕生日

TPU論文の翻訳(1)