フォン・ノイマンとエントロピー

ボルツマンのエントロピーの式
　
　S = k log W
　
を見ると、あることに気づく。

Wは、ミクロな状態の「数」だというのだから、log W は、ある整数の対数を取ったもの。W=1の時、 log 1 = 0 だから S = 0となるが、次の値は、W=2の時で、S = k log 2。その次は、S = k log 3である。この式で表されるエントロピーの値は、決して任意の連続な値をとるわけではない。

現在の目から見れば、この式は、エントロピーの離散的で「量子論的」性質を表していると解釈できるのだが、ボルツマンの生きた19世紀には、量子論はまだなかった。量子論は、彼が、マッハらに攻撃された「原子論」の、自然な帰結なのだということも、よくわかる。

同時に、この時代には、エントロピーの離散的な解釈を与える、シャノンの情報理論も存在していない。不思議な関係式だ。

エントロピーの量子論的定式化を行ったのは、フォン・ノイマンである。もちろん、シャノンの登場のはるか以前である。驚くほどの慧眼である。

すでに、1932年の「量子力学の数学的基礎」の中で、次のようなエントロピーの定式化を与えている。
　
　S = - Tr ( ρ log ρ )
　
ここで、ρ は密度行列、Trは行列のTrace（対角要素の和をとったもの）である。この式の説明は、別の機会にゆずるが、ギブスの与えた密度関数 ρ を用いたエントロピーの式と、基本的には同じ形をしている。（ΣもTrも、和をとる演算である）
　
　S = - Σ ( ρ log ρ )
　
エントロピーの歴史の中で、フォン・ノイマンは、エントロピーの量子化だけでなく、もう一つの重要な「貢献」をしている。

1940年、それまでの熱力学的エントロピー概念の系譜とは全く独立にシャノンが発見した「不確実さの関数」＝「情報量」の概念に、「エントロピー」という名前をつけることを勧めたのは、フォン・ノイマンだと言われている。https://goo.gl/Lkm98X

「あなたは、それをエントロピーと呼ぶべきだ。二つ理由がある。第一に、あなたの不確実さの関数は、統計力学の中では、その名前で利用されてきていて、既に名前があるのだから。第二に、もっと重要なことなのだが、誰もエントロピーが実際に何であるかを、実は知っていないのだ。だから、論争では、あなたはいつも有利な立場にいられる。」

図は、生まれたばかりのシャノンの赤ん坊に「エントロピー」というキラキラ名をつけることを勧めるフォン・ノイマン。