ボルツマン
ボルツマンの墓には、彼が発見した、次のエントロピーの式が刻まれている。 S = k log W ここで、Sはエントロピーで、kはボルツマンの定数、Wはミクロな状態の数である。 先に、なぜ、熱力学的には エネルギーを温度で割った単位を持つ量であるエントロピーが、情報の理論と結びつくのだろうかと書いたのだが、表面的には、理由は意外と簡単である。 このボルツマンの式は、エントロピーが、ミクロな状態の数の対数 log W に「比例」するという彼の偉大な発見を表しているのだが、情報の理論と結びつくのは、この log W の部分なのである。この部分は、単なる整数の対数なので、次元(単位のこと)は無い。 先の関係式で、「エネルギー 割る 温度」というエントロピーの単位(次元のこと)は、すべて、k というボルツマンの定数の中に閉じ込められている。 もしも、 k = 1 なら(実際、そういう表記をすることもある) S = log W となって、エントロピーと E/T(Joul/Kelvin)という熱力学的単位との関係は、ほとんど見えなくなる。 その意味では、ボルツマンの定数k は、熱力学的エントロピーと情報論的エントロピーを結びつける、重要な役割を持つのである。 スタンフォードの物理学講義で、サスキンドは、こんな冗談を言っていた。 「ボルツマンは、彼の定数を、誰も覚えてくれないので、それを悲しんで、自殺したんだ。」