アルゴリズム論的情報理論への分配関数Zの応用

【 アルゴリズム論的情報理論への分配関数Zの応用 】

https://youtu.be/9Jnjz2qQULs?list=PLQIrJ0f9gMcOWKDmKxI3aJ6UYf6gaPa2K

先に見たのは、系のエネルギーEが、各部分系に\(𝐸_𝑖\)として分配されているとして、エントロピーが最大になる条件を求めるものでした。

確率が、
$$p_i = \frac{1}{Z}e^{−βE_i } $$
で与えられる時、
分配関数Zは　
$$Z = \sum  e^{−βE_i } $$
になります。

先にプログラムxの確率を次のように定義しました。
$$q_x = \frac{1}{Z}e^{−V(x) } $$

実は、プログラムの確率がこの形をしているという積極的な理由があるわけではありません。

ただ、次のような形を作れば、熱力学の手法が応用できるというのが、この形を選んだ一番大きな理由です。
　　\(p_x = \frac{1}{Z} e^{−γV(x) }  \)
　　\(Z = \sum e^{−γV(x) }  \)

この\(𝑝_𝑥\) と𝑍に、次のような解釈を与えることができます。

プログラムの集合上の確率分布Pのエントロピーを最大にする条件を考えます。拘束条件が、プログラムの長さだとすれば、その答えは、次のようになります。
$$p_x = \frac{1}{Z} e^{−γV(x) } $$
ここで、次のZが、\(p_x\)の和が1となること、すなわち、 \(p_x\)が確率であることを保証します。
$$Z = \sum e^{−γV(x) } $$
先の \(q_x\) は、\(𝛾 = ln⁡ 2\)  と置いたものです。

こうした、確率変数 \(p_x\) と分配関数Zの関係は、一般的なものです。

今まで、拘束条件として、EやVの期待値を一つだけとってきたのですが、複数の観測の期待値から、同じような導出が可能です。
$$p_x = \frac{1}{Z} e^{−βE(x)−γV(x)−δN(x) } $$
ここでは、次のZが、\(p_x\) の和が1となること、すなわち、 \(p_x\) が確率であることを保証します。

$$Z = \sum  e^{−βE(x)−γV(x)−δN(x) }   $$

-----------

ショートムービーのpdfファイルは、次から利用できます。https://drive.google.com/file/d/1wAjN6jSOaC6lV2M5NwobmCznIKMkoy2d/view?usp=sharing

セミナー「コロモゴロフ複雑性とアルゴリズム論的情報理」のまとめページは、こちらです。https://www.marulabo.net/docs/info-entropy4/

セミナーのAgendaはこちらです。https://maruyama097.blogspot.com/2021/09/agenda-93.html

セミナーへのお申し込みは、次のサイトからお願いします。https://info-entropy4.peatix.com/view