スマートなChainルールの証明？

【スマートなChainルールの証明？】

前回は、ある関数が、連続でかつChain ルールを満たすならば、その関数はシャノン・エントロピーに等しいと言えるというLeinsterの定理を紹介しました。ただ、その証明は、少し面倒です。

ただ、その逆、シャノン・エントロピーの定義から出発して、それがChain ルールを満たすことを示すのは容易です。（シャノン・エントロピーが、連続であるのは、ほとんど自明です。）

ここでは、シャノン・エントロピーは、確率分布の合成に関してChainルールを満たすことを示してみようと思います。

ただ、∂(𝑥)=−𝑥𝑙𝑜𝑔(𝑥) という関数∂を導入して、少しスマートな証明を目指しています。

この関数∂は、次のような性質を持っています。

　1. 確率分布 p(p1, p2, ... , pn)のシャノン・エントロピーH(p)は、次の式で表すことができます。
　　H(p) = Σ ∂(pi)

　2. ∂(𝑥y) = ∂(𝑥)y + x∂(y)

二番目の性質が面白いですね。微分のChainルールのようにも見えるのですが、関数∂の定義は、微分とは直接の関係はありません。「スマートな証明」の為の単なる関数への置き換えです。

ところが、最近になって、T. Bradley はこの ∂ が実際にある数学的対象の「微分」になっていることを発見します。数学の対象は山ほどありますので、たまたま何かの「微分」に∂がなっていたとしても「そんなこともあるだろう」ぐらいの話に思われるかも知れません。

ただ彼女が見つけたのは、operad of simplexという、極めて一般的な数学的対象の「微分」に∂ がなっているということでした。しかもその値は、シャノンのエントロピーによって与えられるというのです。

Operadは、代数を抽象化した理論です。Simplexはトポロジーの基本概念の一つです。いずれも、情報理論とは直接には関係のなかった領域です。そこに、突然、シャノン・エントロピーが出現したのです。それが、現在、話題になっている「Operadの微分としてのエントロピー」という議論です。

T. Bradley, Entropy as a Topological Operad Derivation
https://arxiv.org/pdf/2107.09581v2.pdf

ショートムービー：
https://youtu.be/Fj82OxN5FuY?list=PLQIrJ0f9gMcO_b7tZmh80ZE1T4QqAqL-A

ショートムービーのpdf:
https://drive.google.com/file/d/1UHtzIDhVc8TOgnvuXJILR9WAdYIWBHL-/view?usp=sharing

5/28 マルゼミ「エントロピー論の現在」のまとめページを作りました。ほぼ毎日更新されると思います。ご利用ください。https://www.marulabo.net/docs/info-entropy5/

5/28 マルゼミの申し込みページを作成しました。
https://entropy-theory.peatix.com/

お申し込みお待ちしています。　

過去・現在・未来