簡潔なのにはワケがある

【 簡潔なのにはワケがある 】

今回のセミナーでは、シャノン・エントロピーの式が、どのような「条件」が与えられれば導出できるのかを見てきたのですが、バエズの定式化が一番簡潔なように思います。

改めて、もう一度見ておきましょう。

　1.  𝐹( 𝑓∘𝑔 ) = 𝐹(𝑓) + 𝐹(𝑔)
　2.  𝐹(𝜆𝑓 + (1−𝜆)𝑔) = 𝜆𝐹(𝑓) + (1−𝜆)𝐹(𝑔)
　3.  𝐹は、連続的である

どれも、わりと自然な形をしています。

これと比べると、シャノンの証明に出てくる A(s^m) = mA(s)という関数等式は見慣れないものでしたし、Faddeev-Leinsterらのchainルールは、たくさんの変数と総和記号をふくんだ複雑な式でした。

この三つの条件だけで、あの奇妙な形のシャノン・エントロピーの式が導かれるというのは、にわかには信じられない気がします。

バエズのこの仕事の最大のポイントは、「エントロピーは、Functor に他ならない」と喝破したことにあります。

「どこにも、そんなこと書いてないじゃないか」と思われたかもしれません。実は、条件1. の 𝐹( 𝑓∘𝑔 ) = 𝐹(𝑓) + 𝐹(𝑔) がFはFunctor であることを主張しています。

カテゴリー論の教科書には、Functor Fの要件として 𝐹( 𝑓 ∘ 𝑔 ) = 𝐹(𝑓) ∘ 𝐹(𝑔) というのがあると思いますが、条件1.は、この要件の射の合成を表す右辺の '∘'が'+'に代わったものです。なぜなら、Functor F のdomainとなるカテゴリーでは、射の合成は和で定義されているからです。

ですので、バエズの三つの「条件」は、次のように言い換えることができます。

　1'.  Fは、Functor である
　2'   Fは、線形（convex linear）なFunctorである
　3'   Fは、連続的なFunctorである

バエズの定義が簡潔なのには、訳がありました。それは、カテゴリー論を利用しているからです。それにしても、この条件だけから、シャノン・エントロピーの定義が導けるというのは驚きです。

Leinster は、エントロピー論にとってのカテゴリー論の威力と魅力について、こういう言い方をしています。

「入力に、シンプレックス(∆_𝑛)と実数軸が与えられれば、出力にシャノン・エントロピーの概念を返す、一般的な能力を持つカテゴリー論的マシンが存在する！」

素晴らしい！

ショートムービー：

https://youtu.be/QnLNRkZrBVA?list=PLQIrJ0f9gMcO_b7tZmh80ZE1T4QqAqL-A

ショートムービーのpdf:

https://drive.google.com/file/d/1Xg_YeVWmL3lgkTdQ1Z8DsZHMMNSXvy6l/view?usp=sharing

5/28 マルゼミ「エントロピー論の現在」のまとめページを作りました。ほぼ毎日更新されると思います。ご利用ください。https://www.marulabo.net/docs/info-entropy5/

5/28 マルゼミの申し込みページを作成しました。

https://entropy-theory.peatix.com/

お申し込みお待ちしています。