Chain ルールにもいろいろある

【 Chain ルールにもいろいろある】

セミナーの構成、変更しました。

　第一部シャノン・エントロピーの基本的な性質について
　第二部シャノンが考えたことを振り返る
　第三部現代のエントロピー論の発展

このセッションから、第三部に入ります。

第二部では、シャノン・エントロピーについてシャノンが考えてきたことを見てきたのですが、第三部では、現代のエントロピー論の動向を紹介していきます。

第二部と第三部をつなぐ上で重要な役割を果たすのが、「Chainルール」です。

「Chain ルールとは何か？」と書いたのですが、ここで触れられているのは、エントロピーの世界のChain ルールのことです。わざわざこういう断りをいれるのは、実は、さまざまな異なる「Chainルール」があるからです。エントロピーの世界の Chain ルールは、むしろマイナーな存在かも知れません。

多分、一番メジャーな Chain ルールは、微分の世界の

Chain ルールだと思います。こういうやつです。

　h(x) = f(g(x)) の時、h'(x) = f'(g(x))・g'(x)

別の形で書くと、y=f(u), u=g(x) として、

　dy/dx = dy/du・du/dx

になります。

例えば、√(x^2+x+1) を微分しようと思ったら、f(u)=u^(1/2), g(x)=x^2+x+1 として、f'(u)=(1/2)u^(-1/2), g'(x)=2x+1 としてChain ルールを適用すればいいわけです。

Wikipediaによると（文句言ったけど、結構、Wikipedia 愛用しています）、この形の Chain ルールは、ライプニッツが初めて使ったらしいのですが、100年後のオイラーは、Chainルールを使った形跡はないと言います。いつからメジャーになったのでしょう？

もう一つ、メジャーと言っていいChainルールがあります。それは、確率の世界のChainルールです。

確率変数 A, Bがあったとします。この二つの変数を一緒に考えた時、その確率を P(A, B)で表します。この時、次の式が成り立ちます。

　P( A, B ) = P( A | B )・P(B)

これも、Chain ルールといいます。

ここで、P( A | B )という確率は、「条件付き確率」と言われるもので、事象 Bが起きたという条件の下での、事象 A の確率を表しています。

　P( A | B ) = P(A, B) / P(B) とも書けますね。

ですので、Chain ルールは、次のようにも書けます。

　P( A, B ) = P( B | A )・P(A)

先の式と合わせて、次の式が成り立つことがわかります。

　P( A | B ) = P( B | A )・P(A) / P(B)

これは、「ベイズの式」と呼ばれるものですね。ここから、「ベイズ推論」や「相対エントロピー」の世界が広がっていきます。確率の世界の Chain ルールも、基本的なものだということがわかります。

上で見たの三つの「Chain ルール」は、名前は一緒ですが、生まれも育ちも別のものです。

　・エントロピーの世界の「Chain ルール」
　・微分の世界の「Chain ルール」
　・確率の世界の「Chain ルール」

ただ、現代のエントロピー論が興味深いのは、これらの「Chain ルール」の根底に、共通なものを見つけだしつつあるということだと思います。

それについては、おいおい述べていきたいと思います。

5/28 マルゼミ「エントロピー論の現在」のまとめページを作りました。ほぼ毎日更新されると思います。ご利用ください。https://www.marulabo.net/docs/info-entropy5/

5/28 マルゼミの申し込みページを作成しました。
https://entropy-theory.peatix.com/

お申し込みお待ちしています。　

過去・現在・未来