過去・現在・未来

【 バエズはバエズのいとこ 】 John Baez は、僕が今最も注目している数理物理学者の一人です。 John Baez は、少し歳は離れているのですが、60~70年代に活躍した歌手 Joan Baez のイトコです。「フォークの女王」といわれたジョーン・バエズ 知らないかな？ しらないかもね。 スティーブ・ジョブスは知ってますね。ジョーン・バエズは、スティーブ・ジョブスの恋人でした（と、wikipedia に書いています）。 歌手ジョーン・バエズのお父さんは、X線顕微鏡を開発した技術者・研究者でした。ジョン・バエズは、子供時代、この科学者のおじさんに強い影響を受けたそうです。 21世紀のエントロピー論は、ジョン・バエズによって、新しい段階に入ります。 今回のセッションから、ジョン・バエズらによる新しいエントロピー論の紹介を始めます。2011年の論文 “A Characterization of Entropy in Terms of Information Loss” https://arxiv.org/pdf/1106.1791.pdf   を見ていこうと思います。 ショートムービー： https://youtu.be/2S1tWhe5XoY?list=PLQIrJ0f9gMcO_b7tZmh80ZE1T4QqAqL-A ショートムービーのpdf: https://drive.google.com/file/d/1Ugd6tvNhBtd8FQoaG2wkvrePQHpZ94g_/view?usp=sharing 5/28 マルゼミ「エントロピー論の現在」のまとめページを作りました。ほぼ毎日更新されると思います。ご利用ください。 https://www.marulabo.net/docs/info-entropy5/ 5/28 マルゼミの申し込みページを作成しました。 https://entropy-theory.peatix.com/ お申し込みお待ちしています。　

【 スマートなChainルールの証明？ 】 前回は、ある関数が、連続でかつChain ルールを満たすならば、その関数はシャノン・エントロピーに等しいと言えるというLeinsterの定理を紹介しました。ただ、その証明は、少し面倒です。 ただ、その逆、シャノン・エントロピーの定義から出発して、それがChain ルールを満たすことを示すのは容易です。（シャノン・エントロピーが、連続であるのは、ほとんど自明です。） ここでは、シャノン・エントロピーは、確率分布の合成に関してChainルールを満たすことを示してみようと思います。 ただ、∂(𝑥)=−𝑥𝑙𝑜𝑔(𝑥) という関数∂を導入して、少しスマートな証明を目指しています。 この関数∂は、次のような性質を持っています。 　1.  確率分布 p(p1, p2, ... , pn)のシャノン・エントロピーH(p)は、次の式で表すことができます。 　　H(p) = Σ ∂(pi) 　2. ∂(𝑥y) = ∂(𝑥)y + x∂(y) 二番目の性質が面白いですね。微分のChainルールのようにも見えるのですが、関数∂の定義は、微分とは直接の関係はありません。「スマートな証明」の為の単なる関数への置き換えです。 ところが、最近になって、T. Bradley はこの ∂ が実際にある数学的対象の「微分」になっていることを発見します。数学の対象は山ほどありますので、たまたま何かの「微分」に∂がなっていたとしても「そんなこともあるだろう」ぐらいの話に思われるかも知れません。 ただ彼女が見つけたのは、operad of simplexという、極めて一般的な数学的対象の「微分」に∂ がなっているということでした。しかもその値は、シャノンのエントロピーによって与えられるというのです。 Operadは、代数を抽象化した理論です。Simplexはトポロジーの基本概念の一つです。いずれも、情報理論とは直接には関係のなかった領域です。そこに、突然、シャノン・エントロピーが出現したのです。それが、現在、話題になっている「Operadの微分としてのエントロピー」という議論です。 T. Bradley, Entropy as a Topological Operad Derivation https://arxiv.org/pdf/2107.095

【 驚くべく発見 】 シャノンが、「三つの条件」から、シャノン・エントロピーHの式を導いたことは、既に見てきました。 その後も、シャノン・エントロピーHの式を導く、数学的「条件」は何かという研究が行われます。代表的な研究は、Faddeev のものです。彼は、シャノンの「三つの条件」とは違った「三つの公理」から出発して、シャノン・エントロピーの式を導くことに成功します。 Faddeevの仕事で注目すべきことは、シャノンの「三つ目の条件」に含まれていた、「エントロピー＝不確実さ」を生み出すある「選択」を、二つの「選択」の「連鎖」に分解することができるなら、エントロピーの新しい量的規定が得られるというというアイデアに、明確な定式化を与えたことです。それがChain ルールです。 ただ、シャノン・エントロピーHの式を導く、数学的「条件」の研究は、これで終わったわけではありません。 21世紀に入って、Tom Leinster は、Faddeevの条件から出発して、さらに、次のことを証明します。 　「確率分布を実数に写す関数 Iが、 　　連続でChainルールを満たすなら、 　　I は、シャノン・エントロピーH 　　の定数倍である。」 要するに、シャノン・エントロピーの式Hは、連続性とChainルールによって、一意に特徴づけられるのです。驚くべき発見です。 対数を含まないChainルールの式を見ても、そこに対数を含むシャノン・エントロピーが隠れているようには見えません。ところがそうではないのです。ちょっと不思議な気がします。 ショートムービー： https://youtu.be/rHtI99EpGzQ?list=PLQIrJ0f9gMcO_b7tZmh80ZE1T4QqAqL-A ショートムービーのpdf: https://maruyama097.blogspot.com/2022/05/blog-post_21.html 5/28 マルゼミ「エントロピー論の現在」のまとめページを作りました。ほぼ毎日更新されると思います。ご利用ください。 https://www.marulabo.net/docs/info-entropy5/ 5/28 マルゼミの申し込みページを作成しました。 https://entropy-theory.peatix.com/ お申し込みお待ちしています。　

【 Chain ルールにもいろいろある 】 セミナーの構成、変更しました。 　第一部 シャノン・エントロピーの基本的な性質について 　第二部 シャノンが考えたことを振り返る 　第三部 現代のエントロピー論の発展 このセッションから、第三部に入ります。 第二部では、シャノン・エントロピーについてシャノンが考えてきたことを見てきたのですが、第三部では、現代のエントロピー論の動向を紹介していきます。 第二部と第三部をつなぐ上で重要な役割を果たすのが、「Chainルール」です。 「Chain ルールとは何か？」と書いたのですが、ここで触れられているのは、エントロピーの世界のChain ルールのことです。わざわざこういう断りをいれるのは、実は、さまざまな異なる「Chainルール」があるからです。エントロピーの世界の Chain ルールは、むしろマイナーな存在かも知れません。 多分、一番メジャーな Chain ルールは、微分の世界の Chain ルールだと思います。こういうやつです。 　h(x) = f(g(x)) の時、h'(x) = f'(g(x))・g'(x) 別の形で書くと、y=f(u),  u=g(x) として、 　dy/dx = dy/du・du/dx になります。 例えば、√(x^2+x+1) を微分しようと思ったら、f(u)=u^(1/2),  g(x)=x^2+x+1 として、f'(u)=(1/2)u^(-1/2), g'(x)=2x+1 としてChain ルールを適用すればいいわけです。  Wikipediaによると（文句言ったけど、結構、Wikipedia 愛用しています）、この形の Chain ルールは、ライプニッツが初めて使ったらしいのですが、100年後のオイラーは、Chainルールを使った形跡はないと言います。いつからメジャーになったのでしょう？ もう一つ、メジャーと言っていいChainルールがあります。それは、確率の世界のChainルールです。 確率変数 A, Bがあったとします。この二つの変数を一緒に考えた時、その確率を P(A, B)で表します。 この時、次の式が成り立ちます。 　P( A, B ) = P( A | B )・P(B) これも、Chain ルールといいます。 ここで、P( A | B )と

シャノンは、先のセッションで証明した $A(n) = Klog(n)$ の式から、エントロピーの式を導き出します。シャノンの推論を追いかけてみましょう。 n 個の自然数 $n_i$ が与えられた時、$\sum n_i = N$ とすれば、$p_i = n_i / N$ として、ある確率分布を得ることができます。この確率分布のエントロピーは、$H( p_1, p_2, \dots ,  p_n)$ で表すことができます。 まず、このn個の可能性から i番目を選んで（その確率は、$p_i $）で、続いて、等確率 $1/n_i $の選択を行うことにしましょう。これがルールです。 このルールのもとでは、ある二つの連続した選択が行われる確率は、$p_i \times 1/n_i = n_i/N \times n_i =1/N $になります。どの i を選んでも、その後に等確率 $1/n_i$ の選択が続くのなら、二つの選択が連続してなされる確率は、等しく、$1/N$ になります。 このルールのもとでは、二番目の等確率 $1/n_i $の選択には、$n_i $ 個の可能性があります。ですから、二つの選択が連続してなされる場合の数は、$n_1 + n_2 + ... + n_n = \sum n_i = N$ となります。 このことは、N個の可能性から等確率の$1/N$を選ぶ選択は、n個から確率$p_i $で一つを選ぶ選択と、$n_i$ 個から等確率の$1/n_i $を選ぶ選択に分解できることを示しています。 「条件 (3)」を使えば、このことは、次の式が成り立つことを意味します。 $$A(N) = H( p_1, p_2, \dots ,  p_n) + p_1 A(n_1) + p_2 A(n_2) + \dots + p_n A(n_n)$$ ここで、前回のセッションで証明した $A(n) = Klog(n) $を使うと、次の式が得られます。 $$Klog(N) = H( p_1, p_2, \dots,  p_n) + p_1 Klog(n_1) + p_2 Klog(n_2) + \dots + p_n Klog(n_n)$$ これから、 $H( p_1, p_2, \dots ,  p_n)= Klog(N) - (p_1 Klog(n_1) + p_2 Klog(n

【 確率分布を木で表し、選択の継起を継ぎ木で表す 】 確率分布を木で表し、選択の継起を継ぎ木で表すという、シャノンのエントロピーが満たすべき「第三の条件」の解釈は、新しく継ぎ木する木の確率分布の全体に元木の枝の確率を重みとして掛けることで、新らしい木の表す確率分布を計算することを可能にします。 このアプローチは、見かけは簡単なのですが、強力なものです。例えば、このアプローチをつかって、前回のセッションの最後に述べた「チャレンジ」の答えを出しておきましょう。$A(mn) = A(m) + A(n)$ を示せという問題です。 次のように考えます。 $A(m)$と$A(n)$の確率分布を表す木を考えます。$A(m)$の木は  $m$個の枝を持ち、それぞれの枝は全て等しく$\frac 1{m}$ の確率を表しています。$A(n)$の木は  $n$個の枝を持ち、それぞれの枝は全て等しく $\frac 1{n}$の確率を表しています。 この$A(m)$の木の全ての枝に  $A(n)$の木を継ぎ木します。こうしてできた新しい木は、$m \times n = mn$ 個の枝を持ち、根から枝の端までの枝は、$\frac 1{m} \times \frac 1{n} =  \frac 1{mn}$ の確率を表しています。要するに、継ぎ木でできた新しい木は、$A(mn)$の確率分布を表しています。 この新しい木に、シャノンのエントロピーが満たすべき「第三の条件」を使うと、次の式が成り立つことがわかります。　 $$A(mn) = A(m) + \frac 1{m} \times A(n)  + \frac 1{m} \times A(n)  + \dots + \frac 1{m} \times A(n) = A(m) + A(n) $$ この式で、$m = n$ とすると、$A(n^2) = 2A(n)$ がわかり、$A(n^3) = 3A(n)$, ... , $A(n^m) = mA(n)$ がわかります。 このことは、前回示した、$A(n^m) = mA(n)$ よりこの式 $A(mn) = A(m) + A(n)$ の方が、基本的なものだということを示しています。 $log(xy) = log(x) + log(y)$ ですので、関数等式 $A(xy) = A(x) + A(y)

【 論文を読んで分かることと分からないこと 】 このセッションから、シャノンがどのようにしてエントロピーの式を導出したかについての解説が始まります。 情報量としてのエントロピーは、シャノンが初めて導入した概念です。全く新しい概念についての公式を導き出すというのは、どういうことなのか少し考えてみましょう。 全く新しいのだから、突然、正しい式がインスピレーションとして生まれるということがあるのかもしれません。ただそれでは、本人以外にその式の正しさを納得してもらうのは難しいことになります。 そういう時には、その新しい概念について、その概念が満たすべき性質をいくつか仮定します。その仮定は、新しい概念そのものより分かりやすく理解しやすいものを選びます。大事なことは、この仮定は証明なしで述べることができるということです。（こうした仮定を「公理」と呼ぶことがあります。）この仮定が正しいものと前提して、初めて「証明」が始まります。この「証明」自体は、その仮定にのみに基づいて、数学的に正しいものでなければなりません。 シャノンは、エントロピーHが満たすべき性質を、三つ挙げます。 第一。Hは、それを定義する確率pi について、連続的であること。（確率 pi が少しだけ変化すれば、Hも少しだけ変化するということです。） 第二。n個の事象全てが等確率で、すなわち、1/n の確率で起きる場合、エントロピーHはnについて単調に増加する。（起きるべき等確率のイベントの数nが増えれば増えるほど、どのイベントが実際に起きるかは不確実になり、「不確実さの尺度」としてのエントロピーは増加するということです。） 第三。もし選択が、連続的に行われる二つの選択に分解されるのなら、求めるHは、個々の選択のHの値の、重みづけられた和になるべきである。（エントロピーは「不確実さの尺度」だとしても、それがある「選択」によって特徴づけられているのは「確実」なことです。しかも、その「選択」は、エントロピーの量的な関係を規定しています。この「切り口」は、とても重要です。事実、シャノンの「証明」の基本的なステップで、この「第三の仮定」は重要な役割を果たすことになります。） シャノンは、この三つの仮定から、エントロピーの式が成り立つことを、数学的に「証明」します。今回のセッションで取り上げているのは、この証明の最初の部分、シャ