過去・現在・未来

【 あとのまつり】 先日「エントロピー論の現在」というセミナーを終えたばかりなのですが、いくつかのトピックを積み残してしまいました。 このセミナーは、"Entropy as a Functor" という新しいエントロピー論を展開したBaezの仕事の紹介で終わっているのですが、実は、ここからさまざまな動きが生まれてきます。本当は、「エントロピー論の現在」で注目すべきなのは、そうした動きなのですが ... 「あとのまつり」ですが、「エントロピー論の現在・補遺」として、エントロピー論へのカテゴリー論の応用を中心に、いくつかのトピックの紹介を、すこしのあいだ続けたいと思っています。 【 エントロピー概念の一般化 】 Boltzmann-Gibbs-Shannonらが作り上げたエントロピー概念は、驚くべき生命力を持っています。ただ、それをより一般化しようという試みも存在します。もっとも、そうした一般化によって、17世紀に始まった古典力学が、20世紀には量子論・相対論に置き換わったようなパラダイムの転換が、エントロピー論の世界で起きた訳ではありません。 エントロピー論がこれまで経験した認識の最大の飛躍は、熱力学的エントロピーと情報論的エントロピーの「同一性」の認識です。それは、エントロピー概念の拡大・一般化というよりはむしろ、エントロピーの「遍在」の認識なのですが、極めて重要な意味を持っています。それは、エントロピー論ばかりではなく、新しい自然認識の基礎となっていくと思います。 エントロピー概念の一般化としては、Tsallis エントロピーやRényiエントロピーというものがあります。今回は、Tsallis エントロピーを紹介します。見かけは随分Shannonエントロピーとは異なっています。 意外なことに、Tsallis エントロピーは、Shannonエントロピーを導出した全く同一の「カテゴリー・マシン」で（パラメータをすこし変えるだけで）、導出できるのです。 YouTubeはこちら https://youtu.be/NQHt0UkzyiY?list=PLQIrJ0f9gMcPcLv9Xw1F4OnNfO1d9lxxh スライドのpdf版は、こちらからアクセスできます。 https://drive.google.com/file/d/1ZwwP5VXOJuZ

【「String Diagram を学ぶ」の講演ビデオ公開しました 】 MaruLaboでは、以前に行ったセミナーの講演ビデオを公開しています。 今回は、2月26日に開催した マルゼミ「String Diagramを学ぶ -- カテゴリー論入門 (1)」の講演ビデオの公開です。 このセミナーは、基本的には、Bob CoeckeとAleks Kissingerの "Picturing quantum processes -- a first course in quantum theory and diagrammatic reasoning"の第一章から第四章までの内容を紹介したものです。（同書の日本語訳のタイトルは、「圏論的量子力学入門」になっています。） カテゴリー論に興味がある方は、「量子過程を図解する」という本書のアプローチは、とても刺激的なものだと思います。そこでは、カテゴリー論の特徴を「プロセス」に注目して「図形を使って考える (diagrammatic reasoning)」ものとして捉えています。その中心的なツールが「String Diagram」です。 この本にこめたBob Coeckeらのメッセージは、カテゴリー論はけっして一般に思われているように難解なものではなく、量子論への応用にしても、String Diagram の図形的直観に依拠してその基本的な部分は理解できるというものだと、僕は考えています。 今回公開したコンテンツは、次のものです。カテゴリー論に興味のある方、是非、ご利用ください。 講演資料： 「String Diagramを学ぶ -- カテゴリー論入門 (1)」 https://drive.google.com/file/d/1lTcbilWdpdJZUHeyV-DnPHS8XKA18R7O/view?usp=sharing 講演ビデオ再生リスト： https://www.youtube.com/playlist?list=PLQIrJ0f9gMcMaLQW9zspppyP1RECc4Hqv この再生リスト「String Diagram を学ぶ」は、次の四つのビデオから構成されています。 ●  第1部 「String Diagramの基本」 https://youtu.be/6dqg5YAEMdw?list=PL

【 エントロピーには、興味がない？ 】 5/27 マルゼミ「エントロピー論の現在」は、明日 19:00 開催です。 ふるってお申し込みください。お申し込みは、次のサイトからお願いします。https://entropy-theory.peatix.com/ セミナーの解説資料をまとめたページはこちらです。 https://www.marulabo.net/docs/info-entropy5/ このセミナーに関するblogの記事（基本的にはFacebookへの投稿と同じものです）も、このページから読めるようにしました。YouTubeへの投稿とは、少し違った切り口になっていると思います。こちらのほうが読みやすいかも。どうぞ、ご利用ください。 「エントロピー論の現在というけど、エントロピーに現代的な意味なんかあるの？」 という声が聞こえてきそうです。 確かに、現代は、蒸気機関の時代でも、電信・電話の時代でもありません。ただ、セミナーのお誘いには、次のように書きました。 「しかし、その見かけ上の抽象性にもかかわらず、エントロピーについての認識は、振り返ってみれば、つねにその時代の現実的で技術的な課題と深く結びついていたことには、特別の注意が必要です。」 いくつか例をあげましょう。 　● 4月に「量子情報と通信技術」というセミナーをしたのですが、現在の光通信技術の理論的基礎を作ったのが、「MaxEnt 最大エントロピー原理」を提唱し、「 Bayesian推論 」の理論を発展させた E.T.Jaynes であることは、IT技術者にはあまり知られていません。もちろん、光通信の基礎づけではMaxEnt が導きの糸になりました。いつか「光通信の基礎とエントロピー」というセミナーやりたいと思っています。 　● 物理の世界では、「量子論」と「相対論」の統一という大きな課題があるのですが、そこで注目されているのが、「エンタングルメントのエントロピー」です。この分野では、日本の物理学者が、先駆的な研究をしています。この話も、是非、セミナーでやってみたいと思っています。 　● 「量子通信」や「エンタングルメントのエントロピー」に興味がなくとも、エントロピーの問題は、現代の我々の日常生活のいろんなところに顔を出しています。「環境問題」や「生物多様性」の問題は、まさに、そうした問題です。今回のセミ

【 簡潔なのにはワケがある 】 今回のセミナーでは、シャノン・エントロピーの式が、どのような「条件」が与えられれば導出できるのかを見てきたのですが、バエズの定式化が一番簡潔なように思います。 改めて、もう一度見ておきましょう。 　1.  𝐹( 𝑓∘𝑔 ) = 𝐹(𝑓) + 𝐹(𝑔) 　2.  𝐹(𝜆𝑓 + (1−𝜆)𝑔) = 𝜆𝐹(𝑓) + (1−𝜆)𝐹(𝑔) 　3.  𝐹は、連続的である どれも、わりと自然な形をしています。 これと比べると、シャノンの証明に出てくる A(s^m) = mA(s)という関数等式は見慣れないものでしたし、Faddeev-Leinsterらのchainルールは、たくさんの変数と総和記号をふくんだ複雑な式でした。 この三つの条件だけで、あの奇妙な形のシャノン・エントロピーの式が導かれるというのは、にわかには信じられない気がします。 バエズのこの仕事の最大のポイントは、「エントロピーは、Functor に他ならない」と喝破したことにあります。 「どこにも、そんなこと書いてないじゃないか」と思われたかもしれません。実は、条件1. の 𝐹( 𝑓∘𝑔 ) = 𝐹(𝑓) + 𝐹(𝑔) がFはFunctor であることを主張しています。 カテゴリー論の教科書には、Functor Fの要件として 𝐹( 𝑓 ∘ 𝑔 ) = 𝐹(𝑓) ∘ 𝐹(𝑔) というのがあると思いますが、条件1.は、この要件の射の合成を表す右辺の '∘'が'+'に代わったものです。なぜなら、Functor F のdomainとなるカテゴリーでは、射の合成は和で定義されているからです。 ですので、バエズの三つの「条件」は、次のように言い換えることができます。 　1'.  Fは、Functor である 　2'   Fは、線形（convex linear）なFunctorである 　3'   Fは、連続的なFunctorである バエズの定義が簡潔なのには、訳がありました。それは、カテゴリー論を利用しているからです。それにしても、この条件だけから、シャノン・エントロピーの定義が導けるというのは驚きです。 Leinster は、エントロピー論にとってのカテゴリー論の威力と魅力

【 バエズが証明したこと 】 シャノン・エントロピー上で定義された「情報の損失」Loss を、バエズが一般化した関数Fは、次のような条件を満たすものとされました。 　1.  𝐹( 𝑓∘𝑔 ) = 𝐹(𝑓) + 𝐹(𝑔) 　2.  𝐹(𝜆𝑓 + (1−𝜆)𝑔) = 𝜆𝐹(𝑓) + (1−𝜆)𝐹(𝑔) 　3.  𝐹は、連続的である 彼は、次のことを示しました。 三つの条件を𝐹が満たすとき、全ての測度を保存する関数 𝑓 : (𝑋,𝑝) → (𝑌,𝑞)  に対して、次の式を満たす定数 𝑐≥ 0 が存在することを示すことができる。 　　𝐹(𝑓) = 𝑐𝐿𝑜𝑠𝑠(𝑓) = 𝑐(𝑆(𝑝) − 𝑆(𝑞)) ここに、S はシャノン・エントロピーである。 この定理から、彼は、シャノン・エントロピーの式を導きます。 Shannon、Faddeev - Leinster 、Baez のシャノン・エントロピーの根拠の探求は、それぞれ、とても興味深いものです。ただ、バエズのそれは、以前のそれらと比べると、出色のものです。 次回は、バエズのエントロピー論の意義を述べてみたいと思います。 ショートムービー： https://youtu.be/62miMZC6cm4?list=PLQIrJ0f9gMcO_b7tZmh80ZE1T4QqAqL-A ショートムービーのpdf: https://drive.google.com/file/d/1X5Z_80lPnsGKzxKMQVyfhGuQtABfoJd9/view?usp=sharing 5/28 マルゼミ「エントロピー論の現在」のまとめページを作りました。ほぼ毎日更新されると思います。ご利用ください。 https://www.marulabo.net/docs/info-entropy5/ 5/28 マルゼミの申し込みページを作成しました。 https://entropy-theory.peatix.com/ お申し込みお待ちしています。　

【 これまでと、これからと 】 そろそろ、セミナーのコンテンツの終わりに近づいているのですが、あらためて、この間見てきたことを振り返ろうと思います。 このセミナーの基本的な関心は、シャノン・エントロピーの不思議な形が、どうやって導かれたのかということにあります。 これまでを、振り返ってみましょう。 シャノンは、「三つの条件」から、シャノン・エントロピーの式を導びきました。本セミナーの第二部で、それを見てきました。 Faddeev と Leinster は、「連続でchainルールに従う」という条件から、シャノン・エントロピーの式を導きました。本セミナーの第三部は、その導出に導出にあてられています。 これから、予定していることは、21世紀のエントロピー論を大きく変えたバエズのエントロピー論の紹介です。 バエズは、情報プロセスでの「情報の損失」という特徴から、シャノン・エントロピーの式を導びこうとしています。セミナーの第四部では、バエズが考えたこと紹介します。 今回のセッションでは、まず、「情報の損失」がどういう性質を持つのか見ていこうと思います。 ショートムービー： https://youtu.be/FzloIjQ7uco?list=PLQIrJ0f9gMcO_b7tZmh80ZE1T4QqAqL-A ショートムービーのpdf: https://drive.google.com/file/d/1WW3kUbJX_KuYN3zoo91xEuUVQgye96a0/view?usp=sharing 5/28 マルゼミ「エントロピー論の現在」のまとめページを作りました。ほぼ毎日更新されると思います。ご利用ください。 https://www.marulabo.net/docs/info-entropy5/ 5/28 マルゼミの申し込みページを作成しました。 https://entropy-theory.peatix.com/ お申し込みお待ちしています。　

【 coarse-graining (粗視化)と「情報の損失」】 セミナーの準備を始めるまで、エントロピーのchain ルールを定式化したFaddeevを、ゲージ場のFaddeev–Popov ghostsのFaddeev だと勘違いしていた。エントロピーのFaddeevはDmitrii Faddeevで、ghostの方はLudvig Faddeevだった。 John Baezググり始めた頃、どうやっても彼の情報に辿り着かなかった。Googleが、勝手にそれは Joan Baezのことでしょうと検索の対象を変えてしまう。今は、検索がパーソナライズされてそんなことは無くなったが。Googleは僕の「好み」を知っているのだ。 僕の検索人生で一番難儀したのは、Facebookの「いいね」をカウントするシステムを調べていた時だ。そのシステムの名前がpumaであるという情報はなんとか手に入れたのだが、pumaでいくらググっても、かえってくるのはスポーツシューズの情報ばかり。 ただ、DmitriiだろうがLudvigだろうがFaddeevはFaddeevだし、JohnだろうがJoanだろうがBaezはBaezに違いはないと考えることもできる。 自分の無知や検索システムの無能さにやけになって、居直っているようにも思えるが、それだけではない。違いを捨象して同じものを見出すのは、認識にとって大事な機能だ。 それを助けているものの一つは、言語の機能である。「いいね」のシステムとスポーツシューズに共通するものはほとんどないのだが、ただ、同じ「名前」を持つことはありうるのだ。 もしも、こうした認識や言語の能力が、我々に与えられていなければ、我々は、無限の差異に圧倒されて、立ちすくむしかなくなるだろう。 大雑把に物事を捉えること、あるいは異なるものを抽象化して同一性を見出すこと、厳密にはこの二つは別のものだが、大雑把に言えば（おいおい）同じものだ。そうした大雑把な把握を、coarse graining（粗視化）という。そこで我々がおこなっていることは、元々の情報をバッサリと捨てることである。 ボルツマンは、ミクロな無数の分子の位置や運動量の情報全てから出発する。ただ、そうした相空間で部分的な平衡状態が生まれれば coarse graining を繰り返す。そこでは、個々の分子が持っていた情報

【 バエズはバエズのいとこ 】 John Baez は、僕が今最も注目している数理物理学者の一人です。 John Baez は、少し歳は離れているのですが、60~70年代に活躍した歌手 Joan Baez のイトコです。「フォークの女王」といわれたジョーン・バエズ 知らないかな？ しらないかもね。 スティーブ・ジョブスは知ってますね。ジョーン・バエズは、スティーブ・ジョブスの恋人でした（と、wikipedia に書いています）。 歌手ジョーン・バエズのお父さんは、X線顕微鏡を開発した技術者・研究者でした。ジョン・バエズは、子供時代、この科学者のおじさんに強い影響を受けたそうです。 21世紀のエントロピー論は、ジョン・バエズによって、新しい段階に入ります。 今回のセッションから、ジョン・バエズらによる新しいエントロピー論の紹介を始めます。2011年の論文 “A Characterization of Entropy in Terms of Information Loss” https://arxiv.org/pdf/1106.1791.pdf   を見ていこうと思います。 ショートムービー： https://youtu.be/2S1tWhe5XoY?list=PLQIrJ0f9gMcO_b7tZmh80ZE1T4QqAqL-A ショートムービーのpdf: https://drive.google.com/file/d/1Ugd6tvNhBtd8FQoaG2wkvrePQHpZ94g_/view?usp=sharing 5/28 マルゼミ「エントロピー論の現在」のまとめページを作りました。ほぼ毎日更新されると思います。ご利用ください。 https://www.marulabo.net/docs/info-entropy5/ 5/28 マルゼミの申し込みページを作成しました。 https://entropy-theory.peatix.com/ お申し込みお待ちしています。　

【 スマートなChainルールの証明？ 】 前回は、ある関数が、連続でかつChain ルールを満たすならば、その関数はシャノン・エントロピーに等しいと言えるというLeinsterの定理を紹介しました。ただ、その証明は、少し面倒です。 ただ、その逆、シャノン・エントロピーの定義から出発して、それがChain ルールを満たすことを示すのは容易です。（シャノン・エントロピーが、連続であるのは、ほとんど自明です。） ここでは、シャノン・エントロピーは、確率分布の合成に関してChainルールを満たすことを示してみようと思います。 ただ、∂(𝑥)=−𝑥𝑙𝑜𝑔(𝑥) という関数∂を導入して、少しスマートな証明を目指しています。 この関数∂は、次のような性質を持っています。 　1.  確率分布 p(p1, p2, ... , pn)のシャノン・エントロピーH(p)は、次の式で表すことができます。 　　H(p) = Σ ∂(pi) 　2. ∂(𝑥y) = ∂(𝑥)y + x∂(y) 二番目の性質が面白いですね。微分のChainルールのようにも見えるのですが、関数∂の定義は、微分とは直接の関係はありません。「スマートな証明」の為の単なる関数への置き換えです。 ところが、最近になって、T. Bradley はこの ∂ が実際にある数学的対象の「微分」になっていることを発見します。数学の対象は山ほどありますので、たまたま何かの「微分」に∂がなっていたとしても「そんなこともあるだろう」ぐらいの話に思われるかも知れません。 ただ彼女が見つけたのは、operad of simplexという、極めて一般的な数学的対象の「微分」に∂ がなっているということでした。しかもその値は、シャノンのエントロピーによって与えられるというのです。 Operadは、代数を抽象化した理論です。Simplexはトポロジーの基本概念の一つです。いずれも、情報理論とは直接には関係のなかった領域です。そこに、突然、シャノン・エントロピーが出現したのです。それが、現在、話題になっている「Operadの微分としてのエントロピー」という議論です。 T. Bradley, Entropy as a Topological Operad Derivation https://arxiv.org/pdf/2107.095

【 驚くべく発見 】 シャノンが、「三つの条件」から、シャノン・エントロピーHの式を導いたことは、既に見てきました。 その後も、シャノン・エントロピーHの式を導く、数学的「条件」は何かという研究が行われます。代表的な研究は、Faddeev のものです。彼は、シャノンの「三つの条件」とは違った「三つの公理」から出発して、シャノン・エントロピーの式を導くことに成功します。 Faddeevの仕事で注目すべきことは、シャノンの「三つ目の条件」に含まれていた、「エントロピー＝不確実さ」を生み出すある「選択」を、二つの「選択」の「連鎖」に分解することができるなら、エントロピーの新しい量的規定が得られるというというアイデアに、明確な定式化を与えたことです。それがChain ルールです。 ただ、シャノン・エントロピーHの式を導く、数学的「条件」の研究は、これで終わったわけではありません。 21世紀に入って、Tom Leinster は、Faddeevの条件から出発して、さらに、次のことを証明します。 　「確率分布を実数に写す関数 Iが、 　　連続でChainルールを満たすなら、 　　I は、シャノン・エントロピーH 　　の定数倍である。」 要するに、シャノン・エントロピーの式Hは、連続性とChainルールによって、一意に特徴づけられるのです。驚くべき発見です。 対数を含まないChainルールの式を見ても、そこに対数を含むシャノン・エントロピーが隠れているようには見えません。ところがそうではないのです。ちょっと不思議な気がします。 ショートムービー： https://youtu.be/rHtI99EpGzQ?list=PLQIrJ0f9gMcO_b7tZmh80ZE1T4QqAqL-A ショートムービーのpdf: https://maruyama097.blogspot.com/2022/05/blog-post_21.html 5/28 マルゼミ「エントロピー論の現在」のまとめページを作りました。ほぼ毎日更新されると思います。ご利用ください。 https://www.marulabo.net/docs/info-entropy5/ 5/28 マルゼミの申し込みページを作成しました。 https://entropy-theory.peatix.com/ お申し込みお待ちしています。　

【 Chain ルールにもいろいろある 】 セミナーの構成、変更しました。 　第一部 シャノン・エントロピーの基本的な性質について 　第二部 シャノンが考えたことを振り返る 　第三部 現代のエントロピー論の発展 このセッションから、第三部に入ります。 第二部では、シャノン・エントロピーについてシャノンが考えてきたことを見てきたのですが、第三部では、現代のエントロピー論の動向を紹介していきます。 第二部と第三部をつなぐ上で重要な役割を果たすのが、「Chainルール」です。 「Chain ルールとは何か？」と書いたのですが、ここで触れられているのは、エントロピーの世界のChain ルールのことです。わざわざこういう断りをいれるのは、実は、さまざまな異なる「Chainルール」があるからです。エントロピーの世界の Chain ルールは、むしろマイナーな存在かも知れません。 多分、一番メジャーな Chain ルールは、微分の世界の Chain ルールだと思います。こういうやつです。 　h(x) = f(g(x)) の時、h'(x) = f'(g(x))・g'(x) 別の形で書くと、y=f(u),  u=g(x) として、 　dy/dx = dy/du・du/dx になります。 例えば、√(x^2+x+1) を微分しようと思ったら、f(u)=u^(1/2),  g(x)=x^2+x+1 として、f'(u)=(1/2)u^(-1/2), g'(x)=2x+1 としてChain ルールを適用すればいいわけです。  Wikipediaによると（文句言ったけど、結構、Wikipedia 愛用しています）、この形の Chain ルールは、ライプニッツが初めて使ったらしいのですが、100年後のオイラーは、Chainルールを使った形跡はないと言います。いつからメジャーになったのでしょう？ もう一つ、メジャーと言っていいChainルールがあります。それは、確率の世界のChainルールです。 確率変数 A, Bがあったとします。この二つの変数を一緒に考えた時、その確率を P(A, B)で表します。 この時、次の式が成り立ちます。 　P( A, B ) = P( A | B )・P(B) これも、Chain ルールといいます。 ここで、P( A | B )と

シャノンは、先のセッションで証明した $A(n) = Klog(n)$ の式から、エントロピーの式を導き出します。シャノンの推論を追いかけてみましょう。 n 個の自然数 $n_i$ が与えられた時、$\sum n_i = N$ とすれば、$p_i = n_i / N$ として、ある確率分布を得ることができます。この確率分布のエントロピーは、$H( p_1, p_2, \dots ,  p_n)$ で表すことができます。 まず、このn個の可能性から i番目を選んで（その確率は、$p_i $）で、続いて、等確率 $1/n_i $の選択を行うことにしましょう。これがルールです。 このルールのもとでは、ある二つの連続した選択が行われる確率は、$p_i \times 1/n_i = n_i/N \times n_i =1/N $になります。どの i を選んでも、その後に等確率 $1/n_i$ の選択が続くのなら、二つの選択が連続してなされる確率は、等しく、$1/N$ になります。 このルールのもとでは、二番目の等確率 $1/n_i $の選択には、$n_i $ 個の可能性があります。ですから、二つの選択が連続してなされる場合の数は、$n_1 + n_2 + ... + n_n = \sum n_i = N$ となります。 このことは、N個の可能性から等確率の$1/N$を選ぶ選択は、n個から確率$p_i $で一つを選ぶ選択と、$n_i$ 個から等確率の$1/n_i $を選ぶ選択に分解できることを示しています。 「条件 (3)」を使えば、このことは、次の式が成り立つことを意味します。 $$A(N) = H( p_1, p_2, \dots ,  p_n) + p_1 A(n_1) + p_2 A(n_2) + \dots + p_n A(n_n)$$ ここで、前回のセッションで証明した $A(n) = Klog(n) $を使うと、次の式が得られます。 $$Klog(N) = H( p_1, p_2, \dots,  p_n) + p_1 Klog(n_1) + p_2 Klog(n_2) + \dots + p_n Klog(n_n)$$ これから、 $H( p_1, p_2, \dots ,  p_n)= Klog(N) - (p_1 Klog(n_1) + p_2 Klog(n

【 確率分布を木で表し、選択の継起を継ぎ木で表す 】 確率分布を木で表し、選択の継起を継ぎ木で表すという、シャノンのエントロピーが満たすべき「第三の条件」の解釈は、新しく継ぎ木する木の確率分布の全体に元木の枝の確率を重みとして掛けることで、新らしい木の表す確率分布を計算することを可能にします。 このアプローチは、見かけは簡単なのですが、強力なものです。例えば、このアプローチをつかって、前回のセッションの最後に述べた「チャレンジ」の答えを出しておきましょう。$A(mn) = A(m) + A(n)$ を示せという問題です。 次のように考えます。 $A(m)$と$A(n)$の確率分布を表す木を考えます。$A(m)$の木は  $m$個の枝を持ち、それぞれの枝は全て等しく$\frac 1{m}$ の確率を表しています。$A(n)$の木は  $n$個の枝を持ち、それぞれの枝は全て等しく $\frac 1{n}$の確率を表しています。 この$A(m)$の木の全ての枝に  $A(n)$の木を継ぎ木します。こうしてできた新しい木は、$m \times n = mn$ 個の枝を持ち、根から枝の端までの枝は、$\frac 1{m} \times \frac 1{n} =  \frac 1{mn}$ の確率を表しています。要するに、継ぎ木でできた新しい木は、$A(mn)$の確率分布を表しています。 この新しい木に、シャノンのエントロピーが満たすべき「第三の条件」を使うと、次の式が成り立つことがわかります。　 $$A(mn) = A(m) + \frac 1{m} \times A(n)  + \frac 1{m} \times A(n)  + \dots + \frac 1{m} \times A(n) = A(m) + A(n) $$ この式で、$m = n$ とすると、$A(n^2) = 2A(n)$ がわかり、$A(n^3) = 3A(n)$, ... , $A(n^m) = mA(n)$ がわかります。 このことは、前回示した、$A(n^m) = mA(n)$ よりこの式 $A(mn) = A(m) + A(n)$ の方が、基本的なものだということを示しています。 $log(xy) = log(x) + log(y)$ ですので、関数等式 $A(xy) = A(x) + A(y)

【 論文を読んで分かることと分からないこと 】 このセッションから、シャノンがどのようにしてエントロピーの式を導出したかについての解説が始まります。 情報量としてのエントロピーは、シャノンが初めて導入した概念です。全く新しい概念についての公式を導き出すというのは、どういうことなのか少し考えてみましょう。 全く新しいのだから、突然、正しい式がインスピレーションとして生まれるということがあるのかもしれません。ただそれでは、本人以外にその式の正しさを納得してもらうのは難しいことになります。 そういう時には、その新しい概念について、その概念が満たすべき性質をいくつか仮定します。その仮定は、新しい概念そのものより分かりやすく理解しやすいものを選びます。大事なことは、この仮定は証明なしで述べることができるということです。（こうした仮定を「公理」と呼ぶことがあります。）この仮定が正しいものと前提して、初めて「証明」が始まります。この「証明」自体は、その仮定にのみに基づいて、数学的に正しいものでなければなりません。 シャノンは、エントロピーHが満たすべき性質を、三つ挙げます。 第一。Hは、それを定義する確率pi について、連続的であること。（確率 pi が少しだけ変化すれば、Hも少しだけ変化するということです。） 第二。n個の事象全てが等確率で、すなわち、1/n の確率で起きる場合、エントロピーHはnについて単調に増加する。（起きるべき等確率のイベントの数nが増えれば増えるほど、どのイベントが実際に起きるかは不確実になり、「不確実さの尺度」としてのエントロピーは増加するということです。） 第三。もし選択が、連続的に行われる二つの選択に分解されるのなら、求めるHは、個々の選択のHの値の、重みづけられた和になるべきである。（エントロピーは「不確実さの尺度」だとしても、それがある「選択」によって特徴づけられているのは「確実」なことです。しかも、その「選択」は、エントロピーの量的な関係を規定しています。この「切り口」は、とても重要です。事実、シャノンの「証明」の基本的なステップで、この「第三の仮定」は重要な役割を果たすことになります。） シャノンは、この三つの仮定から、エントロピーの式が成り立つことを、数学的に「証明」します。今回のセッションで取り上げているのは、この証明の最初の部分、シャ

【「サプライズ」としての情報量 】 シャノンは、情報が生成されるプロセスについて考えます。 それが生起する確率が、$p_1, p_2, \dots , p_n$であることはわかっていても、我々が知っていることのすべては、どれかのイベントが起きるだろうと言うことのみであるという状況を考えます。 情報が生まれるというのは、あるイベントが選び出されたということで、そこにはある「選択」が働いたということです。ただ、ある情報の背後にどれほどの「選択」が含まれているのか、一般には我々は知ることはできません。 ひるがえって、その情報について、我々はいかに不確かなのかを測定する尺度を見つけ出すことはできないだろうかと、彼は考えます。こうして彼は、「不確かさの尺度」として、情報量＝エントロピーを考えます。 こうした「不確かさの尺度」が満たすべき条件について、彼は考えを進めていきます。彼は、エントロピーが満たすべき三つの条件を見出すのですが、その中で最も重要なのは、「選択」の「連鎖」が、この量を決めるという考えです。 情報量＝エントロピーについては、さまざまな解釈があります。 その一つが、「情報量は、その情報が与える「サプライズ」で決まる」というものです。 もう少し正確にいうと、確率 $p_i$ で生起する事象の「サプライズ」を $−\log p_i$ で定義します。この「サプライズ」の期待値 $ \sum p_i (−\log p_i ) $ として、エントロピーは定義されます。 なぜ、「サプライズ」かというかというと、確率 $p_i$ が小さくなればなるほど「サプライズ」$−\log p_i$ は大きなものになるからです。あり得ないものであればあるほど、それが起きた時に、我々は驚きます。  ただ、この解釈は、エントロピーの式の解釈としては正しいといっていいのですが、いくつかの注意が必要だと、僕は感じています。 一つは、情報量＝エントロピーは、もともと、メッセージあるいは起きた事象の意味については、関心を持っていません。「サプライズ」（英語だと、このケースでは surprisal といいます）は、エントロピーの起源の確率分布より、人間が受け取る意味に寄せた解釈になりがちです。 もう一つは、シャノンは最初から「サプライズ」の期待値としてエントロピーを定義しようとは考えていなかったという

【 なぜ情報の尺度に対数が現れるのか？ 】 シャノンのエントロピーの式には、いろいろな導きかたがあります。 例えば、以前のセミナーで、ボルツマンのエントロピーからシャノンのエントロピーが導かれることを見てきたことがあります。 「情報とエントロピー入門」 https://www.marulabo.net/docs/info-entropy/ の「ボルツマンのエントロピーからシャノンのエントロピーを導く」 https://drive.google.com/file/d/1bXyIxN7ASmfkBM8QRle69U56C_fo-Vak/view を参照ください。ここでは、ボルツマンのエントロピーが、「可能なミクロな状態の数の対数」であることが、利用されていました。 しかし、シャノンはこのようにして情報量としてのエントロピーを導いたわけではありません。シャノンは、通信システムの分析を通じて、情報量＝エントロピーの概念に到達しました。 一つのポイントは、なぜ、情報の尺度に対数が現れるのかということです。彼が、どういうことを考えていたかを、あらためて（現代風に言い換えて）振り返ってみようと思います。 1bit の情報を蓄えるメモリーがN個あったとしましょう。このN個のメモリーがとりうる状態の数は、$2^N$です。ただ、「このN個のメモリーは $2^N$個の情報を蓄える」というより、その対数をとって、$\log 2^N = N \log 2 = N$ として、「このN個のメモリーは N bitの情報を蓄える」と言った方はわかりやすいです。（bitは、前回見たように、対数をとって得られるエントロピーの単位なのです。） K個の情報を蓄えうるディスクが二つあったとしましょう。二つのディスクが蓄えうる可能な情報の組合せの数は、$K \times K = K^2 $ です。ただ、「2台のディスクで$ K^2$個の情報を蓄える」というより、対数をとって、$\log K^2 = 2 \log K$ として「2台のディスクで、ディスク一台( その情報量は $\log K$ で表されます)の二倍の情報を蓄える」と言った方がわかりやすいと思います。 C個の状態を取る回路に、on/off 二つの状態を取るスイッチを一つ追加したとしましょう。新しい回路は、追加されたスイッチのon/offによって、

【 bit はエントロピーの単位である 】 引き続き、シャノンのエントロピーの性質を考えます。 ここでは、まず、シャノンのエントロピーH(X)が最大の値をとるのは、どういう場合であるのかを考えます。 H(X)が最大になるのは、どの xi  が選択されるか確実には分からない場合、すなわち、p1 = p2 = p3 = ...  = Pn の場合です。全ての事象が同じ確率を持つ時に、エントロピーは最大になります。 p1 + p2 + p3 + ... + pn = 1 ですので、p1 = p2 = p3 = ...  = Pn = 1/n の場合、エントロピーは最大になります。この時、エントロピーの最大値は、log_2 nとなります。 例えば、X = { 0,1 } の時、H(X)の最大エントロピーは、H(1/2, 1/2) = log_2⁡ 2 =1  となります。これをエントロピーの単位として bit と呼びます。bit は、二つの状態を持つものの最大エントロピーなのです。 一般に 2^nの状態を持つものの最大エントロピーはlog_2⁡  2^n  = n log_2 2 =  n bit これは、我々のbit についての直観と一致しています。bitは、エントロピーの単位なのです。 ショートムービー： https://youtu.be/GF3NDmChSzU?list=PLQIrJ0f9gMcO_b7tZmh80ZE1T4QqAqL-A ショートムービーのpdf: https://drive.google.com/file/d/1P2tidK-M_e9DoMi4ZtprPxlwten7cNOQ/view?usp=sharing 5/28 マルゼミ「エントロピー論の現在」のまとめページを作りました。ほぼ毎日更新されると思います。ご利用ください。 https://www.marulabo.net/docs/info-entropy5/ 5/28 マルゼミの申し込みページも作成しました。 https://entropy-theory.peatix.com/ お申し込みお待ちしています。　

【 シャノン・エントロピーはマイナスにはならない 】 ここでは、シャノン・エントロピーのいくつかの基本的性質についてみておきましょう。 まず、どんな確率分布に対しても、シャノン・エントロピーは、0か正の値を取ります。エントロピーがマイナスの値をとることはないのです。 ただ、H(X) = −Σpi log pi というエントロピーの定義式の先頭に、マイナス符号がついているので、エントロピーはマイナスにならないと言われて戸惑う人もいるかもしれません。 次のように考えます。 先頭のマイナス符号を、Σの内側に入れます。 　　H(X) = −Σpi log pi = Σpi (−log pi)               = Σpi (log pi^{-1}) = Σpi log(1/pi) Σの前のマイナス符号は、Σの内側に入って −log pi になって、それは log(1/pi) になります。 pi は確率なので、0 <= pi <= 1 です。この時、 1/pi >= 1 になります。 log の性質から、もう一つ、わかることがあります。それは、log の底の選択によらず、 　　0 < x < 1 の時、 log x < 0 　　     x = 1 の時、 log x = 0 　　　  x > 1 の時、 log x > 0 だということです。 1/pi >= 1 がわかっているので、 log(1/pi ) >= 0 がわかります。 これと、0 <= pi <= 1 より、pi log(1/pi ) >= 0 となります。 よって、H(X) = −Σpi log pi = Σpi log(1/pi ) >= 0 であることがわかります。 ショートムービーでは、エントロピーがゼロになる場合を分析しています。 こちらは、ご自分でお考えください。 けっして難しくはありません。 ショートムービー： https://youtu.be/SobrUAtLAK0?list=PLQIrJ0f9gMcO_b7tZmh80ZE1T4QqAqL-A ショートムービーのpdf: https://drive.google.com/file/d/1P-JrdBwuQS_-pfWSUohLVRS2Q8Wtr8dU/

【 実際に、シャノンのエントロピーを計算してみよう ! 】 今回のセミナーの第一部では、シャノンのエントロピーの定義を振り返ります。 今回のショートムービーでは、まず、確率分布とエントロピーの関係についてみておこうと思います。重要なことは、ある確率分布が与えられると、シャノンの式に従って、その確率分布のエントロピーが計算で求められることです。 シャノンのエントロピーの定義式は、一見するととっつきにくい形をしているのですが、今回は、具体的に確率分布を例として与えて、そのエントロピーを計算するというところから始めています。 今回のセミナーは、後半から少し難しくなるのですが、第一部はわかりやすいものにしようと思っています。是非、手を動かして計算してみてください。定義式を、じっと眺めているより、ずっとエントロピーが身近なものに思えるようになると思います。 ショートムービー： https://youtu.be/c7j9EA09GH8?list=PLQIrJ0f9gMcO_b7tZmh80ZE1T4QqAqL-A ショートムービーのpdf: https://drive.google.com/file/d/1OlSbdJAeFy76ooMzzPgSnBTNvZ-1Wmsh/view?usp=sharing