過去・現在・未来

【 図形の持つ意味 】 一つの要素しか持たない集合 1 から集合 X への関数 xで Xの要素 xが表現できるように、オブジェクト 1 からオブジェクト X への stochastic map p で X上の確率分布を表現できます。図形では、1 から Xへ 波線矢印を引くだけで、X の確率分布が表現できます。 1 と X と Y を頂点とする三角形を考えます。頂点に 1 を、左に X 、右に Yを置きます。1 から Xと Yに波線矢印を引き、XからYに矢印を引きます。 今回のセッションは、この図形がどういう意味を持っているのかという話です。　 1 から Xへ 波線矢印は Xの確率分布、1 から Yへ 波線矢印は Yの確率分布ですので、底辺のXからYへの矢印は 確率分布から確率分布への写像になります。 実は、この三角形が「可換」である時、このXからYへの写像は、XからYへの「測度を保存する関数」であることを示すことができます。ですので、どこかでこれと同じ三角形を見かけたら、その三角形の底辺の性質を、すぐに知ることができます。　 カテゴリー論が強力なのは、図形を見るだけで、その背後にある数学的関係を、別の推論に利用できるようになるからです。 カテゴリー論の図形は具体的で、それを用いた推論も直観的なのですが、その図形の意味するところは、実は、抽象的なものです。 今回、底辺のXからYへの矢印を、具体的に計算可能な形に書いてみました。やらずもがなと思いましたが、図形の抽象的な意味を、具体的な例で納得することは、必要なことだと感じています。　 YouTube : https://youtu.be/ejSmTPNfBGA?list=PLQIrJ0f9gMcPcLv9Xw1F4OnNfO1d9lxxh スライドのpdf版は、こちらからアクセスできます。 https://drive.google.com/file/d/1cJ5f3hV5tzGh9AEEPSYxtUHyMAFWm6Ak/view?usp=sharing このシリーズのまとめページは、「エントロピー論の現在・補遺」です。 https://www.marulabo.net/docs/info-entropy5-addendum/

【 具体例でまわり道 】 相対エントロピーのカテゴリー論的再構成で、活躍するのはFinStatというカテゴリーなのですが、このカテゴリーには、stochastiic  mapという、奇妙な写像が登場します。  XからYへの関数は、Xの一つの要素にYの一つの要素を対応づけるのですが、stochastiic  map は、Xの一つの要素にY上の確率分布を対応づけます。Yの確率分布は、Yの一つの要素で表されるものではなく、Yの全ての要素にその要素の確率を割り当てたものの全体です。 こうした、普通の意味では「XからYへの関数」でないものも、カテゴリー論では、「XからYへの射 morphism」として捉えます。 今回は、この関数ではない（その意味ではカテゴリー論らしい）、stochastiic  mapを具体例を挙げてすこし丁寧に説明してみました。わかってしまえば簡単なことなのですが、是非、ゆっくり考えて貰えばと思います。 カテゴリー論らしいと言えば、今回、" x : 1 -> X " という形の射が登場します。 ここで 1 というのは、一つのオブジェクトしか持たないカテゴリーです。 一つの要素しか持たない集合 1 から、集合Xの関数を考えてみましょう。 Xがn個の要素を持つなら、1 から Xへの関数は、1の一つの要素をXのn個の要素に対応づける、n種類だけあることがわかります。これ以外の関数は存在しません。このn個の関数は、Xのn個の要素に、一対一に対応しています。 「xが集合Xの要素である」ことは、「xは 1 -> X の射である」と表現できるのです。 このことは、集合論をカテゴリー論で書き換えた Lawvere の「トポス理論」のもっとも基本的な出発点になりました。 " x : 1 -> X " という形の射は、次回のセッションでも活躍することになります。 YouTube : https://youtu.be/DfzIJtBtSMw?list=PLQIrJ0f9gMcPcLv9Xw1F4OnNfO1d9lxxh スライドのpdf版は、こちらからアクセスできます。 https://drive.google.com/file/d/1c2l_RC8UwwBOYCWdSenf27i1ax8CCNxg/view?usp=s

【 相対エントロピーをカテゴリー論で捉えかえす 】 新しいセッションを始めようと思います。 この連続セッションでは、相対エントロピーへのカテゴリー論的アプローチとして、BaezとFritzの2014年の論文 ”A Bayesian Characterization of Relative Entropy” を紹介します。https://arxiv.org/abs/1402.3067v2　 この論文は、先に紹介した、エントロピー論に、”Entropy As a Functor” という視点を初めて導入した、Baez, Fritz, Leinster の 2011年の論文 “A Characterization of Entropy in Terms of Information Loss” の続編です。https://arxiv.org/abs/1106.1791v3 今回は、この論文の概要を示して、エントロピーをカテゴリー論で捉え返すとはどういうことなのか説明しようと思います。 つづいて、そもそも相対エントロピーとはどういうものかを、その Baysian 的解釈を中心にお話ししようと思います。この部分は、以前のセミナー「情報とエントロピー」https://www.marulabo.net/docs/info-entropy2/ のふりかえりになっています。 YouTube: https://youtu.be/RVm3oer2cm8?list=PLQIrJ0f9gMcPcLv9Xw1F4OnNfO1d9lxxh スライドのpdf版は、こちらからアクセスできます。 https://drive.google.com/file/d/1bV5YdteRvraptSR3L4ggG7W0SyPgWXwQ/view?usp=sharing このシリーズのまとめページは、「エントロピー論の現在・補遺」です。 https://www.marulabo.net/docs/info-entropy5-addendum/

【 地道に計算する 】 今回も、地道な計算が続きます。（風邪も抜けないし） Rényiエントロピーを定義して、それと前回見たTsallisエントロピーとの関係を見ていきます。基本的には、RényiエントロピーはTsallisエントロピーで表すことができるし、逆に、TsallisエントロピーはRényiエントロピーで表すことができます。それを計算で示していきます。計算自体は、一直線ですが、式が汚いですね。あまり楽しくないと思います。 ただ、RényiエントロピーからHill number という量を導入すると、すこし式が整理されて、見通しが良くなります。 実は、このHill数は「生物多様性」の議論で、重要な役割を果たすのですが、もう少し元気になったら、このあたりの話をしたいと思っています。 YouTube : https://youtu.be/SRA8sxyIxyg?list=PLQIrJ0f9gMcPcLv9Xw1F4OnNfO1d9lxxh スライドのpdf版は、こちらからアクセスできます。 https://drive.google.com/file/d/1alt-W7jzdps8mL8ldhBVEPjzqWMEWa8a/view?usp=sharing このシリーズのまとめページは、「エントロピー論の現在・補遺」です。https://www.marulabo.net/docs/info-entropy5-addendum/

【 Tsallis エントロピーの式を導く 】 寒い日が続いて、風邪をひいてしまいました。 そういうわけで、今回は、カテゴリ〜論抜きでやさしい話です。Tsallis エントロピーの式を導いてみます。 風邪のせいか、証明間違えていました。修正版に差し替えました。 YouTube : https://youtu.be/izTpR22yqg0?list=PLQIrJ0f9gMcPcLv9Xw1F4OnNfO1d9lxxh 修正版のスライドのpdf版は、こちらからアクセスできます。 https://drive.google.com/file/d/1aihp-ARxkMz4WhvbVuQHaiktahQui7gM/view?usp=sharing このシリーズのまとめページは、「エントロピー論の現在・補遺」です。 https://www.marulabo.net/docs/info-entropy5-addendum/

【 カテゴリーとして実数を捉える 】  ShannonエントロピーとTsallisエントロピーがFunctorであるという議論をしてきたのですが、そこでの重要な論点は、エントロピーが取る非負の実数[0, ∞)という値の範囲そのものが、カテゴリーとみなすことができるということです。 ただ、実数をカテゴリーとして捉えることができるということは、自明ではありません。 実数 [0,∞)をカテゴリーと見るアイデアは、1973年のF.  W. Lawvereの論文 “Metric spaces, generalized logic and closed categories” によるものです。 確率分布のカテゴリーから [0, ∞)というカテゴリーへの、ある性質を満たすFunctor 𝐹は、シャノン・エントロピーを一意に決定するという発見が重要なのですが、その議論はすこし複雑です。 ここでは、それよりはやさしい、その逆の、シャノン・エントロピーの差で表現される「情報の損失」は、Functor とみなせることを例に、「実数というカテゴリー」の理解にフォーカスしてみようと思います。 YouTube: https://www.youtube.com/watch?v=loeYIBKTBwM&list=PLQIrJ0f9gMcPcLv9Xw1F4OnNfO1d9lxxh&index=2 スライドのpdf版は、こちらからアクセスできます。https://drive.google.com/file/d/1aD8wyEDgQGfKl-hz8dMflO4GIMxZUO-R/view?usp=sharing このシリーズのまとめページは、こちらです。 https://www.marulabo.net/docs/info-entropy5-addendum/

【 あとのまつり】 先日「エントロピー論の現在」というセミナーを終えたばかりなのですが、いくつかのトピックを積み残してしまいました。 このセミナーは、"Entropy as a Functor" という新しいエントロピー論を展開したBaezの仕事の紹介で終わっているのですが、実は、ここからさまざまな動きが生まれてきます。本当は、「エントロピー論の現在」で注目すべきなのは、そうした動きなのですが ... 「あとのまつり」ですが、「エントロピー論の現在・補遺」として、エントロピー論へのカテゴリー論の応用を中心に、いくつかのトピックの紹介を、すこしのあいだ続けたいと思っています。 【 エントロピー概念の一般化 】 Boltzmann-Gibbs-Shannonらが作り上げたエントロピー概念は、驚くべき生命力を持っています。ただ、それをより一般化しようという試みも存在します。もっとも、そうした一般化によって、17世紀に始まった古典力学が、20世紀には量子論・相対論に置き換わったようなパラダイムの転換が、エントロピー論の世界で起きた訳ではありません。 エントロピー論がこれまで経験した認識の最大の飛躍は、熱力学的エントロピーと情報論的エントロピーの「同一性」の認識です。それは、エントロピー概念の拡大・一般化というよりはむしろ、エントロピーの「遍在」の認識なのですが、極めて重要な意味を持っています。それは、エントロピー論ばかりではなく、新しい自然認識の基礎となっていくと思います。 エントロピー概念の一般化としては、Tsallis エントロピーやRényiエントロピーというものがあります。今回は、Tsallis エントロピーを紹介します。見かけは随分Shannonエントロピーとは異なっています。 意外なことに、Tsallis エントロピーは、Shannonエントロピーを導出した全く同一の「カテゴリー・マシン」で（パラメータをすこし変えるだけで）、導出できるのです。 YouTubeはこちら https://youtu.be/NQHt0UkzyiY?list=PLQIrJ0f9gMcPcLv9Xw1F4OnNfO1d9lxxh スライドのpdf版は、こちらからアクセスできます。 https://drive.google.com/file/d/1ZwwP5VXOJuZ