過去・現在・未来

【 エントロピーの量子版を考える】 古典的なエントロピーから量子論的なエントロピーへの拡大は、いくつかの準備が必要になります。 量子の状態|ψ>は、最も単純な量子ビットの場合でも、次のように二つの状態 |0>と|1>の重ね合わせになります。 　　|ψ> = α|0> + β|1> 量子の状態は、一つの数字ではなく、この例の場合には、二つの数字のペア、二次元のベクトル (α, β) によって表現されます。 このα, βは、古典論での確率に対応するものですが、古典論の確率のように、0 <= α, β<= 1という条件を満たしません。それは、マイナスの値をとったり、一般的には、複素数になります。古典論の確率に等しくなるのは、α, βの絶対値の二乗です。 さらに面倒なのは、我々は、このα, βの値を直接には観測できないのです。我々が知りうるのは、同じ状態の観測を繰り返して、|0>を観測する確率がαの絶対値の二乗、|1>をを観測する確率がβの絶対値の二乗に近くということだけなのです。 量子の状態|ψ>の「確率分布」と言うのが、古典論のようには簡単には与えられないことは、わかったと思います。 細かいことをすっ飛ばしますが、量子論では、量子の状態|ψ>の「確率分布」に相当するものが、行列ρで与えられます。この行列loを「密度行列」と言います。 密度行列ρが与えられた時、この確率分布のエントロピーS(ρ)を次の式で表します。 　　S(ρ) = - tr ( ρ log ρ) このエントロピーを「ノイマン・エントロピー」と呼びます。シャノン・エントロピーの量子版です。 trは、”Trace"の略で、行列の対角成分の和です。それを理解するのは簡単です。 ρ log ρ は、行列ρと行列 log ρの積です。それは行列の掛け算です。 問題は、log ρの項です。これは、行列の対数をとることを意味しています。「行列の対数」？　そんなことは、高校では習わなかったと思います。ただ、「行列の対数」を定義する上手いやり方があるのです。 続きは、YouTube で！ 5/26 マルゼミ「情報とエントロピー 2」のショート・ムービー第七弾「デ量子情報とエントロピー  ノイマン・エントロピー」を公開しました。 https...

【 どんな確率分布にも対応する分配関数が存在する】 ディープ・ラーニングの「学習」では、様々な「メタ・パラメーター」が登場します。このパラメーターの設定で、学習の精度やスピードが、大きく変わります。こうしたメタ・パラメーターの一つに「温度」が登場することがあります。 　「ディープ・ラーニングに温度が関係するの？」　そうなんです。 　「長い計算で CPU/GPUをぶん回すと、マシンが熱くなるからだ。」 残念。それもそうですが、ここで言いたいことは、それではありません。 前回見た「相対エントロピーのBayesian的解釈」で述べたように、ディープ・ラーニングが繰り返し行っている計算は、与えられた目標の確率分布q にたいして、バック・プロパゲーションで確率分布 p(t) を少しずつ変化させて、p(t)に対するqの相対エントロピーを、ゼロに近づけようとしていることに他ならないのです。 非常に大雑把にいうと、ディープ・ラーニングがやっていることは、ある二つの確率分布を近づけようという計算を繰り返し繰り返し行っているだけなのです。 これまで、エネルギーとエントロピーの関係から、分配関数を導出したのですが、重要なことが一つあります。それは、いったんこうして確立された確率分布と分配関数の関係は、こうした導出がかつて持っていた元々の具体的な意味を超えて、一般的にも成り立つということです。 確率分布が与えられれば、それが何の確率分布だろうと、そこにエントロピーを見出すことができるように、我々は、与えられた確率分布を、それがどんなものであろうと、分配関数で定義できます。 ディープ・ラーニングでも同じです。ディープ・ラーニングが対象とする確率分布も、分配関数を使って再定義できるのです。 ただし、この再定義の際、元々の分配関数の定義で用いられていた「エネルギー」や「逆温度 β」には、別の解釈が与えられることになります。 続きは、YouTubeで！ 5/26 マルゼミ「情報とエントロピー 2」のショート・ムービー第六弾「ディープ・ラーニングとエントロピー 2 ---　ディープ・ラーニングと分配関数Zの利用」を公開しました。https://youtu.be/ZxZv_hvp688?list=PLQIrJ0f9gMcM2_4wbtngkEvZEYfuv5HY2 pdf版の資料は、次のページからア...

  【 確率のBayesian解釈と「相対エントロピー」】 これまで、確率分布が与えられば、エントロピーが与えられるという話をしてきました。これは、素晴らしいことです。 確率分布は至るところにありますので、我々は、至るところにエントロピーを発見することになります。素晴らしい！ 今回は、我々の認識の世界やディープ・ラーニングの世界にも、エントロピーが存在するという話をしようと思っています。　 ただ、少し違う問題を考えてみましょう。それは、アプリオリに（数学的に）正しい確率分布が与えられる数学的なモデルの世界を離れた時、確率分布が我々にどのように与えられるのかという問題です。 数学的モデルを離れた場合、そもそも、確定した確率分布が、我々にに与えられるものかは、自明ではありません。確率分布が確定しないのなら、我々はエントロピーを知ることはできません。 答えのない問題に入り込んだようにも見えますが、こういう時には、「相対的なエントロピー」という考え方が役に立ちます。我々が与えられるエントロピーは、絶対的な確定したものではなく、事前に知っていたこととの関係で決まる、相対的なものだと考えるのです。 事前に何らかの形で知っていた確率分布をp(x) とします。多分、それは正確な知識ではないかもしれないので「仮説」といってもいいものです。それに対して、実際に、観測して得られた新しい確率分布を q(x)とします。 pに対するqの「相対エントロピー」 H(q || p)を、次の式で定義します。 　　　H( q || p ) = Σ q(x) log ( q(x)/p(x) ) H( q || p ) = 0 となるのは、p＝q の場合だけだというのはわかると思います。 こうしたアプローチは、Baysian的なものです。「相対エントロピー」というのは、アプリオリな「シャノンのエントロピー」を、Baysianの考え方で、相対化したエントロピーと考えることができるのです。 エントロピー＝情報量のこの相対的な解釈は、人間の認識で得られる情報量の解釈には、とても向いています。認識や学習のモデルを、この情報量を使って解釈できるのです。 例えば、先の相対エントロピーがゼロになる H( q || p ) = 0 の解釈では、仮説pと実験結果qが一致した場合には、実験で得られた情報量は0 だ...

【数学の力】 ガリレオは、自然を「数学の言葉で書かれている書物」にたとえました。自然の法則を記述するために、ニュートンは、新しい数学を作り上げました。今では高校生が学校で学ぶ、微分・積分は、こうして生まれたものです。 もちろん、私たちは、視覚・聴覚・嗅覚等の人間が生まれつき持っている感覚の力で自然を知ることができます。ただ、感覚だけで捉えられる自然は、狭いものです。線虫のようにもっぱら触覚・嗅覚・味覚で外界を認識する動物は、空に無数の星があることを知りません。そういう僕も、ド近眼なので、「満点の星」を、うすらぼんやりとしかみたことがありません。 望遠鏡や顕微鏡が、我々の視覚の世界を大きく拡大したように、数学も、それとは違った形でですが、我々の自然像を拡大します。 今回取り上げた、分配関数の話には、新しい数学が出てくるわけではありません。高校生＋アルファぐらいの数学で十分です。決して難しくはない数学ですが、ただ、それぞれの式の導出で、見えてくる予想外の結びつきは驚くべきものです。 少し難しいところがあるかもしれませんが、是非、自分の手と頭を動かして計算を追ってみてください。 6月26日開催マルゼミ「情報とエントロピー２」のショートムービー第四弾「エネルギーとエントロピー 2 -- 分配関数 Zの利用」を公開しました。ご利用ください。 https://youtu.be/LBLzcrHubwI?list=PLQIrJ0f9gMcM2_4wbtngkEvZEYfuv5HY2 pdf版の資料は、次のページからアクセスできます。https://www.marulabo.net/docs/info-entropy2/ 6/26マルゼミ「情報とエントロピー２」のお申し込みは、次のページから現在受付中です。https://info-entropy2.peatix.com/

【「エネルギーとエントロピー 1 -- 分配関数 Z」を公開しました 】 6月26日開催マルゼミ「情報とエントロピー２」のショートムービー第三弾「エネルギーとエントロピー 1 -- 分配関数 Z」を公開しました。ご利用ください。 先行した二つのショートムービーでは、シャノン・エントロピーにしろ、ボルツマン・エントロピーにしろ、ある確率分布が与えられた時、エントロピーは一意に定義されることを見てきました。 これは、ある意味、驚くべきことです。ネットワーク上を行き来するメッセージのエントロピー（bitで表される情報量）と、どんなに工夫しても熱機関（18世紀の蒸気機関だけではありません。21世紀のすべてのエンジンについても当てはまります）で仕事として取り出すことのできないエネルギーに対応するエントロピーが、抽象的なレベルでは、同じ構造を持つのです。　 このことは、我々の想像以上に、エントロピー概念が、基本的で普遍的な概念であることを意味しています。我々の対象認識が完全でないことは、我々は多くの対象を確率的に理解するというのとほとんど同義です。ですので、我々は、至る所にエントロピーを発見することになります。 ただ、確率分布＝エントロピーという理解は、少し、静的で抽象的です。それでエントロピーががわかったつもりになるのは、対象の多様性とダイナミズムに対して、いささか深みを欠いた理解になるように思います。だいいち、それだけですと、「エントロピーは増大する」という、エントロピーの基本的な性質を理解することができません。 今回は、エントロピーと並んで最も基本的な概念であるエネルギーとエントロピーの関係を取り上げます。 続きは、YouTubeで！ https://youtu.be/q44F4ZCCt3M?list=PLQIrJ0f9gMcM2_4wbtngkEvZEYfuv5HY2 pdf版の資料は、次のページからアクセスできます。https://www.marulabo.net/docs/info-entropy2/ 6/26マルゼミ「情報とエントロピー２」のお申し込みは、次のページから現在受付中です。https://info-entropy2.peatix.com/

6月26日開催マルゼミ「情報とエントロピー２」のショートムービー第二弾「確率分布とエントロピー -- ボルツルマン・エントロピー」を公開しました。ご利用ください。 ボルツマンが考えようとしたたことは、温度や圧力や体積といったマクロな状態を扱う熱力学を、ミクロな状態の理論から導こうということでした。 例えば、この部屋の「温度」は、マクロな状態の量です。それは温度計で簡単に調べることができます。ミクロな状態というのは、この部屋の空気を構成している気体分子の一つ一つの状態のことです。 この部屋の空気の分子は、例えば、一つ一つの分子の「位置」、一つ一つの分子の持つ「運動量」等で特徴付けられるミクロな状態を持っています。もちろん、それを私たちは直接には観測できません。 マクロな量とミクロな量は、一見すると遠くかけ離れています。それは存在の仕方からして違っているように見えます。マクロな状態をミクロな状態から導くというのは、この例で言えば、部屋の温度を小さな小さな一つの分子の運動と結びつけることに相当します。 ただ、マクロな状態とミクロな状態は結びついています。次のように考えましょう。 　● 一つ一つのミクロな状態は、正確に、一つのマクロの状態に対応している。（一つの分子の状態が、ある特定の温度の状態に対応している） 　● 多くの異なるミクロな状態が、一つのマクロな状態に対応づけられる。（ある特定の温度の状態は、多くの異なる分子の状態に対応している） なんのことやら。 そうすると、この部屋の温度は、部屋の温度分布に応じて（部屋の中でも、暖かいところと寒いところがあります）無数のミクロな状態に対応づけられます。 続きは、YouTube で！ https://youtu.be/kwOxe2a6D7k?list=PLQIrJ0f9gMcM2_4wbtngkEvZEYfuv5HY2 pdf版の資料は、次のページからアクセスできます。https://www.marulabo.net/docs/info-entropy2/ 6/26マルゼミ「情報とエントロピー２」のお申し込みは、次のページから現在受付中です。https://info-entropy2.peatix.com/

【「自明」だが不毛な会話】 少し、話が飛びますが、数学と論理の話をしましょう。数学では、1+1は、必ず2になります。論理では、「Aが成り立っていれば Bが成り立つ」がわかっていて、「Aが成り立っている」とすれば「Bが成り立っている」ことが、論理的に推論できます。 二人の数学者、俊英の若い不二夫と意固地な老人の丸山が、黒板を前にして、最近、不二夫が証明した定理について議論しています。 　　不二夫：「あの定理とあれを使うと、これが分かります。」　 　　丸　山：「自明じゃ」 　　不二夫：「それに、この補題を使うと、こうなります。」　 　　丸　山：「自明じゃ」 　　　　　・・・　中略　・・・ 　　不二夫：「ここまで来ると、ほとんど自明です。」　 　　丸　山：「自明じゃ」 　　不二夫：「最後に、これを示して、定理が証明されます。」　 　　丸　山：「自明じゃ」 本当は、丸山は、最初は、定理の意味を全然わかっていなかったのですが、最終的には、全ての証明の過程は、「自明」なものになってしまいます。丸山が、本当にわかったかは疑問ですが。わかってないとすれば、不毛な会話です。ただ、数学者の説明に、「自明だ」と答えるのは、いい戦略かもしれません。 どんな複雑な数学的命題も、厄介なその証明も、もともと自明なものに還元され、情報を持たないのです。 「納得がいかない」という人も多いと思います。 今度は、「自明なこと」をエントロピーで表してみましょう。 ある出来事が起きる確率が1ということは、その出来事が100%完全に起きるということです。この出来事は、どういう情報量＝エントロピーを持つのでしょうか？　この出来事のエントロピーHは, H=−ΣpLog(p)の式に p=1を入れれば、H=1x log(1) =1x0 ＝ 0で、ゼロになることが分かります。確実に分かること、自明なことの情報量＝エントロピーは、ゼロなのです。 今度は、現実の話をしましょう。 コインを投げて、表が出るか裏が出るかを当てることを考えましょう。ここでは、誰も、確実なことは言えません。次に表が出るか裏が出るかは、論理的に考えれば分かることではありません。コインを投げてみるしかないのです。 確実なことは、たくさんコイン投げをすれば、「表が出る確率は1/2に、裏が出る確率は1/2に近づく」ということぐらいです。それでは、「表が出る...