過去・現在・未来

次回のマルレクを、9月28日 19:00から秋葉原のアキバホール（富士ソフト）で開催します。 テーマ： 「IT技術者のための情報理論入門 -- エントロピーと複雑さについて」 講演概要： ディープラーニングのプログラミングの中では、「クロス・エントロピー」や「SoftMax」といった関数がよく使われています。 実際には、それらの定義や意味を意識しなくても、ニューラル・ネットワークのモデル構築の「パターン」として理解しておけば、それらを利用することができてしまうのですが。 今回は、ディープラーニング技術を深く理解するために、このあたりから踏み込んで見たいと思います。 今回の講演では、ディープラーニングに限らず、少し広い視野から、エントロピーとは何か、情報とは何かという話ができればいいと思っています。情報に関わるIT技術者が、エントロピーと「情報理論」の初歩的な理解を持つことは、必要なことだと考えているからです。 ただ、それだけではありません。 近年、物理学を中心とした科学の世界で、エントロピーと情報理論への関心が急速に高まっています。それらは、機械学習への統計力学の応用の枠を超えた、もっと広くて深いものです。その中で、20世紀の量子論・相対論の成立に匹敵する大きな変化が進行中です。講演では、こうした動きについて、簡単なオーバービューを与えたいと考えています。 確かに、科学と技術は違うものです。物理学的な情報・エントロピーについての知見が、ITの世界で、明日の開発に役立つことはないかもしれません。ただ、これらの科学的知見が、量子コンピュータ等の未来のIT技術に大きな影響を与えることは、大いにありうることです。 みなさんの知的興味に、刺激を与えることができればと思っています。

花輪ばやし。昨年、世界遺産に登録された。僕が行った時、町の人の話題の一つは、「明日は、壇蜜が来る」ということだった。みな、すごく楽しみにしていた。 後で聞いたら、祭りのコンテストで優勝したのは、もろ肌脱いだ女性たちのホットなパフォーマンスだったようだ。見たかった。動画は、僕が見た、小学生ぐらいの女の子の太鼓。とても楽しそう。 ところで、壇蜜主演の仙台・宮城観光PR動画が「炎上」して、配信中止になったらしい。今ならYoutubeでまだ見れる。 https://goo.gl/x57tVz 「識者」のコメントはこちら。 https://goo.gl/kbzMU4

ボルツマンのエントロピーの式 　 　S = k log W 　 を見ると、あることに気づく。 Wは、ミクロな状態の「数」だというのだから、log W は、ある整数の対数を取ったもの。W=1の時、 log 1 = 0 だから S = 0となるが、次の値は、W=2の時で、S = k log 2。その次は、S = k log 3である。この式で表されるエントロピーの値は、決して任意の連続な値をとるわけではない。 現在の目から見れば、この式は、エントロピーの離散的で「量子論的」性質を表していると解釈できるのだが、ボルツマンの生きた19世紀には、量子論はまだなかった。量子論は、彼が、マッハらに攻撃された「原子論」の、自然な帰結なのだということも、よくわかる。 同時に、この時代には、エントロピーの離散的な解釈を与える、シャノンの情報理論も存在していない。不思議な関係式だ。 エントロピーの量子論的定式化を行ったのは、フォン・ノイマンである。もちろん、シャノンの登場のはるか以前である。驚くほどの慧眼である。 すでに、1932年の「量子力学の数学的基礎」の中で、次のようなエントロピーの定式化を与えている。 　 　S = - Tr ( ρ log ρ ) 　 ここで、ρ は密度行列、Trは行列のTrace（対角要素の和をとったもの）である。この式の説明は、別の機会にゆずるが、ギブスの与えた密度関数 ρ を用いたエントロピーの式と、基本的には同じ形をしている。（ΣもTrも、和をとる演算である） 　 　S = - Σ ( ρ log ρ ) 　 エントロピーの歴史の中で、フォン・ノイマンは、エントロピーの量子化だけでなく、もう一つの重要な「貢献」をしている。 1940年、それまでの熱力学的エントロピー概念の系譜とは全く独立にシャノンが発見した「不確実さの関数」＝「情報量」の概念に、「エントロピー」という名前をつけることを勧めたのは、フォン・ノイマンだと言われている。 https://goo.gl/Lkm98X 「あなたは、それをエントロピーと呼ぶべきだ。二つ理由がある。第一に、あなたの不確実さの関数は、統計力学の中では、その名前で利用されてきていて、既に名前があるのだから。第二に、もっと重要なことなのだが、誰もエントロピーが実際に

東京暑いじゃないか。35度。出発した息子がいる秋田が30度。彼女が向かう稚内が25度。なんか僕だけ、損した気分。我が家の夏の南北問題。

今年は、母の新盆でもあり、高校まで暮らした秋田大館で、ゆっくり夏休みをとっていました。 明日から東京に帰ります。 写真は、仔犬時代の「のの」。 高校時代、「京都のマネの大文字焼きなんかやめて、犬文字焼きにすればいいのに」と毒づいていたのですが、今年の送り火は、「犬」の字になりました。 https://scontent-nrt1-1.xx.fbcdn.net/v/t1.0-9/21032586_10213264566466199_6459140815472346774_n.jpg?oh=db2ad83c40e5264602d88e39c2c7f2cf&oe=5A4BB934

以前の僕の投稿から。 https://goo.gl/uERvY9 　 ---------------------------------------　 「ボルツマン・マシン」のことを書いたが、「マシン」に人の名前がつくのは、僕は他には、「チューリング・マシン」しか知らない。 19世紀のボルツマンと20世紀のチューリングには、これ以外にも共通点がある。（二人とも、傑出した天才であるという自明のことを除いて）それは、二人とも自殺していることである。 のちに「XXX マシン」と呼ばれる業績を残すかもしれない、まだ見ぬ21世紀のXXXが、そうならないことを祈ろう。 ---------------------------------------　 　　 昨日紹介したサスキンドの発言は「悪い冗談」なのだが、ボルツマンの業績は、彼の生前には正当に評価されなかった。特に、当時の物理学会で大きな発言力を持っていたマッハとその取り巻きは、執拗にボルツマンの「原子論」を攻撃した。ボルツマンは、追い詰められ、次第に精神を病んでゆく。 古代ギリシャで原子論を提唱したデモクリトスの著作を、プラトンは、全部、焼かせたという。19世紀の物理学でも、「原子論」は「異端」の学説だったらしい。（日本でいえば、江戸時代にボルツマンは生まれ、明治維新の頃に論文を書いていると思っていい。） 写真は、Scott Aaronsonの本 "Quantum Computing Since Democritus" 「デモクリトス以来の量子コンピューティング」の表紙を飾るデモクリトス。 19世紀の物理学者の双璧は、ボルツマンとマックスウェルだと思うが、二人のアカデミーでの人生は、はっきりと明暗を分けている。 物理現象を、より基本的な要素の実在とその運動で説明しようというのは、現代物理学の基本的な態度である。ボルツマンらがその基礎を築いた統計力学の手法は、20世紀の量子力学を準備する。素粒子論というのは、現代の原子論に他ならない。 ただ、原子論が、科学の世界で広いコンセンサスを得るのは（化学の世界では、原子論は、早くから受け入れられていたようなのだが）、1905年の、アインシュタインの「ブラウン運動」についての論文以降だったという。 ボルツマンも、この20代の若者の論

ボルツマンの墓には、彼が発見した、次のエントロピーの式が刻まれている。 　　S = k log W 　 ここで、Sはエントロピーで、kはボルツマンの定数、Wはミクロな状態の数である。 先に、なぜ、熱力学的には エネルギーを温度で割った単位を持つ量であるエントロピーが、情報の理論と結びつくのだろうかと書いたのだが、表面的には、理由は意外と簡単である。 このボルツマンの式は、エントロピーが、ミクロな状態の数の対数 log W に「比例」するという彼の偉大な発見を表しているのだが、情報の理論と結びつくのは、この log W の部分なのである。この部分は、単なる整数の対数なので、次元（単位のこと）は無い。 先の関係式で、「エネルギー 割る 温度」というエントロピーの単位（次元のこと）は、すべて、k というボルツマンの定数の中に閉じ込められている。 もしも、 k = 1 なら（実際、そういう表記をすることもある） 　 　　S = log W 　 となって、エントロピーと E/T(Joul/Kelvin)という熱力学的単位との関係は、ほとんど見えなくなる。 その意味では、ボルツマンの定数k は、熱力学的エントロピーと情報論的エントロピーを結びつける、重要な役割を持つのである。 スタンフォードの物理学講義で、サスキンドは、こんな冗談を言っていた。 「ボルツマンは、彼の定数を、誰も覚えてくれないので、それを悲しんで、自殺したんだ。」