過去・現在・未来

先に、一般相対論と量子情報理論を中心に置いた Susskind の次のような物理学の俯瞰図を紹介したが https://goo.gl/nqXwZn 、こうした絵解きはいくつかある。 次の図は、去年11月のバークレーでのパネル "Our Quantum Society: Living with Entanglement" https://goo.gl/aWtAzi で Cathryn Carson 女史が与えたもの。 この間見てきたスライドでは、指折りのテキトーなものなのだが、気分は伝わる、（これ、アニメなんです。Youtubeはこちら https://goo.gl/j7bE57 ） ポイントは、パネル自体の名称がそうなのだが、Entanglement という現象と、きちんと向き合わなければ、いけないということ。同じ量子的な現象としての Superposition が、波の重ね合わせとして比較的容易に表象できるのに対して、Entanglement はそうではない。ただ、Entanglement は、奇妙な例外的な事象ではなく、今や、物理学の基礎そのものになろうとしている。 その点では、EntanglementのEntropyを、初めて定式化した、我らが高柳博士の物理の俯瞰図は、きちんとしている。「重力理論と量子エンタングルメント」 https://goo.gl/kRPcNI 量子情報理論が、量子論・重力理論と並んで、物理学の三本目の柱になるという見通しである。

物理学は、今、大きな変革期を迎えているようだ。 その特徴は、物質・時空の理論だった物理学が、情報の理論と結びつこうとしていることだと思う。 先月の3月20日から22日にかけて、 "Computational Complexity meets Quantum Gravity." をスローガンに掲げて、Stanford大学で開催された "It-From-Qubit Complexity Workshop" https://goo.gl/1QgloA 　は、そのことを強く印象付ける、とても刺激的なものだった。 こうした研究の方向を推進している一人が、Susskindである。以前にリンゴをかじって講義している先生として紹介したのだが、本当はエライ人なのだ。 図は、2015年の彼の講演、"Entanglement and Complexity: Gravity and Quantum Mechanics" https://goo.gl/J0wSkf からとったものだが、様々な問題領域の中核に、一般相対論と量子情報理論の二つがあることが強調されている。 量子論と相対論の統一については、String TheoryやQuantum Loop Gravity など、いくつかの取り組みがあるのだが、その枠組みを、量子情報理論を加えて拡大しているのが、ミソである。 Erik Verlindeのエントロピー的重力理論や、日本の笠・高柳のエンタングルメントのエントロピーの定式化も、こうした流れの重要なトピックになる。 Aaronsonのblogを見たら、3月のStanfordでのWorkshop、Googleのセルゲイ・ブリンも聞きに行っていたらしい。

6. エネルギーの比例性 ハードウェアがフルパワーのときに、十分な電力と冷却を供給する必要があるため、TDP（熱設計電力）は供給電力のコストに影響する。ただし、この電力料金は、作業負荷が日中に変動するために消費される平均に基づいている。 [Bar07]は、サーバーが時間の10％未満で100％ビジーである時には、サーバーは、実行された作業量に比例した電力を消費する必要があるという比例性を発見したとしている。前章での消費された電力の見積もりは、Googlデータセンターで見られたTDPの割合に基づいている。 提供されたワークロード使用率が0％から100％まで変化し、ワークロードの10％デルタのバケットで収集された場合のパフォーマンスと電力を測定した[Lan09]。図10は、CNN0のワークロードを変化させることによって、3つのチップのサーバーあたりのダイの数をサーバーの数で割ったものである。 GPUとTPUの増分（K80とTPU）と合計電力（K80 + Haswell / 4とTPU + Haswell / 2）をプロットしている。すべてに同じバッチサイズが与えられていることに注意。 図１０ 図10.ターゲットプラットフォーム使用率が0％から100％まで変化する時のCNN0のワット/ダイ。 Total GPUとTPUのパワーは赤とオレンジのラインで、Incrementalパワーは緑と紫のライン。サーバは2CPU、8GPUまたは4TPUを持っているので、それぞれ2,8、および4で割って正規化している。 TPUはダイ全体で最低118W（TPU + Haswell / 2）、ダイごとに40W（図10ではTPU）だが、エネルギーの比例性は低い。10％の負荷でTPUは、100%負荷の時の88%の電力を使っている。 （短い設計スケジュールにより、多くの省エネ機能が組み込まれていなかった。） 当然のことながら、Haswellはグループの比例比で最高である。10％の負荷の場合、100%負荷の56％の電力を使用する。 K80はTPUよりもCPUに近く、10％の負荷で全負荷電力の66％を使用する。計算上の境界ではないLSTM1も同様に動作する.10％の負荷では、CPUはフルパワーの47％を使用し、GPUは78％を使用し、TPUは94％を使用する。 ア

データセンター内での Tensor Processing Unitのパフォーマンス解析 Norman P. Jouppi, Cliff Young, Nishant Patil, David Patterson, Gaurav Agrawal, Raminder Bajwa, Sarah Bates, Suresh Bhatia, Nan Boden, Al Borchers, Rick Boyle, Pierre-luc Cantin, Clifford Chao, Chris Clark, Jeremy Coriell, Mike Daley, Matt Dau, Jeffrey Dean, Ben Gelb, Tara Vazir Ghaemmaghami, Rajendra Gottipati, William Gulland, Robert Hagmann, C. Richard Ho, Doug Hogberg, John Hu, Robert Hundt, Dan Hurt, Julian Ibarz, Aaron Jaffey, Alek Jaworski, Alexander Kaplan, Harshit Khaitan, Andy Koch, Naveen Kumar, Steve Lacy, James Laudon, James Law, Diemthu Le, Chris Leary, Zhuyuan Liu, Kyle Lucke, Alan Lundin, Gordon MacKean, Adriana Maggiore, Maire Mahony, Kieran Miller, Rahul Nagarajan, Ravi Narayanaswami, Ray Ni, Kathy Nix, Thomas Norrie, Mark Omernick, Narayana Penukonda, Andy Phelps, Jonathan Ross, Matt Ross, Amir Salek, Emad Samadiani, Chris Severn, Gregory Sizikov, Matthew Snelham, Jed Souter, Dan Steinberg, Andy Swing, Mercedes Tan, G

ボブ・ディランの"Triplecate"を聴く。Samplerというダイジェスト版だけど、10曲入っている。SpotifyでもGoogle Musicでも聴ける。多分、Apple Musicでも。（Apple Music、やめようとして色々いじったが、うまくいかず、結局、やめ方中途半端なまま、課金だけされて、Androidでは聴けなくなってしまった。ヒドイ。） 「センチメンタル・ジャーニー」や「スター・ダスト」なんか懐かしい気になる。いいかも。と、思うところもあるのだが。でも、なんか引っかかる。 ボブ・ディランが、気分は、シナトラになっている。歌はヘタだけど。僕の好きなエイミーもガガも、スタンダード・ナンバーをトニー・ベネットとデュエットをしているのだが、ボブ：ディランは、一人で出来上がっている。カラオケで、おじさんが持ち歌の「マイ・ウエイ」を、上手に得意げに歌っているのを聞いたのに似た気分になる。 最近のディランのインタビューを読んで、さすがだな、鋭いな、なかなか面白いなとも思ったのだが、スタンダードへの回帰というが、多分、彼は、新しい詩を作ることがもうできないのだろう。（ノーベル文学賞をもらったのにね） ジョン・レノン、ボブ・ディラン、ポール・マッカトニーは、それぞれ一つ違いの、ほぼ同じ世代だ。そう思うと、この中では、一番若いとはいえ、ポールの元気さは、すごいと思う。 でも、待てよ。 人は誰でも歳をとる。どんな歳のとりかたをしようが、ボケようが、それを他人がとやかくいう必要はないと思う。余計なお世話だ。半分、ボケが入っている自分が言うのも、なんかおかしいが。 そうだ。10年もしないうちに、彼らと同世代になって、新しいことについていけなくなったら、リーマンとかアインシュタインの話をしよう。その前に、もっとボケるって？　余計なお世話だ。 ボブ・ディランさん、ごめんなさい。お元気で。

数学には、まだ解けない問題が沢山残っている。 そうした問題の中に、もし、その問題が解ければ、すべての数学の難問を証明することができるという特別な問題がある。 解くのはとても難しく、誰も成功していないのだが、定式化は簡単である。「0 = 1 を証明せよ！」これである。 世界のクレージーな数学者の何パーセントかは、この究極の問題に取り組んでいる。 僕は数学者なのだが、最近、プログラム言語の勉強を始めた（数学だけじゃ、生活できないからね）。 そしたら、驚いた。 この世界では、x = x + 1 という式は常識らしい。これって、0 = 1 だよね。プログラムの世界は、僕が思っていた以上に、ぶっ飛んでいるようだ。 誰かが言っていた。「世界中の数学者の収入を全て合わせたものより、Googleトップの一人の収入の方が大きい」と。 世の中は不公平なものかもしれないのだが、それだけではないと思う。Googleは、きっと、数学の最終問題 “ 0 = 1“の証明を、密かに完成させているのだと思う。

4月22日東京、4月29日大阪で、角川アスキーさんの主催で、「IT技術者の新しい常識「ディープラーニング」入門」６時間集中講義を行います。皆さんの参加をお待ちしています。 --------------------------------------------------- 4月22日の東京は、昨年来のシリーズの第二弾で、今回のテーマは、「自然言語とニューラルネットワーク」です。 次のような構成になります。 　　第一部　概説　自然言語と人工知能 　　第二部　RNNとLSTMの基礎 　　第三部　Googleニューラル機械翻訳 4月22日東京の開催趣旨はこちら https://goo.gl/LJ7qvA 申し込みページはこちらです。https://goo.gl/uHFcxj --------------------------------------------------- --------------------------------------------------- 4月29日の大阪のテーマは、「ニューラルネットワークの基礎」です。（4月22日の東京とは、コンテンツが異なりますのでご注意ください。）　 次のような構成となります。 　　第一部　ニューラルネットワークの基礎 　　第二部　ニューラルネットワークはどう「学習」するのか 　　第三部　ニューラルネットワークによる画像認識技術 開催趣旨はこちら https://goo.gl/ufQ2vH 申し込みページはこちらです。https://goo.gl/xhXoqC --------------------------------------------------- --------------------------------------------------- 4/22 東京　開催概要 --------------------------------------------------- ■セミナータイトル： IT技術者の新しい常識「ディープラーニング」入門６時間集中講義 Part 2　自然言語処理とニューラルネットワーク ■講義の構成： 　　第一部　概説　自然言語と人工知能 　　第二部　RNNとLSTMの基礎 　　第三部　Googl