投稿

「ニューラル・コンピュータ」の基本文献

ニューラル・コンピュータの基本的な論文は、GoogleのDeepMindチームがNatureに発表した Alex Graves et al. "Hybrid computing using a neural network with dynamic external memory" なのだが、Nature論文は有料でしか読めない。https://goo.gl/vWHbwd お金を払ってから気づいたのだが、First AuthorのGravesが、ちゃんと自分のところで論文を公開していた。( 1,800円払う必要なかった。失敗した)https://goo.gl/r4g5xt Natureに掲載された本文自体は、短いもので、DNGで何ができるか事例をたくさんあげたもので読みやすいのだが、DNCの働きについては、これだけでは、よくわからない。 実は、先の論文の後半の "Method"というセクションが、DNCのキモの部分を詳しく述べている。ただし、前半とは違って、かなり難しい。(今度のマルレクで解説する) Method部分の理解のためには、Gravesらが以前に発表していた、"Neural Turing Machine" という論文を読むのがいいと思う。https://arxiv.org/pdf/1410.5401.pdf (そのうち、翻訳する。Google翻訳は、そのままでは使えないのだが、下訳としては、とても役に立つ。) Neural Turing Machine (NTM)が、やってみたことは、メモリーのコピー操作や連想記憶を機械に「学習させる」という、Nature論文の事例と比べると地味なものだが、コンピュータの機能としては基本的なものだ。(プログラムでメモリー・コピーを書くのではなく、学習によってコンピュータにコピーができるようにするというアプローチは、とても面白い。) もう少し、一般向けの「可微分ニューラルコンピュータ」の解説は、DeepMindのblogの次の記事だ。"Differentiable neural computers" https://goo.gl/2JjDm2 こちらは、Nature論文の前半部分の解説になっている。 Natue論文の前半の一部は、翻訳してある。 …

March for Science

イメージ
昨日の4月22日、ワシントンDCで "March for Science(科学のための行進)" が行われ、多数の市民・科学者が参加したようだ。


4月22日は、70年代に全世界に広がった環境保護運動の出発点となった 1970年の"Earth Day (地球の日)"が行われた日だ。

BrainPickingのMaria Popovaが、この"March for Science"で朗読されたJane Hirshfieldの "ON THE FIFTH DAY"という詩を紹介している。 https://goo.gl/YzUNHX


 On the fifth day
 the scientists who studied the rivers
 were forbidden to speak
 or to study the rivers.

 The scientists who studied the air
 were told not to speak of the air,
 and the ones who worked for the farmers
 were silenced,
 and the ones who worked for the bees.

 Someone, from deep in the Badlands,
 began posting facts.

 The facts were told not to speak
 and were taken away.
 The facts, surprised to be taken, were silent.
 ....

「五日目に」というのは、トランプが大統領に就任して五日目に、従来の環境保護政策を、180度転換させたことをさすのだろう。

"Science Not Silence (沈黙ではなく科学を)"というコピーも、気が利いていると思う。


語呂合わせでいうと、Mariaは、この4月24日にも、"The Universe in Verse: A Celebration of Science through Poetry (「詩の中の宇宙:詩を通じて科学を祝福する」)" と…

公証人役場

昨日、公証人役場というところに初めて行ったのだが、変わった経験をした。

老齢の 婦人と付き添いの中年の男性が、 公証人(というんでしょうね)に呼ばれて、彼の前に。

ここに二人が 来た理由は、すぐにわかった。
公証人「私が読みあげますので、文書を確認ください。」
と言って、彼が読み上げたのは、彼女の遺言状だった。

おいおい。

彼女の所有する不動産、銀行預金、家族構成、誰に何を残すのか、詳しく全部きこえる。(遺言状なので当然だが)

公証人役場といっても、個室などなく、狭くて、胸までの間仕切りで区切られているだけ。普通に話していても、部屋中に聞こえる。

とっさのことで、聞きたくないと部屋を出ることも、読み上げをやめろということもできなかった。どうすればよかったのか、今でも、よくわからない。

問題は、彼女のプライバシーやセキュリティの問題だと思うのだが、 一番の問題は、公証人にそうした問題意識が全くないことじゃないかな?

公証人役場で遺言状作るのやめよう。もっとも、残すべき財産がないので、遺言の必要も僕にはないのだが。

別の女性は、書類の不備を公証人に罵倒される。顔を真っ赤にして抗弁する彼女の話を聞けば(だって、聞こえるんだもん)、先に相談した別の公証人が是とした処理を、今日の公証人はダメだといっているようだ。

僕らの手続きは、秘密をバラされることも(嘘です。なんの秘密もありません)、罵倒されることもなく、すぐに終わった。

6時間集中講義「自然言語とニューラルネットワーク」

イメージ
今週末の4月22日、角川ASCIIさんで開催する 6時間集中講義「自然言語とニューラルネットワーク」の講演資料です。ご利用ください。

 第一部 概説 自然言語と人工知能 https://goo.gl/Hx4maJ
 第二部 RNNとLSTMの基礎    https://goo.gl/aAmyfC
 第三部 Googleニューラル機械翻訳  https://goo.gl/m1yMb0

基本的に、言語について取り上げてきた、この間の4回+アルファのマルレクの講演を3回にまとめたものです。

計算が合わないのですが、第一部が、再構成・一部加筆され、結果、頭でっかちになっています。第二部・第三部は、マルレクの資料と同じものです。

長いので(スライド 700枚近くあります)、本当は、聴きにいらしてもらうのが一番いいのですが .....



現代物理の俯瞰図

イメージ
先に、一般相対論と量子情報理論を中心に置いた Susskind の次のような物理学の俯瞰図を紹介したが https://goo.gl/nqXwZn 、こうした絵解きはいくつかある。


次の図は、去年11月のバークレーでのパネル "Our Quantum Society: Living with Entanglement" https://goo.gl/aWtAzi で Cathryn Carson 女史が与えたもの。
この間見てきたスライドでは、指折りのテキトーなものなのだが、気分は伝わる、(これ、アニメなんです。Youtubeはこちら https://goo.gl/j7bE57


ポイントは、パネル自体の名称がそうなのだが、Entanglement という現象と、きちんと向き合わなければ、いけないということ。同じ量子的な現象としての Superposition が、波の重ね合わせとして比較的容易に表象できるのに対して、Entanglement はそうではない。ただ、Entanglement は、奇妙な例外的な事象ではなく、今や、物理学の基礎そのものになろうとしている。

その点では、EntanglementのEntropyを、初めて定式化した、我らが高柳博士の物理の俯瞰図は、きちんとしている。「重力理論と量子エンタングルメント」https://goo.gl/kRPcNI

量子情報理論が、量子論・重力理論と並んで、物理学の三本目の柱になるという見通しである。


It From Qubit

イメージ
物理学は、今、大きな変革期を迎えているようだ。

その特徴は、物質・時空の理論だった物理学が、情報の理論と結びつこうとしていることだと思う。

先月の3月20日から22日にかけて、 "Computational Complexity meets Quantum Gravity." をスローガンに掲げて、Stanford大学で開催された "It-From-Qubit Complexity Workshop" https://goo.gl/1QgloA は、そのことを強く印象付ける、とても刺激的なものだった。

こうした研究の方向を推進している一人が、Susskindである。以前にリンゴをかじって講義している先生として紹介したのだが、本当はエライ人なのだ。

図は、2015年の彼の講演、"Entanglement and Complexity: Gravity and Quantum Mechanics" https://goo.gl/J0wSkf からとったものだが、様々な問題領域の中核に、一般相対論と量子情報理論の二つがあることが強調されている。

量子論と相対論の統一については、String TheoryやQuantum Loop Gravity など、いくつかの取り組みがあるのだが、その枠組みを、量子情報理論を加えて拡大しているのが、ミソである。

Erik Verlindeのエントロピー的重力理論や、日本の笠・高柳のエンタングルメントのエントロピーの定式化も、こうした流れの重要なトピックになる。

Aaronsonのblogを見たら、3月のStanfordでのWorkshop、Googleのセルゲイ・ブリンも聞きに行っていたらしい。


TPU論文の翻訳(2)

イメージ
6. エネルギーの比例性
ハードウェアがフルパワーのときに、十分な電力と冷却を供給する必要があるため、TDP(熱設計電力)は供給電力のコストに影響する。ただし、この電力料金は、作業負荷が日中に変動するために消費される平均に基づいている。 [Bar07]は、サーバーが時間の10%未満で100%ビジーである時には、サーバーは、実行された作業量に比例した電力を消費する必要があるという比例性を発見したとしている。前章での消費された電力の見積もりは、Googlデータセンターで見られたTDPの割合に基づいている。

提供されたワークロード使用率が0%から100%まで変化し、ワークロードの10%デルタのバケットで収集された場合のパフォーマンスと電力を測定した[Lan09]。図10は、CNN0のワークロードを変化させることによって、3つのチップのサーバーあたりのダイの数をサーバーの数で割ったものである。 GPUとTPUの増分(K80とTPU)と合計電力(K80 + Haswell / 4とTPU + Haswell / 2)をプロットしている。すべてに同じバッチサイズが与えられていることに注意。


図10 図10.ターゲットプラットフォーム使用率が0%から100%まで変化する時のCNN0のワット/ダイ。 Total GPUとTPUのパワーは赤とオレンジのラインで、Incrementalパワーは緑と紫のライン。サーバは2CPU、8GPUまたは4TPUを持っているので、それぞれ2,8、および4で割って正規化している。


TPUはダイ全体で最低118W(TPU + Haswell / 2)、ダイごとに40W(図10ではTPU)だが、エネルギーの比例性は低い。10%の負荷でTPUは、100%負荷の時の88%の電力を使っている。 (短い設計スケジュールにより、多くの省エネ機能が組み込まれていなかった。)

当然のことながら、Haswellはグループの比例比で最高である。10%の負荷の場合、100%負荷の56%の電力を使用する。 K80はTPUよりもCPUに近く、10%の負荷で全負荷電力の66%を使用する。計算上の境界ではないLSTM1も同様に動作する.10%の負荷では、CPUはフルパワーの47%を使用し、GPUは78%を使用し、TPUは94%を使用する。

アクセラレータのホストになる場合、CNN0を実…