過去・現在・未来

プレスキルの論文 "Quantum Computing in the NISQ era and beyond" を翻訳してみました。ご利用ください。少し長いかもしれませんので、お時間があるときにでもお読みください。 https://goo.gl/6qh1oE 　 この論文は、2017年12月5日に開催されたQuantum Computing for Businessカンファレンスで彼が行なった基調講演に基づいています。量子コンピューティング技術の現状と将来展望を知るには、最良の論文の一つだと思います。 (原論文は、こちらです。 https://arxiv.org/pdf/1801.00862.pdf  ) この論文は、彼の言葉を借りれば、「技術的な知識のある読者のために有用なオーバービューを提供することを望みながら、広い層が関心を失ったり当惑しないように難しい専門用語や技術的な詳細を最小限に抑えようとした。」という、専門家と一般の読者の両方を対象にした、なかなか欲張った論文です。 と言っても、取り上げている話題がとても広く、一般の読者には、少し難しい部分もあるかと思います。6月26日のマルレク「量子コンピューティングの現状と課題」では、この論文の紹介と解説を行います。ご期待ください。

システム概論（続き） 総合的な質問に答える実験 我々の最初の実験では、質問応答を実行するDNCの能力を調査した。 DNCと他のニューラルネットワークアーキテクチャを比較するために、bAbIデータセットを検討した。これには、テキスト推論の側面を真似るように設計された20種類の総合的な質問が含まれている。 データセットは、短い「ストーリー」スニペットとそれに続くストーリーから推測できる答えの質問から構成される。例えば、「ジョンはグランドにいます。ジョンはフットボールをピックアップしました」というストーリーに続いて「フットボールはどこにありますか？」という質問に、グラウンド」と答えには、 システムは2つの裏付けの事実を組み合わせる必要がある。「羊はオオカミを恐れています。」「ガートルードは羊です。」「ネズミはネコを恐れています。」「ガートルードは何を恐れているのですか？」（答え、「オオカミ」）では、基本的な演繹能力（および引っ掛けへの耐性）をテストする。 我々は、1つのDNCを、それぞれにつき10,000のインスタンスを持つ20種類の質問タイプを、すべて一緒に訓練を行い、2種類の質問に対して、タスク失敗（> 5％エラーと定義）で3.8％の平均テストエラー率を達成できることを発見した。 7.5％の平均誤差と6回の失敗したタスクが、過去の最高の学習結果であった。 我々はまた、DNCがLSTM（現在のところ、ほとんどのシーケンス処理タスクのベンチマークとなっているニューラルネットワーク）とニューラルチューリングマシンの両方よりも優れた性能を発揮することも発見した。 グラフ実験 このような文章は、グラフの形式で簡単に表示することができる。たとえば、”John is the playground”は、2つの名前付きノード、’Playground’と ‘John’、名前付きエッジ ‘Contains’によって接続されている。この意味で、多くのbAbIタスクにおける命題で表現される知識は、基礎となるグラフ構造上の制約のセットと同等である。 実際、機械学習が直面する多くの重要なタスクには、解析木、ソーシャルネットワーク、知識グラフ、分子構造などのグラフデータが関係して...

6. エネルギーの比例性 ハードウェアがフルパワーのときに、十分な電力と冷却を供給する必要があるため、TDP（熱設計電力）は供給電力のコストに影響する。ただし、この電力料金は、作業負荷が日中に変動するために消費される平均に基づいている。 [Bar07]は、サーバーが時間の10％未満で100％ビジーである時には、サーバーは、実行された作業量に比例した電力を消費する必要があるという比例性を発見したとしている。前章での消費された電力の見積もりは、Googlデータセンターで見られたTDPの割合に基づいている。 提供されたワークロード使用率が0％から100％まで変化し、ワークロードの10％デルタのバケットで収集された場合のパフォーマンスと電力を測定した[Lan09]。図10は、CNN0のワークロードを変化させることによって、3つのチップのサーバーあたりのダイの数をサーバーの数で割ったものである。 GPUとTPUの増分（K80とTPU）と合計電力（K80 + Haswell / 4とTPU + Haswell / 2）をプロットしている。すべてに同じバッチサイズが与えられていることに注意。 図１０ 図10.ターゲットプラットフォーム使用率が0％から100％まで変化する時のCNN0のワット/ダイ。 Total GPUとTPUのパワーは赤とオレンジのラインで、Incrementalパワーは緑と紫のライン。サーバは2CPU、8GPUまたは4TPUを持っているので、それぞれ2,8、および4で割って正規化している。 TPUはダイ全体で最低118W（TPU + Haswell / 2）、ダイごとに40W（図10ではTPU）だが、エネルギーの比例性は低い。10％の負荷でTPUは、100%負荷の時の88%の電力を使っている。 （短い設計スケジュールにより、多くの省エネ機能が組み込まれていなかった。） 当然のことながら、Haswellはグループの比例比で最高である。10％の負荷の場合、100%負荷の56％の電力を使用する。 K80はTPUよりもCPUに近く、10％の負荷で全負荷電力の66％を使用する。計算上の境界ではないLSTM1も同様に動作する.10％の負荷では、CPUはフルパワーの47％を使用し、GPUは78％を使用し、TPUは94％を使用する。 ア...

データセンター内での Tensor Processing Unitのパフォーマンス解析 Norman P. Jouppi, Cliff Young, Nishant Patil, David Patterson, Gaurav Agrawal, Raminder Bajwa, Sarah Bates, Suresh Bhatia, Nan Boden, Al Borchers, Rick Boyle, Pierre-luc Cantin, Clifford Chao, Chris Clark, Jeremy Coriell, Mike Daley, Matt Dau, Jeffrey Dean, Ben Gelb, Tara Vazir Ghaemmaghami, Rajendra Gottipati, William Gulland, Robert Hagmann, C. Richard Ho, Doug Hogberg, John Hu, Robert Hundt, Dan Hurt, Julian Ibarz, Aaron Jaffey, Alek Jaworski, Alexander Kaplan, Harshit Khaitan, Andy Koch, Naveen Kumar, Steve Lacy, James Laudon, James Law, Diemthu Le, Chris Leary, Zhuyuan Liu, Kyle Lucke, Alan Lundin, Gordon MacKean, Adriana Maggiore, Maire Mahony, Kieran Miller, Rahul Nagarajan, Ravi Narayanaswami, Ray Ni, Kathy Nix, Thomas Norrie, Mark Omernick, Narayana Penukonda, Andy Phelps, Jonathan Ross, Matt Ross, Amir Salek, Emad Samadiani, Chris Severn, Gregory Sizikov, Matthew Snelham, Jed Souter, Dan Steinberg, Andy Swing, Mercedes Tan, G...

ゼロ・ショット翻訳を可能にする Googleの多言語ニューラル機械翻訳システム Melvin Johnson, Mike Schuster, Quoc V. Le, Maxim Krikun, Yonghui Wu, Zhifeng Chen, Nikhil Thorat melvinp, schuster, qvl, krikun ,yonghui,zhifengc,nsthorat@google.com Fernanda Viégas, Martin Wattenberg, Greg Corrado,  Macduff Hughes, Jeffrey Dean 概要 私たちは、単一のニューラル機械翻訳（NMT）モデルを使用して、複数の言語どうしを翻訳する、シンプルで洗練されたソリューションを提案します。 私たちのソリューションでは、基本のアーキテクチャーからモデルのアーキテクチャーを変更する必要はありません。代わりに入力文の始めに特殊な人工的なトークンを導入して、必要なターゲット言語を指定するだけです。エンコーダ、デコーダ、アテンションを含むモデルの残りの部分は変更されず、すべての言語で共有されています。 共有ワードピースのボキャブラリを使用することで、多言語NMTはパラメータを増やさずに、単一のモデルを利用することができるのです。これは、従来の多言語NMTの提案よりも大幅に簡単なものです。私たちの方法は、多くの場合、モデル・パラメータの総数を一定に保ちながら、関連するすべての言語ペアの翻訳品質を改善します。 WMT'14のベンチマークでは、単一の多言語モデルが、英語 -> フランス語翻訳に匹敵するパフォーマンスを達成し、英語 -> ドイツ語の翻訳では、最先端の結果を凌駕しています。同様に、単一の多言語モデルは、それぞれ、フランス語 -> 英語とドイツ語 -> 英語のWMT'14とWMT'15ベンチマークの最新の結果を上回りました。 製品版のコーパスでは、最大12言語対の多言語モデルで、多くの個々のペアの翻訳より良い翻訳が可能になります。 我々のモデルは、モデルが訓練された言語ペアの翻訳品質を向上させることに加えて、訓練中に明示的には見られなかった言語...