過去・現在・未来

【 テンソル積の表現 】 先のセッションで、Tensor Network の初等的な導入をしました。今回は、その上で、Tensor Networkの基礎を紹介しようと思います。 もっとも重要なポイントは、テンソル積の表現です。 ベクトル空間 V とベクトル空間W のテンソル積で表される空間は、Vを表す直線とWを表す直線を平行にならべた二本の直線で表現されます。 このテンソル空間上の任意のベクトルは、このVとWに対応する二本の直線をエッジとして持つノードで表現されます。二本足のノードです。 もしもこのテンソル空間が、二つのベクトルのテンソル積として分解可能ならば、この空間は、二つのベクトルを表す図形が平行にならんだ形で表現されます。 この場合、先の二本足の一つのノードは、並行に並んだ二つの一本足のノードに分解されます。図形が平行に並ぶことが、テンソル籍を表現しています。 二本足のノードが、常に、二つの一本足のノードの分離したペアで表現されるとは限りません。エンタングルメントという状態は、ノードが二つのもののテンソル積の形には分解できない状態をさします。それを、「分離不可能」と呼ぶこともあります。エンタングルメントは、分解不能＝分離不可能な状態のことです。 文章で書くと、かえってわかりにくいかもしれません。図をみてもらった方がわかりやすいと思います。ぜひ、スライドまたはビデオをご覧ください。 ------------------------------------- 「 Tensor Network の基礎 」を公開しました。 https://youtu.be/Z83MxtzSsSQ ?list=PLQIrJ0f9gMcOByaj0vK9cnGyaEUFUadh4 資料pdf https://drive.google.com/file/d/1JakrBx0zltJrGy9UGHEbWVAVpqfU2gr8/view?usp=sharing blog：「 テンソル積の表現 」 https://maruyama097.blogspot.com/2023/02/blog-post_19.html まとめページ https://www.marulabo.net/docs/density2/

【  誰でも分かるテンソル・ネットワーク入門 】 今、テンソルを多数並べて、一つのネットワークを作る「テンソル・ネットワーク」という技術が、物理学でもディープ・ラーニングでも、いろんなところで活躍しています。 　「ちょっと待って。何の話をしているの？　テンソルを並べると言っても、そもそもテンソルが何かわからないし。」 「テンソル」というのは、スカラーやベクトルや行列といった数学的概念を一般化したものです。 　「ベクトルは、イメージはある。矢印のことだろ。行列はどっかで習ったような気がするけど、行列の掛け算、むづかしかった。嫌になった。スカラー、聞いたことないな。わからないことを一般化すると、わかりやすくなるの？　わからないままでしょう。」 スカラーは、数字のことです。ベクトルは、数字が並んだものです。数字同士を掛け算できるように、ベクトル同士も、掛け算できるんですよ。それをベクトルの「内積」と言います。 　「ベクトルの内積？　もういいよ、興味ないから。普通の掛け算できれば、日常生活じゃ十分じゃない？　電卓だってエクセルだってあるし。」 どうやら、「テンソル・ネットワーク」導入に失敗したようです。中身に入る前に。 ただ、それは残念なことだと思います。というのも、テンソル・ネットワークの基本的な考え方は、行列の掛け算よりずっとやさしいからです。多分、小学生でも理解できると思います。 皆さんも、テンソル・ネットワークの世界、のぞいてみませんか？ ---------------------------------------------- このセッションは、予定しているセミナー「密度行列 ρ で理解する確率の世界」https://www.marulabo.net/docs/density2/ の一部なのですが、少し説明が長くなってしまったので、別ページ「Tensor Network入門」https://www.marulabo.net/docs/tensor-network/ を作りました。

【 ニューラル・ネットワークは モノマネの天才 】 機械の学習能力を、人間の言語や数学の学習能力と比較することは、いわゆる「人工知能」の現在の到達点を評価する上で大事なポイントになると僕は考えています。 機械の学習能力を考えるには、人間との比較だけではなく、それとは異なるアプローチがあります。それは、機械の能力自体がどのように発展してきたかを、技術的な視点から歴史的に振り返ることです。 大規模言語モデルを一つの到達点として考えると、そこには二つの技術的な飛躍があったことに気づきます。 一つは、以前のセミナーでも取り上げた「意味の分散表現」技術の獲得です。この分野の研究は現在も活発に進んでいます。次の機械の認識能力の飛躍は、こうした研究の中から生まれると思います。 もう一つは、今回取り上げる RNN ( Recurrent Neural Network ) 技術の採用です。RNNの一種であるLSTM ( Long Short Time Memory ) は、現在の大規模言語モデルを構成するユニットの心臓部です。心臓というより、大規模言語モデルそのものが、全身、このLSTMのかたまりだと思っていいと思います。 大規模言語モデルの理解には、要素技術的には、RNN = LSTM の理解が不可欠です。それは、ChatGPTにしても同じことです。 真面目に大規模言語モデルを勉強しようと思ったら、ここは避けて通れないところだと思います。是非、チャレンジください。ただ、その働きの技術的説明は面倒臭いです。ここで書くには長すぎます。別に資料を用意します。 現代では、誰もが 「人工知能」について語ることができます。それはそれでいいことかもしれません。 それでは、「人工知能」技術の大飛躍をもたらした RNN技術の導入を、一般の人にわかりやすく伝える方法はないのでしょうか？ たぶん、それはできると思います。 2011年、Ilya Sutskever はRNNを使って、Wikipediaやニューヨーク・タイムズの文体をまねた英文を、機械に造らせることに成功します。 2015年、Andrej KarpathyはRNNを使って、数学の論文やCのプログラムをまねて、どこにもない数学の論文・Cの論文に見える出力を、機械に造らせることに成功します。 RNNは、モノマネができるのです。しかもその能力は、

【 昔の論文を集めて、新しくページを作りました 】 「人工知能と数学」というシリーズを始めているのですが、「チューリング・テスト」のことを書こうとして、昔、自分が書いたものを探していました。 「機械の思考は可能か？」というその論文は見つかったのですが、この論文が載った「一橋論叢」という雑誌は、とうの昔に廃刊になっていることを知りました。そんなことがあったんだ。知らなかった。 まだ、ネットからはアクセスできるのですが、もはや自分では紙のデータは持っていないし、いつ無くなるかもしれないと少し心配になって、MaruLaboのサイトに、博士課程にいた時代の論文を集めることにしました。 ずいぶん古いものです。 探していた「機械の思考は可能か？」という論文は、1983年の3月の日付のものでした。今から、ちょうど40年前ですが、まだ使えます！（多分）まあ、あまり進歩していないということなのかもしれません。 お暇な方がいらしたら、このページ見てみてください。 「数理哲学論文」　 https://www.marulabo.net/docs/math-philo/ 　

  【 9/30 マルレク「ラティス暗号入門」講演ビデオの公開 】  MaruLaboでは、以前に行ったセミナーの動画を定期的に公開しています。 今回は、昨年の9月30日に開催した、マルレク 「ラティス暗号入門」の講演ビデオの公開です。こちらの不手際で公開が遅れたこと、お詫びします。 実は、去年の暮れに、ChatGPTに「ポスト量子暗号」のこと聞いて見たんです。 「ポスト量子暗号の標準化の取り組みは存在しますか？」 そうしたら、こう答えるんです。 「現在、ポスト量子暗号の標準化の取り組みは、ほとんど存在しません。ポスト量子暗号は、まだ実現されていない未来の暗号技術であり、現在はまだ技術的に実現可能なものではありません。」 とんでもないことを言います。おかしいので、いろいろ突っ込むと、すべての質問に間違った答えを返します。ちょっとショックでした。 その内容は繰り返しませんが、「ChatGPT が間違ったことを言うサンプル = ChatGPTは嘘をつく」をご覧ください。 https://www.marulabo.net/docs/chatgpt/#ChatGPT_%E3%81%8C%E9%96%93%E9%81%95%E3%81%A3%E3%81%9F%E3%81%93%E3%81%A8%E3%82%92%E8%A8%80%E3%81%86%E3%82%B5%E3%83%B3%E3%83%97%E3%83%AB ラティス暗号は、ポスト量子暗号の標準化の取り組みの中で、次世代暗号化技術の最有力の候補に目されています。 新しい暗号化技術に興味がある人は、この問題に関する質問を、ChatGPT に聞かない方がいいと思います。こちらのセミナーをご利用ください。 もう一つのセミナー「暗号技術の現在」 https://www.marulabo.net/docs/cipher2/ もご利用ください。 ------------------------------- 以下が、セミナー「ラティス暗号入門」の 講演資料と講演ビデオの再生リストです。ご利用ください。 講演資料： https://drive.google.com/file/d/1F7ShzeRuDl0mLCe69kX32fgD5tm-Thqi/view?usp=sharing 再生リスト： https://www.youtub

【 ベクトルは関数なんです 】 この章では、以後の議論で利用するノーテーションを確認します。 次の二つのノテーションについてふれようと思います。 　○ Bra-Ket記法 　○ テンソル・ネットワーク この二つのノテーションについては、次のMaruLabo の資料も参考にしてください。 　○ 「ケット |k＞ で理解する量子の世界」 　　 https://www.marulabo.net/docs/ket-talk/ 　 　○ 「テンソルとは何か？ Tensor Network 入門」 　　 https://www.marulabo.net/video/tensor-network/ 　 　　（ただし、このページの動画は「無声映画」です。ごめんなさい。） このセッションでは、Bra-Ket記法を扱います。 Sを有限集合とする時、Sの要素上で定義され複素数Cに値を持つ関数 S → C の集まり 𝑉を、S上のベクトル空間といいます。 これを V = C^S で表します。 大事なこと。ベクトルって、関数なんです。 ベクトルのこと、Sのいくつかの要素の並びだと思っていませんか？ 見かけ上はそれでもいいんですが、それでも関数なんです。（何言ってんだか） s ∈ Sの時 |s＞で、SからCへの関数であるベクトルを表します。これを、ket 記法といいます。 Sの要素がn個あって、それが番号をつけられて順番に並んでいるとします。この時、「Sの要素sからCへの関数」は「番号i を持つSの要素からCへの関数」ですので、「 iからCへの関数」と同じだと考えることができます。この対応を、 C^S ≅ C^𝑛 と表します。 ベクトル v = [ 1, 9, 4, 8 ] だとしましょう。このベクトルが関数だということは、このベクトルが、v(0) = 1, v(1) = 9,  v(2) = 4, v(3) = 8 という関数v によって定義されていると考えることです。 Sの要素を S = { s0, s1, s2, ... } とすると、先の対応のもと、|s0＞は|0＞、|s1＞は|1＞、|s2＞は|2＞、... と書き換えることができます。こちらの方が見やすいですね。 このセッションでは、主要に次の四つのことを説明します。 　● V ⊗ W* は、V → W という写像を与える

【 言語の習得と数学の学習 】 大規模言語モデルや機械翻訳システムでの言語の学習は、基本的には、膨大なパラレル・コーパスの学習である。パラレル・データの一方が模範解答として教師の役割を果たす。 それは人間なら嫌になって逃げ出したくなるほどの、教師による誤りの指摘と修正の、気の遠くなるような繰り返しである。幸いなことに、人間と違って機械は、登校拒否することも気絶することもない。 機械学習にはいくつかのタイプがあるのだが、画像認識でもSequence to Sequence でも強化学習でも、膨大なデータと繰り返しの学習によって「誤り」の低減を目指すというメカニズムは同じである。 機械はそうした退屈だが過酷な試練を耐えぬく、ある意味では人間（すくなくとも僕）に欠けている、優れた能力を持っているのである。素晴らしい！ ChatGPTの、時には嘘も交えて流暢に言葉を話す能力は、時にはヘラヘラしている印象を与えるかもしれないが、彼の生まれも育ちも「根性」も、試練に耐えた筋金入りのものだ。 ただ、こうした機械の言語学習のモデルが、言語学習の一般的なモデルであるとは、僕は思っていない。僕らは、それとは全く違うスタイルで「母語」を操る能力を手に入れているからだ。 僕らは、けっして数億ペアの大規模パラレル・コーパスを与えられて、ことばを習得したわけではない。それは経験的にはあきらかだ。その上、論理的には、僕らが学ぶ最初の言葉である母語に、対応するペアなどあるわけがないのだ。また、「母」にあたる環境は、ことばの間違いをしつこく指摘する「鬼教師」ではなかったはずだ。 人間が、だれでもことばを理解できるというのは、言語能力が人間のもっとも基本的な能力であるということである。 機械が示し始めた言語能力に感心する前に、そういう時代だからこそ、僕ら自身の言語能力の習得の不思議さに、もっと関心が集まっていいと僕は思う。言語学者は昔からそうした関心を持っていたはずだ。そこには、Chomsky「言語能力の生得性」の主張をはじめとしてたくさんの知見の集積がある。 話は変わるのだが、大規模言語モデル的な学習モデルが、学習の普遍的なモデルではないことを示すのは、人間の言語習得のプロセスだけではない。数学の学習プロセスも、現象的にも原理的にも、多くの不思議に包まれている。 近代以降、学校教育の成立の中で、数学