過去・現在・未来

 【 探究は続く 】 今回のセミナーでは、Tai-Danae Bradleyの次の論文の紹介する予定でした。 Language Modeling with Reduced Densities https://arxiv.org/abs/2007.03834v4 　　 ただ、今回は他の部分が膨らんで、また、準備に十分な時間が取れず断念しました。すみません。 この Tai-Danaeの論文の数学的基礎の reduced density については、2023年2月のマルレク「密度行列 ρ で理解する確率の世界」がその解説になっています。先日、講演資料と講演ビデオを公開したので、そちらを参照ください。 https://www.marulabo.net/docs/density2/ 　 セミナーの構成を変更して、「意味の分散表現論の系譜 – 大規模言語モデルへ」の部分を切り離したので、そちらに含まれていたTai-Danae の新しいアプローチを紹介していた部分を、改めて今回のセミナーの一部として再掲したいと思います。 なぜ、DisCoCatの流れの中で、Tai-Danae の議論に注目するのでしょうか？ この論文の冒頭で、彼女はこう言っています。 「この研究は、今日の最先端の統計的言語モデルが、その性能において印象的であるだけでなく、より本質的に重要なことは、それが構造化されていないテキストデータの相関関係から完全に構築されているという観察から生まれたものです。」 彼女の関心は、現在の「大規模言語モデル」の「印象的」な成功に向けられています。彼女はそれがDisCoCatモデルとは少し異なる言語モデルであることも知っています。その上で、その背後にあるものを探り出そうとしているのです。 僕にとって印象的だったのは、彼女が次々と問題を立てることでした。答えの前には、もちろん、問題があります。ただ、答えを見つける条件が成熟するというのは、正しく問題をたてることができるということです。 　⚫️ 自然言語における表現の意味をとらえる数学的構造は何か？ 　⚫️ この構造は、テキスト・コーパスを用いてどの程度まで十分に検出できるのか？ 　⚫️ 抽象的な概念とその相互関係を自然に掘りだす方法はあるのか？ 　⚫️ 論理と命題の連関はどのようにして生まれるのか？ こうして、彼女は、次の二つ

【 ことばと意味の数学的構造-- はじめに 】 人間とことばで対話することができるChatGPTの登場は、「ことばと意味」についての私たちの関心を改めて高めました。 ChatGPTを産み出した「大規模言語モデル」の成功は、意味を多次元のベクトルで表現する「意味の分散表現」技術の採用に多くをおっています。 AI技術の分野で、 「意味の分散表現論」がどのように生まれ、どのように発展してきたかを、理論と実装の二つの面から、振り返ってみた考察を、「意味の分散表現論の系譜 – 大規模言語モデルへ」にまとめました。ぜひ、ご利用ください。 小論は、 同時に公開したこの「意味の分散表現論の系譜 – 大規模言語モデルへ」とは異なる視点から、「ことばと意味」について、その背後に存在する数学的構造を探究しようとする研究を紹介したものです。 なぜなら、この 「ことばと意味」の形式的・数学的理論の分野でも、近年、目覚ましい研究の進展が見られるからです。 ここでもその関心は、「意味の分散表現」に置かれています。「意味の分散表現」の担い手を多次元ベクトルから密度行列に置き換えるという研究の中で、「ことばと意味」の理論の量子論との一致が発見されています。これは驚くべきことです。また、自然言語処理を量子コンピュータ上で行おうという実験が始まっています。 残念ながら、今回のセミナーでは、こうした新しい研究の進展(Part 4) については詳しく述べることはできませんでした。改めて別のセミナーで紹介したいと考えています。 今回のセミナーの中心は、AIの分野での「意味の分散表現論」とは異なる、いわば「もう一つの意味の表現論」の出発点となった、Bob Coecke, Tai-Danae Bradley らの、「カテゴリー論的構成的分散意味論」 DisCoCat 理論です。 「カテゴリー論的構成的分散意味論」を扱ったPart 3 では、オリジナルのCoeckeの展開と、それを紹介したTai-Danaeの議論の二つを紹介しました。内容は重複しますが、二人のアプローチを知ることは、DiCoCatの理解に役立つと思います。 ことばと意味への関心は、なにも最新の大規模言語モデルによってはじめて生まれたわけではありません。 意味の数学的理論の基礎には、LawvereのFunctorial Semantics があり(

   【 ことばと意味をめぐる驚くべきビジョン 】 「古典論・量子論・確率論」という三つのお題を並べると、「古典論と量子論を確率論が結びつける」という話だろうと思われる方が多いと思います。 こうした見方は、古典論から見ても量子論から見ても、一つの「確率論」が両者を結びつけると考えることになります。 ただ、我々が一つの確率論だと思っていた確率論の背後に、もう一つ別のより基本的な確率論があるのなら、「古典論と量子論を確率論が結びつける」という聞き慣れた古いストーリーはどう変わるのでしょう？ この古いストーリーは、また、決定論が支配するマクロな古典論の世界と、確率論が支配するミクロな量子論の世界を、わかりやすくはっきりと区別する考え方でもあります。 もしも、確率論が一つの顔しかもたないのではなく、古典論的確率論と量子論的確率論という二つの顔を持ち、かつ量子論的確率論が基本的なものであるなら、古典論の世界と量子論的世界の関係は、どう変わるのでしょう？ こうした確率概念の変化は、数学的な定義の変更で、もともと確率的な世界と考えられていた量子の世界には、それほど大きなインパクトを与えるものではないかもしれません。ましてや、我々が住む日常の世界にとっては、確率概念の量子論的見直しなどは、なんの影響もないと思われるかもしれません。 ただ、どうやらそうではなさそうなのです。 我々人間にとって最も基本的で日常的な活動である言語活動は、ことばが意味を持ち、我々が自由に意味を持つことばを生み出すことができるという能力に支えられています。 ことばの生成は決定論的で代数的な文法のルールに従います。ただ、ことばの意味は、量子論的確率論に従っているらしいのです。ことばの意味は、量子状態と見なすことができるというのです。 こうしたビジョンは驚くべきものです。ミクロな量子の世界とは遠く隔たっているように見える日常の世界のど真ん中に、目に見える形で量子論が活躍する世界が存在しているというのですから。 ただ、見方を少し変えると、そうした認識に近いところに、我々が立っていることに気づくことができます。 現在の「大規模言語モデル」の成功は、その多くを、ことばの意味を多次元の実数ベクトルで表現する「意味の分散表現論」におっています。それは、ことばの意味を、二次元の複素数ベクトル(qubit)なり、密度行列で表現

【 意味はエンタングルする 】 このセッションでは、DisCoCatの創始者である Bob Coecke が、現在どのような研究をおこなっているのかを紹介しようと思います。 彼はDiCoCatの枠組みを、ことばの意味を量子状態として捉える方向で発展させ、QNLP : Quantum Natural Processing 量子論的自然言語処理の理論を展開しています。 最近では、実際の量子コンピュータの上でQNLPの実証実験がはじまっています。 「ことばの意味を量子状態として捉える」というのはどういうことなのかを説明してみようと思います。 セミナーの前半で見たように、現代の大規模言語モデルの成功は、主要に、語や文の意味を多次元のベクトルで表現する「意味の分散表現」の採用によってもたらされたものです。 CoeckeのQNLPでは、例えば、一つの名詞の意味は一つのqubitの状態で表現されます。 一見すると、大規模言語モデルでのように、語の意味を多数の実数の組、多次元ベクトルで表現する方が強力なように思えるかもしれませんが、そうではありません。一つのqubitは、たとえ一つでも、無限に多くの状態を表現することができるからです。 名詞だけではなく、形容詞の意味の表現を考えてみましょう。 「黒い帽子」という表現で、「黒い」という形容詞は、「帽子」という名詞の意味を表す 1-qubit の状態に働きかけて、「黒い帽子」という意味を表す 1-qubit の状態を作り出すものと考えることができます。 「黒い」という形容詞の働きは、別の解釈もあります。それは「名詞句」を作るものとして形容詞を考える解釈です。「黒い」という形容詞は、名詞とつながる腕と、文法的には名詞として振る舞う名詞句を返す腕、都合二本の腕を持っているものと考えます。二本の腕（脚といってもいいのですが）を持つものは、二つのqubitのテンソル積として表現されます。 形容詞は、みかけは異なる二つの解釈を持つのですが、この二つは、同じものであるはずです。そして、この二つが同じものであることを説明するうまい方法があるのです。 それは、とても奇妙な説明に思えるかもしれないのですが、語と語をつなげて別のフレーズを作るという操作は、語の意味同士をエンタングルさせることだと考えることなのです！ Coeckeは、「黒い帽子」というフレー

【 浅海ゼミ 第22回の講演ビデオと講演資料公開しました 】　 浅海ゼミ「クラウドアプリケーションのためのオブジェクト指向分析設計講座」第22回の講演ビデオと、講演資料を公開しました。https://www.marulabo.net/docs/asami22/ 今回のテーマは、「設計/コンポーネント設計(3)」です。 作業分野「設計」についてアーキテクチャ設計、コンポーネント設計、ドメイン設計、 UX/UI 設計の順に取り上げています。 今回はコンポーネント設計の締めとしてコンポーネント実現設計について説明しました。 UML で記述するコンポーネントの仕様モデルとプログラミング言語 (Scala) の対応関係を整理し、 仕様部分の具体的な実装例を説明しました。 また UML モデルとプログラミング言語の使用バランスについても取り上げています。 講演ビデオ https://youtu.be/LAuCUqyWHSc の構成 　00:00:00 開始 　00:01:17 コンポーネント実現設計 　00:16:46 インタフェース 　00:41:02 レセプション 　00:45:41 生成 　00:51:56 拡張点 (extension point) 　00:54:35 変化点 (variation point) 　00:56:36 メトリクス 　00:58:01 テスト・ケース 　00:59:47 コンポーネントフレームワーク 　01:01:07 物理モデル 　01:03:22 テスト・ケース 　01:04:42 ドキュメント 　01:08:21 まとめ [ MaruLabo ] クラウドアプリケーションのためのオブジェクト指向分析設計講座 (22) 2023/3/16 第 22 回 「設計 / コンポーネント設計 (3) 」 https://www.marulabo.net/docs/asami22/ [ SlideShare ] https://www.slideshare.net/asami224/3-22-257398800

【 みんな大好き String Diagram 】 このセッションでは、DisCoCatが利用しているカテゴリー論の基礎を振り返ります。 DisCoCatのもっとも重要なアイデアは、「文の意味は、個々の語の意味と、語から文を構成する文法規則によって構成的に決定される」という「文の意味の構成性」を、文法のカテゴリーから意味のカテゴリーへのFunctorとして捉えることができるという着想です。 Functorが、文のSyntaxを文のSemantics に変えてくれるということです。素晴らしい！ ただ、ここには一つ大事な条件があります。それは、Functorがそうした働きをするためには、SyntaxのカテゴリーとSemanticsのカテゴリーが、同じカテゴリーに属さないといけないという条件です。 ちょっと考えると、文の文法の世界と文の意味の世界は、違う世界のように思えます。確かにそうです。でも、それでいいんです。最初は別々の二つのカテゴリーを、あらためて抽象度を上げて捉え返すのです。 「猫の世界」と「人間の世界」は、違ったものです。でも、「哺乳類の世界」で考えれば、共通の構造が見えてきます。Monoidai カテゴリーは、「文法＝Syntax」のカテゴリーと「文の意味=Semantics」のカテゴリーとは異なる第三のカテゴリーです。ただ、このカテゴリーが、両者の共通の構造を捉えるものになるのです。 両者が、この第三のカテゴリーであるMonoidai カテゴリーに属することが明らかになれば、晴れて、意味の把握にFunctorを利用することができるようになります。 実際にDisCoCatで利用されているカテゴリーは、Monoidal カテゴリーの下位のカテゴリーで、Compact Closed カテゴリーと呼ばれるものです。それは、全てのオブジェクトに、その「双対＝dual」が存在するようなMonoidal カテゴリーです。 有限ベクトル空間 FVectは、その要素 | v＞に対して、双対 ＜v |を持つので（ケットとブラです）、compact closedカテゴリーです。直感的に言えば、compact closed カテゴリーは、テンソル積と内積が定義されたベクトル空間の一般化と考えていいと思います。 Monoidalカテゴリーには、もう一つ、面白い特徴があります。それは

 【 本当は、深い問題 】 このセッションでは、Bob Coecke らの「 カテゴリー論的構成的分散意味論 」を取り上げます。  この通称DisCoCat理論は、直接には、「文の意味は、個々の語の意味と、語から文を構成する文法規則によって構成的に決定される」という構成性の原理を文の意味論においても適用することを目標にしています。 「我々は、ベクトル空間モデルによる分散意味論と、Lambekによって導入されたPregroup代数に依拠した文法的型の構成的理論を統合する数学的枠組みを提案する。」 「この数学的枠組みにより、適切に型付けされた文の意味を、その構成要素の語の意味から計算することができる。」 この理論は、現在の大規模言語モデルベースの人工知能ブームの元では、「人工知能」の「意味の理論」の一変種と受け止められるかもしれません。ただ、そうではありません。彼らの理論の登場は、実は、もっと深い意味を持っていると僕は考えています。 そのことを彼は明確に意識しているように思います。 「意味の記号論と分散意味論は、ある意味直交する競合する理論である。それぞれに長所と短所がある、前者は構成的だが定性的で、後者は非構成的だが定量的である。認知科学の文脈でも、こころのコネクショニスト的モデルと記号論的モデルの間に類似の問題が存在する。」 人工知能論だけではなく、認知科学全体で、コネクショニズム的アプローチと計算主義的アプローチは、「直交する競合する」理論的立場です。 僕は、基本的には、計算主義の立場で数学論を考えているのですが、それで満足している訳ではありません。ただ、それ以上に、現在の大量のデータとDeep Learning の手法がもたらす認識のリーチには、懐疑的です。 彼らの論文は、直接には、言語の意味表現について語っているのですが、彼らがしめしたことは、前述の二つの「直交する競合する」理論の「統合」が可能だということです。しかも、それが、我々にとっては極めて身近な存在である「ことばとその意味」の世界に、二つの理論の統合の可能性が見つけられるという展開は、とても刺激的です。 物理学では、「決定論」と「確率論」の関係については、さまざまな議論がありました。通常は、量子の状態は、ボルンのルールに従って確率振幅があたえられます。ただ、観測がなければ、量子の系の状態は、ユニタリー