tag:blogger.com,1999:blog-6339571487209769432024-03-19T09:23:47.712+09:00過去・現在・未来丸山不二夫のblogmaruyama097http://www.blogger.com/profile/10852791116417405282noreply@blogger.comBlogger1176125tag:blogger.com,1999:blog-633957148720976943.post-48915547037021314812024-02-25T08:50:00.000+09:002024-02-25T08:50:25.276+09:00数学的展望<p>【 AI技術の数学的基礎の革新を目指して 】</p><p>------------------------------<br />2/29マルレク「言語の意味の数学テク構造」申し込みページ作成しました。次のページから、受け付けています。<a href="https://meaning-structure.peatix.com/">https://meaning-structure.peatix.com/</a><br />お申し込み、お待ちしています。<br />------------------------------</p><p>【 この論文が明らかにしたこと 】</p><p>今回のセッションでは、論文の最後のセクション、"Conclusion: Looking Forward" を紹介します。</p><p>前回までのいくつかのセッションは、彼女の言語思想にフォーカスしたもので、数学はあまり表面にでてきませんでしたが、今回は、数学が戻ってきます。</p><p>まず、この論文の結論として、概略、次のように語ります。</p><p> ⚫️ 純粋にsyntacticalな入力から言語の構造的特徴を抽出できる。<br /> ⚫️ 実際のデータから実数の行列を作り、線形代数的な方法(SVD)で語の埋め込みを理解できる。<br /> ⚫️ 上で得た実行列にカットオフを適用して{0,1}値の行列を作成して、Formal Concept Analysis の手法を利用できる。<br /> ⚫️ これらの手法のそれぞれはいずれも既知のものであるが、両者の間にパラレルな関係があることを示した。</p><p>すこし謙遜していますが立派なものだと思います。</p><p>ちなみに、embedding とSVDの関係を始めて明らかにしたのは、2014年の次の論文だと思います。</p><p>Omer Levy and Yoav Goldberg, Neural word embedding as implicit matrix factorization <a href="https://cseweb.ucsd.edu/~dasgupta/254-deep-ul/ronald.pdf">https://cseweb.ucsd.edu/~dasgupta/254-deep-ul/ronald.pdf</a></p><p><br />【 課題と展望 】</p><p>こうした到達点を踏まえて、今後の数学的展望を示したのが、このセクションです。</p><p>「重要なのは、enriched カテゴリー論の枠組みが、統語論から意味論がどのように生まれるかについての理解を深めることである。」その上で、</p><p>「意味論の構造を研究するために、線形代数にヒントを得た新しいツールを提供できる可能性がある。」と語ります。</p><p>前者の指摘については、前回・前々回のセミナー「大規模言語モデルの数学て構造」で紹介した、enriched カテゴリーを用いてSyntaxカテゴリーに確率概念を導入し、再構成されたcopresheaf 意味論を導くという展開が、今後の基本的な枠組みになるということだと思います。</p><p>後者の「線形代数にヒントを得た新しいツール」の構想は、今回の論文での幾つかの実験から、何を教訓として学ぶのかということだと思います。</p><p>この点では、いくつかのアイデアと課題が提案されています。<br /><br /></p><p>【 線形代数とFormal Concept Analysis を より近づける 】</p><p>ひとつは、「線形代数とFormal Concept Analysis をより近づける」ことが示唆されています。</p><p>具体的には、実数X上に値を取る関数を[-∞, ∞]でenrich化されたpresheafのカテゴリーと見なし、行列𝑀またはその変形は、拡張された実数のカテゴリー上でenrich化されたprofunctorとみなすことができるということです。</p><p>profunctor上のnuclei(それは行列の固有値・固有ベクトルの対応物と考えることができます)の構造を直接研究することで、それは可能になると言います。</p><p>線形代数の議論は、要素上の順序以上の構造を持たない集合𝑋と𝑌から始まっているのです(m行n列というように)が、そこもenrich化でき、そのenrich化は任意の 𝑋-𝑌 profunctorのnucleiに反映されるといいます。<br /><br /></p><p>【 文法のカテゴリー論的再編成とDisCoCat 】</p><p>意味に構造を見出そうとする彼女の問題意識は(それは、フレーゲ的な「構成性の原理」と同じものです)、あらためて「文法」概念の再構成に向かうのかもしれません。</p><p>「文法」のカテゴリーから意味を捉える有限ベクトル空間へのfunctor というフレームは、Coeckeらの(そして、かつての彼女自身の)DisCoCatのアプローチに他なりません。</p><p>それは、特定の文法カテゴリーの選択に依存するという大きな問題を抱えているのですが、その弱点は、enrich化で乗り越えられるかもしれないと言います。</p><p>「SyntaxからSemanticへの道」は、「もし𝑋が集合以上の構造を持つことから始めたいのであれば、この論文で説明した数学的な物語を崩すことなく、enriched カテゴリー論がその方法を提供するということである。」<br /><br /></p><p>【 多重線形代数とテンソル・ネットワーク 】</p><p>彼女が、注目しているもう一つフレームは、線形代数の拡大としての多重線形代数です。</p><p>「例えば、ベクトル空間𝑉_1⊗𝑉_2⊗⋯⊗𝑉_𝑛のテンソル積のテンソルを tensor train、あるいはmatrix product state と呼ばれるものに因数分解することは、𝑛 - 1個の互換性のある切り捨てSVDの列として解釈できる。」</p><p>こうした手法は、彼女の以前の論文、"Modeling Sequences with Quantum States: A Look Under the Hood" <a href="https://arxiv.org/pdf/1910.07425.pdf">https://arxiv.org/pdf/1910.07425.pdf</a> で説明されています。一年前の丸山のセミナー「密度行列 ρ で理解する確率の世界」<a href="https://www.marulabo.net/docs/density2/">https://www.marulabo.net/docs/density2/</a> は、こうしたアプローチを紹介したものです。</p><p>テンソル・ネットワークへの注目の理由ですが、彼女が次のように述べていることは重要だと思います。</p><p>「テキストデータは、単なる語とコンテキストのペアというよりも、長い文字列と見なすのが自然であることを考えると、このようなオブジェクトのカテゴリーを強化したものが、言語において構文的なものから多層的な意味構造がどのように生まれるかを理解するのに適していると考えるのが妥当であろう。」</p><p>copresheaf 意味論は、語、フレーズ、文、文の連続 ... と続く「長い文字列」を対象にしたものでしたから。<br /><br /></p><div>【 AI技術の数学的基礎の探究は続く 】</div><div><br /></div><div>なかなか壮大な展望を持っていることがわかります。</div><div><br /></div><div>現在のAI技術の生み出した言語觀は暫定的なもので、その根拠となる数学理論も完全なものではありません。Tai−Danaeの「ニューラル言語モデル」の批判はその言語觀への批判から発したものですが、AI技術そのものの数学的基礎の探究の深化の突破口となることを期待しています。</div><div><br /></div><div>こうした進行は、同時に、新しい科学的発見・技術的発展にインスパイアされて、数学自体が変化・発展することを示しています。</div><div><br /></div><div>こうした展開が意味するのは、直接的には、人間の認識能力についての認識が発展しうるということなのですが、それが、人間という存在に対する認識の深化に実を結ぶことを望んでいます。</div><div><br /></div><div>-------------------------------</div><div><div><br />セミナー申し込みページ</div><div><a href="https://meaning-structure.peatix.com/">https://meaning-structure.peatix.com/</a></div><div><br /></div><div>ショートムービー「 数学的展望 」を公開しました。<br /></div><div><span><span style="color: #0000ee;"><u>https://youtu.be/0Nu9UQ5M6As</u></span></span><u style="color: #0000ee;">?list=PLQIrJ0f9gMcOJYKeUN_8q2K-yxtTfbIoB</u></div><div><span style="color: #0000ee;"><u><br /></u></span></div><div>「 数学的展望 」のpdf資料<br /><span style="color: #0000ee;"><u>https://drive.google.com/file/d/1Icbxjv2QTV__yB5eBMYL1wmRVySPawYu/view?usp=sharing</u></span></div><div><span style="color: #0000ee;"><u><br /></u></span></div><div>blog 「 AI技術の数学的基礎の革新を目指して 」 <div><div><div><span style="color: #0000ee;"><u>https://maruyama097.blogspot.com/2024/02/blog-post_24.html</u></span></div></div><div><br /></div><div>「言語の意味の数学的構造」まとめページ</div></div></div><div><span style="color: #0000ee;"><u>https://www.marulabo.net/docs/embedding-dnn/</u></span></div><div><br /></div><div>ショートムービーの再生リスト<br /><u style="color: #0000ee;">https://www.youtube.com/playlist?list=PLQIrJ0f9gMcOJYKeUN_8q2K-yxtTfbIoB</u> </div></div><div><br /></div>maruyama097http://www.blogger.com/profile/10852791116417405282noreply@blogger.com0tag:blogger.com,1999:blog-633957148720976943.post-27897588598165757602024-02-23T11:00:00.000+09:002024-02-23T11:00:39.193+09:00語の構造の抽出 <p>【 これは、本当に意味だろうか? 】</p><p>前回のセッションでは、文字の並びのデータから、その背後にある構造を引き出すことができるという話をしました。ただ、文字の集積としてのコーパスから、文字のクラスターを抽出できることは、そんなに驚くべきことではないかもしれません。</p><p>それに、見出された子音、母音、および数字等というクラスターそれ自体に、意味があるわけではありません。もっとも、syntacticなものとsemanticなものという対比では、syntacticalなものは、もともと意味を持たないものと想定されています。</p><p>Tai−Danaeが、論文で「形式から内容へ」と言うとき、「形式」というのはもともと経験的に与えられる文字列データのことを指していて、「内容」とは、そこから生まれる意味のことをイメージしています。</p><p>基本的な問題は、それ自体は意味を持たないように思えるものから、意味の世界が生まれることです。別の言葉で言えば、それ自体は意味を持たない単なる記号の列から、どのように意味が生まれるのかという問題です。</p><p>今回は、単なる記号としての文字の並びではなく、語の並びを考えます。重要なことは、文字について言えることは、より高いレベルの言語単位 −− 今回の場合は、語なのですが −− についても言えるということを、彼女は主張しています。</p><p>具体的には、次のようなことをしています。</p><p>British National Corpus から、1,000語の最頻単語として選びます。前回と同じように、このコーパスに含まれる単語𝑥の左に現れる語を𝑦_𝑙、右に現れる語を 𝑦_𝑟 として、その語の出現の経験的確率を使って、𝑋𝑌行列𝑀を作り、前回と同じ計算を繰り返します。</p><p>驚くべきことに、文字列データの解析が子音・母音・数字のクラスターの存在を発見したように、語列データの解析は、名詞・動詞・形容詞・副詞といったクラスターを発見します。</p><p>彼女は言います。</p><p>「10個の最大の特異値に対応する 𝑀の特異ベクトルは、名詞、動詞(過去と現在)、形容詞、副詞、場所、量詞、数字、国など、単語のあらゆる構文的・意味的特徴を捉えている。」</p><p>これは、意味なのでしょうか?</p><p>【 embedding は、空間の一点を表す 】</p><p>話は飛ぶのですが、現代のニューラル言語理論では、意味はembedding として多次元のベクトルとして表現されます。このアプローチが、意味の理解を中心的な課題とする現代の自然言語処理技術を飛躍的に発展させたことは、何度も強調してきました。</p><p>多次元ベクトルというと、複雑なものを想像するかもしれませんが、それは、少し違います。それは、多次元ベクトル空間上での一つの「点」を表すものです。意味は、「点」によって担われているのです。</p><p>「点」は、構造を持ちません。</p><p>ニューラル言語異論では、embeddingが担う意味以外には、先にTai−Danaeが見出した、経験的な言語データの中に見出すことのできる構造である「品詞」も、さらにいうと品詞の結合の形式である「文法」も、何の役割も果たしていません。</p><p>それは、裸の言語データとそれから生成されるenbedding以外の言語の構造には、まったく関心を払うことがないということです。</p><p>あらためて、Tai−Danaeの言葉を想起しましょう。</p><div><div>「意味が問題になるとすれば、それはすべて言語の形式に反映された構造的特徴に起因するということである。」</div><div><br /></div><div>「しかし、現在のニューラル言語モデルが不十分なのは、まさにこの点である。</div><div>というのも、ニューラル言語モデルは、そのタスクを実行する際に必然的に働く構造的特徴を明らかにしていないからである。」</div></div><div><br /></div><div>【 GPT-4は、語の意味について何を知っているのか? 】</div><div><br /></div><div>前回のblog で僕はこう書きました。</div><div><br /></div><div><div>「彼女は今、「何の構造もない」ように見える言語データの中に、豊かな構造があることを見つけ出そうとしているのです。それは、AI研究者は見過ごしているが、大規模言語モデル自身が、本当は何かを密かに知っていて、我々の知らないところでそれを利用している何かがあるのだという問題意識だと考えていいと思います。」</div></div><div><br /></div><div>僕には思い当たることがあります。今回の参考資料は、以前のマルレクの資料からの引用です</div><div><br /></div><div>以前、プロンプトを作って、GPT-4に mini-WordNet-likeな「辞書」を作らせてみたことがあります。</div><div><br /></div><div>分かったのは、語の品詞はもちろんのこと、語の複数の意味、語の意味の複雑な階層構造・ネットワーク構造を、GPT-4は正確に把握しているということでした。特に、WordNetでは "hypernym"と呼ばれている「上位概念」の把握の能力におどろきました。</div><div><br /></div><div>今回、再掲しましたので、ぜひ、スライドをご覧下さい。一部を紹介します。</div><div><br /></div><div>------------------------------------------</div><div>語「歩く」の辞書項目を作成してください。<br /><div>------------------------------------------</div>わかりました。語「歩く」の辞書項目を作成してみます</div><div><br /></div><div>【「歩く」の意味 】:</div><div>動詞1: 両足を交互に前に進めて移動する。(例:彼は公園を歩いた。)</div><div>動詞2: 一定の目的や方向に進む。(例:彼は成功へと歩いている。)</div><div><br /></div><div>【「歩く」のSemantic Category 】: [同義語] 歩行する; 徒歩で行く; 徘徊する; 散歩する; 闊歩する; 行進する; 練り歩く; 遊歩する; 步く; うろつく</div><div>[類義語] 走る; ジョギングする; 進む; 旅する; 移動する; 歩みを進める; 旅行する; 遊ぶ; 散策する; 探検する</div><div><br /></div><div><div>[上位概念] 移動 < 行動 < 生物の活動 < 生物</div><div>[下位概念] 歩く > 超高層ビルを歩く > 空中を歩く > ワイヤーを歩く</div><div><br /></div><div>【「歩く」のLexical Category 】:</div><div>[近接語] 道; 公園; 散歩; ペース; 歩幅; 速度; 歩数; 遠く; 距離; 目的地; 環境; 風景; エリア; 足元; 自然</div><div>[直前語] ゆっくりと; 速く; 楽しく; 遠くまで; 道を; 一緒に; 独りで; 公園を; 自然を; 環境を</div><div>[直後語] を開始する; を終える; を続ける; と感じる; のスピード; の距離; のペース; で移動する; で旅行する; で探検する</div><div><br /></div><div>以上が「歩く」の辞書項目となります。</div></div><div><br /></div><div><div>------------------------------------------</div></div><div>語「King」の辞書項目を作成してください</div><div><div>------------------------------------------</div></div><div><div><br /></div><div>【「King」の意味 】:</div><div>名詞1: 一国を治める男性の君主を指す。(例: The king signed the decree.)</div><div>名詞2: チェスやカードゲームなどで最も重要な役割を果たすピースまたはカード。(例: He moved his king.)</div><div>名詞3: ある分野や領域で最も優れた、または支配的な人や物を指す。(例: He is known as the king of pop.)</div><div><br /></div><div>【「King」のSemantic Category 】: [同義語] Monarch; Ruler; Sovereign; Emperor; Tsar</div><div>[類義語] Queen; Prince; Duke; Lord; Leader; Emperor; Tsar; Baron; Count; Sultan</div></div><div><br /></div><div><div>[上位概念] King < Monarch < Ruler < Human < Mammal < Animal</div><div>[下位概念] King > Country's King > King's Subjects</div><div><br /></div><div>【「King」のLexical Category 】:</div><div>[近接語] rule; reign; throne; kingdom; queen; prince; royal; crown; sovereign; authority</div><div>[直前語] the; a; his; her; this; old; young; great; powerful; beloved</div><div>[直後語] of; is; was; has; rules; reigned; orders; declared; ascended; died</div></div><div><br /></div><p>-------------------------------</p><div><div><br /></div><div>ショートムービー「 語の構造の抽出 」を公開しました。<br /></div><div><span><span style="color: #0000ee;"><u>https://youtu.be/lM7bNVdpZGI</u></span></span><u style="color: #0000ee;">?list=PLQIrJ0f9gMcOJYKeUN_8q2K-yxtTfbIoB</u></div><div><span style="color: #0000ee;"><u><br /></u></span></div><div>「 語の構造の抽出 」のpdf資料<br /><span style="color: #0000ee;"><u>https://drive.google.com/file/d/1IOX3ZpT_ZWYEqUg-21kklM8hwwg4lVoq/view?usp=sharing</u></span></div><div><span style="color: #0000ee;"><u><br /></u></span></div><div>blog 「 これは、本当に意味だろうか? 」 <div><div><div><span style="color: #0000ee;"><u>https://maruyama097.blogspot.com/2024/02/blog-post_23.html</u></span></div></div><div><br /></div><div>「言語の意味の数学的構造」まとめページ</div></div></div><div><span style="color: #0000ee;"><u>https://www.marulabo.net/docs/embedding-dnn/</u></span></div><div><br /></div><div>ショートムービーの再生リスト<br /><u style="color: #0000ee;">https://www.youtube.com/playlist?list=PLQIrJ0f9gMcOJYKeUN_8q2K-yxtTfbIoB</u> </div></div><div><br /></div>maruyama097http://www.blogger.com/profile/10852791116417405282noreply@blogger.com0tag:blogger.com,1999:blog-633957148720976943.post-57854266369199068502024-02-23T05:14:00.000+09:002024-02-23T05:14:53.017+09:00Tai-Danaeの言語思想 -- ニューラル言語モデル批判<div>【 2月は短いです -- 路線転換 】</div><div><br /></div><div>2月は短いので、あまり多くのセッションを開くことができません。予告では、今回のセッションは、Lawvere についてウンチクを垂れようと思っていたのですが、考えが変わりました。</div><div><br /></div><div>あと、この論文に対して、僕は、あまり高い評価をしていませんでした。それも、考えを変えました。老人が、若い人のいうことに、いろいろ茶々を入れてもしょうがないと思います。</div><div><br /></div><div><div>今回は、あまり細かな数学的な議論に入らないで、彼女が伝えたいと考えていることをストレートに分かりやすく伝えたいと思います。それは、今回のセミナーの意味を明確にすることにつながると思います。</div><div><br /></div><div>【 Tai-Danaeの言語思想 -- ニューラル言語モデル批判 】</div><div><br /></div><div>このセッションでは、この論文の後半に集中して記述されている彼女の言語思想を、先に紹介しようと思います。それは、言語思想の大きな流れの中で、現在のニューラル言語モデルの批判を、意図したものです。</div><div><br /></div></div><div>彼女の数学モデルは難しいところがあるのですが、今回まとめた彼女の言語についての考え方は、言語学に興味のある人には、とても分かりやすいものだと思います。</div><div><br /></div><div>以下、主要に、彼女の論文からの引用です。</div><div><br /></div><div>【 ニューラル言語モデルの成功 】</div><div><br /></div><div><div>「ニューラル技術が言語に対するより原理的なアプローチよりも優れている点があるとすれば、それは経験的な言語データに対して驚くほど高い性能を発揮できることである。</div><div>今後、どのような形式言語モデルがくるにせよ、現実世界におけるその品質と妥当性を判断することが、決定的な意味を持つことは間違いない。」</div></div><div><br /></div><div>彼女は、ニューラル言語モデルが、その性能において大きな成功を収めていることを認めています。</div><div><br /></div><div>【 しかし、より広範で哲学的な疑問は残る 】</div><div><br /></div><div><div>「考えてみれば、文字列としてのコーパスはsyntacticsそのものであるから、言語のsyntacticalな特徴をテキスト・コーパスから抽出できることは驚くべきことではないかもしれない。しかし、より広範で哲学的な疑問は残る。もしそうだとしたら、意味の重要な側面が純粋な形式から生まれるということはあり得るのだろうか?最近のLLMの進歩に伴い、この問題はますます重要になってきている。」</div></div><div><br /></div><div>【 意味と形式は分離できない 】</div><div><br /></div><div>「意味と形式は切り離せないという考え方は新しいものではないが、現在のAIをめぐる哲学的な議論には浸透していない。」</div><div><br /></div><div>AIの言語理論では、「意味と形式」は分離している。これが彼女の最初の批判です。</div><div><br /></div><div>「厳密な哲学的見地から言えば、カントとヘーゲルの影響力のある著作は、形式と内容は排他的なものではないという原則に立っており、この考え方は、分析哲学の父であるフレーゲの思想の中核にも見出すことができる。」</div><div><br /></div><div>大規模言語モデルに関連して、僕もいろいろ論文は読んでいるんですが、その中でカントやヘーゲルの名前をみたのは初めてです。</div><div><br /></div><div>【 ソシュールの構造主義言語学とチョムスキー 】</div><div><div><br /></div><div>「さらに重要なことに、形式と意味は独立していないという視点は、フェルディナン・ド・ソシュールの研究と、近代言語学の出現の動機となった構造主義革命によって、言語学の中心となった。重要な論点は、形式と意味、シニフィアンとシニフィエの両方が、共通の構造的特徴によって同時に決定されるということである。20世紀半ば、言語形式と意味は一枚の紙の裏表のように密接に関係しているというソシュールの考え方が言語学の分野で支配的であった。」</div></div><div><br /></div><div>「1950年代後半にチョムスキーが革新的な生成言語学を導入したことで、構造主義的なプログラムは劇的に減速したのだが、チョムスキーのプログラムのもとでも、構造的な特徴が言語の性質を定義するものとしてとらえられ続けられた。」</div><div><br /></div><div>【 20世紀末、言語に対する経験的アプローチの復活 】</div><div><br /></div><div>「20世紀末の言語学への経験的アプローチの復活は、この進化に新たな変化をもたらした。</div><div><br /></div><div>コネクショニズム、コーパス言語学、潜在的意味解析、その他の言語学習可能性へのアプローチは、経験的データからあらゆる種類の構造的特性を引き出そうとする新たな努力を象徴しており、意味論と統語論を結びつける無数の概念的・技術的手段を提供している。」</div><div><br /></div><div>興味深いのは、こうした動きに対する彼女の評価です。</div><div><br /></div><div>「言語の形式にしかアクセスできない言語モデルにおいて意味論が問題となることは驚きかもしれないが、ここで重要なのは、形式から意味が生まれるという理論は、言語思想の広範かつ確立された伝統の一部であるということである。」</div><div><br /></div><div>【 ニューラル言語モデルの不十分さ 】</div><div><br /></div><div><div>「そして、このような伝統が、特にその構造主義的バージョンにおいて私たちに語っているのは、構文対象の分析において意味が問題になるとすれば、それはすべて言語の形式に反映された構造的特徴に起因するということである。」</div><div><br /></div><div>しかし、現在のニューラル言語モデルが不十分なのは、まさにこの点である。というのも、ニューラル言語モデルは、そのタスクを実行する際に必然的に働く構造的特徴を明らかにしていないからである。」</div></div><div><br /></div><div>--------------------------------</div><div><div><br /></div><div>ショートムービー「 Tai-Danaeの言語思想 -- ニューラル言語モデル批判 」を公開しました。<br /></div><div><span><span style="color: #0000ee;"><u>https://youtu.be/xOv2_xKxmLw</u></span></span><u style="color: #0000ee;">?list=PLQIrJ0f9gMcOJYKeUN_8q2K-yxtTfbIoB</u></div><div><span style="color: #0000ee;"><u><br /></u></span></div><div>「 Tai-Danaeの言語思想 -- ニューラル言語モデル批判 」のpdf資料<br /><span style="color: #0000ee;"><u>https://drive.google.com/file/d/1Hu4tNNqIAsncWmS8iW5235WBW-AmYiDG/view?usp=sharing</u></span></div><div><span style="color: #0000ee;"><u><br /></u></span></div><div>blog 「 2月は短いです -- 路線転換 」 <div><div><span style="color: #0000ee;"><u>https://maruyama097.blogspot.com/2024/02/tai-danae.html</u></span></div><div><br /></div><div>「言語の意味の数学的構造」まとめページ</div></div></div><div><span style="color: #0000ee;"><u>https://www.marulabo.net/docs/embedding-dnn/</u></span></div><div><br /></div><div>ショートムービーの再生リスト<br /><u style="color: #0000ee;">https://www.youtube.com/playlist?list=PLQIrJ0f9gMcOJYKeUN_8q2K-yxtTfbIoB</u> </div></div><div><br /></div>maruyama097http://www.blogger.com/profile/10852791116417405282noreply@blogger.com0tag:blogger.com,1999:blog-633957148720976943.post-64772027475876606172024-02-22T20:26:00.000+09:002024-02-22T20:26:29.587+09:00現実の経験的データからの構造の抽出の試み <div>【 Tai-Danaiのニューラル言語学批判 】</div><div><br /></div><div>前回のセッションでは、少し説明の順序を変えました。それはこの論文を通じて彼女が何を主張したかったのかを、あらかじめ明確にしておくほうが、論文の展開を追いやすいと考えたからです。</div><div><br /></div><div>彼女は、この論文を通じて、現代の主流である「ニューラル言語学」に対して、言語理論と言語へのアプローチの数学的方法の両面で批判を試みています。</div><div><br /></div><div>今回のセミナーの大事なポイントですので、改めて、彼女の主張を見ておきましょう。</div><div><br /></div><div>【 言語の形式と意味をめぐって 】</div><div><br /></div><div>彼女の主張は、次のように始まります。</div><div><br /></div><div>「意味と形式は切り離せないという考え方は新しいものではないが、現在のAIをめぐる哲学的な議論には浸透していない。」</div><div><br /></div><div>「厳密な哲学的見地から言えば、カントとヘーゲルの影響力のある著作は、形式と内容は排他的なものではないという原則に立っており、この考え方は、分析哲学の父であるフレーゲの思想の中核にも見出すことができる。」</div><div><br /></div><div>「さらに重要なことに、形式と意味は独立していないという視点は、フェルディナン・ド・ソシュールの研究と、近代言語学の出現の動機となった構造主義革命によって、言語学の中心となった。」</div><div><br /></div><div>彼女は、近代言語学の始まりとなった、ソシュールらの「構造主義言語学」の再評価を求めています。</div><div><br /></div><div>なぜ、構造主義なのか? 彼女の次の指摘は、重要だと思います。</div><div><br /></div><div>「そして、このような伝統が、特にその構造主義的バージョンにおいて私たちに語っているのは、構文対象の分析において意味が問題になるとすれば、それはすべて言語の形式に反映された構造的特徴に起因するということである。」</div><div><br /></div><div>意味が問題になるとすれば、それはすべて言語の形式に反映された構造的特徴に起因するということであるという視点が、言語へのアプローチでは重要だといいます。</div><div><br /></div><div>「しかし、現在のニューラル言語モデルが不十分なのは、まさにこの点である。</div><div>というのも、ニューラル言語モデルは、そのタスクを実行する際に必然的に働く構造的特徴を明らかにしていないからである。」</div><div><br /></div><div>【 今回のセッションで彼女が明らかにしたこと 】</div><div><br /></div><div>こうした視点から、今回のセッションで彼女が数学的な手法を通じて、あきらかにしようとしたことを見ていきましょう。</div><div><br /></div><div>それは単純に見える文字列の並びにも、構造が隠れていることを、その構造を抽出する方法とともに示してみせたことだと思います。</div><div><br /></div><div>その方法は、このセミナーの前半で紹介した、線形代数の行列の分解を用いる方法と、Formal Concept Analysisの方法の二つです。詳しくはここでは繰り返しません。(スライドのタイトルが緑のページ、あるいは、灰色の背景色のページは、以前のスライドと同じ内容であることを表しています。)</div><div><br /></div><div>彼女は、一見すると何の構造もないように見える文字の並びに、実際の言語使用のデータを解析すれば、「子音」「母音」「数字」等の明確なクラスターが構造として隠れていることを見出します。</div><div><br /></div><div>【 そんなことに意味があるのか? 】</div><div><br /></div><div>「アルファベットや数字の並びに、そんなに意味があるの?」</div><div><br /></div><div>確かに、それ自体は、意味とは関係ないですね。</div><div><br /></div><div>ただ、今回は、文字の並びの構造の解析でしたが、次回紹介するのは「語」の並びの解析です。そこには、おもしろい発見があります。</div><div><br /></div><div>彼女の最初の問題意識を思い出してください。それは、何の構造もないように見える生の言語データから、大規模言語モデルが意味の世界を見つけていくことへの不思議さへの驚きでした。</div><div><br /></div><div>彼女は今、「何の構造もない」ように見える言語データの中に、豊かな構造があることを見つけ出そうとしているのです。それは、AI研究者は見過ごしているが、大規模言語モデル自身が、本当は何かを密かに知っていて、我々の知らないところでそれを利用している何かがあるのだという問題意識だと考えていいと思います。</div><div><br /></div><div>それが、彼女のいう「意味の構造」なのです。</div><div><br /></div><div><br /></div><div>-------------------------------</div><div><div><br /></div><div>ショートムービー「 現実の経験的データからの構造の抽出の試み 」を公開しました。<br /></div><div><span><span style="color: #0000ee;"><u>https://youtu.be/trOpwmo8p1k</u></span></span><u style="color: #0000ee;">?list=PLQIrJ0f9gMcOJYKeUN_8q2K-yxtTfbIoB</u></div><div><span style="color: #0000ee;"><u><br /></u></span></div><div>「 現実の経験的データからの構造の抽出の試み 」のpdf資料<br /><span style="color: #0000ee;"><u>https://drive.google.com/file/d/1GTZknifKxuEnDPLAhoYi7Xk3vQHzKweH/view?usp=sharing</u></span></div><div><span style="color: #0000ee;"><u><br /></u></span></div><div>blog 「 Tai-Danaiのニューラル言語学批判 」 <div><div><div><span style="color: #0000ee;"><u>https://maruyama097.blogspot.com/2024/02/blog-post_22.html</u></span></div></div><div><br /></div><div>「言語の意味の数学的構造」まとめページ</div></div></div><div><span style="color: #0000ee;"><u>https://www.marulabo.net/docs/embedding-dnn/</u></span></div><div><br /></div><div>ショートムービーの再生リスト<br /><u style="color: #0000ee;">https://www.youtube.com/playlist?list=PLQIrJ0f9gMcOJYKeUN_8q2K-yxtTfbIoB</u> </div></div><div><br /></div>maruyama097http://www.blogger.com/profile/10852791116417405282noreply@blogger.com0tag:blogger.com,1999:blog-633957148720976943.post-37804720661584155532024-02-18T12:54:00.000+09:002024-02-18T12:54:01.873+09:00Formal concept<div>【 展開は難しいのか易しいのか? 】</div><div><br /></div><div>これまでの展開を振り返ってみましょう。</div><div><br /></div><div>まず、語の意味の埋め込みは行列の分解として解釈できるという話をして、ついで、行列のカテゴリー論的拡大として profunctor を紹介してきました。</div><div><br /></div><div>前回は、profunctor のnuclei を導入して、そのペアの構造を探るという方向を示して(それはSVD分割での singular ベクトルのペアの構成とパラレルなものでした)、次のように語ります。</div><div><br /></div><div>「意味的類似性のような言語の特定の意味的側面については、ベクトル空間の構造が適しているが、ベクトル空間の構造を重ね合わせることで、他の意味を覆い隠してしまう可能性がある。」</div><div><br /></div><div>「 Isbell adjunctionは、言語の他の構造的特徴を明らかにするのに役立つかもしれない、別の構造を提供する。」</div><div><br /></div><div>【 Formal Concept Analysis のカテゴリー論的解釈は易しい 】</div><div><br /></div><div>どんな展開が待ち構えているのか、ワクワクドキドキですが、彼女がまず議論の導入の舞台として選んだのは、"Formal Concept Analysis" でした。</div><div><br /></div><div>確かに、提供されたカテゴリー論的解釈は、二つのオブジェクトからなるカテゴリー 2 = {0,1}でenrich化したものですが、このenrich化は以前に見た 単位区間 [0,1]上でのenrich化より、はるかに簡単なものです。それはオブジェクトXの部分集合を定義するという簡単な役割を持っているだけです。</div><div><br /></div><div>そうして、XとYとの部分集合間の関数 R^* とR_* が定義されていくのですが、こうした構成は、enrichedカテゴリーを持ち出さなくても、十分、可能です。</div><div><br /></div><div>行列のSVDでの singular ベクトルのペア、profunctor でのnucleiのペアの構成とパラレルに、ある条件を満たすペアとして Formal concept の数学的定義が与えられるのですが、こうした構成は、singularベクトルやnuclei に触れることなく、まったく初等的に定義できます。</div><div><br /></div><div>【 Formal Concept Analysisは、意味の「Entity Model」の数学理論 】</div><div><br /></div><div>Formal Concept Analysis は、数学者の関心を集めているようには見えません。ただ、computer science の分野では、結構、利用する人は多いと思います。</div><div><br /></div><div>というのも、あるものとそれがもつ属性の関係を数学化するその理論は、重要な実践的応用があるからです。</div><div><br /></div><div>例えば、今回のセッションの初めに見た オブジェクト-属性の表のオブジェクトを表す列に個人(あるいはそのID)が置かれ、その属性を表す行にその人が興味を持つ分野が置かれた表(または、行列)を考えましょう。</div><div><br /></div><div>こうしたアプローチは、リコメンデーション広告の基本的な手段として、現在でも広く利用されています。ただ、この行列は、実際には非常に巨大なものになるので、コンピュータ上でうまく計算する工夫が必要になります。Formal Concept Analysisの数学理論は、こうしたところで、広く利用されています。</div><div><br /></div><div>注意して欲しいのは、こうした意味へのアプローチは、意味の分散表現論ではなく、意味の「Entity Model」と同じものであるということです。</div><div><br /></div><div>【 「形式」と「概念」の「双対性」の認識 】</div><div><br /></div><div>という「不満」があるもので、今回のセッションの主要な内容は、Tai-Danaeの議論の紹介というより、資料の付録につけたLawvereの議論の紹介にあります。</div><div><br /></div><div>Lawvereもまた、「形式」と「内容(概念)」の二重性に関心を持っていました。彼は、この関係に「adjointness」という数学的概念で切り込んでいきます。こうした枠組みは、Tai-Danae も踏襲していることに注意してください。</div><div><br /></div><div>彼の議論の一端を紹介します。多分、次回のセッションも、Lawvereの議論の紹介に当てたいと思っています。</div><div><br /></div><div>「数学とその基礎における 形式と概念の双対性について」</div><div><br /></div><div>「数学と呼ばれる正確な知識の追求は、形式的なものと概念的なものと呼ばれる2つの側面を本質的に含んでいるように思われる。例えば、私たちは代数的に多項式を操作し、幾何学的に対応する曲線を視覚化する。あるいは、ある瞬間には群論の公理から定理を導くことに集中し、次の瞬間には、その定理が参照する実際の群のクラスについて考える。このように、概念的なものはある意味で形式的なものの主題なのである。」</div><div><br /></div><div>「本論文の目的の一つは、カテゴリー論の概念的領域で最初に分離され命名されたものだが、論理学にも浸透しているように思われる adjointnessの概念が普遍的なものであることの証拠を与えることである。」</div><div><br /></div><div><br /></div><div>--------------------------------</div><div><div><br /></div><div>ショートムービー「 Formal concept 」を公開しました。<br /></div><div><span><span style="color: #0000ee;"><u>https://youtu.be/wKUUIdOGWj4</u></span></span><u style="color: #0000ee;">?list=PLQIrJ0f9gMcOJYKeUN_8q2K-yxtTfbIoB</u></div><div><span style="color: #0000ee;"><u><br /></u></span></div><div>「 Formal concept 」のpdf資料<br /><span style="color: #0000ee;"><u>https://drive.google.com/file/d/1HpG7gUUfdyjLzkcBXMITNT6sxxG2Y4Oa/view?usp=sharing</u></span></div><div><span style="color: #0000ee;"><u><br /></u></span></div><div>blog 「 展開は難しいのか易しいのか? 」 <div><div><span style="color: #0000ee;"><u>https://maruyama097.blogspot.com/2024/02/formal-concept.html</u></span></div></div></div><div><br /></div><div>「言語の意味の数学的構造」まとめページ<br /><span style="color: #0000ee;"><u>https://www.marulabo.net/docs/embedding-dnn/</u></span></div><div><br /></div><div>ショートムービーの再生リスト<br /><u style="color: #0000ee;">https://www.youtube.com/playlist?list=PLQIrJ0f9gMcOJYKeUN_8q2K-yxtTfbIoB</u> </div></div><div><br /></div>maruyama097http://www.blogger.com/profile/10852791116417405282noreply@blogger.com0tag:blogger.com,1999:blog-633957148720976943.post-53662401828082944482024-02-16T11:27:00.000+09:002024-02-16T11:27:19.470+09:00Isbell adjunction<div>【 数学の宝石 】</div><div><br /></div><div>このセクションのタイトルが「意味の空間から意味の構造へ 」になっていることに、少し違和感を感じたかたがいらっしゃるかもしれません。</div><div><br /></div><div>「意味の空間は、embeddingされた語の意味のベクトル空間じゃないの?」<br />「それ以外に、意味の構造があるの?」</div><div><br /></div><div>そうなんです。そこがこのセクションの問題提起なのです。答えを先に述べれば、「意味の空間」以外に「意味の構造」があるというのが、彼女の今の考え方なのです。</div><div><br /></div><div>「今のところ、行列の特異ベクトルから得られる単語の埋め込みは、意味にベクトル空間の構造を重ねる方法として解釈する。」</div><div><br /></div><div>「意味的類似性のような言語の特定の意味的側面については、ベクトル空間の構造が適しているが、ベクトル空間の構造を重ね合わせることで、他の意味を覆い隠してしまう可能性がある。」</div><div><br /></div><div>せっかく分析した意味のベクトル空間だったのですが、それは、他の意味の構造を「覆い隠してしまう可能性がある」というのです。</div><div><br /></div><div>それでは、どうすればいいのでしょうか?</div><div><br /></div><div>彼女の提案は、意味の奥に隠れている構造を明らかにするために、今回のセッションのテーマである"Isbell adjunction"を使おうというものです。</div><div><br /></div><div>「Isbell adjunctionは、言語の他の構造的特徴を明らかにするのに役立つかもしれない別の構造を提供する。」</div><div><br /></div><div> 具体的な展開は、この後のセクションに持ち越されます。</div><div><br /></div><div>Isbell adjunction には、いろいろな名前を持っています。今回のセッションでも参考に紹介した John Baez は Isbell duality と呼んでいます。その他にも、Isbell adjoints, Isabell conjugate まだ他にもあるかと思います。</div><div><br /></div><div>補足の資料で、Baezの説明を翻訳しました。素晴らしく明快なので、是非、お読みください。前回、前々回の「大規模言語モデルの数学的構造」で紹介した copresheaf, Yoneda embedding の復習に最適だと思います。</div><div><br /></div><div>Isbell duality は、copresheaf とpresheaf が双対の概念であることを述べたものです。</div><div><br /></div><div>資料の最後のページURL書くの忘れたのです <a href="https://ncatlab.org/nlab/show/Isbell+duality">https://ncatlab.org/nlab/show/Isbell+duality</a> です。</div><div><br /></div><div>ここに驚くべきことが書かれています。</div><div><br /></div><div>「presheafは一般化された空間で、copresheafは一般化された量であるという解釈のもとで、Isbell dualityは、幾何学と代数学の間の双対性の原型なのである。」</div><div><br /></div><div>John Baezが、Isbell dualityを「数学の宝石」と呼んだのは、こうした認識によるものだと思います。</div><div><br /></div><div>ちなみに、「 presheafは一般化された空間で、copresheafは一般化された量である」という素晴らしい解釈を与えたのは Lawvere だと思います。</div><div><br /></div><div>--------------------------------</div><div><div><br /></div><div>ショートムービー「 Isbell adjunction 」を公開しました。<br /></div><div><span><span style="color: #0000ee;"><u>https://youtu.be/ohwvXh7BuHY</u></span></span><u style="color: #0000ee;">?list=PLQIrJ0f9gMcOJYKeUN_8q2K-yxtTfbIoB</u></div><div><span style="color: #0000ee;"><u><br /></u></span></div><div>「 Isbell adjunction 」のpdf資料<br /><span style="color: #0000ee;"><u>https://drive.google.com/file/d/1HFLXKx_cWn7Qs7xtKiBD3lwgMoTWl3Pd/view?usp=sharing</u></span></div><div><span style="color: #0000ee;"><u><br /></u></span></div><div>blog 「 数学の宝石 」 <div><div><span style="color: #0000ee;"><u>https://maruyama097.blogspot.com/2024/02/isbell-adjunction.html</u></span></div></div></div><div><br /></div><div>「言語の意味の数学的構造」まとめページ<br /><span style="color: #0000ee;"><u>https://www.marulabo.net/docs/embedding-dnn/</u></span></div><div><br /></div><div>ショートムービーの再生リスト<br /><u style="color: #0000ee;">https://www.youtube.com/playlist?list=PLQIrJ0f9gMcOJYKeUN_8q2K-yxtTfbIoB</u> </div></div><div><br /></div>maruyama097http://www.blogger.com/profile/10852791116417405282noreply@blogger.com0tag:blogger.com,1999:blog-633957148720976943.post-3726586167316904302024-02-14T15:47:00.003+09:002024-03-04T22:28:43.724+09:00profunctor<p>【 profuncor は行列とよく似ている 】</p><p>このセッションでは、線形代数の行列に相当するものが、カテゴリー論ではどのようなものになるかを考えます。 </p><p>2つのカテゴリー𝖢と𝖣が与えられたとき、カテゴリー論での行列の類似物はprofunctorと呼ばれるもので、集合のカテゴリーSet に値を取るfunctor $f : C^{op} \times D \to Set$ になります。</p><p>前にも述べたように、肩について「op」はfunctorのvarianceを示すために使われています。正確を期すためには必要なのですが、最初に見るときには無視しても構いません。ここで説明する線形代数とのアナロジーでは、行と列の間の一種の転置を示すものと考えることができます。</p><p>もう少し、詳しく見ていきましょう。</p><p>もしprofunctor $f : C^{op} \times D \to Set$ の定義域の二つのカテゴリー $C^{op} とD$が離散カテゴリーで有限集合であるならば、profunctorは単に二つの要素のペアでindexされた集合の集まりです。それは数字の代わりに集合をエントリーとする行列です。</p><p>簡単なcurrying で、C, D上のオブジェクト c, d に対する 定義、$c \mapsto f(c, ,-), d \mapsto f(-,d)$ で、profunctor fは、ペアのfunctor $f(c,−) : C \to (Set^D)^{op}と f(−,d) : D \to Set^{C^{op}}$を定義することがわかります。</p><p>( "op" をないものとしてみれば、このfunctor のペアは、 $f(c,−) : C \to Set^D$ と $f(−,d) : D \to Set^C$ のペアになります。確かにこう考えるとわかりやすいです。)</p><p>functor $f(c,− )$ は行列fのc行目の集合として描くことができます。 このfunctorは functor $D \to Set$を定義し、このfunctorでDのj番目のオブジェクトは、行 $f(c,− )$ のj番目のオブジェクトの集合にマップされます。</p><div>同様に、functor $f(− ,d)$は行列fのd列目の集合を表します。</div><div><br /></div><div>カテゴリーが、Yoneda (あるいは co-Yoneda) embedding で presheafのカテゴリーに埋め込まれると考えれば、 functor $𝐶\to(𝑆𝑒𝑡^𝐷 )^{𝑜𝑝}と𝐷 \to 𝑆𝑒𝑡^{𝐶^{𝑜𝑝} }$は、一意に、次のfunctor $𝐹^∗,𝐹_∗$に拡張できます。</div><div><br /></div><div><div> $𝐹^∗ : 𝑆𝑒𝑡^{𝐶^{𝑜𝑝} } \to {(𝑆𝑒𝑡^𝐷) }^{𝑜𝑝}$</div><div> $𝐹_∗ : { (𝑆𝑒𝑡^𝐷) }^{𝑜𝑝} \to 𝑆𝑒𝑡^{𝐶^{𝑜𝑝} }$</div><div><br /></div></div><div>"op"を無視すると、こんな形になります。</div><div><br /></div><div> $𝐹^∗ : 𝑆𝑒𝑡^𝐶 \to 𝑆𝑒𝑡^𝐷$ </div><div> $𝐹_∗ : 𝑆𝑒𝑡^𝐷 \to 𝑆𝑒𝑡^𝐶$</div><div><br /></div><div>--------------------------------</div><div><div><br /></div><div>ショートムービー「 profunctor 」を公開しました。<br /></div><div><span><span style="color: #0000ee;"><u>https://youtu.be/VEjUNGr6mJ8</u></span></span><u style="color: #0000ee;">?list=PLQIrJ0f9gMcOJYKeUN_8q2K-yxtTfbIoB</u></div><div><span style="color: #0000ee;"><u><br /></u></span></div><div>「 profunctor 」のpdf資料<span style="color: #0000ee;"><u>https://drive.google.com/file/d/1GgHDSRBaWcmjjSiocOXmVIPBxQ0G636j/view?usp=sharing</u></span></div><div><span style="color: #0000ee;"><u><br /></u></span></div><div>blog 「 profuncor は行列とよく似ている 」 <div><div><span style="color: #0000ee;"><u>https://maruyama097.blogspot.com/2024/02/profunctor.html</u></span></div></div></div><div><br /></div><div>「言語の意味の数学的構造」まとめページ<br /><span style="color: #0000ee;"><u>https://www.marulabo.net/docs/embedding-dnn/</u></span></div><div><br /></div><div>ショートムービーの再生リスト<br /><u style="color: #0000ee;">https://www.youtube.com/playlist?list=PLQIrJ0f9gMcOJYKeUN_8q2K-yxtTfbIoB</u> </div></div><div><br /></div>maruyama097http://www.blogger.com/profile/10852791116417405282noreply@blogger.com0tag:blogger.com,1999:blog-633957148720976943.post-60094267064654816882024-02-14T00:05:00.001+09:002024-02-16T23:48:35.142+09:0012月のマルレク「大規模言語モデルの数学的構造 I」の講演資料と講演ビデオ公開しました<p> 【12月のセミナー「大規模言語モデルの数学的構造 I」の講演資料と講演ビデオ公開しました 】</p><p>#大規模言語モデルの数学的構造1</p><p>昨年末に開催したマルレク「大規模言語モデルの数学的構造 I」の講演資料と講演ビデオ公開しました。ご利用ください。</p><p>「生成AI」技術が、ITの世界だけでなく社会のいろいろな領域に、大きな影響を与えようとしているのは、みなさんご承知の通りです。</p><p>「大規模言語モデル」というのは、この「生成AI」技術を生み出している巨大なインフラ(例えば、OpenAIのChatGPTを支えるシステム)とその理論的モデルの両方を指す言葉です。 </p><p>「生成AI」に対する関心の高まりとともに、その基礎を支える「大規模言語モデル」に対する理論的関心もまた高まっています。活発な議論と研究が行われています。</p><p>なぜなら、ChatGPT以降の、いわゆる「生成AI」の働きには、いろいろ不思議な謎があるからです。</p><p><br /></p><p>【 大規模言語モデルの不思議な振る舞いには理由がある 】</p><p>ただ、今回のセミナーを開催した理由は、生成AIのの不思議さを数え上げることではありません。むしろ逆の、「不思議に見えることには理由があるはずだ」という考えからです。</p><p>僕は、技術の基礎には科学的な認識があり、さらに進んでその基礎は数学的に表現されうると考えています。大規模言語モデルの不思議な振る舞いにも数学的根拠があるはずです。</p><p>そうした研究が切り開くのは、基礎へ掘り進んでいくだけの一方向の認識の「深化」だけではありません。興味深いのは、そうした過程が、全く抽象的な無意味な形式と思われていた数学理論の「応用」の領域の発見として、認識の「豊富化」として現れることがあるということです。</p><p>今回紹介するのは、そうした議論の中で、注目されているTai−Danae Bradleyの議論です。</p><p>内容的には、コンピュータ上で言葉の意味をどう表現するのかという問題を扱っています。この点では、「言葉の意味は、その言葉を含むすべてのコンテキストで決まっていく」という考えがベースになっています。そのことを了解できれば、理解は進むと思います。</p><p><br /></p><p>【 「巨人の肩に乗る」 】</p><p>カテゴリー論をベースとした数学的な議論がメインで、日頃あまり見慣れない用語や概念が出てくるので、最初はわかりにくいところが多いかもしれません。</p><p>ここでの議論のベースになっているのは、50年以上前に数学の巨人であるグロタンディックやローベールたちが純粋数学の世界で作り上げた、functorial semantics, presheaf, topos という道具たちです。</p><p>ただ、臆する必要はありません。不思議なことが起きています。</p><p>それは、かつて数学の巨人たちが作り上げた抽象的な数学理論を、私たちが具体的な例を通じて容易に理解する道が開かれつつあるということです。その舞台が、カテゴリー論と比較してはるかに多くの人が関心を持っている大規模言語モデルだと、僕は考えています。</p><p>今回のセミナーの準備を通じて、僕は、技術者には身近な大規模言語モデルを通じて、技術者が抽象的に見えるカテゴリー論の基礎を学習することが可能なのだと思い始めています。現実の大きな変化に対応して、きっと何か大きな理論的なパラダイムシフトが進行しているのだと思います。きっと、皆が、当たり前のように、巨人の肩の上に乗ればいいのです。<br /><br /></p><p>【 全体の構成 】</p><p>次の四つのパートから構成されています。</p><p> ● 構成的分散意味論の展開<br /> ● 大規模言語モデルの特徴<br /> ● 言語をカテゴリーとして捉える<br /> ● 意味をカテゴリーとして捉える</p><p>以下、各パートの概略です。<br /><br /></p><p>【 構成的分散意味論の展開 】</p><p>語の意味をベクトルで表現するるテクニックを分散意味表現と言います。それは、現在の人工知能における進歩の主な原動力のひとつです。もちろん「生成AI」も、その技術を利用しています。</p><p>構成的分散意味論というのは、単に語の意味をベクトルで表現するだけでなく、語から構成される文の構成性=文法から、語の意味から構成される文の意味=Semanticsを導くことを目指したものです。</p><p>こうした方向での研究を主導したのは、OxfordのBob Coeckeで、カテゴリー論を駆使した彼らの理論は、DisCoCat ( Categorical Distributional Compositional Semantics)と呼ばれます。</p><p>DisCoCatは、Pregroup 文法で記述されたSyntaxの世界からから、構成的にSemanticの世界をを構成することに初めて成功します。</p><p>彼らは、現在、量子自然言語処理(Quantum NLP)の分野で、構成的分散意味論の意欲的な研究を展開しています。<br /><br /></p><p>【 <span style="color: #444444;">大規模言語モデルの特徴</span> 】</p><p>ある論文の冒頭で、Tai−Danaeはこう言っています。</p><p>「この研究は、今日の最先端の統計的言語モデルが、その性能において印象的であるだけでなく、より本質的に重要なことは、それが構造化されていないテキストデータの相関関係から完全に構築されているという観察から生まれたものです。」</p><p>彼女の関心は、まず、現在の「大規模言語モデル」の「印象的」な性能に向けられています。その上で、「構造化されていないテキストデータの相関関係から完全に構築されている」ことに注目しています。</p><p>大規模言語モデルは、「対話的に、最初の文を入力すると、次の単語分布から繰り返しサンプリングすることで、オリジナルの高品質なテキストを生成することができる。」</p><p>「文法的に正しい文を継続するためには、文法を習得し、注意深く代名詞のマッチングを行い、品詞の認識を持ち、時制の感覚も持たなければならない。その他多くのことを必要とする。 」</p><p>「驚くべきは、これらのLLMが、ラベルのないテキストサンプルを使って、次の単語を事前に指示するように学習できることである。文法的、意味的な入力は提供されないが、それにもかかわらず、複雑な構文構造、意味情報、世界知識が学習され、実証される。」<br /><br /></p><p>【 <span style="color: #444444;">言語をカテゴリーとして捉える</span> 】</p><p>大規模言語モデルが、「構造化されていないテキストデータの相関関係から完全に構築されている」とみなそうとする Tai-Danaeにとって、DisCoCatのように、pregroupという構造を前提にすることはできません。</p><p>彼女が選んだのは、pregroupがもつ余分な代数的な構造を捨て得られる 非常にプリミティブな前順序(preorder)という構造から大規模言語モデルの振る舞いを数学的に再構築するという道でした。</p><p>語の並びからなる二つの表現SとTがあるとき、SとTとの間の順序≤ を次のように定義します。これがpreorderです。</p><p> ・SがTの部分文字列である時、S ≤ T<br /> ・そうでない時、SとTの間には、順序関係は存在しない。</p><p>それは、大規模言語モデルの扱うデータを、表現の「継続」あるいは「連続」として捉えるものでした。</p><p>その意味では、彼女は、テキストデータが、「全く構造化されていない」と考えたわけではありません。最低限の前提ですが、言語は、 preorder という構造を持つのです。</p><p>そして、それは、カテゴリーとして言語を捉えることと形式的には同義です。<br /><br /></p><p>【 <span style="color: #444444;">意味をカテゴリーとして捉える</span> 】</p><p>Tai-Danaeの意味の理論に大きな影響を与えたのは、イギリスの言語学者 John Firth の次のような言葉です。</p><p>“You shall know a word by the company it keeps”<br />「我々は、ある語を、それが引きつれている仲間たちによって知ることになる。」</p><p>ここで、ある言語における「表現」(語の並びのことです)の「意味」を、その表現の「仲間たち」のなす「全体」の集まりと考えることにします。</p><p>言語のcategory L でこの考えを整理してみましょう。</p><p>LのオブジェクトS,T(SもTも語の並びとしての表現です)で、TがSの「仲間」になるのは、S → T なる射が category L に存在する時、かつその時に限ります。(SがTの部分文字列だということです。)</p><p>この時、Sと「仲間である」という条件を満たすLの表現全体の集まりを、Sの「意味」と考えるということです。</p><p><span style="color: #444444;">--------------------------−−−−−−−−−−−−−</span></p><p><span style="color: #444444;">セミナー・コンテンツの利用について<br /></span><span style="color: #444444;">--------------------------−−−−−−−−−−−−−</span></p><p>今回のセミナーのまとめページはこちらです。</p><p>「大規模言語モデルの数学的構造 I 」<br /><u style="color: #0000ee;">https://www.marulabo.net/docs/llm-math/</u></p><p>セミナーは四つのパートに分かれています。<br />全体を通しても個別にもアクセスできます。</p><p>--------------------------<br />全体を通して見る<br />--------------------------</p><p>「大規模言語モデルの数学的構造 I 」セミナーの講演ビデオ全体の再生リストのURLです。全体を通して再生することができます。<br /><a href="https://www.youtube.com/playlist?list=PLQIrJ0f9gMcM-FgEQnu_7QJR93xEC5PDH">https://www.youtube.com/playlist?list=PLQIrJ0f9gMcM-FgEQnu_7QJR93xEC5PDH</a></p><p>講演資料全体を一つのファイルにまとめたものはこちらです。<br />「大規模言語モデルの数学的構造 I 」<br /><a href="https://drive.google.com/file/d/1unmpe7YTgCEShWbHOq0YvoZbdhZI77C6/view?usp=sharing">https://drive.google.com/file/d/1unmpe7YTgCEShWbHOq0YvoZbdhZI77C6/view?usp=sharing</a></p><p>--------------------------<br />パートごとに見る<br />--------------------------</p><p> ● Part 1 構成的分散意味論の展開</p><p> 講演ビデオURL : <br /><a href="https://www.youtube.com/watch?v=QW0O5oW1Fm0&list=PLQIrJ0f9gMcM-FgEQnu_7QJR93xEC5PDH&index=1&pp=gAQBiAQB">https://www.youtube.com/watch?v=QW0O5oW1Fm0&list=PLQIrJ0f9gMcM-FgEQnu_7QJR93xEC5PDH&index=1&pp=gAQBiAQB</a></p><p> 講演資料 pdf :<br /><a href="https://drive.google.com/file/d/1vm_Q4EdzIySnbIuh1UghQTJ0rQurHEtO/view?usp=sharing">https://drive.google.com/file/d/1vm_Q4EdzIySnbIuh1UghQTJ0rQurHEtO/view?usp=sharing</a></p><p><br /> ● <span style="color: #444444;">Part 2 大規模言語モデルの特徴</span></p><p><span style="color: #444444;"><span style="font-size: 15.2px;"> </span></span> 講演ビデオURL :<br /><span style="color: #0000ee;"><u>https://www.youtube.com/watch?v=KVNodwHU9f8&list=PLQIrJ0f9gMcM-FgEQnu_7QJR93xEC5PDH&index=2&pp=gAQBiAQB</u></span></p><p> 講演資料 pdf :<br /><a href="https://drive.google.com/file/d/1vwZjE99BuWAo-gtuPnte3t44eMHsMXaY/view?usp=sharing">https://drive.google.com/file/d/1vwZjE99BuWAo-gtuPnte3t44eMHsMXaY/view?usp=sharing</a><br /><br /></p><p><span style="color: #444444;"> ● </span><span style="color: #444444;">Part 3 :</span><span style="color: #444444;">言語をカテゴリーとして捉える</span></p><p><span style="color: #444444;"><span style="font-size: 15.2px;"> </span></span> 講演ビデオURL :<br /><a href="https://www.youtube.com/watch?v=zM7M2eLcag0&list=PLQIrJ0f9gMcM-FgEQnu_7QJR93xEC5PDH&index=3&pp=gAQBiAQB">https://www.youtube.com/watch?v=zM7M2eLcag0&list=PLQIrJ0f9gMcM-FgEQnu_7QJR93xEC5PDH&index=3&pp=gAQBiAQB</a></p><p> 講演資料 pdf :<br /><a href="https://drive.google.com/file/d/1w7IFqrH8cMVfBJIQ36hy1psmZiaT748C/view?usp=sharing">https://drive.google.com/file/d/1w7IFqrH8cMVfBJIQ36hy1psmZiaT748C/view?usp=sharing</a><br /><br /></p><p> ● Part 4 意味をカテゴリーとして捉える</p><p> 講演ビデオURL :<br /><a href="https://www.youtube.com/watch?v=5TKsHY48J2U&list=PLQIrJ0f9gMcM-FgEQnu_7QJR93xEC5PDH&index=4&pp=gAQBiAQB">https://www.youtube.com/watch?v=5TKsHY48J2U&list=PLQIrJ0f9gMcM-FgEQnu_7QJR93xEC5PDH&index=4&pp=gAQBiAQB</a></p><p> 講演資料 pdf : <br /><a href="https://drive.google.com/file/d/1wKRGHvMoOwTjxsa5OXzBakvipZTsOrl5/view?usp=sharing">https://drive.google.com/file/d/1wKRGHvMoOwTjxsa5OXzBakvipZTsOrl5/view?usp=sharing</a><br /><br /></p><p>----------------------------</p><p>セミナーに向けたショートムービーの再生リストはこちらです。ご利用ください。<br /><br />「大規模言語モデルの数学的構造 I -- エピソード」<br /><a href="https://www.youtube.com/playlist?list=PLQIrJ0f9gMcPgnaymP8vC37oKdYa5pvDm">https://www.youtube.com/playlist?list=PLQIrJ0f9gMcPgnaymP8vC37oKdYa5pvDm</a></p><div style="font-family: inherit;"><div dir="auto" style="font-family: inherit;"><div class="x1iorvi4 x1pi30zi x1l90r2v x1swvt13" data-ad-comet-preview="message" data-ad-preview="message" id=":r2p:" style="font-family: inherit; padding: 4px 16px 16px;"><div class="x78zum5 xdt5ytf xz62fqu x16ldp7u" style="display: flex; flex-direction: column; font-family: inherit; margin-bottom: -5px; margin-top: -5px;"><div class="xu06os2 x1ok221b" style="font-family: inherit; margin-bottom: 5px; margin-top: 5px;"><span class="x193iq5w xeuugli x13faqbe x1vvkbs xlh3980 xvmahel x1n0sxbx x1lliihq x1s928wv xhkezso x1gmr53x x1cpjm7i x1fgarty x1943h6x x4zkp8e x3x7a5m x6prxxf xvq8zen xo1l8bm xzsf02u x1yc453h" color="var(--primary-text)" dir="auto" style="-webkit-font-smoothing: antialiased; display: block; font-family: inherit; font-size: 0.9375rem; line-height: 1.3333; max-width: 100%; min-width: 0px; overflow-wrap: break-word; word-break: break-word;"><div class="x11i5rnm xat24cr x1mh8g0r x1vvkbs xtlvy1s x126k92a" style="font-family: inherit; margin: 0.5em 0px 0px; overflow-wrap: break-word; white-space-collapse: preserve;"><div dir="auto" style="font-family: inherit;">AI技術の現段階と課題については、以下のページも参考にしてください。</div></div><div class="x11i5rnm xat24cr x1mh8g0r x1vvkbs xtlvy1s x126k92a" style="font-family: inherit; margin: 0.5em 0px 0px; overflow-wrap: break-word; white-space-collapse: preserve;"><div dir="auto" style="font-family: inherit;"> <span class="x3nfvp2 x1j61x8r x1fcty0u xdj266r xhhsvwb xat24cr xgzva0m xxymvpz xlup9mm x1kky2od" style="display: inline-flex; font-family: inherit; height: 16px; margin: 0px 1px; vertical-align: middle; width: 16px;"><img alt="⚫️" class="xz74otr" height="16" referrerpolicy="origin-when-cross-origin" src="https://static.xx.fbcdn.net/images/emoji.php/v9/t8f/2/16/26ab.png" style="border: 0px; object-fit: fill;" width="16" /></span> OpenAIがAIのリスクとして危惧していること <span style="font-family: inherit;"><a class="x1i10hfl xjbqb8w x1ejq31n xd10rxx x1sy0etr x17r0tee x972fbf xcfux6l x1qhh985 xm0m39n x9f619 x1ypdohk xt0psk2 xe8uvvx xdj266r x11i5rnm xat24cr x1mh8g0r xexx8yu x4uap5 x18d9i69 xkhd6sd x16tdsg8 x1hl2dhg xggy1nq x1a2a7pz xt0b8zv x1fey0fg xo1l8bm" href="https://www.facebook.com/hashtag/openai%E3%81%AE%E5%8D%B1%E6%83%A7?__eep__=6&__cft__[0]=AZVUGn4ZOdCelQw74gHT3QrBAuIQfbhUMyTjr1A_bECk9XlDP2QSKEiv6e2IG-KvWIHmBjsfKiTnz_Rx1plXiQ2HxaNUZNCDIQv1Pp7jDxfwvbQ9_woUxVV1fc3ESemLqEK-Z4sGJhrOyW94zJOqbPqc&__tn__=*NK-R" role="link" style="-webkit-tap-highlight-color: transparent; border-style: none; border-width: 0px; box-sizing: border-box; cursor: pointer; display: inline; font-family: inherit; list-style: none; margin: 0px; outline: none; padding: 0px; text-align: inherit; text-decoration-line: none; touch-action: manipulation;" tabindex="0">#OpenAIの危惧</a></span> </div><div dir="auto" style="font-family: inherit;"> <span class="x3nfvp2 x1j61x8r x1fcty0u xdj266r xhhsvwb xat24cr xgzva0m xxymvpz xlup9mm x1kky2od" style="display: inline-flex; font-family: inherit; height: 16px; margin: 0px 1px; vertical-align: middle; width: 16px;"><img alt="⚫️" class="xz74otr" height="16" referrerpolicy="origin-when-cross-origin" src="https://static.xx.fbcdn.net/images/emoji.php/v9/t8f/2/16/26ab.png" style="border: 0px; object-fit: fill;" width="16" /></span> GPT-4との対話で考えたこと <span style="font-family: inherit;"><a class="x1i10hfl xjbqb8w x1ejq31n xd10rxx x1sy0etr x17r0tee x972fbf xcfux6l x1qhh985 xm0m39n x9f619 x1ypdohk xt0psk2 xe8uvvx xdj266r x11i5rnm xat24cr x1mh8g0r xexx8yu x4uap5 x18d9i69 xkhd6sd x16tdsg8 x1hl2dhg xggy1nq x1a2a7pz xt0b8zv x1fey0fg xo1l8bm" href="https://www.facebook.com/hashtag/gpt4%E3%81%A8%E3%81%AE%E5%AF%BE%E8%A9%B1?__eep__=6&__cft__[0]=AZVUGn4ZOdCelQw74gHT3QrBAuIQfbhUMyTjr1A_bECk9XlDP2QSKEiv6e2IG-KvWIHmBjsfKiTnz_Rx1plXiQ2HxaNUZNCDIQv1Pp7jDxfwvbQ9_woUxVV1fc3ESemLqEK-Z4sGJhrOyW94zJOqbPqc&__tn__=*NK-R" role="link" style="-webkit-tap-highlight-color: transparent; border-style: none; border-width: 0px; box-sizing: border-box; cursor: pointer; display: inline; font-family: inherit; list-style: none; margin: 0px; outline: none; padding: 0px; text-align: inherit; text-decoration-line: none; touch-action: manipulation;" tabindex="0">#GPT4との対話</a></span> </div><div dir="auto" style="font-family: inherit;"> <span class="x3nfvp2 x1j61x8r x1fcty0u xdj266r xhhsvwb xat24cr xgzva0m xxymvpz xlup9mm x1kky2od" style="display: inline-flex; font-family: inherit; height: 16px; margin: 0px 1px; vertical-align: middle; width: 16px;"><img alt="⚫️" class="xz74otr" height="16" referrerpolicy="origin-when-cross-origin" src="https://static.xx.fbcdn.net/images/emoji.php/v9/t8f/2/16/26ab.png" style="border: 0px; object-fit: fill;" width="16" /></span> AIの新しい飛躍の可能性について <span style="font-family: inherit;"><a class="x1i10hfl xjbqb8w x1ejq31n xd10rxx x1sy0etr x17r0tee x972fbf xcfux6l x1qhh985 xm0m39n x9f619 x1ypdohk xt0psk2 xe8uvvx xdj266r x11i5rnm xat24cr x1mh8g0r xexx8yu x4uap5 x18d9i69 xkhd6sd x16tdsg8 x1hl2dhg xggy1nq x1a2a7pz xt0b8zv x1fey0fg xo1l8bm" href="https://www.facebook.com/hashtag/%E5%89%B5%E7%99%BA%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6?__eep__=6&__cft__[0]=AZVUGn4ZOdCelQw74gHT3QrBAuIQfbhUMyTjr1A_bECk9XlDP2QSKEiv6e2IG-KvWIHmBjsfKiTnz_Rx1plXiQ2HxaNUZNCDIQv1Pp7jDxfwvbQ9_woUxVV1fc3ESemLqEK-Z4sGJhrOyW94zJOqbPqc&__tn__=*NK-R" role="link" style="-webkit-tap-highlight-color: transparent; border-style: none; border-width: 0px; box-sizing: border-box; cursor: pointer; display: inline; font-family: inherit; list-style: none; margin: 0px; outline: none; padding: 0px; text-align: inherit; text-decoration-line: none; touch-action: manipulation;" tabindex="0">#創発について</a></span> </div><div dir="auto" style="font-family: inherit;"> <span class="x3nfvp2 x1j61x8r x1fcty0u xdj266r xhhsvwb xat24cr xgzva0m xxymvpz xlup9mm x1kky2od" style="display: inline-flex; font-family: inherit; height: 16px; margin: 0px 1px; vertical-align: middle; width: 16px;"><img alt="⚫️" class="xz74otr" height="16" referrerpolicy="origin-when-cross-origin" src="https://static.xx.fbcdn.net/images/emoji.php/v9/t8f/2/16/26ab.png" style="border: 0px; object-fit: fill;" width="16" /></span> AIのマルチモーダル化の動向について <span style="font-family: inherit;"><a class="x1i10hfl xjbqb8w x1ejq31n xd10rxx x1sy0etr x17r0tee x972fbf xcfux6l x1qhh985 xm0m39n x9f619 x1ypdohk xt0psk2 xe8uvvx xdj266r x11i5rnm xat24cr x1mh8g0r xexx8yu x4uap5 x18d9i69 xkhd6sd x16tdsg8 x1hl2dhg xggy1nq x1a2a7pz xt0b8zv x1fey0fg xo1l8bm" href="https://www.facebook.com/hashtag/%E3%83%9E%E3%83%AB%E3%83%81%E3%83%A2%E3%83%BC%E3%83%80%E3%83%ABai?__eep__=6&__cft__[0]=AZVUGn4ZOdCelQw74gHT3QrBAuIQfbhUMyTjr1A_bECk9XlDP2QSKEiv6e2IG-KvWIHmBjsfKiTnz_Rx1plXiQ2HxaNUZNCDIQv1Pp7jDxfwvbQ9_woUxVV1fc3ESemLqEK-Z4sGJhrOyW94zJOqbPqc&__tn__=*NK-R" role="link" style="-webkit-tap-highlight-color: transparent; border-style: none; border-width: 0px; box-sizing: border-box; cursor: pointer; display: inline; font-family: inherit; list-style: none; margin: 0px; outline: none; padding: 0px; text-align: inherit; text-decoration-line: none; touch-action: manipulation;" tabindex="0">#マルチモーダルAI</a></span> </div><div dir="auto" style="font-family: inherit;"> <span class="x3nfvp2 x1j61x8r x1fcty0u xdj266r xhhsvwb xat24cr xgzva0m xxymvpz xlup9mm x1kky2od" style="display: inline-flex; font-family: inherit; height: 16px; margin: 0px 1px; vertical-align: middle; width: 16px;"><img alt="⚫️" class="xz74otr" height="16" referrerpolicy="origin-when-cross-origin" src="https://static.xx.fbcdn.net/images/emoji.php/v9/t8f/2/16/26ab.png" style="border: 0px; object-fit: fill;" width="16" /></span> MaruLaboのこれまでの取り組みについて <span style="font-family: inherit;"><a class="x1i10hfl xjbqb8w x1ejq31n xd10rxx x1sy0etr x17r0tee x972fbf xcfux6l x1qhh985 xm0m39n x9f619 x1ypdohk xt0psk2 xe8uvvx xdj266r x11i5rnm xat24cr x1mh8g0r xexx8yu x4uap5 x18d9i69 xkhd6sd x16tdsg8 x1hl2dhg xggy1nq x1a2a7pz xt0b8zv x1fey0fg xo1l8bm" href="https://www.facebook.com/hashtag/marulabo%E3%82%BB%E3%83%9F%E3%83%8A%E3%83%BC%E3%83%AA%E3%82%B9%E3%83%88?__eep__=6&__cft__[0]=AZVUGn4ZOdCelQw74gHT3QrBAuIQfbhUMyTjr1A_bECk9XlDP2QSKEiv6e2IG-KvWIHmBjsfKiTnz_Rx1plXiQ2HxaNUZNCDIQv1Pp7jDxfwvbQ9_woUxVV1fc3ESemLqEK-Z4sGJhrOyW94zJOqbPqc&__tn__=*NK-R" role="link" style="-webkit-tap-highlight-color: transparent; border-style: none; border-width: 0px; box-sizing: border-box; cursor: pointer; display: inline; font-family: inherit; list-style: none; margin: 0px; outline: none; padding: 0px; text-align: inherit; text-decoration-line: none; touch-action: manipulation;" tabindex="0">#MaruLaboセミナーリスト</a></span></div></div></span></div></div></div></div></div><div style="font-family: inherit;"><div class="x168nmei x13lgxp2 x30kzoy x9jhf4c x6ikm8r x10wlt62" data-visualcompletion="ignore-dynamic" style="border-radius: 0px 0px 8px 8px; font-family: inherit; overflow: hidden;"><div style="font-family: inherit;"><div style="font-family: inherit;"><div style="font-family: inherit;"><div class="x1n2onr6" style="font-family: inherit; position: relative;"><div class="x6s0dn4 xi81zsa x78zum5 x6prxxf x13a6bvl xvq8zen xdj266r xktsk01 xat24cr x1d52u69 x889kno x4uap5 x1a8lsjc xkhd6sd xdppsyt" style="align-items: center; border-bottom: 1px solid var(--divider); color: var(--secondary-text); display: flex; font-family: inherit; font-size: 0.9375rem; justify-content: flex-end; line-height: 1.3333; margin: 0px 16px; padding: 10px 0px;"><br /><div class="x9f619 x1n2onr6 x1ja2u2z x78zum5 x2lah0s x1qughib x1qjc9v5 xozqiw3 x1q0g3np xykv574 xbmpl8g x4cne27 xifccgj" style="align-items: stretch; background-color: white; box-sizing: border-box; color: #65676b; display: flex; flex-flow: row; flex-shrink: 0; font-family: system-ui, -apple-system, "system-ui", ".SFNSText-Regular", "hiragino kaku gothic pro", meiryo, "ms pgothic", sans-serif; justify-content: space-between; margin: -6px; position: relative; z-index: 0;"></div></div></div></div></div></div></div></div>maruyama097http://www.blogger.com/profile/10852791116417405282noreply@blogger.com0tag:blogger.com,1999:blog-633957148720976943.post-24187890364024165342024-02-11T08:12:00.000+09:002024-02-11T08:12:21.661+09:00embedding algorithm<p> 【 embeddingは行列の因数分解として解釈できる 】</p><p>mikalovらの「Word2Vec」の論文はいくつかのバージョンがあるのですが、その計算アルゴリズムは、2013年に、Skip−gramとnegative sampling の手法としてまとめられます。</p><p>ただ、2014年には、語の埋め込みのアルゴリズムの背後には、もっと深い構造があることが発見されます。それは、語の埋め込みは、ある行列の因数分解として解釈できるという発見です。</p><p>対象の言語の語彙Dを辞書式にアルファベット順に並べます。この並びでi番目の語をw_i とします。以前見たように、このi番目の語に、i番目のエントリーだけが1で残りのエントリーはすべて0の1−hotベクトルに対応付けることができます。</p><p>これは、Dから実数Rへの関数ですからR^Dのベクトル空間を考えたことになります。これもある意味、DからR^Dへの埋め込みですが、こうしたベクトル表示では、二つの語のベクトルの内積は0になり、言語の意味をうまく表現できないことは、前回見てきた通りです。</p><p>そこで、次のような|D|行 ×|D|列の行列Mを考えます(|D|は、Dの大きさです)。</p><p>Mの i行 j列の要素は、語w_iと語w_j に対応して、この二つの語がコーパス上で近くに出現する確率を表すものとします。Dが、例えば、3万語からなるとすれば、この行列Mは、3万行×3万列からなる巨大な行列です。</p><p>この行列Mが、|D|と比べるとはるかにちいさなdについて、|𝐷|×𝑑のサイズの行列𝜎′ と、𝑑×|𝐷| のサイズの行列𝜎の積の形で M=𝜎′𝜎 と因数分解できたとします。( 行列𝜎′𝜎のサイズが、|D|行 ×|D|列となることを確認ください。)</p><p>この時、行列𝜎のi列は、語w_i のd次元のembedding を与えると考えることができます。(行列𝜎のサイズは、𝑑×|𝐷| ですので、どんな語w_i についても、i列目は存在します。また、i列目の列ベクトルの次元はdです。)</p><p>Deep Learning の最適化の手順に則して語れば、Mが与えられた時、‖𝑀 − 𝜎′𝜎‖が最小となるような𝜎′と𝜎を見つける問題として、embedding のアルゴリズムを定式化できます。</p><div><br /></div><div>--------------------------------</div><div><br /></div><div><div>ショートムービー「 embedding algorithm 」を公開しました。<br /></div><div><span><span style="color: #0000ee;"><u>https://youtu.be/p_8uAQnJoXI</u></span></span><u style="color: #0000ee;">?list=PLQIrJ0f9gMcOJYKeUN_8q2K-yxtTfbIoB</u></div><div><span style="color: #0000ee;"><u><br /></u></span></div><div>「 embedding algorithm 」のpdf資料<br /><span style="color: #0000ee;"><u>https://drive.google.com/file/d/1GBeD5E-mZUuXhsCmN5TkhNSsd41UAAiv/view?usp=sharing</u></span></div><div><span style="color: #0000ee;"><u><br /></u></span></div><div>blog 「 embeddingは行列の因数分解として解釈できる 」 <div><div><span style="color: #0000ee;"><u>https://maruyama097.blogspot.com/2024/02/embedding-algorithm.html</u></span></div></div></div><div><br /></div><div>「言語の意味の数学的構造」まとめページ<br /><span style="color: #0000ee;"><u>https://www.marulabo.net/docs/embedding-dnn/</u></span></div><div><br /></div><div>ショートムービーの再生リスト<br /><u style="color: #0000ee;">https://www.youtube.com/playlist?list=PLQIrJ0f9gMcOJYKeUN_8q2K-yxtTfbIoB</u> </div></div><div><br /></div>maruyama097http://www.blogger.com/profile/10852791116417405282noreply@blogger.com0tag:blogger.com,1999:blog-633957148720976943.post-31079214139598433992024-02-09T12:23:00.000+09:002024-02-09T12:23:19.998+09:00DNN と word embedding<p>【 embeddingの不思議 】</p><p>このセッションから Tai-Danaeらの論文の "Embeddings in Natural Language Processing" 「自然言語処理でのembedding」セクションの紹介に入ります。</p><div>ここ10年、計算言語学と自然言語処理(NLP)の研究者たちは、当初はアルファベット順に並べられた集合の構造しか持たなかった単語を、ベクトルに置き換えるというステップを踏んできました。</div><div><div><br /></div><div>語をベクトルで置き換えるというステップは、人工知能分野における現在の進歩の主な原動力のひとつです。</div><div><br /></div><div>もちろん、こうした変化を引き起こした最大の転換点は「Word2Vec」論文の発表なのですが、Tai−Danaeの論文が興味深いのは、この変化を引き起こした背景を分析していることです。</div><div><br /></div><div><div> 画像認識や音声認識で大きな成功を収めてきたDeep Learning 技術が、次のターゲットとして向かったのは自然言語処理の世界でした。</div><div><br /></div></div><div><br /></div><div>【 DNNの働きの定式化 】</div><div><br /></div><div>当時、Deep Learning 技術の発祥の地とも言える、Deep Neural Network の理論的な定式化が進みます。( DNN = Deep Neural Network は、"feed forward network" とか "full connect network" とか、いろんな名前を持っているのですが、それらはみな同じものです。)</div><div><br /></div><div>それは、DNNは、ベクトル空間からベクトル空間への関数の連続した合成、しかもある同一の特徴で記述できる関数の連続した合成として記述できるという認識です。</div><div><br /></div><div>この認識は、Deep Learning のシステムを構築を支援する様々なフレームワーク(TensorFlow, Keras 等々)登場の基礎として、実践的には非常に大きな意味を持ちました。</div><div><br /></div><div><br /></div><div>【 ある発見 】</div><div><br /></div><div>そうしたなか、経験的なものですが、ある驚くべき発見がありました。Tai−Danaeの表現を引用します。</div><div><br /></div><div>「ある言語タスク用に学習を済ましたモデルの第1層(先の図の𝑓_1)を、別の言語タスクを対象とした別のDNNの第1層として使用すると、この二つ目のタスクの性能が大幅に向上するのである。」</div><div><br /></div><div>Word2Vecは、おそらく、こうした背景の中で生まれたものです。</div><div><br /></div><div>こうして、現代なら、Pre−Trainingでもっぱらembedding を計算し、Fine-Tuning でそのembedding を、様々なタスクで使い回すというスタイルは、当たり前の、しかし基本的な「アーキテクチャー」として認識されていると思いますが、その萌芽的な認識が生まれたのです。</div><div><div><br /></div></div><div><br /></div><div>【 Word2Vec の登場の意味 】</div><div><br /></div><div>語のベクトル表現は、そのベクトル上の演算が、予期していなかった言語学的意味を持つことで、大きなインパクトを与えました。</div><div><br /></div><div> ● 2つのベクトル間の内積は意味的類似度と高い相関を示す。</div><div> ● 二つのベクトルの足し算と引き算は、それらが表す単語間の類似関係と相関している。</div><div><br /></div><div><div>こうしたことから、語の意味ベクトルは、個々の単語が点として埋め込まれた意味空間のようなものに存在していることがわかったのです。こうした認識は、言語の意味にアプローチする上で、今日でも最も基本的なものです。</div><div><br /></div><div><br /></div><div>【 embedding の不思議 】</div><div><br /></div><div>ただ、語のベクトル表現がすべて、言語学的意義を持つわけではないのです。</div><div><br /></div><div>3万の語彙を持つ言語を考えましょう。この言語の語のベクトル表現で、一番簡単な選択は、一つの語に一対一で対応する、互いに独立するベクトル を3万個用意することです。 要素の一箇所だけが1で残り全部が0であるベクトルを 1−hot ベクトルと言いますが、このやり方で、3万個の語に対応するベクトルはすぐ作れます。</div></div><div><br /></div><div>ただ、この1−hot ベクトルによる語のベクトル表示には、大きな問題があります。<br />そこでは、二つの語のベクトルの内積は、いつも0になります。二つのベクトルの和も差も、意味のあるものになりません。</div><div><br /></div><div>1-hotベクトルには、語埋め込みの意味的性質は存在しないのです。</div><div><br /></div><div><div>言語学的に重要な特性は、埋め込みマップ 𝜎 と合成した後の、低次元で密なベクトルで、初めて現れるのです。それは不思議なことです。</div></div><div><br /></div><div>私たちは、そのことの合理的な解釈を与えることがまだできていません。</div><div><br /></div></div><div>Tai−Danaeの論文は、この不思議に数学的に挑戦するものです。</div><div><br /></div><div>--------------------------------</div><div><br /></div><div><div>ショートムービー「 DNN と word embedding 」を公開しました。<br /></div><div><span style="color: #0000ee;"><u>https://youtu.be/uG4mqUgU3Wk</u></span><u style="color: #0000ee;">?list=PLQIrJ0f9gMcOJYKeUN_8q2K-yxtTfbIoB</u></div><div><span style="color: #0000ee;"><u><br /></u></span></div><div>「 DNN と word embedding 」のpdf資料<br /><span style="color: #0000ee;"><u>https://drive.google.com/file/d/1F3boJTSJgPNTUlgHZSUVQIJ0HTiik1YG/view?usp=sharing</u></span></div><div><span style="color: #0000ee;"><u><br /></u></span></div><div>blog 「 embeddingの不思議 」 <div><div><span style="color: #0000ee;"><u>https://maruyama097.blogspot.com/2024/02/dnn-word-embedding.html</u></span></div></div></div><div><br /></div><div>「言語の意味の数学的構造」まとめページ<br /><span style="color: #0000ee;"><u>https://www.marulabo.net/docs/embedding-dnn/</u></span></div><div><br /></div><div>ショートムービーの再生リスト<br /><u style="color: #0000ee;">https://www.youtube.com/playlist?list=PLQIrJ0f9gMcOJYKeUN_8q2K-yxtTfbIoB</u> </div></div><div><br /></div>maruyama097http://www.blogger.com/profile/10852791116417405282noreply@blogger.com0tag:blogger.com,1999:blog-633957148720976943.post-77684812778682053382024-02-08T03:10:00.000+09:002024-02-08T03:10:28.807+09:00enriched category<div>【 単純な例で enriched category を振り返る 】</div><div><br /></div><div>このセッションでは、2つのオブジェクト間の射の集合𝐶(𝑦,𝑥)がもはや単なる集合でない場合の、カテゴリー論であるenriched category theoryについて考えます。</div><div><br /></div><div>そこでは、射の集合𝐶(𝑦,𝑥)自身が、部分順序集合であったり、アーベル群であったり、位相空間であったり、他の何かであったりします。つまり、enrich化されたカテゴリーでは、先のCからSetへのfunctorであるpresheafの構成で、𝑆𝑒𝑡を別のカテゴリーに置き換えることになります。これはベクトル空間𝑘^𝑋との類比では、ベースの体𝑘を変えることに似ています。</div><div><br /></div><div>新しいベースのカテゴリーが十分に良い構造を持っていれば、CをC上のpresheafで置き換えることについて述べたことは、ほとんど一語一語すべて通用します。</div><div><br /></div><div><div>前回のセミナーは、言語のカテゴリーL上の copresheaf Set^L から、単位区間 [0,1] でenrich化された copresheaf [0,1]^L を構成したものです。これは結構複雑でした。</div></div><div><br /></div><div>【 単純な例 -- 2-enriched presheaf 】</div><div><br /></div><div>ここでは、もっと簡単な enriched category の例を考えます。</div><div><br /></div><div><div>例えば、 𝖲𝑒𝗍 を、0と1という二つのオブジェクトを持ち、同一射以外の射は、0→1 一つだけである<b>2</b>というカテゴリーに置き換えると、それは、 <b>2</b>-valued presheaves というカテゴリーになります。</div><div><br /></div><div>この場合、𝐶が 𝑋 = 𝑋^𝑜𝑝なる離散カテゴリー𝑋だとすると、<b>2</b>^𝑋のpresheaf は、{0,1}^X と表せて、正確に X上の {0,1}に値を取る関数(characteristic functionです)に等しくなり、それは、Xの部分集合に等しくなります。</div><div><br /></div><div>2^𝑋の、それが2-enriched presheafであることによって与えられる構造は、以前に述べた部分集合上のBool 代数だということになります。( 0をfalse, 1をtrue と考えます)</div></div><div><br /></div><div>前回のセミナーで見た、[0,1]^X は、単位区間[0,1]に値を取るpresheaf ですが、{ 0, 1 }^X は、0か1 かの値を取るpresheaf であることに注意してください。( 角かっこ [ ] と中かっこ{ } の違いです。)</div><div><br /></div><div><div>2-enriched presheaf 𝑓と𝑔の、カテゴリー論的 coproduct は、join(union) 𝑓∨𝑔 であり、そのカテゴリー論的 product は meet(intersection) 𝑓∧𝑔 になります。</div><div><br /></div><div>だから、どんな集合Xに対しても、関数の集合{0,1}^𝑋は、二つの要素からなる体 𝐹_2={0,1} 上のベクトル空間と見ることもできるし、𝟐={0,1}に値を取る、X上のenrich化されたpresheaf とも見ることもできます。</div><div><br /></div><div>我々が、{0,1}を体と考えるか、あるいは、それを射 0→1 が定義されたカテゴリーだと考えるのか、どちらの見方を取るかに応じて 異なる構造を得るのです。</div></div><div><br /></div><div>【 「オブジェクトからオブジェクト上の関数へ」のまとめ 】</div><div><br /></div><div><div>𝑋上の “関数”の構造は、本質的に、その関数が何に値を持つかという、値を取る対象の構造に負っています。</div><div><br /></div><div>例えば、カテゴリーC からSetへのfunctorであるpresheafの性質であるのcomplete性やcocomplete性は、値を取る対象である集合のカテゴリーのcomplete性やcocomplete性に起源をを持っています。</div><div><br /></div><div>同様に、𝑋から体kへの関数であるベクトル空間での加法やスカラー倍は、関数が値を取る対象である体𝑘の加法や乗法から生まれたものです。</div></div><div><br /></div><div><div>あらためて、このセクションの最初に述べた戦略を確認しましょう。</div><div><br /></div><div>オブジェクト𝑋の内部構造について少ししか知られていない場合、より多くを学ぶためのアプローチは、𝑋を𝑋上の関数のようなもので置き換え、𝑋の限られた既知の構造が、𝑋の関数上で自由に定義された構造とどのように相互作用するかを研究することである。</div><div><br /></div><div>特に、どのような対象の中で関数の値を評価し、また、その対象を数学的にどう見るかという選択が必要になります。</div><div><br /></div><div>【 次回から、「自然言語処理での埋め込み」のセクションに入ります 】</div><div><br /></div></div><div>--------------------------------</div><div><br /></div><div><div>ショートムービー「 enriched category 」を公開しました。<br /></div><div><span style="color: #0000ee;"><u>https://youtu.be/Si--xi-RL4w?list=PLQIrJ0f9gMcOJYKeUN_8q2K-yxtTfbIoB</u></span></div><div><span style="color: #0000ee;"><u><br /></u></span></div><div>「 enriched category 」のpdf資料<br /><span style="color: #0000ee;"><u>https://drive.google.com/file/d/1EKnzgmAL4WzDaiGhMxV8dIb5nSnyuj-w/view?usp=sharing</u></span></div><div><span style="color: #0000ee;"><u><br /></u></span></div><div>blog 「 単純な例で enriched category を振り返る 」 <div><div><div><div><span style="color: #0000ee;"><u>https://maruyama097.blogspot.com/2024/02/enriched-category.html</u></span></div></div></div></div></div><div><br /></div><div>「言語の意味の数学的構造」まとめページ<br /><span style="color: #0000ee;"><u>https://www.marulabo.net/docs/embedding-dnn/</u></span></div><div><br /></div><div>ショートムービーの再生リスト<br /><u style="color: #0000ee;">https://www.youtube.com/playlist?list=PLQIrJ0f9gMcOJYKeUN_8q2K-yxtTfbIoB</u> </div></div><div><br /></div>maruyama097http://www.blogger.com/profile/10852791116417405282noreply@blogger.com0tag:blogger.com,1999:blog-633957148720976943.post-90768385563136848942024-02-07T12:11:00.000+09:002024-02-07T12:11:51.393+09:00presheaf<p>【 この部分は、この間のセミナーのまとめになっています 】</p><p>今回のセッションで紹介する部分は、この間のセミナーで扱ってきた問題の短かなまとめになっています。この間のセミナーで紹介してきた大規模言語モデルを舞台にして、Tai-Danae が利用した数学的手法を振り返るには、ちょうどいい素材かもしれません。ぜひ、以前の資料を参照ください。</p><p>短いセクションなのですが、ストーリーは二つの視点を軸に展開します。</p><p>一つは、前回のセッションで紹介した「オブジェクトからオブジェクト上の関数へ」という視点です。このセクションのタイトルは、「Objects Versus Functions on Objects」でした。</p><p>もう一つは、そうした展開を、最初のサンプルとして導入した「ベクトル空間」= 線形代数 との対比で位置付けることです。この論文のサブタイトルは、「Parallel Narratives in Linear Algebra and Category Theory 」でした。</p><p>この二つを意識してもらうと、いろいろな気づきがあると思います。</p><p>一つ注意してもらいたいことがあります。</p><p>以前のセミナー「大規模言語モデルの数学的構造」での主要な数学的ツールは、copresheaf でした。ただ、このセクションは、copresheaf のカテゴリー論的「双対」概念である presheaf について論じているということです。</p><p>どちらも、あるカテゴリーCから集合のカテゴリーSet へのfunctor です。「オブジェクトからオブジェクト上の関数へ」という視点で見ると、両者は同じようなものです。</p><p>ただ、両者の違いを少しまとめてみました。</p><p>C上のpresheaf は、𝐶^𝑜𝑝 → 𝑆𝑒𝑡 のcontravariant functorで、<br />C上のcopresheafは、𝐶 → 𝑆𝑒𝑡 のcovariant functorです。</p><p>二つのfunctorのvarianceの違いから、そのrepresentable functorは、次のようになります。</p><p>presheafのrepresentableは、ℎ^𝑥 ≔ 𝐶( −, 𝑥 ) で、<br />copresheafのrepresentableは、ℎ_𝑥 ≔ 𝐶( 𝑥 ,− ) です。</p><p>後者の𝐶( 𝑥 ,− )の形が、以前のセミナーでは活躍していました。ここでx がブランク ー より前に来ているのは、この表示が xとつながるすべてのfunctor の集まりとしてxの意味を表現しようとしていたからです。Firth流に言えば、「語xのすべての仲間たち」を、それは表しています。ですから、意味の表現には𝐶( 𝑥 ,− )の形がむいています。</p><p>ただ、前回のセミナーの資料では、ℎ^𝑥 ≔ 𝐶( 𝑥 ,− ) という表現が使われています。今回の論文のノテーションとは、違っていますのでご注意ください。</p><div>--------------------------------</div><div><br /></div><div><div>ショートムービー「 presheaf 」を公開しました。<br /></div><div><span style="color: #0000ee;"><u>https://youtu.be/_ysG8cMOTJU?list=PLQIrJ0f9gMcOJYKeUN_8q2K-yxtTfbIoB</u></span></div><div><span style="color: #0000ee;"><u><br /></u></span></div><div>「 presheaf 」のpdf資料<br /><span style="color: #0000ee;"><u>https://drive.google.com/file/d/1EKnzgmAL4WzDaiGhMxV8dIb5nSnyuj-w/view?usp=sharing</u></span></div><div><span style="color: #0000ee;"><u><br /></u></span></div><div>blog 「 この部分は、この間のセミナーのまとめになっています 」 <div><div><span style="color: #0000ee;"><u>https://maruyama097.blogspot.com/2024/02/presheaf.html</u></span></div></div></div><div><br /></div><div>「言語の意味の数学的構造」まとめページ<br /><span style="color: #0000ee;"><u>https://www.marulabo.net/docs/embedding-dnn/</u></span></div><div><br /></div><div>ショートムービーの再生リスト<br /><u style="color: #0000ee;">https://www.youtube.com/playlist?list=PLQIrJ0f9gMcOJYKeUN_8q2K-yxtTfbIoB</u> </div></div><div><br /></div>maruyama097http://www.blogger.com/profile/10852791116417405282noreply@blogger.com0tag:blogger.com,1999:blog-633957148720976943.post-32549685808637642492024-02-06T10:51:00.001+09:002024-02-07T10:15:54.692+09:00ベクトル空間<p>【 オブジェクトからオブジェクト上の関数へ 】</p><p>あまり情報が与えられない、あるいは不完全な構造を持つ数学的対象𝑋が与えられたとしましょう。</p><p>Xを直接調べようとしても、それはXの要素・オブジェクトをいろいろ調べることに帰着するのですが、Xについてよくわからないことが起こります。</p><p>そう言う時、構造がよくわかっている対象Yをとって、XからYへの関数 Fun(X)を考えます。Fun(X)はYに値をとりますので、XよりはFun(X)の方が構造がわかりやすいということを期待できると言うことです。</p><p>「オブジェクトからオブジェクト上の関数へ」と言うのは、 Xだけに注目するのではなくFun(X)にもっと注目しようと言う視点の転換を促すスローガンだと思っていいと思います。</p><p>論文の"Objects Versus Functions on Objects"というセクションでは、こうしたオブジェクト上の関数への注目によって構成された数学的対象の例を三つほど挙げています。</p><p> ⚫️ ベクトル空間<br /> ⚫️ (co)presheaf<br /> ⚫️ enriched category<br /><br /></p><p>【 ベクトル空間 】</p><p>このセッションでは、ベクトル空間の例を取り上げます。</p><p>ベクトル空間というのは、ある集合X上で定義された体k(例えば、実数 R とか複素数 C とか)に値を取る関数の集合として、k^X という形で定義されます。</p><p>ベクトルは、関数なんです。</p><p>古典bit {0,1} から 量子bit { |0>, |1> } への移行も、{0,1}を考えるのではなく{0,1}上で定義関数を考えることへの飛躍として理解できます。次のように。</p><p> f(0)=1, f(1)=0 ; g(0)=0, g(1)=1である関数 f, g を考えて、 f = |0>, g = |1> と考える。<br /></p><p>一般に、関数であるケット|i>は (それはケット|i>はベクトルであるというのと同じ意味です)引数j に対して、|i> (j) = 1 ( i = jの時) あるいは |i> (j) = 0 (i =jでない場合) という値を返します。</p><p>この量子ビットの例は定義域が{0,1}の例でしたが、任意の集合Xについて値域が{0,1}となる関数の集合も興味深い性質を持っています。Xの要素の上を走り{0,1} に値を持つ関数は、Xの部分集合を定義します。</p><p>この関数の集まりは、Bool代数を定義することになります。</p><p><br />【 参考資料 】</p><p>ベクトル空間については、 2023年2月のマルレク「密度行列 ρ で理解する確率の世界」を参照してください。 <a href="https://www.marulabo.net/docs/density2/">https://www.marulabo.net/docs/density2/</a> </p><p>このセミナーは、 Tai-Danae Bradleyの2020年の論文 “At the Interface of Algebra and Statistics” 「代数と統計の境界で」 <a href="https://arxiv.org/abs/2004.05631">https://arxiv.org/abs/2004.05631</a> に依拠したものです。 </p><p>ケット記法については、2020年6月のマルレク「ケット |k> で理解する量子の世界」も参照してください。<a href="https://www.marulabo.net/docs/ket-talk/">https://www.marulabo.net/docs/ket-talk/</a> </p><div><br class="Apple-interchange-newline" />--------------------------------</div><div><br /></div><div><div>ショートムービー「 ベクトル空間」を公開しました。<br /></div><div><span style="color: #0000ee;"><u>https://youtu.be/TnlTlBjXz5s?list=PLQIrJ0f9gMcOJYKeUN_8q2K-yxtTfbIoB</u></span></div><div><span style="color: #0000ee;"><u><br /></u></span></div><div>「 ベクトル空間 」のpdf資料 <br /><span style="color: #0000ee;"><u>https://drive.google.com/file/d/1DpIYbrPW-SEPu3OF0CbZBGdKE8yUt88k/view?usp=sharing</u></span></div><div><span style="color: #0000ee;"><u><br /></u></span></div><div>blog 「 オブジェクトからオブジェクト上の関数へ 」 <div><div><span style="color: #0000ee;"><u>https://maruyama097.blogspot.com/2024/02/blog-post_06.html</u></span></div></div></div><div><br /></div><div>「言語の意味の数学的構造」まとめページ<br /><span style="color: #0000ee;"><u>https://www.marulabo.net/docs/embedding-dnn/</u></span></div><div><br /></div><div>ショートムービーの再生リスト<br /><u style="color: #0000ee;">https://www.youtube.com/playlist?list=PLQIrJ0f9gMcOJYKeUN_8q2K-yxtTfbIoB</u> </div></div><div><br /></div>maruyama097http://www.blogger.com/profile/10852791116417405282noreply@blogger.com0tag:blogger.com,1999:blog-633957148720976943.post-7405473406054661582024-02-05T17:16:00.000+09:002024-02-05T17:16:20.226+09:00中なおり<p>【 中なおり 】</p><p>MacBookの調子がおかしくなったのは、今年に入ってからです。</p><p>突然、画面が切れたと思ったら、バッテリーが空になっていました。問題は、充電アダプターを繋げているのに、充電がされないこと。</p><p>SMCリセットなどいろいろやってみたのですが、回復せず、泣く泣く諦めました。</p><p>本当は諦め切れず、四つのキーの同時押しで手を引き攣らせながら、時々、想い出しては蘇生を試みました。でも、意識は戻りませんでした。</p><p>このマシンを惜しんだのには、理由があります。12インチの画面の小型で、重さ1kgを切る軽量のマシンは、僕の仕事のスタイルでは、必要だったからです。</p><p>というのも、僕は、この10年以上、ソファーやベッドの上で横になったままで、片手でPCをもったままで仕事をしています。もちろん、もう一方の手で、高速ブラインドタッチができます。というのは大嘘で、一本指でキーを叩いています。</p><p>このスタイルだと、寝たきり老人になっても仕事ができるはずなので、近い将来を見越した良いスタイルだと思います。</p><p>もう一台、現役のM2−MacBook Air があるのですが、こいつは14インチで大きく、片手で持つにはちょっと重いのです。このところ、何回かやってみたので、腕の筋肉は鍛えられたかもしれません。</p><p>しかし、不思議なこともあるもので、MacBookが死んでから二週間ほどたったある日、電源をいれてみたら、MacBookが生き返ったのです。</p><p> 「これで、寝ながら仕事ができる。」</p><p>詳細な蘇生術は省略しますが、この一週間ほど、騙し騙し、MacBookで仕事ができました。</p><p>ところが、昨日の発作は強烈だったようで、いろいろ手を尽くしたのですが、意識は戻りません。この一週間は機械の「中なおり」だったのかもしれません。</p><p>この文章は、重いMBAをこたつに乗せ、正座して書いています。</p><p> (やれば、できるじゃないか。それが普通。)<br /> (でも、寝ている方が、生産性は高いと思う。)<br /> (馬鹿なこと言ってんじゃないよ。)<br /> (じゃ、君も寝ながらで仕事してみろよ。)</p><p>Apple Storeに連絡しました。</p><p>電源回路の故障だろうということですが、基板全体の交換になるそうです。見積もり費用は、7万8千円だそうです。</p><p>このマシン7年前のものです。スペックはCPU i7, メモリー16G、SSD 512Gそんなに悪いものではありません。ただ、すでに2回有償修理に出しています。</p><p>残念ながら、僕が欲しい小型軽量の「寝ながらマシン」は、Let's Note かVaio ぐらいしか見つかりません。この二機種、昔、僕もよく使っていました。ただ、どっちも高いですね。</p><p> (だから、MBAがあるなら、椅子と机で、正座して仕事しろ!)<br /> (やなこった。きっと、体に悪い)</p><p>三度目の修理に出すか、悩ましいです。</p><p>もう一つ心配事が。</p><p>秋田の友人が、脳卒中で倒れました。一度も意識が戻ることなく、もう二週間経ちました。回復することを祈っています。</p><p><br /></p>maruyama097http://www.blogger.com/profile/10852791116417405282noreply@blogger.com0tag:blogger.com,1999:blog-633957148720976943.post-87074068975863381662024-02-03T04:46:00.000+09:002024-02-03T04:46:33.480+09:00マルレク 「意味の分散表現とニューラルネットワークの数理」 へのお誘い<p>【 マルレク 「意味の分散表現とニューラルネットワークの数理」 へのお誘い 】</p><p>今度のマルレクのテーマは、「意味の分散表現とニューラルネットワークの数理」です。 </p><p>前回のセミナーを簡単に振り返りながら、それとの関連を述べてみたいと思います。</p><div><br /></div><div>【 前回のセミナーの振り返り 】</div><div><br /></div><div><div>前回のマルレク「大規模言語モデルの数学的構造」は、大規模言語モデルという巨大な対象が、どのように意味の世界を内部に構築するのかという問題に、「copresheaf 意味論」というカテゴリー論的数学モデルを与えて答えようとしたものです。 </div></div><div><br /></div><div><div>そこでは、学習時に入力に与えられる表現の「継続」の確率分布をモデルが学ぶことを言語のカテゴリーの特徴づけに生かそうとします。</div></div><div><br /></div><div><div>以前の言語のカテゴリー L は、表現の「継続」関係を忠実に表現する単なるpreorder のカテゴリーでした。そこでの射 𝑓 : 𝑥 → 𝑦 ∈ 𝐿(𝑥,𝑦) は、単に真か偽の値しか取らない関数でしたが、これを単位区間[0.1]に値を取る確率値を取るようにしたいと言うことです。</div><div><br /></div><div><div>そこで用いられたのが、あるカテゴリーCの射を(Cのオブジェクトはそのままで、Cの射だけを)、他のカテゴリーVに置き換えるという手法です。これを、CのカテゴリーV上のenrich化といいます。</div></div><div><br /></div><div><div>この手法によって、もとのpreorder カテゴリーとしての言語のカテゴリーは、[0,1]カテゴリーによってenrich化され、オブジェクト間の射は確率値を取るように拡張されたのです。それが、Syntax カテゴリーです。 </div></div></div><div><br /></div><div>【 言語のカテゴリーLと 意味のカテゴリー copresheaf 𝑆𝑒𝑡^𝐿 】</div><div><br /></div><div><div>前回のセミナーの一番重要な主張は、言語のカテゴリーLが与えられた時、それに対応する意味のカテゴリーは、Lから集合のカテゴリーSetへのfunctor からなる、functor カテゴリー 𝑆𝑒𝑡^𝐿 とみなすことができるという主張です。𝑆𝑒𝑡^𝐿を、L上のcopresheaf と呼びます。</div><div><br /></div><div>簡単に言うと、Lのオブジェクトx (それは、xが言語Lのある表現だと言うことです)が与えられた時、L(x,y)の形のすべての関数の集合を考えて(それは、xの継続でありうるすべてのyについてL(x,y)なる関数すべてを考えることです)、それを次のように表し、それを表現xの「意味」と考えようと言うことです。 𝐿(𝑥,−) </div></div><div><div><br /></div><div>こうした意味の解釈は、Firthの 「我々は、ある語を、それが引きつれている仲間たちによって知ることになる」 という解釈の拡大版だと考えることができます。</div></div><div><br /></div><div>【 前回のセミナーで示したこと 】</div><div><br /></div><div><div>copresheaf意味論は、非常に魅力的なビジョンなのですが、問題は、言語のカテゴリーLが、[0,1]上でenrich化された時(それをL’としましょう)、それに対応した[0,1]上でenrich化されたcopresheafがうまく構成できるかと言うことです。</div><div><br /></div><div>前回のセミナーが示したことは、preorder版のL上の copresheaf 𝑆𝑒𝑡^𝐿から、[0,1]上でenrich化されたL’上のcopresheaf [0,1]^L' (このカテゴリーを言語のSemanticと呼んでいます)への移行が可能だと言うことです。</div></div><div><div><br /></div><div>enrich化されたカテゴリーを用いると、大規模言語モデルの振る舞いに近い形で、SyntaxからSemantic への移行をモデル化できる。前回のセミナーのカテゴリー論的な関心の中心が、enrich化の手法にあったのは、そのためです。</div><div><br /></div><div>ただ、前回の到達点では、次のことに注意が必要です。</div><div><br /></div><div>それは、現在稼働している大規模言語モデルでは、事実上は所与として与えられている embedding = 「意味の分散表現」のモデル内での具体的な生成過程にフォーカスしたものではないと言うことです。</div></div><div><br /></div><div>【 今回のセミナーの課題 】</div><div><br /></div><div><div>今回のセミナーも、前回に引き続き、Tai-Danae Bradleyらの、次の論文の紹介を行います。</div><div><br /></div><div>“The structure of meaning in language: parallel narratives in linear algebra and category theory” <br /><a href="https://www.ams.org/journals/notices/202402/rnoti-p174.pdf">https://www.ams.org/journals/notices/202402/rnoti-p174.pdf</a></div><div><br /></div><div>特に、この論文の”Embeddings in Natural Language Processing” のセクションを中心に紹介しようと思います。</div></div><div><div><br /></div><div>この論文の素晴らしいところは、ニューラルネット(DNN)が、実際の言語使用の場面で極めて有益な、低い次元での意味の分散表現を「近似的に」生み出すメカニズムに迫っているところです。</div><div><br /></div><div>それは、次のように語られています。</div><div><br /></div><div>「この論文は、関連するカテゴリー論との驚くべきな並行性を準備することになる線形代数のかなりぺダンティックなレビューから始まる。 その後、線形代数を用いて、大規模言語モモデルの根底にある単語の埋め込みを理解する方法を検討する。」</div></div><div><br /></div><div><div>注目すべきことは、前回の論文が、SyntaxからSemanticへの移行という、いわばマクロな視点から大規模言語モデルの働きを説明しようとしていたのに対して、今回の論文は、それらの働きのいわばミクロな基礎である単語の埋め込みに関心を向けていることです。</div><div><br /></div><div>しかも、そうした embedding=「意味の分散表現」は、巨大な大規模言語モデルの登場によって初めて可能になったものではなく、われわれにとって身近なニューラル・ネットワークそのものの働きによって基礎付けられるうることが、強く示唆されています。</div><div><br /></div><div>それは、どこにでもあるニューラル・ネットワークの働きに、新しい光を当てるものです。</div></div><div><br /></div><div><div>もっとも、前回の論文では、SyntaxからSemanticへの移行のモデルを、実際に構築してみせたのですが、今回の論文は、「意味の構造」を解明する上で、どのようなアプローチが可能かを、いろいろな角度から検討してみたものです。</div></div><div><br /></div><div>【 Tai-Danaeの道具箱 】</div><div><br /></div><div><div>扱っている対象は、ディープ・ラーニング発祥の地とも言うべきDNN(ディープ・ニューラル・ネットワーク)や、Word2Vec以来の単語の埋め込み、あるいは線形代数でのSVD分解といったよく知られたものなのですが、それを扱うTai-Danaeの手法は華麗なものです。そのいくつかを、まずは名前だけですがあげておきます。</div><div><br /></div><div> ⚫️ Tropical Algebra</div><div> ⚫️ Formal Concept Analysis</div><div> ⚫️ Pro Functor</div><div> ⚫️ Isbell Adjunction</div><div><br /></div><div>これらのコンセプト、セミナーで説明できたらと思っています。</div><div><br /></div><div><div>--------------------------------</div><div><div><br /></div></div><div>ショートムービー「 マルレク 「意味の分散表現とニューラルネットワークの数理」 へのお誘い」を公開しました。<br /></div><div><span style="color: #0000ee;"><u>https://youtu.be/YzPylUyzrJo?list=PLQIrJ0f9gMcOJYKeUN_8q2K-yxtTfbIoB</u></span></div><div><span style="color: #0000ee;"><u><br /></u></span></div><div>「 マルレク 「意味の分散表現とニューラルネットワークの数理」 へのお誘い 」のpdf資料<span style="color: #0000ee;"><u>https://drive.google.com/file/d/12ub9tEUPDNBB1eEzLNH_z4AngbW1tnaV/view?usp=sharing</u></span></div><div><span style="color: #0000ee;"><u><br /></u></span></div><div>blog 「 マルレク 「意味の分散表現とニューラルネットワークの数理」 へのお誘い 」<div><div><span style="color: #0000ee;"><u>https://maruyama097.blogspot.com/2024/02/blog-post.html</u></span></div></div></div><div><br /></div><div>「意味の分散表現とニューラルネットワークの数理」まとめページ<br /><span style="color: #0000ee;"><u>https://www.marulabo.net/docs/embedding-dnn/</u></span></div><div><br /></div><div>ショートムービーの再生リスト<br /><span style="color: #0000ee;"><u>https://www.youtube.com/playlist?list=PLQIrJ0f9gMcOJYKeUN_8q2K-yxtTfbIoB</u></span></div></div></div>maruyama097http://www.blogger.com/profile/10852791116417405282noreply@blogger.com0tag:blogger.com,1999:blog-633957148720976943.post-47753503813699139862024-01-30T05:48:00.000+09:002024-01-30T05:48:00.213+09:00浅海ゼミ 第31回の講演ビデオと講演資料公開しました<p>【 浅海ゼミ 第31回の講演ビデオと講演資料公開しました 】</p><p>浅海ゼミ「クラウドアプリケーションのためのオブジェクト指向分析設計講座」第31回の講演ビデオと、講演資料を公開しました。<span style="color: #0000ee;"><u>https://www.marulabo.net/docs/asami31/</u></span></p><p>【 2024/1/19 第31回 「実装(2)」】</p><p>講座の全体構成はこちらを参照ください。<a href="https://www.marulabo.net/docs/asami/">https://www.marulabo.net/docs/asami/</a></p><p>【 本講座の概要 】</p><p>実装2回目の今回は設計モデルとして作成したScalaプログラムを整理して、実装への展開を考えます。</p><p>実装のポイントとTDD(Test-Driven Development)について取り上げました。</p><p>【 講演ビデオ <span style="color: #0000ee;"><u><a href="https://youtu.be/6EOtO-y0rbs">https://youtu.be/6EOtO-y0rbs</a> </u></span>の構成】</p><p class="p1" style="font-family: "Helvetica Neue"; font-feature-settings: normal; font-kerning: auto; font-optical-sizing: auto; font-size: 15px; font-stretch: normal; font-variant-alternates: normal; font-variant-east-asian: normal; font-variant-numeric: normal; font-variant-position: normal; font-variation-settings: normal; line-height: normal; margin: 0px;"> 00:00:00 <span class="s1" style="font-family: "Hiragino Sans"; font-feature-settings: normal; font-kerning: auto; font-optical-sizing: auto; font-stretch: normal; font-variant-alternates: normal; font-variant-east-asian: normal; font-variant-numeric: normal; font-variant-position: normal; font-variation-settings: normal; line-height: normal;">開始</span></p><p class="p1" style="font-family: "Helvetica Neue"; font-feature-settings: normal; font-kerning: auto; font-optical-sizing: auto; font-size: 15px; font-stretch: normal; font-variant-alternates: normal; font-variant-east-asian: normal; font-variant-numeric: normal; font-variant-position: normal; font-variation-settings: normal; line-height: normal; margin: 0px;"> 00:01:45 <span class="s1" style="font-family: "Hiragino Sans"; font-feature-settings: normal; font-kerning: auto; font-optical-sizing: auto; font-stretch: normal; font-variant-alternates: normal; font-variant-east-asian: normal; font-variant-numeric: normal; font-variant-position: normal; font-variation-settings: normal; line-height: normal;">設計の成果物</span></p><p class="p1" style="font-family: "Helvetica Neue"; font-feature-settings: normal; font-kerning: auto; font-optical-sizing: auto; font-size: 15px; font-stretch: normal; font-variant-alternates: normal; font-variant-east-asian: normal; font-variant-numeric: normal; font-variant-position: normal; font-variation-settings: normal; line-height: normal; margin: 0px;"> 00:05:20 <span class="s1" style="font-family: "Hiragino Sans"; font-feature-settings: normal; font-kerning: auto; font-optical-sizing: auto; font-stretch: normal; font-variant-alternates: normal; font-variant-east-asian: normal; font-variant-numeric: normal; font-variant-position: normal; font-variation-settings: normal; line-height: normal;">基本構造</span></p><p class="p1" style="font-family: "Helvetica Neue"; font-feature-settings: normal; font-kerning: auto; font-optical-sizing: auto; font-size: 15px; font-stretch: normal; font-variant-alternates: normal; font-variant-east-asian: normal; font-variant-numeric: normal; font-variant-position: normal; font-variation-settings: normal; line-height: normal; margin: 0px;"> 00:12:00 <span class="s1" style="font-family: "Hiragino Sans"; font-feature-settings: normal; font-kerning: auto; font-optical-sizing: auto; font-stretch: normal; font-variant-alternates: normal; font-variant-east-asian: normal; font-variant-numeric: normal; font-variant-position: normal; font-variation-settings: normal; line-height: normal;">メソッド実装</span></p><p class="p1" style="font-family: "Helvetica Neue"; font-feature-settings: normal; font-kerning: auto; font-optical-sizing: auto; font-size: 15px; font-stretch: normal; font-variant-alternates: normal; font-variant-east-asian: normal; font-variant-numeric: normal; font-variant-position: normal; font-variation-settings: normal; line-height: normal; margin: 0px;"> 00:21:53 <span class="s1" style="font-family: "Hiragino Sans"; font-feature-settings: normal; font-kerning: auto; font-optical-sizing: auto; font-stretch: normal; font-variant-alternates: normal; font-variant-east-asian: normal; font-variant-numeric: normal; font-variant-position: normal; font-variation-settings: normal; line-height: normal;">実装のポイント</span></p><p class="p1" style="font-family: "Helvetica Neue"; font-feature-settings: normal; font-kerning: auto; font-optical-sizing: auto; font-size: 15px; font-stretch: normal; font-variant-alternates: normal; font-variant-east-asian: normal; font-variant-numeric: normal; font-variant-position: normal; font-variation-settings: normal; line-height: normal; margin: 0px;"> 00:41:53 TDD (Test-Driven Development)</p><p class="p1" style="font-family: "Helvetica Neue"; font-feature-settings: normal; font-kerning: auto; font-optical-sizing: auto; font-size: 15px; font-stretch: normal; font-variant-alternates: normal; font-variant-east-asian: normal; font-variant-numeric: normal; font-variant-position: normal; font-variation-settings: normal; line-height: normal; margin: 0px;"> 00:58:29 <span class="s1" style="font-family: "Hiragino Sans"; font-feature-settings: normal; font-kerning: auto; font-optical-sizing: auto; font-stretch: normal; font-variant-alternates: normal; font-variant-east-asian: normal; font-variant-numeric: normal; font-variant-position: normal; font-variation-settings: normal; line-height: normal;">まとめ</span></p><p>【 講演資料 】</p><h5 class="blog-card-title" id="%e5%ae%9f%e8%a3%852-%e3%80%90%e3%82%af%e3%83%a9%e3%82%a6%e3%83%89%e3%82%a2%e3%83%97%e3%83%aa%e3%82%b1%e3%83%bc%e3%82%b7%e3%83%a7%e3%83%b3%e3%81%ae%e3%81%9f%e3%82%81%e3%81%ae%e3%82%aa" style="background-color: white; border-bottom: 1px solid var(--vk-color-border-hr); box-sizing: border-box; color: #333333; font-family: Lato, "Noto Sans JP", "ヒラギノ角ゴ ProN", "Hiragino Kaku Gothic ProN", メイリオ, Meiryo, "MS Pゴシック", "MS PGothic", sans-serif; line-height: var(--vk-line-height-low); margin-bottom: var(--vk-margin-headding-bottom); margin-top: 0px; padding-bottom: 0.5em;"><a href="https://www.slideshare.net/slideshows/2-31-67e1/265610862" style="box-sizing: border-box; font-weight: normal; text-decoration-color: var(--vk-color-text-link-hover); text-decoration-line: none;"><span style="font-size: small;">実装(2) 【クラウドアプリケーションのためのオブジェクト指向分析設計講座 第31回】 | PPT</span></a><br /><span style="background-color: transparent; font-weight: normal;"><a href="https://www.slideshare.net/slideshows/2-31-67e1/265610862">https://www.slideshare.net/slideshows/2-31-67e1/265610862</a></span></h5>maruyama097http://www.blogger.com/profile/10852791116417405282noreply@blogger.com0tag:blogger.com,1999:blog-633957148720976943.post-28528873490108957462024-01-29T16:16:00.000+09:002024-01-29T16:16:48.925+09:00マルレク関連資料 2002年〜2009年<h2>丸山レクチャー関連資料</h2><ul><li><a href="http://marulec.cloud-market.com/archive/#lecture">丸山レクチャー・シリーズ</a></li><li><a href="http://marulec.cloud-market.com/archive/#archive">丸山レクチャー・シリーズ・全アルカイーブ</a></li><li><a href="http://marulec.cloud-market.com/archive/#lectureNote">Lecture Note</a></li><li></li><li><a href="http://maruyama.cloud-market.com/">wakhokページ(旧)</a></li><a href="http://maruyama.cloud-market.com/"></a></ul><h3><a href="http://maruyama.cloud-market.com/"></a><a name="lecture">丸山レクチャーシリーズ</a></h3><ul><a name="lecture"></a><li><a name="lecture">2008-2009年度</a><ul><a name="lecture"></a><li><a name="lecture">第6回 </a><a href="http://marulec.cloud-market.com/archive/2008/CloudSOA.pdf">CloudとSOA</a></li><li>第5回 <a href="http://www.itmedia.co.jp/enterprise/pdf/pdf_19_1237773149.pdf">CloudとRich Client</a></li><li>第4回 <a href="http://stream.itmedia.co.jp/enterprise/pdf/pdf_16_1235461490.pdf">ScalabilityとAvailability</a></li><li>第3回 <a href="http://stream.itmedia.co.jp/enterprise/pdf/pdf_13_1231755243.pdf">Cloud上の分散データベース ― BigTable、SimpleDB、Azure SDS ―</a></li><li>第2回 <a href="http://stream.itmedia.co.jp/enterprise/pdf/pdf_6_1229153758.pdf">MicrosoftのクラウドOS/Windows Azureについて</a></li><li>第1回 <a href="http://stream.itmedia.co.jp/enterprise/pdf/pdf_3_1226530334.pdf">クラウド時代の到来</a></li></ul></li><li>2007-2008年度<ul><li>第5回 <a href="http://marulec.cloud-market.com/archive/2007/20080314/20080314_4.pdf">Google Andoroidの世界 </a> </li><li>第4回 <a href="http://marulec.cloud-market.com/archive/2007/20080218/20080218_1.pdf">GlassfishとJbossのCluster/Cache技術</a></li><li>第3回 ><a href="http://marulec.cloud-market.com/archive/2007/20080118/20080305_1.pdf">SCA/Tuscanyの拡張メカニズム</a><br /><a href="http://marulec.cloud-market.com/archive/2007/20080118/20080118_1_1.pdf">SOAへの二つのアプローチ IT技術の適用と ビジネス・バリュー実現 という二つの視点</a></li><li>第2回 <a href="http://marulec.cloud-market.com/archive/2007/20071218/20071218_1.pdf">JAX-RSとWADL ---JavaEEとRESTfulWebService</a></li><li>第1回 <a href="http://marulec.cloud-market.com/archive/2007/20071106/20071106_1.pdf">Googleの分散処理技術</a></li></ul></li><li>2006-2007年度<ul><li>第5回 <a href="http://marulec.cloud-market.com/archive/2006/20070313/20070313_4.pdf">古くて新しいNGNとJavaの接点</a></li><li>第4回 <a href="http://marulec.cloud-market.com/archive/2006/20070216/20070216_4.pdf">Cloud Google File System とAmazon S3/EC2</a></li><li>第3回 <a href="http://marulec.cloud-market.com/archive/2006/20070112/20070112_1.pdf">Web2.0と新しいネットワーク・メディア </a> </li><li>第2回 <a href="http://marulec.cloud-market.com/archive/2006/20061215/20061215_4.pdf">JavaへのClosureの導入について </a> </li><li>第1回 <a href="http://marulec.cloud-market.com/archive/2006/20061120/20061120_1.pdf">WS-ResourceTransfer Webサービスは「状態」をどのように扱うか? </a> </li></ul></li><li>2005-2006年度<ul><li>第5回 <a href="http://marulec.cloud-market.com/archive/2005/20060317/20060317_4.pdf">SOAとコンポーネント技術 ---SCA入門--- </a> </li><li>第4回 <a href="http://marulec.cloud-market.com/archive/2005/20060217/20060217_4.pdf">JAXBとJAX-WS </a> </li><li>第3回 <a href="http://marulec.cloud-market.com/archive/2005/20060120/20060120_4.pdf">SOA技術とGrid</a> </li><li>第2回 <a href="http://marulec.cloud-market.com/archive/2005/20051209/20051209_1.pdf">JBIとServiceMIX </a> </li><li>第1回 <a href="http://marulec.cloud-market.com/archive/2005/20051108/No1SOA_1up.pdf">SOAとは何かを考える </a> </li></ul></li><li>2004-2005年度<ul><li>第5回 <a href="http://marulec.cloud-market.com/archive/2004/20050408/JBI20050408_1.pdf">J2EEとSOAの近未来 J2EE6.0のコア技術としての JBI(Java Business Integration)</a> </li><li>第4回 <a href="http://marulec.cloud-market.com/archive/2004/20050309/annotation_2.pdf">Annotationプログラミング入門 </a> </li><li>第3回 <a href="http://marulec.cloud-market.com/archive/2004/20050128/bpel0501.pdf">SOAの中核技術としてのBPEL</a> </li><li>第2回 <a href="http://marulec.cloud-market.com/archive/2004/20041224/wsrf.pdf">GridとSOAをつなぐもの --- WSRFとNotification ---</a> </li><li>第1回 <a href="http://marulec.cloud-market.com/archive/2004/20041130/ejb3meta.pdf">EJB3.0とメタ・プログラミング </a> </li></ul></li><li>2003-2004年度<ul><li>第5回 <a href="http://marulec.cloud-market.com/archive/2003/20040218/standard.pdf">Webサービスの標準化と Gridの標準化 WS-Resource Frameworkの提案 </a> 「グリッドビジネスと標準化」</li><li>第4回 <a href="http://marulec.cloud-market.com/archive/2003/20040114/ServiceData_Notify.pdf">OGSIグリッド・プログラミング入門 --- Service Data と Notification ---</a> </li><li>第3回 <a href="http://marulec.cloud-market.com/archive/2003/OgsaOgsi.pdf">GridとWebサービス --- OGSA/OGSI --- </a> </li><li>第2回 <a href="http://marulec.cloud-market.com/archive/2003/maru02_cl.pdf">J2EE1.4と Webサービスのコンテナー技術 --- Hosting Environment --- </a> </li><li>第1回 <a href="http://marulec.cloud-market.com/archive/2003/20031017/WS-I_GWSDL.pdf">Webサービス J2EE1.4 Grid </a> </li></ul></li><li>2002年度<ul><li>第5回 <a href="http://marulec.cloud-market.com/archive/2002/j2ee05.pdf">JavaとWebサービス</a></li><li>第4回 <a href="http://marulec.cloud-market.com/archive/2002/preview04.pdf">EJBとWebサービスの連携 </a> </li><li>第3回 <a href="http://marulec.cloud-market.com/archive/2002/j2ee03.pdf">Webコンポーネント Webサービス </a> </li><li>第2回 <a href="http://marulec.cloud-market.com/archive/2002/j2ee02.pdf">EJBとデータベース </a> </li><li>第1回 <a href="http://marulec.cloud-market.com/archive/2002/j2ee01.pdf">J2EE概要</a></li></ul></li></ul><hr /><p><a href="http://maruyama.cloud-market.com/"></a><a name="lecture"></a></p><ul><li><a name="lectureNote"><h2>Lecture Notes</h2></a><ul><a name="lectureNote"></a><li><a href="http://marulec.cloud-market.com/archive/summer04/wsrf.pdf">「Grid/WSRF とビジネスプロセスの統合」</a><ul><li>2004年度:サマースクール 「Grid/WSRF とビジネスプロセスの統合」テキスト ( <a href="http://marulec.cloud-market.com/archive/summer04/wsrf.pdf">pdf 3754KB </a>)</li></ul></li><li><a href="http://marulec.cloud-market.com/archive/summer03/grid.pdf">「Grid for Java 」</a><ul><li>2003年度:サマースクール 「Grid for Java」テキスト ( <a href="http://marulec.cloud-market.com/archive/summer03/grid.pdf">pdf 2844KB </a>)</li></ul></li><li><a href="http://marulec.cloud-market.com/archive/winter02/winter02.pdf">「Webサービスfor Java 入門 ---- SOAP-RPCからJAX-RPCへ----」</a><ul><li>2002年度:ウインタースクール 「Webサービスfor Java 入門」テキスト ( <a href="http://marulec.cloud-market.com/archive/winter02/winter02.pdf">pdf 1713KB </a>)</li></ul></li><li><a href="http://marulec.cloud-market.com/archive/summer02/rio.pdf">「Rio / JavaSpace 」</a><ul><li>2002年度:サマースクール 「Rio / JavaSpace セミナー」配布資料<br />(テキストとしては暫定版です) ( <a href="http://marulec.cloud-market.com/archive/summer02/rio.pdf">pdf 1854KB </a>)</li></ul></li><li><a href="http://marulec.cloud-market.com/archive/jxta/html/index.html">「P2P for Java /JXTA」</a><ul><li>2001年度:サマースクール 「P2P for Java /JXTA」テキスト ( <a href="http://marulec.cloud-market.com/archive/jxta/jxta.pdf">pdf 494KB </a>)</li></ul></li><li><a href="http://marulec.cloud-market.com/archive/j2ee/j2ee/index.html">「J2EE Seminar 2000 」</a><ul><li>1999年度:サマースクール 「Jini Seminar 1999」テキスト (<a href="http://marulec.cloud-market.com/archive/summer99/summer99.pdf"> pdf 636KB</a> )</li></ul></li><li><a href="http://marulec.cloud-market.com/archive/summer98/summer98.html">「Java Beans Seminar 1998 」</a><ul><li>1998年度:サマースクール 「Java Beans Seminar 1998」テキスト ( <a href="http://marulec.cloud-market.com/archive/summer98/summer98.pdf">pdf 625KB</a> )</li></ul></li><li><a href="http://marulec.cloud-market.com/archive/summer97/beansdoc/beans.html">「Java Beans と JDK1.1」</a><ul><li>1997年度:サマースクール 「Java BeansとJDK1.1 コース」テキスト</li></ul></li><li><a href="http://marulec.cloud-market.com/archive/JavaAppli/java.html">「応用Java Application」</a><ul><li>1996年度:サマースクール 「応用Java Application コース」テキスト</li></ul></li><li><a href="http://marulec.cloud-market.com/archive/W3serv/document/www2.html">「WWWサーバー管理」</a><ul><li>1995年度:UNIXサマースクール 「WWWサーバー管理コース」テキスト</li></ul></li><li><a href="http://marulec.cloud-market.com/archive/Super/Super.html">「UNIX システム管理入門 」</a><ul><li>1994年度:UNIXサマースクール 「Super Userコース」テキスト</li></ul></li><li><a href="http://marulec.cloud-market.com/archive/summer/1994/DB/DB.html">「UNIX データベース論 」</a><ul><li>1994年度:専攻科「データベース論」テキスト</li></ul></li></ul><br /><hr /><h3><a name="archive">丸山レクチャーシリーズ アルカイーブ</a></h3><a name="archive"></a><ul><a name="archive"></a><li><a name="archive">2008-2009年度</a><ul><a name="archive"></a><li><a name="archive">第6回 2009年4月24日</a><ul><a name="archive"></a><li><a href="http://marulec.cloud-market.com/archive/2008/CloudSOA.pdf">CloudとSOA </a> 稚内北星学園大学 丸山不二夫</li></ul></li></ul><ul><li>第5回 2009年4月24日<ul><li><a href="http://www.itmedia.co.jp/enterprise/pdf/pdf_19_1237773149.pdf">CloudとRich Client</a> 早稲田大学 丸山 不二夫</li><li><a href="http://stream.itmedia.co.jp/enterprise/pdf/pdf_21_1237773149.pdf">iPhoneとAndroidのUIについて </a>GCLUE 佐々木 陽</li><li><a href="http://javainthebox.net/publication/20090323marulec/marulec.html">JavaFX = Java + Effect </a>横河電機株式会社 櫻庭 祐一</li><li><a href="http://stream.itmedia.co.jp/enterprise/pdf/pdf_23_1237889520.pdf">Adobe Flash Platformで展開するRIA技術の紹介</a> アドビシステムズ株式会社 マーケティング本部 クリエイティブソリューション部 Webグループ 轟 啓介</li><li><a href="http://stream.itmedia.co.jp/enterprise/pdf/pdf_22_1237773149.pdf">Silverlight最新技術情報・業務アプリケーションへの適用とLive Mesh Enabled Application作成手法のご紹介</a> マイクロソフト株式会社 デベロッパー&プラットフォーム統括本部 アーキテクトエバンジェリスト 鈴木 章太郎</li></ul></li></ul><ul><li>第4回 2009年4月24日<ul><li><a href="http://stream.itmedia.co.jp/enterprise/pdf/pdf_16_1235461490.pdf">ScalabilityとAvailability</a> 早稲田大学 丸山 不二夫</li><li><a href="http://stream.itmedia.co.jp/enterprise/pdf/pdf_18_1235640678.pdf">企業におけるクラウドコンピューティングの活用</a> 日本アイ・ビー・エム株式会社 未来価値創造事業 クラウドコンピューティング事業推進 部長 三崎 文敬</li><li><a href="http://stream.itmedia.co.jp/enterprise/pdf/pdf_14_1235709300.pdf">クラウドコンピューティングに対する日立の取組み </a>株式会社日立製作所 情報・通信グループ 経営戦略室 Harmonious Computing統括部部長 石崎 健史</li><li><a href="http://stream.itmedia.co.jp/enterprise/pdf/pdf_15_1235709300.pdf">楽天ROMAについて</a> 楽天株式会社 楽天技術研究所 アソシエイト 西澤 無我</li></ul></li></ul><ul><li>第3回 2009年4月24日<ul><li><a href="http://stream.itmedia.co.jp/enterprise/pdf/pdf_13_1231755243.pdf">Cloud上の分散データベース ― BigTable、SimpleDB、Azure SDS ―</a> 早稲田大学 丸山 不二夫</li><li><a href="http://www.shudo.net/publications/cloud-scaleout-20081219/">scale outの技術</a> 東京工業大学 大学院情報理工学研究科 准教授 首藤 一幸</li><li><a href="http://stream.itmedia.co.jp/enterprise/pdf/pdf_12_1231480152.pdf">Azureによる可用性とスケーラビリティの実現 </a>マイクロソフト株式会社デベロッパー&プラットフォーム統括本部アーキテクト 萩原 正義</li><li><a href="http://www.itmedia.co.jp/enterprise/pdf/pdf_10_1231437358.pdf">Hadoopで行う大規模データ処理</a> 株式会社プリファードインフラストラクチャー CTO 太田 一樹 氏</li></ul></li></ul><ul><li>第2回 2009年4月24日<ul><li><a href="http://stream.itmedia.co.jp/enterprise/pdf/pdf_6_1229153758.pdf">MicrosoftのクラウドOS/Windows Azureについて</a> 早稲田大学 丸山 不二夫</li><li><a href="http://stream.itmedia.co.jp/enterprise/pdf/pdf_11_1231442053.mp3">クラウドコンピューティング最前線――現状、課題、展望 </a>日本アイ・ビー・エム株式会社 執行役員・ソフトウェア開発研究所長 岩野 和生</li><li><a href="http://stream.itmedia.co.jp/enterprise/pdf/pdf_9_1231272286.mp3">Google App Engine――Cloud Computingのキー </a>グーグル株式会社 デベロッパー アドボケイト 石原 直樹 グーグル株式会社 ソフトウェア・エンジニア 本多 正明</li><li><a href="http://stream.itmedia.co.jp/enterprise/pdf/pdf_7_1229393401.pdf">Cloud Computingを企業が利用する際の現実解をもたらすAkamaiのサービス</a> アカマイ株式会社 プロフェッショナル・サービス部 テクニカル・プロジェクト・マネージャー 竹洞 陽一郎</li></ul></li></ul><ul><li>第1回 2009年4月24日<ul><li><a href="http://stream.itmedia.co.jp/enterprise/pdf/pdf_3_1226530334.pdf">クラウド時代の到来</a> 早稲田大学 丸山 不二夫</li><li><a href="http://stream.itmedia.co.jp/enterprise/pdf/pdf_5_1226538767.pdf">クラウド時代のプラットフォームとSaaS </a>株式会社セールスフォース・ドットコム Force.comディベロッパープログラム/AppExchange スペシャリスト 岡本 充洋</li><li><a href="http://stream.itmedia.co.jp/enterprise/pdf/pdf_1_1226479752.pdf">グリッドとクラウドの最新標準化動向 </a>富士通研究所 ITシステム研究所 主席研究員 国立情報学研究所 客員教授 OGFボードメンバ、OGSA-WG共同議長 岸本 光弘</li><li><a href="http://stream.itmedia.co.jp/enterprise/pdf/pdf_2_1226487236.pdf">企業内クラウドの1つの形 - Oracle Coherence による統合データサービス </a>日本オラクル株式会社 製品戦略統括本部 シニアマネージャ 杉 達也</li></ul></li></ul><p></p></li><li>2007-2008年度<ul><li>第5回 2008年3月14日<ul><li><a href="http://marulec.cloud-market.com/archive/2007/20080314/20080314_4.pdf">Google Andoroidの世界 </a> 稚内北星学園大学 丸山不二夫</li><li><a href="http://marulec.cloud-market.com/archive/2007/20080314/20080314_2.pdf">".NET on the Web" -Silverlight による次世代のRich Interactive Application 開発 </a> マイクロソフト株式会社 デベロッパー&プラットフォーム統括本部 エバンジェリスト 鈴木章太郎</li><li><a href="http://marulec.cloud-market.com/archive/2007/20080314/20080314_1.pdf">Rich Internet Applicationは次のステージへ。 デスクトップ、サーバ環境を 「サービス化」する Adobe RIAテクノロジー </a> アドビシステムズ株式会社テクニカルエバンジェリスト 太田禎一</li><li><a href="http://marulec.cloud-market.com/archive/2007/20080314/20080314JavaFX.pdf">JavaFX 構造と手続きの狭間 </a> 横河電気 櫻庭祐一</li></ul></li></ul><ul><li>第4回 2008年2月18日<ul><li><a href="http://marulec.cloud-market.com/archive/2007/20080218/20080218_1.pdf">GlassfishとJbossのCluster/Cache技術 </a> 稚内北星学園大学 丸山不二夫 JBOSS 木村貴由</li><li><a href="http://marulec.cloud-market.com/archive/2007/20080218/20080218_1_1.pdf">JBossのクラスタ/キャッシュ技術 </a> Takayoshi Kimura JBoss, a division of Red Hat</li><li><a href="http://marulec.cloud-market.com/archive/2007/20080218/20080218_5.pdf">Trends and the Future of Enterprise Java </a>Floyd Marinescu CEO & co-founder, InfoQ.com</li><li><a href="http://marulec.cloud-market.com/archive/2007/20080218/20080218_3.pdf">分散インメモリデータグリッド「Oracle Coherence」</a> 日本オラクル株式会社テクノロジープロダクトSC本部テクノロジー 佐藤直生 </li><li><a href="http://marulec.cloud-market.com/archive/2007/20080218/20080218_2.pdf">WebSphere オブジェクト・グリッド </a> 日本アイ・ビー・エム IBM Distinguished Engineer 清水敏正</li></ul></li></ul><ul><li>第3回 2008年1月18日<ul><li><a href="http://marulec.cloud-market.com/archive/2007/20080118/20080305_1.pdf">SCA/Tuscanyの拡張メカニズム </a> 稚内北星学園大学 丸山不二夫</li><li><a href="http://marulec.cloud-market.com/archive/2007/20080118/20080118_1_1.pdf">SOAへの二つのアプローチ IT技術の適用と ビジネス・バリュー実現 という二つの視点</a> <a href="http://marulec.cloud-market.com/archive/2007/20080118%E3%80%80/20080118_1_6.pdf">(縮小版) </a> 稚内北星学園大学 丸山不二夫</li><li><a href="http://marulec.cloud-market.com/archive/2007/20080118/20080305_shimizu.pdf">SOA/SCAと粒度の考察 </a> 日本アイ・ビー・エム IBM Distinguished Engineer 清水敏正</li><li><a href="http://marulec.cloud-market.com/archive/2007/20080118/20080215_SCA_Handon_v2.pdf">SCA開発の実際 </a> 日本オラクル株式会社 テクノロジープロダクトSC本部 佐藤直生</li><li><a href="http://marulec.cloud-market.com/archive/2007/20080118/20080130_SCA.pdf">SCA最新情報 </a> 日本アイ・ビー・エム(株) 澤出達郎</li><li><a href="http://marulec.cloud-market.com/archive/2007/20080118/20080118_2_1.pdf">メッセージ指向による システム開発の変化の兆し ~遍在するメッセージ指向~ </a> <a href="http://marulec.cloud-market.com/archive/2007/20080118/20080118_2_6.pdf">(縮小版)</a> 稚内北星大学東京サテライト校 客員准教授 鈴木雄介 河村嘉之</li><li><a href="http://marulec.cloud-market.com/archive/2007/20080118/20080305_2.pdf">Windows Communication Foundation 相互運用性の概要 </a> マイクロソフト株式会社 萩原正義</li></ul></li></ul><ul><li>第2回 2007年12月18日<ul><li><a href="http://marulec.cloud-market.com/archive/2007/20071218/20071218_1.pdf">JAX-RSとWADL ---JavaEEとRESTfulWebService</a> 稚内北星学園大学 丸山不二夫</li><li><a href="http://marulec.cloud-market.com/archive/2007/20071218/20071218_4.pdf">Salesforceのアーキテクチャと 「サービスとしてのプラットフォーム」 の実際</a> 株式会社セールスフォース・ドットコムデベロッパネットワークスペシャリスト 冨田慎一</li><li><a href="http://marulec.cloud-market.com/archive/2007/20071218/20071218_3.pdf">Ruby on Rails2.0におけるREST対応</a> よういちろう</li><li><a href="http://marulec.cloud-market.com/archive/2007/20071218/20071218_2.pdf">Project Zero</a> 須江信洋(日本IBM) 小出理史(日本IBMシステムズ・エンジニアリング)</li></ul></li></ul><ul><li>第1回 2007年11月6日<ul><li><a href="http://marulec.cloud-market.com/archive/2007/20071106/20071106_1.pdf">Googleの分散処理技術</a> <a href="http://marulec.cloud-market.com/archive/2007/20071106/20071106_6.pdf">(縮小版)</a> 稚内北星学園大学 丸山不二夫</li></ul></li></ul><p></p></li><li>2006年度<ul><li>第5回 2006年3月13日<ul><li><a href="http://marulec.cloud-market.com/archive/2006/20070313/20070313_4.pdf">古くて新しいNGNとJavaの接点 </a>稚内北星学園大学 丸山不二夫</li><li><a href="http://marulec.cloud-market.com/archive/2006/20070313/20070313_3.pdf">オープンな世界におけるVoIP(Voice over IP)とWebの関係 </a>SIPropプロジェクト 代表 今村謙之</li><li><a href="http://marulec.cloud-market.com/archive/2006/20070313/20070313_1.pdf">jigletによる携帯電話アプリケーション全キャリア同時開発実現の技術背景と可能性 Copyright (C) 2007 jig.jp co.,ltd. All rights reserved. jigletによる携帯電話アプリケーション 全キャリア同時開発実現の技術背景と可能性 ~らくらく携帯アプリづくり~ </a>株式会社jig.jp(ジグジェイピー) 代表取締役社長CEO 福野泰介</li></ul></li></ul><ul><li>第4回 2006年2月16日<ul><li><a href="http://marulec.cloud-market.com/archive/2006/20070216/20070216_4.pdf">Cloud Google File System とAmazon S3/EC2 </a>稚内北星学園大学 丸山不二夫</li><li><a href="http://marulec.cloud-market.com/archive/2006/20070216/20070216_3.pdf">SOAでの可変性を考慮した アーキテクチャ設計</a>マイクロソフト株式会社 Software Architect 萩原正義</li><li><a href="http://marulec.cloud-market.com/archive/2006/20070216/20070216_2.pdf">Project Tangoで本格化する .NET/Java Webサービス相互運用 </a>岡崎 隆之 ソフトウエア・ビジネス統括本部 Javaエバンジェリスト</li><li><a href="http://marulec.cloud-market.com/archive/2006/20070216/20070216_1.pdf">Service Component Architecture </a>日本オラクル株式会社 システム製品統括本部Fusion Middleware技術部 SOAグループテクノロジーエバンジェリスト 佐藤直生</li></ul></li></ul><ul><li>第3回 2006年1月12日<ul><li><a href="http://marulec.cloud-market.com/archive/2006/20070112/20070112_1.pdf">Web2.0と新しいネットワーク・メディア </a> 稚内北星学園大学 丸山不二夫</li><li><a href="http://marulec.cloud-market.com/archive/2006/20070112/20070112_2.pdf">動的言語の世界 </a> まつもと ゆきひろ</li><li><a href="http://marulec.cloud-market.com/archive/2006/20070112/20070112_3.pdf">Windows LiveとVista 「ガジェット」がもたらす新しい サービス機会の提供 </a>マイクロソフト株式会社 オンラインサービス事業部 プロダクトマネージメントグループ 安藤浩二</li></ul></li></ul><ul><li>第2回 2006年12月15日<ul><li><a href="http://marulec.cloud-market.com/archive/2006/20061215/20061215_4.pdf">JavaへのClosureの導入について </a> 稚内北星学園大学 丸山不二夫</li><li><a href="http://marulec.cloud-market.com/archive/2006/20061215/20061215_3.pdf">混ぜるな危険!? JavaとLLをマッシュアップせよ </a>鈴木雄介 ITアーキテクト</li><li><a href="http://marulec.cloud-market.com/archive/2006/20061215/20061215_2.pdf">Java とスクリプトの 微妙な関係... </a> 横河電機 稚内北星学園大学東京サテライト校 櫻庭 祐一</li><li><a href="http://marulec.cloud-market.com/archive/2006/20061215/20061215_1.pdf">MAMEZOU The solution beyond the solution. システム開発パラダイムの変化</a> 株式会社豆蔵 萩本順三</li></ul></li></ul><ul><li>第1回 2006年11月20日<ul><li><a href="http://marulec.cloud-market.com/archive/2006/20061120/20061120_1.pdf">WS-ResourceTransfer Webサービスは「状態」をどのように扱うか? </a> 稚内北星学園大学 丸山不二夫</li><li><a href="http://marulec.cloud-market.com/archive/2006/20061120/20061120_3.pdf">Stateless / Stateful の 視点で眺める JBoss Seam とRuby on Rails </a> 日本総研ソリューションズ 技術本部Java/.NET 技術クラスター 橋本吉治</li><li><a href="http://marulec.cloud-market.com/archive/2006/20061120/20061120_2.pdf">Relaxer5 DSLを軸とした エンタープライズアプリケーション開発 </a> 稚内北星学園大学 東京サテライト校 浅海智晴</li></ul></li></ul><p></p></li><li>2005年度<ul><li>第5回 2006年3月17日<ul><li><a href="http://marulec.cloud-market.com/archive/2005/20060317/20060317_4.pdf">SOAとコンポーネント技術 ---SCA入門--- </a> 稚内北星学園大学 丸山不二夫</li><li><a href="http://marulec.cloud-market.com/archive/2005/20060317/20060317_3.pdf">Configuration files must Die!!!-Dependency Injection made easy </a> Yasuo Higa The SeasarFoundation/Chief Committer</li><li><a href="http://marulec.cloud-market.com/archive/2005/20060317/20060317_2.pdf">アスペクト指向「な」 ソフトウェア開発 </a> 千葉 滋</li><li><a href="http://marulec.cloud-market.com/archive/2005/20060317/20060317_1.pdf">ビジネスからSOASOAへ</a> 稚内北星学園大学 細川努</li></ul></li></ul><ul><li>第4回 2006年2月17日<ul><li><a href="http://marulec.cloud-market.com/archive/2005/20060217/20060217_4.pdf">JAXBとJAX-WS </a> 稚内北星学園大学 丸山不二夫</li><li><a href="http://marulec.cloud-market.com/archive/2005/20060217/20060217_2.pdf">Java SE の進化から見た、 Java の未来 </a> 横河電機 櫻庭 祐一 1</li><li><a href="http://marulec.cloud-market.com/archive/2005/20060217/20060217_1.pdf"></a></li></ul></li></ul><ul><li>第3回 2006年1月20日<ul><li><a href="http://marulec.cloud-market.com/archive/2005/20060120/20060120_4.pdf">SOA技術とGrid</a> 稚内北星学園大学 丸山不二夫</li><li><a href="http://marulec.cloud-market.com/archive/2005/20060120/20060120_3.pdf">“仮想化サービス:SOAとGRID”</a> 関口智嗣 グリッド研究センター(秋葉原&つくば) 産業技術総合研究所</li><li><a href="http://marulec.cloud-market.com/archive/2005/20060120/20060120_2.pdf">導入に向けて静かに動き出したSOA </a> NEC 岸上信彦</li><li><a href="http://marulec.cloud-market.com/archive/2005/20060120/20060120_1.pdf">企業システム設計の 工学的アプローチ </a> マイクロソフト株式会社 Software ArchitectSoftware Architect 萩原 正義</li></ul></li></ul><ul><li>第2回 2005年12月9日<ul><li><a href="http://marulec.cloud-market.com/archive/2005/20051209/20051209_1.pdf">JBIとServiceMIX </a> 稚内北星学園大学 丸山不二夫</li><li><a href="http://marulec.cloud-market.com/archive/2005/20051209/20051209_4.pdf">ポスト・オブジェクト指向時代 における ソフトウェア開発の展望 </a> 稚内北星学園大学 東京サテライト校 浅海智晴</li><li><a href="http://marulec.cloud-market.com/archive/2005/20051209/20051209_3.pdf">SOAの実装に不可欠な ESBの機能を学ぶ </a> 日本BEAシステムズ株式会社 デベロッパマーケティング 佐々木政和</li><li><a href="http://marulec.cloud-market.com/archive/2005/20051209/20051209_2.pdf">SOAが目指す近未来のIT環境 </a> 日本アイ・ビー・エム株式会社 ソフトウェアー事業SOAエバンジェリスト 技術理事IT-アーキテクト 長島哲也</li></ul></li></ul><ul><li>第1回 2005年11月8日<ul><li><a href="http://marulec.cloud-market.com/archive/2005/20051108/No1SOA_1up.pdf">SOAとは何かを考える </a> <a href="http://marulec.cloud-market.com/archive/2005/20051108/No1SOA_6up.pdf">(縮小版) </a> 稚内北星学園大学 丸山不二夫</li><li><a href="http://marulec.cloud-market.com/archive/2005/20051108/JMAR001-05.pdf">定時退社のためにJava</a> 川口耕介 Sun Microsystems, Inc</li><li><a href="http://marulec.cloud-market.com/archive/2005/20051108/JMAR001-04.pdf">Using AJAX with JavaServer Faces</a> Yutaka Yoshida Sun Microsystems</li><li><a href="http://marulec.cloud-market.com/archive/2005/20051108/JMAR001-03.pdf">Enterprise JavaBeans 3.0 </a> Linda DeMichiel EJB 3.0 Specification Lead Sun Microsystems</li><li><a href="http://marulec.cloud-market.com/archive/2005/20051108/JMAR001-02.pdf">Composite Application Development Using JBI</a>Mark Hapner Distinguished Engineer Sun Microsystems</li></ul></li></ul><p></p></li><li>2004年度<ul><li>第5回 2005年4月8日<ul><li><a href="http://marulec.cloud-market.com/archive/2004/20050408/JBI20050408_1.pdf">J2EEとSOAの近未来 J2EE6.0のコア技術としての JBI(Java Business Integration)</a> 稚内北星学園大学 丸山不二夫</li><li><a href="http://marulec.cloud-market.com/archive/2004/20050408/XML20050408_1.pdf">XMLドリブン開発 -- XMLを軸としたCBD(Component-Based Development)の勧め -- </a> 稚内北星学園大学 東京サテライト校 浅海 智晴</li><li><a href="http://marulec.cloud-market.com/archive/2004/20050408/EJB20050408_1.pdf">来年のEJB(Enterprise JavaBeans) - APIの簡素化と永続性の改善に焦点を当てる- </a> 日本電気株式会社 Java/.NET技術センター岸上信彦</li></ul></li></ul><ul><li>第4回 2005年3月9日<ul><li><a href="http://marulec.cloud-market.com/archive/2004/20050309/annotation_2.pdf">Annotationプログラミング入門 </a> 稚内北星学園大学 丸山不二夫</li><li><a href="http://marulec.cloud-market.com/archive/2004/20050309/LindaSeminar.pdf">Enterprise JavaBeans 3.0 </a> Linda DeMichiel EJB 3.0 Specification Lead Senior Staff Engineer Sun Microsystems</li></ul></li></ul><ul><li>第3回 2005年1月28日<ul><li><a href="http://marulec.cloud-market.com/archive/2004/20050128/bpel0501.ppt">SOAの中核技術としてのBPEL</a> 稚内北星学園大学 丸山不二夫</li><li><a href="http://marulec.cloud-market.com/archive/2004/20050128/S2JSF0128_1.pdf">S2JSF プレゼンテーション層の革命 </a>ひがやすを 電通国際情報サービス</li><li><a href="http://marulec.cloud-market.com/archive/2004/20050128/chiba.pdf">サーバサイド AOP </a> 東工大 千葉滋</li></ul></li></ul><ul><li>第2回 2004年12月24日<ul><li><a href="http://marulec.cloud-market.com/archive/2004/20041224/wsrf.pdf">GridとSOAをつなぐもの --- WSRFとNotification ---</a> 稚内北星学園大学 丸山不二夫</li><li><a href="http://marulec.cloud-market.com/archive/2004/20041224/maruyama-lecture-041224.pdf">研究グリッドの取り組みの最前線 </a> 東京工業大学 学術国際情報センタ(GSIC) / 国立情報学研究所(客員) 教授 松岡 聡</li><li><a href="http://marulec.cloud-market.com/archive/2004/20041224/LG3D-041224-short-6up.pdf">Introducttiion to Projectt Looking Glass </a>Hideya Kawahara</li><li><a href="http://marulec.cloud-market.com/archive/2004/20041224/lg3d-041224.pdf">Looking Glassパネル</a>川原英哉 安藤幸央 首藤一幸 櫻庭祐一</li><li><a href="http://marulec.cloud-market.com/archive/2004/20041224/Beyond-LG3D-20041221.pdf">Beyond-LG3D-20041221</a></li></ul></li></ul><ul><li>第1回 2004年11月30日<ul><li><a href="http://marulec.cloud-market.com/archive/2004/20041130/ejb3meta.pdf">EJB3.0とメタ・プログラミング </a> 稚内北星学園大学 丸山不二夫 </li><li><a href="http://marulec.cloud-market.com/archive/2004/20041130/PathToSuccessJava_YutaYoshida.pdf">The Path To The Success J2EE最新事情</a> 吉田豊</li><li><a href="http://marulec.cloud-market.com/archive/2004/20041130/J2EE_roadmap.pdf">J2EE ロードマップ </a> 石原直樹</li><li><a href="http://marulec.cloud-market.com/archive/2004/20041130/EJB3.pdf">J2EE 批判の諸相 軽量コンテナV.S.J2EE5.0</a> (株)日本総合研究所 細川 努</li></ul></li></ul><p></p></li><li>2003年度<ul><li>第5回 2004年2月18日<ul><li><a href="http://marulec.cloud-market.com/archive/2003/20040218/standard.pdf">Webサービスの標準化と Gridの標準化 WS-Resource Frameworkの提案 </a> 稚内北星学園大学 丸山不二夫</li><li><a href="http://marulec.cloud-market.com/archive/2003/20040218/wsrf.pdf">GlobusWorld2004 とWS-Resource Framework の提案 </a> 稚内北星学園大学 丸山不二夫</li><li><a href="http://marulec.cloud-market.com/archive/2003/20040218/panel.pdf">GGFにおける標準化の状況 - OGSA-WGを中心に- </a> GGF OGSA-WG共同議長 富士通研究所グリッド&バイオ研究部 岸本光弘</li><li><a href="http://marulec.cloud-market.com/archive/2003/20040218/20040218_maruyama_panel_seki2.pdf">パネルディスカッション 「グリッドビジネスと標準化」 </a>日本アイ・ビー・エム(株) グリッド・ビジネス事業部 技術理事、関孝則</li></ul></li></ul><ul><li>第4回 2004年1月14日<ul><li><a href="http://marulec.cloud-market.com/archive/2003/20040114/ServiceData_Notify.pdf">OGSIグリッド・プログラミング入門 --- Service Data と Notification ---</a> 稚内北星学園大学 丸山不二夫</li><li><a href="http://marulec.cloud-market.com/archive/2003/20040114/p2p-titech.pdf">P2PコンピューティングとJXTA </a> 佐藤三久 筑波大学</li><li><a href="http://marulec.cloud-market.com/archive/2003/20040114/Grid-itoh.pdf">グリッドの現状と将来 - 研究動向を中心に -</a> 伊藤 智、関口智嗣 産業技術総合研究所 グリッド研究センター</li><li><a href="http://marulec.cloud-market.com/archive/2003/20040114/20040114_grid_4_bus_ibm_6in1.pdf">グリッドのビジネス分野への 応用可能性</a> 日本アイ・ビー・エム(株) グリッド・ビジネス事業部 技術理事、関孝則</li></ul></li></ul><ul><li>第3回 2003年12月18日<ul><li><a href="http://marulec.cloud-market.com/archive/2003/OgsaOgsi.pdf">GridとWebサービス --- OGSA/OGSI --- </a> 稚内北星学園大学 丸山不二夫</li><li><a href="http://marulec.cloud-market.com/archive/2003/ogsa_02.pdf">Webサービスからグリッドへ ーOGSAは何を目指す?ー </a> NEC、古城隆</li><li><a href="http://marulec.cloud-market.com/archive/2003/maruyama-lecture-nakada.pdf">Globus Toolkit 2 と Globus Toolkit 3</a>産業技術総合研究所グリッド研究センター 東京工業大学学術国際情報センター 中田秀基</li></ul></li></ul><ul><li>第2回 2003年11月21日<ul><li><a href="http://marulec.cloud-market.com/archive/2003/maru02_cl.pdf">J2EE1.4と Webサービスのコンテナー技術 --- Hosting Environment --- </a> 稚内北星学園大学 丸山不二夫</li><li><a href="http://marulec.cloud-market.com/archive/2003/grid_nec_02.pdf">グリッドにおけるセキュリティ標準化の動向 </a> 古城 隆 NEC</li><li><a href="http://marulec.cloud-market.com/archive/2003/j2ee_02.pdf">J2EE 最新動向 - J2EE1.4 から J2EE1.5 - </a>Naoki Ishihara Technical Marketing Specialist Sun Microsystems, Inc.</li></ul></li></ul><ul><li>第1回 2003年10月17日<ul><li><a href="http://marulec.cloud-market.com/archive/2003/20031017/WS-I_GWSDL.pdf">Webサービス J2EE1.4 Grid </a> 稚内北星学園大学 丸山不二夫</li><li><a href="http://marulec.cloud-market.com/archive/2003/20031017/public.pdf">サービスのフェデレーション</a> 日本IBM東京基礎研究所 国立情報学研究所 浦本直彦</li><li><a href="http://marulec.cloud-market.com/archive/2003/20031017/jxta.pdf">JXTAの動向 </a>石原晋也 NTT未来ねっと研究所 武本充治 NTTネットワークサービスシステム研究所</li></ul></li></ul><p></p></li><li>2002年度<ul><li>第5回 2002年9月18日<ul><li><a href="http://marulec.cloud-market.com/archive/2002/j2ee05.pdf">JavaとWebサービス </a> 稚内北星学園大学 丸山不二夫</li></ul></li><li>第4回 2002年7月12日<ul><li><a href="http://marulec.cloud-market.com/archive/2002/preview04.pdf">EJBとWebサービスの連携 </a> 稚内北星学園大学 丸山不二夫</li></ul></li></ul><ul><li>第3回 2002年6月17日<ul><li><a href="http://marulec.cloud-market.com/archive/2002/j2ee03.pdf">Webコンポーネント Webサービス </a> 稚内北星学園大学 丸山不二夫</li></ul></li></ul><ul><li>第2回 2002年5月13日<ul><li><a href="http://marulec.cloud-market.com/archive/2002/j2ee02.pdf">EJBとデータベース </a> 稚内北星学園大学 丸山不二夫</li></ul></li></ul><ul><li>第1回 2002年4月14日<ul><li><a href="http://marulec.cloud-market.com/archive/2002/j2ee01.pdf">J2EE概要 </a>稚内北星学園大学 丸山不二夫</li></ul> </li></ul></li></ul></li></ul>maruyama097http://www.blogger.com/profile/10852791116417405282noreply@blogger.com0tag:blogger.com,1999:blog-633957148720976943.post-40874752491366153402024-01-25T19:08:00.000+09:002024-01-25T19:08:53.320+09:00copresheaf-意味論の射程<div>【 こんな理論が何の役に立つのか? 】</div><div><br /></div><div>このセッションが、週末のセミナーに向けた最後のセッションになります。</div><div>簡単に、セミナー第二部のまとめをしたいと思います。</div><div><br /></div><div>ここでは、このセミナーで紹介したような理論が、現実的・実践的にどのような役に立つのかという話をしようと思います。</div><div><br /></div><div>それは、現在の大規模言語モデルの到達点をどうとらえるのかということと結びついています。僕は、大規模言語モデルは、さらに発展するだろうと考えています。では、どういうふうにそれは発展していくのでしょうか?</div><div><br /></div><div>【 ここまでで見てきたこと 】</div><div><br /></div><div><div>ここまで見てきたこと、すなわち、SyntaxカテゴリーからSemantic カテゴリーの構成は、大規模言語モデルの次のような数学的モデルを構築できたということです。</div><div><br /></div><div>「何の構造もないように見える具合的なテキスト・データから、その表現の継続の確率分布を大量に学習することによって、大規模言語モデルは内部に意味の世界を構築している。」</div></div><div><br /></div><div>【 重要なのは、copresheaf-意味論 】</div><div><br /></div><div><div>この数学的言語モデルには、重要なポイントがあります。</div><div>それは、言語の意味が住む世界を、[0,1]-copresheaf として、明確に定義したことです。</div><div><br /></div><div>我々は、言語の文法構造については、いろいろ知ることができます。しかし、意味の世界がどのような構造をしているかについては、必ずしも明確な概念を持っているわけではありません。</div><div><br /></div><div>しかし、大規模言語モデルが内部に構築する意味の世界を、 [0,1]-copresheaf としてとらえることは、意味へのアプローチを大きく変えるものです。</div></div><div><br /></div><div>【 copresheaf-意味論の含意 】</div><div><br /></div><div><div>もし、意味が [0,1]-copresheaf で表現されるのなら、さまざまな意味の構成には、カテゴリー論的操作が対応しているということができます。</div><div><br /></div><div>Part 2 で見た、論理的概念「red and blue」「red or blue」にカテゴリー論的な product と coproduct に対応づけたのは、その一例です。</div><div><br /></div><div>もっともPart 2での議論は、productもcoproductも、未だenrich化されていませんでした。論理的概念「AND」と「OR」を[0,1]-copresheaf で表現するためには、 productもcoproductも、enrich化されなければなりません。</div></div><div><br /></div><div><div>今回のセミナーでは論文を最後まで紹介できませんでした。</div><div><br /></div><div>実は、論文はその後半部分で、「OR]という概念の構成を可能とするcoproduct のenrich化、「AND]という概念の構成を可能とするproduct enrich化を行っています。</div><div><br /></div><div>この方向でのこの論文の重要な成果は、「implies」という論理的含意の概念が、𝐿 ̂のinternal-hom [ℎ^𝑥,ℎ^𝑦 ]であることを示したことです。</div><div><br /></div><div> 含意 𝑥 ⟹ y (xならばy)は、</div><div> copresheaf [ℎ^𝑥,ℎ^𝑦 ]:𝐿→[0,1]と定義できる。</div></div><div><br /></div><div>【 copresheaf-意味論のvariant [0,∞]-𝑐𝑜𝑝𝑟𝑒𝑠ℎ𝑒𝑎𝑓 】</div><div><br /></div><div>この論文は、単位区間[0,1]でenrich化するcopresheaf-意味論のvariantとして、[0,∞]区間でenrich化するcopresheaf-意味論も紹介されています。それは言語を一般的な計量空間と考えるものです。表現 redは、[0,∞]-𝑐𝑜𝑝𝑟𝑒𝑠ℎ𝑒𝑎𝑓 𝑑_𝑀 (𝑟𝑒𝑑,−) とみなされます。</div><div><br /></div><div>redと継続しそうもない表現はredから離れた場所に、継続しそうな表現は、redの近くに置かれます。</div><div><br /></div><div>【 copresheaf-意味論は「出発点」 】</div><div><br /></div><div><div>意味の世界の構造を探る糸口は掴めたのですが、我々は、大規模言語モデルが学習した意味の世界でさえも、実は、よく理解できているわけではありません。</div><div><br /></div><div>ただ、意味の情報は [0,1]-copreshef カテゴリーに蓄えられていることを理解し、この情報に カテゴリー論的操作がどのように作用するかを理解することは、近未来のさまざまの具体的で魅力的な応用に道を開きます。</div><div><br /></div><div>論文の” 6.1. Applications and future directions”には、興味深い方向が示されています。</div><div>copresheaf-意味論はAI研究の新しい「出発点」なのです。</div></div><div><br /></div><div>--------------------------------</div><div><div><br /></div><div>セミナーへのお申し込みはこちら:<a href="https://llm-math2.peatix.com/">https://llm-math2.peatix.com/</a></div><div><br /></div></div><div>ショートムービー「 copresheaf-意味論の射程」を公開しました。<br /></div><div><span style="color: #0000ee;"><u>https://youtu.be/aiPHTX-u_KI?list=PLQIrJ0f9gMcPmrJ3B0LEXJ_SHPP-ak_hw</u></span></div><div><span style="color: #0000ee;"><u><br /></u></span></div><div>「 copresheaf-意味論の射程 」のpdf資料<br /><span style="color: #0000ee;"><u>https://drive.google.com/file/d/1EMveXx-VBnpESKEPF2t0URjlwyqQkCcV/view?usp=sharing</u></span></div><div><span style="color: #0000ee;"><u><br /></u></span></div><div>blog 「 こんな理論が何の役に立つのか? 」<div><div><span style="color: #0000ee;"><u>https://maruyama097.blogspot.com/2024/01/copresheaf.html</u></span></div></div></div><div><br /></div><div>「大規模言語モデルの数学的構造 II」まとめページ<br /><span style="color: #0000ee;"><u>https://www.marulabo.net/docs/llm-math2/</u></span></div><div><br /></div><div>ショートムービーの再生リスト<br /><span style="color: #0000ee;"><u>https://www.youtube.com/playlist?list=PLQIrJ0f9gMcPmrJ3B0LEXJ_SHPP-ak_hw</u></span></div>maruyama097http://www.blogger.com/profile/10852791116417405282noreply@blogger.com0tag:blogger.com,1999:blog-633957148720976943.post-26164087888593661342024-01-24T08:45:00.000+09:002024-01-24T08:45:55.037+09:00Semantic category<div>【 enrich化されたcopresheaf として意味をとらえる 】</div><div><br /></div><div>このセッションでは、意味のカテゴリーsemantic を構成します。第一部と同様に、ここでも意味はcopresheaf として定義されます。ただしそのenrich版として。</div><div><br /></div><div>第一部から継承された意味のcopresheafとしての解釈は、Tai−Danaeらのカテゴリー論的言語理論を特徴づける重要なものです。</div><div><br /></div><div>【 なぜ、copresheaf なのか? 】</div><div><br /></div><div>ここでは、まず、少し一般的な視点から、copresheaf(それは、関数の集合です)を使うことのメリットを考えておきましょう。</div><div><br /></div><div><div>数学的対象Xの性質がよく分からないけど、数学的対象Yの性質・構造はよくわかっているとしましょう。</div><div><br /></div><div>そうした時、 Xはそうでなくても、XからYへの関数の集合{X→Y}を考えると、それがはっきりした構造を持つことがよくあります。例えば、任意の集合上の実数値関数はベクトル空間を形成します。</div></div><div><br /></div><div>【 単位区間 [0,1] とC上のcopresheaf [0,1]^𝐶 】</div><div><br /></div><div><div>単位区間[0,1]は、カテゴリー理論の観点から見ると豊かな構造を持っています。それは closed commutative monoidal であり,complete で cocompleteです。</div><div><br /></div><div>単位区間[0, 1]でenrich化された任意のカテゴリーCに対して、Cから単位区間へのfunctor 𝐶→[0,1]のカテゴリーとして、C上のcopresheaf [0,1]^𝐶 を考えます。</div><div><br /></div><div>このcopresheaf は、単位区間[0,1]の豊かな構造を継承します。それは、単位区間[0,1] と同様に、product, coproduct, internal hom のenrich化されたバージョンを持っています。</div><div><br /></div><div>補題 2 は、任意の [0,1]-category Cは、豊かな構造を持つ [0,1]-category copresheaf [0,1]^𝐶 に埋め込まれることを示しています。</div></div><div><br /></div><div>【 Semantic category 】</div><div><br /></div><div><div>LをSyntax category とした時、Semantic category を、[0,1]^𝐿 と定義します。 </div><div><br /></div><div>Semantic category 𝐿 ̂は、[0,1]-categoryである L 上で [0,1]でenrich化されたcopresheaf の[0,1]-categoryです。</div></div><div><br /></div><div>【 表現 x の意味 】</div><div><br /></div><div>Lのオブジェクトであるすべての表現xについて、xで表現可能なcopresheaf ℎ^𝑥≔𝐿(𝑥,−)を 表現xを拡張する条件付き確率として定義します。</div><div><br /></div><div><div>表現xの意味を、xで表現可能なenrich化されたcopresheaf h^𝑥≔𝐿(𝑥,−) であると考えることができます。</div></div><div><br /></div><div><div>ℎ^𝑥は、xを含むすべての可能な表現上で定義されます。このことは、あるテキストの意味は、そのテキストを含みうる可能なすべてのコンテキストによって、可能的には変化しうることを意味することになります。</div><div><br /></div><div>補題 2の埋め込みは、テキストxをその意味ℎ^𝑥に割り当てます。</div></div><div><br /></div><div><br /></div><div>--------------------------------</div><div><div><br /></div><div>セミナーへのお申し込みはこちら:<a href="https://llm-math2.peatix.com/">https://llm-math2.peatix.com/</a></div><div><br /></div></div><div>ショートムービー「 Semantic category 」を公開しました。<br /></div><div><span style="color: #0000ee;"><u>https://youtu.be/3aRqX_YXALA?list=PLQIrJ0f9gMcPmrJ3B0LEXJ_SHPP-ak_hw</u></span></div><div><span style="color: #0000ee;"><u><br /></u></span></div><div>「 Semantic category 」のpdf資料<br /><span style="color: #0000ee;"><u>https://drive.google.com/file/d/1Dux4JOVNKnlwRWWgOgy1XCpaycyGhBai/view?usp=sharing</u></span></div><div><span style="color: #0000ee;"><u><br /></u></span></div><div>blog 「 enrich化されたcopresheaf として意味をとらえる 」<div><div><span style="color: #0000ee;"><u>https://maruyama097.blogspot.com/2024/01/semantic-category.html</u></span></div></div></div><div><br /></div><div>「大規模言語モデルの数学的構造 II」まとめページ<br /><span style="color: #0000ee;"><u>https://www.marulabo.net/docs/llm-math2/</u></span></div><div><br /></div><div>ショートムービーの再生リスト<br /><span style="color: #0000ee;"><u>https://www.youtube.com/playlist?list=PLQIrJ0f9gMcPmrJ3B0LEXJ_SHPP-ak_hw</u></span></div>maruyama097http://www.blogger.com/profile/10852791116417405282noreply@blogger.com0tag:blogger.com,1999:blog-633957148720976943.post-15873137789604280122024-01-23T16:38:00.000+09:002024-01-23T16:38:58.541+09:00copresheaf [0,1]^𝐿 とYoneda Lemma <div>【 言語理論へのenrich化されたカテゴリー理論導入の意味 】</div><div><br /></div><div>週末のセミナーに向けて、そろそろまとめを始めようと思います。</div><div><br /></div><div>大規模言語モデル(LLM)の成功が、数学的言語理論にどのような刺激を与えたかを、いくつか振り返ってみようと思います。それは「不思議」なことを発見した驚きに近い感覚だと思います。</div><div><br /></div><div> ● LLMは、一見すると何の構造も持たないように見える自然言語のデータから、何かを学習する。その学習では、自然言語が文法構造を持つことは前提されていない。LLMは大量のデータから文法構造も学習できるように見える。</div><div><br /></div><div> ● LLMが学習する「何か」の中には、意味の理解が含まれているように見える。ただ、その「意味」はどのように表現され、「意味の理解」はどう行われているのだろうか? </div><div><br /></div><div> ● LLMは、表現の「連続」が可能である。それは、いくらでも長いコンテンツを生成できるように見える。こうした能力はLLMの母胎である「翻訳モデル」には無い能力だ。</div><div><br /></div><div> ● LLMの「意味の分散表現」は、LLMのメカニズムやこうしたLLMの能力とどのように関係しているのだろうか?</div><div><br /></div><div> ● ...</div><div><br /></div><div>まだまだ不思議なことはあるように思います。</div><div><br /></div><div>昨年末に開催した、セミナーの第一部で紹介した、Tai−Danae らのカテゴリー論を枠組みとした理論 −− 言語をpreorderのカテゴリーとして捉える + copresheaf 意味論 + Yoneda embeddingによる言語と意味の対応づけ −− は、斬新なアプローチでこうした疑問の一部に答えるものでした。</div><div><br /></div><div>ただ、これらはいわば「代数的」な性格のものでした。そこには、言語現象の重要な特質と思われる「確率論」的な性格が欠けていました。</div><div><br /></div><div>今回のセミナー第二部で紹介するDai−Tanae らの新しい理論は、enriched category 論を使って、言語の数学的構造の理論を、代数と確率論の両者が交わるところで構成しようとしたものです。</div><div><br /></div><div>まず、言語のカテゴリーLをpreorderから、射が[0,1]に値を取るものに変えることから始めます。(これを、「Lを[0,1]j上にenrich化する」と言います。)</div><div><br /></div><div>今回のセッションの内容は、主要に、第一部の理論の骨組みが、enrich化可能であることを示そうとしたものです。次のように。</div><div><br /></div><div> ● Cを[0,1]上でenrich化されたカテゴリーとする。この時、copresheaf 𝐶 ̂≔[0,1]^𝐶も [0,1]上でenrich化されたカテゴリーとなる。(copresheafもenrich化可能である。)</div><div><br /></div><div><div> ● Cを[0,1]-category とする。この時、Cのすべてのオブジェクト x について、関数</div><div>ℎ^𝑥≔𝐶(𝑥,−)は、[0,1]-functor となる。(第一部でよく利用された𝐶(𝑥,−) の概念も、enrich化できる。)</div></div><div><br /></div><div> ● [0,1]-category Cのすべてのオブジェクトxと、すべての[0,1]-copresheaf 𝑓:𝐶→[0,1]について、次が成り立つ。 𝐶 ̂(ℎ^𝑥,𝑓)=𝑓(𝑥) 。(enrich化されたYoneda lemma )</div><div><br /></div><div><br /></div><div>--------------------------------</div><div><div><br /></div><div>セミナーへのお申し込みはこちら:<a href="https://llm-math2.peatix.com/">https://llm-math2.peatix.com/</a></div><div><br /></div></div><div>ショートムービー「 copresheaf [0,1]^𝐿 とYoneda Lemma 」を公開しました。<br /></div><div><span style="color: #0000ee;"><u>https://youtu.be/Cc_Gz7vV-KQ?list=PLQIrJ0f9gMcPmrJ3B0LEXJ_SHPP-ak_hw</u></span></div><div><span style="color: #0000ee;"><u><br /></u></span></div><div>「 copresheaf [0,1]^𝐿 とYoneda Lemma 」のpdf資料<span style="color: #0000ee;"><u>https://drive.google.com/file/d/1DiyWSocew67_oIwlmCNzziVZ1INgcvgM/view?usp=sharing</u></span></div><div><span style="color: #0000ee;"><u><br /></u></span></div><div>blog 「 言語理論へのenrich化されたカテゴリー理論導入の意味 」<div><div><span style="color: #0000ee;"><u>https://maruyama097.blogspot.com/2024/01/copresheaf-01-yoneda-lemma.html</u></span></div></div></div><div><br /></div><div>「大規模言語モデルの数学的構造 II」まとめページ<br /><span style="color: #0000ee;"><u>https://www.marulabo.net/docs/llm-math2/</u></span></div><div><br /></div><div>ショートムービーの再生リスト<br /><span style="color: #0000ee;"><u>https://www.youtube.com/playlist?list=PLQIrJ0f9gMcPmrJ3B0LEXJ_SHPP-ak_hw</u></span></div>maruyama097http://www.blogger.com/profile/10852791116417405282noreply@blogger.com0tag:blogger.com,1999:blog-633957148720976943.post-46096436653324024082024-01-22T17:52:00.000+09:002024-01-22T17:52:30.843+09:00enriched functor と enriched copresheaf <p>【 functor category をenrich化する 】</p><p>このセッションの目的は、カテゴリー C からカテゴリーDへのfunctor 𝐶→𝐷 であるcopresheaf 𝐷^𝐶のenrich版を構成することです。</p><p>まず、functorの定義を振り返りながら、enrich化されたfunctorを定義します。</p><p>ここでは、次のような定義が与えられます。</p><p>「CとDを、あるcommutative monoidal preorder (V, ⊗, ≤, 1)上でenrich化されたカテゴリーとする。この時、Cのすべてのオブジェクト 𝑥,𝑦について<br /> 𝐶(𝑥,𝑦) ≤ 𝐷(𝑓𝑥,𝑓𝑦)<br />を満たす関数 𝑓: 𝐶 → 𝐷 を enriched functorと呼ぶ。」</p><p>ここで、C(x,y), D(x',y')は、enriched category のhomオブジェクトです。</p><p>次に、functorカテゴリーの定義とcopresheafの定義を振り返りながら、enrich化されたcopresheafの定義を考えていきます。</p><p>Vがclosed commutative monoidal preorder の時、Vは自分自身でenrich化されたカテゴリーになります。先の定義で見た、enrich化されたfunctor f: C → 𝐷 で𝐷 = 𝑉とした enrich化されたfunctor 𝐶 → 𝑉を考えます。</p><div><div>「Cを、closed commutative monoidal preorder V上でenrich化されたカテゴリーとする。enrich化されたcopresheaf 𝑉^𝐶は、Cのすべてのオブジェクト𝑥,𝑦について<br /> 𝐶(𝑥, 𝑦) ≤ 𝑉(𝑓𝑥, 𝑓𝑦)<br />を満たす関数で定義される。」</div></div><div><br /></div><div>この条件式は、先に見たenriched functor の条件式で、𝐷 = 𝑉としたものに他なりません。</div><div><div><br /></div><div>通常のカテゴリーでは、カテゴリー間の写像が functor category を定義するように、</div><div>enrich化されたカテゴリーでは、enrich化されたカテゴリー間の写像が、enrich化されたfunctor category を定義します。</div></div><div><br /></div><div><br /></div><div><br /></div><div>--------------------------------</div><div><div>セミナーへのお申し込みはこちら:<a href="https://llm-math2.peatix.com/">https://llm-math2.peatix.com/</a></div><div><br /></div></div><div>ショートムービー「 enriched functor と enriched copresheaf 」を公開しました。<br /></div><div><span style="color: #0000ee;"><u>https://youtu.be/izFbqt5mHpM?list=PLQIrJ0f9gMcPmrJ3B0LEXJ_SHPP-ak_hw</u></span></div><div><span style="color: #0000ee;"><u><br /></u></span></div><div>「enriched functor と enriched copresheaf 」のpdf資料<br /><span style="color: #0000ee;"><u>https://drive.google.com/file/d/1D3Yu-sYy_GOIWxgty0715NQFbi5yF7o_/view?usp=sharing</u></span></div><div><span style="color: #0000ee;"><u><br /></u></span></div><div>blog 「 functor category をenrich化する 」<div><div><span style="color: #0000ee;"><u>https://maruyama097.blogspot.com/2024/01/enriched-functor-enriched-copresheaf.html</u></span></div></div></div><div><br /></div><div>「大規模言語モデルの数学的構造 II」まとめページ<br /><span style="color: #0000ee;"><u>https://www.marulabo.net/docs/llm-math2/</u></span></div><div><br /></div><div>ショートムービーの再生リスト<br /><span style="color: #0000ee;"><u>https://www.youtube.com/playlist?list=PLQIrJ0f9gMcPmrJ3B0LEXJ_SHPP-ak_hw</u></span></div>maruyama097http://www.blogger.com/profile/10852791116417405282noreply@blogger.com0tag:blogger.com,1999:blog-633957148720976943.post-16726834544537296942024-01-21T18:26:00.001+09:002024-01-22T16:21:19.200+09:00Syntax category −− enriched category論の言語理論への応用 <p>【 この投稿はわかりやすいかも知れない 】</p><p>このセッションから、新しい内容に入ります。</p><p>前回まで、enriched category とはどういうものなのか、その概略を見てきたのですが、このセッションから、このenriched category論を言語理論へどのように応用するのかという話をしたいと思っています。</p><p>今回はその一回めで、言語のカテゴリーに確率を導入します。それは、単なるpreorderという構造しか持たなかった言語のカテゴリーを、[0,1]でenrich化して、[0,1]−categoryにしようということです。</p><p>このカテゴリーを、Syntax categoryと呼ぶことにします。</p><p>( 難しい言い方をすれば、単位区間[0,1]は、closed commutative monoidal preorder で、enrich化する能力を持ち、この[0,1]で enrich化されたカテゴリーを、[0,1]−categoryと呼びます。Syntax categoryは、言語の表現をオブジェクトにする、[0,1]−categoryなのです。)</p><p><br />【 すこしわかりやすいかも 】</p><p>ただ、今回の投稿は、少しわかりやすいのではと思っています。</p><p>なぜなら、この投稿では数学的定義や証明はほとんど出てきませんし、何よりも、こうした言語のカテゴリーと大規模言語モデルの関係が主要に語られているからです。</p><p>なぜ、面倒なカテゴリー論の枠組みを使うのか? それは、そうした数学的枠組みが、大規模言語モデルのある意味不思議な特徴を、よりよく捉えているからです。そこが出発点です。</p><p>ここで述べていることは、大規模言語モデルの振る舞いを実際に知っている人には、覚えのあることで、わかりやすいと思いますが、それは大事なことなのです。</p><p>数学的な議論だけを追いかけていると、大事な「原点」を見失うこともあります。その意味では、今回の投稿を「原点」を確認するのに使ってもらえたらと思っています。<br /><br /></p><p>【 Lの射 L(x,y)とその値 】</p><p>[0,1]でenrich化されたSyntax category Lでは、その射L(x,y)は、𝜋(𝑦|𝑥)で定義されています。ここで、 𝜋(𝑦|𝑥)は、表現 yが表現 x の拡大である確率です。</p><p>例をいくつか挙げましょう。</p><p> 𝐿(𝑟𝑒𝑑,𝑟𝑒𝑑 𝑓𝑖𝑟𝑒𝑡𝑟𝑢𝑐𝑘) = 0.02<br /> 𝐿(𝑟𝑒𝑑,𝑟𝑒𝑑 𝑖𝑑𝑒𝑎) = 10^(−5)<br /> 𝐿(𝑟𝑒𝑑,𝑏𝑙𝑢𝑒 𝑠𝑘𝑦) = 0</p><p><br />【 短い表現の場合 】</p><p>短い表現については、こうした確率を、大規模言語モデルが学習できることは明らかだと思います。実際、Transformer のSelf Attention は、そういう働きをします。</p><p>同時に、ここで得られた確率の情報は、言語の文法についての情報を与えます。Tai-Danaeらが、もはやpreorderのカテゴリーではないこのカテゴリーを、”Syntax category”と呼ぶのは、その為だと思います。</p><p><br />【 長い表現の場合 】</p><p>表現x,yの関係がもはや「文法的」関係とは言えない、長い表現x,yの場合に、大規模言語モデルは、確率𝐿(𝑥,𝑦) を学習できるでしょうか?</p><p>実際の例をあげましょう。表現 y=“I am going to the store to buy a can of” の後ろに”cat food” が連続して、x=“I am going to the store to buy a can of cat food” となる確率L(x,y) を、大規模言語モデルは評価出来るのです。</p><p>それは、「翻訳モデル」にはなかった「大規模言語モデル」の大きな特徴です。この能力は、主要に”Next Sentence Prediction”を通じた学習によって支えられていると思います。</p><p><br />【 次に行うこと 】</p><p>言語のSyntaxカテゴリーのenrich化はできら。次は、Semanticsのenrich化です。</p><p>第一部のcopresheafで意味を表現するという道を踏襲するのなら、 enrich化された言語のSyntaxカテゴリー Lから、L上のcopresheafのenrich化に進むことになります。</p><p>その為には、次のような準備が必要になります。<br /> ・functorのenrich化<br /> ・copresheafのenrich化<br /> ・natural transformationのenrich化</p><p>また、少し面倒そうな議論に入ります。</p><p>ただ、それも大規模言語モデルが、言語の意味を理解しているという大きな不思議を理解するための挑戦なのです。</p><p>もう少し、お付き合いをお願いします。<br /><br /></p><p>--------------------------------</p><div><div>セミナーへのお申し込みはこちら:<a href="https://llm-math2.peatix.com/">https://llm-math2.peatix.com/</a> </div><div><br /></div></div><div>ショートムービー「 Syntax category −− enriched category論の言語理論への応用 」を公開しました。<br /></div><div><span style="color: #0000ee;"><u>https://youtu.be/9CrTwUyZ4EU?list=PLQIrJ0f9gMcPmrJ3B0LEXJ_SHPP-ak_hw</u></span></div><div><span style="color: #0000ee;"><u><br /></u></span></div><div>「Syntax category −− enriched category論の言語理論への応用 」のpdf資料<span style="color: #0000ee;"><u>https://drive.google.com/file/d/1CkXraIES-WwUyuIrjFlhxtBlO1Q5zszh/view?usp=sharing</u></span></div><div><span style="color: #0000ee;"><u><br /></u></span></div><div>blog 「 この投稿はわかりやすいかも知れない 」<div><div><span style="color: #0000ee;"><u>https://maruyama097.blogspot.com/2024/01/syntax-category-enriched-category.html</u></span></div></div></div><div><br /></div><div>「大規模言語モデルの数学的構造 II」まとめページ<br /><span style="color: #0000ee;"><u>https://www.marulabo.net/docs/llm-math2/</u></span></div><div><br /></div><div>ショートムービーの再生リスト<br /><span style="color: #0000ee;"><u>https://www.youtube.com/playlist?list=PLQIrJ0f9gMcPmrJ3B0LEXJ_SHPP-ak_hw</u></span></div>maruyama097http://www.blogger.com/profile/10852791116417405282noreply@blogger.com0tag:blogger.com,1999:blog-633957148720976943.post-54228536134849535822024-01-21T02:10:00.001+09:002024-01-21T22:54:16.712+09:001/27 マルレク 「大規模言語モデルの数学的構造 II 」受付開始<p>【 1/27 マルレク 「大規模言語モデルの数学的構造 II 」受付開始 】</p><p><span style="background-color: white;"><mark class="has-inline-color has-vivid-red-color">申し込みはこちら:</mark><mark class="has-inline-color has-luminous-vivid-orange-color"><a href="https://llm-math2.peatix.com/">https://llm-math2.peatix.com/</a></mark></span></p><p>先月12月30日のセミナー、「大規模言語モデルの数学的構造 I -- 言語へのカテゴリー論的アプローチ入門 」に、多くの人に関心を持っていただいて、ありがとうございました。</p><p>1月27日、セミナーの第二部を「大規模言語モデルの数学的構造 II -- enriched categoryによる言語モデル」というタイトルで開催します。</p><p>この連続セミナーは、大規模言語モデルの振る舞いをもっと詳しく知りたいという人を対象にしています。</p><p>この連続セミナーは、大規模言語モデルの「不思議な振る舞い」に対して、カテゴリー論に依拠して全く新しい視点からのアプローチを展開したTai-Danae Bradleyらの論文 "An enriched category theory of language: from syntax to semantics" の紹介しようとしたものです。</p><p>先月のセミナーの第一部は、この論文の基本的特徴である言語理論へのカテゴリー論アプローチの基礎を解説したものでした。</p><div><div>今回のセミナーでは、第一部では取り上げていなかった、先の論文の主題である、enriched category を用いたsyntaxからsemanticsにいたる言語理論の紹介をしようと思います。この第二部から、いよいよ、連続セミナーの本題に入ることになります。</div></div><div><div><br /></div><div>遅くなりましたが、セミナーへの申し込み受付を開始しました。あらためて、多くの人のセミナー第二部への参加をお願いしたいと思います。</div></div><div><br /></div><div>今回のセミナーは、次のような構成をしています。</div><div><br /></div><div><ul class="ez-toc-list ez-toc-list-level-1" style="background: 0px 0px rgb(249, 249, 249); box-sizing: border-box; counter-reset: item 0; line-height: 1.6; list-style: none; margin: 0px; overflow: hidden; padding: 0px; text-align: left; z-index: 1;"><li class="ez-toc-page-1 ez-toc-heading-level-2" style="background: 0px 0px; box-sizing: border-box; line-height: 1.6; list-style: none; margin: 0px; overflow: hidden; padding: 0px; z-index: 1;">Part I 第一部のふりかえり<ul class="ez-toc-list-level-3" style="background: 0px 0px; box-sizing: border-box; counter-reset: item 0; line-height: 1.6; list-style: none; margin: 0px 0px 0px 1.5em; overflow: hidden; padding: 0px; z-index: 1;"><li class="ez-toc-heading-level-3" style="background: 0px 0px; box-sizing: border-box; color: #333333; font-family: Lato, "Noto Sans JP", "ヒラギノ角ゴ ProN", "Hiragino Kaku Gothic ProN", メイリオ, Meiryo, "MS Pゴシック", "MS PGothic", sans-serif; font-size: 14.44px; line-height: 1.6; list-style: none; margin: 0px; overflow: hidden; padding: 0px; z-index: 1;">・<a class="ez-toc-link ez-toc-heading-3" href="https://www.marulabo.net/docs/llm-math2/#%E8%A8%80%E8%AA%9E%E3%81%AE%E3%82%AB%E3%83%86%E3%82%B4%E3%83%AA%E3%83%BC_L%E3%82%92%E3%80%81preorder_category_%E3%81%A8%E3%81%97%E3%81%A6%E6%8D%89%E3%81%88%E3%82%8B" style="align-items: stretch; box-shadow: none; box-sizing: border-box; color: #444444; display: inline-flex; flex-wrap: nowrap; text-decoration-line: none; text-shadow: none; text-underline-offset: 2px;" title="言語のカテゴリー Lを、preorder category として捉える">言語のカテゴリー Lを、preorder category として捉える</a></li><li class="ez-toc-page-1 ez-toc-heading-level-3" style="background: 0px 0px; box-sizing: border-box; color: #333333; font-family: Lato, "Noto Sans JP", "ヒラギノ角ゴ ProN", "Hiragino Kaku Gothic ProN", メイリオ, Meiryo, "MS Pゴシック", "MS PGothic", sans-serif; font-size: 14.44px; line-height: 1.6; list-style: none; margin: 0px; overflow: hidden; padding: 0px; z-index: 1;">・<a class="ez-toc-link ez-toc-heading-4" href="https://www.marulabo.net/docs/llm-math2/#%E8%A1%A8%E7%8F%BE_S%E3%81%AE%E3%80%8C%E6%84%8F%E5%91%B3%E3%80%8D%E3%82%92%E3%80%81%E3%82%AB%E3%83%86%E3%82%B4%E3%83%AA%E3%83%BC_L_%E5%86%85%E3%81%AE_S_%E2%86%92_T_%E3%81%AA%E3%82%8B%E5%B0%84%E5%85%A8%E4%BD%93%E3%81%AE%E9%9B%86%E5%90%88%E3%81%A8%E8%80%83%E3%81%88%E3%82%8B" style="align-items: stretch; box-shadow: none; box-sizing: border-box; color: #444444; display: inline-flex; flex-wrap: nowrap; text-decoration-line: none; text-shadow: none; text-underline-offset: 2px;" title="表現 Sの「意味」を、カテゴリー L 内の S → T なる射全体の集合と考える">表現 Sの「意味」を、カテゴリー L 内の S → T なる射全体の集合と考える</a></li><li class="ez-toc-page-1 ez-toc-heading-level-3" style="background: 0px 0px; box-sizing: border-box; color: #333333; font-family: Lato, "Noto Sans JP", "ヒラギノ角ゴ ProN", "Hiragino Kaku Gothic ProN", メイリオ, Meiryo, "MS Pゴシック", "MS PGothic", sans-serif; font-size: 14.44px; line-height: 1.6; list-style: none; margin: 0px; overflow: hidden; padding: 0px; z-index: 1;">・<a class="ez-toc-link ez-toc-heading-5" href="https://www.marulabo.net/docs/llm-math2/#%E6%84%8F%E5%91%B3%E3%81%AE%E3%82%AB%E3%83%86%E3%82%B4%E3%83%AA%E3%83%BC%E3%81%AF%E3%80%81copresheaf%E3%80%80_SetL_%E3%81%A7%E8%A1%A8%E7%8F%BE%E3%81%95%E3%82%8C%E3%82%8B" style="align-items: stretch; box-shadow: none; box-sizing: border-box; color: #444444; display: inline-flex; flex-wrap: nowrap; text-decoration-line: none; text-shadow: none; text-underline-offset: 2px;" title="意味のカテゴリーは、copresheaf \( Set^L\) で表現される">意味のカテゴリーは、copresheaf <span class="MathJax_Preview" style="box-sizing: border-box; color: #888888; display: contents;"></span><span class="MathJax" id="MathJax-Element-1-Frame" style="border: 0px; box-sizing: border-box; direction: ltr; display: inline; float: none; line-height: normal; margin: 0px; max-height: none; max-width: none; min-height: 0px; min-width: 0px; overflow-wrap: normal; padding: 0px; text-wrap: nowrap; word-spacing: normal;" tabindex="0"><nobr style="border: 0px; box-sizing: border-box; line-height: normal; margin: 0px; max-height: none; max-width: none; min-height: 0px; min-width: 0px; padding: 0px; transition: none 0s ease 0s; vertical-align: 0px;"><span class="math" id="MathJax-Span-1" style="border: 0px; box-sizing: content-box; display: inline-block; line-height: normal; margin: 0px; padding: 0px; position: static; transition: none 0s ease 0s; vertical-align: 0px; width: 2.422em;"><span style="border: 0px; box-sizing: content-box; display: inline-block; font-size: 18.1944px; height: 0px; line-height: normal; margin: 0px; padding: 0px; position: relative; transition: none 0s ease 0s; vertical-align: 0px; width: 1.927em;"><span style="border: 0px; box-sizing: content-box; clip: rect(1.542em, 1001.93em, 2.697em, -999.997em); left: 0em; line-height: normal; margin: 0px; padding: 0px; position: absolute; top: -2.527em; transition: none 0s ease 0s; vertical-align: 0px;"><span class="mrow" id="MathJax-Span-2" style="border: 0px; box-sizing: content-box; display: inline; line-height: normal; margin: 0px; padding: 0px; position: static; transition: none 0s ease 0s; vertical-align: 0px;"><span class="mi" id="MathJax-Span-3" style="border: 0px; box-sizing: content-box; display: inline; font-family: STIXGeneral-Italic; line-height: normal; margin: 0px; padding: 0px; position: static; transition: none 0s ease 0s; vertical-align: 0px;">𝑆<span style="border: 0px; box-sizing: content-box; display: inline-block; height: 1px; line-height: normal; margin: 0px; overflow: hidden; padding: 0px; position: static; transition: none 0s ease 0s; vertical-align: 0px; width: 0.058em;"></span></span><span class="mi" id="MathJax-Span-4" style="border: 0px; box-sizing: content-box; display: inline; font-family: STIXGeneral-Italic; line-height: normal; margin: 0px; padding: 0px; position: static; transition: none 0s ease 0s; vertical-align: 0px;">𝑒</span><span class="msubsup" id="MathJax-Span-5" style="border: 0px; box-sizing: content-box; display: inline; line-height: normal; margin: 0px; padding: 0px; position: static; transition: none 0s ease 0s; vertical-align: 0px;"><span style="border: 0px; box-sizing: content-box; display: inline-block; height: 0px; line-height: normal; margin: 0px; padding: 0px; position: relative; transition: none 0s ease 0s; vertical-align: 0px; width: 0.883em;"><span style="border: 0px; box-sizing: content-box; clip: rect(3.302em, 1000.28em, 4.182em, -999.997em); left: 0em; line-height: normal; margin: 0px; padding: 0px; position: absolute; top: -4.011em; transition: none 0s ease 0s; vertical-align: 0px;"><span class="mi" id="MathJax-Span-6" style="border: 0px; box-sizing: content-box; display: inline; font-family: STIXGeneral-Italic; line-height: normal; margin: 0px; padding: 0px; position: static; transition: none 0s ease 0s; vertical-align: 0px;">𝑡</span><span style="border: 0px; box-sizing: content-box; display: inline-block; height: 4.017em; line-height: normal; margin: 0px; padding: 0px; position: static; transition: none 0s ease 0s; vertical-align: 0px; width: 0px;"></span></span><span style="border: 0px; box-sizing: content-box; left: 0.333em; line-height: normal; margin: 0px; padding: 0px; position: absolute; top: -4.396em; transition: none 0s ease 0s; vertical-align: 0px;"><span class="mi" id="MathJax-Span-7" style="border: 0px; box-sizing: content-box; display: inline; font-family: STIXGeneral-Italic; font-size: 12.8634px; line-height: normal; margin: 0px; padding: 0px; position: static; transition: none 0s ease 0s; vertical-align: 0px;">𝐿</span><span style="border: 0px; box-sizing: content-box; display: inline-block; height: 4.017em; line-height: normal; margin: 0px; padding: 0px; position: static; transition: none 0s ease 0s; vertical-align: 0px; width: 0px;"></span></span></span></span></span><span style="border: 0px; box-sizing: content-box; display: inline-block; height: 2.532em; line-height: normal; margin: 0px; padding: 0px; position: static; transition: none 0s ease 0s; vertical-align: 0px; width: 0px;"></span></span></span><span style="border-bottom-style: initial; border-color: initial; border-image: initial; border-left-style: solid; border-right-style: initial; border-top-style: initial; border-width: 0px; box-sizing: content-box; display: inline-block; height: 1.181em; line-height: normal; margin: 0px; overflow: hidden; padding: 0px; position: static; transition: none 0s ease 0s; vertical-align: -0.066em; width: 0px;"></span></span></nobr></span>で表現される</a></li><li class="ez-toc-page-1 ez-toc-heading-level-3" style="background: 0px 0px; box-sizing: border-box; color: #333333; font-family: Lato, "Noto Sans JP", "ヒラギノ角ゴ ProN", "Hiragino Kaku Gothic ProN", メイリオ, Meiryo, "MS Pゴシック", "MS PGothic", sans-serif; font-size: 14.44px; line-height: 1.6; list-style: none; margin: 0px; overflow: hidden; padding: 0px; z-index: 1;">・<a class="ez-toc-link ez-toc-heading-6" href="https://www.marulabo.net/docs/llm-math2/#%E8%A8%80%E8%AA%9E%E3%81%AE%E3%82%AB%E3%83%86%E3%82%B4%E3%83%AA%E3%83%BC%E3%81%A8%E6%84%8F%E5%91%B3%E3%81%AE%E3%82%AB%E3%83%86%E3%82%B4%E3%83%AA%E3%83%BC%E3%81%AE%E5%AF%BE%E5%BF%9C%E3%81%AF%E3%80%81Yoneda_Embedding%E3%81%A7%E4%B8%8E%E3%81%88%E3%82%89%E3%82%8C%E3%82%8B" style="align-items: stretch; box-shadow: none; box-sizing: border-box; color: #444444; display: inline-flex; flex-wrap: nowrap; text-decoration-line: none; text-shadow: none; text-underline-offset: 2px;" title="言語のカテゴリーと意味のカテゴリーの対応は、Yoneda Embeddingで与えられる">言語のカテゴリーと意味のカテゴリーの対応は、Yoneda Embeddingで与えられる</a></li><li class="ez-toc-page-1 ez-toc-heading-level-3" style="background: 0px 0px; box-sizing: border-box; line-height: 1.6; list-style: none; margin: 0px; overflow: hidden; padding: 0px; z-index: 1;"><span face="Lato, Noto Sans JP, ヒラギノ角ゴ ProN, Hiragino Kaku Gothic ProN, メイリオ, Meiryo, MS Pゴシック, MS PGothic, sans-serif" style="color: #333333;"><span style="font-size: 14.44px;">・言語のカテゴリーに確率を導入する </span></span></li><li class="ez-toc-page-1 ez-toc-heading-level-3" style="background: 0px 0px; box-sizing: border-box; line-height: 1.6; list-style: none; margin: 0px; overflow: hidden; padding: 0px; z-index: 1;"><span face="Lato, Noto Sans JP, ヒラギノ角ゴ ProN, Hiragino Kaku Gothic ProN, メイリオ, Meiryo, MS Pゴシック, MS PGothic, sans-serif" style="color: #333333;"><span style="font-size: 14.44px;"><br /></span></span></li></ul></li><li>Part 2 <a class="ez-toc-link ez-toc-heading-7" href="https://www.marulabo.net/docs/llm-math2/#%E8%A8%80%E8%AA%9E%E3%81%AE%E8%AB%96%E7%90%86%E6%80%A7%E3%81%A8%E6%84%8F%E5%91%B3%E3%81%AE%E3%83%A2%E3%83%87%E3%83%AB%E3%81%A8%E3%81%97%E3%81%A6%E3%81%AEcopresheaf" style="align-items: stretch; background-color: initial; box-shadow: none; box-sizing: border-box; color: #444444; display: inline-flex; flex-wrap: nowrap; font-family: Lato, "Noto Sans JP", "ヒラギノ角ゴ ProN", "Hiragino Kaku Gothic ProN", メイリオ, Meiryo, "MS Pゴシック", "MS PGothic", sans-serif; font-size: 15.2px; text-decoration-line: none; text-shadow: none; text-underline-offset: 2px;" title="言語の論理性と意味のモデルとしてのcopresheaf">言語の論理性と意味のモデルとしてのcopresheaf</a></li><li class="ez-toc-page-1 ez-toc-heading-level-2" style="background: 0px 0px; box-sizing: border-box; color: #333333; font-family: Lato, "Noto Sans JP", "ヒラギノ角ゴ ProN", "Hiragino Kaku Gothic ProN", メイリオ, Meiryo, "MS Pゴシック", "MS PGothic", sans-serif; font-size: 15.2px; line-height: 1.6; list-style: none; margin: 0px; overflow: hidden; padding: 0px; z-index: 1;"><ul class="ez-toc-list-level-3" style="background: 0px 0px; box-sizing: border-box; counter-reset: item 0; line-height: 1.6; list-style: none; margin: 0px 0px 0px 1.5em; overflow: hidden; padding: 0px; z-index: 1;"><li class="ez-toc-heading-level-3" style="background: 0px 0px; box-sizing: border-box; font-size: 14.44px; line-height: 1.6; list-style: none; margin: 0px; overflow: hidden; padding: 0px; z-index: 1;">・<a class="ez-toc-link ez-toc-heading-8" href="https://www.marulabo.net/docs/llm-math2/#%E6%84%8F%E5%91%B3%E3%81%AE%E3%82%AB%E3%83%86%E3%82%B4%E3%83%AA%E3%83%BC_copresheaf_%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6" style="align-items: stretch; box-shadow: none; box-sizing: border-box; color: #444444; display: inline-flex; flex-wrap: nowrap; text-decoration-line: none; text-shadow: none; text-underline-offset: 2px;" title="意味のカテゴリー copresheaf について">意味のカテゴリー copresheaf について</a></li><li class="ez-toc-page-1 ez-toc-heading-level-3" style="background: 0px 0px; box-sizing: border-box; font-size: 14.44px; line-height: 1.6; list-style: none; margin: 0px; overflow: hidden; padding: 0px; z-index: 1;">・<a class="ez-toc-link ez-toc-heading-9" href="https://www.marulabo.net/docs/llm-math2/#red_or_blue_%E3%81%AE%E6%84%8F%E5%91%B3%E3%82%92%E8%80%83%E3%81%88%E3%82%8B" style="align-items: stretch; box-shadow: none; box-sizing: border-box; color: #444444; display: inline-flex; flex-wrap: nowrap; text-decoration-line: none; text-shadow: none; text-underline-offset: 2px;" title="“red or blue” の意味を考える">“red or blue” の意味を考える</a></li><li class="ez-toc-page-1 ez-toc-heading-level-3" style="background: 0px 0px; box-sizing: border-box; font-size: 14.44px; line-height: 1.6; list-style: none; margin: 0px; overflow: hidden; padding: 0px; z-index: 1;">・<a class="ez-toc-link ez-toc-heading-10" href="https://www.marulabo.net/docs/llm-math2/#red_and_blue_%E3%81%AE%E6%84%8F%E5%91%B3%E3%82%92%E8%80%83%E3%81%88%E3%82%8B" style="align-items: stretch; box-shadow: none; box-sizing: border-box; color: #444444; display: inline-flex; flex-wrap: nowrap; text-decoration-line: none; text-shadow: none; text-underline-offset: 2px;" title="“red and blue” の意味を考える">“red and blue” の意味を考える</a></li><li class="ez-toc-page-1 ez-toc-heading-level-3" style="background: 0px 0px; box-sizing: border-box; font-size: 14.44px; line-height: 1.6; list-style: none; margin: 0px; overflow: hidden; padding: 0px; z-index: 1;"><br /></li></ul></li><li class="ez-toc-page-1 ez-toc-heading-level-2" style="background: 0px 0px; box-sizing: border-box; color: #333333; font-family: Lato, "Noto Sans JP", "ヒラギノ角ゴ ProN", "Hiragino Kaku Gothic ProN", メイリオ, Meiryo, "MS Pゴシック", "MS PGothic", sans-serif; font-size: 15.2px; line-height: 1.6; list-style: none; margin: 0px; overflow: hidden; padding: 0px; z-index: 1;">Part 3 <a class="ez-toc-link ez-toc-heading-11" href="https://www.marulabo.net/docs/llm-math2/#enriched_category%E8%AB%96_%E5%85%A5%E9%96%80" style="align-items: stretch; box-shadow: none; box-sizing: border-box; color: #444444; display: inline-flex; flex-wrap: nowrap; text-decoration-line: none; text-shadow: none; text-underline-offset: 2px;" title="enriched category論 入門">enriched category論 入門</a><ul class="ez-toc-list-level-3" style="background: 0px 0px; box-sizing: border-box; counter-reset: item 0; line-height: 1.6; list-style: none; margin: 0px 0px 0px 1.5em; overflow: hidden; padding: 0px; z-index: 1;"><li class="ez-toc-heading-level-3" style="background: 0px 0px; box-sizing: border-box; font-size: 14.44px; line-height: 1.6; list-style: none; margin: 0px; overflow: hidden; padding: 0px; z-index: 1;">・<a class="ez-toc-link ez-toc-heading-12" href="https://www.marulabo.net/docs/llm-math2/#%E8%A8%80%E8%AA%9E%E3%81%AE%E3%82%AB%E3%83%86%E3%82%B4%E3%83%AA%E3%83%BC%E3%81%AB%E7%A2%BA%E7%8E%87%E3%82%92%E5%B0%8E%E5%85%A5%E3%81%99%E3%82%8B" style="align-items: stretch; box-shadow: none; box-sizing: border-box; color: #444444; display: inline-flex; flex-wrap: nowrap; text-decoration-line: none; text-shadow: none; text-underline-offset: 2px;" title="言語のカテゴリーに確率を導入する">言語のカテゴリーに確率を導入する</a></li><li class="ez-toc-page-1 ez-toc-heading-level-3" style="background: 0px 0px; box-sizing: border-box; font-size: 14.44px; line-height: 1.6; list-style: none; margin: 0px; overflow: hidden; padding: 0px; z-index: 1;">・<a class="ez-toc-link ez-toc-heading-13" href="https://www.marulabo.net/docs/llm-math2/#enriched_category_%E3%81%A8%E3%81%AF%E4%BD%95%E3%81%8B" style="align-items: stretch; box-shadow: none; box-sizing: border-box; color: #444444; display: inline-flex; flex-wrap: nowrap; text-decoration-line: none; text-shadow: none; text-underline-offset: 2px;" title="enriched category とは何か ?">enriched category とは何か ?</a></li><li class="ez-toc-page-1 ez-toc-heading-level-3" style="background: 0px 0px; box-sizing: border-box; font-size: 14.44px; line-height: 1.6; list-style: none; margin: 0px; overflow: hidden; padding: 0px; z-index: 1;">・<a class="ez-toc-link ez-toc-heading-14" href="https://www.marulabo.net/docs/llm-math2/#enrich%E4%BB%A5%E5%89%8D%E3%81%AE%E3%82%AB%E3%83%86%E3%82%B4%E3%83%AA%E3%83%BC%E3%81%A8enrich%E5%8C%96%E3%81%95%E3%82%8C%E3%81%9F%E3%82%AB%E3%83%86%E3%82%B4%E3%83%AA%E3%83%BC%E3%82%92%E6%AF%94%E8%BC%83%E3%81%99%E3%82%8B" style="align-items: stretch; box-shadow: none; box-sizing: border-box; color: #444444; display: inline-flex; flex-wrap: nowrap; text-decoration-line: none; text-shadow: none; text-underline-offset: 2px;" title="enrich以前のカテゴリーとenrich化されたカテゴリーを比較する">enrich以前のカテゴリーとenrich化されたカテゴリーを比較する</a></li><li class="ez-toc-page-1 ez-toc-heading-level-3" style="background: 0px 0px; box-sizing: border-box; font-size: 14.44px; line-height: 1.6; list-style: none; margin: 0px; overflow: hidden; padding: 0px; z-index: 1;">・<a class="ez-toc-link ez-toc-heading-15" href="https://www.marulabo.net/docs/llm-math2/#commutative_monoidal_preorder" style="align-items: stretch; box-shadow: none; box-sizing: border-box; color: #444444; display: inline-flex; flex-wrap: nowrap; text-decoration-line: none; text-shadow: none; text-underline-offset: 2px;" title="commutative monoidal preorder">commutative monoidal preorder</a></li><li class="ez-toc-page-1 ez-toc-heading-level-3" style="background: 0px 0px; box-sizing: border-box; font-size: 14.44px; line-height: 1.6; list-style: none; margin: 0px; overflow: hidden; padding: 0px; z-index: 1;">・<a class="ez-toc-link ez-toc-heading-16" href="https://www.marulabo.net/docs/llm-math2/#closed_commutative_monoidal_preorder_%E3%81%A8internal_hom" style="align-items: stretch; box-shadow: none; box-sizing: border-box; color: #444444; display: inline-flex; flex-wrap: nowrap; text-decoration-line: none; text-shadow: none; text-underline-offset: 2px;" title="closed commutative monoidal preorder とinternal hom">closed commutative monoidal preorder とinternal hom</a></li><li class="ez-toc-page-1 ez-toc-heading-level-3" style="background: 0px 0px; box-sizing: border-box; font-size: 14.44px; line-height: 1.6; list-style: none; margin: 0px; overflow: hidden; padding: 0px; z-index: 1;"><br /></li></ul></li><li class="ez-toc-page-1 ez-toc-heading-level-2" style="background: 0px 0px; box-sizing: border-box; color: #333333; font-family: Lato, "Noto Sans JP", "ヒラギノ角ゴ ProN", "Hiragino Kaku Gothic ProN", メイリオ, Meiryo, "MS Pゴシック", "MS PGothic", sans-serif; font-size: 15.2px; line-height: 1.6; list-style: none; margin: 0px; overflow: hidden; padding: 0px; z-index: 1;">Part 4 <a class="ez-toc-link ez-toc-heading-17" href="https://www.marulabo.net/docs/llm-math2/#enriched_category_%E8%AB%96%E3%81%AE%E3%82%AB%E3%83%86%E3%82%B4%E3%83%AA%E3%83%BC%E8%AB%96%E7%9A%84%E8%A8%80%E8%AA%9E%E7%90%86%E8%AB%96%E3%81%B8%E3%81%AE%E5%BF%9C%E7%94%A8" style="align-items: stretch; box-shadow: none; box-sizing: border-box; color: #444444; display: inline-flex; flex-wrap: nowrap; text-decoration-line: none; text-shadow: none; text-underline-offset: 2px;" title="enriched category 論のカテゴリー論的言語理論への応用">enriched category 論のカテゴリー論的言語理論への応用</a></li><ul class="ez-toc-list-level-3" style="background: 0px 0px; box-sizing: border-box; counter-reset: item 0; line-height: 1.6; list-style: none; margin: 0px 0px 0px 1.5em; overflow: hidden; padding: 0px; z-index: 1;"><li class="ez-toc-heading-level-3" style="background: 0px 0px; box-sizing: border-box; font-size: 14.44px; line-height: 1.6; list-style: none; margin: 0px; overflow: hidden; padding: 0px; z-index: 1;">・<a class="ez-toc-link ez-toc-heading-18" href="https://www.marulabo.net/docs/llm-math2/#Syntax_category" style="align-items: stretch; box-shadow: none; box-sizing: border-box; color: #444444; display: inline-flex; flex-wrap: nowrap; text-decoration-line: none; text-shadow: none; text-underline-offset: 2px;" title="Syntax category">Syntax category</a></li><li class="ez-toc-page-1 ez-toc-heading-level-3" style="background: 0px 0px; box-sizing: border-box; font-size: 14.44px; line-height: 1.6; list-style: none; margin: 0px; overflow: hidden; padding: 0px; z-index: 1;">・<a class="ez-toc-link ez-toc-heading-19" href="https://www.marulabo.net/docs/llm-math2/#enriched_copresheaf" style="align-items: stretch; box-shadow: none; box-sizing: border-box; color: #444444; display: inline-flex; flex-wrap: nowrap; text-decoration-line: none; text-shadow: none; text-underline-offset: 2px;" title="enriched copresheaf">enriched copresheaf</a></li><li class="ez-toc-page-1 ez-toc-heading-level-3" style="background: 0px 0px; box-sizing: border-box; font-size: 14.44px; line-height: 1.6; list-style: none; margin: 0px; overflow: hidden; padding: 0px; z-index: 1;">・<a class="ez-toc-link ez-toc-heading-20" href="https://www.marulabo.net/docs/llm-math2/#0_1-enriched_Yoneda_lemma" style="align-items: stretch; box-shadow: none; box-sizing: border-box; color: #444444; display: inline-flex; flex-wrap: nowrap; text-decoration-line: none; text-shadow: none; text-underline-offset: 2px;" title="[0, 1]-enriched Yoneda lemma.">[0, 1]-enriched Yoneda lemma.</a></li><li class="ez-toc-page-1 ez-toc-heading-level-3" style="background: 0px 0px; box-sizing: border-box; font-size: 14.44px; line-height: 1.6; list-style: none; margin: 0px; overflow: hidden; padding: 0px; z-index: 1;">・<a class="ez-toc-link ez-toc-heading-21" href="https://www.marulabo.net/docs/llm-math2/#Semantic_category" style="align-items: stretch; box-shadow: none; box-sizing: border-box; color: #444444; display: inline-flex; flex-wrap: nowrap; text-decoration-line: none; text-shadow: none; text-underline-offset: 2px;" title="Semantic category">Semantic category</a></li><li class="ez-toc-page-1 ez-toc-heading-level-3" style="background: 0px 0px; box-sizing: border-box; font-size: 14.44px; line-height: 1.6; list-style: none; margin: 0px; overflow: hidden; padding: 0px; z-index: 1;">・<a class="ez-toc-link ez-toc-heading-22" href="https://www.marulabo.net/docs/llm-math2/#enriched_product_and_coproduct" style="align-items: stretch; box-shadow: none; box-sizing: border-box; color: #444444; display: inline-flex; flex-wrap: nowrap; text-decoration-line: none; text-shadow: none; text-underline-offset: 2px;" title="enriched product and coproduct">enriched product and coproduct</a></li></ul></ul><br /></div><div><div>今回のセミナー第2部の内容は、詳しくは、まとめページ <a href="https://www.marulabo.net/docs/llm-math2/">https://www.marulabo.net/docs/llm-math2/</a> を参照ください。</div></div><div><br /></div><div><div>前回のセミナー第1部の内容は、詳しくは、まとめページ <a href="https://www.marulabo.net/docs/llm-math/">https://www.marulabo.net/docs/llm-math/</a> を参照ください。</div></div><div><br /></div>maruyama097http://www.blogger.com/profile/10852791116417405282noreply@blogger.com0tag:blogger.com,1999:blog-633957148720976943.post-37693307803559060022024-01-20T09:19:00.005+09:002024-01-20T16:22:40.908+09:00closed commutative monoidal preorder と internal hom<div>【 すごいのかすごくないのか? 】</div><div><br /></div><div>前回のセッションで、単位区間[0,1]がcommutative monoidal preorder であることを見てきました。</div><div><br /></div><div>素晴らしい! </div><div><br /></div><div>本当かな? 実際の舞台裏を見ると、「monoidal product ⊗ を普通の実数間の掛け算とし、monoidal unit を 1 とし、preorderの順序関係 ≤ を 通常の実数間の大小関係とする」解釈をするってことですね。</div><div><br /></div><div>というのは、そのまんまの普通の区間[0,1] じゃないかと思われたかもしれません。確かに。やさしいことを難しくむずかしく言っているだけかも知れません。</div><div><br /></div><div>ただ、こうした見方には、意味があります。</div><div><br /></div><div>この論文の基本的な狙いは、セミナーの第一部で見てきた代数的な言語理論に、確率概念を導入しようとする事です。確率的なものの見方は欠けているのですが、copresheaf を意味のカテゴリーとして捉えようというアプローチは魅力的なものでした。</div><div><br /></div><div>第一部で紹介したcopresheaf意味論の枠組みを維持したまま、確率概念を導入する為の方法としてこの論文が選んだことは、enriched categoryの理論を用いることでした。</div><div><br /></div><div>以前の枠組みのカテゴリーの射を、新しいカテゴリーの[0,1]の確率を表す値を取る射に置き換えること。それは、元のカテゴリーを単位区間[0,1]でenrich化することに他なりません。</div><div><br /></div><div>冒頭で述べた、すごいのかつまらないのかわからない到達点は、あるカテゴリーを確率[0,1]でenrich化出来ることを、カテゴリー論の言葉で述べたものです。その意味では、この論文の目的への第一歩としては、大きな意味を持っています。</div><div><br /></div><div>今回のセッションでは、単位区間[0,1]がcommutative monoidal preorder であるという議論をもう一歩進めます。その為に、commutative monoidal preorder の仲間である closed commutative monoidal preorderというカテゴリーを導入します。</div><div><br /></div><div>このカテゴリーの面白いところは、それ自身enrichするカテゴリーであるcommutative monoidal preorder の内部に、enrichする射の構造を定義できるということです。</div><div><br /></div><div>[x,y]で表されるこの射を、internal hom と呼びます。それは次の条件で定義されます。</div><div><div><br /></div><div> 𝑥⊗𝑦 ≤ 𝑧 𝑖𝑓 𝑎𝑛𝑑 𝑜𝑛𝑙𝑦 𝑖𝑓 𝑥 ≤ [𝑦,𝑧] </div></div><div><br /></div><div>commutative monoidal preorder V がenrichするカテゴリーである条件は、前回見たように、その V−hom C(x,y)が 次の形をしていることです。</div><div><br /></div><div><div> 1 ≤ 𝐶(𝑥,𝑥)</div><div> 𝐶(𝑦,𝑧) ⊗ 𝐶(𝑥,𝑦) ≤ 𝐶(𝑥,𝑧) </div></div><div><br /></div><div>今回のセッションの主要な内容は、先のinternal hom の定義から、これと同等な</div><div><br /></div><div> 1 ≤ [𝑥, 𝑥] </div><div> [𝑦, 𝑧] ⊗ [𝑥, 𝑦] ≤ [𝑥, 𝑧] </div><div><br /></div><div>の形が導かれることを示すことです。</div><div><br /></div><div>−−−−−−−−−−−−−−</div><div>ここまでで、カテゴリーのenrich化の基本的なことは、見てきました。</div><div>次回からは、カテゴリー論的言語理論に帰って、それへの確率の導入を可能にする 単位区間[0,1]でのカテゴリー論的言語理論の enrich化の話題に入ろうと思います。</div><div><br /></div><div><br /></div><div>--------------------------------</div><div><br /></div><div>ショートムービー「 closed commutative monoidal preorder と internal hom 」を公開しました。<br /></div><div><span style="color: #0000ee;"><u>https://youtu.be/Z1uiInfk6KQ?list=PLQIrJ0f9gMcPmrJ3B0LEXJ_SHPP-ak_hw</u></span></div><div><span style="color: #0000ee;"><u><br /></u></span></div><div>「closed commutative monoidal preorder と internal hom」のpdf資料<br /><span style="color: #0000ee;"><u>https://drive.google.com/file/d/1C8GhpWQHyFGjgpjWFJUN57MgSohvVMUb/view?usp=sharing</u></span></div><div><span style="color: #0000ee;"><u><br /></u></span></div><div>blog 「 すごいのかすごくないのか? 」<div><div><span style="color: #0000ee;"><u>https://maruyama097.blogspot.com/2024/01/closed-commutative-monoidal-preorder.html</u></span></div></div></div><div><br /></div><div>「大規模言語モデルの数学的構造 II」まとめページ<br /><span style="color: #0000ee;"><u>https://www.marulabo.net/docs/llm-math2/</u></span></div><div><br /></div><div>ショートムービーの再生リスト<br /><span style="color: #0000ee;"><u>https://www.youtube.com/playlist?list=PLQIrJ0f9gMcPmrJ3B0LEXJ_SHPP-ak_hw</u></span></div>maruyama097http://www.blogger.com/profile/10852791116417405282noreply@blogger.com0tag:blogger.com,1999:blog-633957148720976943.post-28258291984271408532024-01-19T06:47:00.000+09:002024-01-19T06:47:16.898+09:00commutative monoidal preorder <div>【 少し困ったこと 】</div><div><br /></div><div><div>ここでは、カテゴリーVがenrichするカテゴリーである条件を述べたいと思います。</div><div><br /></div><div>ただ、少し困ったことがあります。enriched category理論の論文を読むと、その条件は、Vがsymmetric monoidal preorder であることと述べられているのですが、Tai-Danaeらの論文では、Vがcommutative monoidal preorder であるとして議論が展開されています。 </div><div><br /></div><div> symmetric: 𝑦⊗𝑥 ≤ 𝑥⊗𝑦</div><div> commutative: 𝑦⊗𝑥 = 𝑥⊗𝑦</div><div><br /></div><div>の違いだと思います。</div></div><div><br /></div><div><div>その意味では、 symmetric monoidal preorder と commutative monoidal preorder の概念は異なるものです。 symmetric monoidal preorder の方が広い概念です。</div><div><br /></div><div>ただ、順序がpreorderではなく poset だとすると、</div><div>𝑦⊗𝑥 ≤ 𝑥⊗𝑦 かつ 𝑦⊗𝑥 ≤ 𝑥⊗𝑦 から 𝑦⊗𝑥 = 𝑥⊗𝑦 が導かれるので、両者の概念は一致します。</div><div><br /></div><div>Tai-Danaeらの論文が扱っている言語の文字列表現の順序関係は、もちろん preorderでもありますが、posetです。</div><div><br /></div><div>ですので、あの論文で、enrich化するカテゴリーとしてcommutative monoidal preorder で議論を進めているのは間違っている訳ではありません。</div><div><br /></div><div>基本的に、論文の記述に沿って解説を行いたいと思います。</div></div><div><br /></div><div>【 commutative monoidal preorder の定義 】</div><div><br /></div><div>まず、commutative monoidal preorder の定義を見ていきたいと思います。</div><div>こんな形です。</div><div><div><br /></div><div>commutative monoidal preorder (𝑉,≤,⊗,1) は、preorder (𝑉,≤) 上の、次の条件を満たす commutative monoid (𝑉,⊗,1) である。</div><div> 𝑥 ≤ 𝑥′ かつ 𝑦 ≤ 𝑦′ ならば、𝑥⊗𝑦 ≤ 𝑥′⊗𝑦′</div><div><br /></div><div>この条件は、順序だけからなるpreorder (𝑉,≤) の世界を、二項演算だけからなるmonoid (𝑉,⊗,1)の世界を結びつけて、 monoidal preorder (𝑉,≤,⊗,1)を構成する役割を持っていると考えるのがいいと思います。</div></div><div><br /></div><div>その上で、このVによってenrich化されることの定義を考えましょう。</div><div><br /></div><div>【 V-enriched category とは何か? 】</div><div><br /></div><div><div>(𝑉,≤,⊗,1) を、commutative monoidal preorder としましょう。</div><div>この時、Vでenrich化されたカテゴリー(単純に、V-カテゴリーと呼んでもいい)を、次の様に定義します。</div><div><br /></div><div> ・V-カテゴリーは、Cと同じオブジェクトを持つ。</div><div> ・また、 V-カテゴリーは、その任意のオブジェクトのペア x, y について、V-homオブジェクトと言われる 𝐶(𝑥,𝑦) ∈ 𝑉を持つ。</div><div> ・このV-homオブジェクトは、すべての𝑥,𝑦,𝑧∈𝑉について、次の条件をみたす。</div><div><br /></div><div> 1 ≤ 𝐶(𝑥,𝑥)</div><div> 𝐶(𝑦,𝑧) ⊗ 𝐶(𝑥,𝑦) ≤ 𝐶(𝑥,𝑧) </div></div><div><br /></div><div>【 単位区間 [0,1]は commutative monoidal preorder である 】</div><div><br /></div><div><div>monoidal product ⊗ を普通の実数間の掛け算とし、monoidal unit を 1 とし、preorderの順序関係≤を 通常の実数間の大小関係とすればいいのです。</div><div><br /></div><div>この単位区間 [0,1] で enrich化されたカテゴリー、 [0,1]-カテゴリーは、Cと同じオブジェクトを持ち、すべての𝑥,𝑦∈𝐶で定義された[0,1]に値を取る関数(𝑥,𝑦)⟼𝐶(𝑥,𝑦)を持ちます。</div><div><br /></div><div>この𝐶(𝑥,𝑦)は、次の条件を満たします。</div><div> すべての 𝑥 ∈ 𝐶 について、 𝐶(𝑥,x) = 1</div><div> すべての𝑥,𝑦,𝑧 ∈ 𝐶 について、𝐶(𝑦, 𝑧)𝐶(𝑥, 𝑦) ≤ 𝐶(𝑥, 𝑧)</div></div><div><br /></div><div>--------------------------------</div><div><br /></div><div>ショートムービー「 commutative monoidal preorder 」を公開しました。<br /></div><div><span style="color: #0000ee;"><u>https://youtu.be/RY-2SykxK7s?list=PLQIrJ0f9gMcPmrJ3B0LEXJ_SHPP-ak_hw</u></span></div><div><span style="color: #0000ee;"><u><br /></u></span></div><div>「 commutative monoidal preorder 」のpdf資料<span style="color: #0000ee;"><u>https://drive.google.com/file/d/1Bs8HSd2-GYLVysIPwoID7rc1Gdw_XtmJ/view?usp=sharing</u></span></div><div><span style="color: #0000ee;"><u><br /></u></span></div><div>blog 「 少し困ったこと 」<div><div><span style="color: #0000ee;"><u>https://maruyama097.blogspot.com/2024/01/commutative-monoidal-preorder.html</u></span></div></div></div><div><br /></div><div>「大規模言語モデルの数学的構造 II」まとめページ<br /><span style="color: #0000ee;"><u>https://www.marulabo.net/docs/llm-math2/</u></span></div><div><br /></div><div>ショートムービーの再生リスト<br /><span style="color: #0000ee;"><u>https://www.youtube.com/playlist?list=PLQIrJ0f9gMcPmrJ3B0LEXJ_SHPP-ak_hw</u></span></div>maruyama097http://www.blogger.com/profile/10852791116417405282noreply@blogger.com0