24/02/29 マルレク「言語の意味の数学的構造」公開情報
【 2月に開催したマルレク「言語の意味の数学的構造」の講演ビデオと講演資料を公開しました 】#言語の意味の数学的構造
2月に開催したマルレク「言語の意味の数学的構造」の講演ビデオと講演資料を公開しました
このセミナーで扱っているのは、Tai-Danae Bradley らが、アメリカ数学会のジャーナルNotice誌の2024年2月号に投稿した次の論文です。
“The structure of meaning in language:
parallel narratives in linear algebra and category theory” https://www.ams.org/journals/notices/202402/rnoti-p174.pdf
この間、マルレクでは 数学者Tai-Danae Bradley の大規模言語モデルの数学的構造に対する研究を紹介してきました。
⚫️大規模言語モデルの数学的構造 I https://www.marulabo.net/docs/llm-math/
#大規模言語モデルの数学的構造1
⚫️大規模言語モデルの数学的構造 II https://www.marulabo.net/docs/llm-math2/
#大規模言語モデルの数学的構造2
それは、大規模言語モデルの性能に強い印象を受けたTai-Danaeが、大規模言語モデルの意味把握の新しいカテゴリー論的数学モデルを提案した、とても興味深いものでした。
今回紹介する Tai-Danae Bradley の論文で、彼女はもっと大胆な主張を展開しています。
「意味と形式は切り離せないという考え方は新しいものではないが、現在のAIをめぐる哲学的な議論には浸透していない。」
「構文対象の分析において意味が問題になるとすれば、それはすべて言語の形式に反映された構造的特徴に起因するということである。」
「しかし、現在のニューラル言語モデルが不十分なのは、まさにこの点である。というのも、ニューラル言語モデルは、そのタスクを実行する際に必然的に働く構造的特徴を明らかにしていないからである。」
彼女は、AIによる言語処理技術が大きな飛躍をみせ、社会的にも巨大なインパクトを与えようとしている今、ソシュールやチョムスキーらが切り開いてきた言語学の基本に立ち返って、言語を捉え返そうとしています。
もちろん、それは大規模言語モデルの成果を否定するものではなく、そこから出発して新しい発展を目指したものです。
AIに関わる人や言語学者だけが、言語について語る資格を持っているわけではありません。忘れてならないのは、言語は、我々人間の誰にとっても重要なものだということです。世の中のテクノロジーが急速に変化しているのは確かですが、言語学や哲学には、立ち止まって振り返るべき価値ある蓄積があると僕は考えています。
【 AI技術の数学的基礎の革新 】
この論文は数学的にも重要な指摘があります。
その一つは、ニューラルネットが、実際の言語使用の場面で極めて有益な、低い次元での意味の分散表現を「近似的に」生み出すメカニズムを具体的に示しているところです。それは線形代数ではよく知られているSVD分割の手法の応用として語られています。（もっとも、embeddingとSVD分割の関係の発見は彼女のオリジナルではないのですが）
もう一つは、将来のAIでの自然言語処理の数学的方法について、この論文は包括的なビジョンを示しています。具体的には、enriched カテゴリー論とテンソル・ネットワーク論の応用の重要性を強調しています。もちろん、その数学的ビジョンは、先に見た現在の「ニューラル言語モデル」批判と繋がっています。
【 Part 1 オブジェクト vs. オブジェクト上の関数 】
あまり情報が与えられない、あるいは不完全な構造を持つ数学的対象𝑋が与えられたとしましょう。Xを直接調べようとしても、それはXの要素・オブジェクトをいろいろ調べることに帰着するのですが、Xについてよくわからないことが起こります。
そう言う時、構造がよくわかっている対象Yをとって、XからYへの関数 Fun(X)を考えます。Fun(X)はYに値をとりますので、XよりはFun(X)の方が構造がわかりやすいということを期待できると言うことです。
「オブジェクトからオブジェクト上の関数へ」と言うのは、 Xだけに注目するのではなくFun(X)にもっと注目しようと言う視点の転換を促すスローガンだと思っていいと思います。
論文の"Objects Versus Functions on Objects"というセクションでは、こうしたオブジェクト上の関数への注目によって構成された数学的対象の例を三つほど挙げています。
⚫️ ベクトル空間
⚫️ (co)presheaf
⚫️ enriched category
【 Part 2 自然言語処理での語の埋め込み 】
【 Part 4 ニューラル言語モデル批判 】
この論文での「ニューラル言語モデル批判」の概要については、この投稿の冒頭にすでに述べました。
ここでは、そうした問題を乗り越えるどのような数学的展望を持っているのかについて簡単に触れておきたいと思います。
「重要なのは、enriched カテゴリー論の枠組みが、統語論から意味論がどのように生まれるかについての理解を深めることである。」その上で、「意味論の構造を研究するために、線形代数にヒントを得た新しいツールを提供できる可能性がある。」と語ります。
丸山のblog 「AI技術の数学的基礎の革新を目指して」をご覧ください。
https://maruyama097.blogspot.com/2024/02/blog-post_25.html
--------------------------------
セミナーの四つのパートは、個別にも全体を通してもアクセスできます。
以下のアクセスリストをご利用ください。
--------------------------
全体を通して見る
--------------------------
● 「言語の意味の数学的構造」セミナーの講演ビデオ全体の再生リストのURLです。
全体を通して再生することができます。
https://www.youtube.com/playlist?list=PLQIrJ0f9gMcPwOs4VEnUPC2WhhAOQVeI4
講演資料全体を一つのファイルにまとめたものはこちらです。
セミナーでのプレゼン用のshort versionと、資料用のlong-version があります。
● 「言語の意味の数学的構造 」講演資料 short version
https://drive.google.com/file/d/1Hnw_twUUkcXvATV8wqLiZOYV9NsPnN-m/view?usp=sharing
● 「言語の意味の数学的構造 」講演資料 long version
https://drive.google.com/file/d/1HkH7hyXEbugrwXyAQQt4wlHZ0NnmvcLD/view?usp=sharing
--------------------------
パートごとに見る
--------------------------
● Part 1 オブジェクト vs. オブジェクト上の関数
講演ビデオURL :
https://youtu.be/j-2TyWcJGHs?list=PLQIrJ0f9gMcPwOs4VEnUPC2WhhAOQVeI4
講演資料 pdf :https://drive.google.com/file/d/1I2eqUt2xTzb3d7rTDSvyxY7HnP9EDdEi/view?usp=sharing
● Part 2 自然言語処理での語の埋め込み
講演ビデオURL :
https://youtu.be/EIcLOzlq-fc?list=PLQIrJ0f9gMcPwOs4VEnUPC2WhhAOQVeI4
講演資料 pdf :
https://drive.google.com/file/d/1IAWhz-T7YhKm3T1zBpP4kGHhQSJQMY3w/view?usp=sharing
● Part 3 意味の空間から意味の構造へ
講演ビデオURL :
https://youtu.be/071XdKyoH5I?list=PLQIrJ0f9gMcPwOs4VEnUPC2WhhAOQVeI4
講演資料 pdf :https://drive.google.com/file/d/1IDdisl1r8ByyAzJycBjkzT0EbpY1xnB9/view?usp=sharing
● Part 4 ニューラル言語モデル批判
講演ビデオURL :
https://youtu.be/sIs4ANnalRQ?list=PLQIrJ0f9gMcPwOs4VEnUPC2WhhAOQVeI4
講演資料 pdf : https://drive.google.com/file/d/1IOWqwjKVCQU4bqR_gU2TLoSLoNvhb6E7/view?usp=sharing
-----------------------------
今回のセミナーのまとめページはこちらです。
「言語の意味の数学的構造」
https://www.marulabo.net/docs/embedding-dnn/
セミナーに向けたショートムービーの再生リストはこちらです。ご利用ください。
「言語の意味の数学的構造 -- エピソード」
https://www.youtube.com/playlist?list=PLQIrJ0f9gMcOJYKeUN_8q2K-yxtTfbIoB
-----------------------------
コメント
コメントを投稿