Bradley2024論文解説3-1 singular value decomposition

 【 「Bradley2024論文解説3-1  singular value decomposition」を公開しました 】

今回の「Bradley2024論文解説3-1  singular value decomposition」は、2024年のTai-Danae Bradleyらの論文「The Structure of Meaning in Language」の第3章の "singular value decomposition" の部分を解説したものです。

【 ベクトルに作用する関数としての行列 】 今回のセッションは、まず、体𝑘上に値を取る集合𝑋上の関数 v: X → k ∈ k^X −− Xからkへの関数をk^Xとあらわしていますが、これはベクトルのことです −− を扱います。ただ今回のセッションの主要な対象は、ベクトルに作用する「行列」です。

有限集合𝑋,𝑌が与えられたとしましょう。体𝑘に値を取る𝑋-𝑌行列は、関数 m: 𝑋×𝑌→𝑘です。このXとYを引数とする二変数の関数を𝑋→(𝑌→𝑘) すなわちXを引数として(𝑌→𝑘)に値をとる一変数の関数に変形することをcurry化するといいます。

このcurryingで、mは関数 𝑋→𝑘^𝑌を定義することが分かります。(先に見たように(𝑌→𝑘) はベクトル𝑘^𝑌です)同様に、mの引数XとYの順序を変えたm': Y×X→𝑘を𝑌→(𝑋→𝑘)とcurry化すれば、m'は関数𝑌→𝑘^𝑋を定義することが'分かります。

先に定義した関数𝑋→(𝑌→𝑘) すなわち𝑋→𝑘^𝑌 は、Xの要素xをm(x,−)に割り当てますm。 同様に、関数𝑌→(𝑋→𝑘)すなわち𝑌→𝑘^𝑋は、Yの要素yをm'(y,−) = m(−,y) に割り当てます。(m'はmの引数の順序を逆にしたものです)

𝑋と𝑌の要素を順序づければ、関数𝑚は、|𝑋|個の行と|𝑌|個の列からなる長方形の要素で表現されます。ここで、𝑥行y列の要素は、𝑚(𝑥,𝑦)です。

この時、関数𝑚(𝑥,−)∈𝑘^𝑌は、行列𝑚の𝑥番目の行と同一視できます。この関数は、𝑌の要素と同じ数のエントリーを持ち、𝑦を行の中の𝑦番目のエントリーに送る関数を定義します。同様に、𝑚の𝑦列は、関数 𝑚(−,𝑦)∈𝑘^𝑋を表現しています。

  m( x, − ) : X → k^Y (xを与えるとx行目のベクトルk^Yを返す)   m( −, y ) : Y → k^X (yを与えるとy列目のベクトルk^Xを返す)

【 定義域を線形に拡大する 】
ここまではわかりやすいのですが、次から少し難しくなります。 関数 m( −, y )は、Yの上だけで定義されているのですが、 𝑌 ⊂k^Yなので、この定義域をk^Yに線形に拡大し、その線型写像をMとします。同様に、𝑋⊂𝑘^𝑋なので関数m( x, − )の定義域をk^Xに線形に拡大し、その線型写像をM*とします。
  M : 𝑘^𝑌 → 𝑘^𝑋 M* : k^X→ 𝑘^Y この線型写像は、ベクトルをベクトルに変えるものです。これは、行列がベクトルに対して行う作用と同じものです。この線型写像は、行列と関連しています。 この二つの線型写像は、m × n の行列に、右から n次元のベ列クトルをかけてm次元の行ベクトルを得る、あるいは、同じm × n の行列に、左から m次元の行ベクトルをかけてn次元の列ベクトルを得る操作に対応しています.
この節での議論は、写像 MとM*の二つの合成、MM*とM*Mを考えていきます。
𝑀と𝑀^∗の合成、𝑀𝑀^∗:𝑘^𝑋→𝑘^𝑋 、𝑀^∗ 𝑀:𝑘^𝑌→𝑘^𝑌は、特別な性質を持っている線形変換です。MM*とM*Mは、いずれも正方行列になることに注意してください。

【 singular value decomposition (SVD) 】

normalな正方行列には、スペクトル定理が使えます。もし基礎にある体𝑘を実数ℝに固定すると(実行列は𝐴𝐴^∗=𝐴^∗ 𝐴)だから𝑛𝑜𝑟𝑚𝑎𝑙です)、スペクトル定理から、それぞれ𝑀𝑀^∗ と𝑀^∗ 𝑀の固有ベクトルからなる 𝑘^𝑋の正規直交基底{𝑢_1, ⋯,𝑢_𝑚}と𝑘^𝑌の正規直交基底{𝑣_1,⋯,𝑣_𝑛}を得ることができます。それは、r = min⁡(𝑚,𝑛)とすると、非負の固有値 〖{𝜆〗_1,⋯,𝜆_𝑟,0, ⋯,0}を共有しています。
このデータは、正方行列ではない一般の行列𝑀を 𝑀=𝑈Σ𝑉^∗と因数分解するのに、利用できます。この分割は、𝑀のsingular value decomposition と言われるものです。

以下はスライドを参照してください。

--------------------------------

Dialogue 「Bradley2024論文解説3 --- 意味の空間から意味の構造へ」
https://www.youtube.com/playlist?list=PLS9CVDoCoH9g

Bradley2024論文解説3-1 singular value decomposition https://youtu.be/LvyDFyp7hh4?list=PLS9CVDoCoH9g

Bradley2024論文解説3-1 singular value decompositionのpdf資料 https://drive.google.com/file/d/1GD_XyqmCgk9Bl2xRTToO16nWfTrurIr9/view?usp=sharing

このblog https://maruyama097.blogspot.com/2026/11/bradley20243-1-singular-value.html 「言語の意味の数学的構造」まとめページ https://www.marulabo.net/docs/embedding-dnn/


コメント

このブログの人気の投稿

宇宙の終わりと黒色矮星

機械の言語能力の獲得から考える embeddingの共有・蓄積・検索の未来

1 + 196883 = 196884