セミナーのタイトルを変更しました

【 セミナーのタイトルを「大規模言語モデルの数学的構造」に変更しました 】

ごめんなさい。セミナーのタイトルを変更しました。この数日で3回目の変更です。

最初は確か「意味の分散表現論とエントロピー（予定）」でした。
ここ、今個人的には一番興味を持っているところなのですが、セミナーの2時間で分散表現論とエントロピーの二つを扱うのは難しいだろうと思い直しました。

正直いうと、自分の考えがまとまっていないのが大きいのかも。
シャノンの「情報量」を定義する基本的なモデルとなったコミュニケーションのモデルは、Encoder / Decoder として解釈できるし、Deep Learning のActivatorのひとつのSoftMax 関数は (多分、いまならHeadというのが妥当かも)、ギブスの分配関数と同じものだし、全ての確率分布はエントロピーと同じものです。ただ、いろいろよくわからないところがある。もう少し、考えます。

二つ目は、「大規模言語モデルと意味の分散表現の数学」でした。
ただ、これは長すぎると思いました。

それに、大規模言語モデルを扱うなら意味の分散表現を扱うのは必須ですが、意味の分散表現の数学は、なにも大規模言語モデルに限った話ではありません。ことばの意味の分散表現論でもCoeckeたちのDisCoCatは、量子論の影響のもと大規模言語モデルとは独立に発展してきたものだし、ベクトルではなく密度行列を使う分散表現論は、独自の射程と面白さを持っています。

それで、三つ目の「大規模言語モデルの数学的構造」に。

もともと、Ta-Danae Bradleyの現在のアプローチを紹介しようと思っていたので、それには、このタイトルの方がいいようにも思います。

ただ、名前を変えるごとに問題意識は、シュリンクしています。
C'est la vie !