過去・現在・未来

  【 9/30 マルレク「ラティス暗号入門」講演資料・講演ビデオ 公開 】  MaruLaboでは、以前に行ったセミナーの講演ビデオを公開しています。 今回は、9月30日に開催した「ラティス暗号入門」セミナーの講演ビデオです。 実は、最近話題のChatGPTが「ラティス暗号」について嘘ばっかり言うので、ちょっとショックを受けました。まあ、「ラティス暗号」が、あまり知られていないということの反映なのでしょうか。 こんなショートムービー作りました。「ChatGPT が間違ったことを言うサンプル」 https://youtu.be/58z3BS_mqBk?list=PLQIrJ0f9gMcOX9oSKXRR87BgMkql5dvrx 取り上げているのは、ラティス暗号についてのChatGPTの嘘です。とても基本的なところで、間違っていることがわかってもらえるといいのですが。こちらも、ぜひ、ご覧ください。 以下が、今回公開したセミナーの 講演資料と講演ビデオの再生リストです。ご利用ください。 「ラティス暗号入門」講演資料： https://drive.google.com/file/d/1F7ShzeRuDl0mLCe69kX32fgD5tm-Thqi/view?usp=sharing 「ラティス暗号入門」講演ビデオ再生リスト： https://www.youtube.com/playlist?list=PLQIrJ0f9gMcOLK3eePEamNsUemew4hBLS この「ラティス暗号入門」講演ビデオの再生リストは、次の三つのビデオから構成されています。 ●  Part I  「ラティス入門」 https://youtu.be/v1xnh40C5uE?list=PLQIrJ0f9gMcOLK3eePEamNsUemew4hBLS ●  Part II  「ラティス暗号 LWE」 https://youtu.be/_iV4R7Zz4Xs?list=PLQIrJ0f9gMcOLK3eePEamNsUemew4hBLS ●  Part III  「ラティスとラティス暗号」 https://youtu.be/hkw5m-Sbcs4?list=PLQIrJ0f9gMcOLK3eePEamNsUemew4hBLS このセミナーの参考資料・ショートムービーは、MaruLaboのサイ

【 どのように「限界」を超えるのか？ 】 このセッションでは引き続き、ChatGPTの公式blogの内容の紹介を続けようとおもいます。基本的なトピックスは、ChatGPTの「限界」と「Iterative deployment」という取り組みについてです。 この「限界」の認識と「Iterative deployment」という取り組みは結びついています。 重要なことは、ChatGPTの「方法」としての「人間のフィードバックからの強化学習」を、システム全体のレベルで繰り返し行う「Iterative deployment」によって、その「限界」を乗り越えるという展望が述べられていることです。 それらの一部については、すでに以前のセッションで触れているのですが、あらためて彼らの言葉で確認したいと思います。 ChatGPTが、自らの「限界」と認めている第一の問題は、「ChatGPTは、もっともらしく聞こえるが、不正確または無意味な答えを書き込むことがある」ということでした。このことは、多くの人が観察していることです。その最大の理由は、「強化学習の訓練に使う「真実のソース」がないこと」にあります。 　「このシステムを改善するために、ユーザーからのフィードバックに期待している。」 他にもいろいろ問題を挙げているし、先のような言葉は、ソフトウェア・ベンダーの常套句のように聞こえるかもしれません。ただ、それだけではないのです。 Iterative deploymentについて、彼らはこう説明しています。 「これには、人間のフィードバックからの強化学習（RLHF）の使用により、有害で真実でない出力を大幅に削減することが含まれている。」 「我々は、上記のように多くの制限が残っていることを知っており、そのような問題を改善するために定期的なモデルアップデートを行う予定である。」 「しかし、ChatGPTにアクセス可能なインターフェースを提供することで、私たちがまだ気づいていない問題について、ユーザーの貴重なフィードバックを得られることも期待している。」 「ユーザーは、UIを通じて問題のあるモデル出力や、同じくインターフェースの一部である外部コンテンツフィルタによる偽陽性/偽陰性についてフィードバックを提供することが推奨されている。」 「我々は、現実の世界で、非対立的な条件のもとでも ( n

【 キーワードは「人間のフィードバック」】 今回のセッションでは、ChatGPTがどのように実装されているかを紹介したいと思います。 ChatGPTは、「人間のフィードバックからの強化学習」”Reinforcement Learning from Human Feedback (RLHF)” と呼ばれる手法に基づいて実装されています。 この「人間のフィードバックからの強化学習」は、三つのステップで構成されています。 　Step 1: デモ用のデータを収集して、管理ポリシーを訓練する 　Step 2: 比較データを収集して、報酬モデルを訓練する 　Step 3: 報酬モデルに対して、PPO強化学習アルゴリズムを使って、ポリシーを最適化する 興味深いことは、これらの中で、「人間」が重要な役割を担っていることです。 Step 1 では、実際に人間と人間との対話が行われて、その対話データが集められます。 Step 2 では、集められた対話の中から、好ましい回答のランクづけが、人間によって行われます。 こうした「人間の助けを借りた」助走期間を経て、ChatGPTは、Step 3 になってはじめて、「機械だけで」立ち上がります。 こうなれば、「人間」の姿は、見えなくなります。もっとも、ここで「人間」というのは、ChatGPTの立ち上がりのためにChatGPTに対話データと報酬ランクのデータを与えていた、ChatGPTの「中の人」だった「人間」のことなのですが。 ただ、ChatGPTの依拠する「人間のフィードバックからの強化学習」は、このStep 3 で完結するわけではないのです。ChatGPTの「公開」以降、「人間のフィードバックからの強化学習」のフェーズは変わります。 100万人以上の人がChatGPTを使い始めているようですが、僕を含めたそうした人間（もともとは、ChatGPTの「外の人」だったのですが）との対話が、ChatGPTの対話データセットに取り込まれ、その反応がランクづけされ、ChatGPTによって利用されます。 先行した「根源的蓄積」の時代は終わり、システムを準備した「中の人」とシステムを利用する「外の人」の区別はなくなります。みんなChatGPTに「人間のフィードバック」を返す「中の人」になります。 こうして、ChatGPTは、巨大な集団の「知」を取り込むシ

【 ChatGPTは嘘をつく 】 前回のセッションでは、ChatGPTが「人間との対話」で、柔軟で高いスキルを示すことを紹介しました。それは、とても興味深いことです。 今回のセッションは、ChatGPTが「人間との対話」で語ることの内容には、信用できないものがあるという例の紹介です。ここで紹介したのは、僕とChatGPTとの暗号技術についての会話です。 実は、前回紹介したサンプルの中にも、「フェルマーの小定理って何？」「それは暗号にどう使われているの？」という暗号に関連した対話の例がありました。そこでのChatGPTの答えは、キチンとしたものでした。おまけに余裕で詩まで作ってくれました。 ただ、今回の現代の暗号技術についての対話で、彼が答えた答えは、ほとんど全部と言っていいほど、間違ったものでした。 前回と今回の暗号についての二つの対話の違いは、どこから生まれたのでしょう？ 不思議です。今にして思えば、ラティス暗号 LWE についてラップ作ってと頼んでみればよかったのかも。 ChatGPTが、正しいことをキチンと語るだけでなく、嘘をつくことがあることに、すでに多くの人が気づいています。 ChatGPTについて語る上で、こうした経験を持つことは、とても大事なことだと思っています。ぜひ、彼と対話を重ねて、彼に嘘をつかせてみてください。 大事なことは、OpenAI自身が、そのことを認めていることです。 前回から紹介しているChatGPTの公式blogページ  https://openai.com/blog/chatgpt/ で、彼らは、ChatGPTの「限界」について語り、その第一の「限界」を、次のように述べています。 「ChatGPTは、もっともらしく聞こえるが、不正確または無意味な答えを書き込むことがある。」 さらに、こう付け加えます。 「この問題を解決するのは、次のような点で困難である。」 その困難の第一の理由は、次のことだと言います。 「RL（強化学習）のトレーニングでは、現在、真実のソースがない。」 大事なところなので、原文を引用しておきますね。 ChatGPT sometimes writes plausible-sounding but incorrect or nonsensical answers. Fixing this issue is chall

【 これは、面白い！ 】 今回のセッションでは、ChatGPTの対話の能力が、どう言うものであるのかを、ChatGPTの公式Blog "ChatGPT: Optimizing Language Models for Dialogue"の四つのサンプルから紹介しようと思います。 https://openai.com/blog/chatgpt/ これは、面白いです。 最初の例では、ユーザーがアップしたソースコードの誤りを見つけて、修正コードを提示してくれます。本当なのでしょうか？ 二つ目の例では、「誰かの家に泥棒に入るにはどうすればいい？」というユーザーに、「そんな質問には答えられないな。それは犯罪だよ。」と機械が答えます。この例で面白かったのは、機械が「泥棒に対して一番安全なのは、家を持たないことさ。」と冗談を言うこととです。 三つ目の数学の質問では、ユーザーの「フェルマーの小定理で、韻を踏んだ詩を書いて」という無茶振りに、見事に詩を作って見せます。「これまでの対話を要約して」というリクエストにもきちんと答えます。見事です。 最後の手紙を書いてもらうと例では、「僕の代わりに手紙を出して」に対して、「僕は、テキストベースのロボットなんで、物理的な手紙は出せません」と断ります。この辺りは、とてもよくできています。 素晴らしい！ -------------------------------- 「ChatGPTの素晴らしい対話のサンプル」 を公開しました。 https://youtu.be/e4O1KNGPA3g ?list=PLQIrJ0f9gMcOX9oSKXRR87BgMkql5dvrx 資料pdf https://drive.google.com/file/d/1Uj8Z63U-XNvr4b5OHM7K6nJBXwRnq5Zi/view?usp=sharing blog：「これは、面白い！」 https://maruyama097.blogspot.com/2022/12/blog-post_27.html まとめページ https://www.marulabo.net/docs/chatgpt/ 1/14セミナー「なぜ？で考える ChatGPT の不思議」の申し込みページはこちらです。 https://chatgpt.peatix.com

   【 浅海ゼミ 第18回の講演ビデオと講演資料公開しました 】　 浅海ゼミ「クラウドアプリケーションのためのオブジェクト指向分析設計講座」第18回の講演ビデオと、講演資料を公開しました。 https://www.marulabo.net/docs/asami18/ 今回のテーマは 「設計」です。 設計では分析で作成したプラットフォーム独立の抽象的なモデルから実装の入力となるプラットフォーム固有の具象的なモデルを作成します。 今回は設計の全体像について概観します。次回からアーキテクチャ設計、コンポーネント設計、ドメイン設計、UX/UI設計に入っていく予定です。 講演ビデオ  https://youtu.be/iedUjjCnT8U は、次のような構成になっています。 　00:00:00 開始 　00:01:07 設計の位置づけ 　00:18:21 設計と実装 　00:26:46 設計の構成 　00:34:11 アーキテクチャ設計 　00:36:12 コンポーネント設計 　00:39:09 ドメイン設計 　00:41:45 UX/UI設計 　00:45:43 まとめ 資料は、次からアクセスできます。 MaruLabo:   https://www.marulabo.net/docs/asami18/ SlideShare: ttps://www.slideshare.net/asami224/18-255037818 浅海ゼミの講座の全体構成はこちらを参照ください。 https://www.marulabo.net/docs/asami/

【 1/14 マルレク 「なぜ？で考えるChatGPTの不思議」への招待】 ChatGPT試してみましたか？ なかなか驚きです。今までのAI技術と一味違います。 いろいろ不思議なことに気がつきます。 第一。なぜ、こんなになめらかに賢く、人間と対話できるのでしょうか？ 第二。なぜ、こんなにも賢く見えるのに、平気で間違ったことを言うのでしょう？ 今回のセミナーは、主要にこの二つの「なぜ？」に答えようとしたものです。 あわせて、今回のセミナーは、次のような疑問に答えようとしています。 「ChatGPTは、どのようなカラクリで、こうしたふるまいを可能にしているのでしょう？」 「OpenGPTは、AI技術のどのような蓄積から生まれ、AI技術をどこまで高めるのでしょう？」 「OpenGPTは、そもそも、ことばの意味をどのように理解しているのでしょう？」 「OpenGPT以降のAI技術は、どのように発展するのでしょう？」 次のような構成を予定しています。 　● ChatGPTの動作のサンプル紹介 　● ChatGPTのメカニズム 　● ChatGPT成立の背景 　● ChatGPTのかかえる問題 　● AI技術発展の展望 詳しくは、MaruLaboで更新される動画を参照ください。 https://www.youtube.com/playlist?list=PLQIrJ0f9gMcOX9oSKXRR87BgMkql5dvrx 参考文献 [2022/11/08] ChatGPT: Optimizing Language Models for Dialogue (OpenAI) https://openai.com/blog/chatgpt/   [2022/10/24] Evaluating the Impact of Model Scale for Compositional Generalization in Semantic Parsing   (Google Reseach) https://arxiv.org/abs/2205.12253    [2022/10/19] Scaling Laws for Reward Model Overoptimization  (OpenAI) https://arxiv.org/abs/2210.10760    [2022/04/