GitHubがChatGPTを救う (1)

 【 GitHubがChatGPTを救う (1) 】

今回のセッションでは、GitHubがChatGPTを救うかもしれないという話をしようと思います。ChatGPT的アプローチの抱えている基本的弱点のいくつかを、GitHubの利用によって補完することができるかもしれないという話です。

少し長くなりそうなので、2回に話を分けたいと思います。

最初にお断りしたいのは、僕はこうしたアプローチ GitHub + ChatGPT = GitHub Copilotと考えていいのですが、そうした動きを紹介するのは、それらに諸手を挙げて積極的に評価しているからではありません。

ただ、今、何が起きているのか、なぜそうしたことが可能なのか、その背景を正確に理解する必要があるのだと考えています。

その上で、各人が考えることが必要なのです。

 【 僕の基本的立場 】

今回のセミナーのテーマは、「人工知能と数学」です、現代の大規模言語モデルベースの「人工知能」技術には、数学的な能力が欠如しているというのが基本的な問題意識です。


それでは、「人工知能とプログラミング」という問題については、どうなのでしょうか?

現在の「人工知能」にプログラムを書く能力があるのかという問題に関して言えば、そんな能力はまだないと僕は考えています。なぜなら、プログラムを書く能力は、本質的には数学的能力だと考えているからです。

 【 一つ目の誤解 】

ChatGPTの登場を見て、「人工知能」技術が新しい段階に順調に発展したきたと考えている人は多いと思います。でも、それは誤解だと思います。

確かに、「人工知能」技術の新しい段階への飛躍を目指して、OpenAIは「人工知能」による数学の問題の証明に、Googleは「人工知能」によるプログラムの生成に、果敢に取り組みます。ただ、この二つのプロジェクトは2022年には失敗します。

ChatGPTは、こうした挫折の中で、一時的な「路線転換」として生まれたものだと僕は考えています。

 【 OpenAIの数学への挑戦 】

OpenAIの “Theorem Prover” プロジェクトでの数学の問題への挑戦と挫折については、マルレク「コンピュータ、数学の問題を解き始める」をご覧ください。  https://www.marulabo.net/docs/math-proof/ 

原論文は、”Formal Mathematics Statement Curriculum Learning” です。 https://arxiv.org/abs/2202.01344

「我々は、何度も我々のモデルが生成した証明手順の複雑さに、強く印象付けられてきた。

しかし、こうした推論ステップを必要とする証明の多くは、現在のコンピュータの能力の地平を超えたところにある。

我々が、たとえ挑戦的な数学オリンピックの選択された問題を解いたとしても、我々のモデルは、いまだこれらの競技の最も優秀な学生たちと競争するにははるかに遠い場所にいるのである。」
 
 【 Google Alpha Codeのコード生成への挑戦 】

GoogleのAlpha Codeのアプローチについては、次のScott Aaronsonのコメントが辛辣ですが、的を得ていると思います。

「AlphaCodeは課題ごとに100万個の候補プログラムを生成し、提供されたサンプルデータでは動作しないことを確認して大半を破棄し、それでも残った数千個の候補から巧妙なトリックを使って選択しなければならないことを、私は理解している。

私はそれが、何万ものコンテスト問題と、それに対する何百万もの解答で訓練されたものであることは理解している。」

 【 二つ目の誤解 】

Google Alpha Codeが出力するコードは、出来が悪かったにしても、それは「人工知能」が作り出したものです。それではChatGPTが提示するコードは、「人工知能」が作ったものなのでしょうか? 

そう考えている人も多いように感じているのですが、そうではありません。それは、誰かが(誰だかは分からないが)、確実に「人間」が書いたコードの断片です。

コード生成についての二つのアプローチは、全く異なります。そして、そこにChatGPTとGitHubが結びつく理由があります。

長くなりそうなので、次回に少し詳しく説明します。

 【 ChatGPTは「人間からのフィードバック」の上に成り立つ 】

なぜ、ChatGPTとGitHubが結びつくかについては、あらためて、ChatGPTの「人間からのフィードバックによる強化学習」という特徴と、それが内包する弱点について考える必要があります。

ポイントは、プログラムについて言えば、GitHubは、「人間からのフィードバックの宝の山」だということです。そのリソースが自由に利用できれば、機械は人間の書いたコードを、自分の生み出したもののように振る舞うことができるのです。

-------------------------------------

「 GitHubがChatGPTを救う (1)」を公開しました。

資料pdf
https://drive.google.com/file/d/1On3gOP4GV2Cq5gCKkDaejDIcd7xxQTO5/view?usp=sharing

blog:「 GitHubがChatGPTを救う (1) 」
https://maruyama097.blogspot.com/2023/03/githubchatgpt-1.html

まとめページ
https://www.marulabo.net/docs/aimath/

コメント

このブログの人気の投稿

マルレク・ネット「エントロピーと情報理論」公開しました。

初めにことばありき

人間は、善と悪との重ね合わせというモデルの失敗について