ChatGPTは嘘をつく
【 ChatGPTは嘘をつく 】
前回のセッションでは、ChatGPTが「人間との対話」で、柔軟で高いスキルを示すことを紹介しました。それは、とても興味深いことです。
今回のセッションは、ChatGPTが「人間との対話」で語ることの内容には、信用できないものがあるという例の紹介です。ここで紹介したのは、僕とChatGPTとの暗号技術についての会話です。
実は、前回紹介したサンプルの中にも、「フェルマーの小定理って何？」「それは暗号にどう使われているの？」という暗号に関連した対話の例がありました。そこでのChatGPTの答えは、キチンとしたものでした。おまけに余裕で詩まで作ってくれました。
ただ、今回の現代の暗号技術についての対話で、彼が答えた答えは、ほとんど全部と言っていいほど、間違ったものでした。
前回と今回の暗号についての二つの対話の違いは、どこから生まれたのでしょう？ 不思議です。今にして思えば、ラティス暗号 LWE についてラップ作ってと頼んでみればよかったのかも。
ChatGPTが、正しいことをキチンと語るだけでなく、嘘をつくことがあることに、すでに多くの人が気づいています。
ChatGPTについて語る上で、こうした経験を持つことは、とても大事なことだと思っています。ぜひ、彼と対話を重ねて、彼に嘘をつかせてみてください。
大事なことは、OpenAI自身が、そのことを認めていることです。
前回から紹介しているChatGPTの公式blogページ https://openai.com/blog/chatgpt/ で、彼らは、ChatGPTの「限界」について語り、その第一の「限界」を、次のように述べています。
「ChatGPTは、もっともらしく聞こえるが、不正確または無意味な答えを書き込むことがある。」
さらに、こう付け加えます。
「この問題を解決するのは、次のような点で困難である。」
その困難の第一の理由は、次のことだと言います。
「RL（強化学習）のトレーニングでは、現在、真実のソースがない。」
大事なところなので、原文を引用しておきますね。
ChatGPT sometimes writes plausible-sounding but incorrect or nonsensical answers. Fixing this issue is challenging, as: (1) during RL training, there’s currently no source of truth; (2) training the model to be more cautious causes it to decline questions that it can answer correctly; and (3) supervised training misleads the model because the ideal answer depends on what the model knows, rather than what the human demonstrator knows.
今見たら、以前は「困難である」と言っていたのですが、そう言い切るのはまずいと思ったのか、今は「チャレンジング」に表現が変えられています。
いずれにしても、ChatGPTが、"no source of truth" であると言うことには、特別の注意が必要です、特に、ChatGPTを検索エンジンがわりに使おうと思っているなら。
https://chatgpt.peatix.com/view
コメント
コメントを投稿