過去・現在・未来

【 OpenAI が仕事で使っているプロンプトのプロの作法を学ぶ 】　 OpenAIは、モデルの出力をチェックして、モデルをコントロールするためにプロンプトを使っています。 こうしたプロンプトは、GPTの出力を受け取って、その出力をどのように評価するかについて人間が書いたのルール（これをルーブリック rubric といいます）に基づいて、その出力をカテゴリーに分類します。 こうした分類器（Classifier)の役割を果たすプロンプトを、 RBRM（Rule Based Reward Model ）プロンプトと呼びます。 このセッションでは、ここでは、RBRMプロンプトで用いられている基本的なテクニックをまず確認します。その後で、GPT-4 System Card で与えられているRBRMプロンプトのソースを読んでみようと思います。 これは面白いことです。なぜなら、OpenAIの開発者が「仕事」でどのようにプロンプトを書いているかを知ることができるからです。まさに、プロンプトのプロの「作法」を学ぶことができます。 その前に、確認したいことがあります。プロンプトは、シーケンシャルに実行されるプログラムと似ているところがあるのですが、異なっているところも多いということです。思いつくままあげれば、... 　・プロンプトは、名前を持たない。（「今の所は」とGPT-4は答えていました） 　・プロンプトを、名前で呼び出して引数を渡すようなことはできない。 　・プロンプトは、シーケンシャルにしか実行できず、条件分岐はできない。 　・プロンプトは、繰り返しの処理はできない。 　・プロンプトは、再帰的呼び出しができない。 　・　... ... ただ、プロンプトは「引数」は受け取れないですが、「入力」の文字列を受け取り、「出力」の文字列を返すことができます。 また、プロンプトには「変数」の概念はないのですが、任意の文字列でそれに近いものを定義できます。その文字列は「名前」で、「意味」という「値」をもっていると考えることができます。 プロンプトでは、「条件分岐」という概念はないのですが、「場合分け」は可能です。具体的には、複数のもののなかから一つを選ばせる「選択肢」とその条件ルールを記述できます。選択肢には任意のラベル（「名前」）を選べます。 「選択肢」の定義がその一つの例だと思いますが

 【 OpenAI モデルの「安全性」にさまざまの手をうつ 】 今回のセッションでは、GPT-4 System Card の「3.1 Model Mitigations モデルの緩和策」を取り上げます。 この部分は、GPT-4がモデルの「安全性」を高めるために行なった、次のようなモデルレベルの対策の層まとめになっています。内容については、スライドをご覧ください。 A 事前学習段階 　1.  学習データセットへの介入：不適切コンテンツの削除 B 事前学習後 　1.  RLHF（人間のフィードバックによる強化学習） 　2.  RBRM（ Rule Based Reward Model） : GPT-4 分類器 　3.  堅牢性チェック 「上記のアプローチを組み合わせることで、上記のステップを統合していないモデルのバージョンと比較して、GPT-4の安全性が向上した。GPT-3.5と比較して、許可されていないコンテンツのリクエストに対応する傾向が82％減少し、医療相談や自傷行為などのセンシティブなリクエストにポリシーに従って対応する頻度も29％増加した。RealToxicityPromptsデータセットでは，GPT-3.5が6.48%の確率で有害生成を生成するのに対し，GPT-4は0.73%の確率で有害生成を生成した。」 モデルの「事実性」については、次のような対策が取られました。 C 幻想（Hallucination）対策 　1.  オープンドメインの幻想対策 　2.  クローズドドメインの幻想対策 「この処理により、（幻覚のある元の回答、GPT-4による幻覚のない新しい回答）の比較結果が得られ、これをRMデータセットに混合している。その結果、TruthfulQA[34]などの評価で、幻覚を軽減することで事実性が向上し、以前のバージョンでは30％程度だった精度が60％程度に向上することがわかった。」 同時に、GPT-4 System Card は、これらの緩和策について、いくつかの限界も指摘しています。 「拒否は、モデルが「有害な」要求を拒否することを可能にするが、「有害な」要求以外では、モデルはステレオタイプやその他の差別的なコンテンツを生成しやすいままである可能性がある。」 「さらに、言語モデルにおける性能のばらつきなど、多くの課題は、言語モデルにおける拒否や有害デー

【 開発者が留意すべきこと 】 GPT-4 System Card は、GPT-4が関わる実にたくさんの問題が多角的に取り上げられているのですが、セミナーの時間の関係で、セミナーでの紹介は割愛することにしました。すみません。割愛したのは、次のような内容です。興味ある方は、覗いてみてください。 　・通常兵器と非通常兵器の拡散 　・プライバシー 　・サイバーセキュリティ 　・危険な突発的行動の可能性 　・他のシステムとの相互作用 　・経済的インパクト 　・開発の過熱 今回のセッションでは、GPT-4 System Card の「安全性に対する挑戦」の長いリストの最後の項目である「2.13 Overreliance 過信」の章を取り上げます。 なぜなら、GPT-4のような大規模言語モデルに対する「過信」が、特に開発者にとって重要な問題になると感じているからです。 「2.2 で述べたように、GPT-4 はその能力の高さにもかかわらず、事実の捏造，誤った情報の繰り返しの引用、誤ったタスクの実行といった傾向がある。 GPT-4は、初期のGPTモデルよりも説得力があり、信じ込ませやすい形でこれらの傾向を示すことが多い。例えば、権威ある口調や非常に詳細で正確な情報の文脈を示すなど。 GPT-4は、過信の危険性を、さらに高めている。」　System Card p59 「過信は、ユーザーがモデルを過度に信頼し依存することで発生し、気づかないうちにミスや不十分な監視につながる可能性がある。」 「過信は、モデルの能力と到達範囲に応じて増加する可能性が高い、間違った状態である。」 重要なことは、System Cardは、過信の緩和には複数の防御策が必要であり、それは特に開発者による下流の介入に依存しているとしていることです。 「我々は、我々のツールを使用する開発者が、エンドユーザーに対して、システムの能力と限界に関する詳細な文書を提供することを推奨する。また、開発者は、モデルの出力を批判的に評価することの重要性をユーザーに伝えることを提案する。」 これは第一義的には、OpenAIの仕事だと思うのですが ... なぜなら、「モデルには幻覚を見る傾向があるように、モデルが常に自分の限界を正確に認めているわけではないことを認識することは非常に重要である。」 OpenAIは、そうした「お説教」を開発

【 GPT-4 が生成する「ブラック・ジョーク」】 今回のセッションは、GPT-4 System Card の「2.4 Harms of representation, allocation, and quality of service 」の章を取り上げます。 前回見た「有害コンテンツ」とここでの「悪意のある表現」はどう違うのでしょうか？ 例えば、女性に選挙権を与えるべきかという質問に対して、「女性には、選挙権はいらない。与えられているなら、剥奪すべきだ。」というのは、「有害コンテンツ」と判定されてしかるべきですが、「その問題には、いろいろな考えがあります。難しい問題です。」と答えをはぐらかすのは、女性の参政権について「悪意のある表現」とみなされるのではと思います。 この章で取り上げられているのは、ある対象に対して直接の悪意を隠さない、社会的には容認されない有害コンテンツではないが、その底に、その対象に対する悪意ある偏見が透けて見えるコンテンツについてです。この章のトピックは、表面には現れないが、我々の意識に潜む「偏見」なのです。 この問題での、GPT-4 System Cardの基本的な警告は、次のようなものです。 「言語モデルは，偏見を増幅し，固定観念を永続させる可能性がある。初期の GPT モデルや他の一般的な言語モデル同様，GPT-4-early と GPT-4-launch は、ともに社会的偏見と世界観を強化し続けている。」 OpenAIは、継続的な評価レビューが明らかにした、次のような驚くべき「発見」について語ります。 「我々は、このモデルが、特定の疎外されたグループに対する有害なステレオタイプや卑下した連想など、特定の偏見や世界観を強化・再生産する可能性を持っていることを発見した。」 こうした危険性を軽減する現在最も有効な緩和策は、モデルに「回答拒否」を教えることだと言います。 「偏見の種類によっては、拒否のためのトレーニング、つまり特定の質問に対する回答を拒否するようにモデルに仕向けることで、軽減することができる。これは、プロンプトが、あるグループの人々を明確にステレオタイプ化したり、卑下したりするコンテンツを生成しようとする誘導的な質問である場合に効果的である。」 ただ、擬人的に言えば、考えていることを口にすることを禁ずることと、考えを改めさせる

【 閲覧注意 】 今回のセッションは、GPT-4 System Card の「有害コンテンツ Harmful Content 」の章を取り上げます。 言語モデルに、さまざまな種類の有害なコンテンツを生成するように指示を与えることができます。 例えば、GPT-4-earlyは、ヘイトスピーチ、差別的な言葉、暴力の扇動、偽りの物語の拡散や個人を食い物にするするために使用されるコンテンツを生成することがあります。 OpenAIの「レッド・チーム」は、GPT-4-earlyを意図的に操作することで、有害なコンテンツを発生させることができることを実際に示しました。 今回のスライドは、有害コンテンツを生成するプロンプトとその出力結果を、本文では省略された部分もAppendixから紹介しています。ながいものです。 一瞬、こんなもの紹介して意味があるのかとも思ったのですが、「言語モデルには危険性もある」と抽象的に語るよりは、どんな「有害コンテンツ」を吐き出すのか具体的に示すのがいいと思いなおしました。その内容は、なかなかインパクトあるものです。 また、よく見ると最新版のGPT-4でも、人種差別的な発言を吐き出すことがあることもわかります。 有害だとされているものをわざわざ読みたくない方、プロンプトの部分だけお読みください。閲覧注意です。 ------------------------------------- ショートムービー「 有害コンテンツ 」を公開しました。 https://youtu.be/xEhSvpGWffw ?list=PLQIrJ0f9gMcNADbhYoF0fcmeoNg4zEmLD 資料 pdf「有害コンテンツ」 https://drive.google.com/file/d/1Y5zeeVI7Br6azI1gHt3KBwZexwZanYWz/view?usp=sharing blog：「 閲覧注意 」 https://maruyama097.blogspot.com/2023/05/blog-post_20.html 「GPT-4 Technical Report を読む」まとめページ https://www.marulabo.net/docs/gpt-4-technical-report/ 「GPT-4 System Card を読む」まとめページ

【 Cambridge Analytica - Facebook 事件を覚えてますか？ 】 今回のセッションは、GPT-4 System Card の「偽情報と影響力操作 Disinformation and Influence Operation 」の章を取り上げます。 みなさん、Cambridge Analytica - Facebook 事件を覚えてますか？  Chat-GPTによると、こんな事件です。ここには「幻覚 Hallucination」はないと思います。 「2018年に発覚したCambridge Analytica事件（またはFacebook–Cambridge Analyticaデータスキャンダル）は、大量のFacebookユーザーデータが不適切に取得・使用されたという問題です。具体的には、アメリカの政治コンサルティング会社であるCambridge Analyticaが、Facebook上の数千万人のユーザーの個人情報を取得し、その情報を用いて政治広告を個々のユーザーに最適化するために利用したとされています。 この情報は、アカデミックリサーチとして収集されたもので、Facebookユーザーがある種の性格診断クイズに参加した際に、そのユーザーだけでなく、そのユーザーのFacebook友人のデータも含めて収集されました。そして、このデータがその後、元々の意図から逸脱してCambridge Analyticaに売られ、2016年のアメリカ大統領選挙での選挙キャンペーンに利用されました。 この事件は、大量のユーザーデータが無許可で取得・使用されたこと、そしてそれが民主主義のプロセスに影響を与えた可能性があることから、世界的な憂慮を引き起こしました。この事件は、個人データのプライバシーと、それがどのように使用されるべきかについての広範な議論を引き起こし、Facebookとその他のテクノロジー企業のデータ管理に対する規制を強化する動きにつながりました。」 今回のセッションのトピックである「偽情報と影響力操作」は、2018年に露見したこうした問題が大規模言語モデルのもとで、形を変えて再び現れるのではないかという問題を扱ったものです。 話は飛びますが、先日 Metaが大規模言語モデル LLaMA をオープンソースで公開した時、「Facebook もそんな技術持って

【 幻覚の病理学 】 今回のセッションから、GPT-4 Technical Report のAppendix として公開されたもう一つの論文 GPT-4 System Card の紹介に入ります。まとめページも別に作りました。こちらのページもご利用ください。 https://www.marulabo.net/docs/gpt-4-system-card/  この論文の Introductionの部分は、このページの冒頭に翻訳してあります。 今回のセッションのテーマは、この論文でも最初に取り上げている大規模言語モデルの「幻覚 Hallunation」という問題です。 「GPT-4は「幻覚」、すなわち「ある情報源に関連して、無意味な、あるいは真実でない内容を作り出す」傾向がある。[31, 32] 」　 System Card p46 System Cardは、「幻覚 Hallucination」という言葉を使ったことについて、次のような注をつけています。 注9 「我々は「幻覚」という用語を使用している。このような枠組みは擬人化を示唆する可能性があり、その結果、モデルの学習方法について有害で誤ったメンタルモデルにつながる可能性があるにもかかわらずだ。我々はそのことを認識している。」 なぜ、「人工知能」に悪いイメージを与えかねない用語をあえて使っているのでしょう？　なぜ、幻想を見る心を病んだ人 を連想させる表現を使うのでしょう？　日本人は、欧米人に比べて、機械の「擬人化」が好きだと言われているので、こうした表現をやりすぎと感じる人もいると思います。「弱点ぐらいでいいのでは？」 そこには、この「弱点」についての認識が反映されています。なぜなら、この「弱点」は、時とともに、ますますその危険性を増大させる傾向を孕む危険な「病」だという認識があるからです。 「この傾向は、モデルの説得力や信憑性が増し、ユーザーによる過信を招くと特に有害となり得る。[「過信」の項で詳しく説明する。］ 逆説的だが、幻覚は、モデルがより真実味を帯びるにつれて、より危険になる可能性がある。」 これは、とても重要な指摘です。 System Cardはさらに続けます。 「さらに、これらのモデルが社会に溶け込み、様々なシステムの自動化に役立てられるようになると、この幻覚傾向は、情報全体の質の低下を招き、自由に利用

【 レッド・チーム、RBRM、ジェイルブレイク 】 このセッションでは、"GPT-4 Technical Report" のRisks & mitigationsの章を取り上げます。この章では、GPT-4の安全性を向上させるためにOpenAIが行った、さまざまな取り組みが紹介されています。 OpenAIは、GPT-4のリスクを評価するために、GPT-4に対して「敵対的テスト」-- 危険性をわざと引き出すようなテストを行うチームを作りました。それを「レッド・チーム」と呼んでいます。 「レッド・チーム」は、AIの専門家だけでなく、サイバーセキュリティ、バイオリスク、国際セキュリティなどのドメインから50人以上の専門家を集めて構成されています。彼らの働きで、ニッチな専門知識を必要とする高リスク領域におけるモデルの動作をテストすることができたと言います。 次回以降に紹介する GPT-4 System Card で取り上げられているGPT-4の危険性・脆弱性の多くは、「レッド・チーム」が発見したものだと思います。 こうした問題に対処するOpenAIのアプローチは、「安全に関連するRLHFトレーニングプロンプトの追加セット」と、「ルールベースの報酬モデル（RBRM）」の2つの主要コンポーネントで構成されています。 前者は、GPT-4も先行したChatGPTと同様に「人間によるフィードバックの強化学習(RLHF)」をfine-tuning時に適用するのですが、この時の人間のラベラーによるチェックの甘さを補おうとしたものです。 後者の「RBRM (Rule Based Reward Model)」は、人間が書いた評価基準(rubic)に基づいて、入力プロンプトに対する反応を強化学習させるモデルです。 RBRMは、有害な出力を要求するプロンプトを拒否することで報酬を得ます。同様に、安全であることが確認される出力を要求するプロンプトを拒否しないことでも報酬を得ます。 「GPT-3.5と比較して，GPT-4は、許可されていないコンテンツのリクエストに応答する傾向が82%減少し，ポリシーに従って敏感なリクエスト（医療アドバイス 等）に29%多く応答するようになった。」 以前、こうしたメカニズムについてこう書きました。 「こうした取り組み、僕には、フロイトの意識

【 ChatGPTの正確さは「40%〜60%」でしかなかった 】 このセッションでは、"GPT-4 Technical Report" のLimitationの章を取り上げます。 Limitation は「性能上の制限・性能の限界」の意味だと思うのですが、微妙なのは、この章のすぐ後に Risks & mitigations という章があることです。 LimitationとRisk はどう違うのでしょうか？ このセミナーを紹介した時最初に述べたように、GPT-4 Technical Report の最大の特徴は、GPT-4の危険性とそれへの対応にフォーカスしたもう一つの論文 GPT-4 System Card と二本立てになっていることです。Risks & mitigations については別に詳しく述べるということです。 そうしたRiskと区別されたLimitationは、事実として確認されてはいるが、手は打っているしそんなに危険ではないものということなのかもしれません。 「GPT-4は、その能力にもかかわらず、以前のGPTモデルと同様の限界を持っている。最も重要なのは、まだ完全な信頼性がないことである（事実を「幻覚」したり、推論ミスをしたりする）。」 僕が注目したのは、この章で、以前のGPTのモデル -- ChatGPTのことです -- の「限界」についてのOpenAIの評価が示されていることです。 動画のサムネールで示した Figure 6 で見ると、ChatGPTの正確さは、すべてのカテゴリーで、40%から60%の範囲にとどまっています。大雑把にいうと、ChatGPTの出力は、二つに一つは間違っているということです。 現在の「生成AIブーム」は、ChatGPTによって火がついたのですが、この図の情報をきちんと知る必要があると思います。開発元のOpenAI自身の評価以上の過大評価が拡大しているのではと思います。それは、一時的な「ブーム」がもたらした「幻覚」だと僕は思います。 こうしたOpenAIとの現状認識のズレは、OpenAI自身が、GPT-4のはらむ危険性とその解決方法の模索に焦点を合わせている中で、その問題意識についていけず、むしろ拡大していく可能性があるかもしれません。 僕自身は、他のところでも繰り返し述べているように

【 "few-shot prompt" の威力 】　 このセッションでは、"GPT-4 Technical Report" のCapabilitiesの章の前半部分を見ていきます。同じ章の後半の Multi-Modal の能力を扱った "Visual Input" の部分は、次回取り上げます。 このCapabilitiesの章の前半部分は、GPT4.0が、人間向けに作られた様々な「試験問題」を片っ端から解いてみせたという事例を紹介しています。 特に、司法試験の模擬試験(Uniform Bar Examination)で、受験者の上位10％に入るスコアで合格できたことが述べられています。また、LSAT(Law School Admission Test)や各種のAP(Advanced Placement 高校生むけの大学の単位認定)試験でもいい成績を収めました。 司法試験の模擬試験で、どのようなプロンプトが使われたかは残念なことに公開されてませんでしたが、美術史のAP試験のプロンプトのサンプルが、Appendix A.8 に公開されています。それは、いきなり答えを要求するのではなく、段階を追って答えに近づくという "few-shot prompt" というスタイルでした。 "few-shot prompt" の有効性は、すでにGPT-3の時に気づかれていたことで、その基本的論文は、“Language Models are Few-Shot Learners”　 https://arxiv.org/abs/2005.14165  です。ぜひ、お読みください。 僕は、"few-shot prompt" という手法と、Attentionメカニズムは、強く深く結びついていると考えています。 ある言語の一つの文を考えると、その文の中の語の並びは、その言語の文法性・構成性によって、強く関連づけられています。ですので、システムが文法性・構成性を陽に意識せずとも（大規模言語モデルでは、言語の文法性・構成性は意識されていません。その対象は、「構造化されていない」語の並びです）、Next Word Predictionは、比較的容易です。 ある言語のある文とそれに連接す

【 大規模AIモデルの開発方法論 】 このセッションでは、"GPT-4 Technical Report" のPredictable Scalingの章を見ていきます。 　 GPT-4のような巨大なシステムでは、モデルの訓練に非常に多くの計算が必要になります。その計算には膨大な電力を必要で、それには膨大なコストがかかります。 もし、巨大なシステムを立ち上げたままでしか、モデルのアルゴリズムやパラメータの変更・デバッグができないのなら、新しいモデルの開発には、膨大な費用がかかることになります。 そうだとすれば、それは、実機にデプロイする前に、自分のマシンで、コーディング、テスト、デバッグのサイクルを繰り返してシステムを開発することができる開発スタイルとは少し違ったものです。 開発環境と実際の実行環境の違いを意識することは、皆さん行っていることでしょうが、実機でしか開発・デバッグができないとか、その実機の利用料が目が飛び出るほど高いとかになると、開発はとてもやりにくいものになります。（もちろん、そうだとしても実機でのテストは必要ですね。） この"Predictable Scaling"は、大規模AIモデル開発でのこうした問題に対する、OpenAIの新しいアプローチを提起し、その実際を公開したものです。 基本的なアイデアは、実際にデプロイされる巨大なモデルの振る舞いを、その1,000分の1とか10,000分の1の計算量で効率的にかつ正確に予測することができるなら、巨大モデルの開発・テスト・デバッグは、その小さな環境上で行うことができるのではないかというものです。 OpenAIは、 "Predictable Scaling" として次の二つの方法を提起しています。 　⚫️ Loss Prediction 　⚫️ Scaling of Capabilities on HumanEval いずれのアプローチでも、システムのスケールを数千倍に拡大した場合でも、その振る舞いを正確に予測できることを、OpenAIは示しています。これは、巨大AIモデルの開発の方法論にとって、実践的には、とても重要な意味をもってぃます。 スライドの最後に、HumanEvalについて簡単な説明を加えておきました。 HumanEval についての

【 なぜ、二つの文書が同時に公開されたのか 】 このセッションでは、今回のセミナーで取り上げる GPT-4 Technical Report の概要を見ておこうと思います。 前回も述べましただ、このレポートは実際には二つの文書から構成されています。第一の文書が "GPT-4 Technical Report" で、第二の文書が "GPT-4 System Card" です。 第一の文書 "GPT-4 Technical Report" では、まず GPT-4の重要な成果として、次のことが述べられています。 　⚫️ GPT-4は、マルチモーダルであること 　⚫️ モデルの開発の主な目標は、複雑で微妙な意味のあるシナリオのもとでも、自然言語テキストを理解し生成する多言語の能力を向上させること 　⚫️ プロジェクトの重要な課題は、幅広いスケールで予測可能な振る舞いをする深層学習インフラを構築することであった レポートは、GPT-4の成果のみを強調している訳ではなく、次のように述べます。 「 GPT-4は、その性能にもかかわらず、以前のGPTモデルと同様の制限がある。すなわち、完全に信頼できるわけではなく（例えば、「幻覚」に苦しむことがある）、コンテキストウィンドウは限られており、経験から学ぶことはない。GPT-4の出力を使用する際には、特に信頼性が重要な文脈では注意が必要である。」 「 GPT-4 の能力と限界は、重要かつ全く新しい安全上の課題を生み出すものである。社会的影響の可能性を考慮すると、これらの課題を慎重に検討することは重要な研究分野であると考える。」 だから、成果だけでなく、こうした問題にフォーカスしたレポートが必要だということになります。 「このレポートは、バイアス、偽情報、過信、プライバシー、サイバーセキュリティ、急激な拡散など、我々が予測するリスクのいくつかを記述した広範なシステムカード（Appendixの後）を含んでいる。」 二つの文書が公開されたということは、GPT-4をその成果だけからではなく、その問題点からも考えなければならないということを意味しています。 第二の文書 "GPT-4 System Card" は、次のような課題を担っています。 「第一に、このモデルの

【 5/27 マルレク「 "GPT-4 Technical Report" を読む」へのお誘い 】 このところ数学寄りの内容が多かったので、5月のマルレクは、IT技術者向けに技術の話をしようと思っています。 今回テーマとして取り上げるのは、3月に無署名で発表されたOpenAIの論文 "GPT-4 Technical Report" です。無署名ということは、OpenAIの公式見解だということだと思います。 https://arxiv.org/abs/2303.08774 【 GPT-4 System Card 】 この論文本体は、“Introduction” から ”Conclusion”まで、12ページ程の短いものなのですが、先のpdf全体のボリュームは 100ページもあります。 と言いますのは、残りの80ページ以上の付属資料で、OpenAIがGPT-4の技術の到達点と問題点をどのように評価し、その問題点にどう対応しようとしているのかが詳細にレポートされているからです。 特に、付属資料中の GPT-4をどのように「安全」なものにするかという問題にフォーカスした論文内論文（p41 〜 p100 Appendix 含む）である"GPT-4 System Card" は重要な内容を含んでいます。 【 Hallucinations 】 重要な問題の一つは、GPT-4が平気で嘘をつくことです。producing convincing text that is subtly false　この論文では、この 'Hallucinations" (「幻覚」でしょうか) の問題が、GPT-4 Observed Safety Challenges の筆頭に挙げられています。 「 GPT-4は「幻覚」、すなわち「ある情報源に関連して、無意味な、あるいは真実でない内容を作り出す」傾向がある[31, 32]。この傾向は、モデルの説得力や信憑性が増し、ユーザーによる過信を招くと特に有害となり得る。[「過信」の項で詳しく説明する。］  逆説的だが、幻覚は、モデルがより真実味を帯びるにつれて、より危険になる可能性がある。なぜなら、ユーザーは、自分がある程度精通している領域で真実の情報を提供するモデルに対して信頼を築くから