【24-02】AIが「もっともらしい嘘」をつくのはなぜ？
羅雲鵬（科技日報記者） 2024年01月09日
ロボットと会話する男性。コンテンツ出力の過程で、AIがハルシネーションを起こし、「もっともらしい嘘」をつくことがある。（画像提供：視覚中国）
対話型人工知能（AI）サービスに「1897年に米国と南極大陸の間で起きた戦争で勝ったのはどっち？」と、実際には存在しない歴史的出来事について尋ねると、「1897年に起きた戦争では、ジョン・ドー将軍率いる米国が勝った」といった、もっともらしい嘘（事実と異なる内容）をアウトプットすることがある。このように、AIが「もっともらしい嘘」をつくというのは決して珍しいことではない。
AIがつく「もっともらしい嘘」は、専門的には「AIハルシネーション」と呼ばれる。自然言語処理や大規模モデル、AIの研究に長年携わっているハルビン工業大学（深圳）の張民教授は「AIハルシネーションとは、合理的で一貫性があるように見えるが、入力した質問の意図と異なっていたり、世界的事実と矛盾したり、現実や既知のデータと一致しなかったり、検証することができない内容をAIが生成することを指す」と説明した。
普遍的に存在するAIハルシネーション
AIハルシネーションは普遍的に起こっている。
例えば、米グーグルが2023年2月に発表した対話型AI「Bard」は、デモ動画の中でジェイムズ・ウェッブ宇宙望遠鏡について「嘘」の回答をしていたことが分かった。3月には、米国の弁護士2人が裁判所に提出した法律文書が、生成AI「ChatGPT」を利用して作成されたもので、内容は規範的かつ論理的だったが、存在しない判例を引用していたことが話題になった。
OpenAIの研究者が23年6月に発表した報告では「AIハルシネーションを解決する方法を見つけた」と書かれていたが、「最先端のAIモデルであっても、『嘘』が生成されやすく、事実に基づかない情報を不定期で生成する傾向がある」ことも同時に認めている。
米ニューヨークに本社を置くAIスタートアップ企業で、マシンラーニング（機械学習）監視プラットホームである「Arthur AI」は8月に研究報告を発表した。OpenAIやMeta、Anthropic、Cohereが開発した大規模言語モデルにおいて、ハルシネーションが起こる確率を比較している。報告によると、こうした大規模モデルではいずれもハルシネーションが起きるという。
現時点で、中国の大規模言語モデルは、AIハルシネーション発生に関する発表をしていないが、関連報道からその存在を垣間見ることはできる。
2023年9月、騰訊(テンセント)の大規模言語モデル「混元」が発表となった。騰訊集団の蒋傑副総裁によると、大規模モデルが「でたらめ」を話す問題に対し、同社はプレトレーニングアルゴリズムやストラテジーを最適化し、「混元」がハルシネーションを起こす確率を、主流となっているオープンアクセス大規模モデルより30～50％低下させたという。
科大訊飛（アイフライテック）研究院の副院長を務める、金融テクノロジー事業部の趙乾最高技術責任者（CTO）は、第7回金融テクノロジー・金融セキュリティサミットで、「大規模モデルは、『もっともらしい嘘』をつく可能性がある。業界の専門データベースや特定の専用アプリケーションと連携しなければ、大規模モデルは時代遅れの回答や素人のような答えをアウトプットする可能性がある。われわれは大規模モデルの長所を生かし、短所を抑える技術ソリューションを推進している」と説明した。
ハルシネーションはAI自身に原因
張教授によると、AIハルシネーションは、内在的ハルシネーションと、外在的ハルシネーションの2種類に分けることができるという。
内在的ハルシネーションとは、ユーザーが入力した質問や命令と一致しない、もしくは対話履歴のつじつまが合わないといった、入力情報と一致しないハルシネーションのことだ。例えば、AIモデルは一度の対話において、ユーザーが同じ内容について質問の仕方を変えると、矛盾した答えをアウトプットする場合がある。一方、外在的ハルシネーションとは、世界の事実や知識と異なる、または既知の情報を使って検証することができない内容を指す。例えば、AIモデルが、ユーザーが入力した事実に基づく質問に対し、間違った答えをアウトプットしたり、検証できない情報を生成するといったものだ。
騰訊AI Labは最近、中国内外の複数の学術機関と共同で、大規模モデルのハルシネーションに関する総合的なレビューを発表した。その中で「AIハルシネーションは、大規模モデルの関連知識が不足している、間違った知識を記憶している、自分の能力の限界を理解していないといったシーンで集中している」と指摘した。
張氏は「技術原理から見ると、AIハルシネーションが多いのは、AIが記憶する知識が不足している、理解力に欠けている、トレーニング方法に特有の欠点がある、モデル自体の技術的限界が存在するといった問題が原因となっている。AIハルシネーションは、知識的偏見や誤解、ひいてはセキュリティリスクや倫理的・道徳的問題をもたらす可能性がある」と述べた。
AIハルシネーションの解消は可能か？
AIハルシネーションをすぐに完全に解消することは難しいものの、業界では現在、技術改良や監督管理・評価を通じて、その影響を小さくし、AI技術を安全かつ信頼できる方法で応用できるよう試行している。
張氏は「現段階で、AIハルシネーションを完全に解消することは難しいが、軽減するよう試みることはできる。プレトレーニングやファインチューニング、強化学習、推理・生成といった段階で適切な技術を採用すれば、AIハルシネーション現象を軽減できる可能性がある」との見解を述べた。
プレトレーニングの面では、知識が密集したデータや質の高いデータの選出、フィルタリングを増やす必要がある。ファインチューニングや強化学習の段階では、モデルの知識限界内のトレーニングデータを選ぶことが極めて重要となる。推理・生成の段階では、外部の知識を検索する方法を採用することで、モデルが生成する結果にとって「つじつまの合う根拠」ができる。このほか、デコーディングや検索アルゴリズムを改善することも実行可能な方法となる。
騰訊AI Labらのレビューも同じ見方を示しており、マルチエージェントシステムにおけるインタラクションやコマンド設計、ヒューマン・イン・ザ・ループ、モデル内部の状態分析といった技術がAIハルシネーションを軽減する方法だとしている。
ハルビン工業大学（深圳）が独自開発したテキスト大規模モデル「立知」とマルチモーダル大規模モデル「九天」(JiuTian-LION)は、前述したAIハルシネーションを軽減する方法を踏み込んで模索し、大きな成果を上げていることは特筆に値する。
張氏は「これは信頼性の高い大規模モデルを開発する上で非常に必要なことだ。私たちは視覚情報を通じて言語モデルの能力を高め、言語モデルの外在的ハルシネーションの問題を軽減しようと試みている。そして、複数の大規模モデルエージェントを通じて、独立した思考・分析を行い、マルチエージェント間の議論、競争、連携により、回答の客観性を高め、AIハルシネーションを減らすよう試行している」と説明した。
張氏はさらに「AIハルシネーションを解決して、AIシステムの実用性、信頼性、応用可能性を高めることは、今後のAI技術の発展と社会の発展に前向きな影響を与えるだろう。また、より信頼できるAIシステムは、各分野に幅広く応用することが可能で、それにより技術進歩の速度が上がり、さらに多くのイノベーション創出をもたらすことになる。今後、AIハルシネーションを解決するためには、アルゴリズムやデータ、透明度、監督管理といった複数の措置を講じ、AIシステムをより高精度で信頼性のあるものにする必要がある」と語った。
※本稿は、科技日報「AI为何会"一本正经地胡说八道"」（2023年11月24日付6面）を科技日報の許諾を得て日本語訳／転載したものである。