【24-86】AIを使ってAIを検出：「矛」と「盾」はどちらが強い？（その１）
呉葉凡（科技日報記者） 2024年09月12日
2024世界人工知能大会（WAIC）でAIが生成した画像を見る来場者。（画像提供：視覚中国）
人工知能（AI）技術はここ数年、生産性の向上を急速に推進しているが、技術の濫用が原因で、さまざまな問題も発生している。
AI技術の使用状況を監視するために、現在、AI生成コンテンツ（AIGC）を検出するさまざまなツールが存在する。例えば、米プリンストン大学の学生が開発したGPTZeroや、スタンフォード大学の研究チームが開発したDetectGPTなどだ。中国でもいくつかの研究チームが、各種検出ツールを次々と開発しており、西湖大学テキストインテリジェンスラボが開発したFast-DetectGPTはその一例である。
人間の創作物とAIGCにはどんな違いがあるのだろうか。AI検出ツールはこれらの違いをどのように識別しているのだろうか。また、AI検出ツールは、今後さらに賢くなっていく大規模言語モデルに、どう対応するのだろうか。これらの疑問について、専門家の見方を聞いた。
AIのコンテンツ作成には明らかなパターンが存在
Fast-DetectGPTの開発者の一人である西湖大学テキストインテリジェンスラボの鮑光勝博士課程生は「大規模言語モデルは絶えず発展し、世代交代を続けているが、現時点では、AIGCと人間の創作には、語彙や表現、論理構造、文法などの面において、依然として明らかな違いがある」と指摘した。
語彙や表現の違いについて鮑氏は「AIGCには比較的固定された選り好みがあり、一つの段落の中で同じ言葉を何度も繰り返し使う点は、明らかな違いだ。ある研究では、大規模言語モデルを使って英語の学術論文を作成する際に『delve』（探求する）という単語の使用頻度が非常に高くなることが分かっている。これは、大規模言語モデルがきれいな文章にしようとして、この単語を繰り返し使うからだ」と説明した。
論理構造や文法の面では、AIGCでよく使われる特定の文法パターンがあり、それは人間の創作ではあまり見られない。鮑氏は「モデリングの影響で、AIGCには比較的固定された作文論理や表現パターンがあり、このようなパターンは何度も繰り返されることが多い。人間の作文にはもっと柔軟性があり、固定のパターンも存在しない」と語った。
北京大学情報管理系の教員と学生は、中国語論文の要約について、AIが生成したものと学者が執筆したものを比較した。その結果、AIが生成した要約は、同質性が高く、文章もかなり論理的であったほか、帰納や要約といった学術的用語体系を繰り返し使っていた。これに対し、学者による要約は個性が顕著で、実際の意味を強調する表現が多く使われたほか、国の政策と密接に関連する語句が頻繁に使われていた。
ハルビン工業大学の大学院生は大規模言語モデルを利用した実際の感想について「いくつかの資料をモデルに提供して文章を増やそうとすると、大規模言語モデルは毎回、その資料をバラバラにして、いくつかのポイントに分けて論述するという同じパターンを使う。全体的に言えば、ややぎこちない文章になる」と述べた。
AIによるコンテンツ作成がパターン化されていることは、人間の言葉遣いの習慣にも影響を与える可能性がある。鮑氏は「AIを使って文章を作成したり、添削する人が増えれば、人間は無意識のうちに影響を受けるようになり、社会全体の言語使用に影響を与える可能性がある」と指摘した。
テキストを識別する3種類のロードマップ
では、どうすればAIGCを正確に識別できるのだろうか。鮑氏によると、検出するためのテクノロジー・ロードマップには、モデル訓練分類器法（教師あり学習分類器法）、ゼロショット分類器法、テキストウォーターマーク（電子透かし）法の3種類があり、「これらは本質的にはすべて『AIを使ってAIを検出する』もので、それぞれ長所と短所がある」という。
モデル訓練分類器法は、まず人間が作成した大量のコンテンツとAIGCを収集した後、それをベースに、2種類のコンテンツを識別できる分類器を訓練する。鮑氏は「これは現在、最も幅広く使われている方法だが、欠点もはっきりしている。それは、分類器の訓練に使うデータが限られ、全てのタイプや言語のテキストを網羅するのが困難なことだ。訓練データがカバーしているテキストの分野や言語では分類器の検出精度は高いが、カバーしていなければ精度が低くなってしまう。さらに、モデルの訓練コストは往々にして高く、データの規模が大きいほど、訓練コストも高くなる」と説明した。
一方、ゼロショット分類器法は、マシンの訓練を必要とせず、データ収集も必要ない。この方法では、訓練済みの大規模言語モデルを使い、大規模言語モデルが生成したテキストの特徴を抽出し、それに基づいて、人間の文章とマシンのコンテンツを区別する。鮑氏は「尤度関数はゼロショット検出法でよく使われる基準の一つであり、これは、あるテキストが特定のモデルのモデリング分布で出現する確率として簡単に理解することができる。確率は一つの特徴であり、確率が異なることは人間の創作内容とAIGCのコンテンツの違いを反映している。ゼロショット分類は、複数の関数の特徴を総合的に考慮することで、人間が作成したものかAIGCかを識別している」と説明した。
（その２ へつづく）
※本稿は、科技日報「AI检测AI："矛"更利还是"盾"更坚」（2024年8月16日付6面）を科技日報の許諾を得て日本語訳／転載したものである。