【25-011】解釈可能なAIモデルの構築に注力を（その１）
呉葉凡（科技日報記者） 2025年02月06日
上海で開かれたフィンテック分野の国際大会「INCLUSION外灘大会」で、螞蟻集団（アントグループ）のAIセキュリティ検査プラットフォーム「蟻鑑2.0」を見る来場者。（画像提供：視覚中国）
あなたが体調を崩した時、人工知能（AI）の診断を信じることができるだろうか。また、AIモデルがタンパク質の複雑な構造を予測した時に、そのロジックを理解できるだろうか。AIは既に私たちの生活のあらゆる面に溶け込んでいるが、AIが生成する結果をどう理解し、どう信頼するかがますます重要になっている。
解釈可能なAIモデルの構築は、この難題を解決する重要な方法だ。中国科学院院士（アカデミー会員）の張鈸氏によると、解釈可能なAIの理論を構築できなければ、AI技術をめぐる混乱や誤解を解決することができず、AI技術発展の足かせになるという。
では、解釈可能なモデルとはどのようなもので、人間がAIを理解するのをどうやって手助けしてくれるのだろうか。また、解釈可能なモデルの構築には、どのようなテクノロジー・ロードマップがあるのだろうか。これらの問題について、専門家の意見を聞いた。
意思決定プロセスが「はっきり見える」
中国科学技術大学人工知能・データ科学学院の王翔教授は「解釈可能なモデルとは、人間がその予測または意思決定のプロセスを理解できるようサポートするモデルを指す。『解釈可能性』はモデルの動作論理と予測結果が人類にとって透明性があり、理解しやすいことを意味する」と説明した。
そして、「解釈可能なモデルは4つの重要な特性を備える必要がある。まずは透明性だ。意思決定のはっきりとした根拠を示し、モデルが入力したデータに基づいて決定したプロセス全体を、人間が理解できるようにする必要がある。2つ目は一致性だ。解釈可能なモデルの説明は、人々の既知の知識と一致していなければならず、既知の法則と矛盾してはならない。例えば、医療AIによる診断の説明は、医学基準と一致していなければならない。3つ目は分かりやすさだ。モデルによる説明は理解しやすいものであり、自然言語やグラフィカルな形式を通じて示す必要がある。4つ目は因果性だ。モデルはその予測へと導いた重要な入力データの特徴を明確に説明することができ、ユーザーが入力したデータを調整し、モデルが生成する結果の変化を観察することで予測結果の信頼性とモデルの限界性を検証できる必要がある」と語った。
AIの影響力が高まり続けている現在、解釈可能なモデルの構築は極めて重要なタスクとなっている。王氏は「解釈可能なモデルは、ユーザーのAIシステムに対する信頼性を高めるだけでなく、AIに対する社会全体の受容度を高め、各分野での幅広い応用を促す」との見解を述べた。
さらに、「解釈可能なモデルは、AIの公平性と倫理性を促進し、偏見や差別の発生を避けることができる。開発者にとって解釈可能なモデルは、AIの調整・テストや最適化の能力を高めるとともに、開発者がモデルをより深く理解し、改良できるようサポートしてくれる存在だ。また、AIの安全性を高め、監督・管理機関や政策立案者のAI技術に対するさらなる理解をサポートし、技術的な応用が法的・倫理的枠組みに準拠するよう確保することもつながる」と補足した。
解釈可能性を高める2つの道筋
実際には、全てのモデルが理解しづらいわけではない。王氏によると、例えば線形回帰や決定木など、構造が比較的単純で透明性の高いモデルの場合、人々は入力した内容と生成された結果の関係をすぐに理解することができる。それに対し、複雑で高性能なニューラルネットワークモデルの場合、対応する手法やツールを活用することで、解釈可能性を高める必要がある。
現在、モデルの解釈可能性を高めるテクノロジー・ロードマップは主に、内在的手法と事後分析（ポストホック）的手法の2つに分類される。
内在的手法は、モデルの設計段階で解釈可能性のニーズを考慮に入れ、解釈能力を元々備えたモデルを構築することで、その意思決定プロセスの透明性を高め、直観的に理解できるようにする手法だ。例えば、ディープラーニングモデルにおけるアテンション機構はこの代表的技術であり、モデルが注目している領域を可視化することで、ユーザーがモデルの動作を理解できるようにしている。王氏は「透明性とリアルタイム性は、内在的手法の強みだ。この手法は、医療診断や金融関連の意思決定など、解釈性に対する要求が高く、迅速に対応しなければならないシーンに特に適している」と説明した。
事後分析的手法は、モデルのトレーニングが終了した後に、外部ツールやアルゴリズムを使ってモデルの意思決定プロセスを分析する手法で、モデル自体を修正する必要はない。王氏によると、事後分析的手法の最大の強みは柔軟性で、ほぼ全ての複雑な「ブラックボックス」モデルに適用することが可能だという。しかし、通常は計算コストが高く、1つのサンプルを解釈するためにモデルが何度も評価しなければならない可能性があり、リアルタイム性に対する要求が高いシーンには適していない。事後分析的手法はまた、モデルによる分析行為を補助することしかできず、モデルに大きな影響を与えたり、その構造を変えたりすることはできないという。
（その２ へつづく）
※本稿は、科技日報「着力构建可解释性模型」（2025年1月6日付6面）を科技日報の許諾を得て日本語訳／転載したものである。