科学技術

【24-95】新たな研究によりAIの意思決定アルゴリズムが向上

楊　雪（科技日報記者）　2024年10月17日

　北京大学人工知能研究院、工学院、計算機学院が英キングス・カレッジ・ロンドンと共同で行った研究「大規模マルチエージェントシステムの効率的な強化学習」に関する論文がこのほど、国際学術誌「Nature Machine Intelligence」に掲載された。研究成果は、大規模マルチエージェントシステムにおける効率的な分散型の協調的意思決定を初めて実現したもので、AIの意思決定アルゴリズムの拡張性と適用性を高める。

　マルチエージェントシステムは、膨大なエージェント間のデータインタラクションをベースとしている。膨大なコンピューティングリソースを活用し、各エージェントが他のエージェントと協力して複雑なタスクを実行する方法を学ぶもので、その中心的手法がマルチエージェントの強化学習である。

　論文の筆頭著者である北京大学AI研究院博士課程生の馬成棟氏は「例えばドローンの編隊では、各ドローンがAIによって制御されている。各ドローンのコントローラーをエージェントとすると、この編隊は複数のエージェントで構成されているので、これがマルチエージェントシステムになる」と説明した。

　馬氏はさらに「実際の大規模システムでは、各コントロールユニット間やコントロールユニットと環境の相互作用コストが非常に高くなる。これらのシステムには、通信距離が遠い、通信全体におけるプライバシー漏洩リスク、通信エネルギー消費量の制約など、客観的な制約が常に存在している。これにより、コントロールユニット間での全体的な情報交換が難しくなり、大規模システムにおけるAIの意思決定アルゴリズムの拡張・応用を妨げている」と語った。

　分散型のマルチエージェント強化学習は現在、国際的な学術研究界で注目を集めている。これは、限られたデータとリソース条件のもとで、多数のエージェントを含む複雑な実世界のシステムに意思決定能力を拡張するアルゴリズムを探求することを目的としている。

　馬氏によると、分散型のマルチエージェント強化学習は、全体的な情報に依存せずに各エージェントが効率的な協調的意思決定を実現する方法であり、独自の優位性を持つという。

　論文の筆頭著者で、北京大学AI研究院の楊耀東副教授によると、研究チームはネットワーク化した構造を通じて、システムのグローバルな動的特性をデカップリングし、エージェントが独立して、局部的な状態遷移、隣接情報の価値、分散型の計画を学習できるようにし、複雑で大規模な意思決定における難題を容易に解決できる問題に変えている。これにより、サンプルデータと情報の相互作用が制限される状況下でも、大型のAIシステムが満足できる意思決定機能を備えるようになっている。

　研究チームは、比較的複雑な都市交通と電力ネットワークにおいて、数百のエージェントを含むシーンでテストを実施。その結果、集中型のマルチエージェント学習方法と比較して、分散型の方法では情報交換コストを70％以上低減できることが明らかになった。また、エージェントの数が増えるにつれて、この削減割合は顕著になり、サンプル効率も50％以上向上するという。

　馬氏は「この研究成果は、AIモデルを大型電力ネットワークや都市交通信号制御といった大規模マルチエージェントシステムに拡張する上で重要な価値を持つ。例えば、大型送電網システムにおいて、ポイント間の情報交換と送信があまりにも頻繁になると、干渉が発生することは避けられない。ポイントのどこかで故障が発生すると、他のポイントの性能に深刻な悪影響を及ぼす。分散化はそのリスクを低減し、送電網システムの安定性と安全性を高めることができる」と強調した。

※本稿は、科技日報「新研究提升人工智能决策算法适用性」（2024年9月13日付6面）を科技日報の許諾を得て日本語訳／転載したものである。