「小さなAI」で人工知能の「大きな」悩みを解決
2020年5月20日 王祝華
人工知能が発展を続けているが、その発展には膨大な電力が必要だ。ある統計によると、グーグルが研究開発した自然言語処理モデル「BERT」は、データのパラメーター数は3億4,000万にも上り、モデルを1回訓練するだけで米国の家庭1世帯が50日間で使う電力が必要となるという。
人類の未来の大きな夢や可能性、チャレンジを背負う人工知能は近年、大きな話題を呼び、着実な発展を遂げている。それに伴い、十億単位の計算や膨大なクラウドコンピューティングのデータを扱うセンターなど、人工知能の発展を支える体系も日に日に大規模化している。だが、「大きく」なっていくことが、人工知能の現実であり、今後の流れであるのだろうか？
科学技術雑誌「MITテクノロジーレビュー」が発表した2020年度版の「ブレイクスルー・テクノロジー10」に、小型人工知能技術「Tiny AI」がランクインした。大規模化してきた人工知能は今、小規模化へと舵が切られているのだろうか？
持続不可能な大規模な人工知能
研究者がアルゴリズムに「データ」という「餌」を大量に与えることで、機械学習（ML）はどんどん賢くなっているが、環境に対してもやさしくなっているだろうか？その答えは「NO」だ。
人工知能が過去数年にわたり多くのブレイクスルーを遂げてきたことに疑問の余地はない。ディープラーニングにより多くの人工知能システムが「高精度」を実現している。研究者は、人工知能の性能は日に日に高くなっているものの、同時に環境への負担が大きいことに気づいている。
威海北洋電気集団股份有限公司の副チーフエンジニア・秦志亮氏は、「現在、膨大なデータセットを持つ人工知能がクラウドデータセンターにインプットされてから、無限のアルゴリズムによって分析を行う。データがクラウドセンターにアップされる過程、そして、複雑なアルゴリズム構造と精巧なトレーニングスタイルにより、高精度のアルゴリズムモデルを獲得する過程で、驚くほどの二酸化炭素が排出されるだけでなく、アルゴリズムモデルの運営と配置速度の妨げになり、さらにたくさんのプライバシーにかかわる問題も生じる」と指摘する。
マサチューセッツ大学アマースト校研究者のある研究の結論は、秦氏の説に証拠を与えている。研究によると、1つのアルゴリズムを訓練する際の二酸化炭素排出量は、平均的な乗用車1台が製造から廃車までに排出する量の約5倍に上り、または飛行機がニューヨークとサンフランシスコ間約300往復の飛行と同量の二酸化炭素を排出する。研究者は、「人工知能の高い正確性を追求している間に、人々はエネルギー効率のことを忘れているようだ」と指摘する。
実際には「大規模」な人工知能は、オフラインやリアルタイムの意思決定には適さない。例えば、自動運転のソリューションで、巨大なエネルギー、巨大なバンド幅に日に日に依存するようになっており、そのようなスタイルは経済的にも、生態的にも、持続不可能だ。
また、研究者はそのような動向により、人工知能が一部の巨大テクノロジー企業に集中する流れが加速する恐れもあり、学術界や資源の乏しい国は、資源不足の実験室が全く使い物にならなかったり、計算コストの大きなモデルを開発できなかったりすると懸念する。
ディセントラリゼーションが今後のトレンドとなるか？
人工知能は既に人々の生活に溶け込み始めてはいるものの、最終的な成功は、大規模な商用化ができるかにかかっており、それは、「Tiny AI」の発展を推進する直接的原因であるはずだろう。
海南普適智能科技有限公司の陳嘯翔・最高経営責任者（CEO）は、「人工知能をめぐる人類の壮大な夢を実現するために、小さなこと、些細なことから手掛けなければならない。クラウドデータ主導の流れは現在変化しており、将来の人工知能環境はディセントラリゼーションとなるだろう」との見方を示す。
海南中智信情報技術有限公司の于建港・社長は、「コンピューターの発展とは反対の道をたどることになる。コンピューターの発展は個人端末から、インターネット化、そしてバーチャル化への過程を経験した。一方、「Tiny AI」は、まずインターネット化、モバイル化し、それから端末化するという道をたどっている」とする。
例えば、グーグルのAI言語研究者であるJacob Devlin氏が率いるチームが開発した自然言語処理モデル「BERT」は、単語と文脈を理解することができ、文章を書く際にアドバイスを出したり、完成されたフレーズを提供したりすることができる。「MITテクノロジーレビュー」によると、「BERT」は、データのパラメーター数が3億4,000万にも上り、モデルを1回訓練するだけで米国の家庭1世帯が50日間で使う電力が必要となるという。
華為（ファーウェイ）の研究者が発表している文章によると、彼らが作成した「Tiny BERT」と呼ばれるモデルが、オリジナル版「BERT」の7.5分の1以下のサイズで、約10倍の速度を実現した。また、グーグルの研究者が発表した文章によると、彼らはオリジナル版「BERT」の60分の1以下のバージョンを作ることに成功した。ただ、言語理解力は「Tiny BERT」と比べるとわずかに劣る。
ファーウェイとグーグルはどのようにモデルの小規模化に成功したのだろうか。2社は、「知識の蒸留」と呼ばれる一般的な圧縮手法の変形版を用いた。この手法では、縮小したい巨大な人工知能が学んだモデルを圧縮して、そのイメージ内ではるかに小さなモデルの学習に利用する。その過程は教師が生徒を訓練するのに似ている。
「Tiny AI」は、人工知能研究界がアルゴリズムを小規模化するための努力の結果と理解することができる。それにより、モデルの大きさを小さくできるだけでなく、推理速度も速くなり、高水準の正確性を保つこともできる。その他、周辺でずっと小さいサイズのアルゴリズムを配置することができ、データをクラウドに送信する必要がなくなり、デバイス上で意思決定を行うことができるようになる。
3つの面から現在のモデルを小規模化する
小型データ、小型ハードウェア、新材料、小型アルゴリズムなどがかかわる「Tiny AI」は総合的な方法で、データ、ハードウェア、アルゴリズムの共同開発と関連している。
モデルの正確度に目に見える影響を与えない前提で、いかに現有のディープラーニングモデルを小規模化するかについて、秦氏は、「ハードウェアのエッジコンピューティング、アルゴリズムのモデルのシンプル化、データのワン・ショット・トレーニングの3つの面から着手できる」と指摘する。
新技術にしても、新理念にしても、人々が注目しているのは、市場での普及率、特に製品の大量生産と実用性についてだ。
「Tiny AI」は、具体的には音声アシストやデジタルメイクなどに応用でき、リアルタイムでのシーンの理解、エッジターゲット検出などの技術に関わっている。これにより新たな応用を可能にする可能性がある。例えば、モバイル端末に基づく医学映像分析や速やかな反応が求められる自動運転モデルの開発などだ」と秦氏。
于社長は、「現在、小型アルゴリズムは通常、数百メガから数ギガで、スマホに搭載することができる。『Tiny AI』は、フロントコントロールが必要な全てのアプリに応用でき、たとえ5G（第5世代移動通信システム）のカバーが加速し、通信の低遅延が実現するようになっていても、工業自動化抑制、自動運転、宇宙飛行など高速反応が必要なアプリでは、オンプレミス人工知能アルゴリズムが必要だ。端末がシンプル、かつスピーディーにフィードバックを行い、サーバーが重大な意思決定を行うというのが今後の業務形態になるだろう」との見方を示す。
2019年末の中国パブリックセキュリティEXPOで、人工知能のアーリーステージ企業が「Tiny AI」を展示した。同企業は、低消費電力、小体積のNPUとMCUを統合し、市販される各種主流2D/3Dセンサーを適合させており、その2D/3D画像認識、音声認識などのニーズに応えたAIソリューションが業界の注目を集めた。また、NVIDIAやファーウェイなども端末型グラフィックス・プロセッサーを打ち出し、サイズが小さく、消費電力も少なく、シンプルなアルゴリズムには十分の機能を備えている。
技術の発展の初期段階には緩和的な発展環境が必要
「Tiny AI」はまだ発展の初期段階にあり、同分野の安全、倫理、プライバシーなどの問題も同様に注目を集めている。
秦氏は心配な2つの点を挙げる。一つはアルゴリズムによるバイアスが激増する可能性があるという点だ。「アルゴリズムによるバイアスを解決するのが難しい根本的な原因は、アルゴリズムの解釈可能性とトレーニングデータの不均衡だ。従来のクラウドトレーニングと比べると、『Tiny AI』のトレーニングデータセットのサンプルが少なく、データの分布にバイアスが生じる可能性が高い。もう一つの潜在的リスクは、データ改ざんの影響だ。敵対的生成ネットワーク（GAN）やディープフェイク技術を代表とする動画や画像技術は常に人気の人工知能アルゴリズム研究分野だ。それらの技術が普及するにつれ、クライアントは今後大量のフェイクデータを受信したり、生成したりするようになる可能性が非常に高い。『Tiny AI』は、計算力の制約を受けるので、分散ネットワークの枠組みにおいて、いかに効果的にそれらフェイクデータを見分けるかが、潜在的リスクとなる可能性が高い」と指摘する。
于社長は、「『Tiny AI』が、分散型人工知能の発展を促し、各端末がAIのノードとなり、それぞれが独立して存在するようになり、ブロックチェーンのような応用が登場することになる。ネットワークサイドの抑制力は低くなり、政府の管理コントロールリスクは高まるだろう。しかし、どんな技術も諸刃の剣で、リスクがあったとしても、人工知能の管理・コントロール技術も発展している。「Tiny AI」がプラスの効果をもたらすと信じるべきで、初期段階に多くの制限を加えるべきではない」という見方を示した。
※本稿は、科技日報「用"小AI"解決人工智能的"大"煩悩」（2020年3月9日付7面）を科技日報の許諾を得て日本語訳／転載したものである。