脳型知能研究の回顧および展望（その２）
2017年11月8日
曽 毅：中国科学院自動化研究所脳型知能研究センター、中国科学院脳科学・知能技術卓越創新センター
博士、研究員。主な研究分野は、脳型知能、認知脳計算モデリング、言語理解、知識表現および推論。
劉 成林：中国科学院自動化研究所脳型知能研究センター、中国科学院自動化研究所パターン認識国家重点実験室、中国科学院脳科学・知能技術卓越創新センター
博士、研究員。主な研究分野はパターン認識、脳型情報処理。
譚 鉄牛：中国科学院自動化研究所パターン認識国家重点実験室、中国科学院自動化研究所知的認識・計算研究センター、中国科学院脳科学・知能技術卓越創新センター
博士、研究員。中国科学院院士、英国王立工学アカデミー外国人会員。主な研究分野は人工知能、パターン認識、コンピュータビジョン、バイオメトリック認証、ネットワークデータの理解および安全。
（その１よりつづき）
2 脳型知能の歴史
文献[7]は、人間とコンピュータによる情報処理メカニズムの間の関係の大筋を模索する重要な著作である。著者は、コンピュータと人間の脳の情報処理メカニズムの異同の大枠を論じており、脳神経系はデジタル計算とアナログ計算による混合計算システムであることを特に指摘している。また、高度なパラレル性や冗長設計等において、人間の脳は当時のコンピュータシステムに比べてアドバンテージがあることも指摘している［7］。
脳型知能という研究分野は萌芽期にあるため、学会ではまだ広く受け入れられる概念を形成できていない。「脳型知能」という専門用語が最初に登場した学会は、2007年にSendhoff､Spornsらがドイツで主催した第1回国際脳型知能シンポジウム（The International Symposium of Creating Brain-like Intelligence）であり、その後出版された会議の論文集において、「脳型知能は、高度に進化した生物の脳によって体現される知能である」［10］ことが指摘されている。
総じて言えば、100年に及ぶ研究を経た現在も、脳の情報処理メカニズムに対する認識はまだ初歩的なものに過ぎず、一つ一つのニューロンの細部に基づいて人間の脳と完全に一致する知的システムを開発することはできていない。また、人間の脳は進化の産物であり、進化のプロセスにおいてさまざまな設計上の妥協が存在するため［11］、脳の情報処理メカニズムを出発点として、人工知能研究を推進する最良のルートは、脳からインスピレーションを受け、その作業メカニズムを参考にすることであり、脳を完全に模倣することではない。脳の情報処理メカニズム（脳神経メカニズムおよび認知行為メカニズムを含む）を参考にするという視点から見れば、以下の作業は脳型知能の模索における準備作業と言えよう。
2.1 認知科学における脳型知能研究の萌芽
チューリング賞の受賞者、Newellは最後のスピーチで、その研究人生を終えるまでに答えを見つけたい科学的問題について言及した。それは、「人間心理はいかに物理世界で再現できるか」［12］というものであった。その具体的な模索が、どうすれば人間の思考をコンピュータシステムで再現できるかであった。Newellの試みは、認知心理学を核心とした脳型知能の模索における早期段階と見なすことができ、その重要思想と成果は認知アーキテクチャに凝縮されている。現在、認知心理学と人工知能分野で広く心理モデリングに応用されている認知アーキテクチャのSOARとACT-Rのいずれも、Newellの直接の指導により、または彼からインスピレーションを受けて発展したものである。SOARとACT-Rのいずれもカーネギーメロン大学が発祥であり、このうち、SOARという認知アーキテクチャは当初、Newellが指導していた。Newellは自身の認知統一理論をSOARシリーズの認知アーキテクチャに傾注させ、その後Lairdが引き続き発展させた［13-14］。このシステムの核心はプロダクションシステムにあり、かつ、これを基盤に人間のさまざまな認知機能のモデリングを実現したことにある。SOARシステムは認知ロボットと軍事領域で広く応用されている［15］。Anderson［12］の主導によるACT-R認知アーキテクチャもNewellの仕事からインスピレーションを受けたもので、その基本は人間の記憶に関するモデルであるHAMまで遡ることができる［16］。Andersonはのちに、脳の情報処理メカニズムに関する認知神経科学研究の成果をACT-Rに導入し、特に脳の画像技術に基づいてACT-Rを発展させたことが、さまざまな認知機能を支援する脳部位の回路に対して計算モデリングを行うACT-Rと、SOARならびにその他の認知アーキテクチャとを分ける最も明らかな特徴となった［12］。ACT-Rにより、脳部位の回路のモデリングが基本的に実現し、特定の作業を行う際の脳の活動予測の支援が可能になったのみならず、知的システムの応用の面でも、ACT-Rは自然言語処理や教育、軍事等の分野でも広く応用されるようになった［12］。
2.2 計算論的神経科学における脳型知能の模索の早期段階
計算論的神経科学とは、計算モデリングを手段として、脳神経の情報処理原理を研究する学問分野である。この分野は確立当初から脳型知能研究という目標と密切な関係があった。その理由は、この分野の研究の重点の一つがさまざまな尺度の計算モデリングという方法を通じて、多様な認知機能を持つ脳の情報処理モデルを検証することにあったためである。Marr［17］は、コンピュータビジョンの開拓者であるだけでなく、計算論的神経科学分野においてニューロン群の間におけるメモリ内蔵、処理、情報伝達に関する計算の基礎を築き、特に学習と記憶、視覚関連回路における計算モデリングにおいて重要な貢献を果たした［18-21］。計算論的神経科学では、ニューロンの情報処理に関する計算モデリングの面で多くの成果がある。HodgkinとHuxley［22］は、生理実験の結果に基づいて初の精細な動作電位モデルを構築し、ニューロンのイオンスケールの計算モデリングにおいて基礎を築いた。Tsodyksら［23］はニューロン間のシナプス計算モデルを構築し、ニューラルネットワークにおける情報伝達に関する計算の基礎を築いた。
しかし、総じて言えば、既存の計算論的神経科学では依然として、神経系が表出させる物理現象（振動、相転移等）とミクロスケールのモデリングに多くの関心を注いでおり、脳の認知システム全体に対してはフレームワークレベルの計算モデルが相対的に不足している。スイス連邦工科大学ローザンヌ校（EPFL）によるBlue Brain Project（BBP）は2005年からスタートしており、このプロジェクトでは計算シミュレーションの方法によってコンピュータ上に完全なラットの脳を再建することで、脳の情報処理メカニズムと知能の高度な模索を実現しようとしている［24］。このプロジェクトには深遠なる科学的ビジョンがあるが、脳神経系はマルチスケールの構造であり、いずれの情報処理メカニズムにも未解決の重要問題が若干存在するため（例えば、ニューロンの精細スケールの連結構造や脳の部位レベルでのフィードバックのメカニズム等）、ニューロンとシナプス数が人間の脳のわずか1/1000規模しかないラットの脳の計算モデルを完全に構築できたとしても、現在の科学レベルから見ればまだ大きな困難がある。このプロジェクトはすでに10年の努力を経ており、主に非常に精細なミクロニューロンとその微小回路のモデリングに注目してきた結果、現時点では特定の脳部位内における皮質柱の比較的完全な計算シミュレーションに成功している［25］。しかし、これを基盤として本当の意味で認知機能のシミュレーションを実現するには、まだ大きな隔たりがある。
2.3 人工知能における神経回路の研究
人工知能分野の歴史上での若干の進展は、いずれも脳型という思想と切り離すことはできない。人工知能の記号主義研究の出発点は、人間の思考や行為の記号化という高いレベルでの抽象化・記述であると考えて良い。しかし、人工ニューラルネットワークを代表とする連結主義の出発点は、まさに脳神経系のアーキテクチャおよびその計算メカニズムに対する初歩のシミュレーションである。早期の人工ニューラルネットワーク研究では、脳神経系の生物学的根拠を真の意味ではあまり参考にせず、主にニューロンやシナプスによる連結という基本概念を参考にしていたが、具体的なニューロンの作業原理やシナプスの形成原理、ネットワーク構造等は脳の神経回路とは大きな違いがあった［26］。
人工ニューラルネットワークの研究は、1940年代まで遡ることができる［27］。一部の人工ニューラルネットワークモデルでは、脳のニューロン間のシナプス連結においてヘッブの法則をその学習理論としている［28］。パーセプトロン（Perceptron）は表層の人工ニューラルネットワークの代表であり、その強化学習能力により大きな関心を集めている。Minskyら［29］が、単層パーセプトロンではXOR関数を表示できないという欠陥を指摘したことによって、人工ニューラルネットワークの研究は一時的に低迷したが、逆伝播アルゴリズムの発表によって多層パーセプトロンによる学習という難題が解決された［30］。その後、文献[29]において提示された二つ目の問題、すなわち、当時の計算能力の向上では大規模なニューラルネットワークにおける訓練の支援に充分ではないという問題が、ディープラーニングの誕生とその支援ハードウェア・プラットフォームの発展に至るまで、人工ニューラルネットワークの発展を長期的に制限していた［31］。ディープラーニングが発表される前に、Rumelhartら［32］が誤差逆伝播アルゴリズムを改めて発表したことによって、非線形モデル分類において示されたその強大な性能による人工ニューラルネットワーク研究と応用のブームが到来した。また、LeCunら［33］が発表した畳み込みニューラルネットワークはFukushimaら［34］がそれ以前に発表したNeocognitronによりインスピレーションを受けており、Neocognitronの主な特徴は早期の神経科学で発見された局所受容野の採用である［35］。ディープラーニングのアルゴリズムが発表された後は、GPUの並列計算の普及とビッグデータの登場に伴い、大規模データ上での多層のニューラルネットワーク（20層あまりに達するものもある）による訓練も可能になったことから、ニューラルネットワークの学習能力と汎化能力が大幅に向上された。しかしながら、層数を増やした人工ニューラルネットワークも依然として脳神経系の粗雑なシミュレーションに過ぎない上に、学習のフレキシビリティも人間の脳にはるかに及ばない。
人工ニューラルネットワークの研究において、ほとんどの研究者の関心はネットワーク学習性能の向上にある。RiesenhuberとPoggioら［36-37］ならびに共同研究者による成果のうち、特に人間の視覚情報処理回路を模倣して構築されたHMAXモデル上の一連の研究は、人工ニューラルネットワークを脳型の方向に発展させる上での模範である。このほか、Bengioと共同研究者は脳の大脳基底核と前頭葉の情報処理メカニズムを融合させた脳型の強化学習を発表したことも、人工ニューラルネットワークがさらに脳型の方向に発展する上で大きな影響力を持つ研究である［38］。
人工知能の長い発展の歴史において、多くの研究成果は人間の行為のモデリングに集中しており、その目標は一般的に行為の尺度から人間レベルに近づけることである。かつての脳科学および神経科学研究では、知能行為に対するさまざまな尺度からの深い解釈を支援することが難しかったこと等が理由で、これまでは総じて、知的システムの実現メカニズムにおいて脳神経メカニズムに迫る重要な成果は少なかった。
（その３へつづく）
参考文献：
[7]. von Neumann J. The Computer and the Brain. New Haven, USA: Yale University Press, 1958
[10]. Sendhoff B, Körner E, Sporns O, et al. Creating Brain-Like Intelligence: From Basic Principles to Complex Intelligent Systems. Berlin, Germany: Springer, 2009: 1-14
[11]. Linden D J. The Accidental Mind. Cambridge, USA: Harvard University Press, 2007
[12]. Anderson J R. How Can the Human Mind Occur in the Physical Universe? Oxford, UK: Oxford University Press, 2007
[13]. Laird J E, Newell A, Rosenbloom P S. SOAR: An architecture for general intelligence. Artificial Intelligence, 1987, 33(1): 1-64
[14]. Newell A. Unified Theories of Cognition. Cambridge, USA: Harvard University Press, 1990
[15]. Laird J E. The SOAR Cognitive Architecture. Cambridge, USA: MIT Press, 2012
[16]. Anderson J R, Bower G H. Human Associative Memory. Washington, USA: Lawrence Erlbaum Associates, 1973
[17]. Marr D. Vision: A Computational Investigation into the Human Representation and Processing of Visual Information. New York, USA: W. H. Freeman and Company, 1982
[18]. Marr D. A theory for cerebral neocortex. Proceedings of the Royal Society of London B, 1970, 176: 161-234
[19]. Marr D. Simple memory: A theory for archicortex. Philosophical Transactions of the Royal Society B: Biological Sciences, 1971, 262(841): 23-81
[20]. Marr D. Approaches to biological information processing. Science, 1975, 190: 875-876
[21]. Marr D, Poggio T. Cooperative computation of stereo disparity. Science, 1976, 194(4262): 283-287
[22]. Hodgkin A L, Huxley A. A quantitative description of membrane current and its application to conduction and excitation in nerve. The Journal of Physiology, 1952, 117(4): 500-544
[23]. Tsodyks M, Pawelzik K, Markram H. Neural networks with dynamic synapses. Neural Computation, 1998, 10(4): 821-835
[24]. Markram H. The Blue Brain Project. Nature Reviews Neuroscience, 2006, 7(2): 153-160
[25]. Markram H, Muller E, Ramaswamy S, et al. Reconstruction and simulation of neocortical microcircuitry. Cell, 2015, 163(2): 456-492
[26]. Mitchell T M. Machine Learning. New York, USA: The McGraw-Hill Companies, 1997
[27]. McCulloch W, Pitts W. A logical calculus of ideas immanent in nervous activity. Bulletin of Mathematical Biophysics, 1943, 5(4): 115-133
[28]. Farley B G, Clark W A. Simulation of self-organizing systems by digital computer. IRE Transactions on Information Theory, 1954, 4(4): 76-84
[29]. Minsky M L, Papert S. Perceptrons: Introduction to Computational Geometry. Cambridge, USA: The MIT Press, 1969
[30]. Werbos P. Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences [Ph.D. dissertation]. Cambridge, UK: Harvard University, 1974
[31]. Hinton G E, Osindero S, Teh Y W. A fast learning algorithm for deep belief nets. Neural Computation, 2006, 18(7): 1527-1554
[32]. Rumelhart D E, Hinton G E, Williams R J. Learning representations by back-propagation errors, Nature, 1986, 323(9): 533-536
[33]. LeCun Y, Boser B E, Denker J S, et al. Handwritten digit recognition with a back-propagation network//Touretzky D S ed. Advances in Neural Information Processing Systems 2. San Francisco, USA: Morgan Kaufmann Publishers, 1990: 396-404
[34]. Fukushima K, Miyake S. Neocognitron: A new algorithm for pattern recognition tolerant of deformation and shifts in position. Pattern Recognition, 1982, 15(6): 455-469
[35]. Hubel D H, Wiesel T. Receptive fields, binocular interaction, and functional architecture in the cat’s visual cortex. Journal of Physiology, 1962, 160(1): 106-154
[36]. Riesenhuber M, Poggio T. Hierarchical models of object recognition in cortex. Nature Neuroscience, 1999, 2(11): 1019-1025
[37]. Serre T, Oliva A, Poggio T. A feedforward architecture accounts for rapid categorization. Proceedings of the National Academy of Sciences, 2007, 104(15): 6424-6429
[38]. Rivest F, Bengio Y, Kalaska J. Brain inspired reinforcement learning//Saul L K, Weiss Y, Bottou L eds. Advances in Neural Information Processing Systems 17. Cambridge, USA: The MIT Press, 2004: 1129-1136
※本稿は曽毅，劉成林，譚鉄牛「類脳智能研究的回顧与展望」（『計算機学報』2016年第39巻第1期、pp.212-222）を『計算機学報』編集部の許可を得て日本語訳・転載したものである。記事提供：同方知網（北京）技術有限公司