第143号
トップ  > 科学技術トピック>  第143号 >  ビッグデータシステムコンピューティング技術の展望(その2)

ビッグデータシステムコンピューティング技術の展望(その2)

2018年8月14日

王海濤

王海濤:
深圳大学計算機輿軟件学院研究助手、
大数据系統計算技術国家工程実験室弁公室主任

略歴

主な研究内容はデータマイニングとビッグデータコンピューティング・プラットフォーム。


毛叡

毛叡:
深圳大学計算機輿軟件学院副院長、
大数据系統計算技術国家工程実験室教授、副主任

略歴

広東省国産高性能データコンピューティングシステム工学技術研究センター主任、広東省普及型高性能コンピュータ重点実験室常務副主任。主な研究内容は汎用ビッグデータの管理・分 析方法と高性能コンピューティング。中国コンピュータ学会シニア会員、ビッグデータ専門家委員会とデータベース専門委員会常務委員、広東省コンピュータ学会クラウドコンピューティング専門委員会主任、CCF YO C SEF(深圳)主席(2016~2017年)、2016年中国データベース学術会議プログラム委員会共同議長、2017年中国コンピュータ学会ビッグデータ学術会議プログラム委員会共同副議長。様 々な課題に対応するビッグデータ汎化の理念を提起したほか、距離空間をベースとする汎用ビッグデータ管理・分析理論フレームワークを打ち立てた。国 際会議SISAP2010とBIBE2003の最優秀論文賞を取得。


明仲

明仲:
深圳大学計算機輿軟件学院教授、常務副院長、
大数据系統計算技術国家工程実験室実行主任

略歴

現在、「鵬城学者計画」特任教授、深圳大学二級教授、華東理工大学非常勤教授、深圳大学および中国科学院深圳先進技術研究院博士生指導教員、教育部大学コンピュータ基礎教学指導委員会委員、第 8回中国コンピュータ学会(CCF)理事、広東省省部院IoT産学官連盟副理事長、CCF YO C SEF(北京)AC栄誉委員を務める。広東省優秀教学成果一等賞を2回、二等賞を2回それぞれ獲得。2 009年、深圳市優秀教師に選出。「クラウドデータ交換とサービススケジューリングプラットフォームおよび応用」プロジェクトは、2013年度の広東省科学技術賞一等賞(ランキング1位)、「 データ統合と情報共有に基づくESB統合プラットフォームソフトウェア」プロジェクトは2009年度深圳市科学技術革新賞(ランキング1位)を獲得したほか、2010年度の広東省科学技術賞三等賞( ランキング1位)を獲得。

その1よりつづき)

3 ビッグデータシステムコンピューティング技術の革新プラットフォーム

 国際社会および中国政府がビッグデータを国家戦略に格上げしたことを受け、国家発展改革委員会は2017年、中国におけるビッグデータコンピューティング・プ ラットフォームと基礎技術の研究が不十分であるという状況を鑑み、深圳大学が中心となって「大数据系統計算(ビッグデータシステムコンピューティング)技術国家工程実験室(以下、国家工程実験室)」を 建設することを承認した。国家工程実験室は、国によるビッグデータ戦略実施のニーズに合わせ、中国のビッグデータコンピューティング・プラットフォームの安全性・信頼性が低く、ソ フトウェアの汎用性が低いといった突出した問題の解決に注力する。また、国産の高性能プロセッサインターコネクトチップとコンピューティング・プラットフォームを採用し、ビ ッグデータのスマート診断と自動エラー訂正など、信頼性の高い情報の高速転送を実現し、ビッグデータコンピューティング・プラットフォームの安全管理能力を高め、国の暗号化アルゴリズムに対する要求を満たす。さ らに、自主制御可能な汎用性の高いビッグデータコンピューティング・プラットフォームを構築することを主な目標とし、高性能ビッグデータコンピューティングにおける共通問題を解決し、そ れを踏まえてビッグデータの試験的応用・開発に取り組む。各技術のアーキテクチャと関係は図1を参照のこと。

img1

図1 国家工程実験室の研究方向

 国家工程実験室がブレイクスルーを目指す3つの主な技術は、(1)高性能で安全なビッグデータコンピューティング・プラットフォームの開発、(2)汎 用性の高いビッグデータコンピューティングの共通キーテクノロジーの研究、(3)ビッグデータの試験的応用の開発――であり、これにより中国のビッグデータコンピューティング・プ ラットフォームが直面している安全性、汎用性が低いといった問題を集中的に解決する。また、全面的に国産化された、特定分野向けのチップおよびソフトウェア技術を採用し、完 全に自主制御可能な高性能ビッグデータコンピューティング・プラットフォームを実現する。さらに、この自主制御可能なハードウェアコンピューティング・プラットフォーム上で、ビ ッグデータコンピューティングの共通キーテクノロジーに適用するシステムソフトウェアを開発する。このほか、ビッグデータコンピューティングの試験的応用に向け、アプリケーションソフトウェア技術の開発を行い、「 ハードウェア -- システムソフトウェア -- アプリケーションソフトウェア」の完備されたビッグデータコンピューティング生態環境を構築する。

(1)高性能で安全なビッグデータコンピューティング・プラットフォームの開発

 国家・国防の情報化が進むにつれ、自主制御可能なビッグデータコンピューティング・プラットフォームの構築は国家の戦略的安全に関わる極めて重要な問題となった。現在、中 国の絶対的多数のビッグデータコンピューティング・プラットフォームは中国国外のソフト・ハードウェアシステムをベースとしている。ビッグデータコンピューティング・プラットフォームの安全性・信 頼性が低いことや、ソフトウェアの汎用性が低いといった問題は、ビッグデータ業界において最も突出した問題となっている。国外の基礎技術プラットフォームを採用すれば、コ ア技術で他国による制約を受けなければならず、しかも中国の重要なデータ情報の安全が直接的な脅威にさらされる。国家工程実験室は「ハードウェア -- システムソフトウェア -- アプリケーション」の 3段階により、信頼性が高く、高性能な国産のビッグデータプラットフォームを構築する。同プラットフォームの構築は、国産プロセッサをベースとするビッグデータコンピューティング・ハ ードウェアシステムの研究開発を核心的な方向性とする。RAS2.0(システムの信頼性(reliability)、可用性(availability)および保守性(serviceability)が強化)と プロセッサインターコネクト技術を採用し、既存の標準的なオープンプラットフォームを上回るスタンドアローン型の信頼性と計算性能を提供する。ファームウェアベースの、オペレーションシステム( operation system,OS)に依存しない故障反応・診断メカニズムを採用し、全面的・自動的に故障情報を収集・分析し、能動的に警告を発し、故障した部品を分離・交換し、C PUやメモリなどコア部品のオンラインメンテナンスを率先してサポートし、計画内のゼロ・ダウンタイム・メンテナンス設計をめざし、重要部門・企業の重要な業務が途切れることがないよう保障する。

(2)汎用性の高いビッグデータコンピューティングの共通キーテクノロジーの研究

 国家工程実験室は、汎用性の高いビッグデータコンピューティングの共通キーテクノロジーの研究を行う。ビッグデータコンピューティングは、デ ータ量やデータタイプなどの面で伝統的な高性能コンピューティングとは大きく異なり、データへのリアルタイム応答、安全性などの面で特殊な要求がある。国家工程実験室は、汎 用のビッグデータ並列計算フレームワーク、統合プラットフォーム集積、データストレージ、リソーススケジューリング、データセキュリティ、統合応用環境という6つの方面からの研究を計画している。距離空間( metric space)をベースとするビッグデータ抽象フレームワークは、距離空間を利用してビッグデータの複雑なデータタイプと多様な距離を統一されたデータタイプと距離関数インタフェースに抽象化し、サ ポートポイント選択アルゴリズムを通じて若干のサポートポイントを選択し、データからサポートポイントまでの距離を座標とすることで、データを無座標の距離空間から座標のある多次元空間にマッピングし、多 くの数学ツールを使用できるようにする。

(3)ビッグデータの試験的応用の開発

 特定分野のビッグデータの試験的応用およびその基礎技術の開発は、国家工程実験室建設の重要目標の一つである。国家工程実験室の建設においては、「スマートシティ」「スマート製造」「スマート政府」「 スマートサービス」などの分野の重要な応用技術から出発し、5つの試験的応用および基礎技術の開発に取り組む。これには、多次元時空間ビッグデータ分析のスマートシティにおける試験的応用、物 流ビッグデータの試験的応用、メディアビッグデータ分析の試験的応用、モノのインターネット(IoT)ビッグデータの試験的応用およびビッグデータ視覚化分析技術の試験的応用が含まれる。試 験的応用の開発および基礎技術の研究を通じ、ビッグデータの「産学官用(企業・大学・研究機関・実用化)」が提携した革新的なエコシステムを構築し、「大衆創業、万衆創新(大衆の起業、万人の革新)」を促進する。 

4 ビッグデータシステムコンピューティング技術プラットフォームをベースとしたビッグデータエコイノベーション拠点の建設

 国家工程実験室の機能的位置づけは、中国のビッグデータ分野をリードする「4つの拠点」という言い方で次のようにまとめることができる。

(1)ビッグデータ技術の革新とコンピューティング・プラットフォーム拠点

 国家工程実験室は、ビッグデータコンピューティングの共通キーテクノロジーの革新能力と、ビッグデータコンピューティング・プラットフォームの基本的なサポート能力および、最 先端技術の成果と重大プロジェクト計画の集積・テスト・検証能力によって、先進的で成熟した技術の産業界における応用ニーズを保障することを特に重視している。

(2)人材育成と交流の拠点

 国家工程実験室は、重要なニーズによる技術革新の牽引と多学科・学際的な人材育成を人材育成の特色とし、学校と企業による連携および国際化を人材育成の手段とし、理論の追求と実践・開 発の能力を兼ねそろえた複合型の人材育成に力を入れている。また、香港・マカオ地区および欧米の有名大学との共同研究、特色ある専攻、訪問学者などの活動を通して、国際的なハイエンド人材の交流・協 力の常態化を実現し、地域的なビッグデータ・ハイエンド人材の育成および国際交流の拠点となることをめざす。

(3)産業インキュベーションとサービスの拠点

 国家工程実験室は、深圳、香港および珠江デルタ地域における次世代情報技術分野の「創客(メイカー)」らの、ビッグデータ技術とサービスに対する共通のニーズを踏まえ、ビッグデータを駆使した革新・創 業のための技術やプラットフォーム、人材などの公共技術・サービス面のサポートを提供し、創業プロジェクトの成熟化を促進している。

(4)ビッグデータのコラボレーティブイノベーション拠点

 国家工程実験室は、政府と社会資源の幅広いマッチングを行い、政府の公開データをソースとし、社会の応用ニーズをけん引力とし、ビッグデータプラットフォームをコアとし、広 東および香港の大学人材チームを支柱とし、社会資本を絆とし、大手企業と産業パークを出口とする、ビッグデータの上下流チェーンが協力しながら発展するターミナルとなり、ビッグデータ分野の「政産学官資介用( 政府、企業、大学、研究機関、資本、仲介機関、実践・運用)」という多元的な革新資源がうまく融合する産業生態系を共に建設していく。

 国家工程実験室は大学を建設の主体とし、ビッグデータ分野の共通コア技術の革新、コアプラットフォームの建設、ハイエンド人材の育成、公共技術サービスを実現し、ビ ッグデータ分野の技術駆動の発展という要求に応える。また、大学は公的な国立の研究機関であるため、コラボレーティブイノベーションの公的性と持続性を保障することができる。

5 ビッグデータシステムコンピューティング技術の「産学官」協力および業界における応用のモデルプラットフォーム

 ビッグデータ産業の発展と応用・普及を効果的にサポートし、国家工程実験室の取り組みの成果を通じて各業界におけるビッグデータ応用の基礎・共通ニーズをサポートする能力を十分に発揮させるため、実 験室はビッグデータの「産学官」協力および業界における応用のモデルプラットフォームを構築する。プラットフォームが提供する主なサブシステムと機能は以下の通り。

(1)データ資源目録システムとサービス

 プラットフォームはデータ資源目録サービスを提供する。すでに収集したデータ資源を標準データセットにまとめ、第三者パートナーに使用権を授与する。また、外部のデータ資源を集約し、使 用するデータ資源に処理を施した後の標準データセットを、データ資源目録の形で権限を有するユーザーに公開し、アクセス・クエリ・段階的使用ができるようにする。また、デ ータ資源に基づくプロジェクトのリストを提供し、データ資源の価値理解と水平方向の対比ができるようにし、産業生態の発展を促進する。

(2)業界におけるビッグデータ応用のケースライブラリおよびサービス

 業界におけるビッグデータ応用および普及を促進し、業界におけるビッグデータ応用の標準化と製品化を強化するため、プ ラットフォームは業界におけるビッグデータ応用のケースライブラリおよび関連サービスを提供する。プラットフォームによって構築された各業界におけるビッグデータ応用のケースを統一的に管理し、対 外承認サービスを行う。また、オープンソースソフトウェアの管理・発展モデルを参考に、本プラットフォームが提供するケースに基づきカスタマイズ・開発されたケースは、本 プラットフォームに届け出をすることを義務づけるとし、それぞれのバージョンのケースの所有権を明確にし、パートナー間のウィンウィンの発展を促進する。

(3)資源管理と共有サービス

 異なるユーザーおよびケースの開発と運行を効果的にサポートするため、プラットフォームは資源管理と共有サービスを提供し、ユーザーおよびケースの管理を行う。プ ラットフォームはユーザーによるケースの開発と運行に必要な資源に基づいて動的な配分と管理制御を行い、IaaS層、PaaS層のプラットフォーム資源の共有を実現する。

6 中国のビッグデータ革新能力の強化

 ビッグデータシステムコンピューティング技術革新プラットフォームは今、世界的なビッグデータの競合発展のスタート地点に位置し、また、世界のビッグデータの技術体系と産業構造がまだ完備・成 熟していない初級段階に位置している。世界のビッグデータ技術と産業発展の趨勢に狙いを定め、中国のビッグデータ発展の戦略的ニーズに焦点をあて、地域的なビッグデータ革新・創業の優れた環境をよりどころとし、建 設機関の革新成果の基盤と相補的な資源の優位性を発揮し、ビッグデータの処理・分析をテーマに据え、ビッグデータコンピューティング・プラットフォームとビッグデータ基礎技術の開発を主な任務とし、重 要業界におけるビッグデータ応用モデルの開発と促進を方向性とし、多学科・多分野にまたがる学際的なイノベーションキャリアの構築を手段とし、ビ ッグデータ分野の技術と応用に関する問題を全面的かつ系統的に解決し、自主革新によるビッグデータの成果を通じて、関連産業のモデルチェンジ・アップグレードと「大衆創業、万衆創新(大衆の起業、万人の革新)」 戦略の実現を支援し、けん引していく必要がある。

 まず、革新プラットフォームは、中国のビッグデータ革新能力の建設を強化していく。ビッグデータは次世代情報技術の核心的な方面性であり、競争の最先端である一方で、ビ ッグデータ産業の急速な発展を制約する重要なボトルネックでもある。ポスト情報時代の今、ビッグデータ技術の革新力は、一国の競争力を判断するための重要な指標となっている。伝統的な情報技術革新とは異なり、ビ ッグデータ技術革新は、研究人材、研究機関、協力モデル、資源などの面でより高い要求をつきつけているため、国のビッグデータニーズを満たす革新・組織・交流・協力の役割を担い、多 元的な革新の主体と資源を効果的に組織・融合し、協力を実現させることができるハイレベルのビッグデータ・イノベーションキャリアが必要である。本 プロジェクトによって自主制御可能なビッグデータコンピューティング・プラットフォームと一連のビッグデータ基礎技術が開発されれば、国家ビッグデータ革新体系の重要な構成要素、推進の突破口となることであろう。 

 次に、革新プラットフォームは中国のビッグデータ技術と応用に向けた重要なニーズを満たしていく。技術革新プラットフォームに基づいて構築したビッグデータシステム技術の直接的な産出は、ビ ッグデータ技術成果を系統的かつ全面的に提供することである。具体的には、時空間ビッグデータ、物流ビッグデータ、メディアビッグデータ、モノのインターネット(IoT)のビッグデータなど、試 験的なビッグデータ応用の関連機械学習理論、分析モデルとアルゴリズムおよび応用の関連ツール、システムとプラットフォーム、業界におけるビッグデータ応用のソリューションなどが含まれる。これらの技術成果は、極 めて高い適用性と普及性を持ち、さらなる具体的な応用シーンとニーズに向け、第三者によるカスタマイズ・開発を行うことで、より幅広い業界・分野・段階・シーンでの応用が可能になり、中 国のビッグデータ応用発展を制約するボトルネックを解消することができる。

 さらに、革新プラットフォームは中国のビッグデータ技術サービス産業のさらなる発展を促進していく。伝統的な情報産業の発展の過程と同じく、ビッグデータも徐々に相対的に独立し、体 系が完備された産業形態を形成し、伝統的な情報産業のアップグレード・モデルチェンジを完了するとみられる。インターネットとクラウドコンピューティングの発展の過程と趨勢が証明するように、ビ ッグデータの将来の産業形態もサービスを中心とする新たな産業形態となり、ビッグデータ産業体系の各段階において極めて豊富なサービスが形成されるだろう。コンピューティング・プラットフォームから基礎技術、そ して試験的応用にいたるまで、ビッグデータ技術体系における主要分野を全てカバーするコア技術で革新とブレークスルーを果たし、技術成果は技術、特許、ソフトウェア、システム、プラットフォーム、プラン、ト レーニング、コンサルティングなどの形で社会に向けてサービスを提供し、中国のビッグデータ技術サービス産業の発展を促進する。

 最後に、革新プラットフォームは中国のビッグデータ「大衆創業、万衆創新(大衆の起業、万人の革新)」生態環境の成熟と完備を後押しする。現在、中国の「大衆創業、万衆創新」戦略により、多くの創客( メイカー)チームとビジネスインキュベーターが急速な発展を遂げている。情報技術とサービス関連の創業プロジェクト、特にインターネット、モバイルインターネット、モノのインターネット(IoT)、ス マートハードウェアなど分野の創業プロジェクトはどれもビッグデータ技術のサポートが欠かせない。ビッグデータシステムコンピューティング技術革新プラットフォームはビッグデータコンピューティング・プ ラットフォームを開発し、ビッグデータの基礎技術を研究し、ビッグデータ応用のための全てのコア機能とコンポーネントを備え、さらにワンストップ式でユーザーにサービスを提供する。このため、「大衆創業、万 衆創新」戦略の重要な支柱となり、創客らがビッグデータ技術を使用する条件を引き下げ、創客間の交流と協力を後押しし、プラットフォームを核心とするビッグデータ関連の革新創業生態系を形成することができる。 

7 結語

 本稿は、ビッグデータコンピューティング・プラットフォーム、基礎技術、ビッグデータ応用の現状および課題から出発し、大数据系統計算(ビッグデータシステムコンピューティング)技 術国家工程実験室の革新プラットフォームについて紹介した。革新プラットフォームは、高性能かつ安全なコンピューティング・プラットフォームの開発、汎用性の高いビッグデータ基礎技術の開発を基礎とし、ビ ッグデータの試験的応用に取り組んでいく。革新プラットフォームをビッグデータ生態革新の拠点とすることで、ビッグデータの「産学官」一体の総合的な生態系を完備する。また、ビッグデータの「産学官」協 力および業界における応用モデルのプラットフォームを打ち立て、ビッグデータ人材育成の環境を改善し、ビッグデータ研究の研究成果の転化を促進する。革新プラットフォームの建設は、中 国のビッグデータ革新能力を高め、中国のビッグデータ技術と応用の重要なニーズを満たし、中国のビッグデータ技術サービス産業を発展させ、中国のビッグデータ「大衆創業、万衆創新」生 態環境の成熟と完備を後押しする。

(おわり)


※本稿は王海濤,毛叡,明仲「大数据系统计算技术展望」(『大数据』2018年第2期、pp.97-104)を『大数据』編集部の許可を得て日本語訳/転載したものである。記事提供:同方知網(北京)技 術有限公司