ディープラーニングに基づく産業用仕分けロボットの迅速な視覚的識別と位置測定アルゴリズム（その３）
2017年10月31日
伍 錫如：桂林電子科技大学電子工程与自動化学院准教授、桂林電子科技大学広西自動検出重点実験室、蘇州大学機電工程学院
研究分野は非線形システム制御、ニューラルネットワーク、ロボット制御。
黄 国明：桂林電子科技大学電子工程与自動化学院修士生、桂林電子科技大学広西自動検出重点実験室
研究分野は機械学習、マシンビジョン、ディープラーニング。
孫 立寧：蘇州大学機電工程学院教授
研究分野はナノスケールマイクロドライブおよびマイクロマニピュレータ、産業用ロボット技術、医療ロボット、ヒューマノイドアームおよびロボットの構成と制御。
（ その２よりつづき）
3 実験および分析（Experiments and analysis）
3.1 実験
視覚に基づく六軸の柔軟性を持つ産業用仕分けロボットを利用して、アルゴリズムの識別と位置測定のテストを行った。テストプラットフォームは図10に示す通り。プ ラットフォーム中のコンピュータのスペックは以下の通り。プロセッサは Intel ®Core TM i3-2100 CPU @3.10 GHz、メモリは 12 G。ロ ボットプラットフォームは主に小型産業用ベルトコンベア、産業用カメラ、6 自由度のアクチュエーターから構成される。テストにおけるロボットの作業フローは以下の通り。
図 10 産業用仕分けロボットのテストプラットフォーム
Fig.10 The test platform of the industrial sorting robot
目標物がレーザーセンサーを作動させ、ベルトコンベアが停止し、目標物がカメラの視覚エリア内に置かれる。同時に、産業用カメラで画像を取得し、アルゴリズム処理後に目標物の所属カテゴリー、座 標位置およびその回転角を得る。さらに属性をアクチュエーターの制御端子に送る。アクチュエーターは物品を迅速に拾い上げ、予定の位置に並べる。もし目標物のカテゴリーが判断できない場合は、同 目標物の仕分けを放棄する。
作業場における仕分けロボットの光環境は多くの要素の影響を受ける。例えば、作業場の窓から入る屋外の光、作業場の照明の光や溶接のアークなどである。視覚的識別アルゴリズムのロバスト性を高めるため、実 験・テストは LEDの赤色光源（光源の位置は、図 9の右上にある産業用HDカメラの真下約15 cmの所）から発される安定した光環境下で行った。照明の直射により画像のコントラストを高めることができ、目 標物の分割および位置測定に有利となる。論文 ［14,26-28］ と位置測定結果の対比を行い、アルゴリズムの分析および討論を行った。
実験結果は2つの部分から構成される。一つは位置測定テストで、結果は表 1に示す。うち、計算による物理座標と実測による物理座標間の距離を位置測定の誤差とし、偏角なしの平均識別時間は駒の回転角が 0の状態で識別にかかった平均時間を表す。もう一つは識別テストで、結果は表 2に示す。位置測定テストでは主に目標物の位置測定結果の誤差を調べた。カ メラの視野は1000×1000ピクセルの正方形のエリアで、対応する物理的サイズは 100 mm×100 mmである（図 9の赤い光が直射するエリア）。目標物（中国将棋の駒）は直径28 mmの円形の木製の駒である。実験では、6種類の角度で駒を置いた場合を例とし、アルゴリズムの識別時間および検出・識別の適合率をテストした。ランダムに選んだ将棋の駒を使い、そ れぞれの角度に対し300回ずつ実験を行った。
3.2 実験結果の分析
表 1 のテスト結果から、アルゴリズムは実験環境において迅速に将棋の駒の位置を測定できることが分かった。位置測定の誤差は0.8 mm以内に収まり、論文[14]の結果を大きく上回った。これは、境 界画素検出・修正の手法が、駒の位置測定のタスクをこなす能力を持つことを意味している。k平均法など従来のクラスタリングアルゴリズムと比べ、境界画素検出アルゴリズムは合理的な前処理を行った後、反 復演算を必要とせず、すぐに位置測定の結果を得ることができるため、アルゴリズムのリアルタイム性能を高めるのに有利である。テスト結果から、アルゴリズム設計の合理性と有効性が証明された。
| 番号 | 画像のピクセル
座標 |
計算による
物理座標 |
実測による
物理座標 |
位置測定の誤差 | |||
| col/pixel | row/pixel | X/mm | Y/mm | X'/mm | Y'/mm | R/mm | |
| 1 | 624 | 731 | 62.4 | 73.1 | 62.9 | 73.5 | 0.640 |
| 2 | 413.5 | 564 | 41.35 | 56.4 | 41.3 | 56.8 | 0.403 |
| 3 | 300 | 610.5 | 30.0 | 61.05 | 30.2 | 61.5 | 0.452 |
| 4 | 555.5 | 419.5 | 55.55 | 41.95 | 55.7 | 42.4 | 0.474 |
| 5 | 634 | 321 | 63.4 | 32.1 | 64.1 | 31.8 | 0.762 |
| 6 | 311.5 | 424.5 | 31.15 | 42.45 | 31.5 | 42.1 | 0.495 |
| 7 | 356 | 456.5 | 35.6 | 45.65 | 35.1 | 45.3 | 0.610 |
| 8 | 528.5 | 386 | 52.85 | 38.6 | 52.3 | 38.1 | 0.743 |
| 9 | 712.5 | 623.5 | 71.25 | 62.35 | 70.8 | 62.4 | 0.453 |
| 10 | 428 | 290.5 | 42.8 | 29.05 | 43.2 | 29.6 | 0.680 |
識別テストの結果は表 2に示す通りである。写真の取得から目標物識別までの最短時間は0.049秒、識別適合率は98%を上回った。これは、C NNに基づく識別手法がBPニューラルネットワークに基づく識別手法 ［26］ や、ハフ変換に基づく識別手法 ［27］ 、年輪の統計に基づく識別手法 ［28］ よりも優れていることを意味する。同 アルゴリズムの識別精度が高く、耐ノイズ性に優れるという特徴が体現され、安定性が要求される場面に適していることがわかった。検 出の精度と識別の適合率という2つの指標により、ア ルゴリズムが目標物を検出できさえすれば、迅速かつ正確な目標物の識別が可能であることが明らかになった。これは、ト レーニングのサンプルおよびテストサンプルへの人為的な正則化が、ア ルゴリズムの学習と識別の効果を高めるのに有利であることを意味している。テスト結果からわかるように、本 稿のアルゴリズムモデルは現在の産業用仕分けロボットの視覚的作業の要求を満たすことが可能と言える。
| 偏向角/(°) | 平均識別
時間/s |
正しく検出
された 個数 |
検出の精度/% | 正しく識別
された 個数 |
識別の
適合率/% |
| 0 | 0.049 | 300 | 100 | 300 | 100 |
| 30 | 0.063 | 299 | 99.67 | 299 | 100 |
| 60 | 0.095 | 297 | 99 | 297 | 100 |
| 90 | 0.134 | 294 | 98 | 293 | 99.66 |
| 120 | 0.189 | 296 | 98.67 | 292 | 98.65 |
| 150 | 0.223 | 293 | 97.67 | 290 | 98.98 |
| 180 | 0.262 | 295 | 98.33 | 292 | 98.98 |
4 結論（Conclusion）
ディープラーニングは産業や生活などの分野で優れた特徴抽出性能を発揮し、大きな発展の潜在力を秘めている。本稿では、ディープ畳み込みネットワークと画像処理技術を組み合わせた手法により、仕 分けロボットの迅速な視覚的識別と位置測定を実現した。同アルゴリズムは複雑な目標物を迅速かつ正確に識別し、位置測定することができ、高い安定性を持つ。シミュレーション実験により、本 稿のアルゴリズムの有効性と精度が証明された。
（おわり）
主要参考文献：
[14]. 王殿君．基于視覚的中国象棋棋子識別定位技術 [J]．清華大学学報：自然科学版，2013，53(8)：1145-1149. Wang D J. Recognition and positioning technique of Chinese chess based on vision[J]. Journal of Tsinghua University: Science and Technology, 2013, 53(8): 1145-1149.
[26]. 王春麗．中国象棋嵌入式視覚識別算法和程序開発 [D]．北京：北方工業大学，2010. Wang C L. Design of Chinese chess recognition algorithm and program based on embedded vision system[D]. Beijing: North China University of Technology, 2010.
[27]. 莫妙桃．基于 DSP 的智能象棋機器人視覚図像採集輿識別研究 [D]．北京：北方工業大学，2009. Mo M T. Study on vision image grabbing system based on DSP and character recognition method for Chinese chess playing robot[D]. Beijing: North China University of Technology, 2009.
[28]. 朱一峰．象棋機器人視覚識別算法研究 [J]．江漢大学学報：自然科学版，2013，41(3)：51-56. Zhu Y F. Visual recognition algorithm of Chinese chess robot[J]. Journal of Jianghan University: Natural Science Edition, 2013, 41(3): 51-56.
※本稿は伍錫如、黄国明、孫立寧「基于深度学習的工業分揀機器人快速視覚識別与定位算法」（『機器人』2016年第38巻第6期、pp.711-719）を『機器人』編集部の許可を得て日本語訳・転 載したものである。記事提供：同方知網（北京）技術有限公司