レーザ再製ロボットのマシンビジョン技術の現状

2012年 2月15日

共著：張海明、王非、劉正、張耀武

1 はじめに

　21世紀に入り、レーザ加工ロボット技術は急速な発展を遂げ、世界ではレーザ切断ロボット及びレーザ溶接ロボットのシリーズ製品が誕生しており、自動車、航空、宇宙、軍事等の産業で実用に成功している。近年では環境にやさしい生産や低炭素生活、循環型経済の発展に伴い、また、航空・宇宙、冶金、自動車等業界の再製市場からの幅広い需要により、海外ではすでにレーザクラッディングロボットが発表されている。中国でも天津工業大学でレーザ再製ロボットが研究されている。

　レーザ再製プロセスにおいては、音場、光場、電場、磁場、熱場、力場等の非常に複雑な物理的場が存在し、レーザ再製部品の外部形状及び内的品質に非常に大きく影響し、作業条件も絶えず変化するため、これら変化も製造工程の安全性に影響を及ぼす。例えば、高温のレーザ溶融池内には熱伝導、物質移動、対流等の物理的伝達プロセスが存在し、高温の溶融池外にもレーザプラズマが存在するため、レーザ溶融池の温度場及びプラズマ場の測定を行う必要がある。また、レーザクラッディング層の品質を制御するには同軸粉体供給装置における金属粉体流の濃度場及び速度場の測定を、レーザ再製作業により損傷部分を修復するには部品及び損傷部分の3D-CAD測定を行い、リバース・エンジニアリングによって逆向きに再構築することで3D-CADソフトウェアを構築し、さらにはD-CAMプログラムを構築してロボットによるレーザクラッディングを誘導し、損傷部分の3D修復を実現する必要がある。このため、マシンビジョン技術を研究することでレーザ再製造ロボットの一定のスマート化を実現し、レーザ再製プロセスに対してオンラインのリアルタイム監視を行う必要がある。しかし、レーザ再製ロボットのマシンビジョン技術は技術的に非常に難しく、レーザ材料の相互作用、マシンビジョン測定、コンピューター・シミュレーション、情報処理、リバース・エンジニアリング、ソフトウェア開発、ロボットのオフライン・プログラミング及び制御等、さまざまな分野の知識を融合させる必要がある。レーザ再製ロボットのマシンビジョン技術研究には、重要な実用価値があるだけでなく、理論的意義が大きい。

　近年、CCD/CMOSを代表とするマシンビジョン技術は日増しに成熟し、当該技術には視覚的直観性があり、非接触測定及びリアルタイム測定が可能で、体積が小さく、コストが低く、ロボットと結合しやすい等の特徴がある。CCD/CMOSオプトエレクトロニクス装置は、レーザ加工ロボットのマシンビジョン技術として国内外ですでに研究の最先端にあり、注目されるテーマとなっている。本稿では、レーザ再製ロボットのなかでも、加工部品の3D-CAD再構築、レーザ溶融池の温度場、同軸粉体供給装置における金属粉体流の濃度場等、マシンビジョン技術の研究の現状について総合的に報告する。

2 レーザ再製ロボットのマシンビジョンシステムの構造

　本研究事業で開発したマシンビジョン機能を持つレーザ再製ロボットのシステムは、主に図1で示した8つの部分、すなわち、1）光ファイバにより伝送可能な高効率レーザシステムユニット、2）高効率レーザにおける光ファイバ結合及び伝送ユニット、3）6Rロボット本体ユニット、4）ロボットデジタル制御システムユニット、5）マシンビジョン測定システムユニット、6）コンピュータのオフライン・プログラミングシステムユニット、7）クラッディング材料のリモート同軸輸送供給システムユニット、8）レーザ再製加工ヘッドユニットから構成される。このうち、マシンビジョン測定システムは、主に部品表面の3D-CADスキャナユニット、レーザ溶融池における温度場測定ユニット、レーザ同軸紛体供給装置の粉体流場測定ユニットから構成される。これら3種類のマシンビジョン測定システムはいずれもCCD/CMOSカメラモジュールを採用し、フレームによりレーザ再製加工ヘッド上に取り付けられる。当該システムユニットでは関連データ及び画像情報を収集する。ロボットシステムでは高性能なコンピュータソフトウェアとハードウェアの標準化特性を頼りに、装置のマシンビジョン、リバース・エンジニアリング、画像処理、オフライン・プログラミング、アナログ・シミュレーション、状態監視、合理化制御、人工知能、ネットワーク通信等の分野の知見を融合し、ロボット制御システムとして統合・実用化し、一連のスマート化レーザ修復再製ロボットシステムを構成する。

3 レーザ再製による部品の3D-CADの再構築におけるマシンビジョン技術

　レーザ再製ロボットによる部品の現場修復作業においては、修復現場では往々にして部品の元の設計図面が存在しないため、摩耗エリアの加工ルート再現のために3Dモデルを再構築し、かつ、加工軌跡及び法線パラメータによりロボット末端の姿勢を制御する必要がある。市場では現在、部品に非接触測定が可能な3Dスキャナが存在し、その例に米国Perceptron社のScanworksV3 3Dレーザ・スキャナシステム、カナダCreaform社のHandyscan3DEXA/REVscan手持式3Dデジタルスキャナシステムがあるが、これには次の問題がある。すなわち、体積が大きく、構造が複雑で、ロボットとの結合に向かない。スキャナは生成された曇点または三角形グリッド図面しか提供できず、スキャナ機能と再構築機能が分離しているため、3Dモデルの再構築は他の分離したリバース・ソフトウェアにインポートして行わなければならない。ロボットが直接使用できず、摩耗エリアの特徴を識別する機能も存在せず、コストも高く普及に向かない。本稿では、CMOS双眼カメラ立体視測定の原理に基づき、レーザ再製ロボットの部品に用いる3D-CAD測定システムを開発した。

3.1 システム構成

　ロボット部品の3D-CAD測定システムは、主に双眼立体視測定装置及びロボット結合装置により構成される。図2は、双眼立体視測定装置の図であり、2台のビデオカメラ、立体照明、専用の画像処理ソフトウェア、コンピュータから構成される。

　ビデオカメラ：工業型CMOSカメラ。130万画素、限界解像度1280pixel×1024pixel、Bayerカラー出力、解像度640pixel×1024pixel時のフレーム周波数率は45frame/s、プログラミングにより制御可能。開発環境はWin2000、XP、Vista。

　立体照明：ライン照度計付き半導体レーザ。出力波長532nm、出力効率100mW。ライン照度モデル：TEM00。CMOSビデオカメラ2台と半導体レーザは同一底板上に固定され、カメラ2台の光軸の夾角は30°を選択する。半導体レーザから被測定物体に立体照明を投射し、測定物体の特徴把握とマッチングに用いる。

　コンピュータ：システム共用のモバイルワークステーションはHP8530。CPUのクロック周波数は2530MHz、メモリは8Gb、ハードディスクは250Gb、モニターは37.3cmWSGA+（1680pixel×1050pixel）、グラフィックメモリは512Mb、インテルギガビット接続（10/100/1000ネットワークカード）。

　図3（a）はレーザ再製ロボットによる部品の3D-CAD再構築マシンビジョンシステムである。レーザ加工ヘッドは専用のジグを介し、ロボット末端アクチュエータと135°の確度で連結する。CMOS双眼立体視測定装置はレーザ加工ヘッド上に固定し、レーザ加工ヘッドの焦点との距離は300～400mmが適するため、ここでは350mmを選択した。図3（b）、（c）はそれぞれ、双眼立体視測定装置スキャナブレードにより形成された曇点図及び3D-CADモデルである。

3.2 システム標定及び座標の変換

　図4に示すように、ロボットによる部品の3D-CAD測定には4つの座標系、すなわち、部品表面座標系（W）、CMOS双眼カメラユニット座標系(E)、ロボット末端アクチュエータ座標系(H)、ロボット座標系(R)が存在する。3Dスキャナで測定されたデータはCMOSカメラ座標系にある。座標の変換を経ると、カメラ座標系(eye)はロボット末端座標系(hand)に変換される。ロボット末端(hand)及び加工ヘッド末端(tool)は専門に設計されたジグにより連結するため、ジグの幾何学的寸法により測定されたモデルデータに基づき、ロボット末端座標系(hand)を加工ヘッド座標系(tool)に変換することで全体の座標系を統一し、その上で焦点距離やオーバーラップ率等のさまざまな技術パラメータとの調整を行い、加工プロセスの誘導を行う必要がある。

　ロボットによる部品の3D-CAD測定の一連のシステムに標定試験を行った。試験には、単眼ビデオカメラによる標定（ビデオカメラ内外のパラメータ・マトリックスM1，M2により算出）、双眼ビデオカメラの相対位置標定（変換マトリックスM1-r ＝［R1-r，T1-r］により算出）、双眼ビデオカメラとロボット末端（アーム・レンズ）との関係の標定（変換マトリックスMh-e＝［Rh-e，T h-e,］により算出）がある。立体視システム全体の標定変換関係は図5のとおり。座標の変換を経ると、さまざまな角度からスキャニングして再構築したモデルをロボット座標系に置くことができ、さまざまな角度からのデータをつなぎ合わせれば、ロボットの加工にも非常に便利となる。

3.3 部品の3Dモデル再構築ソフトウェアの設計

　3Dモデルの再構築には、一般にリバース・エンジニアリング用のソフトウェアを使用する。現在、世界ではさまざまなリバース・エンジニアリング専用ソフトウェアが開発されており、例としてはImage ware、Geomgic Studio、Copy CAD、Rapid Form等がある。曲面のリファクタリングはリバース・エンジニアリングにおける最も重要で複雑なプロセスであり、コンピュータ図学、数字的画像処理・計算方法等、さまざまな知識の総合的な応用が必要である。一般的なリバース・エンジニアリングにおいては、モデルの再構築では最初に曲面を構築し、それから必要に応じて実体モデルへと移行していく。

　しかし、レーザ再製においては、さまざまなソフトウェア間でのデータの伝送が必要な上に、ソフトウェアシステムによって精度が異なるため、転換不能なエリアまたは転換の失敗が往々にして発生し、実体に転換できず再構築が実現できない現象が発生する可能性がある。近年、グリッド化モデルによる実体モデルの代替が曲面モデルの3D造型に役立つようになってきているが、現時点では三角形部分のアルゴリズムの多くは平面上の三角形部分をターゲットとしているため、空間上の曇点の三角形化が一貫して課題となっている。本研究ではこれらの問題に対し、実体のアルゴリズムを基礎に法線ベクトルフィルタリング及びエッジ検出法を提案する。これらの方法により、形成された三角グリッドのトポロジーと原型のトポロジー構造の一致が保証され、三角グリッド化の精度が向上することから、実用性が非常に高いことが実験で証明された。図6は部品の3Dモデル再構築ソフトウェア設計フローであり、流れは次のとおりである。すなわち、部品の3D-CADスキャナにより採集された曇点データ→コンピュータによる曇点データ処理→破損エリアの識別→曲面の再構築→部品のCADモデル形成→NC加工データの形成となる。

3.4 部品表面のレーザスキャン

　FANUCR2000iB工業ロボットにおいては、システムにより部品表面が3Dスキャンされ、2種類のスキャニングモデル、すなわち低速高精度スキャン（小于5mm/s）と高速汎用スキャンモデル（小于100m/s）がある。本試験では、高精度スキャンモデルを採用し、ロボットの被測定加工部品に対するさまざまな角度からのスキャニングをデモンストレーションし、制御するのに用いた。

3.5 部品の3Dモデルの再構築

　まず、立体照明を検出する。検出フローは図7のとおりである。すなわち、立体照明による部品のスキャニング→CMOS双眼カメラによる立体照明の採取→立体照明のターゲット区域の検出→立体照明中心の計算→双眼立体照明の表示となる。

　図8は部品の3Dモデル再構築画像である。試験結果によれば、このシステムでは被加工部品の精密な再構築が効果的に実現できる。また、再構築した部品はロボット座標系上に存在するため、修正の必要がなく、データを加工に直接使える。

　図9では、再構築モデルと実体部品のサイズの誤差を比較した。図中の黄色部分は測定エリアである。造型ソフトウェアでフィッティング法を採用して当該エリアの曲率半径を求めた結果はそれぞれ161.956mm、161.890mmであり、ノギスを用いて当該部分を測定した結果は161.90mmで、誤差はそれぞれ0.056mm、0.010mmであった。測定結果から見れば、高精度スキャンモデル下の誤差は±0.1mm間であった。このシステムの誤差には主に標定誤差、ロボット定位誤差、プログラム遅延によるデータの非同期誤差が含まれるが、標定及び最適化プログラムを多数回経ることによりこれら2つの誤差を減らし、より良い精度を得ることができた。

4 レーザ溶融池の温度場のマシンビジョン測定技術

　赤外線CCDカメラによる温度場測定への実用化は成功しているとは言え、赤外線CCDカメラは非常に高価なことが普及を妨げている。コストが低く、シンプルかつ迅速で、現場の応用に便利なレーザ溶融池の温度場の測定技術の開発は、現在、当該分野の重点となっている。近年、可視光波長域に位置するCCDカラーカメラの技術が日増しに成熟しており、価格が安く、画像性能も優れている。CCDカラーカメラによる温度場の測定技術の研究が国内外で多く行われており、主に比色法及びグレースケールに基づく2つの温度場測定法がある。これを用いたレーザ溶融池の温度場測定には次の長所がある。すなわち、非接触的な温度場測定であり、温度場の2D分布画像を迅速に導くことができる。また、温度場分布の定量的情報を導くことができ、体積が小さく軽量である。しかし、材料表面の反射率及び波長域の感受性測定にやや劣ることから、CCDカラーカメラは温度測定の精度があまり高くない。

4.1 レーザロボットによるCCD温度測定ビジョンシステム

　このシステムは、主にCCD温度測定装置、コンピュータ、専用の温度測定ソフトウェア等から構成される。CCD温度測定装置はロボットアームの末端に設置され、かつ、コンピュータと接続している。図10(a)はレーザロボットCCD温度測定ビジョンシステムの試験現場であり、図10(b)はCCD温度測定装置である。

　CCDカメラ：高解像度デジタル工業用ビデオカメラ、90万画素、1280pixel×1024 pixel、Bayerカラー出力、解像度640 pixel×480 pixel時のフレーム周波数率は45frame/s、プログラミングにより制御可能。開発環境はWin2000、XP、Vista。電子式シャッター：1/50(OFF)、1/120、1/250、1/500、1/1000、1/2000、1/4000、1/10000が選択可能。動画出力。光学システム：CCTV LENSレンズ、1/3″、6.0～60mmF1.4。CSポート：焦点距離6～60mm。減光フィルター：透過率は1.6％。

　コンピュータ：3Dモデルの再構築システムと共用のモバイルワークステーションはHP8530。

4.2 CCDカメラによる温度標定

　中国計量科学研究院の黒体放射源を採用してCCDカメラによる温度測定標定を実施する。レーザ溶融池の温度場の温度分布特性に基づき、標定温度範囲を600℃～1400℃と定める。温度の上昇につれて画像も徐々に明るくなることから、温度が上昇する際は熱放射も増加することが分かる。

　試験結果に基づき、熱放射による画像比色法の値と温度Tとの関係曲線を構築し、最小二乗法を採用して実験データにフィッティングを行ったところ、得られたフィッティング方程式は次のとおりである。

4.3 CCD温度測定画像処理専用ソフトウェア

　LabVIEWを開発環境に、ワークステーションコンピュータを応用プラットフォームとして、CCDによる温度場のリアルタイム測定専用ソフトウェアを開発した。当該ソフトウェアには4つの機能モジュール、すなわち画像処理、温度計算、温度場2D分布、温度場データディスプレイからなる。処理フローは図11のとおり。

4.4 温度場測定コンピュータのビジュアルモニター

　図12はレーザ溶融池温度場のCCD温度測定システムによる処理結果であり、図12(a)はCCDにより採集されたレーザ溶融池温度場の熱放射画像で、図12(b)は専用ソフトウェア処理後の温度場の疑似カラー分布画像である。

　CCDカメラで温度を測定する際、ワークステーションコンピュータのスクリーン上に、CCDにより採集されたレーザ溶融池温度場の熱放射画像2D分布及び専用ソフトウェア処理後の温度場内の各点データをリアルタイムに示すことができる。図13はコンピュータのディスプレイである。

　試験の結果、CCDの温度測定範囲は700℃～1400℃で2500℃まで外延される可能性があり、温度分解能は50℃であることがわかった。

5 レーザロボット粉体流濃度場マシンビジョン技術

　レーザ同軸粉体供給装置における金属粉体流の出力プロセスは非常に複雑であり、濃度場の分布は同軸レーザクラッディングの品質に直接影響するため、かつては国内外でさまざまな方法が測定に用いられていた。しかし、いずれも次のような欠点があった。すなわち、空間の単一ポイントまたは複数ポイントの情報しか得られず、粒子画像に含まれる情報が粉体流濃度場の観測にしか利用できず、粉体流濃度場及び速度場の計算の再構築が実現できない。これまでに、Nd+∶YAGのダブルパルスレーザを照明光源にデータ粒子画像の迅速測定技術（DPIV）による測定システムが開発されたことがあり、粉体流濃度場及び速度場の再構築を実現することができた。しかし、このシステムは体積が大きく、コストも高く、ロボットと結合できなかった。近年、小型化レーザ同軸粉体供給装置における粉体流濃度場マシンビジョンシステムが開発された。このシステムは体積が小さく、軽量でロボットとの結合にも便利で、測定が迅速で非接触状態で測定でき、粉体流の焦点調節パラメータ及び3D空間分布をリアルタイムで導くことができる。

5.1 システムの構成

　レーザロボットによる粉体流濃度場のマシンビジョンシステムは図14(a)のとおりであり、2Dフィルター光源を持つ高輝度半導体レーザ、高速CMOSカメラ、レーザ同軸粉体供給装置、高性能コンピュータ、濃度場マシンビジョン専用ソフトウェアから構成される。

　半導体レーザ：波長532nm、出力効率100mW、白斑モデルTEM00、連続作業モデル、フィルター光厚は約1mm。CMOSカメラ：工業用、100万画素、解像度1024pixel×1024pixel、解像度1024pixel×1024pixel時のフレーム周波数率は35frame/s、プログラミングにより制御可能。開発環境はWin2000、XP、Vista。コンピュータ：3Dモデルの再構築システムと共用のモバイルワークステーションはHP8530。

　レーザ同軸粉体供給装置の加工ヘッドはロボット末端に設置され、半導体レーザ及びCMOSカメラはレーザ同軸粉体供給装置の加工ヘッド下方に設置される。図14(b)は測定装置の局部拡大図であり、粉体流の画像がはっきりと見て取れる。

5.2 濃度場マシンビジョン専用ソフトウェアの開発

　ソフトウェアの機能構造は図15のとおりである。画像処理システムは、画像収集、データ処理、画像処理、濃度場ディスプレイ等の部分から構成される。

5.3 濃度場測定コンピュータのディスプレイモニタ

　当該ソフトウェアは、レーザロボットの加工による濃度測定専用ソフトウェアであり、インターフェイスは操作をシンプルに設計する必要がある。このインターフェイスにはすべての画像及び処理結果が含まれる。インターフェイスは画像収集エリア、パラメータ選択エリア、ノイズ除去演算子エリア、閾値分割エリア、画像予備処理エリア、結果ディスプレイエリアの6つのエリアから構成される。

5.4 濃度場測定試験

　図16は粉体流濃度場のマシンビジョン測定結果の対比である。図16(a)はCMOSカメラにより直接撮影した粉体流の画像であるが、粉体流の外観をぼんやりと示すだけで粉体粒子は識別できない。図16(b)、(c)は、この濃度場測定コンピュータを採用し、マシンビジョン撮影処理した後の粉体流の画像であり、粉体粒子がはっきりと識別できるだけでなく、粉体流の濃度分布外観をはっきりと見てとることができ、3つの粉体エリア、すなわち、環状エリア、フォーカスカラムエリア、錐状発散エリアの区別がはっきりと示されている。粉体流濃度は粉体流供給口から焦点まで、ゼロから始まって徐々に増大し、粉体流フォーカスカラムエリアに至ると金属粉末濃度は最大に達し、その後は粉体流の発散に従い、金属粉体流濃度も徐々に低下する。得られた粉体流幾何学パラメータは、上部発散角5°，下部発散角15°，上部フォーカス9.11mm，下部フォーカス12.38mmである。

　図17は、さまざまな粉体供給パラメータ（送粉量、気流速度）下のレーザロボットによる粉体流濃度場マシンビジョン測定結果である。送粉量、気体流速等のパラメータの影響がはっきりと見てとれる。

6 結論

1）CCD/CMOSマシンビジョン技術に基づくレーザ再製ロボットのマシンビジョンシステム3種類を開発した。性能指標はそれぞれ次のとおりである。3D-CADマシンビジョンシステム：加工部品の3D-CADを再構築可能。シングル・スキャンの最大スキャン幅は200mm、汎用スキャン速度は10～50mm/s、最大誤差は1mm未満。高精度スキャン速度は1mm/s、最大誤差は0.1mm未満。温度場マシンビジョンシステム：溶融池の温度場分布を表示可能。温度測定範囲は700℃～2400℃、精度は50℃。粉体流場マシンビジョンシステム：粉体流の外観、パラメータを測定可能。粉体流量の測定範囲は1～100 g/min。

2）3種類のシステムはいずれも明晰な可視化画像を描くことができ、かつ、データ標定が可能である。

3）3種類のシステムはいずれもオンラインでのリアルタイム測定が可能であり、得られる温度、粉体流量、3Dモデルはロボット座標系に位置する。

4）3種類のシステムはいずれも体積が小さく、いずれもロボット上の設置、連結に便利である。

5）コストが低く、普及に適している。

　レーザ加工ロボットマシンビジョン技術の研究は国内外を問わず始まったばかりで、測定原理、測定機材、画像処理ソフトウェア技術のいずれも発展途上である。本研究にも多くの至らない点があるため、絶えず改善し、製品化を実現する必要がある。