JP7293087B2 - 遠隔計測装置及び遠隔計測方法 - Google Patents

Description

本発明の実施形態は、遠隔計測装置及び遠隔計測方法に関する。

原子炉や核融合炉のような発電設備の点検や保守作業、放射線治療を用いる医療設備の医療行為支援や装置維持管理作業、宇宙探査などの設備における船外作業、点検や保守作業は、放射線環境であり、一般に人は立ち入ることはできず、過酷な環境での作業となる。そのため、人力の代替となる機器による作業が必要となるが、作業を行う上で、３次元的な位置や姿勢角を正確に把握し、機器側に指示する必要が生じる。このような作業を行うためには、人による計測作業の代替が可能なセンサを用いることが有用である。例えば、作業を人が目視で監視するためのカメラを用いることで、作業の確実性や安全性を担保することができ、監視と計測作業を１台２役することで、必要とする機器数を低減することができる。

一般にこれら点検や保守作業には、相応の位置や姿勢角の計測や作業精度が要求されるが、少ないセンサで計測精度を向上させることは困難と考えられる。また、３次元的な位置や姿勢角を計測するためには、１台のカメラや距離センサでは測定することが困難である。

カメラの場合、３次元計測するためには、最低２台以上の異なる位置から撮影した画像を用い、計測することとなる。この場合にも、カメラの焦点距離やレンズ歪み、２カメラ間の位置関係をキャリブレーションする必要がある。距離センサは点計測が主であり、面計測するためには、計測時間内はセンサと計測対象物が固定された位置関係にある必要があり、ロボットアームなどの先端に取り付け、計測するためには、他センサとの組み合わせが有用であるが、装置構成が複雑化する傾向にある。

また、過酷な環境下にさらされる作業機器は、環境影響により不具合や機能停止といった状況になり易く、比較的短期間で交換を余儀なくされるため、交換時間やコストが増大する可能性が高かった。

特開２０１３－１４００４０号 ＷＯ２００９／１３９３９４

過酷環境でも利用することができ、低コストに３次元計測する遠隔計測装置としては、以下に挙げる項目のうち、多くの項目を満足することが必要とされる。

基本的な項目として、遠隔保守装置が作業する上で、最も重要な位置や姿勢角の高精度化の観点がある。光学的な方法では、従来から高分解能・高解像度化や、複数のカメラや位置から計測した画像や点群データを用いる方法が用いられている。

例えば、カメラによる方法では、画像中の特徴点を高精度に検出する必要があり、高解像度かつ鮮明な画像を取得することで解決できる。しかしながら、とくに放射線環境下では、ノイズも入りやすいうえに、カメラの高解像度化が困難であり、かつ高コストとなることが一般的である。

次に、測定データの信頼性向上の観点がある。低解像度カメラの場合、計測対象の表面の特徴量を検出することは一般に困難である。そのため、安定かつ堅牢に特徴量を検出する画像処理や点群処理が必要となる。また、とくに放射線環境下の原子炉や核融合炉などは暗室環境となり、照度は極めて低い場合が多いため、計測対象の材質に合わせた照明などの投光機器の照射強度や波長、配置を十分に検討する必要がある。

さらに、計測対象の有効な計測方法の観点は、計測対象に対して接触か非接触のいずれかの方法で計測可能であるが、放射線環境下では一般に汚染の可能性があるため、非接触での計測が必要となり、変位センサやプローブと言ったセンサを用いることが難しい。また、レーザ光などを用いたスキャナは非接触であるが、表面材質によっては光線の波長を吸収してしまう場合があり、高精度な計測における信頼性の観点から疑義が生じる可能性も排除できない。

さらにまた、計測対象との衝突回避の観点がある。計測対象に制御対象のロボット装置やロボット装置が把持した交換部材やツールが衝突することで、周辺機器や設備を破損するなどの問題が生じる。この場合計測対象をオペレータが直接目視で確認できないため、カメラなどの映像を元に確認する必要がある。ロボット装置の動作における最終決定を下すオペレータが判断材料とするデータを提供するには、カメラ映像が最も有効であると考えられる。また、衝突回避するためには、ロボット装置と計測対象の設計図面を用意し、２次元もしくは３次元シミュレータ上で衝突判定や動きを把握できるシミュレーションを行う方法も考えられる。

以上の背景及び課題を踏まえ過酷環境における遠隔保守を円滑に行うため、本発明は、ロボット装置と計測対象の相対位置関係を非接触計測し、安全かつ少ない工程数で目的位置にロボット装置や交換部品などを移動させることのできる遠隔計測装置及びその遠隔計測方法を提供することを目的とする。

実施形態の遠隔計測装置は、暗室環境における照明となり計測対象物の表面に光の照射及び所定形状の模様の投影を可能とする投光部、および前記計測対象物からの前記投光部によって投影された前記所定形状の模様を含む撮像データを取得するセンサ部を備えた計測装置と、前記計測装置の前記センサ部から撮影可能な位置に配置され前記センサ部からの前記撮像データにより位置と姿勢角を算出可能とするための計測マーカと、保守ツールを取り付けるための手先ツール取付部を具備した可動部と、を備えたロボット装置と、単眼の前記センサ部からの前記計測対象物及び前記計測マーカおよび前記投光部によって投影された前記所定形状の模様を含む前記撮像データと、前記計測対象物及び前記計測マーカの既知寸法データ、可動部原点である前記手先ツール取付部の中心位置とから、前記計測装置の前記センサ部と前記ロボット装置の前記手先ツール取付部と前記計測対象物の表面の位置や姿勢角の相対位置関係を求める相対位置計測処理手段と、相対位置を求めた前記計測装置の前記センサ部と前記ロボット装置の前記手先ツール取付部と前記計測対象物の表面の位置関係から前記ロボット装置の相対移動量と回転量を求める相対ロボット制御量演算処理手段とを具備し、前記計測対象物、前記ロボット装置、前記計測装置の３次元相対位置関係を算出可能とされた演算処理装置と、を備えている。

第１実施形態に係る遠隔計測装置及び遠隔計測方法の概略構成を示す図。 保守・交換対象の形状例を示す図。 保守・交換対象の交換作業を説明するための図。 保守・交換対象の交換作業を説明するための図。 保守・交換対象の交換作業を説明するための図。 保守・交換対象の交換作業を説明するための図。 保守・交換対象と隣接対象の配置例を示す図。 保守・交換対象と隣接対象の衝突例を示す図。 計測マーカの例を示す図。 手先ツール取付部と計測マーカの位置関係の例を示す図。 保守・交換対象の交換作業を説明するための図。 保守・交換対象の交換作業を説明するための図。 保守・交換対象の交換作業を説明するための図。 保守・交換対象の交換作業を説明するための図。 計測エリアの例を示す図。 計測エリアの他の例を示す図。 第１実施形態に係る演算処理装置の構成を示すブロック図。 第２実施形態に係る遠隔計測装置及び遠隔計測方法の概略構成を示す図。 第２実施形態に係る演算処理装置の構成を示すブロック図。 第３実施形態に係る演算処理装置の構成を示すブロック図。

以下、図面を参照して、実施形態について説明する。

（第１実施形態）
まず、第１実施形態に係わる過酷環境向け遠隔計測装置の構成を説明する。ここでは、例えば核融合炉内部の第一内壁（ＦＷ：Ｆｉｒｓｔ Ｗａｌｌ）等の複数の壁構成部材から構成された壁の、壁構成部材の交換を一例とした構成及び相対位置計測の方法について説明する。

図１に示すように、複数の壁構成部材から構成された壁には、保守・交換対象となる壁構成部材である保守・交換対象１０１と、それに隣接する隣接対象１０２－１，１０２－２が設けられている。遠隔計測装置は、ロボット装置２０１と、ロボット装置２０１の手先ツール取付部２０２と、手先ツール取付部２０２に取付けた計測マーカ２０３と、相対位置計測する計測装置２１１を具備している。

計測装置２１１は、単眼視の撮像系としたものであり、センサ部２１２と投光部２１３とを具備している。また、遠隔・保守の拠点とする制御室２５１に、計測装置２１１と接続された演算処理装置２５２、演算処理装置２５２に付帯し、キーボード及びマウスによる外部入力機能と撮像データの入力画像や演算処理結果などを表示する機能を備えた入力・表示装置２５３及び記憶装置２５４が設けられている。

さらに、制御室２５１には、ロボット装置２０１と接続されたロボット装置制御盤２５５とキーボード及びマウスによる外部入力機能と制御値などを表示する機能を備えた入力・表示装置２５７を付帯したロボット制御処理装置２５６を備えている。演算処理装置２５２とロボット制御処理装置２５６は、演算処理装置２５２の演算処理結果である相対値計測結果からロボット制御値を出力するため、ＬＡＮ接続などのネットワーク手段により、接続されている。

次に、遠隔計測方法について説明する。第１実施形態において、保守・交換対象１０１とロボット装置２０１の相対位置関係を、計測装置２１１を用いて計測する。計測装置２１１については、ロボット装置２０１自体に別のロボットアームを取り付け、計測装置２１１を取り付ける方法か、同じようなロボット装置を別に配置し、計測装置２１１を取り付ける方法を採用する。また、計測装置２１１は、保守・交換対象１０１と隣接対象１０２－１，１０２－２、ロボット装置２０１の手先ツール取付部２０２に取り付けた計測マーカ２０３の双方を撮影することが可能な位置・姿勢で配置する。

計測装置２１１は、過酷環境での使用を想定している。例えば放射線環境下では、放射線の影響から撮像センサを保護するため、撮像管や比較的放射線に強いとされる低解像度センサを用いる。その他の機器も同様に近年の高性能な機器と比較すると性能が低い部類に入る機器を使用せざるを得ない。放射線からの防護を十分に施した装置は高性能な機器を搭載できるが、重量が重くなることや装置の大型化が懸念される。一方、遠隔保守・交換においては、ロボット装置２０１の搭載荷重の制限もある。このため、例えば、撮像センサに６４０×４８０ｐｉｘｅｌ相当の撮像管や低解像度センサ等を用いる。

さらに、例えば核融合炉などの内部は一般に照明などはなく、暗室環境となるため、計測装置２１１には投光部２１３を設けている。これにより、単に照明として一定な単色を照射するだけでなく、任意に設定した模様も計測対象物に投影することができる。

保守・交換対象１０１、隣接対象１０２－１，１０２－２と、ロボット装置２０１の手先ツール取付部２０２に取り付けた計測マーカ２０３の相対位置計測を行うためには、計測装置２１１のセンサ部２１２を含めた、３点の位置・姿勢の関係を求める必要がある。そこで、それぞれの位置を測るための方法について述べる。

保守・交換対象１０１、隣接対象１０２－１，１０２－２は、表面に小さく分けられた格子状の模様（図示せず。）が施されている場合があり、これらの格子同士の間には微細な幅の溝が設けられている場合がある。また、金属面である点や微細な点であることから格子の溝を低解像度な撮像センサで検出することが困難な場合は、投光部２１３の持つ任意に設定した模様を投影する機能を活用して、格子の溝の代替として検出する方法を取ることができる。以下では、上記のような格子状の模様がある場合について説明する。なお、図２に示すように、保守・交換対象１０１（隣接対象１０２－１，１０２－２等も同様。）の壁構成部材には、手先ツール取付部との接合部１５２が複数設けられている。

次に、複数の各壁構成部材からなる壁の中から保守・交換対象１０１を交換する場合の手順を示す。図３に示すように、保守・交換対象１０１に対して、ロボット装置２０１が近づき、保守・交換対象１０１、隣接対象１０２－１，１０２－２と、計測マーカ２０３の双方を撮影可能になった位置から計測装置２１１は測定を開始する。なお、計測装置２１１のセンサ部２１２は常時撮影しており、俯瞰カメラとしての役割も果たす。これにより、双方が映らない位置においても、安全にロボット装置２０１を保守・交換対象１０１付近まで誘導することが可能である。

図３～６に示した手順では、使用後の保守・交換対象１０１を取り外すため、ロボット装置２０１の手先ツール取付部２０２に取り付けた把持治具や金具を、図２に示した手先ツール取付部との接合部１５２に挿入・固定するまで、ロボット装置２０１を接近させる（図４，５参照）。

この際、ロボット装置２０１の手先ツール取付部２０２に取り付けた把持治具や金具を保守・交換対象１０１等に衝突させないことが重要である。手先ツール取付部２０２に取り付けた把持治具や金具の挿入完了後の様子が図５であり、次に、図６のように、ロボット装置２０１を後退させ、保守・交換対象１０１を後方に取り出す。

この一連の動作において、保守・交換対象１０１、隣接対象１０２－１，１０２－２の配置関係は、例えば図７に示すようになっている。図７に示す例では、中央に示されているのが保守・交換対象であり、この場合図中に示すように、例えば保守・交換対象の座標を中心（０，０）として各隣接対象の座標を決めることができる。把持治具をはじめ、ロボット装置２０１を保守・交換対象１０１や隣接対象１０２－１，１０２－２に衝突させないことが肝要であり、取り外し時に図８に示すように並進や回転する制御をしてしまうと、衝突してしまう。このようなことを発生させないために、計測装置２１１により、ロボット装置２０１と、保守・交換対象１０１、隣接対象１０２－１，１０２－２を計測し、相対位置関係を求めるものである。このように相対位置計測を実施するが、低解像度の撮像センサで保守・交換対象、隣接対象の格子溝等を測定する必要がある。一方で、ロボット装置２０１側はより正確な位置・姿勢を制御する必要がある。

そこで、例えば図９に示すような白色の背景に、黒色の円形を既知の寸法で配置した計測マーカ２０３を用いる。このような計測マーカ２０３を、ロボット装置２０１の手先ツール取付部２０２に取り付け、計測マーカ２０３をセンサ部２１２で検出し、画像処理により抽出、計測する。この計測マーカ２０３は、円形状に限らず、市松模様などの格子でも可能であり、格子の間隔が既知寸法であれば、問題ない。

図１０に示すように、計測マーカ２０３は、ロボット装置２０１の手先ツール取付部２０２に配置しているが、計測装置２１１のセンサ部２１２から撮影可能な位置であれば、その他の部位でも問題ない。計測マーカ２０３と手先ツール取付部２０２の可動部原点である手先ツール取付部２０２の中心２０２－１と既知の寸法・姿勢角度をオフセットできれば、どこでもよい。手先ツール取付部２０２の中心２０２－１のように、ロボット制御が容易になるため、軸中心とすることが望ましい。

次に、保守・交換時の計測対象部分について述べる。保守・交換対象１０１の取り外し手順については、図３～６に示したとおりであるが、取り付け手順は、図１１～１４に示すような手順となる。保守・交換対象１０１をロボット装置２０１が把持した状態で取付位置に近付くため、より隣接対象１０２－１，１０２－２と衝突する可能性が高い。これら手順において、計測するエリアは撮影されている領域を選択する。

図１５、図１６に基本的な計測エリアを示す。取り外し時は、ロボット装置２０１側の計測マーカ２０３と、図１５の中央に示されている保守・交換対象（色付きのもの）の右上等の挿入時にロボット装置２０１が隠さない部分を選択する。もちろん、図１６に示すように、ロボット装置２０１に隠されない隣接対象（色付きのもの）を計測対象としても良い。

取り付け時は、図１１等に示したロボット装置２０１が把持している保守・交換対象１０１の右上などと、隣接対象１０２－１，１０２－２のロボット装置２０１に隠されない領域を計測対象とする。また、ロボット装置２０１が把持している保守・交換対象１０１ではなく、ロボット装置２０１の計測マーカ２０３を計測対象としてもよい。

図１７は、第１実施形態に係わる演算処理装置２５２の構成例を示すブロック図である。演算処理装置２５２は、計測装置２１１の投光部２１３の点灯・消灯制御及び照射強度の調整制御を行う投光通信・制御手段２５２－１と、計測装置２１１のセンサ部２１２のデータ取得トリガ制御及びデータ取得速度とデータ取得特性の調整制御を行うセンサ通信・制御手段２５２－２と、センサ部２１２の映像データを演算処理装置２５２に入力するセンサデータ入力手段２５２－３とを具備している。

演算処理装置２５２は、計測装置２１１のセンサ部２１２のセンサ特性と２つ以上のセンサがある場合にセンサ間の位置や姿勢関係を校正し、キャリブレーションデータを取得するキャリブレーション手段２５２－４と、センサデータ入力手段２５２－３とキャリブレーション手段２５２－４から取得した撮影画像の積算画像処理とキャリブレーションデータを用いた画像ゆがみを補正処理する撮影データ補正手段２５２－５とを具備している。

演算処理装置２５２は、計測対象物の表面の特徴部を計測データから検出し、計測対象物の計測点候補を抽出する計測対象候補特徴量検出手段２５２－６と、抽出した計測対象点候補の特徴部データと既知寸法の計測対象の特徴部データの２次元・３次元投影処理による候補点から確からしい計測確定点を選別する計測対象特徴量対応付け手段２５２－７と、を具備している。

演算処理装置２５２は、計測マーカ２０３の既知寸法で設けた格子模様もしくは円形模様の計測マーカの特徴部の候補を計測データから抽出する計測マーカ候補特徴量検出手段２５２－８と、抽出した計測マーカ計測点候補の特徴部データと既知寸法の計測マーカ２０３の特徴部データの２次元・３次元投影処理により確からしい計測マーカ確定点を選別する計測マーカ特徴量対応付け手段２５２－９と、を具備している。

さらに、演算処理装置２５２は、計測対象特徴量対応付け手段２５２－７にて対応付けした計測確定点の特徴部データとキャリブレーションデータを用いた計測点３次元計測処理を行うとともに、計測マーカ特徴量対応付け手段２５２－９にて抽出した計測マーカ確定点の特徴部データとキャリブレーションデータを用いた基準点３次元計測処理を行う３次元計測処理手段２５２－１０を具備している。

さらにまた、演算処理装置２５２は、３次元計測処理された計測点と基準点を用いて、計測装置２１１のセンサ部２１２とロボット装置２０１の手先ツール取付部２０２と計測対象の表面の位置や姿勢角の相対位置関係を求める相対位置計測処理手段２５２－１１と、相対位置を求めた計測装置２１１のセンサ部２１２とロボット装置２０１の手先ツール取付部２０２と計測対象の表面の位置関係からロボット装置２０１の相対移動量と回転量を求める相対ロボット制御量演算処理手段２５２－１２とを具備している。

以下に各手段の機能について述べる。なお、これらは演算処理装置側に組み込んだソフトウェアにより制御・演算される。

計測装置２１１の投光部２１３の点灯・消灯制御及び照射強度の調整制御を行う投光通信・制御手段２５２－１は、点灯・消灯および調光制御する制御信号を、投光部２１３に演算処理装置２５２側から出すものである。また、投光部２１３は、任意の図柄（たとえば、市松模様や格子模様などの模様になりえる映像）を投影するため、計測対象物の表面状態に応じて、照射することが可能となるよう選択式フィルタを備える。さらに、投光部２１３は、照射方向を変えられるように、上下・左右・照射軸周りの３軸に対する回転機構を備える。

計測装置２１１のセンサ部２１２のデータ取得トリガ制御及びデータ取得速度とデータ取得特性の調整制御を行うセンサ通信・制御手段２５２－２は、センサ部２１２の映像データの取り込み開始や停止を制御し、取り込み中はライブ映像として連続取り込み可能なものとしてデータ取得トリガの制御を行う。必要に応じて、連続取り込み時の間隔を設定可能となっている。また、暗室環境となるため、データ取得速度であるシャッタースピード調整や、データ取得特性であるホワイトバランスやゲインなどの一般的な調整機能を備える。さらに、センサ部２１２は、撮影方向を変えられるように、上下・左右・撮影軸周りの３軸に対する回転機構を備える。

センサ部２１２の映像データを演算処理装置２５２に入力するセンサデータ入力手段２５２－３は、一般的な映像信号に対応したデータ入力手段であり、アナログ信号もしくはデジタル信号の映像信号を演算処理装置２５２の記憶装置２５４に保存する機能も備えている。

計測装置２１１のセンサ部２１２のセンサ特性と２つ以上のセンサがある場合にセンサ間の位置や姿勢関係を校正し、キャリブレーションデータを取得するキャリブレーション手段２５２－４は、センサ部２１２のレンズ特性についてのデータも含み、センサの主点位置、レンズのゆがみ補正係数（放射方向と接線方向ゆがみ）、レンズの焦点距離、センサのスケールファクタ（センササイズと実際のスケール変換係数）であるセンサ内部特性を取得するため、センサ部２１２の映像データを入力し、キャリブレーションする機能を備える。また、センサが２つ以上ある場合は、センサの外部特性である位置と姿勢の相対位置関係を求める機能を備える（後述する第２実施形態に該当）。これらキャリブレーションは、相対位置計測を行う前に、実施することが望ましく、計測マーカのような既知寸法かつゆがみ等がないキャリブレーションボードを用いて、センサ特性を取得するものである。さらに、通常は実施しないが、何らかの障害により相対位置計測中に、センサ特性が事前にキャリブレーションしたセンサ特性と異なる状況が発生した場合、ロボット装置２０１に取り付けた計測マーカ２０３を動かし、その映像データを取得することで、キャリブレーションすることが可能である。

センサデータ入力手段２５２－３とキャリブレーション手段２５２－４から取得した撮影画像の積算画像処理とキャリブレーションデータを用いた画像ゆがみ補正処理する撮影データ補正手段２５２－５は、例えば、保守・交換対象１０１、隣接対象１０２－１，１０２－２の格子等が不鮮明に撮影された場合に、取得した映像データを積算し、より輝度の変化を鮮明に出力する機能を備える。積算枚数は、投光部２１３の照射強度により異なるが、最低積算枚数は２枚以上である。なお、撮像センサが固定されていない場合を考慮して、撮影画像の最初の画像を基準として、２枚目以降の撮影画像は最初の画像にて特徴となる最低３点以上の特徴点をエッジ検出フィルタやコーナ検出フィルタにより抽出し、２枚目以降も同様の処理を実施し、相互で最初の画像の特徴点と一致する特徴点を検出する。検出した対応する検出点を元に２枚目以降を２次元アフィン変換し、積算画像処理することで、鮮明な画像を得るものである。

計測対象の表面の特徴部を計測データから抽出する計測対象候補特徴量検出手段２５２－６は、計測対象の特徴部として、例えば格子溝の交点等を検出するが、暗室環境である点や放射線環境である点から、暗い画像が得られる可能性、計測対象が複雑な凹凸を持つ場合の照明反射強度の異なる可能性、放射線ノイズを格子交点の候補として誤検出する可能性を考慮して、格子溝を前景とし、それ以外の部分を背景として処理する前景フィルタと背景フィルタにより、縦横に走る格子溝をそれぞれ、個別に検出する画像処理フィルタを備える。このフィルタにより、得られる撮影画像の各画素における双方のフィルタ値を元に、格子交点の特徴量を演算処理し、検出するものである。なお、撮影する画像によっては、格子溝は傾くため、撮影軸回りの回転を考慮した画像処理を備える。

抽出した計測対象の計測点候補の特徴部データと、既知寸法の計測対象の特徴部データの２次元・３次元投影処理による候補点から確からしい計測確定点を選別する計測対象特徴量対応付け手段２５２－７は、検出した格子溝の交点等の候補から、保守・交換対象１０１、隣接対象１０２－１，１０２－２の設計上の既知の寸法を元に、最低３点を設定しておき、３点の位置関係から撮影画像上の２次元の候補点と３次元の既知寸法値を元に、投影して、一致もしくは近接点（あらかじめ近接距離を任意に設定）を検出し、確からしい計測確定点を選別する機能を備えている。

計測マーカ２０３の既知寸法で設けた格子模様もしくは円形模様の特徴部を計測データから検出し計測マーカ計測点候補を抽出する計測マーカ候補特徴量検出手段２５２－８は、格子模様や円形模様の配置ごとの数量や間隔の既知の寸法値から撮影画像とキャリブレーションにより得られたセンサ内部特性を元に、あらかじめ格子か円形模様かを選択し、その模様を検出するフィルタを組み込み、格子の場合は交点を、円形模様の場合は中心点の画像上の特徴点の候補を抽出する機能を備える。

抽出した計測マーカ計測点候補の特徴部データと既知寸法の計測マーカの特徴部データの２次元・３次元投影処理による候補点から確からしい計測マーカ確定点を選別する計測マーカ特徴量対応付け手段２５２－９は、検出した格子の交点もしくは円形の中心点の候補から、計測マーカ２０３の設計上の既知の寸法を元に、抽出した候補点の位置関係から撮影画像上の２次元の候補点と３次元の既知寸法値を元に、投影して、一致もしくは近接点（あらかじめ近接距離を任意に設定）を検出し、確からしい計測マーカ確定点を選別する機能を備えている。

３次元計測処理手段２５２－１０は、計測対象特徴量対応付け手段２５２－７にて対応付けした計測確定点の特徴部データとキャリブレーションデータを用いた計測点３次元計測処理を行うとともに、計測マーカ特徴量対応付け手段２５２－９にて抽出した計測マーカ確定点の特徴部データとキャリブレーションデータを用いた基準点３次元計測処理を行う。例えば、検出した格子の交点の候補から、基準点となる計測マーカ２０３の設計上の既知の寸法を元に、数量と配置の位置関係から撮影画像上の２次元の候補点と３次元の既知寸法値を元に、投影して、一致もしくは近接点（あらかじめ近接距離を任意に設定）を検出し、確からしい計測マーカ確定点を選別する。

３次元計測処理された計測点と基準点を用いて、計測装置２１１のセンサ部２１２とロボット装置２０１の手先ツール取付部２０２と計測対象の表面の位置や姿勢角の相対位置関係を求める相対位置計測処理手段２５２－１１は、センサ部２１２が１台である第１実施形態では、一般に撮影対象内の３次元座標を求めることは困難である。そのため、３次元計測処理手段２５２－１０による計測対象及び基準点のそれぞれの３次元座標値と、撮像画像の２次元座標値をもとに、センサ部２１２の位置と姿勢を収束演算により求める機能を備える。この演算処理手法は、一般にＰｎＰ問題といわれ、本実施形態では、３点を基準としたため、Ｐ３Ｐ問題となる。計測精度を向上させるためには、基準とする点を増やす必要があるが、誤検出をした場合にセンサ部２１２の位置と姿勢が大きな誤差をもって算出される可能性もある。本実施形態では、３点とした場合であるが、その限りではない。また、センサ部２１２の位置と姿勢がずれると、ロボット装置２０１の手先ツール取付部２０２と、計測対象と隣接ＦＷの位置関係も崩れる。そのため、本機能には、演算処理された結果に対して、センサ部２１２と手先ツール取付部２０２と計測対象の計算上の距離を求め、あらかじめ設定した閾値を元に演算結果の信頼性に対する警告を発する機能を備える。

相対位置を求めた、計測装置２１１のセンサ部２１２と、ロボット装置２０１の手先ツール取付部２０２と、計測対象の表面の位置関係から、ロボット装置２０１の相対移動量と回転量を求める相対ロボット制御量演算処理手段２５２－１２は、相対位置計測処理手段２５２－１１により求められたセンサ部２１２の撮影位置、ロボット装置２０１の手先ツール取付部２０２の中心座標を原点にし、計測対象等までの距離と角度を算出し結果を出力する機能を備える。この距離と角度を元に、あらかじめ設定したロボット装置２０１の手先ツール取付部２０２と計測対象等までの距離ごとに、取り付けや取り外しにおける接近や離合する際の移動量や回転量の制限値に応じて、現在位置を相対計測結果と照合し、制限に応じたロボット装置２０１の相対的な移動と回転の制御量を算出し、ロボット装置２０１に出力する機能を備える。

上記の第１実施形態によれば、撮像センサが１台の場合にも、ロボット装置２０１と計測対象物等との相対位置関係を計測し、ロボット装置２０１を制御するための相対的な移動量と回転量を出力することができる。

（第２実施形態）
次に、第２実施形態について説明する。第１実施形態と同様に、複数の壁構成部材から構成された壁の、壁構成部材の交換を一例とした構成及び相対位置計測の方法について説明する。なお、第１実施形態と対応する部分には同一の符号が付してある。

第２実施形態では、図１８，１９に示すように、計測装置２１１は、２つのセンサ部２１２と２つの投光部２１３とを具備している。なお、センサ部２１２と投光部２１３は３つ以上の場合にも同様の構成となる。以下に、機能追加となる項目について述べる。

キャリブレーション手段２５２－４は、撮像センサが２つ以上ある場合、センサの外部特性である位置と姿勢の相対位置関係を求める機能を備える。これらキャリブレーションは、相対位置計測を行う前に、実施することが望ましく、計測マーカのような既知寸法かつゆがみ等のないキャリブレーションボードを用いて、センサ特性を取得するものである。さらに、通常は実施しないが、何らかの障害により相対位置計測中に、センサ特性が事前にキャリブレーションしたセンサ特性と異なる状況が発生した場合、ロボット装置２０１に取り付けた計測マーカ２０３を動かし、その映像データを取得することで、キャリブレーションすることが可能である。

抽出した計測マーカの特徴部データの候補と既知寸法の計測マーカの特徴部データの２次元・３次元投影処理による候補点から確からしい計測マーカ確定点を選別する計測マーカ特徴量対応付け手段２５２－９は、検出した格子の交点もしくは円形の中心点の候補から、計測マーカ２０３の設計上の既知の寸法を元に、抽出した候補点の位置関係から撮影画像上の２次元の候補点と３次元の既知寸法値を元に、投影して、一致もしくは近接点（あらかじめ近接距離を任意に設定）を検出し、確からしい計測マーカ確定点を選別する機能を備えている。第２実施形態においては、２つ以上のセンサ部２１２を有することから、キャリブレーション結果を用いて、３次元計測することが可能な機能を備える。そのため、設計上の既知の寸法の代わりに、計算された３次元計測結果をもとに、抽出した候補点の位置関係から、撮影画像上の２次元の候補点と３次元の既知寸法値を元に、投影して、一致もしくは近接点（あらかじめ近接距離を任意に設定）を検出し、確からしい計測点を選別する機能も備えている。

上記構成の第２実施形態は、撮像センサが２台以上の場合にも、ロボット装置２０１と計測対象等との相対位置関係を計測し、ロボット装置２０１を制御するための相対的な移動量と回転量を出力することを可能としたものである。また、撮像センサが２台以上となることで、相対位置計測の計測精度の向上と信頼性の向上が図られるものである。

（第３実施形態）
次に、第３実施形態について説明する。計測マーカ２０３がロボット装置２０１の１か所に設置されている場合、固定設置された計測マーカ２０３がセンサ部２１２から撮影困難な場合が生じることを想定し、第３実施形態では、ロボット装置２０１の手先ツール取付部２０２の複数の異なる位置に、複数の計測マーカ２０３を配置したものである。第１実施形態と同様に、複数の壁構成部材から構成された壁の、壁構成部材の交換を一例とした構成及び相対位置計測の方法について説明する。なお、第１実施形態と対応する部分には同一の符号が付してある。

図２０に第３実施形態のブロック図を示す。図２０に示すように、計測装置２１１は、単眼視の撮像系としたものであり、センサ部２１２と投光部２１３で構成される。なお、センサ部２１２と投光部２１３は第２実施形態のように２つ以上としてもよい。

第３実施形態では、２個以上の計測マーカ２０３を有し、計測装置２１１のセンサ部２１２から得られる撮像データに撮影された計測マーカ２０３の全て若しくは一部を検出し、予め記憶装置２５４に登録した計測マーカ２０３の数量や配置、寸法の計測マーカ情報を元に、それぞれの位置を特定する計測マーカ種別特定演算処理手段２５２－１３と、特定した位置からロボット装置の手先ツール取付部２０２に対する計測マーカ２０３の配置を特定する計測マーカ取付位置特定演算処理手段２５２－１４を備えている。

上記構成の第３実施形態における、第１実施形態及び第２実施形態との大きな違いは、演算処理装置２５２において、計測マーカ２０３を検出し、種別や取り付け位置を特定する手段が追加されることである。以下に、機能追加となる項目について説明する。

計測マーカ種別特定演算処理手段２５２－１３は、計測装置２１１のセンサ部２１２から得られる撮像データに撮影された計測マーカ２０３の全て若しくは一部を検出する機能を有している。この際に、記憶装置２５４から複数の計測マーカ２０３ごとに異なる縦横の数量と配置データ（手先ツール取付部２０２の取り付け原点との位置関係）を読み出す。これにより撮影されている計測マーカ２０３がどの計測マーカ２０３であるかの種別を特定するものである。

特定方法は、計測マーカ２０３の縦横の数量と、撮影画像から抽出した計測マーカ２０３の候補における縦横の数量を照合し、最も確からしい計測マーカ２０３を特定する。計測マーカ２０３が一部しか撮影画像にない場合は、特定候補を複数列挙し、手動で候補から選択する。なお、計測装置２１１を固定とした場合には、初回に手動選択した計測マーカ２０３候補が一定の位置に撮影される可能性が高いため、自動的に選択する機能も付加している。ただし、自動選択とした際にロボット装置２０１が回転した場合に一定の位置に存在しない可能性があり、その場合は計測マーカ２０３の照合に失敗するため、手動選択に自動的に切り替わる機能も備えている。

計測マーカ取付位置特定演算処理手段２５２－１４は、特定した位置からロボット装置２０１の手先ツール取付部２０２に対する計測マーカ２０３の配置を特定する機能である。記憶装置２５４から読みだした計測マーカ２０３の配置データと特定した計測マーカ２０３を照合することで、計測マーカ２０３のロボット装置２０１の手先ツール取付部原点との位置関係を取得するものである。これにより、計測マーカの２次元と３次元の対応付けの際に、照合すべき計測マーカ２０３を自動的に選択し、誤った参照を防ぐものである。また、計測マーカ２０３の数が増えた場合は、ロボット装置２０１の位置の正確性の向上に寄与するものである。

第３実施形態では、計測対象等とロボット装置２０１の相対位置関係を計測装置２１１のセンサ部２１２が１つの場合や２つ以上の場合、双方において相対位置計測を実施することを可能とし、ロボット装置２０１による遠隔保守・交換を過酷環境においても実現可能とし、要するコストや労力、時間を削減することに寄与するものである。さらに、遠隔保守工程における歩留まりの向上と工程短縮に寄与すると考えられる。

以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０１……保守・交換対象、１０２……隣接対象、２０１……ロボット装置、２０２……手先ツール取付部、２０３……計測マーカ、２１１……計測装置、２１２……センサ部、２１３……投光部、２５１……制御室、２５２……演算処理装置、２５３……入力・表示装置、２５４……記憶装置、２５５……ロボット装置制御盤、２５６……ロボット制御処理装置。

Claims (12)

1. 暗室環境における照明となり計測対象物の表面に光の照射及び所定形状の模様の投影を可能とする投光部、および前記計測対象物からの前記投光部によって投影された前記所定形状の模様を含む撮像データを取得するセンサ部を備えた計測装置と、
   前記計測装置の前記センサ部から撮影可能な位置に配置され前記センサ部からの前記撮像データにより位置と姿勢角を算出可能とするための計測マーカと、保守ツールを取り付けるための手先ツール取付部を具備した可動部と、を備えたロボット装置と、
   単眼の前記センサ部からの前記計測対象物及び前記計測マーカおよび前記投光部によって投影された前記所定形状の模様を含む前記撮像データと、前記計測対象物及び前記計測マーカの既知寸法データ、可動部原点である前記手先ツール取付部の中心位置とから、前記計測装置の前記センサ部と前記ロボット装置の前記手先ツール取付部と前記計測対象物の表面の位置や姿勢角の相対位置関係を求める相対位置計測処理手段と、相対位置を求めた前記計測装置の前記センサ部と前記ロボット装置の前記手先ツール取付部と前記計測対象物の表面の位置関係から前記ロボット装置の相対移動量と回転量を求める相対ロボット制御量演算処理手段とを具備し、前記計測対象物、前記ロボット装置、前記計測装置の３次元相対位置関係を算出可能とされた演算処理装置と、
   を備えたことを特徴とする遠隔計測装置。
2. 前記計測マーカは、所定サイズの格子模様若しくは円形模様を、縦横方向に所定数量整列して配置して構成され、１又は複数設けられていることを特徴とする請求項１記載の遠隔計測装置。
3. 前記計測装置は、複数の前記センサ部を有し、前記演算処理装置は、複数の前記センサ部からの前記撮像データと、前記計測対象物及び前記計測マーカの既知寸法データとから、前記計測対象物、前記ロボット装置、前記計測装置の３次元相対位置関係を算出することを特徴とする請求項１又は２に記載の遠隔計測装置。
4. 前記演算処理装置は、
   前記センサ部から撮像データを入力するためのデータ入力手段と、
   前記撮像データから前記センサ部についてのキャリブレーションを実施しキャリブレーションデータを得るためのキャリブレーション手段と、
   前記キャリブレーションデータに基づいて前記撮像データの画像ゆがみを補正する撮像データ補正手段と、
   補正された前記撮像データから、前記計測対象物に対する特徴量を検出し、計測対象物計測点候補を抽出する計測対象候補特徴量検出手段と、
   前記計測対象物計測点候補の特徴量データと、既知寸法の計測対象特徴部データの２次元・３次元投影処理により計測確定点を選別する計測対象特徴量対応付け手段と、
   補正された前記撮像データから、前記計測マーカに対する特徴量を検出し、計測マーカ計測点候補を抽出する計測マーカ候補特徴量検出手段と、
   前記計測マーカ計測点候補の特徴量データと、既知寸法の計測マーカ特徴部データの２次元・３次元投影処理により計測マーカ確定点を選別する計測マーカ特徴量対応付け手段と、
   前記計測確定点の特徴量データ及び前記計測マーカ確定点の特徴量データと、前記キャリブレーションデータを用いた３次元計測処理手段と、
   前記３次元計測処理手段によって３次元処理されたデータから、前記計測対象物と前記ロボット装置と前記計測装置の相対位置関係を求める相対位置計測手段と、
   を備えたことを特徴とする請求項１乃至３の何れか１項に記載の遠隔計測装置。
5. 前記演算処理装置は、
   前記相対位置計測手段によって求めた、前記計測対象物と前記ロボット装置と前記計測装置の相対位置関係から、前記ロボット装置の相対移動量と回転量を求める相対ロボット制御量演算処理手段備えたことを特徴とする請求項４記載の遠隔計測装置。
6. 前記キャリブレーション手段は、前記センサ部のレンズ特性及びスケールファクタに関するキャリブレーションデータを取得可能とされていることを特徴とする請求項４又は５に記載の遠隔計測装置。
7. 暗室環境における照明となり計測対象物の表面に光の照射及び所定形状の模様の投影を可能とする投光部、および前記計測対象物からの前記投光部によって投影された前記所定形状の模様を含む撮像データを取得するセンサ部を備えた計測装置と、
   前記計測装置の前記センサ部から撮影可能な位置に配置され前記センサ部からの前記撮像データにより位置と姿勢角を算出可能とするための計測マーカと、保守ツールを取り付けるための手先ツール取付部を具備した可動部と、を備えたロボット装置と、
   単眼の前記センサ部からの前記計測対象物及び前記計測マーカおよび前記投光部によって投影された前記所定形状の模様を含む前記撮像データと、前記計測対象物及び前記計測マーカの既知寸法データ、可動部原点である前記手先ツール取付部の中心位置とから、前記計測装置の前記センサ部と前記ロボット装置の前記手先ツール取付部と前記計測対象物の表面の位置や姿勢角の相対位置関係を求める相対位置計測処理手段と、相対位置を求めた前記計測装置の前記センサ部と前記ロボット装置の前記手先ツール取付部と前記計測対象物の表面の位置関係から前記ロボット装置の相対移動量と回転量を求める相対ロボット制御量演算処理手段とを具備し、前記計測対象物、前記ロボット装置、前記計測装置の３次元相対位置関係を算出可能とされた演算処理装置と、
   を備えた遠隔計測装置を用い、前記計測対象物と、前記ロボット装置と、前記計測装置との３次元相対位置を計測することを特徴とする遠隔計測方法。
8. 前記計測マーカは、所定サイズの格子模様若しくは円形模様を、縦横方向に所定数量整列して配置して構成され、１又は複数設けられていることを特徴とする請求項７に記載の遠隔計測方法。
9. 前記計測装置は、複数の前記センサ部を有し、前記演算処理装置は、複数の前記センサ部からの前記撮像データと、前記計測対象物及び前記計測マーカの既知寸法データとから、前記計測対象物、前記ロボット装置、前記計測装置の３次元相対位置関係を算出することを特徴とする請求項7又は８に記載の遠隔計測方法。
10. 前記演算処理装置は、
    前記センサ部から撮像データを入力するためのデータ入力手段と、
    前記撮像データから前記センサ部についてのキャリブレーションを実施しキャリブレーションデータを得るためのキャリブレーション手段と、
    前記キャリブレーションデータに基づいて前記撮像データの画像ゆがみを補正する撮像データ補正手段と、
    補正された前記撮像データから、前記計測対象物に対する特徴量を検出し、計測対象物計測点候補を抽出する計測対象候補特徴量検出手段と、
    前記計測対象物計測点候補の特徴量データと、既知寸法の計測対象特徴部データの２次元・３次元投影処理により計測確定点を選別する計測対象特徴量対応付け手段と、
    補正された前記撮像データから、前記計測マーカに対する特徴量を検出し、計測マーカ計測点候補を抽出する計測マーカ候補特徴量検出手段と、
    前記計測マーカ計測点候補の特徴量データと、既知寸法の計測マーカ特徴部データの２次元・３次元投影処理により計測マーカ確定点を選別する計測マーカ特徴量対応付け手段と、
    前記計測確定点の特徴量データ及び前記計測マーカ確定点の特徴量データと、前記キャリブレーションデータを用いた３次元計測処理手段と、
    前記３次元計測処理手段によって３次元処理されたデータから、前記計測対象物と前記ロボット装置と前記計測装置の相対位置関係を求める相対位置計測手段と、
    を備えたことを特徴とする請求項７乃至９の何れか１項に記載の遠隔計測方法。
11. 前記演算処理装置は、
    前記相対位置計測手段によって求めた、前記計測対象物と前記ロボット装置と前記計測装置の相対位置関係から、前記ロボット装置の相対移動量と回転量を求める相対ロボット制御量演算処理手段備えたことを特徴とする請求項１０記載の遠隔計測方法。
12. 前記キャリブレーション手段は、前記センサ部のレンズ特性及びスケールファクタに関するキャリブレーションデータを取得可能とされていることを特徴とする請求項１０又は１１に記載の遠隔計測方法。

Images