JP2008014691A

JP2008014691A - ステレオ画像計測方法とそれを実施する装置

Info

Publication number: JP2008014691A
Application number: JP2006184076A
Authority: JP
Inventors: Fuyuto Terui; 冬人照井; Shinichiro Nishida; 信一郎西田
Original assignee: Japan Aerospace Exploration Agency JAXA
Current assignee: Japan Aerospace Exploration Agency JAXA
Priority date: 2006-07-04
Filing date: 2006-07-04
Publication date: 2008-01-24

Abstract

【課題】本発明の課題は、ステレオ処理と点群間の３Ｄモデルマッチングにおける一手法であるＩＣＰアルゴリズムの組み合わせによる方法で、ＩＣＰに用いる点群モデルに計測対象衛星の全形状の点群を考慮したモデルを用いた場合の精度・信頼性に限界があるという問題を解決することにある。
【解決手段】本発明のステレオ画像計測方法は、計測対象の３次元形状を複数台のカメラ画像をステレオ処理して計測点群の形で求めるステップと、計測対象の既知の形状情報とステレオカメラの相対位置・姿勢とから可視部を予測するステップと、該予測した可視部の形状情報のみを用い前記計測点群の空間密度に合わせたモデル点群を決定するステップと、前記計測点群とモデル点群の間でＩＣＰアルゴリズムを用いてマッチングさせ、最も評価関数が小さなモデル群に対応する位置・姿勢を計測結果として採用するステップとを踏むようにした。
【選択図】図１

Description

本発明は複数台のカメラによるステレオ視とＩＣＰ(Iterative Closest Point)アルゴリズムを組み合わせ、被計測物体の位置・姿勢を精度良く計測する画像計測方法とそれを実施する装置に関する。

宇宙空間に浮遊する故障衛星の捕獲、回収・投棄作業を行う「デブリ・リムーバ」と呼ばれる宇宙機の開発に必要な要素技術の一つとして、捕獲対象の運動(宇宙機との相対位置・姿勢)を宇宙機で取得したカメラ画像を処理することにより計測・推定する技術が必要とされている。その手法として今般ステレオ視とＩＣＰ(Iterative Closest Point)アルゴリズムを組み合わせ、位置姿勢関係が分かっている複数台のカメラ、演算処理装置、記憶装置から構成される画像計測装置を開発したものである。ＩＣＰアルゴリズムとは対象物の完全な形状（モデル点群）が分かっている条件下で、その対象物の部分形状情報が別に得られたとき、その部分形状（計測点群）と既知のモデル点群との位置関係（座標変換）を推定するための手法として開発されたものである。そのアルゴリズムでは、当初両点群（計測点群とモデル点群）間の相対位置関係を一旦推定される座標変換を用いて設定、両点群の各点間の対応関係を「最も距離が近い」という規範に従って構築し、各対応点毎の差を集計して最小となる適正座標変換を繰り返し計算で求める。このサンプル点群の座標変換は３×３の回転行列，３×１の平行移動ベクトルに基づいてなされる。

このＩＣＰアルゴリズムを適用したものとして、特許文献１には、乱雑に積まれた物体をビンピッキングするロボットの画像処理方法が提示されている。この発明は対象物体の位置姿勢を推定する過程で存在する評価関数の極小値を回避し、対象物体の３次元的な位置姿勢を正確に推定して乱雑に積まれた物体を安定に把持することを目的とし、特に、領域分割等の複雑な前処理を省略し、処理の高速化，効率化を図るものである。そのために、前処理として画像の雑音除去を行い、把持可能領域を探索する。この情報をもとにＩＣＰアルゴリズムを適用するモデルの初期位置姿勢値を決定し、モデル全体の位置姿勢を推定する。収束した評価関数がある閾値より小さければ、対象物体に対して他の物体との重なりをチェックし、把持可能と判断された物体について推定された位置姿勢にロボットを移動させ、ハンドリングするようにしたものである。
また、特許文献２に示された「情報処理方法および情報処理装置」は形状・大きさが同一である現実モデルと仮想モデルとについて、両者の位置・姿勢を正確に一致させるように、仮想モデルの位置・姿勢を簡便に調整することを目的としたもので、この発明は現実物体に合成された仮想物体の位置姿勢を調整する情報処理方法であって、仮想物体に設定された仮想指標の位置情報を取得し、仮想指標の位置をユーザに報知し、ユーザによって操作される指示部の位置情報に基づき、前記仮想指標に対応する現実物体上の現実指標の位置情報を取得し、前記仮想指標の位置情報と前記現実指標の位置情報とに基づき、前記仮想物体の位置姿勢情報を設定するというものである。
しかし、これらの発明はＩＣＰアルゴリズムを利用したものではあるが、ステレオ画像の計測点を用いたものではない。
特開平９−２７７１８４号公報「画像処理方法」平成９年１０月２８日公開特開２００６−４８６３９号公報「情報処理方法および情報処理装置」平成１８年２月１６日公開照井冬人、上村平八郎、西田信一郎 "Terrstrial experiments for the motion estimation of a large space debris object using image data" Conference of Optics East 2005 ; 23-26 October 2005 Boston Marriott Copley Place

我々が開発した計測対象の位置・姿勢を把握するための画像計測手法は、基本的に計測対象の３次元形状を複数台のカメラ画像を用いてステレオ処理して点群の形で求め、その計測点群と計測対象の既知の形状情報から割り出したモデル点群間をＩＣＰアルゴリズムを用いてマッチングさせるもの、すなわち、本発明のステレオ画像計測装置は、従来のステレオ画像計測手法と、部分形状と既知のモデル点群との位置関係を推定するための手法であるＩＣＰアルゴリズムとの組み合わせによる計測方法を提示するものである。本発明者らは非特許文献１に「大型スペースデブリに対する画像情報に基づく運動推定」を開示した。これは宇宙ロボットなどが故障衛星等の大型スペースデブリを捕捉するようなミッションの際に必要となる要素術の一つとして、姿勢運動を行う非協力の対象の運動を画像から計測する手法を提案したもので、エリア・べースト・ステレオ・ビジョンと、点群間の三次元モデルマッチングの手法の一つであるＩＣＰアルゴリズムの組み合わせによって、時系列画像から対象の姿勢運動を推定する手法を提案し、地上装置より得られた画像を用いた解析を行った結果を示したものである。しかし、その解析過程でＩＣＰに用いるモデル点群として計測対象衛星の全形状を考慮したモデルを用いた場合に、マッチングの誤差が大きくなることがあると共に、時には真値とは全く異なる結果を出すこともあるなど信頼性にも限界があるという問題が生じた。また、モデル点群の空間密度を単純な等間隔のものにした場合、ステレオ視から得られる計測点群は必ずしも空間的に等間隔のものではないという理由から、３次元モデルマッチングにおける精度が低くなるという問題が生じた。

本発明の課題は、上記の問題を解決すること、すなわち、ステレオ処理と点群間の３Ｄモデルマッチングにおける一手法であるＩＣＰアルゴリズムの組み合わせによる方法で、ＩＣＰに用いる点群モデルに計測対象衛星の全形状の点群を考慮したモデルを用いた場合の精度・信頼性に限界があるという問題を解決することにある。
また、モデル点群の密度を単純な空間的に等間隔のものにした場合、ステレオ視から得られる計測点群は必ずしも等間隔のものではないために、３次元モデルマッチングにおける精度に限界が低くなるという問題を解決することにある。

本発明のステレオ画像計測方法は、計測対象の３次元形状を複数台のカメラ画像をステレオ処理して計測点群の形で求めるステップと、計測対象の既知の形状情報とステレオカメラの相対位置・姿勢とから可視部を予測するステップと、該予測した可視部の形状情報のみを用い前記計測点群の空間密度に合わせたモデル点群を決定するステップと、前記計測点群とモデル点群の間でＩＣＰアルゴリズムを用いてマッチングさせ、最も評価関数が小さなモデル群に対応する位置・姿勢を計測結果として採用するステップとを踏むようにした。
また、本発明のステレオ画像計測方法は、上記の計測点群の空間密度に合わせたモデル点群が、計測対象の既知の形状情報から三次元モデルを仮想作成し、該仮想モデルと各撮像素子からカメラ中心を通る視線との交点を演算してモデル点群の点とするものとした。
本発明のステレオ画像計測装置は、複数台のカメラと、該カメラの撮像画像を演算処理する手段と、記憶手段とを備えたものであって、前記演算手段は複数台のカメラ画像をステレオ処理して計測点群の形で求める機能と、既知の形状情報からステレオカメラの相対位置・姿勢から可視部を予測する機能と、該予測した可視部の形状情報のみを用い前記計測点群の空間密度に合わせたモデル点群を抽出する機能と、前記計測点群とモデル点群の間でＩＣＰアルゴリズムを用いてマッチングさせ、最も評価関数が小さなモデル群に対応する位置・姿勢を計測結果として採用する機能を備えるものとした。

本発明のステレオ画像計測方法は、計測対象の既知の形状情報とステレオカメラの相対位置・姿勢とから可視部を予測し、該予測した可視部の形状情報のみを用い前記計測点群の空間密度に合わせたモデル点群を決定してＩＣＰに用いるので、計測対象衛星の全形状の点群を考慮したモデルを用いた場合に比べ、ステレオ処理とＩＣＰアルゴリズムの組み合わせによる方法の計測精度・信頼性が向上する。
また、本発明のステレオ画像計測方法は、上記の計測点群の空間密度に合わせたモデル点群が、計測対象の既知の形状情報から三次元モデルを仮想作成し、該仮想モデルと各撮像素子からカメラ中心を通る視線との交点を演算してモデル点群の点とするものとしたので、従来のモデル点群の密度を単純な空間的に等間隔のものにした場合に比べ実際的であり三次元モデルマッチングにおける精度が向上する。
また、本発明のステレオ画像計測装置は、複数台のカメラと、該カメラの撮像画像を演算処理する手段と、記憶手段とを備えたものであって、前記演算手段は複数台のカメラ画像をステレオ処理して計測点群の形で求める機能と、既知の形状情報からステレオカメラの相対位置・姿勢から可視部を予測する機能と、該予測した可視部の形状情報のみを用い前記計測点群の空間密度に合わせたモデル点群を抽出する機能と、前記計測点群とモデル点群の間でＩＣＰアルゴリズムを用いてマッチングさせ、最も評価関数が小さなモデル群に対応する位置・姿勢を計測結果として採用する機能を備えるものとしたので、上記のような精度・信頼性の高い計測対象の位置・姿勢計測方法を実施することができる。

図１は本発明のステレオ画像計測手法を説明するフローチャートである。図中ステップ１は複数台のカメラで計測対象を撮影する。ステップ２で計測対象の３次元形状を複数台のカメラ画像をステレオ処理して計測点群の形で求めると共に記憶手段に記憶するステップであり、ステップ３は計測対象の既知の形状情報とステレオカメラの相対位置・姿勢とから可視部を予測するステップ、ステップ４は該予測した可視部の形状情報のみを用い前記計測点群の空間密度に合わせたモデル点群を決定するステップ、ステップ５は前記計測点群とモデル点群の間でＩＣＰアルゴリズムを用いてマッチングさせ、最も評価関数が小さなモデル群に対応する位置・姿勢を計測結果として採用するステップである。

本発明の最大の特徴点はＩＣＰに用いるモデル点群に計測対象衛星の全形状の点群を用いるのではなく、計測対象とステレオカメラの相対位置・姿勢から可視部(フロント・サーフェス)を予測し、その可視部だけのモデル点群をＩＣＰに用いることによって精度の向上を図るようにした点にある。そして計測対象と複数のカメラ間の相対位置・姿勢の推定のプロセスにおいて計測対象が如何なる姿勢をとるか予測の付かない場合には、事前に、形状が分かっている計測対象について可視部（フロント・サーフェス）が異なる複数の位置・姿勢に対応するモデル点群の組を作成し記憶装置に保存しておくと作業効率がよくなる。しかし、計測点群が計測対象である宇宙空間に浮遊する人工衛星の姿勢運動に応じて時系列として得られる場合には、計測した姿勢の時系列データから未来の位置・姿勢を予測することができるので、その位置・姿勢に対応するモデル点群をＩＣＰに用いることが可能なため、前述のモデル点群の組は必ずしも必要としない。

図２はカメラを２台用いて計測対象を撮影した場合のステレオ視により得られる計測３次元点群の例を模式的に示したものである。ここでは簡単のために計測対象の形状を箱型と仮定している。計測点群は２台のカメラから見える部分のみの３次元位置を表す点の集合となり、カメラの撮像素子の各ピクセルに対して１点が対応する。
図３は既知の計測対象の形状・模様情報（ＣＡＤデータ）に基づく三次元全形状モデルから可視部（フロント・サーフェス）上のモデル点群を求める方法を模式的に示したものである。撮像素子の各ピクセルからカメラ中心を通る視線とこの全形状モデル面の交点を演算して決めた点の集合をモデル点群とする。このような点群の決め方を採用したことにより、点群間の分布が等間隔ではなくなり、図２の計測点群の空間密度に合わせたモデル点群とすることができる。

図４に本発明のステレオ画像計測装置の基本構成図を示す。複数台のカメラ１ａ,１ｂ‥‥が演算手段２と記憶手段３を備えたパソコンＰＣに接続され、画像データは記憶手段(ＨＤＤ等)３に蓄積されたプログラムに従って演算処理手段２で処理される。記憶手段３には本発明の計測方法を実行するプログラムの他、計測対象の形状・模様情報（ＣＡＤデータ）と、演算結果としての計測点群情報と、モデル点群の組を保存する。まず、複数台のカメラで撮影した計測対象の画像は前記のプログラムに従って演算手段２によりステレオ処理して該計測対象の３次元形状を計測点群の形で求め、記憶手段３に蓄積する。続いて前記記憶手段３に蓄積された計測対象の形状・模様情報とこの際のステレオカメラの相対位置・姿勢情報とから演算手段２がプログラムに従って可視部を予測する。さらに、演算手段２では計測対象の既知の形状情報に基づき該予測した可視部のみの三次元モデルを仮想作成し、該仮想モデルの外面と撮像素子４の各ピクセル４ｉからカメラ中心５を通る視線との交点Ｍｉを演算して求めた前記計測点群の空間密度に合わせたモデル点群ΣＭｉを決定し、このモデル点群情報を記憶手段に蓄積する。そして、演算手段は前記計測点群とモデル点群の間でＩＣＰアルゴリズムを用いてマッチングさせ、最も評価関数が小さなモデル群を特定し、当該モデル群に対応する位置・姿勢を計測結果として採用する。

本発明は宇宙空間に浮遊する故障衛星の捕獲、回収・投棄作業を行う「デブリ・リムーバ」と呼ばれる宇宙機の開発に必要な要素技術の一つとして、開発されたものであるが、本発明は宇宙の分野に限らず、その形状に関するデータが既知である物体との相対位置・姿勢の計測に広く利用することができる。

本発明のステレオ画像計測手法を説明するフローチャートである。カメラを２台用いて計測対象を撮影した場合のステレオ視により得られる計測３次元点群の例を模式的に示した図である。既知の計測対象の形状・模様情報に基づく三次元全形状モデルから可視部上のモデル点群を求める方法を模式的に示した図である。本発明のステレオ画像計測装置の基本構成図を示す図である。

符号の説明

1a,1b‥‥ ステレオカメラＰＣパソコン
２演算手段３記憶手段
４撮像素子４i 各ピクセル
５光学中心Ｏ計測対象
ΣＳ計測点群 ΣＭモデル点群

Claims

計測対象の３次元形状を複数台のカメラ画像をステレオ処理して計測点群の形で求めるステップと、計測対象の既知の形状情報とステレオカメラの相対位置・姿勢とから可視部を予測するステップと、該予測した可視部の形状情報のみを用い前記計測点群の空間密度に合わせたモデル点群を決定するステップと、前記計測点群とモデル点群の間でＩＣＰアルゴリズムを用いてマッチングさせ、最も評価関数が小さなモデル群に対応する位置・姿勢を計測結果として採用するステップとを踏むステレオ画像位置計測方法。
計測点群の空間密度に合わせたモデル点群の決定は、計測対象の既知の形状情報から三次元モデルを仮想作成し、該仮想モデルと各撮像素子からカメラ中心を通る視線との交点を演算してモデル点群の点とするものである請求項１に記載のステレオ画像位置計測方法。
複数台のカメラと、該カメラの撮像画像を演算処理する手段と、記憶手段とを備えたものであって、前記演算手段は複数台のカメラ画像をステレオ処理して計測点群の形で求める機能と、既知の形状情報とステレオカメラの相対位置・姿勢とから可視部を予測する機能と、該予測した可視部の形状情報のみを用い前記計測点群の空間密度に合わせたモデル点群を決定する機能と、前記計測点群とモデル点群の間でＩＣＰアルゴリズムを用いてマッチングさせ、最も評価関数が小さなモデル群に対応する位置・姿勢を計測結果として採用する機能を備え、前記記憶手段は計測対象の既知の形状情報と、計測点群情報と、モデル点群情報とを記憶する機能を備えたものであるステレオ画像位置計測装置。