JP2016103230A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】撮像画像を用いて物体の位置姿勢を計測する場合において、物体の撮像画像に劣化が生じている際の計測精度を向上させる。【解決手段】撮像装置により撮像される撮像画像内の各位置について画像の劣化度を示す情報を取得する。撮像装置により撮像された対象物体の撮像画像を取得する。撮像画像から、対象物体の特徴を抽出する。対象物体の３次元モデルを保持する。対象物体の特徴と、所定の位置姿勢に従って３次元モデルを配置した場合に観察される３次元モデルの特徴とを対応付ける。対応付けられた結果と、特徴が抽出された位置に対応する劣化度とに基づいて、所定の位置姿勢を補正することにより撮像装置に対する対象物体の位置姿勢を導出する。【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

近年のロボット技術の発展とともに、工業製品の組み立てのようなこれまで人間が行っていた複雑なタスクをロボットが代わりに行うようになりつつある。このようなロボットは、組み立てを行うために、ハンドなどのエンドエフェクタによって部品を把持する。ロボットが部品を把持するためには、把持の対象となる部品とロボット（ハンド）との間の相対的な位置及び姿勢（以下、単に位置姿勢と呼ぶ）を計測する必要がある。このような位置姿勢の計測は、他にも、ロボットが自律移動するための自己位置推定、拡張現実における現実空間（現実物体）と仮想物体との位置合わせ等、様々な目的に応用できる。

物体の位置姿勢を計測する方法として、非特許文献１は、撮像装置により得られた画像上のエッジ特徴に対して、線分の集合で表される物体の３次元モデルの投影像をマッチングさせる方法を開示している。具体的には、既知の情報として与えられた概略の位置姿勢に基づいて、３次元モデル中の線分が画像上に投影される。次に、投影された線分上に離散的に配置された制御点のそれぞれに対応するエッジ特徴が画像上から検出される。そして、制御点が属する線分の投影像と対応するエッジ特徴との画像上での距離の二乗和が最小となるように、概略の位置姿勢を補正することにより、最終的な位置姿勢の計測値が得られる。

Ｔ． Ｄｒｕｍｍｏｎｄ ａｎｄ Ｒ． Ｃｉｐｏｌｌａ， "Ｒｅａｌ−ｔｉｍｅ ｖｉｓｕａｌ ｔｒａｃｋｉｎｇ ｏｆ ｃｏｍｐｌｅｘ ｓｔｒｕｃｔｕｒｅｓ"，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ｖｏｌ．２４，ｎｏ．７，ｐｐ．９３２−９４６，２００２．

しかしながら、非特許文献１に記載の手法では、画像のボケ又はブレ等に起因する画像の劣化が生じた場合に、位置姿勢の計測精度が低下するという課題があった。これは、画像が劣化している場合に、画像上から抽出されるエッジ特徴の位置が本来のエッジ特徴の位置からずれるためと考えられる。

本発明は、撮像画像を用いて物体の位置姿勢を計測する場合において、物体の撮像画像に劣化が生じている際の計測精度を向上させることを目的とする。

本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。すなわち、
撮像装置により撮像される撮像画像内の各位置について画像の劣化度を示す情報を取得する劣化度取得手段と、
撮像装置により撮像された対象物体の撮像画像を取得する画像取得手段と、
前記撮像画像から、前記対象物体の特徴を抽出する抽出手段と、
前記対象物体の３次元モデルを保持するモデル保持手段と、
前記対象物体の特徴と、所定の位置姿勢に従って前記３次元モデルを配置した場合に観察される３次元モデルの特徴とを対応付ける対応付け手段と、
前記対応付けられた結果と、前記特徴が抽出された位置に対応する前記劣化度とに基づいて、前記所定の位置姿勢を補正することにより前記撮像装置に対する前記対象物体の位置姿勢を導出する導出手段と、
を備えることを特徴とする。

撮像画像を用いて物体の位置姿勢を計測する場合において、物体の撮像画像に劣化が生じている際の計測精度を向上させることができる。

実施形態１に係る情報処理装置１の構成を示す図。 実施形態１に係る処理のフローチャート。 実施形態１に係る劣化度算出処理のフローチャート。 実施形態１に係る特徴抽出処理のフローチャート。 エッジ特徴を抽出するためのフィルタを示す図。 実施形態１に係る位置姿勢算出処理のフローチャート。 エッジ特徴の対応付け方法を説明する図。 モデルエッジ特徴と画像エッジ特徴との関係を示す図。 変形例６に係る特徴抽出処理のフローチャート。 変形例７に係る特徴抽出処理のフローチャート。 変形例８に係る劣化度算出処理のフローチャート。 対象物体の３次元位置を計測する方法を示す図。 照明パターンの１例を示す図。 実施形態４に係るロボットシステムの構成を示す図。 実施形態６に係るコンピュータの構成を示す図。

以下、本発明の実施形態を図面に基づいて説明する。ただし、本発明の範囲は以下の実施形態に限定されるものではない。

［実施形態１］
実施形態１では、測定対象物体の撮像画像の劣化度を考慮して、測定対象物体の位置姿勢の推定が行われる。具体的には、撮像画像から特徴を抽出する際に、撮像画像の劣化度を考慮することにより、高精度に特徴抽出が行われる。また、抽出された特徴に測定対象物体の３次元モデルをフィッティングさせる際に、撮像画像の劣化度に応じた重み付けが行われる。以下では、測定対象物体のことを単に対象物体と呼ぶ。

以下では、撮像装置により撮像された撮像画像に基づいて、対象物体の位置姿勢を推定する場合について説明する。この場合、撮像装置に対する対象物体の相対位置姿勢が算出される。以下の説明においては、別記ない限り、対象物体の位置姿勢とは、撮像装置に対する対象物体の相対位置姿勢を指すものとする。もっとも、撮像装置に対する対象物体の相対位置姿勢と、任意の座標系における撮像装置の位置姿勢とに基づいて、この座標系における対象物体の位置姿勢を算出することは容易である。したがって、撮像装置に対する対象物体の相対位置姿勢を算出することは、任意の座標系における対象物体の位置姿勢を算出することと等価である。

劣化度は、撮像装置により撮像される撮像画像の劣化度を示す。このように、対象物体の位置姿勢を推定する際に対象物体の撮像画像の劣化度を考慮することにより、高精度に測定対象物体の位置姿勢を推定することができる。本実施形態において、劣化度は後述する劣化度保持部１０２により予め作成されており、予め保持されている。例えば、撮像装置１０８により対象物体の撮像画像が取得される前、又は画像取得部１０３により対象物体の撮像画像が取得される前に、劣化度は算出されている。本実施形態の場合には、画像取得部１０３により対象物体の撮像画像が取得される前に、劣化度算出部１０１は劣化度を算出する。このような構成によれば、画像取得部１０３が対象物体の撮像画像を取得した後に劣化度を算出する処理を省略できるので、対象物体の位置姿勢の推定を高速に行うことができる。もっとも、別の実施形態において、撮像装置１０８により対象物体の撮像画像が取得された後に、又は画像取得部１０３により対象物体の撮像画像が取得された後に、劣化度が算出されてもよい。例えば劣化度算出部１０１は、特徴抽出部１０４又は信頼度算出部１０５等の処理において劣化度が必要となった場合に、リアルタイムに劣化度を算出してもよい。

本実施形態においては、対象物体の３次元モデル上の特徴（モデル特徴）ごとに、撮像装置に対する対象物体の相対位置姿勢に応じた劣化度が設定されている。この劣化度は、対象物体を撮像装置で撮像した際における、撮像画像上でのモデル特徴に対応する対象物体の特徴の像の劣化度を表す。本実施形態においては、ボケ及びブレによる像の劣化度が考慮される。すなわち、ボケ及びブレに起因する劣化度が、撮像条件を考慮して予め算出及び保持されている。撮像条件には、対象物体と撮像装置との間の相対速度等が含まれる。また、撮像条件には、露光時間、焦点位置、絞り等の撮像装置の撮像パラメータが含まれる。

撮像画像から抽出される特徴は特に限定されないが、本実施形態においてはエッジ特徴が用いられる。エッジ特徴とは、ソーベルフィルタのような微分フィルタを撮像画像に適用することにより抽出される、輝度勾配の極値となる点である。本実施形態においては、エッジ特徴を正しく抽出するために、ボケ量及びブレ量に合わせたフィルタが用いられる。一実施形態においては、ボケ量及びブレ量が大きい場合には大きいサイズのフィルタが用いられ、ボケ量及びブレ量が小さい場合には小さいサイズのフィルタが用いられる。また、撮像画像から抽出されたエッジ特徴（画像エッジ特徴）と３次元モデル上の特徴（モデルエッジ特徴）とのフィッティングにおいては、劣化度が小さいほどエッジ特徴の重みが大きくされる。

図１は、本発明に係る情報処理装置の一例である、実施形態１に係る情報処理装置１の構成を示す。情報処理装置１は、劣化度算出部１０１、劣化度保持部１０２、画像取得部１０３、特徴抽出部１０４、信頼度算出部１０５、モデル保持部１０６及び照合部１０７を備える。

劣化度算出部１０１は、撮像装置により撮像される撮像画像内の各位置について画像の劣化度を示す情報を算出する。本実施形態において、劣化度算出部１０１は、各モデルエッジ特徴について、撮像画像上でのモデルエッジ特徴の位置における画像の劣化度を算出する。

本実施形態において、劣化度算出部１０１は、モデルエッジ特徴ごとに、撮像画像上でのボケ量及びブレ量を劣化度として算出する。一実施形態において、劣化度算出部１０１は、対象物体の３次元形状を示す３次元モデルと、撮像装置１０８による撮像条件と、を考慮してシミュレーションにより劣化度を算出する。劣化度の詳細な算出方法については後述する。本実施形態において、劣化度算出部１０１は、ボケ量及びブレ量を劣化度として算出する。劣化度保持部１０２は、劣化度算出部１０１が算出したモデルエッジ特徴ごとの劣化度を保持する。もっとも、劣化度は撮像画像上での画像劣化度を示すものであれば特に限定されない。例えば、劣化度は画像のボケ量とブレ量とのうちの少なくとも一方でありうる。また、劣化度として、ボケ量とブレ量とに基づくパラメータ（例えば後述するσ_０）が算出されてもよい。さらに、劣化度として３つ以上のパラメータが算出されてもよい。

本実施形態において、劣化度算出部１０１は、モデル保持部１０６が位置情報を保持しているモデルエッジ特徴ごとに、劣化度を算出する。そして、劣化度保持部１０２は、モデル保持部１０６が位置情報を保持しているモデルエッジ特徴のそれぞれについて、劣化度を保持する。もっとも、３次元モデル上の任意の点について、同様の方法で劣化度を算出することができる。

本実施形態においては、後述するように、対象物体の像と、比較対象の像（３次元モデル像）とのマッチングが行われる。マッチングが良好な場合、例えば最適化の最終段階においては、対象物体の像と比較対象の像とは近似しているものと考えられる。したがって、撮像画像上でのモデルエッジ特徴の位置における画像の劣化度は、撮像画像上での対応する画像エッジ特徴の劣化度に対応するものと考えられる。

本実施形態において、劣化度算出部１０１は、撮像装置１０８に対する対象物体との間の様々な相対位置姿勢について、モデルエッジ特徴群の位置を検出する。そして、劣化度算出部１０１は、それぞれのモデルエッジ特徴について劣化度を算出する。そして、劣化度保持部１０２は、モデルエッジ特徴群について算出された劣化度群を、撮像装置１０８に対する対象物体との相対位置姿勢と関連づけて保持する。ここで、それぞれのモデルエッジ特徴について算出された劣化度には、撮像装置１０８に対するモデルエッジ特徴の相対位置姿勢が関連づけられる。

本実施形態においては、撮像装置１０８に対する対象物体の相対位置姿勢が同じである場合、撮像画像の劣化度も同じであることが仮定される。撮像装置１０８の焦点位置及び絞り値のような撮像条件が一定である場合、撮像装置１０８に対する対象物体の相対位置姿勢が一定であれば、撮像画像のボケ量は同様であることが推定される。

また、産業用ロボットが対象物体を把持する際に、ロボットに固定された撮像装置１０８を用いて対象物体を撮像することで、対象物体の位置姿勢を測定する場合を想定する。産業用ロボットは一定の動作を繰り返すことが予想されるため、撮像装置１０８の位置姿勢に対応して撮像装置１０８の速度は定まるものと考えられる。また、対象物体は静止しているか、又はベルトコンベア等に乗って一定速度で移動していると考えられる。したがって、撮像装置１０８のシャッタ速度のような撮像条件が一定である場合、撮像装置１０８に対する対象物体の相対位置姿勢が一定であれば、撮像画像のブレ量は同様であることが推定される。

もっとも、別の実施形態においては、劣化度算出部１０１は、撮像装置１０８による様々な撮像条件を用いて劣化度群を算出してもよい。この場合、劣化度保持部１０２は、撮像装置１０８に対する対象物体の相対位置姿勢及び撮像条件と関連づけて、劣化度群を保持することができる。この場合、例えば、対象物体の概略位置姿勢と、画像取得部１０３が取得した撮像画像の撮像条件と、に対応する劣化度群を用いて、対象物体の位置姿勢を推定することができる。

画像取得部１０３は、対象物体を撮像することにより得られた撮像画像を取得する。本実施形態において、画像取得部１０３は、情報処理装置１に接続された撮像装置１０８により撮像された対象物体の撮像画像を、撮像装置１０８から取得する。別の実施形態において、画像取得部１０３は、情報処理装置１が有する、撮像画像を記憶している記憶部（不図示）から、撮像画像を取得してもよい。さらに、画像取得部１０３は、撮像装置１０８により得られた撮像画像を記憶している、ネットワークを介して情報処理装置１に接続された外部の記憶装置（不図示）から、撮像画像を取得してもよい。また、撮像画像の種類は、対象物体の像の特徴が抽出できるのであれば、特に限定されない。例えば、撮像画像はグレースケール画像であってもよいし、カラー画像であってもよいし、距離画像であってもよい。

特徴抽出部１０４は、画像取得部１０３が取得した撮像画像から、対象物体の像の特徴を抽出する。本実施形態において特徴抽出部１０４は、撮像画像に対してエッジ検出処理を行うことにより、エッジ特徴を抽出する。この際、特徴抽出部１０４は、劣化度保持部１０２が保持する劣化度を参照してエッジ特徴を抽出する。すなわち、特徴抽出部１０４は、劣化度に応じて、撮像画像から特徴を抽出するために用いる抽出パラメータを設定する。特徴抽出部１０４は、撮像画像を参照して、設定された抽出パラメータを用いて、撮像画像から複数の特徴を抽出する。このように、特徴抽出部１０４は、劣化度保持部１０２が保持する劣化度を取得する劣化度取得部を有している。

具体的には、特徴抽出部１０４は、まず、対象物体の現在の位置姿勢の概略値に対応する劣化度群を、劣化度保持部１０２から取得する。本実施形態において特徴抽出部１０４は、劣化度保持部１０２が保持している劣化度群に対応付けられている対象物体の位置姿勢のうち、現在の対象物体の位置姿勢の概略値に最も近いものを特定する。そして、特徴抽出部１０４は、特定された対象物体の位置姿勢に関連づけられた劣化度群を取得する。

そして、特徴抽出部１０４は、取得した劣化度にもとづいてエッジ特徴を抽出するための抽出パラメータを設定する。本実施形態においては、抽出パラメータとして、エッジ抽出フィルタのフィルタ係数が設定される。さらに、特徴抽出部１０４は、設定されたフィルタを撮像画像に適用することにより、エッジ特徴を抽出する。以下、特徴抽出部１０４が撮像画像から抽出したエッジ特徴のことを、画像エッジ特徴と呼ぶ。フィルタの設定方法については、後述する。

対象物体の概略的な位置姿勢は、公知の方法を用いて求めることができる。対象物体の概略的な位置姿勢を求める方法の一例としては、吉井裕人，「アンサンブル分類木を用いたバラ積み部品の概略位置姿勢検出」，画像の認識・理解シンポジウム（ＭＩＲＵ２０１０），２０１０．に記載の方法が挙げられる。また、対象物体の概略的な位置姿勢として、直前に推定された対象物体の位置姿勢が用いられてもよい。

モデル保持部１０６は、対象物体の３次元モデルを保持する。３次元モデルは、対象物体の３次元的な幾何形状を示す。幾何形状の表現形式に特に制限はない。例えば、３次元モデルはポリゴン形式のデータであってもよく、すなわち幾何形状を表すために３次元点で構成される面及び線の集合を有していてもよい。また、３次元モデルは稜線を表す３次元ラインの集合を有していてもよいし、単純な３次元点の集合を有していてもよい。本実施形態において、モデル保持部１０６は、対象物体の３次元モデル上から抽出された３次元のエッジ特徴（モデルエッジ特徴）の位置情報を保持している。

モデル保持部１０６が保持するモデルエッジ特徴の抽出方法の一例を以下に示す。まず、撮像装置１０８に対する対象物体の相対位置姿勢に基づいて、３次元モデルが撮像装置１０８の撮像画像面に投影される。こうして得られた画像のことを投影画像と呼ぶ。すなわち、撮像装置１０８が対象物体を撮像することにより得られる画像が、対象物体の３次元モデルを用いて推定される。例えば、仮想空間上に、撮像装置１０８に相当する視点と３次元モデルとを、撮像装置１０８に対する対象物体の相対位置姿勢にしたがって配置し、視点からの対象物体の画像を生成することにより、この処理を実現できる。

次に、得られた投影画像に対して微分フィルタを適用することにより、投影画像上のエッジ特徴が抽出される。さらに、投影画像上のエッジ特徴を３次元モデルに逆投影することにより、モデルエッジ特徴が抽出される。例えば、投影画像上のエッジ特徴に対応する３次元モデル上の点群を、モデルエッジ特徴として抽出することができる。以上の処理を撮像装置１０８に対する対象物体の様々な相対位置姿勢について行うことにより、それぞれの相対位置姿勢において１以上のモデルエッジ特徴群が抽出される。モデル保持部１０６は、抽出された１以上のモデルエッジ特徴群の位置情報を保持する。本実施形態において、モデル保持部１０６は、撮像装置１０８に対する対象物体の間の相対位置姿勢に関連づけて、抽出された１以上のモデルエッジ特徴群の位置情報を保持する。この場合、モデルエッジ特徴の位置情報は、撮像装置１０８に対するモデルエッジ特徴の相対位置姿勢を示しうる。

もっとも、３次元モデルからモデルエッジ特徴を抽出する方法は上記の方法には限られず、別の方法を用いることもできる。例えば、３次元モデルが面の法線情報を保持している場合には、法線方向が不連続となる箇所をモデルエッジ特徴として抽出することができる。また、モデル保持部１０６は、様々な相対位置姿勢において抽出されたモデルエッジ特徴群をまとめて保持してもよい。例えば、モデル保持部１０６は、３次元モデル上におけるモデルエッジ特徴の位置情報を保持してもよい。この場合、撮像装置１０８に対する３次元モデルの相対位置姿勢に基づいて、撮像装置１０８に対するモデルエッジ特徴の相対位置姿勢を算出することができる。

また、モデル保持部１０６が保持するモデル情報は、３次元モデルそのものであってもよい。さらに、モデル情報は、３次元モデルのエッジ特徴を撮像装置１０８の撮像画像面に投影して得られる２次元のエッジ特徴像についての、投影画像上の位置及び方向の情報であってもよい。このような場合であっても、モデル情報に示される特徴を、画像から抽出される特徴とマッチングさせることができる。さらには、モデル情報は、対象物体を撮像して得られる画像であってもよい。この場合、この画像から抽出された特徴を、特徴抽出部１０４により抽出された特徴とマッチングさせることができる。また、後述する実施形態５に従って画像同士をマッチングさせることもできる。さらには、モデル情報は、対象物体の種類を特定する識別子を有していてもよい。

照合部１０７は、対象物体の位置姿勢を算出する。照合部１０７は、対象物体の特徴と、所定の位置姿勢に従って３次元モデルを配置した場合に観察される３次元モデルの特徴との対応付けを行う。そして、対応付けられた結果と、特徴が抽出された位置に対応する劣化度とに基づいて、所定の位置姿勢を補正することにより撮像装置１０８に対する対象物体の位置姿勢を導出する。

照合部１０７により行われる処理の概略は、以下の通りである。まず、照合部１０７は、対象物体の像から抽出された複数の特徴のそれぞれについて、この特徴と、この特徴に対応する比較対象の像の特徴と、の差異を算出する。本実施形態において、照合部１０７は、対象物体の像から抽出された複数のエッジ特徴のそれぞれについて、このエッジ特徴と、このエッジ特徴に対応する比較対象の像のエッジ特徴と、の差異を算出する。ここで、比較対象の像とは、所定の位置姿勢に従って視点と３次元モデルを配置した場合に観察される３次元モデル像である。本実施形態においては、まず、上記のように取得された対象物体の概略位置姿勢に従って視点と３次元モデルとを配置した場合における３次元モデル像を用いて差異が算出される。そして、視点と３次元モデルとの間の相対位置姿勢を変化させながら得られた複数の３次元モデル像を用いて、同様に差異が算出される。

具体的な一例として、照合部１０７は、モデル保持部１０６が保持しているモデルエッジ特徴群のうち、撮像装置１０８に対する対象物体の現在の相対位置姿勢に対応するモデルエッジ特徴群を取得する。例えば、照合部１０７は、モデル保持部１０６が保持しているモデルエッジ特徴群に関連づけられている相対位置姿勢のうち、撮像装置１０８に対する対象物体の現在の相対位置姿勢の概略値にもっとも近いものを検出することができる。そして、検出された相対位置姿勢に関連づけられているモデルエッジ特徴群を、照合部１０７は取得する。こうして取得されたモデルエッジ特徴群のそれぞれについては、視点すなわち撮像装置１０８に対する、各エッジの相対位置姿勢が特定されている。

照合部１０７は、次に、取得したモデルエッジ特徴群のそれぞれについて、特徴抽出部１０４により抽出された対応する画像エッジ特徴を対応付ける。対応付けの方法は特に限定されず、例えば次の方法で行うことができる。まず、照合部１０７は、３次元モデルが有する複数のエッジのそれぞれについて、所定の位置姿勢に基づいて投影画像上に投影することで得られる画像位置を算出する。例えば、照合部１０７は、モデルエッジ特徴群のそれぞれについて、所定の位置姿勢に従って視点と３次元モデルを配置した場合に観察される投影画像上における画像位置を算出する。この投影画像には、所定の位置姿勢に従って視点と３次元モデルを配置した場合に観察される３次元モデル像が含まれており、この３次元モデル像は複数のモデルエッジ特徴の像により構成されている。そして、投影画像上におけるモデルエッジ特徴の画像位置と、撮像画像上における画像エッジ特徴の画像位置が近接するように、モデルエッジ特徴に画像エッジ特徴が対応付けられる。このような対応付け方法の一例については後に説明する。もっとも、対象物体に埋め込まれた情報等を用いてモデルエッジ特徴に対応する画像エッジ特徴を識別してもよい。

モデル保持部１０６が３次元モデルをモデル情報として保持している場合には、照合部１０７は、モデル保持部１０６から３次元モデルを取得する。次に、照合部１０７は、撮像装置１０８に対する対象物体の現在の相対位置姿勢の概略値に基づいて、取得した３次元モデルを撮像装置１０８の撮像画像面に投影する。こうして、所定の位置姿勢に従って視点と３次元モデルを配置した場合に観察される３次元モデルの像が得られる。さらに、照合部１０７は、モデル保持部１０６が保持するモデルエッジ特徴の抽出方法と同様の方法を用いて、投影画像からモデルエッジ特徴を抽出する。そして、照合部１０７は、抽出されたモデルエッジ特徴を上述の方法で画像エッジ特徴と対応付ける。

また、照合部１０７は、画像エッジ特徴に対して適用される信頼度ｗを、信頼度算出部１０５から取得する。この信頼度ｗは、撮像画像から画像エッジ特徴が正しく抽出される可能性、例えば正しい位置で抽出される可能性を示す。本実施形態においては、画像エッジ特徴に対して適用される信頼度ｗは、対応するモデルエッジ特徴についての劣化度に従って得られる。前述のように、劣化度は、撮像画像上でのモデルエッジ特徴に対応する画像エッジ特徴の像の劣化度を表すため、劣化度に従って信頼度ｗを算出することができる。別の実施形態において、信頼度算出部１０５は、画像エッジ特徴が抽出された画像位置に対応する劣化度に従って、信頼度ｗ算出することもできる。

そして、照合部１０７は、モデルエッジ特徴群、画像エッジ特徴群、及び信頼度ｗを参照して、対象物体の位置姿勢を算出する。本実施形態において、照合部１０７は、複数の３次元モデル像のうち、対象物体の像との一致度が最も高くなる３次元モデル像を、対象物体の像に対応する比較対象の像として判定する。ここで、一致度は、画像エッジ特徴が抽出された位置に対応する劣化度に従って重み付けされた、複数の画像エッジ特徴と対応するモデルエッジ特徴との差異に基づいて求められる値に相当する。

本実施形態において、画像エッジ特徴とモデルエッジ特徴との差異は、撮像画像上における画像エッジ特徴の画像位置と、投影画像上におけるモデルエッジ特徴の画像位置と、の間の距離である。また、重み付けには、劣化度に従って算出された信頼度ｗが用いられる。具体的には、画像エッジ特徴の像が正しく抽出される可能性が高いほど、大きい重み付けがなされる。

本実施形態において、照合部１０７は、対象物体の概略位置姿勢を、視点と３次元モデルとの間の初期の位置姿勢として用いる。そして、照合部１０７は、一致度がより高くなるように視点と３次元モデルとの間の位置姿勢の最適化を行う。照合部１０７は、一致度がもっとも高くなる場合に、３次元モデルの像は対象物体の像に一致し、すなわち視点に対する３次元モデルの位置姿勢が撮像装置１０８に対する対象物体の位置姿勢を表しているものと判定する。この最適化計算の詳細についても、後述する。

信頼度算出部１０５は、モデルエッジ特徴についての劣化度に基づいて、モデルエッジ特徴に対応する画像エッジ特徴についての信頼度ｗを算出する。本実施形態においては、モデルエッジ特徴についての劣化度が高いほど、信頼度ｗが低くなるように、信頼度ｗの算出が行われる。

以下に、具体的な処理の一例について説明する。まず、信頼度算出部１０５は、劣化度保持部１０２から、撮像装置に対する対象物体の位置姿勢に関連づけて格納されている、対応する画像エッジ特徴が検出された各モデルエッジ特徴についての劣化度σ_０の情報取得を行う。このように、信頼度算出部１０５は、劣化度保持部１０２が保持する劣化度を取得する劣化度取得部を有している。そして、信頼度算出部１０５は、得られた劣化度σ_０に基づいて、画像エッジ特徴についての信頼度ｗを算出する。

信頼度ｗは、画像エッジ特徴が正しく抽出される可能性が高いほど高くなるように定められる値であれば、特に限定されない。劣化度としてボケ量とブレ量との少なくとも一方が用いられる一実施形態においては、ボケ量が大きいほど、及びブレ量が大きいほど、信頼度ｗが低くなるように信頼度ｗが定められる。本実施形態においては、ボケ量及びブレ量に従って求められる劣化度σ_０の統計量がパラメータとして含まれる関数を用いて、信頼度ｗが定められる。統計量としては、劣化度の平均値又は分散値等が挙げられるが、特に限定されない。例えば、信頼度ｗは式（１）に示すＴｕｋｅｙ関数を用いて表現することができる。

式（１）において、ｃは対応する画像エッジ特徴が検出された各モデルエッジ特徴についての劣化度σ_０の平均値、すなわち統計量であり、ｂは各モデルエッジ特徴についての劣化度σ_０である。なお、関数の種類は特に限定されず、劣化度が高いほど信頼度ｗが低くなり、劣化度が低いほど信頼度ｗが高くなる他の関数を用いることができる。例えば、ガウス関数又はＨｕｂｅｒの関数等で信頼度を表現してもよい。また、統計量ｃの代わりに予め設定された劣化度の許容値を用いて、Ｔｕｋｅｙ関数などの関数により信頼度ｗを表現してもよい。

＜本実施形態に係る処理＞
次に、本実施形態における処理の一例を、図２のフローチャートを参照しながら説明する。ステップＳ２０１において、劣化度保持部１０２は、劣化度を既に保持しているか否かを判定する。劣化度を保持している場合には処理はステップＳ２０４に進む。劣化度を保持していない場合には処理はステップＳ２０２に進む。ステップＳ２０２において、劣化度算出部１０１は劣化度を算出する。劣化度の算出方法については後述する。ステップＳ２０３において、劣化度保持部１０２は、ステップＳ２０２で算出された劣化度を保持する。このように、本実施形態においては、ステップＳ２０１及びＳ２０２において、情報処理装置１の初期処理として、画像取得部１０３が撮像画像を取得する前に劣化度の算出及び保持が行われる。もっとも、劣化度保持部１０２は、外部装置又は記憶媒体等から予め算出されている劣化度を取得及び保持してもよい。

ステップＳ２０４において、画像取得部１０３は、撮像装置１０８が対象物体を撮像することにより得られた撮像画像を取得する。ステップＳ２０５において、特徴抽出部１０４は、ステップＳ２０４で得られた撮像画像から画像エッジ特徴を抽出する。特徴抽出部１０４は、劣化度保持部１０２から取得した劣化度に基づいてフィルタを設定し、撮像画像にフィルタを適用することにより、画像エッジ特徴を抽出する。ステップＳ２０５における具体的な処理については後述する。ステップＳ２０６において、照合部１０７は対象物体の位置姿勢を算出する。具体的な処理については後述する。

＜劣化度算出処理＞
次に、図３のフローチャートを参照して、劣化度算出部１０１が劣化度を算出するステップＳ２０２の処理について説明する。本実施形態において、劣化度算出部１０１は、撮像装置１０８に対する対象物体の様々な位置姿勢に従って、視点と対象物体の３次元モデルとを配置する。そして、撮像装置１０８による撮像条件を考慮して、視点からみた３次元モデルの像の劣化度を算出する。こうして得られた劣化度は、撮像装置１０８が対象物体を撮像した際に得られると対象物体の像の劣化度の推定値として用いることができる。

本実施形態においては、劣化度としてボケ量Ｄ、ブレ量Ｂ、及びボケ量及びブレ量に従って得られる劣化度σ_０が算出される。また、撮像装置１０８による対象物体の撮像条件には、対象物体と撮像装置１０８との間の相対速度、並びに露光時間、焦点位置、及び絞り等の撮像装置１０８の撮像パラメータ等が含まれる。以下に、これらの情報を用いてシミュレーションにより劣化度を算出する方法について説明する。

以下では、モデル保持部１０６が位置情報を保持しているモデルエッジ特徴ごとに劣化度を算出する方法について説明する。別の実施形態において、劣化度算出部１０１は、撮像装置１０８に対する対象物体の様々な相対位置姿勢について、モデルエッジ特徴の位置を検出し、それぞれのモデルエッジ特徴について劣化度を算出する。この場合、劣化度算出部１０１は、モデル保持部１０６が保持するモデルエッジ特徴の抽出方法として上述した方法を用いて、モデルエッジ特徴を検出することができる。検出されたモデルエッジ特徴についての劣化度の算出方法は、以下の通りに行うことができる。

ステップＳ３０１において劣化度算出部１０１は、撮像装置１０８が対象物体を撮像する際の撮像条件を取得する。撮像条件には、撮像装置１０８による撮像画像に影響を与える撮像パラメータ、例えば焦点距離、ピント位置、絞り値、及び露光時間等が含まれる。また、撮像条件には、撮像装置１０８と対象物体との相対速度が含まれる。この相対速度は、撮像装置１０８と対象物体との相対的な移動方向及び速度を表す。

例えば対象物体がベルトコンベア上を１軸方向に並進運動する場合には、設計データ又は設定値等に基づいて、対象物体の移動方向及び移動速度を算出することができる。また、対象物体の移動方向及び移動速度をセンサ等を用いて検出してもよい。撮像装置１０８と対象物体との相対速度は、対象物体の移動方向及び移動速度、並びにモデルエッジ特徴に関連づけられている撮像装置１０８に対する対象物体の相対位置姿勢に基づいて算出することができる。

ステップＳ３０２において、劣化度算出部１０１は、モデル保持部１０６が位置情報を保持しているモデルエッジ特徴群の中から、劣化度を算出するモデルエッジ特徴を１つ選択する。ステップＳ３０３において、劣化度算出部１０１は、ステップＳ３０２において選択されたモデルエッジ特徴について、予測されるボケ量Ｄを算出する。ボケ量の計算方法は特に限定されず、公知の式を用いて算出することができる。ボケ量の計算は、撮像装置１０８の焦点距離、撮像装置１０８の絞り値、及び撮像装置１０８とピント面との距離のような撮像パラメータ、並びに撮像装置１０８とモデルエッジ特徴との距離等を用いて行うことができる。本実施形態において、劣化度算出部１０１は、以下の式（２）を用いてボケ量Ｄを算出する。

式（２）において、ｆは撮像装置１０８の撮影レンズの焦点距離を表す。Ｌ_０は仮想視点のピント位置を表す。Ｌ_ｎは仮想視点からモデルエッジ特徴までの距離を表す。Ｆは撮像装置１０８の撮影レンズの絞り値を表す。Δｄは画素の大きさを表す。Ｌ_ｎは、モデルエッジ特徴の位置情報に基づいて算出することができる。撮影レンズの焦点距離及び絞り値のような撮像装置１０８の撮像パラメータは、撮像装置１０８の仕様に従って予め設定されていてもよいし、劣化度算出部１０１が撮像装置１０８から取得してもよい。また、撮像パラメータが、Ｒ． Ｙ． Ｔｓａｉ， "Ａ ｖｅｒｓａｔｉｌｅ ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｈｉｇｈ−ａｃｃｕｒａｃｙ ３Ｄ ｍａｃｈｉｎｅ ｖｉｓｉｏｎ ｍｅｔｒｏｌｏｇｙ ｕｓｉｎｇ ｏｆｆ−ｔｈｅ−ｓｈｅｌｆ ＴＶ ｃａｍｅｒａｓ ａｎｄ ｌｅｎｓｅｓ"， ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｆ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ， ｖｏｌ．ＲＡ−３， ｎｏ．４， １９８７．で開示される方法等によって事前にキャリブレーションされていてもよい。撮像パラメータがさらにレンズ歪みパラメータ等を含んでいてもよく、このようなさらなるパラメータを参照してボケ量が算出されてもよい。

ステップＳ３０４において、劣化度算出部１０１は、ステップＳ３０２において選択されたモデルエッジ特徴について、予測されるブレ量を算出する。ブレ量の計算方法は特に限定されず、公知の式を用いて算出することができる。以下では、ブレ量の計算方法の一例について説明する。本実施形態において、劣化度算出部１０１は、露光時間中におけるモデルエッジ特徴の撮像画像上での移動量を、ブレ量として算出する。ブレ量は、撮像装置１０８に対するモデルエッジ特徴の相対位置姿勢と、露光時間及び撮像装置１０８と対象物体との相対速度のような撮像装置１０８による撮像条件と、に基づいて算出できる。以下の例では、露光時間中における撮像画像上でのモデルエッジ特徴の移動量がブレ量として算出される。

本実施形態において、劣化度算出部１０１は、撮像画像上でのモデルエッジ特徴のヤコビアンを算出する。そして、劣化度算出部１０１は、モデルエッジ特徴のヤコビアン、撮像装置１０８と対象物体との間の相対速度、並びに露光時間に基づいて、モデルエッジ特徴のブレ量を算出する。

モデルエッジ特徴のヤコビアンとは、対象物体についての６自由度の位置姿勢パラメータが微小に変化したときに、撮像画像上においてモデルエッジ特徴の像の位置が変化する割合を表す値である。

以下では、対象物体の位置姿勢をｓ、露光開始時のモデルエッジ特徴の像の位置を（ｕ，ｖ）、露光終了時のモデルエッジ特徴の像の位置を（ｕ’，ｖ’）、モデルエッジ特徴の像の法線方向を（ｎ_ｕ，ｎ_ｖ）（単位ベクトル）と表す。すると、露光開始時のモデルエッジ特徴の像と、露光終了時のモデルエッジ特徴の像と、の間の符号付距離ｅｒｒ_２Ｄは、以下の式（３）より算出できる。

対象物体の位置姿勢ｓは６次元ベクトルであり、対象物体の位置を表す３つの要素（ｓ１，ｓ２，ｓ３）と、姿勢を表す３つの要素（ｓ４，ｓ５，ｓ６）を有する。３つの要素による姿勢の表現方法は特に限定されない。例えば、姿勢はオイラー角によって表現することができる。また、原点を通る回転軸をベクトルの方向が表し、回転角をベクトルのノルムが表す３次元ベクトルによって、姿勢を表現することもできる。この位置姿勢ｓの各要素で対応間距離ｅｒｒ_２Ｄを偏微分することにより、以下の式（４）のようにモデルエッジ特徴のヤコビアン行列Ｊ_２Ｄを算出することができる。

劣化度算出部１０１は、以上の処理を各モデルエッジ特徴に対して処理を行うことにより、各モデルエッジ特徴のヤコビアンを計算する。すると、画像の露光時間ｔ_ｉ中に対象物体が相対速度Ｖで動くことによって発生するモデルエッジ特徴のブレ量Ｂは、モデルエッジ特徴のヤコビアンを用いて、以下の式（５）により計算できる。

得られるブレ量Ｂはスカラーであり、露光時間中における撮像画像上でのモデルエッジ特徴の像の位置の移動量を表す。劣化度算出部１０１は、以上の処理を各モデルエッジ特徴に対して行うことにより、各モデルエッジ特徴についてのブレ量Ｂを算出する。

ステップＳ３０５において、劣化度算出部１０１は、各モデルエッジ特徴について、ステップＳ３０３で得られたボケ量Ｄと、ステップＳ３０４で得られたブレ量Ｂとを用いて、劣化度σ_０を算出する。劣化度σ_０の具体的な算出方法は特に限定されない。本実施形態において、劣化度算出部１０１は、ボケ量Ｄ及びブレ量Ｂが大きいほど劣化度σ_０が大きくなるように、劣化度σ_０を算出する。例えば、劣化度σ_０は式（６）を用いて算出できる。もっとも、劣化度σ_０は、画像の劣化度が高いほど大きくなるのであれば、任意の方法で定めることができる。

ステップＳ３０６において、劣化度算出部１０１は、すべてのエッジ特徴について劣化度、すなわちボケ量Ｄ及びブレ量Ｂの算出が行われたか否かを判定する。劣化度の算出が終わっている場合、処理は終了する。劣化度の算出が変わっていない場合、処理はステップＳ３０２に戻る。劣化度保持部１０２は、こうして算出された劣化度、すなわちボケ量Ｄ及びブレ量Ｂを、モデルエッジ特徴と関連づけて保持する。

＜フィルタ設定及びエッジ抽出処理＞
次に、図４のフローチャートを用いて、撮像画像から画像エッジ特徴を抽出するステップＳ２０５における具体的な処理について説明する。本実施形態において、特徴抽出部１０４は、撮像画像の劣化度に応じてフィルタを設定する。そして、特徴抽出部１０４は、設定されたフィルタを取得画像に適用することで、画像エッジ特徴を抽出する。本実施形態においては、対象物体の位置姿勢に応じて１つのフィルタが設定され、この１つのフィルタを撮像画像全体に適用することにより、画像エッジ特徴が抽出される。

ステップＳ４０１において、特徴抽出部１０４は、画像取得部１０３が取得した対象物体の撮像画像を取得する。ステップＳ４０２において、特徴抽出部１０４は、対象物体の位置姿勢に対応する劣化度群を劣化度保持部１０２から取得する。本実施形態においては、劣化度としてボケ量Ｂ及びブレ量Ｄが取得される。ボケ量Ｂ及びブレ量Ｄはモデルエッジ特徴毎に保持されており、以下の処理においては、複数のモデルエッジ特徴についてのボケ量Ｂ及びブレ量Ｄの統計値、例えば平均値が用いられる。

ステップＳ４０３において、特徴抽出部１０４は、エッジ特徴を抽出するための抽出パラメータを設定する。本実施形態において、特徴抽出部１０４は、撮像画像から画像エッジ特徴を抽出するためのフィルタを設定する。本実施形態において、特徴抽出部１０４は、ステップＳ４０２において取得したボケ量Ｂ及びブレ量Ｄを参照して、予測されるエッジ特徴の波形を計算する。本実施形態において、特徴抽出部１０４は、具体的には、特徴抽出部１０４は、図５（Ａ）〜（Ｆ）に示すように、標準偏差Ｄのガウス関数と、幅がＢで高さが１である矩形波とのたたみこみ計算を行うことで、予測されるモデルエッジ特徴の像の波形を計算する。

図５（Ａ）（Ｄ）は、ボケ量Ｄ及びブレ量Ｂを用いて計算される波形５０１，５０４を示す。次に、特徴抽出部１０４は、図５（Ｂ）（Ｅ）に示すように、得られた波形５０１，５０４を微分することにより波形５０２，５０５を計算する。こうして得られた波形５０２，５０５は、波形５０１，５０４に対応する抽出フィルタであり、波形５０１，５０４からエッジを高精度に抽出することができる。最後に、特徴抽出部１０４は、所定の閾値を用いて波形５０２，５０５を量子化することにより、抽出フィルタ５０３，５０６を得る。こうして、図５（Ｃ）（Ｆ）に示すように、撮像画像に対するたたみこみ計算のために用いられる抽出フィルタ５０３，５０６が設定される。こうして得られた抽出フィルタ５０３，５０６は、微分フィルタに相当する。

抽出フィルタ５０３は、波形５０１に示されるようにボケ量Ｄ及びブレ量Ｂがより大きい場合に用いられる。また、抽出フィルタ５０６は、波形５０４に示されるようにボケ量Ｄ及びブレ量Ｂがより大きい場合に用いられる。このように、本実施形態においては、劣化度（ボケ量Ｄ及びブレ量Ｂ）が大きいほど大きいサイズのフィルタが用いられ、劣化度が小さいほど小さいサイズのフィルタが用いられる。また、ボケ量Ｄ及びブレ量Ｂの代わりに、上述のように計算された劣化度σ_０を用いることもできる。この場合も、劣化度σ_０が大きいほど大きいサイズのフィルタが用いられ、劣化度が小さいほど小さいサイズのフィルタが用いられる。

ここでは、抽出フィルタとして１次元のフィルタを用いる場合について説明した。しかしながら、抽出フィルタとして２次元のフィルタを用いることもできる。この場合にも、劣化度が大きいほど大きいサイズのフィルタを、劣化度が小さいほど小さいサイズのフィルタを、それぞれ設定することができる。

ステップＳ４０４において、特徴抽出部１０４は、ステップＳ４０３で設定されたフィルタを撮像画像に適用することにより、エッジ特徴（画像エッジ特徴）を抽出する。本実施形態においては、フィルタを撮像画像に適用することにより、エッジ強度を示すマップが得られる。

＜位置姿勢推定処理＞
次に、図６のフローチャートを参照して、ステップＳ２０６における、対象物体の位置姿勢を推定する方法について説明する。本実施形態において、照合部１０７は、撮像画像上に投影したモデルエッジ特徴の像と、画像エッジ特徴とがフィットするように、３次元モデルの位置姿勢を最適化することにより、対象物体の位置姿勢を推定する。ここでは、照合部１０７は、画像エッジ特徴とモデルエッジ特徴の像との撮像画像上での距離の総和が最小化されるように、Ｇａｕｓｓ−Ｎｅｗｔｏｎ法を用いて３次元モデルの位置姿勢を最適化する。

ステップＳ６０１において、照合部１０７は初期化処理を行う。まず、照合部１０７は、対象物体の概略位置姿勢を取得し、３次元モデルの位置姿勢ｓとして設定する。また、照合部１０７は、上述のように、撮像装置１０８に対する対象物体の概略的な相対位置姿勢に対応するモデルエッジ特徴群を、モデル保持部１０６から取得する。

ステップＳ６０２において、照合部１０７は、取得したモデルエッジ特徴群のそれぞれと、特徴抽出部１０４により抽出された画像エッジ特徴群のそれぞれとの対応付けを行う。対応付けの方法は特に限定されないが、例えば次のように対応付けを行うことができる。まず、照合部１０７は、撮像装置１０８に対する対象物体の現在の相対位置姿勢の概略値に基づいて、モデルエッジ特徴を撮像装置１０８の撮像画像面に投影する。こうして、照合部１０７は、撮像装置１０８の撮像画像面における、モデルエッジ特徴の位置及び方向を算出する。図７（Ａ）は、投影されたモデルエッジ特徴７０１が示されている。

次に、照合部１０７は、撮像画像面上で等間隔になるように、投影されたモデルエッジ特徴７０１上に複数の制御点７０２を設定する。さらに、照合部１０７は、制御点７０２のそれぞれについて、投影されたモデルエッジ特徴７０１の法線方向に探索ライン７０３を設定する。そして、照合部１０７は、制御点７０２のそれぞれについて、制御点７０２から所定の範囲内において、探索ライン７０３上に存在する画像エッジ特徴を探索する。

図７（Ｂ）においては、原点が制御点７０２であり、横軸が探索ラインであり、縦軸がエッジ強度マップの画素値の絶対値を示す。本実施形態において、エッジ強度マップは、ステップＳ４０４において特徴抽出部１０４が撮像画像に対して微分フィルタを適用することにより得られている。すなわち、エッジ強度マップの画素値の絶対値は、撮像画像の輝度勾配の絶対値に相当する。そして、照合部１０７は、輝度勾配の絶対値が極値となる点を、画像エッジ特徴として検出する。本実施形態において、照合部１０７は、輝度勾配の絶対値が極値となりかつ所定の閾値７０５よりも大きい点を、対応点として検出する。

図７（Ｂ）には、こうして発見された対応点７０４，７０６が示されている。照合部１０７は、発見された対応点７０４，７０６のうち、制御点７０２に最も近い対応点７０４を、制御点７０２に対応する対応点として記録する。この処理により、複数の制御点７０２のそれぞれについて対応点が検出される。こうして検出された対応点７０４は、モデルエッジ特徴７０１に対応する画像エッジ特徴８００上の点である。

以下では、モデルエッジ特徴のそれぞれについて１つの制御点を用いて処理が行われる。照合部１０７は、１つのモデルエッジ特徴について設定された複数の制御点のうち、対応点が検出された１つの制御点を選択し、後の処理に用いることができる。選択方法は特に限定されない。いくつかのモデルエッジ特徴については、対応する画像エッジ特徴が検出されなくてもよい。

ステップＳ６０３〜Ｓ６０５において、照合部１０７は、上述のように、対象物体の位置姿勢を算出する。一実施形態においては、照合部１０７は、以下のように対象物体の位置姿勢を算出することができる。例えば、照合部１０７は、位置姿勢を変化させることにより得られた複数の３次元モデル像について、対象物体の像との一致度を算出する。ここで、一致度は、画像エッジ特徴が抽出された位置に対応する劣化度に従って重み付けされた、複数の画像エッジ特徴の画像位置と対応するモデルエッジ特徴の画像位置との距離に基づいて求められる。重み付けは、劣化度が高いほど重みが小さくなるように行われる。
一例において、照合部１０７は、対応するモデルエッジ特徴と画像エッジ特徴との間の撮像画像上での距離に、重みとして信頼度ｗを乗じて得られる重み付き距離の総和を評価関数として用いる。この評価関数は、対象物体の像と３次元モデル像との一致度を表す。

そして、照合部１０７は、複数の３次元モデル像のうち最も高い一致度を与える３次元モデル像を、対象物体の像に対応する３次元モデル像として判定する。照合部１０７は、こうして判定された３次元モデル像に対応する視点に対する３次元モデルの位置姿勢は、撮像装置１０８に対する対象物体の位置姿勢を表しているものと判定する。

しかしながら、本実施形態においては、以下のようにＧａｕｓｓ−Ｎｅｗｔｏｎ法を用いて対象物体の位置姿勢が算出される。以下の方法によれば、対象物体の像と３次元モデルの像の一致度がより高くなるように、視点に対する３次元モデルの位置姿勢が繰り返し更新される。

ステップＳ６０３において、照合部１０７は、以下のように、係数行列Ｊと、誤差ベクトルＥとを算出する。係数行列Ｊの各要素は、モデルエッジ特徴の画像座標についての、３次元モデルの位置姿勢の微小変化に対する一次の偏微分係数である。また、誤差ベクトルＥとは、撮像画像上に投影されたモデルエッジ特徴と画像エッジ特徴との、撮像画像上での距離である。

図８は、撮像画像上に投影されたモデルエッジ特徴７０１と、ステップＳ６０２で検出された、モデルエッジ特徴７０１に対応する画像エッジ特徴８００と、の関係を示す。図８において、ｕ軸及びｖ軸はそれぞれ画像の水平方向及び垂直方向である。制御点７０２の撮像画像上での位置を（ｕ_０，ｖ_０）と表し、この制御点７０２が所属するモデルエッジ特徴７００の撮像画像上でのｕ軸に対する傾きをθと表す。以下の説明においては、モデルエッジ特徴７００の制御点７０２における傾きをθとする。この場合、モデルエッジ特徴７００の法線ベクトル、特に制御点７０２における法線ベクトルは（ｓｉｎθ，−ｃｏｓθ）となる。また、制御点７０２に対応する対応点７０４の画像座標を（ｕ’，ｖ’）とする。

ここで、点（ｕ’，ｖ’）を通り、傾きがθである直線上の点（ｕ，ｖ）は、

と表せる。式（７）において、θは上述する定数であり、ｄは上式に示す定数である。

制御点７０２の撮像画像上での位置は、３次元モデルの位置姿勢により変化する。また、上述のように、３次元モデルの位置姿勢の自由度は６自由度であり、３次元モデルの位置姿勢ｓは６次元ベクトルで表される。３次元モデルの位置姿勢が変化した後の制御点７０２に対応するモデルエッジ特徴７００上の点の画像座標（ｕ，ｖ）は、（ｕ_０，ｖ_０）の近傍での１次のテイラー展開を用いて、式（８）のように近似できる。式（８）において、Δｓ_ｉ（ｉ＝１，２，・・・，６）は、６次元ベクトルｓの各成分の微小変化を表す。

３次元モデルの位置姿勢が対象物体の位置姿勢と一致するように変化した場合、制御点７０２に対応するモデルエッジ特徴７００上の点の画像座標は、画像エッジ特徴８００上、すなわち式（７）が表す直線上に移動すると仮定できる。式（８）によって近似されるｕ、ｖを式（７）に代入することにより、式（９）が得られる。式（９）において、ｒは下式に示す定数である。

式（９）はステップＳ６０２において対応する画像エッジ特徴が検出されたすべてのモデルエッジ特徴について成り立つ。従って、式（１０）のΔｓ_ｉに関する線形連立方程式が成り立つ。

ここで、式（１０）を式（１１）のように表す。

式（１１）の線形連立方程式の係数行列Ｊを算出するための偏微分係数の算出は、公知の方法を用いて行うことができる。例えば、Ｖ． Ｌｅｐｅｔｉｔ ａｎｄ Ｐ． Ｆｕａ， ”Ｋｅｙｐｏｉｎｔ ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ ｒａｎｄｏｍｉｚｅｄ ｔｒｅｅｓ”， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ｖｏｌ．２８， ｎｏ．９， ２００６．に開示されている方法によって、偏微分係数を算出することができる。

ステップＳ６０４において、信頼度算出部１０５は、モデルエッジ特徴に対応付けられた画像エッジ特徴について信頼度ｗを算出する。信頼度ｗの算出は、上述したように行われる。そして、照合部１０７は、信頼度算出部１０５によって算出された信頼度ｗを取得する。信頼度ｗを算出する際には、ステップＳ６０１で取得された概略位置姿勢に対応する劣化度を用いることができる。一方で、信頼度ｗを算出する際に、現在の３次元モデルの位置姿勢ｓに対応する劣化度を用いてもよい。

もっとも、全てのモデルエッジ特徴について予め信頼度ｗが算出されていてもよく、この信頼度ｗは例えば劣化度保持部１０２により保持されていてもよい。この場合、照合部１０７は、劣化度保持部１０２から、画像エッジ特徴についての信頼度ｗとして、対応するモデルエッジ特徴についての信頼度を取得できる。

それぞれの画像エッジ特徴についての信頼度ｗは、ステップＳ６０５における補正値Δｓの算出において、それぞれの画像エッジ特徴についての重みとして用いられる。以下の説明においては、対応する画像エッジ特徴が検出された画像エッジ特徴についての信頼度ｗを係数として有する、式（１２）に示される重み行列Ｗが用いられる。

重み行列Ｗは、対角成分以外の成分が０である正方行列である。また、対角成分は各エッジ特徴の信頼度ｗ_ｉ（ｉ＝１〜Ｎｃ）であり、重みとして用いられる。またＮｃは、モデルエッジ特徴に対応付けられた画像エッジ特徴の総数である。

式（１１）は、重み行列Ｗを用いて式（１３）のように変形される。

ステップＳ６０５において、照合部１０７は、３次元モデルの位置姿勢の補正値Δｓを算出する。本実施形態において、照合部１０７は、式（１３）を解くことにより補正値Δｓを算出する。具体的には、式（１３）は、式（１４）に示されるように解くことができる。

ところで、式（１３）を式（１４）に示されるように解くことは、式（１３）の各行についての差分、すなわちｗ_ｉＦ_ｉの二乗和を最小化するΔｓ_１〜Δｓ_６を求めることに相当する。ここで、Ｆ_ｉ＝（ｓｉｎθ_ｉ（∂ｕ_ｉ／∂ｓ_１）−ｃｏｓθ_ｉ（∂ｖ_ｉ／∂ｓ_１））Δｓ_１＋・・・−（ｄ_ｉ−ｒ_ｉ）である。ここで、Ｆ_ｉはモデルエッジ特徴ごとに算出され、３次元モデルの位置姿勢がΔｓだけ動いた後の、撮像画像上でのモデルエッジ特徴と画像エッジ特徴との距離の残差を示す評価値であると考えられる。また、Ｓ＝Σ（ｗ_ｉＦ_ｉ）^２は重み付けされた残差の二乗和である。したがって、式（１３）を式（１４）に示されるように解くことは、モデルエッジ特徴ごとにフィッティング誤差を示す評価値Ｆ_ｉを信頼度ｗ_ｉで重み付けして得られる評価関数Ｓを最小化することに相当する。すなわち、ステップＳ６０５の処理により、対象物体の像と３次元モデルの像との一致度がより高くなる位置姿勢の補正値Δｓが得られる。

ステップＳ６０６において、照合部１０７は、ステップＳ６０４において算出された補正値Δｓを用いて、３次元モデルの位置姿勢をｓ＋Δｓに更新する。対応づけられた対象物体の特徴と３次元モデルの特徴との間の距離を小さくするように、位置姿勢ｓを補正することができる。

ステップＳ６０７において、照合部１０７は、３次元モデルの位置姿勢が収束したか否かを判定する。位置姿勢が収束したと判定された場合は、照合部１０７は、その時の３次元モデルの位置姿勢を、フィッティングにより得られた対象物体の推定位置姿勢として出力する。そして、処理は終了する。位置姿勢が収束していないと判定された場合、処理はステップＳ６０２に戻り、照合部は位置姿勢が収束するまでステップＳ６０２〜Ｓ６０６の処理を繰り返し行う。もっとも、処理の簡略化のために、位置姿勢が収束していない場合の処理はステップＳ６０３に戻ってもよい。

本実施形態において、照合部１０７は、ステップＳ６０５で得られた補正値Δｓが所定値以下であり、かつほぼ変化がない場合に、位置姿勢は収束したと判定する。例えば、照合部１０７は、所定回数続けて補正値Δｓが所定値以下である場合に、位置姿勢は収束したと判定することができる。もっとも、収束を判定する方法はこの方法に限定されない。例えば、ステップＳ６０２〜Ｓ６０６の反復回数が所定回数に達した場合には、照合部１０７は、位置姿勢が収束したと判定してもよい。

以上説明したように、ステップＳ６０１〜Ｓ６０６の処理により対象物体について推定される位置姿勢が算出される。上記の説明においては、対象物体の３次元の位置姿勢を算出する場合について説明した。しかしながら、別の実施例においては、対象物体の２次元の位置姿勢を算出することもできる。この場合、ベクトルｓとしては、位置を表す２つの要素と姿勢を表す１つの要素とを有する３次元ベクトルが用いられる。また、対象物体の位置姿勢の算出方法は上述したＧａｕｓｓ−Ｎｅｗｔｏｎ法には限られない。例えば、よりロバストなＬｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法を用いることもできるし、よりシンプルな最急降下法を用いることもできる。さらに、共役勾配法又はＩＣＣＧ法等の、他の非線形最適化計算手法を用いることもできる。

以上説明した実施形態１によれば、ボケ及びブレ等による撮像画像の劣化を考慮することにより、画像エッジ特徴を高精度に抽出できる。また、ボケ及びブレ等による撮像画像の劣化を考慮してエッジ特徴に重み付けを行いながら、画像エッジ特徴にモデルエッジ特徴をフィッティングさせることにより、対象物体の位置姿勢が推定される。このため、対象物体の位置姿勢の推定精度を向上させることができる。

［変形例１］
実施形態１では、劣化度がモデルエッジ特徴ごとに設定された。しかしながら、劣化度は撮像画像の分割領域ごと、又は画素ごとに設定されてもよい。例えば、ステップＳ３０５とステップＳ３０６との間において、劣化度算出部１０１は、劣化度が算出されたモデルエッジ特徴を撮像画像面に投影し、モデルエッジ特徴の像の位置を判定することができる。そして、劣化度保持部１０２は、モデルエッジ特徴の像の位置を含む撮像画像の分割領域に含まれる各画素に、このモデルエッジ特徴について算出された劣化度を設定することができる。

この場合、信頼度算出部１０５は、撮像画像の分割領域ごと、又は画素ごとに、劣化度を用いて信頼度を設定してもよい。このような変形例において、照合部１０７は、画像エッジ特徴が検出された画素に設定された信頼度を、画像エッジ特徴についての信頼度として用いながら、フィッティング処理を行うことができる。

［変形例２］
実施形態１では、ステップＳ２０５において、１つのフィルタが設定され、この１つのフィルタが撮像画像全体に適用された。しかしながら、１つの撮像画像に対して複数のフィルタが用いられてもよい。すなわち、特徴抽出部１０４は、撮像画像の各位置について、この位置についての画像の劣化度に応じて、この位置において特徴を抽出するために用いる抽出パラメータを設定することができる。

例えば、変形例１のように劣化度が撮像画像の分割領域ごとに設定されている場合、特徴抽出部１０４は、フィルタを適用しようとする画素について設定された劣化度を用いて、抽出フィルタを設定することができる。例えば、特徴抽出部１０４は、ボケ量Ｄ及びブレ量Ｂを考慮して、又は劣化度σ_０を考慮して、上述のように抽出フィルタのサイズを決定することができる。このように、撮像画像の各領域の劣化度に応じて適した抽出フィルタを用いることにより、より高精度にエッジを抽出することができる。

［変形例３］
実施形態１では、ステップＳ２０５において画像エッジ特徴が抽出された後に、ステップＳ２０６においてモデルエッジ特徴と画像エッジ特徴との対応付けが行われた。しかしながら、ステップＳ２０５を省略し、ステップＳ２０６においてモデルエッジ特徴に対応する画像エッジ特徴を抽出してもよい。

具体的には、ステップＳ６０２において、照合部１０７は、探索ライン７０３上に存在する画像エッジ特徴を探索する。この際に、実施形態１では、エッジ強度マップを参照して画像エッジ特徴が検出されたが、本変形例においては、撮像画像を参照して画像エッジ特徴が検出される。すなわち、照合部１０７は、撮像画像において探索ライン７０３上に存在する画素値の１次元配列に対し、ステップＳ４０３で設定された１次元の抽出フィルタを用いた畳み込み計算を行うことにより、探索ライン７０３に沿った撮像画像の輝度勾配を算出する。そして、照合部１０７は、輝度勾配の絶対値が極値となる点を、画像エッジ特徴として検出する。

［変形例４］
実施形態１では、特徴抽出部１０４は劣化度を参照して画像エッジ特徴を抽出した。また、照合部１０７は、劣化度に基づいて定められた信頼度を重み付けに用いて、対象物体の位置姿勢を推定した。しかしながら、画像エッジ特徴の抽出と、重み付けとの双方に、劣化度を用いることは必須ではない。変形例４では、特徴抽出部１０４は実施形態１と同様に劣化度を参照して画像エッジ特徴を抽出する。一方で、照合部１０７は、信頼度に基づく重み付けを行わずに対象物体の位置姿勢を推定する。

本変形例に係る情報処理装置１は、信頼度算出部１０５を有さない点を除き、実施形態１と同様の構成を有する。また、本変形例における処理は、ステップＳ２０６の処理を除いて実施形態１と同様である。以下では、本変形例におけるステップＳ２０６の処理について、図６のフローチャートを参照しながら説明する。

ステップＳ６０１〜Ｓ６０３は、実施形態１と同様に行われる。また、ステップＳ６０４の処理は省略される。ステップＳ６０５において、照合部１０７は、式（１１）を解くことにより補正値Δｓを算出する。具体的には、式（１１）は、式（１５）に示されるように解くことができる。

本変形例においても、ボケ及びブレ等による撮像画像の劣化を考慮することにより、画像エッジ特徴を高精度に抽出できる。これにより、抽出した画像エッジ特徴に基づく対象物体の位置姿勢の推定精度を向上させることができる。

［変形例５］
変形例５では、照合部１０７は実施形態１と同様に劣化度に基づいて定められた信頼度を重み付けに用いて、対象物体の位置姿勢を推定する。一方で、特徴抽出部１０４は、劣化度を用いずに、予め定められた抽出フィルタを撮像画像に適用することで画像エッジ特徴を抽出する。

本変形例に係る情報処理装置１は、実施形態１と同様の構成を有する。また、本変形例における処理は、ステップＳ２０５の処理を除いて実施形態１と同様である。本変形例のステップＳ２０５において、特徴抽出部１０４は、フィルタを取得画像に適用することで、画像エッジ特徴を抽出する。用いるフィルタは特に限定されず、例えば、任意の形状の微分フィルタを用いることができる。

本変形例においても、ボケ及びブレ等による撮像画像の劣化を考慮してエッジ特徴に重み付けを行いながら、画像エッジ特徴にモデルエッジ特徴をフィッティングさせることにより、対象物体の位置姿勢が推定される。このため、対象物体の位置姿勢の推定精度を向上させることができる。

［変形例６］
実施形態１において特徴抽出部１０４は、劣化度に基づいてエッジ特徴を抽出するためのフィルタを設定し、設定されたフィルタを撮像画像に適用することにより画像エッジ特徴を抽出した。変形例６においては、画像エッジ特徴を抽出するためのフィルタは固定される。一方で、撮像画像のサイズが変更されてからフィルタが適用される。

本変形例に係る情報処理装置１は、実施形態１と同様の構成を有する。また、本変形例における処理は、ステップＳ２０５の処理を除いて実施形態１と同様である。本変形例におけるステップＳ２０５の処理について、図９のフローチャートを参照して説明する。ステップＳ９０１及びＳ９０２の処理は、それぞれステップＳ４０１及びＳ４０２と同様である。

ステップＳ９０３において、特徴抽出部１０４は、ステップＳ９０２で取得した劣化度に応じて撮像画像のリサイズ率を設定する。本変形例においては、劣化度（例えばボケ量Ｄ及びブレ量Ｂ）が大きいほど、より撮像画像が小さくなるようにリサイズ率が算出される。

具体的な一例として、実施形態１と同様に、特徴抽出部１０４は、ボケ量Ｄ及びブレ量Ｂを用いて、撮像画像上におけるモデルエッジ特徴の像の波形Ｓを推定する。次に、特徴抽出部１０４は、波形Ｓが所定の拡がりに収まるように、リサイズ率Ｒを設定する。本変形例において、特徴抽出部１０４は、波形Ｓの標準偏差Ｚを計算し、標準偏差が所定の値Ｅとなるようにリサイズ率Ｒ＝Ｅ／Ｚを計算する。ここで、所定の値Ｅは、画像エッジ特徴を抽出するためのフィルタに応じて定められる値である。本変形例において、画像エッジ特徴を抽出するためのフィルタとしては、標準偏差Ｅのガウス関数を微分することにより得られる波形に従うフィルタが用いられる。もっとも、リサイズ率Ｒの設定方法はこの方法には限られない。例えば、計算量を削減するために、Ｒ＝Ｅ／（Ｄ＋Ｂ）としてもよい。この場合であっても、ボケ量Ｄ及びブレ量Ｂが大きいほど、より撮像画像が小さくなるようにリサイズ率Ｒが算出される。

ステップＳ９０４において、特徴抽出部１０４は、ステップＳ９０３で設定されたリサイズ率Ｒに基づいて、画像取得部１０３により取得された撮像画像から画像エッジ特徴を抽出する。具体的には、まず、特徴抽出部１０４は、撮像画像をリサイズ率Ｒに従ってリサイズする。リサイズ率Ｒが１より大きい場合には、撮像画像は拡大される。次に、特徴抽出部１０４は、予め用意されたフィルタをリサイズされた撮像画像に適用することにより、画像エッジ特徴を抽出する。リサイズされた撮像画像から検出された画像エッジ特徴の座標は、リサイズ率を参照することにより、例えば１／Ｒを掛けることにより、リサイズ前の撮像画像上における画像エッジ特徴の座標へと変換することができる。

本変形例の方法によっても、ボケ及びブレ等による撮像画像の劣化を考慮することにより、画像エッジ特徴を高精度に抽出できる。これにより、抽出した画像エッジ特徴に基づく対象物体の位置姿勢の推定精度を向上させることができる。

［変形例７］
実施形態１においては、劣化度に基づいて画像エッジ特徴を抽出するためのフィルタが設定され、設定されたフィルタを撮像画像に適用することにより画像エッジ特徴が抽出され。変形例７においては、劣化度に基づいて抽出パラメータが設定される。具体的には、複数のフィルタが設定され、複数のフィルタを用いて画像エッジ特徴が抽出される。

本変形例においては、劣化度算出部１０１が算出するボケ量Ｄ及びブレ量Ｂには誤差が含まれうることを考慮する。そこで、特徴抽出部１０４は、劣化度算出部１０１が算出したボケ量Ｄに基づいて複数のボケ量Ｄ±ΔＤを設定する。同様に、特徴抽出部１０４は、劣化度算出部１０１が算出したブレ量Ｂに基づいて複数のブレ量Ｂ±ΔＢを設定する。そして、特徴抽出部１０４は、ボケ量Ｄ±ΔＤとブレ量Ｂ±ΔＢとの組み合わせのそれぞれを用いて、画像エッジ特徴を抽出するためのフィルタを設定し、撮像画像から画像エッジ特徴を抽出する。さらに、特徴抽出部１０４は、フィルタ処理の応答値に応じて複数の抽出結果から少なくとも１つの抽出結果を選択する。具体的には、特徴抽出部１０４は、フィルタの応答値を比較することにより、抽出精度が相対的に高いと想定される抽出結果を判定及び出力する。

本変形例に係る情報処理装置１は、実施形態１と同様の構成を有する。また、本変形例における処理は、ステップＳ２０５の処理を除いて実施形態１と同様である。本変形例におけるステップＳ２０５の処理について、図１０のフローチャートを参照して説明する。ステップＳ１００１及びＳ１００２の処理は、それぞれステップＳ４０１及びＳ４０２と同様である。

ステップＳ１００３において、特徴抽出部１０４は、ステップＳ１００２で取得した劣化度に基づいて、複数の抽出フィルタを設定する。まず、特徴抽出部１０４は、ボケ量Ｄ及びブレ量Ｂに対して所定の範囲（ΔＤ，ΔＢ）で変化を与える。具体的には、Ｄ±ΔＤ及びＢ±ΔＢの範囲で、複数のボケ量及びブレ量が設定される。ボケ量Ｄ及びブレ量Ｂの変動範囲、並びに設定されるボケ量及びブレ量の数は、予め設定されうる。次に、設定された複数のボケ量及びブレ量を組み合わせることにより、特徴抽出部１０４は、複数の抽出フィルタを設定する。抽出フィルタの設定は、実施形態１と同様に行うことができる。

ステップＳ１００４においては、特徴抽出部１０４は、ステップＳ１００３で設定された複数の抽出フィルタのそれぞれを用いて、画像取得部１０３により取得された撮像画像から画像エッジ特徴を抽出する。こうして、それぞれの抽出フィルタに対応して、画像エッジ特徴の複数の抽出結果が得られる。

次に、特徴抽出部１０４は、抽出された画像エッジ特徴のうち、抽出精度が相対的に高いと想定される画像エッジ特徴を選択する。本変形例においては、フィルタの応答値が大きい抽出結果が選択される。具体的には、抽出フィルタを適用することにより算出された輝度勾配の極値がより大きくなる画像エッジ特徴が選択される。具体的な一例として、特徴抽出部１０４は、異なる抽出フィルタを用いて抽出された同一位置に存在する画像エッジ特徴群のうち、抽出精度が相対的に高いと想定される画像エッジ特徴を選択する。具体的には、特徴抽出部１０４は、所定の範囲Ｅ［ｐｉｘｅｌ］内に含まれる近接する複数のエッジ特徴のうち、それぞれの抽出フィルタの応答値である輝度勾配の極値が最大となるエッジ特徴を選択する。もっとも、特徴抽出部１０４は、２以上のエッジ特徴を選択してもよい。

本変形例の方法によれば、ボケ及びブレ等による撮像画像の劣化を考慮することにより、画像エッジ特徴を高精度に抽出できる。さらに、ボケ及びブレの誤差を考慮して複数の抽出フィルタを用いることにより、１種類の抽出フィルタを用いる場合と比べて、高い精度で画像エッジ特徴を抽出することができる。これにより、抽出した画像エッジ特徴に基づく対象物体の位置姿勢の推定精度を向上させることができる。

本変形例においては、複数の抽出フィルタ形状を設定する方法について説明した。一方で、変形例６に示すように、画像のリサイズ率を複数設定してもよい。この場合、それぞれのリサイズ率に従って、画像エッジ特徴の複数の検出結果が得られる。そして、抽出フィルタをリサイズ後の撮像画像に適用することにより算出された輝度勾配の極値がより大きくなる画像エッジ特徴が選択される。

［変形例８］
実施形態１において、劣化度算出部１０１は、対象物体の３次元モデル、撮像装置１０８による撮像条件に基づいて、シミュレーションにより劣化度を算出した。変形例８では、撮像装置が対象物体を撮像して得た撮像画像から劣化度が算出される。以下の処理は、撮像装置に対する対象物体の相対位置姿勢を変化させながら撮像された、対象物体の複数の撮像画像について行われる。そして、それぞれの撮像画像を用いて算出された劣化度は、撮像装置に対する対象物体の相対位置姿勢に関連づけて、劣化度保持部１０２により保持される。

変形例８に係る情報処理装置１の構成及び処理は、ステップＳ２０２の処理を除いて実施形態１と同様である。以下では、変形例８におけるステップＳ２０２の処理について、図１１のフローチャートを参照して説明する。

ステップＳ１１００において、劣化度算出部１０１は、画像取得部１０３により取得された対象物体の撮像画像から複数のエッジ特徴を抽出する。エッジ特徴の抽出方法は特に限定されず、例えば任意の微分フィルタを用いることができる。ステップＳ１１０１において、劣化度算出部１０１は、ステップＳ１１００で抽出された複数のエッジ特徴の中からエッジ特徴を１つ選択する。

ステップＳ１１０２において、劣化度算出部１０１は、ステップＳ１１０１で選択されたエッジ特徴の劣化度を算出する。本変形例において、劣化度算出部１０１は、エッジ特徴の位置とエッジの法線方向とに基づいて、エッジ特徴の劣化度を算出する。具体的な一例として、劣化度算出部１０１は、式（１６）を用いることで、撮像画像が劣化度σにしたがって劣化していると仮定した場合における、エッジ特徴上の着目画素における輝度値を推定する。

式（１６）において、ｘ_０，ｙ_０はエッジ特徴のある着目画素位置であり、ｒは着目画素位置からの距離を表し、θはエッジ特徴の法線方向（２次元）を表す。また、ｔは着目画素位置からの探索範囲を表し、σは劣化度である。劣化度σの値は、ボケ量とブレ量とが統合された値に相当する。ｔは任意の正の値を示す。

式（１７）に示されるように、エッジ特徴を構成するそれぞれの画素についての、撮像画像上の輝度値と、式（１６）に従って算出された同位置における輝度値と、の差の二乗和を評価関数Ｅとする。そして、劣化度算出部１０１は、繰り返し演算により評価関数Ｅを最小化することにより、パラメータσを推定する。評価関数Ｅの最小化は公知の方法を用いることができ、例えば最急降下法又はＬｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法等を用いることができる。式（１７）において、Ｉ（ｘ，ｙ）は座標（ｘ，ｙ）における撮像画像の輝度値を示す。

ステップＳ１１０３において、劣化度算出部１０１は、全てのエッジ特徴について劣化度を算出したか否かを判定する。全てのエッジ特徴について劣化度の算出が終了していない場合、処理はステップＳ１１０１に戻り、次のエッジ特徴について劣化度が算出される。全てのエッジ特徴についての劣化度の算出が終了すると、ステップＳ２０２の処理は終了する。この場合、劣化度保持部１０２は、変形例１と同様に、撮像画像の分割領域ごと、又は画素ごとに劣化度を保持することができる。例えば、抽出されたエッジ特徴の像の位置を含む撮像画像の分割領域に含まれる各画素に、このエッジ特徴について算出された劣化度を設定することができる。

以上述べたように、本変形例の方法によれば、対象物体を撮影した画像から劣化度を算出することができる。これにより、対象物体の３次元モデル及び撮像装置１０８の撮像パラメータ等のみでは表現しきれない影響、例えばノイズによる影響等を考慮して、より正確に劣化度を算出することができる。この劣化度を参照することで、画像エッジ特徴を高精度に抽出できるとともに、エッジ特徴に重み付けを行いながら画像エッジ特徴にモデルエッジ特徴をフィッティングさせることができる。このため、対象物体の位置姿勢の推定精度を向上させることができる。

式（１６）を用いる代わりに、撮像画像がボケ量Ｄ及びブレ量Ｂにしたがって劣化していると仮定した場合における、エッジ特徴上の着目画素における輝度値を推定することもできる。この場合には、劣化度算出部１０１は、劣化度σの代わりに、ボケ量Ｄ及びブレ量Ｂを推定することができる。

［変形例９］
変形例８では、対象物体の撮像画像から劣化度が計算された。変形例９では、撮像装置による対象物体の撮像条件に基づいて、撮像装置が対象物体を撮影して得られる撮像画像が対象物体の３次元モデルを用いて推定される。具体的には、３次元モデルを撮像画像上に投影して得られる画像に対して、劣化を再現（復元）する処理が行われる。これらの処理においては、対象物体の３次元モデル並びに撮像装置１０８による撮像条件が参照される。本変形例における処理は、ステップＳ１１００が異なることを除いて、変形例８と同様である。以下では、ステップＳ１１００の処理について説明する。

ステップＳ１１００において、劣化度算出部１０１は、対象物体の３次元モデルを撮像画像上に投影する。そして、劣化度算出部１０１は、投影された画像に対して劣化を再現する処理を行う。本変形例において、劣化度算出部１０１は、ボケ及びブレが再現された画像を生成する。

ボケ及びブレを再現する方法の一例について、以下に説明する。まず、劣化度算出部１０１は、投影画像の各画素について、画素に対応する３次元モデル上での３次元位置に基づいて、投影画像上でのボケ量Ｄ及びブレ量Ｂを算出する。ボケ量Ｄは、投影画像の各画素に対応する３次元位置を用いて、式（２）に従って算出できる。

ブレ量Ｂは、以下のように算出できる。まず、３次元空間におけるブレ量Ｂ_３Ｄが算出される。ブレ量Ｂ_３Ｄは、Ｂ_３Ｄ＝ｔ_ｉＪ_３ＤＶに従ってできる。ここで、Ｊ_３Ｄは投影画像の各画素に対応する３次元位置のヤコビアンであり、ｔ_ｉは露光時間であり、Ｖは撮像装置１０８に対する対象物体の相対速度である。ヤコビアンＪ_３Ｄは、位置姿勢６自由度のパラメータが微小に変化したときに、投影画像の各画素に対応する３次元位置が変化する割合を表す値である。ヤコビアンＪ_３Ｄは、式（１８）及び式（１９）にしたがって計算できる。

式（１８）において、ｓは対象物体の位置姿勢を示す。また、ｅｒｒ_３Ｄは、露光開始時の３次元位置を（ｘ，ｙ，ｚ）とし、露光終了時の３次元位置を（ｘ’，ｙ’，ｚ’）とした場合における、露光中における３次元位置の移動ベクトルを示す。

そして、３次元空間におけるブレ量Ｂ_３Ｄ（３次元ベクトル）を投影画像上へと投影することで、投影画像上におけるブレ量Ｂ（２次元ベクトル）を算出することができる。

次に、劣化度算出部１０１は、求めたボケ量Ｄ及びブレ量Ｂに基づいて、投影画像からボケ及びブレが再現された画像を生成する。具体的には、劣化度算出部１０１は、投影画像の各画素について、標準偏差Ｄのガウス関数との畳み込み計算、並びに幅Ｂ及び高さ１の矩形波との畳み込み計算を行うことにより、ボケ及びブレが再現された画像を生成する。

その後、劣化度算出部１０１は、得られたボケ及びブレが再現された画像から複数のエッジ特徴を抽出する。この処理は、対象物体の撮像画像の代わりにボケ及びブレが再現された画像を用いることを除き、変形例８と同様に行うことができる。

以上述べたように、本変形例の方法によれば、対象物体の３次元モデル、並びに露光時間及び撮像装置１０８に対する対象物体の相対位置姿勢のような撮像条件に基づいて、ボケ及びブレが再現された画像が生成される。そして、この画像に基づいて、劣化度が算出される。この劣化度を参照することで、画像エッジ特徴を高精度に抽出できるとともに、エッジ特徴に重み付けを行いながら画像エッジ特徴にモデルエッジ特徴をフィッティングさせることができる。このため、対象物体の位置姿勢の推定精度を向上させることができる。

劣化が再現された画像の生成方法は、上述した方法には限られない。例えば、田中和之著「確率モデルによる画像処理技術入門」第６章に開示されているような、画像フィルタを用いてボケ及びブレを再現する方法を用いることもできる。

［実施形態２］
実施形態１では、撮像画像から抽出された画像エッジ特徴の画像座標に、撮像画面上に投影された対象物体の３次元モデルのモデルエッジ特徴の画像座標をフィッティングさせることにより、対象物体の位置姿勢を推定した。実施形態２では、撮像画像から算出された特徴（例えば３次元点）の３次元座標に、対象物体の３次元モデルの特徴（例えば面）の３次元座標をフィッティングさせることにより、対象物体の位置姿勢を推定する。

本実施形態において、特徴抽出部１０４は、撮像装置が対象物体を撮像して得た撮像画像に基づいて、対象物体の像上の特徴の３次元位置を算出する。具体的には、特徴抽出部１０４は、対象物体の像上の点の３次元位置を算出する。３次元位置は、例えば、照明パターンを対象物体に照射することにより測定することができる。本実施形態では、図１２に示すように、照射装置１２００から照明パターン１２０１が対象物体１２０５に投影される。そして、照明パターン１２０１が投影された対象物体１２０５を、撮像装置１２０３を用いて撮像する。本実施形態においては、複数の点線を含む照明パターン１２０１が投影される。

そして、照明パターン１２０１、撮像画像１２０４、並びに照射装置１２００と撮像装置１２０３との位置関係に基づいて、照明パターン１２０１が投影された物体面の３次元位置が算出される。具体的には、照射装置１２００により投影される照明パターン１２０１中の着目特徴の位置と、投影された着目特徴が抽出される撮像画像１２０４上の位置と、照射装置１２００に対する撮像装置１２０３の相対位置姿勢とが取得される。ここで、照明パターン１２０１中の着目特徴の位置は照射装置１２００からの着目特徴の投影方向に、投影された着目特徴が抽出される撮像画像１２０４上の位置は撮像装置１２０３からの着目特徴の観測方向にそれぞれ対応する。したがって、三角測量の原理で着目特徴の３次元位置を算出することができる。

本実施形態においては、撮像画像１２０４から特徴が抽出される。本実施形態において、照明パターン１２０１は複数の線を含み、撮像画像１２０４上に写る照明パターン１２０１から抽出される特徴は、線分上の点である。線分上の点の抽出方法の一例について、以下に説明する。まず、微分フィルタを撮像画像１２０４に適用することで輝度勾配分布が得られる。そして、輝度勾配が極値となる点により構成される線分が抽出される。さらに、こうして抽出された線分上に微分フィルタを適用することにより、線分上の輝度勾配分布が得られる。そして、線分上の輝度勾配が極値となる点が、特徴として抽出される。こうして、撮像画像１２０４から特徴を抽出し、特徴の位置を取得することができる。照明パターン１２０１中の特徴の位置は、予め定義されていてもよい。また、同様の方法を用いて、照明パターン１２０１中の特徴を抽出し、特徴の位置を取得してもよい。

もっとも、照明パターン１２０１が投影された対象物体１２０５から、照明パターン１２０１が含む特徴が抽出できるのであれば、照明パターン１２０１の種類は特に限定されない。例えば、照明パターン１２０１が線を含んでいる必要はなく、照明パターン１２０１は任意の幾何形状を含みうる。図１３は、一例として、複数の点を特徴として含む照明パターン１３００を示す。

また、３次元位置の算出方法は上記の方法には限られない。対象物体１２０５を撮像することにより得られる画像に基づいて対象物体１２０５の表面の３次元位置が算出できる、任意の方法を用いることができる。例えば、異なる位置に配置された複数の撮像装置を用いて対象物体１２０５を撮像することができる。この場合、各撮像画像上から抽出される着目特徴の位置と、撮像装置間の相対位置姿勢とを用いて、三角測量の原理で着目特徴の３次元位置を算出することができる。さらに、以上の方法により、対象物体の像上の点について、３次元位置を算出することができる。

次に、本実施形態で行われる処理について、図２のフローチャートを参照して説明する。本実施形態に係る情報処理装置１は、実施形態１と同様の構成を有しており、以下では異なる点について説明する。本実施形態においては、モデル保持部１０６は対象物体１２０５の３次元モデルを保持している。モデル保持部１０６が保持している対象物体１２０５の３次元モデルは、例えば対象物体１２０５の表面に位置する点群又は面群の位置を示す情報で構成される。以下では、対象物体１２０５の３次元モデルが面群により構成される場合について説明する。

ステップＳ２０１は、実施形態１と同様に行われる。ステップＳ２０２及びＳ２０３は、各モデルエッジ特徴について劣化度を算出する代わりに、３次元モデルの表面上の各点について劣化度が算出及び保持されることを除き、実施形態１と同様に行われる。点についての劣化度の算出は、モデルエッジ特徴についての劣化度の算出と同様に行うことができる。例えば、劣化度算出部１０１は、撮像装置１２０３の撮像条件、並びに撮像装置１２０３と点との距離等を用いて、ボケ量を算出することができる。また、劣化度算出部１０１は、露光時間中における点の撮像画像面での移動量を、ブレ量として算出することができる。もっとも、劣化度算出部１０１及び劣化度保持部１０２は、３次元モデルの各面について劣化度を算出及び保持してもよい。

ステップＳ２０４において、特徴抽出部１０４は、上述のように、照明パターン１２０１が投影された対象物体１２０５を撮像することにより得られた撮像画像１２０４を取得する。ステップＳ２０５において、特徴抽出部１０４は、ステップＳ２０４で得られた撮像画像から、上述のように３次元点を抽出し、３次元点の３次元位置を記録する。以下、抽出された３次元点のことを計測特徴と呼ぶ。

以下に、ステップＳ２０６の処理について、図６のフローチャートを参照して詳しく説明する。ステップＳ６０６及びＳ６０７の処理は実施形態１と同様であり、説明を省略する。

ステップＳ６０１において、照合部１０７は初期化処理を行う。まず、照合部１０７は、モデル保持部１０６から対象物体１２０５の３次元モデルを取得する。また、照合部１０７は、対象物体１２０５の概略位置姿勢を取得し、３次元モデルの位置姿勢ｓとして設定する。

ステップＳ６０２において、照合部１０７は、ステップＳ２０５で抽出された３次元点と、ステップＳ６０１で取得された３次元モデル上の特徴とを対応付ける。本実施形態において、照合部１０７は、計測特徴のそれぞれについて、距離が最も近い３次元モデル像上の面を検出する。そして、照合部１０７は、検出された面を、計測特徴に対応付ける。以下では、計測３次元点に対応付けられた３次元モデルの面を、モデル特徴と呼ぶ。

ステップＳ６０３〜Ｓ６０５において、照合部１０７は、実施形態１と同様に、Ｇａｕｓｓ−Ｎｅｗｔｏｎ法を用いて、対象物体の位置姿勢を算出する。具体的には、照合部１０７は、対象物体の像と３次元モデルの像との一致度がより高くなるように、視点に対する３次元モデルの相対位置姿勢を繰り返し更新する。本実施形態においても、一致度は、計測特徴が抽出された位置に対応する劣化度に従って重み付けされた、計測特徴のそれぞれについての対応するモデル特徴との差異に基づいて求められる。また、計測特徴とモデル特徴との差異は、計測特徴の３次元位置とモデル特徴の３次元位置との間の距離である。もっとも、照合部１０７は、実施形態１と同様に、位置姿勢を変化させることにより得られた複数の３次元モデル像について、対象物体の像との一致度を算出してもよい。そして、複数の３次元モデル像のうち最も高い一致度を与える３次元モデル像を、対象物体の像に対応する３次元モデル像として判定してもよい。

ステップＳ６０３において、照合部１０７は、以下のように、係数行列と、誤差ベクトルとを算出する。係数行列の各要素は、計測特徴の座標についての、３次元モデルの位置姿勢の微小変化に対する一次の偏微分係数であり、具体的には３次元座標の偏微分係数である。また、誤差ベクトルとは、計測特徴とモデル特徴との、３次元空間中での距離である。

カメラ座標系、例えば撮像装置１２０３の位置及び光軸の方向を基準とする座標系における点群の３次元座標は、対象物体１２０５の位置姿勢ｓを用いて、対象物体１２０５の座標系における３次元座標（ｘ，ｙ，ｚ）に変換される。ここで、対象物体１２０５の概略位置姿勢に従って、カメラ座標系におけるある計測特徴の３次元座標が、対象物体座標系における３次元座標（ｘ_０，ｙ_０，ｚ_０）に変換されるとする。（ｘ，ｙ，ｚ）は対象物体１２０５の位置姿勢ｓにより変化し、（ｘ_０，ｙ_０，ｚ_０）の近傍での１次のテイラー展開によって式（２０）のように近似できる。

ある計測特徴に対応付けられたモデル特徴のモデル座標系における式を、ａ_ｘ＋ｂ_ｙ＋ｃ_ｚ＝ｅ（ａ^２＋ｂ^２＋ｃ^２＝１，ａ，ｂ，ｃ，ｅは定数）とする。対象物体１２０５の位置姿勢ｓが正確である場合、カメラ座標系における計測特徴の３次元座標（ｘ，ｙ，ｚ）を対象物体座標系における３次元座標に変換すると、変換後の３次元座標は上記の式を満たすものと考えられる。このことを仮定すると、式（２０）を面の方程式ａ_ｘ＋ｂ_ｙ＋ｃ_ｚ＝ｅ（ａ^２＋ｂ^２＋ｃ^２＝１）に代入することにより、式（２１）が得られる。

式（２１）において、ｑは定数である。

式（２１）はステップＳ６０２において対応するモデル特徴が検出された全ての計測特徴について成り立つ。したがって、式（２２）のように、Δｓ_ｉに関する線形連立方程式が成り立つ。

式（２２）において、左辺の行列が係数行列であり、右辺の行列が誤差ベクトルである。このように、照合部１０７は係数行列及び誤差ベクトルを算出する。

ステップＳ６０４において、信頼度算出部１０５は、それぞれの計測特徴について、信頼度を算出する。信頼度の算出は、実施形態１と同様に行うことができる。例えば、信頼度算出部１０５は、それぞれの計測特徴について、対応する劣化度を劣化度保持部１０２から取得する。本実施形態の場合、劣化度が算出されている３次元モデルの表面上の各点のうち、計測特徴の３次元位置に最も近い点についての劣化度を、計測特徴についての劣化度として取得することができる。そして、信頼度算出部１０５は、それぞれの計測特徴についての劣化度の平均を算出し、さらに式（１）を用いてそれぞれの計測特徴についての信頼度を算出する。本実施形態においては、式（１）のｃは計測特徴についての劣化度の平均であり、ｂは計測特徴についての劣化度である。信頼度の算出方法はこの方法には限定されず、実施形態１で説明した様々な方法を用いることができる。また、３次元空間を複数の領域に分割し、分割領域ごとに計測特徴についての劣化度の統計量を算出し、算出された統計量をパラメータとして有する関数で信頼度を表現してもよい。

算出された信頼度は、各計測特徴についての重みとして用いられる。以下の説明においては、実施形態１で説明したように、式（１２）のように信頼度に基づく重み行列Ｗが定義される。重み行列Ｗは、対角成分の成分が０である正方行列である。また、対角成分は各モデル特徴についての重み、すなわち信頼度ｗ_ｉである（ｉ＝１〜Ｎｃ）。Ｎｃは、計測特徴に対応付けられたモデル特徴の総数である。実施形態１と同様に、式（１１）は重み行列Ｗを用いて式（１３）のように変形される。ステップＳ６０５において、信頼度算出部１０５は、式（１４）のように式（１３）を解くことにより、補正値Δｓを求める。ステップＳ６０５の処理により、対象物体の像と３次元モデルの像との一致度がより高くなる位置姿勢の補正値Δｓが得られる。

以上説明したように、ステップＳ６０１〜Ｓ６０７の処理により対象物体の位置姿勢が推定される。

本実施形態においては、対象物体１２０５の３次元モデルが面群により構成される場合について説明した。しかしながら、対象物体１２０５の３次元モデルは点群により構成されていてもよい。この場合、ステップＳ６０２においては、計測特徴のそれぞれについて、距離が最も近い３次元モデルの点を対応付けることができる。そして、対応点間の距離を信頼度で重み付けして得られる評価関数が最小となるように、対象物体１２０５の位置姿勢の補正値Δｓを求めることができる。

以上説明した実施形態２によれば、ボケ及びブレ等による撮像画像の劣化を考慮して計測特徴に重み付けを行いながら、計測特徴にモデル特徴をフィッティングさせることにより、対象物体の位置姿勢が推定される。このため、対象物体の位置姿勢の推定精度を向上させることができる。

［実施形態３］
実施形態１では、撮像画像から抽出された画像エッジ特徴の画像座標に、撮像画面上に投影された対象物体の３次元モデルのモデルエッジ特徴の画像座標をフィッティングさせることにより、対象物体の位置姿勢を推定した。実施形態２では、撮像画像から算出された計測特徴（例えば３次元点）の３次元座標に、対象物体の３次元モデルのモデル特徴（例えば面）の３次元座標をフィッティングさせることにより、対象物体の位置姿勢を推定した。実施形態３では、実施形態１，２を組み合わせることにより、撮像画像上での画像座標のフィッティングと、３次元空間中の３次元座標のフィッティングとの双方を用いて、対象物体の位置姿勢を推定する。

次に、本実施形態で行われる処理について、図２のフローチャートを参照して説明する。本実施形態に係る情報処理装置１は、実施形態１と同様の構成を有しており、以下では異なる点について説明する。

ステップＳ２０１は、実施形態１と同様に行われる。ステップＳ２０２及びＳ２０３においては、実施形態１と同様に各モデルエッジ特徴について劣化度が算出及び保持されるとともに、実施形態２と同様に３次元モデルの各面について劣化度が算出及び保持される。ステップＳ２０４は実施形態２と同様に行われる。ステップＳ２０５において、特徴抽出部１０４は、実施形態１と同様に撮像画像から画像エッジ特徴を抽出するとともに、実施形態２と同様に計測特徴（３次元点）を抽出する。

以下に、ステップＳ２０６の処理について、図６のフローチャートを参照して詳しく説明する。ステップＳ６０６及びＳ６０７の処理は実施形態１と同様であり、説明を省略する。ステップＳ６０１において、照合部１０７は実施形態１，２と同様に初期化処理を行う。

ステップＳ６０２において、照合部１０７は、実施形態１と同様に、モデルエッジ特徴群のそれぞれと、画像エッジ特徴群のそれぞれとの対応付けを行う。また、照合部１０７は、実施形態２と同様に、計測特徴と、モデル特徴（３次元モデルの面）とを対応付ける。

ステップＳ６０３において、照合部１０７は、線形連立方程式を解くための係数行列と誤差ベクトルとを算出する。具体的には、照合部１０７は、実施形態１で説明した処理と、実施形態２で説明した処理との双方を行う。実施形態１に従って得られるエッジ特徴に関する係数行列及び誤差ベクトル、並びに実施形態２に従って得られるエッジ特徴に関する係数行列及び誤差ベクトルを組み合わせることにより、式（２３）が得られる。

ステップＳ６０４において、照合部１０７は、実施形態１と同様にモデルエッジ特徴に対応する画像エッジ特徴について信頼度を算出するとともに、実施形態２と同様にモデル特徴に対応する計測特徴について信頼度を算出する。算出した信頼度は、各画像エッジ特徴及び計測特徴についての重みとして用いられる。以下の説明においては、式（２４）のように信頼度に基づく重み行列Ｗが定義される。

重み行列Ｗは、対角成分の成分が０である正方行列である。また、重み行列Ｗの対角成分は、画像エッジ特徴についての信頼度ｗ_２ｄ，ｉ（ｉ＝１〜Ｎａ）及び計測特徴についての信頼度ｗ_３ｄ，ｉ（ｉ＝１〜Ｎｂ）である。Ｎａは対応する画像エッジ特徴が検出されたモデルエッジ特徴の総数であり、Ｎｂは計測特徴に対応するモデル特徴の総数である。

実施形態１と同様に、式（１１）は重み行列Ｗを用いて式（１３）のように変形される。ステップＳ６０５において、信頼度算出部１０５は、式（１４）のように式（１３）を解くことにより、補正値Δｓを求める。

以上説明したように、ステップＳ６０１〜Ｓ６０７の処理により対象物体の位置姿勢が推定される。

以上説明した実施形態３によれば、ボケ及びブレ等による撮像画像の劣化を考慮して計測特徴に重み付けを行いながら、計測特徴と画像エッジ特徴との双方を用いて対象物体の位置姿勢が推定される。このため、対象物体の位置姿勢の推定精度を向上させることができる。

［実施形態４］
実施形態４においては、実施形態１〜３に係る情報処理装置１の適用例を、図１４を参照して説明する。具体的には、情報処理装置１は、撮像装置１４００より得られる撮像画像を基に対象物体１２０５の位置姿勢を推定する。そして、産業用のロボット１４０１は、推定された対象物体１２０５の位置姿勢に基づいて、対象物体１２０５を操作する。図１４に示されるように、本実施形態に係るロボットシステムは、情報処理装置１と、撮像装置１４００と、ロボット１４０１とを備えている。

ロボット１４０１は例えば産業用ロボットであり、可動軸を有するロボットアームを備える。ロボットアームの動きは、ロボットコントローラにより制御され、指令された位置に手先を移動させることができる。こうして、ロボット１４０１は物体の操作、例えば物体の把持等を行うことができる。作業台上に置かれる対象物体１２０５の位置は変化しうる。したがって、ロボット１４０１が対象物体１２０５の操作を行うためには、現在の対象物体１２０５の位置姿勢を推定し、この推定に基づいてロボットアームの移動を制御する必要がある。ロボットコントローラは、ロボット１４０１が備えていてもよいし、ロボットコントローラに、ロボット１４０１が接続されていてもよい。

撮像装置１４００は、２次元の画像を撮影するカメラである。撮像装置１４００としては、通常のカメラを用いることができる。撮像装置１４００は、対象物体１２０５を撮像できる位置に設置される。一実施形態において、撮像装置１４００は、ロボット１４０１が備えるロボットアームの手先、すなわち物体を把持するハンド上に又はハンドに隣接して設けられる。もっとも、撮像装置１４００がロボット１４０１と離れた位置に配置されてもよい。

情報処理装置１は、実施形態１〜３で説明したように、撮像装置１４００から得られた撮像画像を基に対象物体１２０５の位置姿勢を推定する。必要に応じて、実施形態２で説明した照射装置がさらに用いられてもよい。情報処理装置１で推定された対象物体１２０５の位置姿勢は、ロボットコントローラへと送られる。ロボットコントローラは、取得した対象物体１２０５の位置姿勢に基づいて、ロボットアームの位置姿勢を制御する。こうして、ロボット１４０１は対象物体１２０５の把持等の操作を行うことができる。

上記のように、実施形態４に係るロボットシステムは、対象物体１２０５の位置が不定であっても、対象物体１２０５の位置姿勢を推定することにより、対象体１２０５に対して操作を行うことができる。

［実施形態５］
実施形態１〜４では、対象物体の位置姿勢が推定された。実施形態５では、対象物体の種類の特定が行われる。実施形態５に係る情報処理装置１は、実施形態１と同様の構成を有しており、以下では異なる点について説明する。

劣化度算出部１０１及び劣化度保持部１０２は、劣化度を算出及び保持する。本実施形態においては、例えば変形例１，８，９で説明したように、画素ごとに劣化度が算出及び保持される。また、本実施形態においては、後述する投影画像ごとに劣化度が算出及び保持される。

特徴抽出部１０４は、画像取得部１０３が取得した撮像画像から特徴を抽出する。本実施形態においては、各画素についての輝度値が特徴として抽出される。

モデル保持部１０６は、対象物体と比較される物体である複数の比較対象についてモデル情報を保持する。１つのモデル情報は、比較対象の像を含む画像と、比較対象の種類を特定する識別子と、により構成される。すなわち、モデル保持部１０６は画像保持を行い、比較対象の像を含む画像を複数保持する。本実施形態において、比較対象の画像は、比較対象の３次元モデルを撮像画像上に投影して得られる投影画像である。もっとも、比較対象の画像が、比較対象を撮像して得られる撮像画像であってもよい。また、モデル保持部１０６は、１つの比較対象について、比較対象と撮像装置の相対位置姿勢が異なる場合における複数のモデル情報を保持することができる。

信頼度算出部１０５は、モデル保持部１０６が保持する投影画像の画素ごとに信頼度を算出する。本実施形態において、信頼度算出部１０５は、投影画像の各画素についての劣化度から、劣化度の統計値、例えば平均値を算出する。そして、信頼度算出部１０５は、実施形態１と同様に、Ｔｕｋｅｙ関数を用いて各画素の信頼度を算出する。もっとも、信頼度の算出方法は、既に説明したように、劣化度が高いほど信頼度が低くなるのであれば特に限定されない。例えば、予め定められた閾値とＴｕｋｅｙ関数とを用いて各画素の信頼度を算出してもよい。また、算出された統計値を用いて、全画素位置に対して共通の信頼度が設定されてもよい。また、統計値としては、メディアン値や標準偏差等を用いることもできる。

照合部１０７は、画像取得部１０３により取得された撮像画像に含まれる対象物体の種類を特定する。具体的には、照合部１０７は、画像取得部１０３により取得された撮像画像と、モデル保持部１０６が保持する投影画像と、の類似度を判定する。本実施形態において、照合部１０７は、各画素位置についての撮像画像の画素値と投影画像の画素値との差分を、各画素位置についての信頼度に従って重み付けする。そして、それぞれの画素位置について得られた重み付けされた差分に基づいて、対象物体の像と比較対象の像との一致度を算出する。こうして得られた一致度は、特徴が抽出された位置に対応する劣化度に従って重み付けされた、対象物体の像の複数の特徴のそれぞれについての対応する比較対象の像の特徴との差異に基づいている。

一例において、照合部１０７は、モデル保持部１０６が保持する投影画像の輝度値と、特徴抽出部１０４により取得された輝度値との間の類似度ＮＣＣを、式（２４）に示す正規化相互相関関数を用いて計算する。式（２４）に従って計算されたＮＣＣの値が１に近いほど、類似度が高いと判断される。

式（２５）において、ｉ，ｊは画素位置を示し、関数Ｉ及びＴはそれぞれモデル保持部１０６が保持する投影画像の輝度値及び特徴抽出部１０４により取得された輝度値を示す。また、関数Ｗは信頼度算出部１０５により算出された信頼度を示す。

照合部１０７は、モデル保持部１０６が保持する投影画像のそれぞれに対してＮＣＣを計算する。そして、照合部１０７は、ＮＣＣの値が最も１に近くなる投影画像を特定する。最後に、照合部１０７は、特定された投影画像と関連づけられている識別子により、対象物体の種類を特定する。照合部１０７は、特定された対象物体の種類を示す情報を出力することができる。ＮＣＣの値が閾値を超えない場合、照合部１０７は、撮像画像中には登録された種類の物体が存在しないと判定することもできる。

次に、図２のフローチャートを参照して、本実施形態における処理について説明する。ステップＳ２０１の処理は、実施形態１と同様である。ステップＳ２０２及びＳ２０３において、劣化度算出部１０１及び劣化度保持部１０２は、上述したように、劣化度を算出及び保持する。ステップＳ２０４の処理は、実施形態１と同様である。

ステップＳ２０５において、特徴抽出部１０４は、ステップＳ２０４で取得された撮像画像上の各画素値を特徴として抽出する。ステップＳ２０６において、照合部１０７は、上述のように、ステップＳ２０５において抽出された特徴と、モデル保持部１０６が保持する投影画像と、信頼度算出部１０５により算出された信頼度とを用いて、対象物体の認識を行う。

以上の処理により、対象物体の種類を特定することができる。本実施形態を応用して、さらに対象物体の位置姿勢を判定することもできる。例えば、モデル保持部１０６が保持する１つのモデル情報は、投影画像と、識別子と、比較対象に対する撮像装置の相対位置姿勢を示す情報と、により構成されていてもよい。この場合、照合部１０７は、特定された投影画像と関連づけられている相対位置姿勢を示す情報を用いて、対象物体の位置姿勢を判定することができる。

実施形態５によれば、ボケ及びブレ等による撮像画像の劣化を考慮して各画素に重み付けを行いながら、撮像画像と投影画像との一致度を算出することにより、対象物体の種類の特定を高精度に行うことができる。

［変形例１０］
実施形態５では、対象物体の撮像画像と、モデル保持部１０６が保持する投影画像と、の間の類似度に基づいて、対象物体の認識が行われた。変形例１０では、ＳＩＦＴ特徴の類似度を用いて対象物体の認識が行われる。実施形態５に係る情報処理装置１は、実施形態１と同様の構成を有しており、以下では異なる点について説明する。

特徴抽出部１０４は、画像取得部１０３により取得された撮像画像からＳＩＦＴ特徴量を抽出する。例えば、特徴抽出部１０４は、撮像画像から特徴点（キーポイント）を検出し、それぞれのキーポイントにおけるＳＩＦＴ特徴量を算出することができる。キーポイントの検出方法及びＳＩＦＴ特徴量の算出方法は公知である。本実施形態では一例として藤吉弘亘「一般物体認識のための局所特徴量（ＳＩＦＴとＨＯＧ）」情報処理学会研究報告，ＣＶＩＭ １６０，ｐｐ．２１１−２２４，２００７で開示されている方法が用いられる。

モデル保持部１０６は、複数の比較対象についてモデル情報を保持する。１つのモデル情報は、比較対象の３次元モデルを撮像画像上に投影して得られる投影画像から抽出されたＳＩＦＴ特徴量と、比較対象の種類を特定する識別子と、により構成される。本実施形態において、１つのモデル情報には複数のＳＩＦＴ特徴量が含まれている。また、モデル保持部１０６は、１つの比較対象について、撮像装置に対する比較対象の相対位置姿勢が異なる場合における複数のモデル情報を保持することができる。

照合部１０７は、画像取得部１０３により取得された撮像画像中の対象物体の種類を特定する。具体的には、照合部１０７は、まず、モデル保持部１０６が保持するモデル情報を１つ選択し、選択されたモデル情報に含まれるＳＩＦＴ特徴量を、特徴抽出部１０４により抽出されたＳＩＦＴ特徴量に対応付ける。ＳＩＦＴ特徴量の対応付け方法は公知であり、本実施形態では一例として藤吉弘亘「一般物体認識のための局所特徴量（ＳＩＦＴとＨＯＧ）」情報処理学会研究報告，ＣＶＩＭ １６０，ｐｐ．２１１−２２４，２００７で開示されている方法が用いられる。

ＳＩＦＴ特徴量の対応付けを行う場合、距離が近い、画像取得部１０３により取得された撮像画像から抽出されたＳＩＦＴ特徴量と、モデル保持部１０６が保持するＳＩＦＴ特徴量と、を対応付けることができる。この対応付けは、キーポイントの画素位置に依存せずに行うことができる。実施形態１〜５においては位置が近い特徴が対応付けられたが、このように、特徴の対応付け方法としては様々な方法を用いることができる。

次に、照合部１０７は、対応付けられたＳＩＦＴ特徴量についての信頼度を取得する。本変形例においても、実施形態５と同様に、信頼度算出部１０５は、モデル保持部１０６が保持する投影画像の画素ごとに信頼度を算出している。照合部１０７は、撮像画像から抽出されたＳＩＦＴ特徴量に対応するキーポイントの画素についての信頼度を、信頼度算出部１０５から取得する。そして、照合部１０７は、対応付けられたＳＩＦＴ特徴間のユークリッド距離に、得られた信頼度を重みとして乗じた重み付き距離の総和を、類似度Ｒとして算出する。

照合部１０７は、上述の類似度Ｒを算出する処理を、それぞれのモデル情報について行う。そして、照合部１０７は、類似度Ｒが最も小さくなるモデル情報を特定し、特定されたモデル情報に関連づけられている識別子により、対象物体の種類を特定する。照合部１０７は、特定された対象物体の種類を示す情報を出力することができる。本変形例においても、実施形態５と同様に、特定されたモデル情報と関連づけられている相対位置姿勢を示す情報を用いて、対象物体の位置姿勢を判定することができる。

本変形例においてはＳＩＦＴ特徴量が用いられたが、画像から抽出される他の特徴を用いて対象物体の種類を特定することもできる。例えば、特徴として、エッジ特徴、又は撮像画像に基づいて算出される３次元点等を用いることができる。

［実施形態６］
上述の実施形態においては、例えば図１等に示される各処理部は、専用のハードウェアによって実現される。しかしながら、一部又は全部の処理部が、コンピュータにより実現されてもよい。本実施形態では、上述の各実施形態に係る処理の少なくとも一部がコンピュータにより実行される。図１５はコンピュータの基本構成を示す図である。このコンピュータにおいて上述の各実施形態の機能を実行するためには、各機能構成をプログラムにより表現し、このコンピュータに読み込ませればよい。こうして、このコンピュータで上述の実施形態のそれぞれの機能を実現することができる。この場合、図１５をはじめとする構成要素の各々は関数、若しくはＣＰＵが実行するサブルーチンで機能させればよい。

また、コンピュータプログラムは通常、ＣＤ−ＲＯＭ等のコンピュータが読み取り可能な記憶媒体に格納されている。この記憶媒体を、コンピュータが有する読み取り装置（ＣＤ−ＲＯＭドライブ等）にセットし、システムにコピー若しくはインストールすることで実行可能になる。従って、係るコンピュータが読み取り可能な記憶媒体も本発明の範疇にあることは明らかである。

図１５はコンピュータの基本構成を示す図である。図１５においてプロセッサ１５１０は、例えばＣＰＵであり、コンピュータ全体の動作をコントロールする。メモリ１５２０は、例えばＲＡＭであり、プログラム及びデータ等を一時的に記憶する。コンピュータが読み取り可能な記憶媒体１５３０は、例えばハードディスク又はＣＤ−ＲＯＭ等であり、プログラム及びデータ等を長期的に記憶する。本実施形態においては、記憶媒体１５３０が格納している、各部の機能を実現するプログラムが、メモリ１５２０へと読み出される。そして、プロセッサ１５１０が、メモリ１５２０上のプログラムに従って動作することにより、各部の機能が実現される。

図１５において、入力インタフェース１５４０は外部の装置から情報を取得するためのインタフェースであり、例えば操作パネル１１２等に接続されている。また、出力インタフェース１５５０は外部の装置へと情報を出力するためのインタフェースであり、例えばＬＣＤモニタ１１３等に接続されている。バス１５６０は、上述の各部を接続し、データのやりとりを可能とする。

（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１：情報処理装置 １０２：劣化度保持部 １０３：画像取得部 １０４：特徴抽出部 １０７：照合部 １０８：撮像装置

Claims (25)

1. 撮像装置により撮像される撮像画像内の各位置について画像の劣化度を示す情報を取得する劣化度取得手段と、
   撮像装置により撮像された対象物体の撮像画像を取得する画像取得手段と、
   前記撮像画像から、前記対象物体の特徴を抽出する抽出手段と、
   前記対象物体の３次元モデルを保持するモデル保持手段と、
   前記対象物体の特徴と、所定の位置姿勢に従って前記３次元モデルを配置した場合に観察される３次元モデルの特徴とを対応付ける対応付け手段と、
   前記対応付けられた結果と、前記特徴が抽出された位置に対応する前記劣化度とに基づいて、前記所定の位置姿勢を補正することにより前記撮像装置に対する前記対象物体の位置姿勢を導出する導出手段と、
   を備えることを特徴とする画像処理装置。
2. 前記劣化度取得手段は、撮像装置により撮像される撮像画像の各位置について画像の劣化度を示す情報を予め保持する劣化度保持手段から、前記劣化度を取得することを特徴とする、請求項１に記載の画像処理装置。
3. 前記劣化度保持手段は、前記撮像装置と前記対象物体との間の位置姿勢に関連づけて前記劣化度を示す情報を保持することを特徴とする、請求項２に記載の画像処理装置。
4. 前記劣化度保持手段は、前記撮像装置により前記対象物体を撮像して得られる撮像画像の、前記対象物体の像の各特徴の位置における劣化度を示す情報を、当該特徴に対応する前記３次元モデルが有する特徴に関連づけて保持することを特徴とする、請求項２又は３に記載の画像処理装置。
5. 前記導出手段は、前記対応付け手段によって対応づけられた前記対象物体の特徴と、前記３次元モデルの特徴との間の距離を小さくするように、前記所定の位置姿勢を補正することを特徴とする、請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記特徴はエッジ特徴であり、
   前記抽出手段は、前記撮像画像に対してエッジ検出処理を行うことで複数のエッジ特徴を抽出し、
   前記対応付け手段は、前記３次元モデルが有する複数のエッジのそれぞれについて、前記所定の位置姿勢に基づいて投影画像上に投影することで得られる画像位置を算出し、前記撮像画像上における前記対象物体の像のエッジ特徴の画像位置と、当該画像位置に近接する前記投影画像上における前記３次元モデルのエッジ特徴の画像位置とを対応付けることを特徴とする、請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記撮像画像は、照射装置により照明パターンが照射された対象物体を前記撮像装置が撮像することにより得られており、
   前記抽出手段は、前記照射装置の位置、前記撮像装置の位置、及び前記照明パターンに基づいて、前記対象物体の像上の点の３次元位置を、前記特徴として抽出し、
   前記対応付け手段は、前記対象物体の像上の点の３次元位置と、当該３次元位置に近接する前記３次元モデルの面の３次元位置とを対応付けることを特徴とする、請求項１乃至５の何れか１項に記載の画像処理装置。
8. 前記劣化度に応じて、前記撮像画像から特徴を抽出するために用いる抽出パラメータを設定する設定手段をさらに備え、
   前記抽出手段は、前記設定手段により設定された抽出パラメータを用いて、前記撮像画像から前記特徴を抽出する
   ことを特徴とする、請求項１乃至７の何れか１項に記載の画像処理装置。
9. 撮像装置により撮像される撮像画像の各位置について画像の劣化度を示す情報を取得する劣化度取得手段と
   撮像装置により撮像された対象物体の撮像画像を取得する画像取得手段と、
   比較対象の像を複数保持する保持手段と、
   複数の前記比較対象の像のうち、前記対象物体の像と前記比較対象の像との一致度に基づいて、前記複数の比較対象の像から、前記対象物体の像に対応する像を判定する判定手段と、を備え、
   前記一致度は、特徴が抽出された位置に対応する前記劣化度に従って重み付けされた、前記対象物体の像の前記複数の特徴のそれぞれについての対応する比較対象の像の特徴との差異に基づく
   ことを特徴とする画像処理装置。
10. 撮像装置により撮像される撮像画像の劣化度を示す情報を取得する劣化度取得手段と、
    撮像装置により撮像された対象物体の撮像画像を取得する画像取得手段と、
    前記劣化度に応じて、前記撮像画像から特徴を抽出するために用いる抽出パラメータを設定する設定手段と、
    前記撮像画像を参照して、前記設定手段により設定された抽出パラメータを用いて、前記撮像画像から特徴を抽出する抽出手段と、
    を備えることを特徴とする画像処理装置。
11. 前記劣化度取得手段は、前記撮像画像の各位置について画像の劣化度を示す情報を取得し、
    前記設定手段は、前記撮像画像の各位置について、当該位置についての前記劣化度に応じて、当該位置において特徴を抽出するために用いる抽出パラメータを設定する
    ことを特徴とする、請求項１０に記載の画像処理装置。
12. 前記劣化度取得手段は、前記撮像装置の視点と前記対象物体との間の位置姿勢に関連づけられた前記劣化度を示す情報を取得することを特徴とする、請求項１０又は１１に記載の画像処理装置。
13. 前記設定手段は、前記劣化度が高いほど大きいサイズのフィルタを用いたフィルタ処理により特徴が抽出されるように、前記抽出パラメータを設定することを特徴とする、請求項１０乃至１２の何れか１項に記載の画像処理装置。
14. 前記設定手段は、前記劣化度が高いほど小さくなるように前記撮像画像をリサイズしてからフィルタ処理により特徴が抽出されるように、前記抽出パラメータを設定することを特徴とする、請求項１０乃至１２の何れか１項に記載の画像処理装置。
15. 前記設定手段は、前記劣化度に応じて複数の抽出パラメータを設定し、
    前記抽出手段は、前記複数の抽出パラメータのそれぞれを用いてフィルタ処理により特徴を抽出し、フィルタ処理の応答値に応じて複数の抽出結果から少なくとも１つの抽出結果を選択する
    ことを特徴とする、請求項１０乃至１４の何れか１項に記載の画像処理装置。
16. 前記劣化度は、画像のボケ量とブレ量とのうちの少なくとも一方を示すことを特徴とする、請求項１乃至１５の何れか１項に記載の画像処理装置。
17. 前記撮像装置による前記対象物体の撮像条件に基づいて、前記対象物体の３次元モデルを用いて前記劣化度を算出する劣化度算出手段をさらに備えることを特徴とする、請求項１乃至１６の何れか１項に記載の画像処理装置。
18. 前記撮像装置が前記対象物体を撮像して得た撮像画像に基づいて前記劣化度を算出する劣化度算出手段をさらに備えることを特徴とする、請求項１乃至１６の何れか１項に記載の画像処理装置。
19. 前記撮像装置による前記対象物体の撮像条件に基づいて前記対象物体の３次元モデルを用いて前記撮像装置が前記対象物体を撮影して得られる撮像画像を推定し、当該推定された画像に基づいて前記劣化度を算出する劣化度算出手段をさらに備えることを特徴とする、請求項１乃至１６の何れか１項に記載の画像処理装置。
20. 前記対象物体を撮像することにより前記撮像画像を取得する撮像手段をさらに備えることを特徴とする、請求項１乃至１９の何れか１項に記載の画像処理装置。
21. 前記対象物体を撮像することにより前記撮像画像を取得する撮像手段と、
    可動軸を有するロボットアームと、
    前記導出された対象物体の位置姿勢に従って前記ロボットアームの位置姿勢を制御する制御手段と、
    をさらに備えることを特徴とする、請求項１乃至８の何れか１項に記載の画像処理装置。
22. 画像処理装置が行う画像処理方法であって、
    撮像装置により撮像される撮像画像内の各位置について画像の劣化度を示す情報を取得する劣化度取得工程と、
    撮像装置により撮像された対象物体の撮像画像を取得する画像取得工程と、
    前記撮像画像から、前記対象物体の特徴を抽出する抽出工程と、
    前記対象物体の特徴と、所定の位置姿勢に従って前記対象物体の３次元モデルを配置した場合に観察される３次元モデルの特徴とを対応付ける対応付け工程と、
    前記対応付けられた結果と、前記特徴が抽出された位置に対応する前記劣化度とに基づいて、前記所定の位置姿勢を補正することにより前記撮像装置に対する前記対象物体の位置姿勢を導出する導出工程と、
    を備えることを特徴とする画像処理方法。
23. 画像処理装置が行う画像処理方法であって、
    撮像装置により撮像される撮像画像の各位置について画像の劣化度を示す情報を取得する劣化度取得工程と
    撮像装置により撮像された対象物体の撮像画像を取得する画像取得工程と、
    前記対象物体の像と比較対象の像との一致度に基づいて、複数の比較対象の像から、前記対象物体の像に対応する像を判定する判定工程と、を備え、
    前記一致度は、特徴が抽出された位置に対応する前記劣化度に従って重み付けされた、前記対象物体の像の前記複数の特徴のそれぞれについての対応する比較対象の像の特徴との差異に基づく
    ことを特徴とする画像処理方法。
24. 画像処理装置が行う画像処理方法であって、
    撮像装置により撮像される撮像画像の劣化度を示す情報を取得する劣化度取得工程と、
    撮像装置により撮像された対象物体の撮像画像を取得する画像取得工程と、
    前記劣化度に応じて、前記撮像画像から特徴を抽出するために用いる抽出パラメータを設定する設定工程と、
    前記撮像画像を参照して、前記設定工程で設定された抽出パラメータを用いて、前記撮像画像から特徴を抽出する抽出工程と、
    を備えることを特徴とする画像処理方法。
25. コンピュータを、請求項１乃至２１の何れか１項に記載の画像処理装置の各手段として機能させるための、コンピュータプログラム。

Images