JP3800905B2 - 画像特徴追跡処理方法、画像特徴追跡処理装置、３次元データ作成方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、２次元画像である時系列画像群（動画像）に含まれる対象物について３次元情報を抽出する画像特徴追跡処理方法、画像特徴追跡処理装置、３次元データ作成方法に関するものである。
【０００２】
【従来の技術】
近年、コンピュータグラフィックス（以下、３ＤＣＧと略称する）技術が急速に進歩してきている。このような、３ＤＣＧ技術は、ＣＡＤシステムや仮想現実システムにも用いられる。しかしながら、３ＤＣＧのデータを作成するモデリング作業には多大な時間を要し、このことが３ＤＣＧの応用分野を拡張できない主な原因になっている。
【０００３】
モデリング作業を容易にするために、３次元計測装置（モーションキャプチャなど）を用いて実空間での計測を行い、計測値を３ＤＣＧのデータとすることでモデリング作業を自動化する技術が実用化されてはいるものの、３次元計測装置は立体視を行うものであるから非常に高価であり、また現状の３次元計測装置では計測できる空間領域が比較的狭いから、この技術の用途は限られている。とくに、この種の３次元計測装置は、市街地のような広い空間領域の計測には適しておらず、都市景観などを３ＤＣＧで形成するには３ＤＣＧのデータを手作業で作成しているのが現状である。
【０００４】
そこで、比較的安価な装置を用いて３次元計測を行うとともに各種の対象に汎用的に用いることができる技術として、単眼視による２次元の動画像（時系列画像群）に基づいて３次元形状を復元させようとする技術が提案されている。たとえば、「金出武雄ら：因子分解法による物体形状と撮像装置の運動の復元，電子情報通信学会誌，Ｖｏｌ．Ｊ７６−Ｄ−ＩＩ Ｎｏ．８，１９９３／８」に記載された技術（以下、因子分解法という）では、２次元の動画像上の特徴を認識して、その特徴が動画像としてどのように移り変わっていくかを追跡した特徴点行列を作成し、特徴点行列に因子分解の手法を適用することによって物体の３次元形状とカメラ姿勢を復元している。この技術では特徴点行列を作成する追跡処理に誤差があると計測結果の誤差が大きくなるから、動画像上の特徴を正確に追跡することが重要な課題である。
【０００５】
３次元計測を目的として２次元動画像における特徴を追跡する技術には、特開平１０−１１１９３４号公報に記載の技術がある。この公報には、因子分解法を適用するにあたり、１フレームの画像に対して複数の領域を指定し、かつ各領域に複数種類の特徴抽出方法を適用し、最適な結果を採用することによって、正確な特徴点追跡を行うことが記載されている。
【０００６】
また、特開平１０−２５５０５３号公報には、ステレオ法を適用するにあたり、特徴点を追跡した後、画像中の適宜の１点を画像原点に設定し、撮像装置の回転に対して変化しない特徴点としての原点と他の特徴点との距離を用いて特徴点の運動軌跡を求め、異なる２つの画像群に対して運動軌跡が相関性を持つか否かを評価して追跡の失敗の有無を検出し、正しく追跡された特徴点のみを用いることにより３次元形状を高い精度で復元することが記載されている。
【０００７】
【発明が解決しようとする課題】
しかしながら、特開平１０−１１１９３４号公報に記載された技術では、特徴点追跡の正否を操作者が判定して指示する必要があるから、追跡処理の期間には操作者は装置から離れることができないという問題がある。
【０００８】
また、特開平１０−２５５０５３号公報に記載された技術では、特徴追跡の失敗を検出することはできるものの、失敗の理由までは判断することができないから、特徴点を途中で追跡できなくなったときに、追跡の誤りなのか、別に原因（複数の物体が存在していて追跡中の物体が他の物体により隠れた場合など）があるのかを判断することができず、失敗を補正することができないから、画像中で計測不可能になる部分が生じることがある。
【０００９】
さらに、上述したどちらの技術も画像から抽出された局所的な特徴を用いて追跡しているから、たとえば格子模様などの繰り返しパターンを有する場合には、追跡を失敗しやすいという問題もある。また、上述したいずれの技術においても得られる３次元情報は各特徴点の座標であり、各特徴点の座標は３次元空間中の離散的な座標情報にすぎず、特徴点同士の関連性は不明である。したがって、上述した技術によって計測した情報を３ＤＣＧのデータとして利用するには、離散的な座標情報からポリゴンなどの面情報を持つデータを生成する別の処理手段が必要になる。
【００１０】
本発明は上記事由に鑑みて為されたものであり、その目的は、３ＤＣＧのデータに用いることができる３次元情報を２次元画像である時系列画像群から容易に得ることができるようにし、しかも時系列画像群の中で対象物を追跡するにあたって追跡の妥当性の検証を可能とし、対象物を確実に追跡するとともに３次元情報における誤差の発生を抑制した画像特徴追跡処理方法、画像特徴追跡処理装置、３次元データ作成方法を提供することにある。
【００１１】
【課題を解決するための手段】
請求項１の発明は、静止している対象物を異なる複数位置からＴＶカメラにより撮像して複数の画像を取得し、前記対象物から選択した面を境界要素と画像特徴量とで表した追跡領域として画像内に設定し、一つの画像内で設定した追跡領域を他の画像における追跡領域の候補の境界要素に一致するように変形させた変形領域を作成し、前記他の画像における追跡領域の候補と変形領域とについて境界要素と画像特徴量との少なくとも一方を比較することにより追跡領域の候補から前記一つの画像内で設定した追跡領域に対応する追跡領域を選択する第１の過程と、隠蔽やフレームアウト等の撮像されていない領域が少ない追跡領域を３次元空間にマッピングすることにより得られる基準領域を設定し、画像内において追跡領域の少なくとも一部が追跡できないときに当該追跡領域と基準領域の３次元空間での境界要素の比較に基づいてＴＶカメラにより撮像できない領域が生じたか否かを判断する第２の過程と、前記基準領域をＴＶカメラの各位置において撮像したときの基準領域の位置関係に基づいて追跡領域をＴＶカメラで撮像できなくなった原因を推定し、推定結果に基づいて追跡領域の追跡が可能となるように修正して追跡を継続させる第３の過程とを備えることを特徴とする。
【００１２】
請求項２の発明は、請求項１の発明において、前記第１の過程で、一つの画像で設定された追跡領域の境界要素について他の画像上で対応する候補を抽出し、境界要素の候補の組み合わせによる追跡候補を生成した後、前記一つの画像で設定した追跡領域を追跡候補に一致するように変形させた変形領域を生成し、追跡候補と変形領域とについて境界要素の形状、画素値、画像特徴量から選択される指標を比較することにより追跡候補の中から前記他の画像における追跡領域を決定することを特徴とする。
【００１３】
請求項３の発明は、請求項２の発明において、前記他の画像においてエッジを抽出するとともに、エッジのうち前記一つの画像において追跡領域を構成する線要素との距離および方向が規定範囲内であるエッジを線要素の候補として選択することを特徴とする。
【００１４】
請求項４の発明は、請求項２の発明において、前記他の画像においてエッジを抽出するとともに、エッジ上の各画素にハフ変換を行って連続性を有したエッジを抽出し、このエッジのうち前記一つの画像において追跡領域を構成する線要素との距離および方向が規定範囲内であるエッジを線要素の候補として選択することを特徴とする。
【００１５】
請求項５の発明は、請求項２の発明において、前記一つの画像において追跡領域を構成する点要素の近傍の形状をテンプレートとし、前記他の画像においてテンプレートにマッチングする部位から点要素の候補を抽出することを特徴とする。
【００１６】
請求項６の発明は、請求項２の発明において、前記追跡候補と前記変形領域との画素値を前記指標に用いることを特徴とする。
【００１７】
請求項７の発明は、請求項２の発明において、前記追跡領域と前記追跡候補との平均輝度を前記指標に用いることを特徴とする。
【００１８】
請求項８の発明は、請求項２の発明において、前記画像はカラー画像であって、前記追跡領域と前記追跡候補との色を前記指標に用いることを特徴とする。
【００１９】
請求項９の発明は、請求項２の発明において、前記追跡領域と前記追跡候補との空間周波数分布を前記指標に用いることを特徴とする。
【００２０】
請求項１０の発明は、請求項２の発明において、前記追跡領域と前記追跡候補の領域内で画素値の変化が規定値を超える部分を抽出し、この部分の位置、形状、画像特徴の少なくとも１要素を前記指標に用いることを特徴とする。
【００２１】
請求項１１の発明は、請求項２の発明において、前記画像はカラー画像であって、前記追跡領域と前記追跡候補との平均輝度または色を前記指標に用いる場合と、空間周波数分布を前記指標に用いる場合と、領域内で画素値の変化が規定値を超える部分を抽出し、この部分の位置、形状、画像特徴の少なくとも１要素を前記指標に用いる場合とを、前記一方の画像における追跡領域内での輝度および色の分布パターンに応じて選択することを特徴とする。
【００２２】
請求項１２の発明は、請求項２の発明において、複数の追跡領域について複数の画像のうち平均輝度が最大になるときのＴＶカメラの姿勢を各追跡領域に対応した対象物の面の反射光の方向に近いと推定し、各追跡領域に対応した対象物の面の法線方向と反射光の方向とから光源からの照射方向を推定することを特徴とする。
【００２３】
請求項１３の発明は、請求項１の発明において、前記第２の過程では、複数の画像間で対応する追跡領域を３次元空間にマッピングし、当該追跡領域の境界要素の対応関係から求められる一致度が閾値以上であるときに３次元空間にマッピングした追跡領域を基準領域とし、基準領域に対応する追跡領域と基準領域との境界要素を比較し、境界要素の変化によって追跡領域中で撮像されていない領域を抽出することを特徴とする。
【００２４】
請求項１４の発明は、請求項１３の発明において、複数の画像間で境界要素の個数に変化が生じない範囲に限定し、各々の範囲について、マッピング時に得られる寄与率を一致度に用いて寄与率が閾値以上である追跡領域を基準領域の候補とし、基準領域の候補が複数個得られるときには面積が最大になる候補を基準領域として採用することを特徴とする。
【００２５】
請求項１５の発明は、請求項１４の発明において、境界要素の個数の変化は、線要素と点要素との一方に着目することを特徴とする。
【００２６】
請求項１６の発明は、請求項１４の発明において、前記寄与率は追跡領域を因子分解法により３次元空間にマッピングする際に得られる対角行列の成分から求めることを特徴とする。
【００２７】
請求項１７の発明は、請求項１３の発明において、３次元空間に追跡領域をマッピングするとともに基準領域と比較し、互いに対応しない点要素によって規定される領域を追跡領域中で撮像されていない領域として求めることを特徴とする。
【００２８】
請求項１８の発明は、請求項１３の発明において、３次元空間に追跡領域をマッピングするとともに基準領域と比較し、互いに対応しない線要素が存在するときに、この線要素を追跡領域中で撮像されていない領域の一部とみなすことを特徴とする。
【００２９】
請求項１９の発明は、請求項１の発明において、前記第３の過程で、３次元空間内でのすべての基準領域をＴＶカメラの位置により決まる画像面に投影し、画像面内における基準領域同士の位置関係および画像面に対する基準領域の位置関係に基づいて、追跡領域中で撮像されていない領域が生じた原因を判定することを特徴とする。
【００３０】
請求項２０の発明は、請求項１９の発明において、着目する基準領域とＴＶカメラとの間に他の基準領域が存在し、かつ両基準領域が接続されていないときに他者隠蔽と判定することを特徴とする。
【００３１】
請求項２１の発明は、請求項１９の発明において、着目する基準領域とＴＶカメラとの間に他の基準領域が存在し、かつ両基準領域が接続されているときに自己隠蔽と判定することを特徴とする。
【００３２】
請求項２２の発明は、請求項１９の発明において、着目する基準領域が画面の周縁に位置するときにフレームアウトと判定することを特徴とする。
【００３３】
請求項２３の発明は、請求項１９の発明において、追跡領域中で撮像されていない領域が存在するときに、エッジ延長を行い、延長されたエッジの交点を新たな点要素として、追跡処理を再度実行し、３次元空間にマッピングする際に寄与率が向上すれば隠蔽と確定することを特徴とする。
【００３４】
請求項２４の発明は、ＴＶカメラにより撮像された画像入力画像として与える画像入力部と、入力された画像に対して請求項１記載の画像特徴追跡処理方法による処理を施す画像処理装置と、入力された画像および画像処理装置で処理された画像を格納する記憶装置と、画像処理装置での処理画像を表示する表示手段と、画像処理装置に対して追跡領域を指定する領域指定手段とを備えるものである。
【００３５】
請求項２５の発明は、対象物を異なる複数位置からＴＶカメラにより撮像して複数の画像を取得した後、前記対象物から選択した面を境界要素で表した追跡領域として画像内に設定し、一つの画像内で設定した追跡領域を他の画像における追跡領域の候補の境界要素に一致するように変形させた変形領域を作成し、前記他の画像における追跡領域の候補と変形領域とについて境界要素を比較することにより追跡領域の候補から前記一つの画像内で設定した追跡領域に対応する追跡領域を選択し、さらに前記対象物の複数の面が撮像されかつ連続して同じ面が撮像されている複数の画像を１つのフェーズ画像群として区切り、次に複数のフェーズ画像について各フェーズ画像群ごとに対象物から選択した面の３次元空間へのマッピングを行うことにより各フェーズ画像群ごとに３次元形状を求め、互いに他のフェーズ画像群の座標系を一致させるように座標変換を行うことによって、３次元データを作成することを特徴とする。
【００３６】
請求項２６の発明は、対象物を異なる複数位置からＴＶカメラにより撮像して複数の画像を取得した後、前記対象物から選択した面を境界要素で表した追跡領域として画像内に設定し、一つの画像内で設定した追跡領域を他の画像における追跡領域の候補の境界要素に一致するように変形させた変形領域を作成し、前記他の画像における追跡領域の候補と変形領域とについて境界要素を比較することにより追跡領域の候補から前記一つの画像内で設定した追跡領域に対応する追跡領域を選択し、さらに前記対象物の複数の面が撮像されかつ連続して同じ面が撮像されている複数の画像を１つのフェーズ画像群として区切り、次に複数のフェーズ画像について各フェーズ画像群ごとに対象物から選択した面の３次元空間へのマッピングを行うことにより各フェーズ画像群ごとに３次元形状を求め、互いに他のフェーズ画像群に共通している線要素を重ね合わせるように各フェーズ画像群ごとに得られた３次元形状の座標変換を行うことによって、３次元データを作成することを特徴とする。
【００３７】
請求項２７の発明は、請求項２５または請求項２６の発明において、前記ＴＶカメラにより撮像して取得した前記複数の画像内で前記対象物から選択した面を、点要素と各点要素を順次接続する有向の線要素とからなる境界要素で表し、時系列で得られる各画像において線要素を辿って各点要素を巡回する向きを監視し、巡回する向きが逆になるまでを１つのフェーズ画像群とすることを特徴とする。
【００３８】
請求項２８の発明は、請求項２５または請求項２６の発明において、前記座標変換では、境界要素ごとに回転および平行移動に関する変換パラメータを求めた後、境界要素ごとに求めた変換パラメータをそれぞれ平均した変換パラメータを用いて座標変換を行うことを特徴とする。
【００３９】
請求項２９の発明は、請求項２５または請求項２６の発明において、座標系を互いに一致させる一方の３次元形状に前記座標変換を施した後の各点要素の位置と他方の３次元形状においてそれぞれ対応する各点要素の位置との中点を、各点要素の位置とすることを特徴とする。
【００４０】
【発明の実施の形態】
（第１の実施の形態）
図１に本発明で用いる装置を示す。処理対象となる２次元画像は、画像入力装置１１から画像特徴追跡処理装置１０に入力される。画像入力装置１１としては、ＴＶカメラ、あるいはＴＶカメラにより撮像された動画像を記録した記録媒体（ビデオテープ、ＣＤ、ＤＶＤなど）から映像を再生する再生装置が用いられ、画像特徴追跡処理装置１０はコンピュータ装置（パーソナルコンピュータ）を用いて構成される。ＴＶカメラ（以下ではカメラと略称する）としては家庭用の簡易なビデオカメラでよく、工業用のＩＴＶカメラでもよい。また、以下に説明する実施形態ではカラー画像を対象とする。
【００４１】
画像特徴追跡処理装置１０に入力される画像は、図２に示すように対象物１に対してカメラ２を矢印Ａで示すように移動させることによって、対象物１を見る視点を連続的に変化させた画像を用いる。つまり、対象物１に対する視点を連続的に変化させた２次元画像の時系列画像群（動画像）が画像特徴追跡処理装置１０に入力される。ここで、画像入力手段１２に入力される画像は、動画像の各フレーム間での対象物１の移動量が対象物１の大きさに比較して十分に小さくなるように撮像されている。つまり、動画像を撮像するカメラ２は比較的低速で移動する。また、対象物１としては平面部分が比較的多いものを考え、しかも対象物１は移動せず時間経過に伴う形状の変化も生じないものとする。図２に示した対象物１を撮像して得られる動画像の例を図３に示す。図３では１つの枠が１画像Ｖ１〜Ｖ３を意味し、左から右に向かって画像Ｖ１〜Ｖ３が時系列に並んでいる状態を示している。
【００４２】
画像特徴追跡処理装置１０は、基本的には、画像入力装置１１とのインタフェースとなる画像入力手段１２と、画像入力手段１２を通して入力された動画像や処理結果を格納するために設けられたハードディスクおよびメモリからなる記憶装置１３と、入力された２次元画像である時系列画像群から３次元情報を抽出する画像処理装置１４と、入力された動画像や処理結果を表示するディスプレイ装置からなる表示手段１５と、画像処理装置１４に対して対象物１に対応した追跡領域などを設定するためのキーボードおよびマウスからなる領域指定手段１６とを備える。
【００４３】
記憶装置１３には、画像入力手段１２を通して入力された画像を格納する画像ファイルＦ１と、２次元画像である時系列画像群において３次元情報を得ようとする対象物１を追跡する際の作業用ファイルとして用いる追跡データファイルＦ２と、画像処理装置１４により得られた３次元情報を格納する３次元形状データファイルＦ３とが設けられる。
【００４４】
また、画像処理装置１４は、上述した領域指定手段１６により対象物１に対して設定された追跡領域に基づいて対象物１を追跡する領域追跡手段１７を備えるとともに、領域追跡手段１７による対象物１の追跡の妥当性を評価する追跡評価手段１８を備える。また、画像処理装置１４には追跡した対象物１に関する２次元画像内での情報から３次元情報を生成する形状復元手段１９が設けられる。追跡評価手段１８において行われる追跡の妥当性の評価には、形状復元手段１９により生成された３次元情報を用いる。
【００４５】
以下に、画像処理装置１４の動作を説明する。まず、画像入力手段１２を通して画像が入力されると、入力された画像は記憶装置１３の画像ファイルＦ１に格納されるとともに表示手段１５に表示される。ここで、領域指定手段１６を操作する操作者は表示手段１５に表示された画像を見て対象物１に対応付けて初期の追跡領域を指定する。つまり、時系列画像群から１つの画像を選択し、この画像内で初期の追跡領域を設定する。一般に、追跡領域は対象物１の面単位で設定され、１つの画像に表示されている対象物１のすべての面を追跡領域として指定する。このようにして追跡領域を指定すれば、背景のような不要な情報は除去される。図４に追跡領域Ｄを指定した状態を示す。追跡領域Ｄは境界要素の集合よりなる閉領域であって、境界要素としては点要素および点要素を結ぶ線要素を用いている。図４において、白丸が点要素であり、隣接する２個の点要素の間の線が線要素を表す。境界要素は、線要素が２つの追跡領域Ｄに共有されているか否かにより表される追跡領域Ｄ同士の接続関係（図４の太線は２つの追跡領域Ｄに跨る線要素を示す）、領域の画像特徴（色、テクスチャ等）を含んでいてもよい。
【００４６】
上述のように立体形状を境界要素としての線要素と点要素とにより表現する形式は境界表現（Ｂ−ＲＥＰ：boundary representation）と呼ばれ３ＤＣＧでは一般的に用いられている。入力された画像情報を境界表現に変換すれば、画素単位で画像情報を扱う場合に比較するとデータ量が大幅に低減され、しかも３次元データを利用する際にデータの変換が容易になる。図５に境界表現による境界領域Ｄの設定例を示す。図５では斜線部が境界領域Ｄを示し、線要素ｓ１〜ｓ８と点要素ｐ１〜ｐ８によって環状の領域を設定している。
【００４７】
領域指定手段１６では、対象物１に追跡領域Ｄを設定するだけではなく対象物１を計測する精度も指定することができる。たとえば、図６のような引出２１を有する家具２０について３次元計測を行うとすれば、引出２１に設けた取手２２まで計測するか、家具２０の全体を直方体とみなして計測するかの精度を指定することができる。画像内の対象物１が家具のように複雑な形状ではなく幾何学的な形状の組み合わせのような単純な形状である場合には、対象物１の各面をそれぞれ追跡領域Ｄとして自動的に設定するようにしてもよい。つまり、対象物１の内部領域を面ごとに分割するような領域分割手段を設けてもよい。
【００４８】
追跡領域Ｄは記憶装置１３における追跡データファイルＦ２に格納される。領域追跡手段１７は、時系列画像群の各画像において領域指定手段１６により設定された追跡領域Ｄに対応する領域を検出する。つまり、時系列画像群の各画像において対象物１の着目する面を追跡する。領域追跡手段１７では、時系列画像群の各画像において追跡領域Ｄを追跡するために、画像ファイルＦ１に格納された時系列画像群のうちの１画像（１フレーム）に対して設定されている追跡領域Ｄから、次フレームの追跡領域Ｄの形状を推定して変形領域を生成する機能を有する。得られた変形領域は次フレームの画像と比較照合され、次フレームでの変形領域の位置が検出される。その後、変形領域を次フレームにおける追跡領域とみなして、さらにその次のフレームでの変形領域の位置を検出する。こうしてすべてのフレームについて変形領域を次々に生成して変形領域の位置を追跡データとして追跡データファイルＦ２に格納する。
【００４９】
領域追跡手段１７の機能についてさらに詳しく説明する。図７は時系列画像群のうちの１画像（１フレーム）において、１つの対象物１のみを表示した状態で示してある。図７における追跡領域（斜線部）Ｄは時系列画像群において１つ前のフレームで設定されたものであり、図７に示すフレームにおいては対象物１のどの面とも一致していない。そこで、領域追跡手段１７では追跡領域Ｄの各線要素ｓＡ，ｓＢ，ｓＣがフレーム内のどの部分に対応するかを検出する。ここに、対象物１の画像はエッジを抽出した画像（エッジ画像という）であるものとする。エッジの抽出には周知の技術を用いる。
【００５０】
領域追跡手段１７では、線要素に基づいて変形領域を生成する場合と、点要素に基づいて変形領域を生成する場合とがある。線要素に基づいて変形領域を生成する場合には、まず対象物１のエッジのうち方向および距離が各線要素ｓＡ，ｓＢ，ｓＣに対して所定範囲内であるエッジを抽出する。すなわち、対象物１のエッジ画像に対してハフ変換を行うことにより、エッジ画像内での直線部分の傾きを知ることができるから、ハフ変換により求めたエッジ画像内の各直線部分と各線要素ｓＡ，ｓＢ，ｓＣとの角度差を求めて、この角度差が所定範囲内であるときにエッジ画像内の直線部分を線要素ｓＡ，ｓＢ，ｓＣに対応付ける。図示例では線要素ｓＡに対してエッジｓａ１，ｓａ２が対応し、線要素ｓＢに対してエッジｓｂ１，ｓｂ２が対応し、線要素ｓＣに対してエッジｓｃ１が対応する。
【００５１】
この段階では、線要素ｓＡには２本のエッジｓａ１，ｓａ２が対応付けられ、線要素ｓＢにも２本のエッジｓｂ１，ｓｂ２が対応付けられているから、１つの変形領域を設定するには、各線要素ｓＡ，ｓＢ，ｓＣにエッジｓａ１，ｓａ２，ｓｂ１，ｓｂ２，ｓｃ１を一対一に対応付ける必要がある。ここで、組み合わせとしては４種類の候補が考えられる。つまり、ｓａ１−ｓｂ１−ｓｃ１、ｓａ１−ｓｂ２−ｓｃ１、ｓａ２−ｓｂ１−ｓｃ１、ｓａ２−ｓｂ２−ｓｃ１のいずれかの組み合わせ（以下、追跡候補という）が追跡領域Ｄに対応することになる。ここではハフ変換によってエッジを求めているから、エッジの長さに関する情報は失われており、各組み合わせは図８に実線で示す図形に相当する。図８における二点鎖線は着目外のエッジを示す。
【００５２】
次に、上述した各追跡候補にそれぞれ合致するように追跡領域Ｄを変形する。つまり、線要素ｓＡ，ｓＢ，ｓＣを図８（ａ）〜（ｄ）に示した追跡候補に対応付けるように変形して変形領域を生成すると、図９（ａ）〜（ｄ）のように線要素ｓＡ１〜ｓＡ４，ｓＢ１〜ｓＢ４，ｓＣ１〜ｓＣ４を有した４種類の変形領域Ｅ１〜Ｅ４が生成される。図９（ｅ）は変形前の追跡領域Ｄである。ここに、追跡領域Ｄを変形する処理は、図１０に示すように、元の追跡領域Ｄにおける各点要素ｐＡ，ｐＢ，ｐＣと変形領域Ｅにおけるエッジの各交点ｐａ，ｐｂ，ｐｃとを結ぶベクトルＭａ，Ｍｂ，Ｍｃを求め、さらに追跡領域Ｄに含まれる画素ｐＰの位置に応じてベクトルＭａ，Ｍｂ，Ｍｃを補間することにより画素ｐＰに対応する変形領域Ｅ内での画素ｐｐの位置（ベクトルＭｐ）を求める。また、変形領域Ｅの各画素の画素値も補間処理によって求める。この種の処理をワープ変形処理と呼んでいる。
【００５３】
領域追跡手段１７において、点要素に基づいて変形領域を生成する場合には、追跡領域Ｄの点要素ｐＡ，ｐＢ，ｐＣの近傍における境界要素の形状に着目する。いま、図１１のような画像が得られれているものとすると、追跡領域Ｄの各点要素ｐＡ，ｐＢ，ｐＣを中心とする所定範囲の境界要素は、図１２（ａ）〜（ｃ）のようになる。そこで、図１２の形状をテンプレートに用いてフレーム（追跡領域Ｄを設定した次のフレーム）内のパターンマッチングを行い、類似度の高い部位を抽出する。パターンマッチングはフレーム内の点要素の近傍で行えばよく、また傾きを考慮する必要がないから、画像内の全領域についてパターンマッチングする場合に比較して処理量がごく少なくなる。図１１の例では点要素ｓＡに対して点要素ｓａ１，ｓａ２，ｓａ３が選択され、点要素ｓＢに対して点要素ｓｂ１が選択され、点要素ｓＣに対して点要素ｓｃ１が選択される。つまり、図１３に示すように、ｓａ１−ｓｂ１−ｓｃ１、ｓａ２−ｓｂ１−ｓｃ１、ｓａ３−ｓｂ１−ｓｃ１の３種類の組み合わせが追跡候補として得られるから、図１４のように３種類の変形領域Ｅ１〜Ｅ３が生成される。
【００５４】
上述のようにして変形領域Ｅの各画素ｐｘの画素値が求められると、次に、変形領域Ｅを用いて各追跡候補の中から追跡領域Ｄに対応するものを選択する。
【００５５】
まず、追跡領域Ｄの中の画素値（濃度値）および微分値が規定範囲内であるときには、画素値が略一定であるか変化が滑らかであることを意味するから、変形領域Ｅの各画素ｐｐの画素値と追跡候補の各画素の画素値とを直接比較する。つまり、各変形領域Ｅは各追跡候補の形状に合致するように設定されているから、対応する部位の画素値の差を求めることによって、画素値の差異を知ることができる。そこで、画素値の差の絶対値の総和を求め、追跡領域Ｄに含まれる画素数で除算した値を評価値として用いる。すべての追跡候補について評価値を求め、評価値がもっとも小さい追跡候補を最適な追跡候補として選択する。すなわち、このようにして選択した追跡候補を、新たな追跡領域として採用するのである。図８に示す例では図８（ｂ）の追跡候補が新たな追跡領域として選択され、図１２に示す例では図１３（ａ）の追跡候補が新たな追跡領域として選択される。言い換えると、追跡候補内に他のエッジが含まれないような組み合わせ（線要素ではｐａ１−ｐｂ１−ｐｃ１、点要素ではｐａ１−ｐｂ１−ｐｃ１）の評価値が最小になり、新たな追跡領域になる。
【００５６】
一方、追跡領域Ｄの中で画素値あるいは微分値が規定範囲を超える部分を有するときには、画素値に局所的に大きな変動があることを意味する。たとえば、石の表面のように細かい模様（テクスチャ）を含むような追跡領域Ｄでは、画素値あるいは微分値が規定範囲を超えることになり、このような面では局所的な画素値の差が大きいので画素値の差を評価値に用いることはできない。そこで、追跡領域Ｄにおける後述の画像特徴量と変形領域Ｅ１から求めた画像特徴量との差を評価値として用い、評価値が最小になる追跡候補を新たな追跡領域として採用する。
【００５７】
ここに、画像特徴量としては、追跡領域Ｄの輝度がほぼ均一であるときには輝度情報を用い、色にばらつきが少ないときには色情報を用いればよい。つまり、追跡候補のうち追跡領域Ｄとの画像特徴量の差が規定値以内のときに追跡候補を新たな追跡領域として採用する。なお、色情報を用いるときには画像としてカラー画像を用いる必要がある。色情報を用いる場合には、たとえば図１５に示すような色度図（Ｒ，Ｇ，Ｂ，Ｗは赤、緑、青、白を意味する）の中でのＲ−Ｗ線に対する追跡領域の色Ｑとの角度θを色相値とすればよい。
【００５８】
また、図１６に示すように、追跡領域Ｄに周期的とみなされる模様が存在するときには、フーリエ変換やウェーブレット変換を行うことにより空間周波数に関する情報を抽出して画像特徴量に用いる。つまり、図１７のように変形領域Ｅと追跡候補との空間周波数の分布ｄ１，ｄ２をそれぞれ抽出し、空間周波数の分布ｄ１，ｄ２を比較すれば追跡候補から新たな追跡領域を選択することができる。
【００５９】
図１８のように、対象物の表面に文字や図形が表記されたりラベルが貼着されているような場合には、追跡領域Ｄの中でもコントラストの大きい部位が生じることがある。このようなときには、文字や図形の表記あるいはラベルを特徴部分Ｆとして追跡候補と変形領域Ｅとの比較を行う。たとえば、図１８（ａ）のように変形領域Ｅが設定され、比較すべき追跡候補Ｅ′（特徴部分Ｆ′を含む）が図１８（ｂ）のように設定されているとすれば、図１９に示すように、特徴部分Ｆの重心Ｇとエッジの各交点ｐａ，ｐｂ，ｐｃとの距離Ｌ１，Ｌ２，Ｌ３、特徴部分Ｆの面積、特徴部分Ｆでの平均輝度や平均色相を画像特徴量として用いることによって、追跡候補から新たな追跡領域を選択することが可能になる。
【００６０】
上述のように、追跡候補から新たな追跡領域を選択するときの評価方法は、追跡領域Ｄの中で画素値および微分値が規定範囲内である場合と、追跡領域Ｄ内で画素値または微分値が規定範囲外である場合と、追跡領域Ｄ内に表記やラベルが存在する場合の３つの場合とでそれぞれ異なる。そこで、各条件に応じて評価方法を選択することが必要である。この選択には、輝度および色相のヒストグラムを作成し、ヒストグラムのパターンに応じて評価方法を選択することによって選択を自動化している。
【００６１】
すなわち、輝度および色相についてヒストグラムを作成したときに図２０のようにヒストグラムにピークが生じない場合には、変形領域Ｅについて画像を１次微分するとともに、微分値の総和を画素数で除算した値（つまり、変形領域Ｅの微分値の平均値）をテクスチャ特徴量として求める。また、テクスチャ特徴量に対する閾値を設定し、テクスチャ特徴量が閾値以下のときには追跡領域Ｄの中で微分値が規定範囲内であるため、細かい模様がないと判断し、画素値の差分和を評価方法として採用し、また閾値を超える場合には微分値が規定範囲を超えるため、細かい模様があると判断し、空間周波数の分布を比較する方法を採用する。
【００６２】
一方、図２１のように、輝度と色相との少なくとも一方に単一のピークが生じるときには平均輝度や平均色相を用いる。また、図２２のように、輝度と色相とにともに複数のピークが生じるときには、文字や図形が表記されていたりラベルが貼着されている可能性が高いから、特徴部分Ｆに関する情報を用いるようにする。
【００６３】
上述のように、輝度および色相の分布情報を用いることによって、どの処理を行うかを自動的に設定することが可能になる。図２３に全体の流れを示す。すなわち、初期の追跡領域Ｄを設定した後（Ｓ１）、次のフレームにおいて境界要素のうち対応する候補を抽出する（Ｓ２）。次に、境界要素の組み合わせによって追跡候補を作成し（Ｓ３）、追跡領域Ｄの中の画素に関して輝度と色相とのヒストグラムを作成する（Ｓ４）。ここで、ヒストグラムに生じるピークの個数を求め（Ｓ５）、両ヒストグラムにピークがなければ（Ｓ６）微分値の平均値を閾値と比較し（Ｓ７）、閾値以下ならば画素値のみの比較によって追跡候補から新たな追跡領域を選択する（Ｓ８）。また、微分値の平均値が閾値より大きいときには空間周波数の分布によって追跡領域を選択する（Ｓ９）。
【００６４】
一方、輝度のヒストグラムにおいてピークが１個あれば（Ｓ１０）平均輝度を用いて追跡領域を選択し（Ｓ１１）、輝度のヒストグラムにおけるピークは１個ではないが色相のヒストグラムにおいてピークが１個であるときには（Ｓ１２）、平均色相を用いて追跡領域を選択する（Ｓ１３）。輝度および色相のヒストグラムにおいてピークはあるが、ともにピークが２個以上であるときには、文字や図形の表記あるいはラベルの貼着があると考えられるから、この種の特徴を用いて追跡領域を選択する（Ｓ１４）。上述のようにして選択した追跡候補を新たな追跡領域とし（Ｓ１５）、次のフレームの処理に移行する（Ｓ１６）。
【００６５】
ところで、カメラ２の移動によって時系列画像群を生成しているから、対象物１とカメラ２との位置関係によって、初期の追跡領域Ｄの一部が、図２４のように着目している対象物１とカメラ２との間に存在する物体３（他の対象物を含む）によって隠蔽されることがある（隠蔽部位を斜線部で示す）。また、対象物１の追跡領域Ｄが図２５のように、カメラ２に対して対象物１の反対面側に位置して隠蔽されることもある（隠蔽部位を斜線部で示す）。このように、追跡領域Ｄとして選択した特定の面の形状が変化したり、特定の面が隠蔽されて追跡できなくなることがある。なお、隠蔽されていた面が新たに露出する場合には追跡領域Ｄとして指定されていないから問題はない。
【００６６】
上述のように、追跡領域Ｄの形状（頂点や辺の数）が変化したり、追跡領域Ｄ２が完全に隠蔽されるような場合には、変形領域と追跡候補との形状（点要素や線要素の個数）が一致しないから、変形領域と追跡候補との一致度が低下することになる。このような場合には、変形した追跡領域の形状に応じて追跡領域の境界要素を増減させて以後の追跡を続行させる。たとえば、図２４に示したように追跡領域を設定した対象物１とカメラ２との間に他の物体３が存在するときには、図２６（ａ）のように追跡領域Ｄ１が四角形であるのに対して、図に二点鎖線で示す直線と一つの頂点とを含む部位が物体３に隠蔽されることによって、図２６（ｂ）のように五角形の追跡領域Ｄ２に変形するから、このような場合には追跡領域Ｄ２を五角形とするように境界要素（点要素、線要素）を増やして以後の追跡を行う。このような追跡領域Ｄ２の変形は可能な限り自動的に行うようにし、自動的に行えない場合には追跡領域Ｄ２の変形を要求するメッセージを表示手段１５に表示する。表示手段１５にメッセージが表示されたときには領域指定手段１６を操作して追跡領域Ｄ２を変形させることになる。
【００６７】
上述した追跡過程においては、記憶装置１３には追跡領域の位置が順次格納されるとともに、追跡候補から新たな追跡領域を選択する際に用いた平均輝度などの画像特徴も記憶装置１３に格納される。これらの情報は、追跡評価手段１８や形状復元手段１９で用いられ、追跡に異常が生じた追跡領域を再度追跡する際における異常の原因の推定に用いられる。
【００６８】
たとえば、晴天時の日中に屋外で住宅を撮像したような場合には、対象物１に照射される強い単一光源が存在することになり、図２７に示すように、対象物１の影ＯＭが強く生じることになる。このような影ＯＭにはエッジが生じるから、変形領域を誤って生成して追跡を妨げる可能性があり、追跡に異常が生じる可能性がある。そこで、記憶装置１３に格納した画像特徴から、影ＯＭを形成する単一光源ＬＭの位置を検出するとともに、影ＯＭの発生を予測して影ＯＭの影響を除去するのである。
【００６９】
さらに具体的に説明する。図２８のように、追跡領域Ｄが単一光源（自然光も含む）ＬＭにより照明されているときに、カメラ２をカメラ姿勢ベクトルｖ１〜ｖｎで表される位置から撮像するものとする。単一光源ＬＭからの光束の方向を表す照明光ベクトルｒ１と追跡領域Ｄでの正反射光の方向を表す反射光ベクトルｒ２とは追跡領域Ｄが設定される面の法線方向Ｕとなす角度が等しく、追跡領域Ｄの見かけ上の輝度は、カメラ姿勢ベクトルｖ１〜ｖｎが反射光ベクトルｒ２に近いほど大きくなる。
【００７０】
そこで、追跡過程において各フレームで設定される追跡領域Ｄの平均輝度を記憶装置１３に格納しておき、形状復元手段１９において各追跡領域Ｄごとに平均輝度が最大になるフレームを撮像したときのカメラ姿勢ベクトルｖ１〜ｖｎを求め、求めたカメラ姿勢ベクトルｖ１〜ｖｎを反射光ベクトルｒ２の近似値とみなす。反射光ベクトルｒ２が得られると、各追跡領域Ｄが設定される面の法線方向Ｕとの関係で照明光ベクトルｒ１を推定することができるから、すべての追跡領域Ｄについて得られる照明光ベクトルｒ１の推定値のばらつきの程度を評価し、ばらつきが小さいときには、単一光源が存在すると判断することができる。このとき、各追跡領域Ｄについて得られた照明光ベクトルｒ１の推定値の平均値を照明光ベクトルｒ１として用いる。
【００７１】
ところで、上述したように、カメラ２によって追跡領域Ｄを追跡する過程において追跡領域Ｄの一部または全部を撮像できなくなることがある。追跡領域Ｄを撮像できなくなる原因として以下の３種類の場合が考えられる。
【００７２】
すなわち、図２９のように、対象物１に設定した追跡領域Ｄとカメラ２との間に他の物体３が存在して追跡領域Ｄが隠蔽される場合（以下、他者隠蔽という）、図３０のように、対象物１に設定した追跡領域Ｄがカメラ２に対して対象物１の背面側に位置する場合（以下、自己隠蔽という）、図３１のように追跡領域Ｄの一部がカメラ２の視野ＶＦの外に出る場合（以下、フレームアウトという）の３種類の場合である。
【００７３】
上述のようにカメラ２で撮像できない領域（以下、撮像不可領域という）は以下の手順によって抽出される。すなわち、まず追跡過程において撮像不可領域が生じていない追跡領域を基準領域として設定する。このような基準領域は、時系列画像群のうちの複数の画像において境界要素の個数が変化しない追跡領域を用いて設定する。ここに、境界要素としては線要素と点要素とのいずれかを用いればよい。たとえば、図３２（ａ）に示す時系列画像群Ｖ１１〜Ｖ１３では追跡領域Ｄ１１〜Ｄ１３は５個の点要素および５本の線要素を有しており、点要素および線要素の個数に変化は生じていない。また、図３２（ｂ）に示す時系列画像群Ｖ２１，Ｖ２２では追跡領域Ｄ２１，Ｄ２２は４個の点要素および４本の線要素を有しており、この場合も点要素および線要素の個数に変化はない。
【００７４】
基準領域を設定する際には、上述のように複数の画像において境界要素の個数に変化が生じない境界領域を選択し、点要素の対応をとってステレオ法や因子分解法のような手法を適用することにより３次元空間に追跡領域をマッピングする。たとえば、図３３（ａ）（ｂ）のような２画像において、追跡領域Ｄ１，Ｄ２の点要素の座標が図３３（ａ）（ｂ）のように設定されているものとする。ここで、各点要素を図３３（ｃ）のようにマッピングする場合に因子分解法を採用するものとすれば、各画像における追跡領域Ｄ１、Ｄ２の点要素の座標と、３次元空間での点の座標との関係を数１の形に表すことができる。
【００７５】
【数１】

数１において右辺の左の行列式はカメラ２の向きを表しており、第１行の（ＣＸ１ ＣＹ１ ＣＺ１）、第３行の（ＣＸ３ ＣＹ３ ＣＺ３）は図３３（ａ）の画像を得る際のカメラ２の画像面のｘ軸、ｙ軸方向のベクトルを示し、第２行の（ＣＸ２ ＣＹ２ ＣＺ２）、第４行の（ＣＸ４ ＣＹ４ ＣＺ４）は図３３（ｂ）の画像を得る際のカメラ２の画像面のｘ軸、ｙ軸方向のベクトルを示す。右辺の中央の行列は因子分解法によって求められた対角行列であり、この成分から次式で寄与率Ｋを求めることができる。
Ｋ＝（ａ＋ｂ＋ｃ）／（ａ＋ｂ＋ｃ＋ｄ）
撮像不可領域が生じなければ、時系列画像群の中に設定された各追跡領域間での点要素に誤対応がないと考えられるから、寄与率Ｋに対して適宜の閾値を設定しておき、上述のようにして求めた寄与率Ｋが閾値を超えるときには撮像不可領域が生じないものと判断して、３次元空間にマッピングした領域を基準領域候補とする。境界要素のうち点要素の個数に変化が生じない追跡領域ごとに基準領域候補を求めるため、３次元空間において１つの面に対応する基準領域候補は複数生成されることになる。そこで、複数の基準領域候補を求め、その中で面積が最大である基準領域候補を３次元空間における１つの面に対する基準領域として採用する。
【００７６】
基準領域が決定されれば、撮像不可領域を抽出することができる。つまり、基準領域を決定した追跡領域を時系列画像群で追跡する間に点要素が対応しなくなれば撮像不可領域が生じたと判断することができる。たとえば、図３４に示すように、基準領域ＤＳが設定されているとすれば、基準領域ＤＳは境界要素として点要素ｐＳ１〜ｐＳ４を備えていることになる。これに対して、追跡領域Ｄをステレオ法や因子分解法によって３次元空間にマッピングしたときに、図３４に示すように追跡領域Ｄが５個の点要素ｐ１〜ｐ５を含むようになったとすれば、追跡領域Ｄの点要素ｐ１〜ｐ３は基準領域ＤＳの点要素ｐＳ１〜ｐＳ３に対応するものの、追跡領域Ｄの点要素ｐ４，ｐ５には基準領域ＤＳに対応する点要素がないことになる。つまり、基準領域ＤＳと追跡領域Ｄとにおいて互いに対応するものがない点要素ｐＳ４，ｐ４，ｐ５に囲まれた領域を撮像不可領域とみなすことができる。
【００７７】
上述の説明では点要素を用いているが、線要素を用いる場合には、図３５のように基準領域ＤＳの線要素ｓＳ２，ｓＳ３には追跡領域Ｄの線要素ｓ２，ｓ３が対応し、また基準領域ＤＳの線要素ｓＳ１，ｓＳ４には追跡領域Ｄの線要素ｓ１，ｓ４が対応するが、追跡領域Ｄの線要素ｓ５については基準領域ＤＳに対応する線要素が存在しないから、この線要素ｓ５が撮像不可領域の一部であると判断することができる。
【００７８】
上述のようにして撮像不可領域が抽出された後には、撮像不可領域が生じた原因が、他者隠蔽と自己隠蔽とフレームアウトとのいずれであるかを判断する。この判断には、上述のようにして求めたすべての基準領域を３次元空間にマッピングした状態から時系列画像群における各画像の画像面に基準領域を投影する。すなわち、カメラ２の位置によって撮像不可領域が生じた画像面の３次元空間内での位置を規定できるから、この画像面に対して基準領域を投影すれば、基準領域を設定した面同士が重なっているかあるいは画像面の外にはみ出しているかを知ることができる。また、基準領域を設定した面とカメラ２（つまり画像面）との距離関係によって基準領域を設定したどの面に撮像不可領域が生じているかを知ることができる。以下では基準領域を設定した面を基準面と呼ぶことにする。
【００７９】
ここで、３次元空間において撮像不可領域の生じている基準面とカメラ２との間に他の基準面が存在する場合であって、撮像不可領域の生じている基準面に連続する基準面が存在しないときには、他者隠蔽であると判断する。たとえば、図３６においては基準面ＳＲ１に撮像不可領域（斜線部）が生じているが、この基準面ＳＲ１に対して画像内で隣接している基準面ＳＲ２は３次元空間では接続されていないから、他者隠蔽と判断される。
【００８０】
一方、３次元空間において撮像不可領域の生じている基準面とカメラ２との間に他の基準面が存在する場合であって、撮像不可領域の生じている基準面に連続する基準面が存在するときには、自己隠蔽であると判断する。たとえば、図３７においては基準面ＳＲ３に撮像不可領域（斜線部）が生じており、基準面ＳＲ３に対して画像内で隣接している基準面ＳＲ４，ＳＲ５は３次元空間においても接続されているから、この場合には基準面ＳＲ３は自己隠蔽によって撮像不可領域になっていると判断される。
【００８１】
さらに、図３８に示すように、撮像不可領域を生じている基準面ＳＲ６の一部が画像面の周縁に跨っているときには、フレームアウトであると判断される（基準面ＳＲ６のうち画面から外に出ている部分を斜線部で示す）。
【００８２】
上述のようにして、基準面と画像面との距離および撮像不可領域を生じている基準面と他の基準面との接続関係などに基づいて、撮像不可領域を生じている原因が他者隠蔽、自己隠蔽、フレームアウトのいずれであるかを判定することができる。
【００８３】
撮像不可領域が生じている原因を上述のようにして判定した後には、判定結果の検証を行う。つまり、撮像不可領域を生じている基準面ＳＲにおいて、図３９に示すように撮像不可領域の存在する方向にエッジＥ１，Ｅ２を延長し、延長したエッジＥ１，Ｅ２の交点を基準面ＳＲの新たな点要素とみなして追跡処理を行う。このとき、上述した寄与率が向上すれば、撮像不可領域は他者隠蔽または自己隠蔽により生じているものと最終的に確定される。ここで、他者隠蔽による撮像不可領域はカメラ２が移動することによって撮像可能になることがあるから追跡処理を継続し、自己隠蔽による撮像不可領域はカメラ２の移動によって再び撮像可能になることはないものと判断して追跡処理を終了する。
【００８４】
図４０に撮像不可領域に対する処理の手順をまとめて示す。すなわち、まず基準領域を設定するために、複数の画像において境界要素の数が変化しない追跡領域を抽出する（Ｓ１）。ここで、対象物１の１つの面を形成している追跡領域を複数の画像から抽出するとともに対応する追跡領域に対して座標変換を施すことによって３次元空間に追跡領域をマッピングし（Ｓ２）、マッピングの際の寄与率を求める（Ｓ３）。抽出可能なすべての面について３次元空間へのマッピングと寄与率の演算とを終了した後（Ｓ４）、３次元空間にマッピングしたときに寄与率が閾値以上となった面を基準領域候補として抽出する（Ｓ５）。さらに、基準領域候補から面積がもっとも大きいものを抽出して基準領域とする（Ｓ６）。基準領域が決定されると、次に撮像不可領域を抽出し（Ｓ７）、さらに３次元空間において注目する基準領域と同じ画像内で他の基準領域およびカメラとの位置関係を求める（Ｓ８）。ここで、撮像不可領域が生じている基準領域に対して他の基準領域が離れている場合には（Ｓ９）、他者隠蔽と判断し（Ｓ１０）、撮像不可領域が生じている基準領域に対して他の基準領域が接続されている場合には（Ｓ１１）、自己隠蔽と判断する（Ｓ１２）。他者隠蔽、自己隠蔽のいずれも生じていない場合には、撮像不可領域が生じている基準領域についてフレーム内での位置を求め（Ｓ１３）、画像の周縁付近に基準領域が存在しているときには（Ｓ１４）、フレームアウトと判断する（Ｓ１５）。以上の処理を全フレームについて行った後（Ｓ１６）、撮像不可領域に対応するエッジを延長し追跡処理を再実行して隠蔽の有無を確定する（Ｓ１７）。
【００８５】
（第２の実施の形態）
第１の実施の形態は隠蔽の有無を検出する方法であったが、本実施形態では、画像内に含まれる面に変化が生じない一連の複数の画像をフェーズ画像群とし、フェーズ画像群ごとに３次元空間に追跡領域をマッピングし、マッピングにより得られた３次元形状を座標変換により重ね合わせて対象物１の全体の３次元データを得る方法について説明する。したがって、本実施形態において対象物１を境界要素で表して追跡する処理については第１の実施の形態と共通化することができる。本実施形態は他者隠蔽が生じない対象物１であれば単独で処理することができ、また第１の実施の形態における隠蔽の有無を検出する処理の後に、第１の実施の形態において用いた追跡の処理の結果を用いて本実施形態の処理を行うことも可能である。
【００８６】
以下では説明を容易にするために、対象物１が図４１のように直方体状であるものとする。図４１において矢印Ａはカメラ２の移動を表す。つまり、他者隠蔽は生じないものとして本実施形態の処理を説明する。また、対象物１の各面を図４２のように規定する。つまり、図４２の上面をｆ１、下面をｆ２とし、図４２の手前左面、手前右面をそれぞれｆ３、ｆ４、図４２の裏側右面、裏側左面をそれぞれｆ５、ｆ６とする。このような対象物１を上面から見ると、各面ｆ１、ｆ３〜ｆ６の関係は図４３のようになる。いま、対象物１の上面ｆ１の中心を通り上面ｆ１に直交する軸（つまり、図４３の破線の交点を通り図の面に直交する軸）の回りでカメラ２を対象物１に対して相対的に回転させ、上記軸に対して４５度程度の角度をもって対象物１を斜め上方から撮像するものとする。したがって、撮像によって得られた各画像（フレーム）にはつねに上面ｆ１が含まれていることになる。また、上記軸を含み各面ｆ３〜ｆ６に直交する面内にカメラ２が位置するときには（図４３における位置ｅ３〜ｅ６にカメラ２が位置するときには）、各画像（フレーム）に上面ｆ１以外には各面ｆ３〜ｆ６のいずれか１面が含まれることになる。カメラ２がその他の位置（図４３における範囲ｄ３４，ｄ４５，ｄ５６，ｄ６３）に位置するときには各画像には上面ｆ１のほかに隣接する２面が含まれることになる。
【００８７】
つまり、図４３に示す位置ｅ３から左回りにカメラ２の位置を変化させると、図４４に示すように各画像（図４４における各箱がそれぞれ画像を示している）の内容が変化することになる。ただし、上面ｆ１と他の１面との２面のみを含む１つの画像ｈ３〜ｈ６を挟んで、上面ｆ１と他の２面との３面を含む画像群ｋ３４，ｋ４５，ｋ５６，ｋ６３が得られるように撮像条件が設定される。つまり、３面を含む画像群ｋ３４，ｋ４５，ｋ５６，ｋ６３はそれぞれ連続して複数画像ずつ得られるように撮像条件が設定される。このように同じ面が含まれている連続した複数画像を以下ではフェーズ画像群と呼ぶ。また、フェーズ画像群ｋ３４，ｋ４５，ｋ５６，ｋ６３の間の２面のみを含む画像ｈ３〜ｈ６は１画像ずつ独立して得られるように撮像条件が設定される。このような撮像条件で得られた画像では、各フェーズ画像群ｋ３４，ｋ４５，ｋ５６，ｋ６３を画像ｈ３〜ｈ６で切り分けることが可能になる。要するに、各画像に含まれる面の数が変化したときに変化の前後で切り分け、同じ面を含む画像が複数連続して得られているときには、それらをまとめてフェーズ画像群とするのである。こうして得られたフェーズ画像群ｋ３４，ｋ４５，ｋ５６，ｋ６３の各画像では含まれる面に変化は生じない。
【００８８】
本実施形態ではＴＶカメラ２で取得した対象物１の画像に対して、図１に示した領域指定手段１６において、線要素と点要素とからなる境界表現（Ｂ−ＲＥＰ：boundary representation）を用いて追跡領域を設定する。また、対象物１から選択した面を領域追跡手段１７により追跡する。このような追跡の処理は第１の実施の形態と同様であり、対象物１の面単位で追跡領域を設定し、１つの画面の追跡領域から他の画面の追跡領域の形状を推定して変形領域を生成し、他の画面の画像と変形領域とを比較照合して、変形領域の位置を追跡するのである。このようにして対象物１の面を追跡すれば、各画像内にどの面が含まれているかの情報が得られるから、上述のようにフェーズ画像群ｋ３４，ｋ４５，ｋ５６，ｋ６３を設定することができる。
【００８９】
上述のようにしてフェーズ画像群ｋ３４，ｋ４５，ｋ５６，ｋ６３が設定されると、各フェーズ画像群ｋ３４，ｋ４５，ｋ５６，ｋ６３ごとに、追跡領域を３次元空間にマッピングする。なお、フェーズ画像群ｋ３４，ｋ４５，ｋ５６，ｋ６３を設定するには、図１に図示していない手段を用いて画像ファイルＦ１内に格納されている元の動画像からフェーズ画像群ｋ３４，ｋ４５，ｋ５６，ｋ６３に切り分ける。元の動画像からフェーズ画像群ｋ３４，ｋ４５，ｋ５６，ｋ６３に切り分ける処理としては、２次元画像内で輪郭線によって面を自動的に追跡する画像処理手段を用いる方法か、画面上に複数画像を表示しておき人が手作業で行う方法かのいずれかを用いる。フェーズ画像群ｋ３４，ｋ４５，ｋ５６，ｋ６３の各画像では含まれる面に変化が生じないから、フェーズ画像群ｋ３４，ｋ４５，ｋ５６，ｋ６３を構成する各画像においては自己隠蔽による点要素の消失が生じることはなく、各フェーズ画像群ｋ３４，ｋ４５，ｋ５６，ｋ６３の範囲内においては因子分解法やステレオ法のような従来から知られている手法を適用して追跡領域を３次元空間にマッピングすることができる。
【００９０】
いま、図４３に示したフェーズ画像群ｋ３４，ｋ４５，ｋ５６，ｋ６３を用いることによって、それぞれ図４５（ａ）〜（ｄ）のように３次元空間に追跡領域がマッピングできたとすれば、各フェーズ画像群ｋ３４，ｋ４５，ｋ５６，ｋ６３から得られた３次元形状についてのワールド座標系はそれぞれ異なることになる。図４５（ａ）〜（ｄ）においては各３次元形状に対するワールド座標系を、それぞれＸ１−Ｙ１−Ｚ１，Ｘ２−Ｙ２−Ｚ２，Ｘ３−Ｙ３−Ｚ３，Ｘ４−Ｙ４−Ｚ４で示している。このように、フェーズ画像群ｋ３４，ｋ４５，ｋ５６，ｋ６３から得られた３次元形状ごとにワールド座標系が異なっていると、共通した１つの座標系内で対象物１の３次元データを表現することができないから、以下の手順で各ワールド座標系を有した３次元形状を重ね合わせる。
【００９１】
ワールド座標系が異なる複数の３次元形状を重ね合わせる際には、重ね合わせの対象となる複数の３次元形状の間に共通する線要素が存在するか否かに応じて手順に相違が生じる。
【００９２】
共通の線要素が存在する場合は、共通する線要素が重なるように、対象となる複数の３次元形状に対する座標変換を施す。たとえば、図４５において、面ｆ１を囲む各線要素ｓ１３，ｓ１４，ｓ１５，ｓ１６は図４５（ａ）〜（ｄ）において共通に存在し、面ｆ４と面ｆ５との境界線としての線要素ｓ４５は図４５（ａ）〜（ｃ）において共通に存在する。他にも複数の３次元形状で共通する線要素が存在しているが、できるだけ多くの３次元形状で共通する線要素を選択するのが望ましい。本実施形態では互いに異なる向きであって１点で交わる線要素を選択している。つまり、面ｆ１と面ｆ４との境界線である線要素ｓ１４と、面ｆ１と面ｆ５との境界線である線要素ｆ１５と、面ｆ４と面ｆ５との境界線である線要素ｓ４５との３本を選択している。これらの３本の線要素ｓ１４，ｓ１５，ｓ４５を重ね合わせるように座標変換を施すことで、４個の３次元形状のワールド座標系を統一して図４６のように１つのワールド座標系（Ｘ−Ｙ−Ｚ）で３次元データを表すことが可能になる。
【００９３】
一方、共通の線要素が存在しない場合には、各３次元形状において共通に存在している追跡領域を重ね合わせる。つまり、図４５においては面ｆ１がすべての３次元形状に共通に存在するから、この面ｆ１を重ね合わせる。このことは、線要素ｓ１３，ｓ１４，ｓ１５，ｓ１６を重ねるように座標変換を行うことと等価である。
【００９４】
ところで、上述のようにフェーズ画像群ｋ３４，ｋ４５，ｋ５６，ｋ６３ごとに求めた３次元形状のワールド座標系を１つのワールド座標系に統合する際に、各フェーズ画像群ｋ３４，ｋ４５，ｋ５６，ｋ６３から求めた３次元形状に誤差があれば、重ね合わせようとする２つのワールド座標系にもずれが生じているから、いずれかの境界要素を重ね合わせると他の境界要素が重ならないというような不都合が生じることがある。そこで、２つのワールド座標系に共通する境界要素（線要素と点要素）ごとに座標変換のための変換行列を求め、求めた複数個の変換行列の各要素（つまり、回転および平行移動に関する変換パラメータ）の平均値を要素とする変換行列を用いて座標変換を行う。このように平均値を用いることで変換行列を一意に決定することができる。
【００９５】
いま、図４５（ａ）（ｂ）の３次元形状を対象として説明すれば、２つの３次元形状において３つの面ｆ１，ｆ３，ｆ４の交点である点要素ｐ１３４は、図４７（ａ）（ｂ）の位置にあり、図４７（ｂ）における点要素ｐ１３４に対して、図４７（ａ）に示す回転ｒと平行移動ｍとの座標変換を施すことで、図４７（ａ）の位置に点要素ｐ１３４を移動させることができるから、回転ｒと平行移動ｍとの座標変換によって図４５（ａ）（ｂ）におけるワールド座標系を一致させることができると考えられる。このような座標変換は一般に行列形式で表されるから、行列要素として座標変換を定義することができる。そこで、点要素ｐ１３４だけではなく、他の点要素（多いほうがよい）についても座標変換の要素を求め、同じ要素ごとに平均値を求め、この平均値を要素とする変換行列を用いて座標変換を施すのである。
【００９６】
上述のように複数個の境界要素について求めた変換行列の各要素ごとの平均値を要素とする変換行列を用いることによって、図４８のように、２つの３次元形状を重ね合わせた１つの三次元形状を得ることができる。図示例では図４７（ｂ）の３次元形状が図４７（ａ）の３次元形状に重なるように座標変換を施した結果であり、座標変換が施された３次元形状のうち面ｆ５は背面側で不可視になっている。ここに、図４８においてダッシュ（′）付きの符号は図４７（ｂ）の３次元形状に座標変換を施した後の３次元形状を意味する。上述のようにして変換行列の各要素について要素ごとの平均値を用いると、図４７（ｂ）の位置に対して座標変換を施した点要素ｐ１３４′は図４７（ａ）の位置における点要素ｐ１３４とは完全には一致していない。そこで、最終的には点要素ｐ１３４と点要素ｐ１３４′との中点を点要素の位置として決定する。
【００９７】
以上のようにして複数の３次元形状から１つの３次元データに統合することが可能になる。なお、本実施形態では面ｆ２についてはカメラ２によって撮像していないから、面ｆ２を正確に規定することはできないが、面ｆ２の周囲を構成する線要素および点要素はカメラ２に撮像されているから、これらの線要素および点要素により表現される平面とみなしている。
【００９８】
上述の例において、動画像（時系列画像）を用いて各フェーズ画像群ｋ３４，ｋ４５，ｋ５６，ｋ６３を設定するために、面の数が変化することを利用していたが、以下のように自己隠蔽が生じる面の有無によってフェーズ画像群を区切るようにしてもよい。つまり、境界要素を点要素と線要素とで表すだけではなく、各線要素に方向を規定することにより有向の線要素とし、各面の自己隠蔽に伴う線要素の方向の変化を利用して追跡領域である面が不可視になったと判断し、追跡領域である面が可視の状態から不可視の状態に変化したときにフェーズ画像群の区切りと判断するのである。言い換えると、線要素は点要素を順次接続しているから点要素を順に辿ることによって点要素を巡回することになり、巡回する向きを監視しておき巡回する向きが画像内で逆になると、その面が不可視になったと判断できるのである。
【００９９】
具体的には、可視である面について図４９に矢印を付して示しているように、１つの面を構成する境界要素を線要素の方向に辿ると時計回りで一巡できるように規定しているとすれば、不可視になった面は反時計回りになる。たとえば、図４９では面ｆ１，ｆ３，ｆ４が可視であって、面ｆ２，ｆ５，ｆ６が不可視になっている。ここで、カメラ２は対象物１に対して上述した位置関係で対象物１が撮像されていることにより面ｆ１はつねに可視であり、面ｆ２はつねに不可視であるから、面ｆ１，ｆ２は除外する。したがって、ここでは可視・不可視の判断の対象を面ｆ３〜ｆ６とする。この場合、可視である面ｆ３、ｆ４について線要素を時計回りに辿ることができるとすれば、不可視である面ｆ５，ｆ６は線要素を反時計回りに辿ることになる。これは、面ｆ３，ｆ４が不可視になる場合も同様である。要するに、線要素を辿ることで１つの面の境界要素を一巡するように線要素に方向を与えておけば、その面が可視か不可視であるかによって、時計回りに線要素を辿るかと反時計回りに線要素を辿るかが変化するから、これを利用して追跡領域である面が自己隠蔽により不可視になったと判断することができ、動画像（時系列画像）のうちで追跡領域として設定した面が可視から不可視になるとフェーズ画像群の区切りとすることができる。
【０１００】
【発明の効果】
請求項１の発明は、静止している対象物を異なる複数位置からＴＶカメラにより撮像して複数の画像を取得し、対象物から選択した面を境界要素と画像特徴量とで表した追跡領域として画像内に設定し、一つの画像内で設定した追跡領域を他の画像における追跡領域の候補の境界要素に一致するように変形させた変形領域を作成し、他の画像における追跡領域の候補と変形領域とについて境界要素と画像特徴量との少なくとも一方を比較することにより追跡領域の候補から一つの画像内で設定した追跡領域に対応する追跡領域を選択する第１の過程と、撮像されていない領域が少ない追跡領域を３次元空間にマッピングすることにより得られる基準領域を設定し、画像内において追跡領域の少なくとも一部が追跡できないときに複数の基準領域の３次元空間での位置関係に基づいてＴＶカメラにより撮像できない領域が生じたか否かを判断する第２の過程と、基準領域をＴＶカメラの各位置において撮像したときの基準領域の位置関係に基づいて追跡領域をＴＶカメラで撮像できなくなった原因を推定し、推定結果に基づいて追跡領域の追跡が可能となるように修正して追跡を継続させる第３の過程とを備えることを特徴とし、動画像の各画像間で追跡領域を追跡することによって３ＤＣＧのデータに用いることができる３次元情報を２次元画像から容易に得ることができるだけではなく、追跡領域のうち撮像されていない領域の発生を検出するとともに、撮像されていない原因を推定するから、追跡領域の追跡が一旦失敗したとしても原因に応じた対処を行って追跡領域を確実に追跡することが可能になる。その結果、得られた３次元情報の妥当性が検証されるとともに、誤差の発生も抑制されることになる。
【０１０１】
請求項２の発明は、請求項１の発明において、第１の過程で、一つの画像で設定された追跡領域の境界要素について他の画像上で対応する候補を抽出し、境界要素の候補の組み合わせによる追跡候補を生成した後、一つの画像で設定した追跡領域を追跡候補に一致するように変形させた変形領域を生成し、追跡候補と変形領域とについて境界要素の形状、画素値、画像特徴量から選択される指標を比較することにより追跡候補の中から他の画像における追跡領域を決定することを特徴とし、従来のような局所的な特徴を用いるのではなく、追跡領域を構成する線要素（境界線）や点要素（境界線の接合点）、あるいは画像の特徴を用いるから、追跡領域を従来より確実に追跡することが可能になる。
【０１０２】
請求項３の発明は、請求項２の発明において、他の画像においてエッジを抽出するとともに、エッジのうち一つの画像において追跡領域を構成する線要素との距離および方向が規定範囲内であるエッジを線要素の候補として選択することを特徴し、請求項４の発明は、請求項２の発明において、他の画像においてエッジを抽出するとともに、エッジ上の各画素にハフ変換を行って連続性を有したエッジを抽出し、このエッジのうち一つの画像において追跡領域を構成する線要素との距離および方向が規定範囲内であるエッジを線要素の候補として選択することを特徴とし、請求項５の発明は、請求項２の発明において、一つの画像において追跡領域を構成する点要素の近傍の形状をテンプレートとし、他の画像においてテンプレートにマッチングする部位から点要素の候補を抽出することを特徴としており、いずれにおいても候補となる境界要素の組み合わせによって有限個の追跡候補を生成するから、処理量を制限しながらも正確な追跡が可能になる。
【０１０３】
請求項６の発明は、請求項２の発明において、追跡候補と変形領域との画素値を指標に用いるので、画像が特徴を持たない場合でも追跡候補と変形領域との比較が可能である。
【０１０４】
請求項７の発明は、請求項２の発明において、追跡領域と追跡候補との平均輝度を指標に用いることを特徴とし、請求項８の発明は、請求項２の発明において、画像はカラー画像であって、追跡領域と追跡候補との色を指標に用いることを特徴とし、請求項９の発明は、請求項２の発明において、追跡領域と追跡候補との空間周波数分布を指標に用いることを特徴としており、いずれも画像内の特徴を利用することによって、数値の比較によって追跡候補と変形領域とを容易に比較することができる。
【０１０５】
請求項１０の発明は、請求項２の発明において、追跡領域と追跡候補の領域内で画素値の変化が規定値を超える部分を抽出し、この部分の位置、形状、画像特徴の少なくとも１要素を指標に用いるので、画像内の特徴を利用することで追跡候補と変形領域との比較をより確実に行うことができる。
【０１０６】
請求項１１の発明は、請求項２の発明において、画像はカラー画像であって、追跡領域と追跡候補との平均輝度または色を指標に用いる場合と、空間周波数分布を指標に用いる場合と、領域内で画素値の変化が規定値を超える部分を抽出し、この部分の位置、形状、画像特徴の少なくとも１要素を指標に用いる場合とを、一方の画像における追跡領域内での輝度および色の分布パターンに応じて選択することを特徴としており、輝度と色との情報を用いることで、追跡候補と変形領域との比較に適した方法を自動的に選択することができる。
【０１０７】
請求項１２の発明は、請求項２の発明において、複数の追跡領域について複数の画像のうち平均輝度が最大になるときのＴＶカメラの姿勢を各追跡領域に対応した対象物の面の反射光の方向に近いと推定し、各追跡領域に対応した対象物の面の法線方向と反射光の方向とから光源からの照射方向を推定することを特徴とし、光源の位置を推定することによって影の影響を除去することが可能になり、追跡領域の追跡に際して影の影響による追跡の誤りを防止することができる。
【０１０８】
請求項１３の発明は、請求項１の発明において、第２の過程では、複数の画像間で対応する追跡領域を３次元空間にマッピングし、当該追跡領域の境界要素の対応関係から求められる一致度が閾値以上であるときに３次元空間にマッピングした追跡領域を基準領域とし、基準領域に対応する追跡領域と基準領域との境界要素を比較し、境界要素の変化によって追跡領域中で撮像されていない領域を抽出することを特徴とし、画像から得られた対象物の３次元空間での位置を基準領域によって簡易的に再現することにより、対象物の位置関係を比較的容易に検証することができ、撮像されていない領域が生じるか否かを容易に検証することができる。
【０１０９】
請求項１４の発明は、請求項１３の発明において、複数の画像間で境界要素の個数に変化が生じない範囲に限定し、各々の範囲について、マッピング時に得られる寄与率を一致度に用いて寄与率が閾値以上である追跡領域を基準領域の候補とし、基準領域の候補が複数個得られるときには面積が最大になる候補を基準領域として採用することを特徴とし、この技術によって基準領域を求めることにより、対象物の１つの面によりよく対応した基準領域を設定することができるという利点がある。
【０１１０】
請求項１５の発明は、請求項１４の発明において、境界要素の個数の変化は、線要素と点要素との一方に着目しているので、処理量が少なく高速な処理が可能になる。
【０１１１】
請求項１６の発明は、請求項１４の発明において、寄与率は追跡領域を因子分解法により３次元空間にマッピングする際に得られる対角行列の成分から求めるので、因子分解法を用いた線形演算により安定して解を求めることができる。
【０１１２】
請求項１７の発明は、請求項１３の発明において、３次元空間に追跡領域をマッピングするとともに基準領域と比較し、互いに対応しない点要素によって規定される領域を追跡領域中で撮像されていない領域として求めることを特徴とし、請求項１８の発明は、請求項１３の発明において、３次元空間に追跡領域をマッピングするとともに基準領域と比較し、互いに対応しない線要素が存在するときに、この線要素を追跡領域中で撮像されていない領域の一部とみなすことを特徴としており、撮像されていない領域の範囲を容易に求めることができる。
【０１１３】
請求項１９の発明は、請求項１の発明において、第３の過程で、３次元空間内でのすべての基準領域をＴＶカメラの位置により決まる画像面に投影し、画像面内における基準領域同士の位置関係および画像面に対する基準領域の位置関係に基づいて、追跡領域中で撮像されていない領域が生じた原因を判定することを特徴とし、実際の対象物の位置関係を簡易的に再現した基準領域の位置関係によるシミュレーションを行って撮像されていない領域が生じた原因を容易に判定することができる。
【０１１４】
請求項２０の発明は、請求項１９の発明において、着目する基準領域とＴＶカメラとの間に他の基準領域が存在し、かつ両基準領域が接続されていないときに他者隠蔽と判定することを特徴とし、請求項２１の発明は、請求項１９の発明において、着目する基準領域とＴＶカメラとの間に他の基準領域が存在し、かつ両基準領域が接続されているときに自己隠蔽と判定することを特徴とし、請求項２２の発明は、請求項１９の発明において、着目する基準領域が画面の周縁に位置するときにフレームアウトと判定することを特徴としており、それぞれ基準領域同士および画像面との位置関係に基づいて撮像されていない領域が生じた原因を判断することができる。
【０１１５】
請求項２３の発明は、請求項１９の発明において、追跡領域中で撮像されていない領域が存在するときに、エッジ延長を行い、延長されたエッジの交点を新たな点要素として、追跡処理を再度実行し、３次元空間にマッピングする際に寄与率が向上すれば隠蔽と確定することを特徴とし、追跡領域の隠蔽によって追跡が不可能になる状態を回避することができ、追跡領域をより確実に追跡することが可能になる。
【０１１６】
請求項２４の発明は、ＴＶカメラにより撮像された画像入力画像として与える画像入力部と、入力された画像に対して請求項１記載の画像特徴追跡処理方法による処理を施す画像処理装置と、入力された画像および画像処理装置で処理された画像を格納する記憶装置と、画像処理装置での処理画像を表示する表示手段と、画像処理装置に対して追跡領域を指定する領域指定手段とを備えるものであり、請求項１の発明と同様の効果に加えて、ＴＶカメラとして通常のビデオカメラ等により撮像した動画像を用いて３次元情報を容易に得ることができる。
【０１１７】
請求項２５の発明は、対象物を異なる複数位置からＴＶカメラにより撮像して複数の画像を取得した後、前記対象物から選択した面を境界要素で表した追跡領域として画像内に設定し、一つの画像内で設定した追跡領域を他の画像における追跡領域の候補の境界要素に一致するように変形させた変形領域を作成し、前記他の画像における追跡領域の候補と変形領域とについて境界要素を比較することにより追跡領域の候補から前記一つの画像内で設定した追跡領域に対応する追跡領域を選択し、さらに前記対象物の複数の面が撮像されかつ連続して同じ面が撮像されている複数の画像を１つのフェーズ画像群として区切り、次に複数のフェーズ画像について各フェーズ画像群ごとに対象物から選択した面の３次元空間へのマッピングを行うことにより各フェーズ画像群ごとに３次元形状を求め、互いに他のフェーズ画像群の座標系を一致させるように座標変換を行うことによって、３次元データを作成することを特徴とし、動画像（時系列画像）において対象物の同じ面が撮像されている連続した複数の画像をフェーズ画像群とし、フェーズ画像群の範囲内で３次元形状を求めているから、フェーズ画像群の範囲内では各面が自己隠蔽によって追跡できなくなることがなく、３次元形状を確実かつ容易に求めることができる。つまり、従来から知られている因子分解法やステレオ法を適用して３次元形状を求めても不都合が生じない。このようにして個々にフェーズ画像群では、３次元形状を容易に求めることができ、その後、各フェーズ画像群から求めた３次元形状の座標系を一致させるように座標変換を行うことで１つの３次元データにまとめることができるのである。
【０１１８】
請求項２６の発明は、対象物を異なる複数位置からＴＶカメラにより撮像して複数の画像を取得した後、前記対象物から選択した面を境界要素で表した追跡領域として画像内に設定し、一つの画像内で設定した追跡領域を他の画像における追跡領域の候補の境界要素に一致するように変形させた変形領域を作成し、前記他の画像における追跡領域の候補と変形領域とについて境界要素を比較することにより追跡領域の候補から前記一つの画像内で設定した追跡領域に対応する追跡領域を選択し、さらに前記対象物の複数の面が撮像されかつ連続して同じ面が撮像されている複数の画像を１つのフェーズ画像群として区切り、次に複数のフェーズ画像について各フェーズ画像群ごとに対象物から選択した面の３次元空間へのマッピングを行うことにより各フェーズ画像群ごとに３次元形状を求め、互いに他のフェーズ画像群に共通している線要素を重ね合わせるように各フェーズ画像群ごとに得られた３次元形状の座標変換を行うことによって、３次元データを作成することを特徴とし、動画像（時系列画像）において対象物の同じ面が撮像されている連続した複数の画像をフェーズ画像群とし、フェーズ画像群の範囲内で３次元形状を求めているから、フェーズ画像群の範囲内では各面が自己隠蔽によって追跡できなくなることがなく、３次元形状を確実かつ容易に求めることができる。つまり、従来から知られている因子分解法やステレオ法を適用して３次元形状を求めても不都合が生じない。このようにして個々にフェーズ画像群では、３次元形状を容易に求めることができ、その後、各フェーズ画像群から求めた３次元形状の線要素同士を重ね合わせるように座標変換を行うことで１つの３次元データにまとめることができるのである。
【０１１９】
請求項２７の発明は、請求項２５または請求項２６の発明において、前記ＴＶカメラにより撮像して取得した前記複数の画像内で前記対象物から選択した面を、点要素と各点要素を順次接続する有向の線要素とからなる境界要素で表し、時系列で得られる各画像において線要素を辿って各点要素を巡回する向きを監視し、巡回する向きが逆になるまでを１つのフェーズ画像群とすることを特徴とし、フェーズ画像群を区切る処理が自動化可能になる。
【０１２０】
請求項２８の発明は、請求項２５または請求項２６の発明において、前記座標変換では、境界要素ごとに回転および平行移動に関する変換パラメータを求めた後、境界要素ごとに求めた変換パラメータをそれぞれ平均した変換パラメータを用いて座標変換を行うことを特徴とし、座標変換の変換パラメータを平均化することで個々の境界要素から求めた変換パラメータが不一致の場合でも変換パラメータを一意に決定することができる。
【０１２１】
請求項２９の発明は、請求項２５または請求項２６の発明において、座標系を互いに一致させる一方の３次元形状に前記座標変換を施した後の各点要素の位置と他方の３次元形状においてそれぞれ対応する各点要素の位置との中点を、各点要素の位置とすることを特徴とし、座標変換を行ったときに点要素の位置にずれがあっても各点要素の位置を一意に決定することが可能になる。
【図面の簡単な説明】
【図１】本発明の実施形態に用いる装置を示すブロック図である。
【図２】同上においてＴＶカメラにより対象物を撮像する状態を示す斜視図である。
【図３】同上において得られた時系列画像群を示す図である。
【図４】同上における画像の例を示す図である。
【図５】同上における追跡領域の例を示す図である。
【図６】同上における対象物の例を示す図である。
【図７】同上の動作説明図である。
【図８】同上における追跡候補の例を示す図である。
【図９】同上における変形領域の例を示す図である。
【図１０】同上において変形領域を生成する過程を示す図である。
【図１１】同上の動作説明図である。
【図１２】同上におけるテンプレートの例を示す図である。
【図１３】同上における追跡候補の例を示す図である。
【図１４】同上における変形領域の例を示す図である。
【図１５】同上の動作説明図である。
【図１６】同上における追跡領域の例を示す図である。
【図１７】同上の動作説明図である。
【図１８】同上における変形領域の例を示す図である。
【図１９】同上の動作説明図である。
【図２０】同上の動作説明図である。
【図２１】同上の動作説明図である。
【図２２】同上の動作説明図である。
【図２３】同上の動作説明図である。
【図２４】同上の動作説明図である。
【図２５】同上の動作説明図である。
【図２６】同上の動作説明図である。
【図２７】同上において影が生じる例を示す図である。
【図２８】同上の動作説明図である。
【図２９】同上の動作説明図である。
【図３０】同上の動作説明図である。
【図３１】同上の動作説明図である。
【図３２】同上の動作説明図である。
【図３３】同上の動作説明図である。
【図３４】同上の動作説明図である。
【図３５】同上の動作説明図である。
【図３６】同上の動作説明図である。
【図３７】同上の動作説明図である。
【図３８】同上の動作説明図である。
【図３９】同上の動作説明図である。
【図４０】同上の動作説明図である。
【図４１】本発明の第２の実施の形態においてＴＶカメラにより対象物を撮像する状態を示す斜視図である。
【図４２】同上に用いる対象物を示す斜視である。
【図４３】同上に用いる対象物を示す平面図である。
【図４４】同上におけるフェーズ画像群の概念を説明する図である。
【図４５】同上において各フェーズ画像群から３次元形状を得た状態を示す図である。
【図４６】同上において３次元形状を統合した状態を示す図である。
【図４７】同上の動作説明図である。
【図４８】同上の動作説明図である。
【図４９】同上の動作説明図である。
【符号の説明】
１ 対象物
２ ＴＶカメラ
３ 物体
１１ 画像入力装置
１２ 画像入力手段
１３ 記憶装置
１４ 画像処理装置
１５ 表示手段
１６ 領域指定手段
１７ 領域追跡手段
１８ 追跡評価手段
１９ 形状復元手段
Ｄ 追跡領域
Ｅ 変形領域
Ｆ１ 画像ファイル
Ｆ２ 追跡データファイル
Ｆ３ ３次元形状データファイル

Claims (29)

1. 静止している対象物を異なる複数位置からＴＶカメラにより撮像して複数の画像を取得し、前記対象物から選択した面を境界要素と画像特徴量とで表した追跡領域として画像内に設定し、一つの画像内で設定した追跡領域を他の画像における追跡領域の候補の境界要素に一致するように変形させた変形領域を作成し、前記他の画像における追跡領域の候補と変形領域とについて境界要素と画像特徴量との少なくとも一方を比較することにより追跡領域の候補から前記一つの画像内で設定した追跡領域に対応する追跡領域を選択する第１の過程と、ＴＶカメラにより撮像されていない領域が少ない追跡領域を３次元空間にマッピングすることにより得られる基準領域を設定し、画像内において追跡領域の少なくとも一部が追跡できないときに複数の基準領域の３次元空間での位置関係に基づいてＴＶカメラにより撮像できない領域が生じたか否かを判断する第２の過程と、前記基準領域をＴＶカメラの各位置において撮像したときの基準領域の位置関係に基づいて追跡領域をＴＶカメラで撮像できなくなった原因を推定し、推定結果に基づいて追跡領域の追跡が可能となるように修正して追跡を継続させる第３の過程とを備えることを特徴とする画像特徴追跡処理方法。
2. 前記第１の過程において、一つの画像で設定された追跡領域の境界要素について他の画像上で対応する候補を抽出し、境界要素の候補の組み合わせによる追跡候補を生成した後、前記一つの画像で設定した追跡領域を追跡候補に一致するように変形させた変形領域を生成し、追跡候補と変形領域とについて境界要素の形状、画素値、画像特徴量から選択される指標を比較することにより追跡候補の中から前記他の画像における追跡領域を決定することを特徴とする請求項１記載の画像特徴追跡処理方法。
3. 前記他の画像においてエッジを抽出するとともに、エッジのうち前記一つの画像において追跡領域を構成する線要素との距離および方向が規定範囲内であるエッジを線要素の候補として選択することを特徴とする請求項２記載の画像特徴追跡処理方法。
4. 前記他の画像においてエッジを抽出するとともに、エッジ上の各画素にハフ変換を行って連続性を有したエッジを抽出し、このエッジのうち前記一つの画像において追跡領域を構成する線要素との距離および方向が規定範囲内であるエッジを線要素の候補として選択することを特徴とする請求項２記載の画像特徴追跡処理方法。
5. 前記一つの画像において追跡領域を構成する点要素の近傍の形状をテンプレートとし、前記他の画像においてテンプレートにマッチングする部位から点要素の候補を抽出することを特徴とする請求項２記載の画像特徴追跡処理方法。
6. 前記追跡候補と前記変形領域との画素値を前記指標に用いることを特徴とする請求項２記載の画像特徴追跡処理方法。
7. 前記追跡領域と前記追跡候補との平均輝度を前記指標に用いることを特徴とする請求項２記載の画像特徴追跡処理方法。
8. 前記画像はカラー画像であって、前記追跡領域と前記追跡候補との色を前記指標に用いることを特徴とする請求項２記載の画像特徴追跡処理方法。
9. 前記追跡領域と前記追跡候補との空間周波数分布を前記指標に用いることを特徴とする請求項２記載の画像特徴追跡処理方法。
10. 前記追跡領域と前記追跡候補の領域内で画素値の変化が規定値を超える部分を抽出し、この部分の位置、形状、画像特徴の少なくとも１要素を前記指標に用いることを特徴とする請求項２記載の画像特徴追跡処理方法。
11. 前記画像はカラー画像であって、前記追跡領域と前記追跡候補との平均輝度または色を前記指標に用いる場合と、空間周波数分布を前記指標に用いる場合と、領域内で画素値の変化が規定値を超える部分を抽出し、この部分の位置、形状、画像特徴の少なくとも１要素を前記指標に用いる場合とを、前記一方の画像における追跡領域内での輝度および色の分布パターンに応じて選択することを特徴とする請求項２記載の画像特徴追跡処理方法。
12. 複数の追跡領域について複数の画像のうち平均輝度が最大になるときのＴＶカメラの姿勢を各追跡領域に対応した対象物の面の反射光の方向に近いと推定し、各追跡領域に対応した対象物の面の法線方向と反射光の方向とから光源からの照射方向を推定することを特徴とする請求項２記載の画像特徴追跡処理方法。
13. 前記第２の過程において、複数の画像間で対応する追跡領域を３次元空間にマッピングし、当該追跡領域の境界要素の対応関係から求められる一致度が閾値以上であるときに３次元空間にマッピングした追跡領域を基準領域とし、基準領域に対応する追跡領域と基準領域との境界要素を比較し、境界要素の変化によって追跡領域中で撮像されていない領域を抽出することを特徴とする請求項１記載の画像特徴追跡処理方法。
14. 複数の画像間で境界要素の個数に変化が生じない範囲に限定し、各々の範囲について、マッピング時に得られる寄与率を一致度に用いて寄与率が閾値以上である追跡領域を基準領域の候補とし、基準領域の候補が複数個得られるときには面積が最大になる候補を基準領域として採用することを特徴とする請求項１３記載の画像特徴追跡処理方法。
15. 境界要素の個数の変化は、線要素と点要素との一方に着目することを特徴とする請求項１４記載の画像特徴追跡処理方法。
16. 前記寄与率は追跡領域を因子分解法により３次元空間にマッピングする際に得られる対角行列の成分から求めることを特徴とする請求項１４記載の画像特徴追跡処理方法。
17. ３次元空間に追跡領域をマッピングするとともに基準領域と比較し、互いに対応しない点要素によって規定される領域を追跡領域中で撮像されていない領域として求めることを特徴とする請求項１３記載の画像特徴追跡処理方法。
18. ３次元空間に追跡領域をマッピングするとともに基準領域と比較し、互いに対応しない線要素が存在するときに、この線要素を追跡領域中で撮像されていない領域の一部とみなすことを特徴とする請求項１３記載の画像特徴追跡処理方法。
19. 前記第３の過程において、３次元空間内でのすべての基準領域をＴＶカメラの位置により決まる画像面に投影し、画像面内における基準領域同士の位置関係および画像面に対する基準領域の位置関係に基づいて、追跡領域中で撮像されなていない領域が生じた原因を判定することを特徴とする請求項１記載の画像特徴追跡処理方法。
20. 着目する基準領域とＴＶカメラとの間に他の基準領域が存在し、かつ両基準領域が接続されていないときに他者隠蔽と判定することを特徴とする請求項１９記載の画像特徴追跡処理方法。
21. 着目する基準領域とＴＶカメラとの間に他の基準領域が存在し、かつ両基準領域が接続されているときに自己隠蔽と判定することを特徴とする請求項１９記載の画像特徴追跡処理方法。
22. 着目する基準領域が画面の周縁に位置するときにフレームアウトと判定することを特徴とする請求項１９記載の画像特徴追跡処理方法。
23. 追跡領域中で撮像されていない領域が存在するときに、エッジ延長を行い、延長されたエッジの交点を新たな点要素として、追跡処理を再度実行し、３次元空間にマッピングする際に寄与率が向上すれば隠蔽と確定することを特徴とする請求項１９記載の画像特徴追跡処理方法。
24. ＴＶカメラにより撮像された画像入力画像として与える画像入力部と、入力された画像に対して請求項１記載の画像特徴追跡処理方法による処理を施す画像処理装置と、入力された画像および画像処理装置で処理された画像を格納する記憶装置と、画像処理装置での処理画像を表示する表示手段と、画像処理装置に対して追跡領域を指定する領域指定手段とを備えることを特徴とする画像特徴追跡処理装置。
25. 対象物を異なる複数位置からＴＶカメラにより撮像して複数の画像を取得した後、前記対象物から選択した面を境界要素で表した追跡領域として画像内に設定し、一つの画像内で設定した追跡領域を他の画像における追跡領域の候補の境界要素に一致するように変形させた変形領域を作成し、前記他の画像における追跡領域の候補と変形領域とについて境界要素を比較することにより追跡領域の候補から前記一つの画像内で設定した追跡領域に対応する追跡領域を選択し、さらに前記対象物の複数の面が撮像されかつ連続して同じ面が撮像されている複数の画像を１つのフェーズ画像群として区切り、次に複数のフェーズ画像について各フェーズ画像群ごとに対象物から選択した面の３次元空間へのマッピングを行うことにより各フェーズ画像群ごとに３次元形状を求め、互いに他のフェーズ画像群の座標系を一致させるように座標変換を行うことによって、３次元データを作成することを特徴とする３次元データ作成方法。
26. 対象物を異なる複数位置からＴＶカメラにより撮像して複数の画像を取得した後、前記対象物から選択した面を境界要素で表した追跡領域として画像内に設定し、一つの画像内で設定した追跡領域を他の画像における追跡領域の候補の境界要素に一致するように変形させた変形領域を作成し、前記他の画像における追跡領域の候補と変形領域とについて境界要素を比較することにより追跡領域の候補から前記一つの画像内で設定した追跡領域に対応する追跡領域を選択し、さらに前記対象物の複数の面が撮像されかつ連続して同じ面が撮像されている複数の画像を１つのフェーズ画像群として区切り、次に複数のフェーズ画像について各フェーズ画像群ごとに対象物から選択した面の３次元空間へのマッピングを行うことにより各フェーズ画像群ごとに３次元形状を求め、互いに他のフェーズ画像群に共通している線要素を重ね合わせるように各フェーズ画像群ごとに得られた３次元形状の座標変換を行うことによって、３次元データを作成することを特徴とする３次元データ作成方法。
27. 前記ＴＶカメラにより撮像して取得した前記複数の画像内で前記対象物から選択した面を、点要素と各点要素を順次接続する有向の線要素とからなる境界要素で表し、時系列で得られる各画像において線要素を辿って各点要素を巡回する向きを監視し、巡回する向きが逆になるまでを１つのフェーズ画像群とすることを特徴とする請求項２５または請求項２６記載の３次元データ作成方法。
28. 前記座標変換では、境界要素ごとに回転および平行移動に関する変換パラメータを求めた後、境界要素ごとに求めた変換パラメータをそれぞれ平均した変換パラメータを用いて座標変換を行うことを特徴とする請求項２５または請求項２６記載の３次元データ作成方法。
29. 座標系を互いに一致させる一方の３次元形状に前記座標変換を施した後の各点要素の位置と他方の３次元形状においてそれぞれ対応する各点要素の位置との中点を、各点要素の位置とすることを特徴とする請求項２５または請求項２６記載の３次元データ作成方法。

Images