JP2010040037A - ユーザと拡張現実場面との相互作用を実時間で検出する方法及びデバイス - Google Patents

Abstract

【課題】ユーザと拡張現実場面との相互作用を実時間で検出すること。
【解決手段】この相互作用は画像内に存在する物体の外見を修正することによって行われる。初期化段階（１００）において参照モデルが生成（１１０）され，処理（１１５）された後，画像内の物体の姿勢が判定（１３５）され，画像から比較モデルが抽出（１６０）される。参照モデルと比較モデルとが，判定された上記の物体の姿勢によって比較（１７０）され，比較ステップに応答して相互作用が検出される。
【選択図】図１

Description

本発明は，実画像と，拡張現実とも呼ばれる仮想画像との実時間での組合せに関する。より詳細に言えば，実場面と仮想場面との相互作用，すなわち１又は複数のユーザと実場面の物体との相互作用を，特に目印（ｍａｒｋｅｒ）なしでこれらの物体を実時間で自動追跡するシステムを用いる拡張現実アプリケーションによって可能にする方法及びデバイスに関する。

拡張現実の目的は，映像ストリームの画像内に１又は複数の仮想物体を挿入することである。これら仮想物体の位置及び方向は，応用種別に応じて，例えばゲームシナリオから直接得られる座標値など画像によって表される場面の外部データ，又は例えばプレイヤの手のような場面の特定の点の座標値など，当該場面のある要素に結合されたデータ，によって決定される。位置及び方向が，場面のある要素に結合されたデータによって決定されたときは，カメラの動き，又は場面内のこれら要素自体の動き，によってこれらの要素を追跡することが必要である。要素を追跡する演算及び実画像内に仮想物体を組み込む演算は，別個の計算機で実行してもよいし，同一の計算機で実行してもよい。

一連の画像内の要素を追跡する方法はいくつかある。要素追跡アルゴリズムは目標追跡アルゴリズムとも呼ばれ，一般に目印（ｍａｒｋｅｒ）を用いる。目印は目に見えるものでもよいし，無線周波（ＲＦ）手段又は赤外線手段のような別の手段を用いてもよい。あるいは，一連の画像内の特定要素を追跡するために形状認識を用いるアルゴリズムもある。

これらの視覚追跡アルゴリズム又はセンサ追跡アルゴリズムの目的は，物体の姿勢，すなわち位置及び方向を実場面内で特定して物体の幾何学情報を得ること，又は当該物体を撮影しているカメラから，画像解析によって外部的な位置及び方向のパラメータを取得することである。

本出願人は，目印を用いない物体の視覚追跡アルゴリズムを開発した。このアルゴリズムの新規性は，映像ストリーム中の現在の画像と，システム初期化時に自動的に取得したキー画像集合との間で，特定点の対応付けを行うことにある。

しかし拡張現実システムにおいて，ユーザと観察される実場面との相互作用ができない制約があることがよく知られている。このような相互作用性を提供するようにした方法がいくつかあるが，それらは複雑なシステムを用いるものである。

最初の方法は，例えばユーザ，すなわち登場人物の関節に関するセンサを用いるものである。この方法は，特に映画の特殊効果におけるモーションキャプチャ応用に特化されていることが多いが，登場人物，特にその手及び足の空間内位置及び方向を追跡することも可能であり，それによって仮想場面と相互作用可能にすることもできる。しかしこの技法は，場面内に大きなセンサを挿入することが必須であるため高価であり，また更にセンサが特定環境において干渉を受けることもある。

例えばヨーロッパのOCETREプロジェクト及びHOLONICSプロジェクトにおいては，環境及びユーザの空間動作の再構成を実時間で得るために，多カメラ法も用いられている。このような方法の一例が，特に次の文書に記載されている。
T. Rodriquez, A. Cabo de Leon, B. Uzzan, N. Livet, E. Boyer, F. Geffray, T. Balogh, Z. Megyesi, and A. Barsi, Holographic and action capture techniques, SIGGRAPH '07, ACM SIGGRAPH 2007 emerging technologies, August 2007
これらの応用は実場面の幾何学的構成を再現できるが，現在は正確な動きを特定することはできないことに注意されたい。更に，実時間の制約を満たすために，複雑かつ高価なハードウェア構成を使用しなければならない。

ユーザとアプリケーションの相互作用を判定する拡張現実場面を表示するために用いられるタッチスクリーンもある。しかしこれらのタッチスクリーンは高価であり，拡張現実アプリケーションには向いていない。

ビデオゲーム分野では，計算機又はゲーム機に接続されたｗｅｂｃａｍ型カメラによって最初に画像がキャプチャされる。この画像は，通常カメラが接続されたシステムのメモリに記憶される。物体追跡アルゴリズムはｂｌｏｂ追跡アルゴリズムとも呼ばれ，特にオプチカルフローアルゴリズムによって，画像内を移動するユーザのある要素の輪郭を実時間で計算するために用いられる。画像内のこれら形状の位置は，表示画像のある部分を修正又は変形させるために用いられる。この方法は，干渉を２自由度で画像のある範囲に局所化する。

しかしこの方法は主に，カメラの動きについて方法を正確に実行できないため精度に欠け，また前景の動きと背景の動きとの識別ができないため意味論に欠けるという制約がある。更にこの方法は，オプチカルフロー画像解析を用いており，この解析は照明の変化又はノイズに対する耐性がない。

物体追跡システムを用いて，単純な幾何学形状を有する平面シートからなる所定の物体の上にある，例えば手の形状などを検出する方法もある。しかしこの方法は，ノイズ及び照明変化に対してあまり耐性がなく，大きな黒い長方形のような幾何学パターンを含む特定の物体にだけ適用できるという点で限定される。更に遮へい（ｏｃｃｕｌｕｓｉｏｎ）を検出するためには安定器を用いなければならず，このことは検出中にはカメラを大きく動かしてはならないことを意味する。

このように上記の各方法は，多くの応用に必要な性能及び簡潔性を提供しない。したがって，照明と，映像ストリーム内のノイズと，動きとに対する耐性を改善し，特別な目印又はセンサを備えない実環境に適用可能で，同時に受け入れ可能な価格のシステムを提案することが必要である。

本発明は上述の課題のうち少なくとも一つを解決するものである。

このように本発明はユーザと，一連の画像のうち少なくとも一つの画像内の拡張現実場面との少なくとも一つの相互作用を実時間で検出する方法にあり，上記少なくとも一つの相互作用は，上記少なくとも一つの画像内の少なくとも一つの物体の表現（ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）の外見を修正する修正ステップによって得られ，本方法は
初期化段階において
上記少なくとも一つの物体の少なくとも一つの参照モデルを生成する生成ステップと，
上記少なくとも一つの参照モデルを処理する処理ステップと，
を有し，利用段階において
上記少なくとも一つの画像内の上記少なくとも一つの物体の姿勢を判定する判定ステップと，
上記少なくとも一つの物体によって上記少なくとも一つの画像から少なくとも一つの比較モデルを抽出する抽出ステップと，
処理済みの上記少なくとも一つの参照モデルと，上記少なくとも一つの比較モデルとを，上記の判定した姿勢によって比較する比較ステップと，
上記比較ステップに応答して上記少なくとも一つの相互作用を検出する検出ステップと，
を有することを特徴とする。

このように本発明の方法は，ユーザが実時間で拡張現実場面と相互作用することを可能にする。一連の画像を発生するソースと同様に，この相互作用を検出するために用いられる物体は移動してもよい。本発明の方法は処理される画像のパラメータの変動に対して耐性があり，標準ハードウェアによって実行することができる。

上記判定ステップは物体追跡アルゴリズムを用いるのが好ましい。

上記利用段階の各ステップは，上記一連の画像のうち少なくとも２画像に少なくとも１回反復すると有利である。したがって本発明の方法は，一連の画像の各画像において連続的に相互作用を検出する。

本方法は，相互作用検出の品質及び耐性を改善するために，上記比較ステップの結果を再帰処理するステップを更に有することが好ましい。

一特定実施例において，上記処理ステップは上記少なくとも一つの参照モデル内に少なくとも一つの活性範囲を規定するステップを含み，上記方法は上記利用段階で上記比較モデル内の少なくとも一つの活性範囲を判定するステップを更に有し，上記比較ステップは上記活性範囲を基準とする。このように本発明の方法は，各画像の特定範囲の変動を分析し，これらの範囲に応じて種々の動作を関連付ける。

更に一つの特定実施例においては，上記方法が上記少なくとも一つの参照モデルの上記少なくとも一つの活性範囲内で，少なくとも一つの参照点を判定するステップを更に有し，上記比較ステップは上記比較モデルの上記活性範囲内の上記少なくとも一つの参照点を探索するステップを含む。

更に一つの特定実施例においては，上記比較ステップは，上記少なくとも一つの参照モデルの処理したモデルの少なくとも一部と，上記少なくとも一つの比較モデルの少なくとも一部との相関を評価するステップを含む。本発明の方法はこのように，相互作用コマンドに関連する可能性のあるじょう乱を検出するために，参照光景と現在の光景とでの物体の表現の変化を比較する。

更に一つの特定実施例によれば，上記生成ステップは，上記少なくとも一つの物体の表現を平面射影（ｈｏｍｏｇｒａｐｈｉｃ）幾何学変換するステップを含む。このようにして，物体の表現及びその姿勢から直接参照モデルを取得することができる。

更に一つの特定実施例によれば，上記少なくとも一つの比較モデルは上記少なくとも一つの物体の上記姿勢によって決定され，上記抽出ステップは上記少なくとも一つの画像の少なくとも一部を平面射影幾何学変換するステップを含む。このようにして，物体の表現及びその姿勢から比較モデルを取得することができ，該比較モデルは所定の姿勢によって物体を表す参照モデルと同等である。

更に一つの特定実施例によれば，上記決定ステップは，上記参照モデルの少なくとも一つの要素の，少なくとも一つのパラメータの分布を表す，少なくとも一つのガウスモデルを決定するステップを含む。このようにして本発明の方法は，相互作用コマンドに関連する可能性のあるじょう乱を検出するために，参照光景と現在の光景とでの物体の表現の変化を比較する。本発明の方法はしたがって，特に色（ｃｏｌｏｒｉｍｅｔｒｙ）及び照明の変化によるじょう乱に対して耐性がある。

参照モデルの表現と比較モデルの表現との類似性を測定するために，上記比較ステップは，上記参照モデルの少なくとも一つの点に対応する上記比較モデルの上記少なくとも一つの点と，上記参照モデルの上記少なくとも一つの点に関する上記ガウスモデルとの距離の測定値を評価するステップを含むと有利である。

一つの特定実施例によれば，本方法は上記利用段階で上記少なくとも一つの物体の上記姿勢と，３次元幾何学モデル及び付随テキスチャを有する上記参照モデルとによって，上記参照モデルの表現を決定するステップを更に有する。本発明の方法はこのようにして，物体の姿勢によって現在の画像の一部と参照モデルの表現とを比較する。

本方法は，上記検出ステップに応答して少なくとも一つの動作を開始するステップを更に有すると有利である。

一つの特定実施例によれば，上記修正ステップは，上記少なくとも一つの物体と，上記少なくとも一つの画像のソースとの間に，上記少なくとも一つの物体とは異なる，第２物体と呼ぶ物体を配置するステップによって得られる。

更に一つの特定実施例によれば，上記修正ステップは，上記少なくとも一つの物体を修正するステップによって得られる。

本発明はまた，上述の方法の各ステップを実行するようになっている命令を含む計算機プログラムと，上述の方法の各ステップを実行するようになっている手段を備えるデバイスとにある。

本発明のほかの利点，目的及び特徴は，以降の詳細な説明から明らかとなる。この詳細な説明は，付属の図面を参照して非限定的な例によって示される。

本発明の方法を示す図である。 追跡する物体の活性範囲を用いる本発明の方法の第１実施例を示す図である。 参照モデル又は比較モデルと関係する物体を含む画像から，該参照モデル又は比較モデルを決定する例を示す図である。 ３次元物体及び付随テキスチャを含む参照モデルの例を示す図である。 活性範囲集合を含む幾何学物体の参照モデル例を示す図である。 参照モデルの表現を決定する例を示す図である。 参照モデルの表現を決定する例を示す図である。 参照モデルの表現を決定する例を示す図である。 参照モデルの表現の活性範囲と比較モデルの表現の活性範囲とを比較して，活性範囲がじょう乱を受けたかどうかを判定する例を示す図である。 参照モデルの表現の活性範囲と比較モデルの表現の活性範囲とを比較して，活性範囲がじょう乱を受けたかどうかを判定する例を示す図である。 追跡する物体の活性範囲を用いない本発明の方法の第２実施例を示す図である。 物体の修正によって相互作用を検出する本発明の利用例を示す図である。 本発明を少なくとも部分的に実現するデバイスの例を示す図である。

本発明は，幾何学物体を追跡するアルゴリズムと，画像解析アルゴリズムとを組み合わせて，ユーザと拡張現実場面との相互作用を実時間で検出できるようにするものである。このシステムは，カメラの動きと，場面内の物体の動きと，照明変化と，に対して耐性がある。

簡単に言えば，本発明のシステムは一連の画像内の１又は複数の物体を追跡し，画像毎に物体の姿勢を判定することを目的とする。そして物体の実際の姿勢を用い，画像の一部を投影することによって，所定の姿勢をとる物体の表現を取得する。この表現は画像及び所定モデルから生成される。これらの表現とモデルとの比較によって物体の隠された部分が判定され，この隠された部分を用いてユーザと拡張現実場面との相互作用を検出することができる。

図１に本発明の方法を示す。図示のとおり方法は二つの部分を含む。

第１部分１００は初期化段階に対応する。この段階では処理はオフラインで実行，すなわち一連の画像内のユーザと拡張現実場面との相互作用の実時間検出を行う前に実行される。

第２部分１０５は，一連の画像内のユーザと拡張現実場面との相互作用を実時間検出するオンライン処理に対応する。

初期化段階は，必ずしも物体追跡アルゴリズムを用いる必要はない。この段階は，参照モデル１２０を生成及び処理する二つの対応ステップ１１０及び１１５を本質的に含む。

ここで参照モデルは，相互作用を検出するために用いられる物体の幾何学情報及び物体のテキスチャを含む。一般に参照モデルは３次元（３Ｄ）はん用メッシュ問題であり，これは展開済み（ｕｎｒｏｌｌｅｄ）と呼ばれる展開（ｕｎｆｏｌｄｅｄ）画像（ＵＶ ｍａｐ）に関係する。平面物体に関しては，単純な画像で十分である。各物体に少なくとも一つの参照モデルを決定する必要があり，それによって相互作用が検出される。

参照モデル１２０を生成するステップ（ステップ１１０）は，例えば標準２Ｄ／３Ｄ制作ソフトウェア製品によってこれらのモデルを構築するステップにある。これら参照モデルのテキスチャは，カメラからの信号に最も一致するように，一連の画像から抽出した画像によって構成するのが好ましい。

相互作用の検出をより耐性のあるものにするため，何種類かの処理を参照モデルに適用してもよい（ステップ１１５）。

第１の処理は，例えば参照モデル上に視覚的関心を表す活性範囲を規定するステップにある。これらの範囲は，特にＭＭＩ（マンマシンインタフェース）を用いて，３Ｄはん用モデル又は該モデルの２次元（２Ｄ）投影上に直接規定される。活性範囲は特に，２Ｄ又は３Ｄの幾何学形状と，識別情報と，検出しきい値とを含むことができる。このような一例が図２のステップ２１５に示されている。

別の処理は例えば，相互作用の実時間検出段階に影響する可能性がある照明と，影と，ノイズとの変化を十分考慮するために，モデル上のじょう乱を模擬するステップにある。このような一例が図８のステップ８１５に示されている。

このような処理によって参照モデルの特性値１２５が得られる。

後で相互作用を検出するために用いられる比較演算子１３０は，この処理ステップで決定することが好ましい。

ここで相互作用の実時間検出段階１０５は，物体追跡アルゴリズムを利用する必要がある（ステップ１３５）。この種のアルゴリズムは，例えばテキスチャ及び幾何学情報を用いて一連の画像，すなわち映像ストリーム１４０内の物体を追跡する。

この種のアルゴリズムは，各画像，特に現在の画像１４５に対して，画像内に存在する物体の識別子１５０と，これらの物体の位置及び方向に対応する６自由度（６ＤＦ）の姿勢１５５とのリストを決定する。ここでは標準の物体追跡アルゴリズムが用いられる。

検出段階の第２ステップは，一連の画像内で追跡している幾何学物体ごとに，現在の画像１４５内で比較モデルを抽出する（ステップ１６０）ことを目的とする。このステップは特に，追跡アルゴリズムによって得られた物体の位置によって，画像から物体を抽出するステップと，参照モデルの座標系で物体を表現するために，物体に線形変換を適用するステップとにある。

参照モデルが３Ｄはん用モデルを含むときは，第２ステップは更に，物体追跡アルゴリズム及び３Ｄはん用モデルの展開テキスチャによって決定された現在の３Ｄモデルの位置及び方向を用いて参照モデルの投影を決定するステップを含む。ここで比較モデルは符号１６５で参照される。

次のステップは，二つのモデルにおける対応活性範囲の部分集合，又は活性範囲が規定されていないときは二つのモデルすべてについて，参照モデルと比較モデルとを重畳し，比較演算子を用いて比較する（ステップ１７０）。

比較演算子は，じょう乱された活性範囲を判定，すなわち参照モデルと比較モデルとがどの活性範囲で一致しないかを判定する。

別の比較演算子は各モデルの重畳部分を差し引き，例えば絶対値がじょう乱された範囲を判定するための類似性基準となる。

活性範囲が規定されていないとき，この演算子はすべてのモデルに適用してもよい。この場合，活性範囲は実際のところ，すべてのモデルを包含する。

これらのじょう乱された範囲は，じょう乱範囲のリスト１７５に入れられる。

最後に，検出された相互作用に対応する動作を開始する（ステップ１８５）ために，再帰的プログラムステップ（ステップ１８０）がシステムの耐性を向上させる。これらの処理動作は目的とする応用種別に依存する。

例えばこのような処理は，より耐性のあるモデルを抽出するため，じょう乱された活性範囲の探索を改善するため，及び／又はじょう乱された画素によって物体の輪郭を抽出するステップ及び／又はユーザのジェスチャを認識するステップを向上させるために，じょう乱を再帰的に監視するステップにある。

図２に追跡する物体の活性範囲を用いる本発明の方法の第１実施例を示す。ここで活性範囲とは画像の特定範囲であって，その範囲の修正によって，ユーザと拡張現実場面との相互作用を可能にする特定の動作を生じさせるものである。

上述のとおり，本方法は初期化段階に対応する第１部分２００と，一連の画像内のユーザと拡張現実場面との相互作用を実時間検出するオンライン処理に対応する第２部分２０５とを有する。

初期化段階は本質的にステップ２１０及び２１５を含む。ステップ１１０と同様に，ステップ２１０の目的は参照モデル２２０を生成することである。

平面幾何学物体の場合は，追跡する物体の，例えば画像のような２次元表現によって，参照モデルを直接構成することができる。

このような表現が利用できないときは，物体及びその６自由度の姿勢を含む，映像ストリームから抽出した画像を用いて当該物体の表現を投影し，それによって画像から参照モデルを抽出することができる。参照モデルは，３次元幾何学物体に関してもこの方法で取得できることに注意されたい。

一連の画像から得られる画像の点Ｐの座標は，参照モデルに関係する物体の座標系において（ｘ，ｙ，ｚ）であり，当該座標の参照モデルの座標系における変換は次式で定義される。
Ｐ’＝Ｋ．（Ｒ．Ｐ＋Ｔ）
ここで
Ｐ’は点Ｐの参照モデルの座標系における座標であって，Ｐ’の座標は同次２Ｄ座標であり，
Ｒ及びＴはカメラの座標系における物体の姿勢を定義するものであって，参照点に対する回転及び変換に対応し，
Ｋは，画像を取得するための固有パラメータを含む投影マトリクスである。

マトリクスＫは次の形式で書くことができる。

ここで対（ｆｘ，ｆｙ）は画素で表したカメラの焦点を表し，座標（ｃｘ，ｃｙ）はこれも画素で表したカメラの光学中心を表す。

同様な方法で，変換は次の幾何学的関係によって表すことができる。
Ｐ’＝Ｋ．（Ｒ．Ｐ＋Ｒ．Ｒ^ＴＴ）＝Ｋ．Ｒ．（Ｐ＋Ｒ^ＴＴ）

参照モデルが平面を表すときは，参照モデルの点は２次元座標系で定義できる。すなわち，ｚ座標をゼロと見なす。したがってＲ^ＴＴを次の関係

によって置き換えることによって，参照モデルの座標系における点Ｐの座標は，次式で表される。

このようにして平面射影幾何学関係が得られる。物体の座標系で表される点

から始めて，その対応点

は参照モデルの座標系で決定される。

この等式（∝＝）は同次空間で表される，すなわちこの等式はスケーリング係数なしで表される。したがって点Ｐ’は次のベクトル

で表される。

したがって関係する画像内の物体の姿勢から，当該物体を含む画像に適用する平面射影マトリクス（ｈｏｍｏｇｒａｐｈｙ）Ｋ．Ｒ．Ａを取得することができる。

図３に参照モデル又は比較モデルと関係する物体３０５を含む画像３００から，該参照モデル又は比較モデルを決定する例を示す。

図示したとおり，一連の画像から得られる画像３００が，ここではカタログの表紙である物体の参照モデルの表現３１０を決定するために用いられる。符号３１５で参照されるこの物体の姿勢及びサイズは既知であり，表現３１０内で追跡される物体に対応する画像３００の点を投影するために用いられる。画像３００内の物体のサイズ及び姿勢は，ユーザが規定してもよいし，標準物体追跡アルゴリズムを用いて自動的に判定してもよい。

同様に，画像３００’から比較モデル３２０を取得することもでき，画像３００’内の物体のサイズ及び姿勢はここでは標準物体追跡アルゴリズムによって自動的に判定される。

３次元はん用物体の場合，参照モデルを生成する一つの方法は，該物体と実物体に対応する該物体の展開テキスチャとを対応付けることである。

図４に３次元物体４００と，この例ではパターン４１０を含む付随テキスチャ４０５を含む参照モデルの例を示す。テキスチャ４０５の形態は，展開された物体４００によって決定される。

物体４００は，例えば床及び三つの壁からなる部屋の一部を表しており，その中をユーザが移動することができる。

図２に戻ると，このステップ２１５の目的は，追跡される物体の活性範囲２２５を規定することにある。

活性範囲は，参照モデル内で規定される特定の幾何学形状である。活性範囲のパラメータは例えば，形状と，位置と，方向と，画素を単位とするサイズと，識別名称とであって，初期化段階，すなわちアプリケーションを立ち上げる前にユーザによって規定される。これらの範囲だけがじょう乱検知に関係し，ユーザと拡張現実場面との相互作用を承認する１又は複数の動作を開始する。いくつかの活性範囲が重複している範囲があり得る。更に，活性範囲は不連続な表面を表してもよい。すなわち活性範囲自体がいくつかの連結した活性範囲を含む。

活性範囲は，例えばユーザインタフェースを用いて参照モデル内の点を選択することによって規定してもよい。

図５は，活性範囲集合を含む幾何学物体（図示していない）の参照モデル例を示す図である。

ここで上記参照モデルは，表面を規定する，幾何学形状によって特徴付けられた４範囲を含む。したがって参照モデル５００は，点５１０によって規定される活性範囲５０５と，該活性範囲の各辺の長さによって規定される長方形表面５１５と，を含む。また幾何学モデル５００は，点５２５と，短径５３０及び長径５３５とによって規定される楕円表面を表す活性範囲５２０，並びに多角形で表された活性範囲５４０及び５４５を含む。

これらの活性範囲は，参照モデルの座標系で定義されるのが好ましい。３次元モデルの場合，活性範囲は例えばユーザインタフェースツールを用いて面集合を選択することによって，当該モデル自体上に直接定義してもよい。

活性範囲を定義するこのステップで，相互作用を検出するために次に用いられる比較演算子２３０が決定されることが好ましい。

相互作用の実時間検出の段階２０５は，物体追跡アルゴリズムの利用（ステップ２３５）を必要とする。このようなアルゴリズムは，例えばテキスチャ及び幾何学情報を用いて一連の画像，すなわち映像ストリーム２４０内の物体を追跡するために用いられる。

上述のとおり，この種のアルゴリズムは，各画像について，特に現在の画像２４５について，該画像内にある各物体の識別子２５０と，該物体の位置及び方向に対応する６自由度（６ＤＦ）を有する物体の姿勢２５５と，を判定する。

現在の画像２４５から比較モデルを抽出するステップ２６０は，一連の画像内で追跡する各幾何学物体について，追跡アルゴリズムによって判定される姿勢情報を用い，参照モデルの座標系で表すために，追跡物体の表現に幾何学変換を適用する。

参照モデルが平たんな表面であるときは，比較モデルを抽出するステップは，上述し図３に示したとおりの参照モデルを決定するステップに類似している。

参照モデルがはん用３Ｄモデルを含むときは，追跡物体の表現を単に抽出するステップによって，現在の画像から比較モデルを直接取得することができる。しかしこの第２ステップは，追跡アルゴリズムによって判定された追跡物体の位置及び方向と，平面展開テキスチャとを用いて，参照モデルの投影を判定するステップを更に含む。この投影が比較モデルと対比される参照モデルの表現を決定する。

図６ａ〜６ｃは，参照モデルの表現を決定するステップ例を示している。

図６ａは，ユーザがいる実場面６００の透視図である。実際の静的な場面の少なくとも一部が，ここでは参照モデル，すなわち追跡物体に対応する。カメラ６０５は移動可能であり，実場面６００の一連の画像，特に図６ｂに示した画像６１０を撮影する。ここでは画像６１０は，比較モデルの表現と考える。

画像６１０から始めて，追跡アルゴリズムは物体の姿勢を判定することができる。追跡物体は，ここでは実場面の座標系（実場面の環境）で移動しないので，追跡アルゴリズムは実際にはカメラ６０５の姿勢を判定する。あるいは追跡物体が移動していてもよい。

この姿勢と，例えば３次元モデル４００及び付随テキスチャ４０５などの，３次元モデル及び付随テキスチャを含む参照モデルを用い，カメラの姿勢に応じて参照モデルを投影して，図６ｃに示す参照モデルの表現６１５を得る。

一特定実施例において，参照モデルの表現は，３Ｄ描画グラヒックカードの作業用メモリを単に読むことによって得られる。この場合，グラヒックカードは標準モードで使用される。しかし計算される画像は表示のためではなく，じょう乱範囲を判定するための参照モデルの表現として用いられる。

図２では，比較モデルは符号２６５で参照されている。

上述のとおり，次に続くステップで参照モデルと比較モデルとを比較する。ここでは各モデルに対応する活性範囲のすべて又は一部について相関演算子を用いる（ステップ２７０）。

活性範囲における遮へい検出は，各活性範囲における特徴点の時間比較を用いる。これらの特徴点は，例えば参照画像の活性範囲に属するハリス（Ｈａｒｒｉｓ）関心点である。

このようにして各活性範囲は，カメラから見た画像の実品質によって，特徴参照点集合によって特徴付けられる。

類似して映像ストリーム内の実時間で追跡する物体について，関心点を抽出することができる。これらの点は，物体追跡アルゴリズムによって決定できること注意されたい。しかしこれらの点，特にハリス検出器で判定された点は，スケールのいくらかの変更，いくつかのアフィン変換，又は照明の変更に対して耐性がない。したがって，オフラインステップでは参照モデル上で，幾何学変換ステップ後の映像ストリームの各新規画像については比較モデル上で，特徴点を検出するのが有利である。

次に，参照特徴点，すなわち参照モデルの活性範囲の特徴点と，現在の特徴点，すなわち比較モデルの活性範囲の特徴点との対応が判定される。対応を判定するステップには，例えば次に掲げる２基準が用いられる。
・所定のウィンドウについて画素グループの輝度を比較し，そこから類似性測定値を抽出するためのゼロ正規化相互相関（ＺＮＣＣ）演算子
・平面演算子における距離。空間内の物体の姿勢と，既知の参照モデルとの幾何学変換であり，参照特徴点と現在の特徴点との距離を測定することができる。この距離はゼロに近くなければならない。この距離がゼロに近いときは，画素単位差分演算子を用いるのが有利であることに注意されたい。

参照モデルと比較モデルとの一致を探索するステップにおいて，ほかの比較演算子を用いてもよい。例えば，局所ジェット（Ｊｅｔ）タイプ記述子は，映像信号の方向性微分係数又はＳＩＦＴ（尺度不変特徴変換）記述子，若しくはＳＵＲＦ（高速耐性特徴）記述子を用いることによって，関心点を方向によって特徴付ける。これらの演算子は計算時間のがより長いことが多く，一般に各モデルの抽出ステップにおいて生じる幾何学的変動に対してより耐性がある。

遮へい検出は，次の２ステップを含むと有利である。すなわち，現在の画像内の参照関心点に対応する点を探索するステップと，位置探索後に対応関係を検証する任意選択ステップと，である。

点が探索できないとき，又は点の位置が無効のときは，その点について遮へいが生じている。反対に点が探索でき，かつ点の位置が有効であるときは，その点について遮へいは生じていない。

追跡物体の現在の姿勢が完全であり，追跡物体が全く剛体であるときは，Prと記された現在の画像中の参照関心点に対応する点の探索ステップは必要ないことに注意されたい。実際にこの場合は，参照モデルの座標系に再投影された現在の画像は，参照モデルに完全に重畳することになる。そしてZNCC演算子は，遮へいを検出するために点Prについてのウィンドウにだけ用いられる。

しかし物体追跡アルゴリズムは，姿勢計算精度に限度があることが多い。これらの誤差は，例えば追跡物体の変形に関係していることがある。したがって集合Pｒに属する点ｐの平面座標（ｕ，ｖ）は，比較画像内の座標（ｕ＋ｕ_ｅｒｒ，ｖ＋ｖ_ｅｒｒ）によって推定される。

したがって，理想点（ｕ，ｖ）の周囲のウィンドウ内で各点ｐを探索することが推奨される。この探索ステップで，現在の画像内の，点ｐの対応点を信頼性高く探索するためにあまり大きなウィンドウを用いる必要はない（その点が遮へいされていないとき）。それでもなお，性能の点であまりにコストが高い処理を避けると同時に物体追跡アルゴリズムの誤差を考慮するためには，探索ウィンドウは十分大きくなければならない。

探索ステップは，正の相関を示すことがある。すなわち，点が現在の画像に存在しなくても，現在の画像内の参照関心点に対応する点の位置を示すことがある。

このような誤差を避け，位置を検証するために，相関しきい値により厳しい制約がある第２相関計算を各画像内の点の周囲のより大きなウィンドウに適用することが好ましい。相関ウィンドウを大きくすればするほど，相関結果は信頼性が高くなる。

これらの探索ステップ及び検証ステップは，ほかの相関演算子によって実現してもよく，上述の説明は限定的なものではない。

処理の最後に，活性範囲毎に遮へいされていることが検出されたいくつかの関心点が得られる。

活性範囲がじょう乱を受けていると考えられるかどうかを判定するために，当該範囲について，参照関心点の数と，遮へいされていると考えられる参照関心点の数と，の比を用いることができる。

この比の値が所定のしきい値を超えたとき，対応する活性範囲はじょう乱を受けたと考えられる。反対にこの比の値が適用されるしきい値より低いか，等しいときは，対応する活性範囲はじょう乱を受けていないと考えられる。

じょう乱を受けた活性範囲のリスト２７５は，このようにして得られる。

図７ａ及び７ｂは，活性範囲がじょう乱を受けているかどうかを判定するために，参照モデルの表現の活性範囲と，比較モデルの表現の活性範囲とを比較するステップの例である。明りょうにするため，参照モデルの表現を参照画像と呼び，比較モデルの表現を比較画像と呼ぶ。

図７ａに示すとおり，参照画像７００はここでは２関心点７１０及び７１５を含む活性範囲７０５それ自体を含む。

図７ｂに示す比較画像７２０は，同一座標系で輪郭７２５が表されている参照画像と完全には一致しない。このような一致誤差は，特に物体追跡アルゴリズムから生じる。比較画像７２０は，参照画像の活性範囲７０５に対応する活性範囲７３０を含む。参照符号７３５は，参照画像及び比較画像のように，比較活性範囲に対してシフトした参照活性範囲の輪郭を表す。

参照点７１０に対応する点を探索するために，参照点７１０の座標を有する比較画像の活性範囲の点を中心とする探索ウィンドウ７４０が用いられる。この探索ステップを実行すると，点７４５が識別される。点７４５の位置が有効なときは，点７１０において遮へいは生じていない。

類似して参照点７１５に対応する点７５０を見付けるために，参照点７１５の座標を有する比較画像の活性範囲の点を中心とする探索ウィンドウが用いられる。しかしこの探索ステップの実行は，ここでは点７１５に対応する点７５０を特定しない。したがって，この点で遮へいは生じていない。

このように関心点の数を用いて，現在の画像７２０内の活性範囲７０５がじょう乱を受けているかどうか判定することができる。

図２に戻り，じょう乱を受けた活性範囲のリストを決定するステップのあとで，動作を開始する（ステップ２８５）ために再帰処理ステップ（ステップ２８０）が実行される。この処理は，目的とする応用種別に依存する。

この種の応用において，ユーザの手と追跡物体との接触を判定するのは困難であることに注意されたい。第２検証ステップに対応する再帰処理ステップは，したがって好みに応じて次の方法のうち一つを用いて行われる。
・遮へいされた活性範囲を時間軸上のフィルタによって再帰的に検討する。これによって，ユーザが活性範囲に留まっているときは，当該範囲に対する動作の検証となる。
・追跡物体の姿勢のじょう乱についてのしきい値を利用する（物体が例えばテーブル上に置かれていて，固定されていないとき）。ユーザは，必要な活性範囲に圧力を加えて物体をわずかに動かすことによって，自分の選択を確認することができる。
・音響検知器を用いて，ユーザの指と，目的物体の表面との衝突相互作用の雑音を検出する。

より一般的には，活性範囲に対応するデータがフィルタされる。利用するフィルタは特に動きフィルタであってよい（物体が画像内を非常に速く移動するときは，検出を阻止することができる）。また利用するフィルタは，再帰フィルタであってもよく，該フィルタは時間軸上で遮へいの一貫性を検証し，それによってシステムを偽の検出に対してより耐性があるようにするために，各活性範囲について遮へい状態を記憶している。

図８は，本発明の方法の第２実施例を示す図であって，ここでは追跡物体の活性範囲を用いない方法である。しかしそれでもなお，この実施例において活性範囲を用いてもよいことに注意されたい。ここでは参照モデルと比較モデルとの差分演算子が，ユーザと拡張現実場面との相互作用を可能にする特定の動作を検出するために用いられる。このような実施例は，関心点の数が少ない範囲内で遮へいを検出するために用いられる。

上述のとおり，本方法は初期化段階に対応する第１部分８００と，一連の画像においてユーザと拡張現実場面との相互作用を実時間で検出するために，オンラインで実行される処理に対応する第２部分８０５とを含む。

初期化段階は本質的にステップ８１０及び８１５を含む。ステップ８１０は，参照モデル８２０を生成することを目的としており，ここでは図２に説明されているステップ２１０と類似している。

二つの画像間で色の減算のためのアルゴリズムを用いるために，参照モデルは映像信号内に存在する輝度と，影と，ノイズとに対してより耐性があるようにしなければならない。したがってじょう乱は，参照モデルから発生することがある。

参照モデルにおいて発生する変化は例えば，
・画像の姿勢のじょう乱と，
・色のじょう乱と，
・輝度のじょう乱と，
・映像信号に最も関係する，例えば均一ノイズ又はガウスノイズなどのノイズと
である。

ここでトレーニングステップ（ステップ８１５）は，映像信号の成分毎にガウスモデル８２５を生成することを目的とする。このステップは，例えば参照モデル（３次元の場合，これはテキスチャ又はＵＶマップである）を表す画像集合を決定するステップ及び記憶するステップにあり，これらの画像は少なくともいくつかの上述のじょう乱を含んでいる。

ＲＧＢ信号の場合，トレーニングステップは例えば次のとおりである。参照モデルに対応するすべてのじょう乱を受けた画像の画素毎にガウス分布モデルを決定する。このモデルは，Ｒ，Ｇ及びＢ成分毎の中央値（μ）及び標準偏差（σ），すなわち＜μＲ，σ_ＲＲ＞，＜μＧ，σ_ＧＧ＞，＜μＢ，σ_ＢＢ＞からなる。

ノイズ又は使用する追跡アルゴリズムに関連した姿勢推定誤差に対する耐性を改善するため，ｋガウスモデルを構築することも均等に可能である。画像の画素が，構築した平均からかけ離れているときは，新規ガウスモデルが追加される。したがって成分Ｒ，Ｇ及びＢ毎にガウスモデル集合，すなわち［＜μＲ１，σ_ＲＲ１＞，・・・＜μＲｎ，σ_ＲＲｎ＞］，［＜μＧ１，σ_ＧＧ１＞，・・・＜μＧｎ，σ_ＧＧｎ＞］，［＜μＧ１，σ_ＧＧ１＞，・・・＜μＢｎ，σ_ＢＢｎ＞］が決定される。

相互作用を検出するため，その後に使用される比較演算子８３０は，参照モデルをトレーニングするステップ中に決定するのが好ましい。

ステップ８４０〜８５５は，現在の画像を生成し，該画像内で追跡される物体の姿勢はステップ２４０〜２５５と同一である。

同様に比較モデル８６５を抽出するステップ８６０は，比較モデル２６５を取得するステップ２６０に類似している。

参照モデルと比較モデルとを比較するステップ８７０は，例えば次の演算子を適用するステップにある。
・次の式によって成分（Ｒ，Ｇ＜Ｂ）を有するガウスモデルと現在の画素とのマハラノビス距離を決定するステップ。

・計算したマハラノビス距離（ｖ）が所定のしきい値以上であるか，現在の画像の色によって計算されるとき，画素は前景に属する，すなわち参照モデルに属さないと記される。
・上記条件が否のとき，画素は背景に属する，すなわち参照モデルに属すると記される。

このステップに従って，背景に属さない，すなわち参照モデルに属さない画素のマップ８７５が得られる。この方法で得られたマップはじょう乱を受けた画素を表す。

同じ方法で，次式によって決定される現在の各画素とｋガウスモデルのそれぞれとのマハラノビス距離を決定することができる。

重みｗｉは，これらｋガウスモデルのそれぞれに関係し，この重みは発生頻度によって決定される。したがってこれらの分布から確率を計算し，そこからじょう乱を受けた画素を表すマップを推論することができる。これらのｋガウスモデルは，上述のようにトレーニング段階で最初に構築し，現在の画像内のじょう乱により良く適応するように定常状態段階で更新するのが有利である。

同じ方法で，遮へいに対してより耐性のあるマップを得るために，隣接画素グループとして画素を処理することができる。

じょう乱を受けた画素のマップを再帰的に記憶し（ステップ８８０），数学的変形（ｍｏｒｐｈｏｌｏｇｙ）演算子を適用してパケット内の画素グループを抽出することができる。単純な再帰演算子は，孤立画素を除去するために，二つの連続するじょう乱画素マップに“ａｎｄ”アルゴリズムを用いる。拡張，侵食，囲い込みのようなほかの標準演算子，又は結合（ｃｏｎｎｅｘ）成分分析演算子をこの処理に均等に加えてもよい。

その後，輪郭抽出アルゴリズムを用いてデータベース内の所定の輪郭と比較し，そしてジェスチャによるコマンドを識別し，対応する動作を開始することができる（ステップ８８５）。

ここで，上述の第１実施例と第２実施例とを結合してもよく，いくつかの参照モデル又は参照モデルのいくつかの部分は第１実施例によって処理し，ほかは第２実施例によって処理してもよい。

第１利用例において，本方法はユーザが平面実物体と相互作用することを可能にする。これらの物体は可視又は非可視のターゲット集合を含み，該ターゲット集合は活性範囲に対応する可能性があり，一つの動作又は複数の動作集合と関係し，該動作は拡張現実場面に影響を与えることができる。いくつかの平たん物体モデルが利用でき，本方法は映像ストリーム内にどの１又は複数の追跡物体があるかを特定する追加認識ステップを含むことに注意されたい。それらが特定され，その姿勢が判定されたとき，これらの物体は例えば種々の自動車デザインが現れるようにできる。そして各物体のターゲットを指差して，ドア又は屋根を開けたり，表示されている自動車の色を変えるようなアニメーションを開始したりすることができる。

同じ利用法において，専用の音響視覚環境を用いてユーザがパズルを解くことができるパズルアプリケーションが可能になる。このパズルは，ユーザが選択範囲を遮へいすることによって答えなければならないクイズの形態をとることも均等に可能である。

さらに同じ利用法において，ＧＵＩ（グラヒックユーザインタフェース）型アプリケーションを制御して，ソフトウェアアプリケーション内を人間工学的に（ｅｒｇｏｎｏｍｉｃａｌｌｙ）閲覧することができる。

顔追跡アプリケーションの場合，ユーザが手をこめかみの上に通過させたとき仮想眼鏡を加えたり，ほほを覆ったときメークアップを加えたりすることができる。

例えば剛物体のような良い品質の物体追跡の場合，この種の利用アルゴリズムでは通常必要な手動トレーニング段階なしに背景減算へ進むことができる。更に上述の方法を用いることによって，ユーザが背景から分離し，同時にカメラの動きに対して十分耐性を持たせることができる。この方法を相関演算子を用いる方法と組み合わせることによって，高速の照明変化に対して耐性のある方法も得ることができる。

図９に第２利用例を示す。ここでは相互作用検出が，単に追跡物体を少なくとも部分的に隠す外部物体があることではなく，追跡物体の修正と結びついている。ここで示す例は，子供の本に適用される拡張現実シナリオを目的としている。その本は，タブを引っ張ることによって子供が本の内容と相互作用でき，それによって物語を先に進めることができるものである。

このタブ付きの本９００は，イラストが描かれているページ９０５を含む。ここでページ９０５は三つの窓９１０−１，９１０−２及び９１０−３を含み，移動するひも９１５−１及び９１５−２の上に表示されているパターンを見ることができる。用いられているパターンはひもの位置によって異なる。ページ９０５は通常部分的に接合されている２枚のシートからなるシート自体に属し，その２枚のシートの間をひも９１５−１及び９１５−２がスライドし，ひもの一方の端，すなわちタブがシートの周囲から突出している。

例えば，ひも９１５−１が第１位置にあるときは窓９１０−１に月の表現が見え，このひもが第２位置にあるときは太陽の表現が見えるように（図示のとおり）することができる。

これらの窓９１０−１〜９１０−３を活性範囲と考えてもよく，これがじょう乱を受けると相互作用が起きる。したがって，本９００のタブを操作することによって，活性範囲のパターンが修正され，動作が開始される。

活性範囲において特定されるパターンに応じて実行する動作を特定するために，形状認識アルゴリズムを用いることができる。

上述の原理によれば，これらの活性範囲を隠すことによっても均等に動作が実行される。

最後に，本発明の方法は，拡張現実シナリオを実現するために３Ｄ空間内で合成物体を移動させ配置することを目的としたアプリケーションにも均等に供せられる。

本発明又は本発明の一部を実現するデバイスを図１０に示す。デバイス１０００は，例えばマイクロコンピュータ，ワークステーション又はゲーム機である。

デバイス１０００は，次の部分に接続されている通信バス１００２を含むことが好ましい。
・中央処理装置（ＣＰＵ）又はマイクロプロセッサ１００４
・オペレーティングシステム及び“Ｐｒｏｇ”のようなプログラムを含むことができる読み出し専用メモリ（ＲＯＭ）１００６
・上述のプログラムの実行中に生成及び修正される変数及びパラメータを記憶するようになっているレジスタを含むランダムアクセスメモリ（ＲＡＭ）又はキャッシュメモリ１００８
・カメラ１０１２に接続された映像取得カード１０１０
・スクリーン又はプロジェクタ１０１８に接続されたグラヒックカード１０１６

デバイス１０００は，任意選択で次のアイテムを更に備えてもよい。
・上述のプログラム“Ｐｒｏｇ”と，本発明によって処理された，又は処理されるデータを含むハードディスク１０２０
・キーボード１０２２及びマウス１０２４，又はユーザが本発明のプログラムと対話できるようにする光学ペン，タッチスクリーン，若しくはリモコンのような任意のほかの指示デバイス
・データを送受信できる例えばインターネットなどの分散通信網１０２８に接続された通信インタフェース１０２６
・センサ（図示していない）に接続したデータ取得カード１０１４
・本発明によって処理された，又は処理するカード内のデータを読み書きするようになっているメモリカードリーダ（図示していない）

通信バスは，デバイス１０００に含まれるか，接続されている種々の要素間の通信及び相互運用性を提供する。バスの動作は限定的ではなく，特に中央処理装置はデバイス１０００の任意の要素へ直接，又はデバイス１０００の別の要素を介して，命令を送信することができる。

本発明の方法をプログラム可能デバイスに実行させることができる各プログラムの実行時コードは，例えばハードディスク１０２０又は読み出し専用メモリ１００６に記憶させることができる。

別の実施例においては，プログラムの実行時コードはインタフェース１０２６を介して通信網１０２８から受信することができ，上記と同様に記憶される。

メモリカードは，例えばコンパクトディスク（ＣＤ−ＲＯＭ又はＤＶＤ）のような任意の情報媒体で置き換え可能である。メモリカードは，一般に，デバイスに組み込まれているか，組み込まれていない，恐らくは着脱可能の，本発明の方法を実行する１又は複数のプログラムを記憶するようになっている計算機又はマイクロプロセッサによって可読の情報記憶手段で置き換えることができる。

更に一般的には，１又は複数のプログラムは実行する前にデバイス１０００の複数の記憶手段の一つにロードしてもよい。

中央処理装置１００４は，本発明の１又は複数のプログラムの命令又はソフトウェアコード部分の実行を制御及び指示する。この命令は，ハードディスク１０２０，読み出し専用メモリ１００６，又は上記のほかの記憶要素に記憶される。電源投入時，例えばハードディスク１０２０又は読み出し専用メモリ１００６などの不揮発性メモリに記憶された１又は複数のプログラムは，本発明の１又は複数のプログラムの実行時コードを含むことになるランダムアクセスメモリ１００８に転送されると共に，本発明を利用するために必要な変数及びパラメータを記憶するレジスタにも転送される。

グラヒックカード１０１６は，特に３次元モデル及びテキスチャ情報から２次元表現を決定するようになっている３Ｄ描画グラヒックカードであることが好ましい。この２次元表現はメモリ内で利用できればよく，必ずしも表示されなくてもよい。

特定の要求条件を満たすため，本発明分野の当業者は当然に上述の説明に修正を加えてもよい。

１００ 第１部分
１０５ 第２部分
２００ 第１部分
２０５ 第２部分
３００ 画像
３０５ 物体
３１０ 参照モデルの表現
５０５ 活性範囲
５４０ 活性範囲
５４５ 活性範囲
８００ 第１部分
８０５ 第２部分
９１０−１ 窓
９１５−１ ひも
１０００ デバイス
１００４ 中央処理装置
１００６ 読み出し専用メモリ
１００８ ランダムアクセスメモリ
１０１０ 映像取得カード
１０１２ カメラ
１０１６ グラヒックカード
１０１８ スクリーン／プロジェクタ
１０２０ ハードディスク
１０２６ 通信インタフェース
１０２８ 網

Claims (18)

1. ユーザと，一連の画像のうち少なくとも一つの画像内の拡張現実場面との少なくとも一つの相互作用を実時間で検出する方法であって，前記少なくとも一つの相互作用は，前記少なくとも一つの画像内の少なくとも一つの物体の表現の外見を修正する修正ステップによって得られ，
   初期化段階（１００，２００，８００）において
   前記少なくとも一つの物体の少なくとも一つの参照モデルを生成する生成ステップ（１１０，２１０，８１０）と，
   前記少なくとも一つの参照モデルを処理する処理ステップ（１１５，２１５，８１５）と，
   を有し，利用段階において
   前記少なくとも一つの画像内の前記少なくとも一つの物体の姿勢を判定する判定ステップ（１３５，２３５，８３５）と，
   前記少なくとも一つの物体によって前記少なくとも一つの画像から少なくとも一つの比較モデルを抽出する抽出ステップ（１６０，２６０，８６０）と，
   処理済みの前記少なくとも一つの参照モデルと，前記少なくとも一つの比較モデルとを，前記の判定した姿勢によって比較する比較ステップ（１７０，２７０，８７０）と，
   前記比較ステップに応答して前記少なくとも一つの相互作用を検出する検出ステップと，
   を有することを特徴とする方法。
2. 前記判定ステップは物体追跡アルゴリズムを用いる請求項１に記載の方法。
3. 前記利用段階の各ステップを，前記一連の画像のうち少なくとも２画像に少なくとも１回反復する請求項１又は２に記載の方法。
4. 前記比較ステップの結果を再帰処理するステップ（１８０，２８０，８８０）を更に有する請求項１〜３のいずれか１項に記載の方法。
5. 前記処理ステップは前記少なくとも一つの参照モデル内に少なくとも一つの活性範囲を規定するステップ（２１５）を含み，前記方法は前記利用段階で前記比較モデル内の少なくとも一つの活性範囲を判定するステップを更に有し，前記比較ステップは前記活性範囲を基準とする請求項１〜４のいずれか１項に記載の方法。
6. 前記少なくとも一つの参照モデルの前記少なくとも一つの活性範囲内で，少なくとも一つの参照点を判定するステップを更に有し，前記比較ステップは前記比較モデルの前記活性範囲内の前記少なくとも一つの参照点を探索するステップを含む請求項１〜５のいずれか１項に記載の方法。
7. 前記比較ステップは，前記少なくとも一つの参照モデルの処理したモデルの少なくとも一部と，前記少なくとも一つの比較モデルの少なくとも一部との相関を評価するステップを含む請求項１〜６のいずれか１項に記載の方法。
8. 前記比較ステップは，前記少なくとも一つの比較モデルの少なくとも一部と，処理済みの前記少なくとも一つの参照モデルの少なくとも一部との差を評価するステップを含む請求項１〜６のいずれか１項に記載の方法。
9. 前記生成ステップは，前記少なくとも一つの物体の表現を平面射影幾何学変換するステップを含む請求項１〜８のいずれか１項に記載の方法。
10. 前記少なくとも一つの比較モデルは前記少なくとも一つの物体の前記姿勢によって決定され，前記抽出ステップは前記少なくとも一つの画像の少なくとも一部を平面射影幾何学変換するステップを含む請求項１〜９のいずれか１項に記載の方法。
11. 前記生成ステップは，前記参照モデルの少なくとも一つの要素の，少なくとも一つのパラメータの分布を表す，少なくとも一つのガウスモデルを決定するステップを含む請求項１〜１０のいずれか１項に記載の方法。
12. 前記比較ステップは，前記参照モデルの少なくとも一つの点に対応する前記比較モデルの前記少なくとも一つの点と，前記参照モデルの前記少なくとも一つの点に関する前記ガウスモデルとの距離の測定値を評価するステップを含む請求項１〜１１のいずれか１項に記載の方法。
13. 前記参照モデルは３次元幾何学モデル及び付随テキスチャを含み，前記方法は前記利用段階で前記少なくとも一つの物体の前記姿勢と，前記幾何学モデル及び前記テキスチャとによって，前記参照モデルの表現を決定するステップを更に有する請求項１〜９のいずれか１項に記載の方法。
14. 前記検出ステップに応答して，少なくとも一つの動作を開始するステップを更に有する請求項１〜１３のいずれか１項に記載の方法。
15. 前記修正ステップは，前記少なくとも一つの物体と，前記少なくとも一つの画像のソースとの間に，前記少なくとも一つの物体とは異なる，第２物体と呼ぶ物体を配置するステップによって得られる請求項１〜１４のいずれか１項に記載の方法。
16. 前記修正ステップは，前記少なくとも一つの物体を修正するステップによって得られる請求項１〜１５のいずれか１項に記載の方法。
17. 請求項１〜１６のいずれか１項に記載の方法の各ステップを実行するようになっている命令を含む計算機プログラム。
18. 請求項１〜１６のいずれか１項に記載の方法の各ステップを実行するようになっている手段を備えるデバイス。

Images