JP2010517129A - ビデオストリームにおいて、マーク無しに、テクスチャー化平面幾何学的オブジェクトをリアルタイムで自動追跡するリアリティ向上方法および装置 - Google Patents

Abstract

本発明は、リアリティ向上アプリケーションのために、少なくとも１のビデオストリームの少なくとも２つの画像における実シーンの１又は複数のほぼ平らな幾何学的オブジェクトをリアルタイムで追跡するための方法および装置を対象としている。
ビデオストリームの第１画像を受信した後で（300）、追跡すべきオブジェクトを含む第１画像、前記第１画像における該オブジェクトの位置・方向が、予め決められている複数の画像ブロックから決定される（320）。複数の画像ブロックの各画像ブロックは、追跡すべきオブジェクトの姿勢に関係している。“第１画像”及び“前記第１画像における追跡すべきオブジェクトの位置・方向”は、キー画像を形成する。ビデオストリームの第２画像を受信すると、第２画像における追跡すべき画像の位置・方向は、キー画像から計算される（330）。前記“第２画像”および前記“追跡すべき画像の位置・方向”はキー画像としてメモリに記憶されることができる。
もし追跡すべきオブジェクトの位置・方向がキー画像からの第２画像の中で見つからない場合は、第２画像におけるこのオブジェクトの位置・方向は、複数の画像ブロック及び関係する姿勢から決定される。（320）
【選択図】図３

Description

本発明は、現実の画像（images reelles：実画像という）と仮想画像との組合せに関するもので、リアリティ向上技術に関する。具体的には、ビデオストリーム（flux video）において、マーク無しに、幾何学的オブジェクトをリアルタイムで自動追跡を使うリアリティ向上の方法と装置である。

リアリティ向上技術は、１又は複数の仮想オブジェクトを１のビデオストリームに挿入することを対象にしている。このタイプのアプリケーションによれば、これら仮想オブジェクトの位置・方向は、このシーンの（複数）構成要素（elements）に関連するデータ（例えば、ゲーマー（joueur）の手のようなシーンの特定の点の座標）、又は、画像によって表現されるシーンにおける外部データ（例えば、ゲームのシナリオから直接決まるデータ）によって決定される。
位置・方向が現実のシーン（scene reelle：実シーンという）の（複数）構成要素に関係するデータにより決まるとき、カメラの動き又は前記シーンにおけるこれら構成要素自身の動きに応じてこれら要素を追跡することが必要になる。構成要素追跡操作及び（複数）実画像への仮想オブジェクトの合成（incrustation）操作は、個別のコンピュータ又は同一のコンピュータによって実行される。

画像ストリームにおいて構成要素を追跡するには、複数の方法がある。一般的に、構成要素の追跡アルゴリズム（基準フレーム追跡アルゴリズムともいう）には、観察のためのマーカー、又は無線周波数又は赤外線を使う方法のような別の方法が使われる。別の方法として、画像ストリームにおける特定の構成要素を追跡する所定のアルゴリズムは、形状認識方法を使っている。

ローザンヌ連邦ポリテクニークは、マーカーを使わない視覚追跡アルゴリズムを開発した。そのオリジナリティは、システムの初期化時に得られるキー画像（image cle：キーフレームともいう）を持つビデオストリームの現画像（image courante）とキー画像（視覚追跡の実行の間にアップデートされるキー画像）との間の特定の点（複数）のパターンマッチング（appariement）にある。

この視覚追跡アルゴリズムの対象は、実シーンにおける姿勢（pose：つまり、３次元網目模様（maillage）が使えるオブジェクトの位置・方向）を見つけること、又は、画像解析を使って、この静止オブジェクトを撮影するカメラの位置・方向の外的パラメータ（parametres extrinseques）を見つけることである。

現在のビデオ画像（image video courante）は、登録されている１又は複数のキー画像と比較され、これら画像ペアとの間の対応数を見つけて、オブジェクトの姿勢が推定される。この目的で、キー画像は２つの構成要素から構成されている：２つの構成要素とは、ビデオストリームから得られる画像、及び、この画像に属する実オブジェクト（objet reel）の姿勢（方向・位置）である。
オンラインのキー画像とオフラインのキー画像とを区別することが望ましい。オフラインの画像とは、追跡オブジェクトが、マウスのようなポインティング装置又はDoepfer社 が発売しているPocket Dialのような制御装置を使って、マニュアルでオブジェクトが配置されるビデオストリームから抽出された画像である。オフラインのキー画像は、複数画像における同一オブジェクトの姿勢を特徴とすることが好ましい。それらは生成され、オフラインで登録される。即ち、アプリケーションの定常状態ではない。オンラインのキー画像は追跡プログラムの実行中に、動的に記憶される。誤差（特徴点（points d'interets）の(複数)マッチングの間の距離）が小さいときに、オンラインのキー画像が計算される。オンラインキー画像はオフラインキー画像に取って代わり、アプリケーションを開始する。それらを利用する目的はズレ（変動ともいう）を削減することである。それは、人がカメラとオブジェクトとの最初の相対位置から大きく離れたときに問題になる。オンラインの新しいキー画像の学習は、結果として、外部の輝度の変動及びカメラのカロリメトリックな変動に関してアプリケーションを安定にする。しかしながら、それらは、時間が経つにつれ、オブジェトの姿勢に《振動》が入るという欠点がある。オンラインの新しいキー画像を学習するときに、新しいキー画像は、先行するキー画像（オンライン又はオフラインの）に取って代わり、現キー画像として使われる。

各キー画像（オンライン又はオフライン）は、 ‘オブジェクトが存在する画像’及び‘姿勢’を含む。これは、オブジェクト及び所定数の特徴点（points d'interets：画像におけるオブジェクトを特徴付ける点）の場所を特徴づけるためである。例えば、（複数）特徴点はHarris点の検出装置から形成され、その位置の“画像における方向性gradient値”は大きいものとして表される。

アプリケーションを開始する前に、１又は複数のオフラインキー画像を決めておく必要がある。一般的に、ビデオストリームから抽出された画像が重要である。それら画像は、追跡すべきオブジェクトを含んでいる。又、そのオブジェクトの３次元モデルの位置・方向がそれら画像に関係している。このために、オペレータは、実オブジェクトにワイアモデル（modele filaire）を視覚的に対応させる。マニュアルでの準備段階で、ビデオストリームから抽出される画像におけるオブジェクトの姿勢の第１推定を行う。これは、追跡オブジェクトに関係するオブジェクトに関係付けられた基準フレーム（repere）からカメラに関係付けられた基準フレームへ移行する場合の、最初のアフィン変換マトリクスＴ_P→Cを形成することに等しい。前記最初のアフィン変換は、オブジェクトの最初の位置（例えば、表示装置の中心）に関する第１変換Ｔ_O→C（即ち、カメラの基準フレーム及びオブジェクトの基準フレームとの間の基準フレームの変更に関係する変換である）、及び、表示画面の中心における初期位置からのキー画像上のオブジェクトが存在する方向・位置へのオブジェクトの移動および回転に関する第２変換Ｔ_P→Oに分解することができる。即ち、
Ｔ_P→C＝Ｔ_O→C・Ｔ_P→C
仮に、オブジェクトが画像の中心における初期位置からキー画像のその位置へ移動するとき、値α、β、γが、その移動に対応するならば、又、値θ、φ、ψが、画像の中心における初期位置からキー画像の位置へのオブジェクトの回転（ｘ、ｙ、ｚ軸に基づく）に対応するならば、変換Ｔ_P→Oは次のマトリックスの形で表現される。

このモデルを使って、オブジェクトの基準フレームにおいて表現されている３次元モデルの(複数)点の座標と、カメラの基準フレームにおけるこれら点の座標との間の関係を確立することができる。

アプリケーション開始時に、オフラインキー画像が処理され、アプリケーション開始時に選択されたパラメータに応じて特徴点が定められる。これらパラメータは、アプリケーションのタイプ毎に経験に基づいて特定され、パターンマッチングの検出のコアを変更し（moduler le noyau de detection d'appariement）、実環境の特徴に基づいて、オブジェクトの姿勢推定について、よりよい品質を得ることができる。次に、現画像における実オブジェクトが、オフラインキー画像の内の１つにおける同一オブジェクトの姿勢に近い姿勢であるとき、パターンマッチングの数は大きくなる。従って、実オブジェクトにオブジェクトの３次元仮想モデルを固定するアフィン変換を見つけることができる。

このような対応が見つかったとき、アルゴリズムは定常状態（regime permanent）になる。オブジェクトの動きは各フレーム毎に追跡される。ズレが起こる可能性があるが、ズレは、開始時に保存されたオフラインキー画像及びアプリケーション実行時に計算されたオンラインキー画像に含まれている情報を使って、補償される。

追跡アプリケーションは２タイプのアルゴリズムの結合からなる。即ち、特徴点の検出（例えば、Harris点の検出の修正バージョン）、及び、平面画像に対する３次元モデル上に位置する特徴点の再投影技術である。この再投影により一つのフレームから別のフレームへの空間変換の結果を推定することができる。これら２つを結合するアルゴリズムは自由度６に基づくオブジェクトの安定的追跡を可能にする。

一般的には、画像の点ｐは、実シーンの一点ｐの投影である。
即ち、ｐ〜Ｐ₁・Ｐ_E・Ｔ_P→C・Ｐ
但し、Ｐ₁はカメラのイントリジックなパラメータのマトリックスである。
つまり、その焦点、画像の中心である。Ｐ_Eはカメラのエクストリンジックなマトリックスである。つまり、実空間におけるカメラの位置である。又、Ｔ_P→Cは、追跡オブジェクトに関係する基準フレームからカメラに付けられている基準フレームへの通過マトリックスである。ここでは、カメラに関係する位置に対するオブジェクトの位置だけが検討されるが、これは実シーンの基準フレームをカメラの光学中心のレベルに合わせることに等しい。従って、次式が成り立つ。
ｐ〜Ｐ₁・Ｔ_P→C・Ｐ
マトリックスＰ₁は既知である。従って、追跡で重要なことは、Ｔ_P→Cを決めることである。即ち、カメラの基準フレームに対する、オブジェクトの位置・方向である。

しかしながら、エラーが大きくなったときに、即ち、現キー画像と現画像との間のパターンマッチングの数が極めて小さくなったときに、追跡は中止され（オブジェクトのポーアの推定は十分均一的ではないと見なされる）、新たに開始することが必要であるという点に留意すべきである。

オブジェクトの姿勢は、ビデオストリームから出力される現画像の特徴点、現キー画像の特徴点、及びビデオストリームから出力される前の画像の特徴点との間の対応関係に基づいて推定される。これら操作段階は、パターンマッチングの段階と呼ばれる。より重要な相関関係から、ソフトウェアを使って、観測事象に対応して、オブジェクトの姿勢が計算される。

図１及び２は、この追跡アプリケーションを示す。

別の例として、オフラインキー画像を生成するときに、オブジェクトの姿勢は特徴点の構成に基づいて決められる。そのために、(複数)特徴点の上の集中される画像ブロック(複数)は、(複数)アフィン変換又は(複数)ホモグラフィック変形（deformations homographiques）に基づいてオフラインキー画像から生成される。これら画像ブロック及び変換後に得られた画像ブロックはパッチ（patches）と呼ばれる。パッチは、ここでは、“特徴点を含み、対応するオブジェクトの姿勢が関係する画像ブロック”として定義される。各パッチの姿勢が前記変換に基づいて計算されて、対応する画像ブロックが得られる。

パッチは決定ツリーに基づいて準備され、追跡アプリケーションが実行される間の計算時間が制限されることが好ましい。オブジェクト追跡アプリケーションを使って、ビデオストリームからの各画像の特徴点（複数）を決め、該特徴点を画像ブロックの中心にし、該画像ブロックと予め生成されるパッチ（複数）とを比較し、画像におけるオブジェクトの姿勢を決めることが好ましい。しかしながら、この解決法は、時間が経つにつれ、オブジェクトの姿勢に《振動》をもたらす。

リアリティ向上アプリケーションに対するオブジェクト追跡法の提案が、研究からもたらされているが、コマーシャルシステムを実施する場合の制約については考えられていない。特に、安定性、マニュアルでの開始段階を必要としないアプリケーションを迅速に開始する可能性、《中止》（decrochage）タイプのエラー検出（追跡オブジェクトが消滅したとき）及び、エラー後の自動的リアルタイムの再開に関する問題は、しばしば無視されている。

本発明は、これまでに説明した問題の少なくとも１つを解決するものである。

本発明は、リアリティ向上アプリケーションにおける、少なくとも１のビデオストリームがほぼ連続している、少なくとも２つの画像における実シーンの少なくとも１のほぼ平らな幾何学的オブジェクトをリアルタイムで追跡するための方法を対象としている。本方法は次のステップを含む点に特徴を有している。

−前記少なくとも１のビデオストリームの第１画像を受信するステップ；
前記第１画像は、前記少なくとも追跡すべきオブジェクトを含む。
−予め決められている複数の画像ブロックからの前記第１画像における前記少なくとも１の追跡すべきオブジェクトの位置・方向を決定するステップ；
複数の画像ブロックの各画像ブロックは、少なくとも１の追跡すべきオブジェクトからの姿勢に関係している。また、前記第１画像、及び、前記第１画像における少なくとも１の追跡すべきオブジェクトの位置・方向はキー画像とよばれる。
−少なくとも１のビデオストリームの第２画像を受信するステップ；
前記第２画像は少なくとも１の追跡すべきオブジェクトを含む。
−前記キー画像から、第２画像において少なくとも１の追跡すべきオブジェクトの位置・方向を算出（evaluation）するステップ。

本発明による方法によると、マーカーを使わず、ビデオストリームにおいて、テキスチャー化された平面的幾何学的オブジェクトの自動追跡を使って、リアルタイムに、リアリティ向上アプリケーションを自動的に開始することができる。この方法を使うと、中止の場合、即ち、追跡すべきオブジェクトが失われたときに、アプリケーションを再開することができる。

特別な実施例において、“画像を受信するステップ”および“前記受信画像における少なくとも１の追跡すべきオブジェクトの位置・方向を算出するステップ”は、前記第２画像に続く、少なくとも１のビデオストリームの(複数)画像に対して繰り返されて、画像シーケンスにおける少なくとも１のオブジェクトを追跡する。

少なくとも１の追跡すべきオブジェクトの位置・方向が、前記受信画像において、前記キー画像から算出されない場合、追跡すべきオブジェクトの消滅時の自動的再開のために、少なくとも１の追跡すべきオブジェクトの位置・方向が、前記複数の画像ブロックから算出されると有利である。

特定の実施例において、前記キー画像の値（複数）が、“受信画像により”および“前記受信画像において、追跡すべきオブジェクトの算出された位置・方向により”置き換えられ、少なくとも１の前記オブジェクトの追跡が改善される。

更に、特定の実施例において、本方法は、更に、少なくとも１の追跡すべきオブジェクトの算出された位置から、前記イメージセンサ（capteur d'image）の姿勢を算出するステップを含んでいる。実シーンに関係する基準フレームにおける前記少なくとも１のビデオストリームは、前記イメージセンサから出力されるものである。
本方法は、更に前記イメージセンサの動きを決定するステップを含むことが好ましい。この実施モードによると、少なくとも１の追跡すべきオブジェクトが前記イメージセンサにより観察されるシーンにおいて不動のとき、前記イメージセンサの動きを追跡することができる。

特定の実施例において、前記少なくとも１の追跡すべきオブジェクトは、クロマキー技術を実施するように構成された、色が一様なゾーンを含む。前記技術を使って、画像の色が一様なゾーンに１の構成要素を合成する（inserer）ことができる。

特定の実施例において、前記少なくとも１の追跡すべきオブジェクトは、少なくとも別の２のビデオストリームにおいて、同時に追跡し、特に共同的アプリケーション（applications collaboratives）を実行することができる。

特定の実施例において、本方法は、更に、受信した少なくとも１の画像において算出された少なくとも１の追跡オブジェクトの位置・方向に基づいて、前記受信された複数画像の内の少なくとも１画像に、少なくとも１の構成要素を合成する１のステップを含む。前記少なくとも１の構成要素は、前記イメージセンサから出力される画像を充実するために、少なくとも１の仮想オブジェクト又は少なくとも１のビデオストリームの少なくとも１の表示を含むリストにおいて選択される。

本発明は、前記の方法の各ステップを実行する命令を含むコンピュータプログラムを対象とする。

本発明は、前記の方法の各ステップを実行するために、コンピュータプログラムコード命令を含むコンピュータ又はマイクロプロセッサによって部分的又は全体的に読み取り可能な情報格納手段（可動又は非可動の）を対象とする。

本発明は、リアリティ向上アプリケーションにおける、少なくとも１のビデオストリームのほぼ連続している、少なくとも２つの画像における実シーンの、少なくとも１つのほぼ平らな幾何学的オブジェクトをリアルタイムで追跡するための装置を対象としている。本装置は次の手段を含むことに特徴を有している。

−前記少なくとも１のビデオストリームの第１画像を受信する受信手段；
前記第１画像は、前記少なくとも追跡すべきオブジェクトを含む。
−第１格納手段（複数）に前記第１画像を記憶する記憶手段；
−予め記憶されている複数の画像ブロックからの前記第１画像における前記少なくとも１の追跡すべきオブジェクトの位置・方向を決定するための手段；
複数の画像ブロックの各画像ブロックは、少なくとも１の追跡すべきオブジェクトからの姿勢に関係しており、前記姿勢は前記第２格納手段に記憶されている。前記第１画像(キー画像とよばれる）における少なくとも１の追跡すべきオブジェクトの位置・方向は、前記第１格納手段に記憶されている。
−少なくとも１のビデオストリームの第２画像を受信する受信手段；
前記第２画像は少なくとも１の追跡すべきオブジェクトを含む。
−前記第１格納手段に記憶されているデータからの第２画像において少なくとも１の追跡すべきオブジェクトの位置・方向を算出する算出手段。

本発明による装置によると、マーカーを使わずに、ビデオストリームにおいて、テキスチャー化された平面的幾何学的オブジェクトの自動追跡を使って、リアルタイムに、リアリティ向上アプリケーションを自動的に開始又は再開することができる。

特別な実施例において、本装置は、前記第１格納手段に記憶されているデータからの第２画像において、少なくとも１のオブジェクトの位置・方向を算出することができるかを決定するための手段を、更に有している。前記第１格納手段に記憶されているデータからの第２画像において、少なくとも１のオブジェクトの位置・方向を算出することができるかを決定するための手段は、前記第２格納手段に記憶されているデータからの第２画像において、少なくとも１のオブジェクトの位置・方向を算出することができるかを決定するように構成されている。
本発明による装置により、追跡オブジェクトが失われたときに、自動的にアプリケーションを再開することができる。

特定の実施例によれば、本装置は、少なくとも１のオブジェクトの追跡を改善するために、“第２画像”及び“前記第１格納手段における第２画像における少なくとも１の追跡オブジェクトの位置・方向”を記憶する記憶手段を有する。

特定の実施例によれば、前記実シーンにおいて、少なくとも１の追跡すべきオブジェクト及びイメージセンサに関する動きを算出するために、本装置は、前記実シーンにおけるイメージセンサに関係して、少なくとも１の前記追跡オブジェクトの動きを決定するために、更に、“少なくとも１の追跡すべきオブジェクト”又は“イメージセンサ”（該イメージセンサは、実シーンと、又は少なくとも１の追跡オブジェクトと、又は前記イメージセンサと関係する基準フレームの１に、少なくとも１のビデオストリームを出力する）の姿勢を決定するように構成された変換手段を備えている。

特定の実施例によれば、本装置は、更に、受信した少なくとも１の画像において算出される少なくとも１の追跡オブジェクトの位置・方向に基づいて、前記受信された画像に、少なくとも１の構成要素を合成する手段を備えている。前記少なくとも１の構成要素は、前記イメージセンサから出力される画像を充実するために、少なくとも１の仮想オブジェクト及び少なくとも１の第２ビデオストリームの少なくとも１の表示を含むリストから選択される。

本発明の他の有利な点、目的、特徴は、図面を参照し、制限されない実施例を使った、以下の詳細な説明に記載されている。

ローザンヌ連邦ポリテクニクにより開発されたオブジェクト追跡アプリケーションの原理を説明する概略図である。 キー画像及びビデオストリームの前画像からビデオストリームの画像におけるオブジェクトの姿勢を決定するための方法のステップを説明する概略図である。 本発明によるオブジェクト追跡アルゴリズムの概略図である。 少なくとも部分的に本発明を実施することのできる装置の例である。 図５ａと図５ｂを含む。センサと画像の視覚化手段を持つ携帯装置が使用される２つの構成例である。 オブジェクトを追跡する、リアリティ向上アプリケーションのための、センサと画像の視覚化手段を持つ携帯装置の使用例である。 センサと画像の視覚化手段を持つ携帯装置がカーサー又は6の自由度を持つ動きセンサとして使用されることを示す図である。

本発明の方法は、特に、ビデオストリームからの画像に対するオブジェクト追跡アプリケーションが中止された後で、開始、再開段階の自動化を対象とする。図３は、本発明を実施するオブジェクト追跡アプリケーションの全体像を示す。

図３に示されているように、オブジェクト追跡アプリケーションには３つの段階がある。即ち、準備段階（Ｉ）、開始、又は再開段階（II）、及びオブジェクト追跡段階（III ）である。

準備段階（Ｉ）は、主として、サーチツリーを準備するために、追跡オブジェクトの特徴点を抽出する。オブジェクトのテクスチャー化画像を取得した後で（ステップ300）、画像の特徴点(複数)が従来のアルゴリズム（例えば、Harris点の検出）で見つけられる（ステップ305）。オブジェクトのテクスチャー化画像はオブジェクトだけがある画像（例えば、合成画像又はオブジェクトの端部が検出され、バックグラウンド（背景）が除去される）が好ましい。

オブジェクトの特徴点が決められたときに、アプリケーションはこれら点を中心にした画像ブロックを抽出し、パッチ（patches）を生成する。前記パッチが、例えば平行移動、回転、スケールファクタの変化に基づくランダム関数により生成される（ステップ310）。例えば、画像の特徴点ｍ₀の周りで、次式により定義されるアフィン変換を実行することが可能である。
（ｎーｎ0）＝Ｈ（ｍ−ｍ0）+Ｔ（ｔ1、ｔ2）

但し、点ｎは点ｍの変換であり、Ｔ（ｔ1、ｔ2）は点ｍ₀の周りの変換である。ｔ1は画像における垂直変換であり、ｔ2は水平変換である。Ｈは、Ｈ＝Ｒ_α・Ｒ^-1 _β・Ｓ（λ₁、λ₂）・Ｒ_βである。Ｒ_α及びＲ^-1 _βは、２つの垂直軸による回転に対応しており、Ｓ（λ₁、λ₂）はステップの変化を表す。従って、変化をもたらすパラメータは、α、β、λ₁、λ_2、ｔ1、ｔ2である。

画像ブロックに適用される変換に基づいて姿勢が計算される。該姿勢は各パッチに関連付けられ、対応する姿勢が得られる。次に、生成されたパッチからサーチツリーが作成される（ステップ315）。

開始段階（II）では、オフラインのキー画像が、ビデオストリームからの第１画像から生成される（ステップ320）。ビデオストリームからの、続く（複数）画像においてオブジェクトを追跡するために、ビデオストリームの該第１画像が記憶され、オフラインのキー画像として使用される。該第１画像におけるオブジェクトの姿勢を決めるために、複数の特徴点（points d'interets）が決められる。例えば、勾配のより大きいｐ点(複数)である。これら点の周囲の画像ブロックは、準備段階の間に、サーチツリーに基づいて、決定済みパッチと比較される。これら画像ブロックのサイズは、パッチのサイズと同等であることが好ましい。画像ブロックの中で最も類似している各パッチの姿勢を使い、画像におけるオブジェクトの姿勢を決める。オブジェクトの姿勢は、選択されたパッチ（つまり、画像ブロックに最も似ているパッチ）の姿勢の平均値として、又は投票メカニズム（mecanisme de vote）に基づいて、決められる。オフラインキー画像を形成するために、このようにして決められた姿勢はビデオストリームの画像に関係付けられている。次に、このオフラインキー画像は、追跡アプリケーションを開始する（initialiser）ために使われる（ステップ325）。この手法は、迅速であり、この手法により、即時の初期化ができる。

オブジェクトの姿勢が第１画像において決められる時、及び、キー画像（初期化段階で決められたオフラインキー画像）が選択される時、前述した追跡メカニズムに基づいて、追跡アプリケーションを使って、ビデオストリームの連続画像においてオブジェクトを見つけることができる（第III 段階：ステップ330）。前記メカニズムに基づいて、オブジェクトの動き（複数）（シーンにおけるオブジェクトの移動又はシーンにおけるカメラの動きにより引き起こされる動き）は、１つのフレームから次のフレームに亘って追跡される。偶発的変動は、“開始時に保有されているオフラインキー画像”及び“アプリケーションの実行時に計算されたオンラインキー画像に含まれる情報”によって補償される。前記追跡アプリケーションは“特徴点の検出アルゴリズム”及び“3次元モデル上に位置している特徴点を平面画像に再投影する再投影アルゴリズム”を組み合わせて、１のフレームから次のフレームへの空間変換の結果を予測すると有利である。オブジェクトの姿勢は、ビデオストリームからの現画像の特徴点(複数)、現キー画像の特徴点、ビデオストリームからの前画像の特徴点と間の対応関係に基づいて、つまり、これら画像の特徴点のパターンマッチングに基づいて推定される。

誤差が大きくなるときには、換言すれば、現キー画像と現画像との間のパターンマッチング数が極めて小さいときには、追跡はできなくなって、再初期化が必要になる。再初期化段階は、前記の初期化（ステップ320,325）と同様である。この段階では、ビデオストリームの現画像が使用され、新しいオフラインキー画像が作成される。その姿勢は、特徴点及びサーチツリー（準備段階に決められたパッチを含む）に基づいて決められる。従って、オフラインキー画像は、前記追跡アプリケーションが中止される（decrocher）ときに自動的にアップデートされる動的（dynamique）オフラインキー画像である。

図４は本発明を実施するための装置の概略を示す図である。装置400は、例えばマイクロプロセッサ、ワークステーション又はゲームコンソールである。

装置400は通信バスを有していることが好ましい。前記バスは次のものに接続されている。

−中央処理装置又はマイクロプロセッサ404（ＣＰＵ）
−読み出し専用メモリ406（ＲＯＭ）：ＯＳ及び“Prog”のようなプログラムを含む。
−ランダムアクセスメモリ又はキャッシュメモリ408（RAM）：前記プログラム実行中に生成され、変更される変数及びパラメータを記憶するレジスタを含む。
−ビデオ キャプチャ カード410：カメラ412に接続されている。
−グラフィックカード416：表示装置又はプロジェクタ418に接続されている。

オプションとして、装置400は次の構成要素を具備することができる。
−ハードディスク420：前記“Prog”プログラム、処理済み又は本発明により処理するデータを保有することができる。
−キー422及びマウス424又は光学ペンのようなポインティング装置、タッチスクリーン又はユーザが本発明に基づいてプログラムと対話するリモコン装置。
−通信インターフェース426：通信ネットワーク428（例えば、インターネット）に接続されている。インターフェースはデータを送受信する。
−データ収集カード414：センサー（図示しない）に接続されている。
−メモリカード読取装置（図示しない）：本発明により処理済みデータ又は処理するデータを読み取り、書き込むように構成されている。

前記通信バスにより、装置400に含まれる又は接続している複数の構成要素の間の通信及びインターオペラビリティ（相互運用性）が可能になる。バスの表示はこれに限定されているものではない。特に、中央処理装置は、命令を装置400の全要素に直接又は装置400の別の要素を介して送信することが可能である。

各プログラムの実行可能コードにより、プログラム可能な装置は本発明によるプロセスを実行することができる。該コードは、例えば、ハードディスク428又は静的メモリ406に記憶することができる。

本発明の変形として、プログラムの実行コードは通信ネットワーク428を介して、インターフェース426を介して、受信し、前記のものと同様に記憶することができる。

メモリカードは、例えばコンパクトディスク（CD-ROM,DVD）のような情報担体に置換することができる。一般的に、メモリカードは情報記録手段（コンピュータ又はマイクロプロセッサにより読取り可能で、装置に組込まれ又は込まれず、移動可能であり、本発明の方法の実行が可能な１又は複数のプログラムを記憶するように構成された）に置換することができる。

より一般的に、１又は複数のプログラムは、実行する前に、装置400の格納手段に格納することができる。

ＣＰＵ404は、本発明に基づく“命令”又は“プログラムのソフトウェアコードの部分”の実行を命令し、コントロールする。命令は、ハードディスク420又はＲＯＭ406又は前記別の格納要素に格納されている。電圧が与えられると、不揮発性メモリ（例えばハードディスク420又はＲＰＭ406）に格納されている１又は複数のプログラムは、ＲＡＭ408（本発明による１又は複数のプログラムを実行することができるコードを収納する）及びレジスタ（本発明の実施に必要な変数及びパラメータを記憶する）に送られる。

本発明の装置を具備する通信装置は、プログラムされた装置であることができることに注意すべきである。この装置は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）に固定されている１又は複数の情報処理プログラムのコードを持っている。

別の方法として、ビデオカード416からの画像は、通信インターフェース426及び通信ネットワーク428を介して、表示装置又はプロジェクタ418に送信することができる。同様に、カメラ412はビデオキャプチャカード410′（装置400とは独立している）に接続することができ、カメラ412から出力される画像は、通信ネットワーク428及び通信インターフェース426を介して装置400に送られる。

本発明による自動的初期化及び再初期化による処理の簡素化により、オブジェクト追跡アプリケーションは、専門家の助けなしに実行することができる。標準的なやり方で追跡アプリケーションを使って、ビデオストリームの画像シーケンスにおいてオブジェクトを追跡し、例えば、該オブジェクト位置・方向を考慮しながら、シーンのオブジェクトにビデオシーケンスを合成することができる。又、シーンの静的オブジェクトを解析することによりカメラの動きを決定することができる。この場合、オブジェクトは背景（decor）の部分を構成する。また、シーンにおけるこのオブジェクトの姿勢を見出すことは、オブジェクトに対するカメラの姿勢を見出すことに等しい。
“オブジェクト”と”シーンの幾何学的モデル”との間の幾何学的変換が既知であることを条件に、シーンに仮想エレメントを加えることが可能である。この場合、そうである。このアプローチにより、シーンの幾何学的構成（geometrie）に応じて（つまりシーンに存在するオブジェクトに依存して）移動するアニメ化仮想オブジェクトを持つシーン（モデル化した１組の部分）のリアリティを向上することが可能になる。

もしＲｆが追跡オブジェクトに関係する基準フレームで、Ｒｓがシーンに関係する基準フレームで、Ｒｋがカメラに関係する基準フレームで、Ｒｍが３Ｄアニメ化モデルに関係する基準フレームであるならば、‘基準フレームＲｆの基準フレームＲｓへの変換Ｔｆ→ｓ(既知)’及び‘基準フレームＲｓの基準フレームＲｍへの変換Ｔｓ→ｍを使って、基準フレームＲｆの基準フレームＲｃへの変換Ｔｆ→ｃを定義する必要がある。アフィン変換により３次元仮想モデルに関係する基準フレームＲｍをカメラの基準フレームにすることができるが、このアフィン変換は次式による。

但し、Ｐ_RCは３次元モデルの基準フレームＲｍで定義された点Ｐｍの変換であり、Ｔ_i→jは、基準フレームｉから基準フレームｊへ移動させるアフィン変換である。前記式は次のように単純化される。
Ｐ_RC＝Ｔ_i→jＴ_s→fＴ_m→sＰ_Rm、
即ち、
Ｐ_RC＝Ｔ_m→cＰ_Rm、

カメラのパラメータに応じた点Ｐ_Rmの投影は、マトリックスＰ１の形で表現することができる。この投影により、カメラから出力される画像において定義されるＰ′_RCを得ることができる。従って、点Ｐ′_RCは次式で定義される。
Ｐ′_RC ＝Ｐ₁・Ｔ_m→c・Ｐ_Rm

シーンの基準フレームにおいて定義された合成３次元オブジェクトは、ビデオストリームの現画像に投影され、アニメ化仮想オブジェクトでビデオストリームのリアリティを向上させることができる。

追跡アプリケーションは、ＰＤＡ（Personal Digital Assistant）、携帯電話又はビデオキャプチャを備えた他の装置において、インターフェースとして使うことができる。

特に、アプリケーションは、画像において、予め覚えたテキスチャー化された四角形を見つけ、追跡し、仮想モデル又はオブジェクトに固定された第２ビデオストリームを持つビデオストリームのリアリティを向上することができる。この技術の特徴点は、“カメラ及び追跡されるオブジェクト”がシーンの中を自由に移動することができるという点である。基準フレームの変化の幾何学的構成処理は前掲のとおりである。

オブジェクト追跡アプリケーションは、特に、規準（norme）Ｈ．263（この規準はテレコムサーバから又はテレコムサーバに対してビデオストリームを送受信するために使用される）のような低品質な現規準に対してロバスト（安定）である。また、モバイル機器のタッチを利用することにより（例えば、テレコムのオペレータのインフラストラクチャの上のＤＴＭＦ（Dual Tone Modulated Frequency）、コマンド情報、制御情報を送信することが可能である。

このタイプのアプリケーションにおいては、オブジェクト追跡処理及び/又はビデオストリームの充実化処理は、ローカル又は遠隔（deporte）でありえる。図５（図５ａと図５ｂとから構成されている）は、使われる２つのアーキテクチャの例を示している。図５ａは遠隔追跡技術に対応している。モバイル装置500は送受信装置505を備えている。該送受信装置によりサーバ510（送受信機515を備えている）にビデオストリームを送信することができる。前記サーバ510はオブジェクト追跡アプリケーション及びビデオストリーム充実化アプリケーションを有しており、前記サーバ510は、１又は複数のモバイル装置500から出力される１又は複数のビデオストリームを受信し、このストリームの画像においてオブジェクトを追跡し、仮想オブジェクトを、及び、二次ビデオストリームをこれら画像に合成し、このように変更(modifie)されたビデオストリームをモバイル装置500（それを表示する）に送信するように構成されている。
図５ｂは別の例である。この例では、オブジェクト追跡アプリケーション及びビデオストリーム充実化アプリケーションはモバイル装置500′に組み込まれている。サーバ510′は、前記モバイル装置500′のコマンドにより制御されるアプリケーション（例えばゲーム）を有している。サーバ510′とモバイル装置500′との間でやり取りされるデータは、制御（control）命令、コマンド命令、並びに制御命令、コマンド命令の結果のような一般的な情報である。ビデオストリームは送受信装置505′及び515′の間で送信される必要はない。使われるアーキテクチャがどのようなものであろうとも、サーバが追跡すべきオブジェクトのタイプについての情報、追跡オブジェクトに対するカメラの相対位置及びユーザの行う動作についての情報を受信することが望ましい。

図６は、図５のアーキテクチャの１つを使う、リアリティ向上オブジェクト追跡アプリケーションのための、画像(複数)のキャプチャ・視覚化のモバイル装置の利用の例を示す。モバイル装置600は、イメージセンサ（図示しない）を備えており、これにより、実シーン610と表示装置605からビデオストリームを取得することができる。実シーン610には追跡すべきオブジェクト615がある。そのオブジェクトの上にイラストレーション620が表示されている。このイラストレーションはテクスチャの役割を担う。この例では、追跡されるオブジェクトを含むシーンが表示装置605の上に投影されている。シーンにおけるこのオブジェクトの位置により、ダイアログ625又はアニメ化３次元仮想オブジェクトのような仮想オブジェクトを追加することができる。

図７に示されるように、モバイル装置は自由度６を持つカーソルのように又は自由度６の動きキャプチャ（追跡オブジェクトに対するモバイル装置の相対的姿勢（位置・方向）に基づく）として使うことができる。このカーソル又はキャプチャは、動きを制御するために使うことができる。４タイプの移動が考えられる。

第１移動モードは《ビューファインダ：viseur》タイプの移動である。このモードによれば、モバイル装置は、ポインティング装置をシミュレートし、動作の案内をし、ゾーン又はオブジェクトに狙いを定め、選択し、場合によっては選択されたエリアまたはオブジェクトを移動させる。個々では、平面テクスチャは、テーブルのような実平面の表面に置かれると考える。ターゲットが、モバイル装置のイメージセンサの光学軸において表示装置に表示される。これは、テーブル上への仮想的投影のために、カメラ位置が変わるとそれに伴って形が変わる。テーブル上へ投影される標的オブジェクトは楕円、又は２次元の別の幾何学的オブジェクトである。これら２次元のオブジェクトに対するアクションを実行するためには、カメラの光学軸の方向とテーブル上に置かれた3次元仮想オブジェクトとの交わり（intersections）を決定することが必要である。つまり、仮想オブジェクトを選択するためには、テーブルに付与された仮想標的が仮想オブジェクトを部分的にカバーするか否かを決定することが重要である。このポインティング装置に関係する他のアプリケーション（複数）はビデオストリームゲーム、及び特にシミュレーションゲーム、レーシングゲーム、シューティングゲームである。

第１段階はテーブルの平面における楕円方程式（テーブル表面と光学軸上を中心とする円錐とが交わる結果生じる）を記述することである。円錐の半径は電話のキーでパラメータ化され、関数ｆ（ｚ_d）＝ｒ（例えばｆ（ｚ_d）＝az_d）に基づく距離に応じてリニアに表現されることが好ましい。但し、ａは、ユーザが変えることができるパラメータ、ｚ_dはテーブル平面とカメラとの間の実際の距離である。明確にするために、追跡オブジェクトの基準フレームＲｆはテーブルのそれと同一であり、平面ｘ−ｙはテーブル平面に対応しており、軸ｚは高所に向かっていると仮定する。従って、テーブルの平面の式は、ｚ＝０である。

基準フレームＲｆにおいて、円錐の軸、即ち、光学軸はカメラの位置により、Ｐｃ＝[ｘ_c、ｙ_c、ｚ_c]^T、ベクトルによりｔ＝[ｘ_t、ｙ_t、ｚ_t]^Tと定義される。円錐の軸とテーブル平面との交わりＩは、従って、次式で定義される。

この交わりの点Ｉを知ると、この点とカメラのとの距離を計算し、前記交わりの点Ｉを中心とする円錐に属する円の半径を決めることができる。

次に、追跡オブジェクトの基準フレームに基づくテーブル面における楕円から次式を導くことができる。

但し、γは、カメラ及びテーブル平面における追跡オブジェクトに関係する基準フレーム（複数）のｙ軸（複数）の投影との間の角度を表す。この式により、画像における楕円を表すことができ、画像の構成要素が楕円に属するか否か、すなわち、この構成要素が選択可能であるか否かを決定することができる。

第２移動モードにより、ユーザは、恰もカメラが自分の目の高さに設置されているかのように、仮想環境の中で無意識に移動することができる。この移動モードは、特に《 first person shooter 》タイプのゲーム及び“仮想ミュージアムの見学アプリケーション”に適している。動きのキャプチャは、３次元空間における或る基準位置を基礎にして行われる。この基準位置は、簡単なコマンドにより常に変更することができる。この基準位置に対するユーザの細かな動きは、計算され、アプリケーションに送信される。このアプローチにより、仮想環境における自由度６の移動（複数）を実行することができる。

基準点に対するこれら移動に関係する“動きのリスト”は、次のように定義される。

−《前進》、《後退》は、カメラが追跡オブジェクトに近接する、追跡オブジェクトから遠ざかるときの、カメラの光学軸上の移動によって同定(identifier)される；
−横方向の移動は、カメラが、光学軸に垂直な水平軸に基づいて、左右に移動するときに、同定される；
−仮想背景(decor)における上への動きはカメラの上へ、下への移動により同定される。
−左右を見ることは、仮想軸を中心とするカメラの回転により同定される；
−上下を見ることは、光学軸に垂直な水平軸を中心とするカメラの回転により同定される；
−頭を右に左に傾けることは、カメラが光学軸を中心にして回転するときに同定される。

当然、これら移動は、追跡オブジェクトがカメラの視野にある場合に有効である。反対に、最終位置は追跡オブジェクトが再度カメラの視野に入るまで保存されている。

第３移動モードにより、ユーザは自分が見る仮想オブジェクト又はキャラクタ（personnage））の移動をコントロールできる。この移動モードは、特に、ビデオストリームゲーム及びアドベンチャー向きである。動きのキャプチャは、追跡オブジェクトの基準フレームＲｆとカメラの基準フレームＲｃとの間の姿勢の差に基づいて実行される。仮想オブジェクト又はキャラクタの動きは次のように定義されている。

−カメラの光学軸は、仮想オブジェクト又はキャラクタが感じたように、シーンを表示する；
−光学軸に垂直な水平軸上の移動により、仮想オブジェクト又はキャラクタの横移動が可能になる；
−シーンの拡大（仮想オブジェクトのズーム）はカメラと追跡オブジェクトとの間の距離により決められる。

光学軸を中心とする回転と垂直軸に基づく移動（translations）は、アプリオリには、予め決められた機能を有して折らず、対象アプリケーションタイプによる特定の使用に対応する。

第４移動モードは動きキャプチャが、追跡オブジェクトの基準フレームRｆの姿勢とカメラの基準フレームRｃの姿勢との差の間で直接実行される。このモードは仮想オブジェクトまたは仮想シーンを観察することを対象としている。従って、この構成要素の周りに移動するし、近づき、遠ざかることができる。この移動モードは極めて有用で、直感的であるので、特に、教育、デモンストレーションアプリケーション及びビデオゲームに向いている。

既に説明したように、前記システムを使うと、多数のアプリケーションの相互作用（interactivite）（特にゲーム分野における）を改善することができる。ビデオストリームをコマンド及びカーソル機能と結びつけて充実することにより、例えば、各アプリケーション用のインターフェースを作ることができる。例示として、次の例は、タマゴッチゲームに関係する。このゲームは、しつけ、食事、コミューニケーション等複数のモードを含んでいる。人が近づくと、その動物が立ち上がり、人がその動物の周りを素早く回ると眩暈がして、ゆっくり回ると人を追いかけることができる。人はその動物を叩くことができる。例えば、１つの側から他の側に素早くカメラを移動させて、罰を与える。上から下へ動かすことにより、動物の頭を軽くたたいて、誉めてやることができる。その動物に対するカメラの動きにより、食べ物に対応する合成３Dオブジェクトを放り投げることができる間に、キーをタッチして食べ物を選択することができる。複数の食べ物を使うことができる。動物に少しずつ近づいて、撫ぜることもできる。カメラの動きにより、動物の反応を変えることができる。動物が質問をし、ユーザがイエス、ノーで答えることができ（上から下へはノーで、右から左へはイエス）、回答は登録することができる。話に知的に答えるためのシナリオを作成することができる。

別のタイプのアプリケーションは、仮想オブジェクト（アニメ又は非アニメ）、又はビデオストリームがリアルタイムに追加されるオーディオビジュアルな発表に関係する。この種のアプリケーションは特に《放送》又は《スタンドアップキャビネット》の分野で使われている。本発明によれば、司会者（animateur）は、その発表の間に、方向・位置についてパネル（tableau）を自由に操作し、ビデオストリーム又は該テーブルの上の視覚情報を表示することができる。このパネルは、例えば、クロマキー技術を使って、2次的ビデオストリームを挿入する場所に対応する一様な色の１又は複数のゾーンを有していることが好ましい。仮想オブジェクト(複数)はテーブルの現在の姿勢に挿入される。このパネルの追跡を容易にするために、これは、例えば、外部に又は中心部に、テクスチャー化ゾーンを持つことができる。司会者は特に、同パネルからルポルタージュを送ることができる。舞台裏の技術者はパネルにビデオストリームの表示を開始し、次に、司会者はカメラにパネルを近づけながら、新しい話題の紹介を始める。ビデオストリーム表示窓がパネルから出てきて、現在のビデオストリームを置き換える。このアプリケーションの重要な点は、アプリケーションにより、司会者が自分の手をパネルの前を通過させ、ビデオストリームを部分的に隠すことができることである。司会者はパネルの上に表示するビデオストリームの構成要素を指し示すことができる。このシステムの安定性（robustesse du systeme）を向上するために、特に、パネルの追跡アプリケーションに存在する振動を回避するために、二次ビデオストリームの画像の大きさは、一様な色でカバーされる領域より大きい。従って、パネルとその上に表示される二次ビデオストリームの少しのズレは、一様な色領域に現れない。

ミュージアム又は建造物の視覚的訪問のような別のアプリケーションは、容易に実装することができる。

前記した実施例は、１のカメラを使ったものであるが、同時に複数のカメラを使うこともできる。例えば実環境にいるユーザの協力を可能にすることもできる。従って、‘複数カメラの内の１のカメラ’又は‘追跡オブジェクトの基準フレーム(複数のカメラに対して同一である)’のような共通基準フレームの内に身を置き、カメラに関係する基準フレームに基づいて、カメラから出力される画像に投影することが必要である。

複数ユーザに関係する位置・方向を見出すこのできる変換を決めることが不可欠である。次式によりカメラｎの基準フレームにおいて表現された点の座標を、カメラ１の基準フレームにおいて表現された座標に変換することができる。
Ｐ_Ri＝Ｔ_f→ci・Ｔ_cn→f・Ｐ_Rn

但し、Ｐ_Riは、カメラ１の基準フレームにおける点Ｐの座標を表す。Ｐ_Rnはカメラｎの基準フレームにおける点Ｐの座標を表す。Ｔ_i→jは基準フレームｉから基準フレームｊへ通過することを可能にするアフィン変換である。先の変換は簡素化された次の式で表現される。
Ｐ_Ri＝Ｔ_cn→cj・Ｐ_Rn

画像において点の座標を見つけるためには、カメラのパラメータ（Ｐｌ行列）に応じた投影を実行する外はない。それによると次式が導かれる。
Ｐ_Ri＝Ｐ_l・Ｔ_m→c・Ｐ_Rn

複数のカメラを利用すると、例えば、ユーザが同時に移動しオブジェクトを追跡する可能性を提供するアプリケーションを実行することができる。このようなアプリケーションの実施例はゲームに関する。例えば、自動車、飛行機又はオートバイ競走ゲームである。競争ゲームに使われるコマンドの原理は、移動の第１実施例（＜ビューファインダ＞タイプ）、又は、第３実施例（ユーザが見る仮想オブジェクトの移動をコントロールすることが可能である）に対応する原理である。実環境における複数のゲーマーが実シーンにおける追跡オブジェクトに対する３次元レーストラックでプレーすることを可能にする。
各ユーザはenginをコントロールする。共同モードにより各種の自動車がアプリケーションの中で対話することを可能にする。テーブルゲーム又はボードゲーム（jeux de societe）に対して、この特徴を利用することができる。ダウンロードし、印刷されたテーブル（plateau）から、共同作業的アプリケーションの範囲を考慮することができる。前記テーブルとチェスの駒を使うボードゲームは、３次元仮想オブジェクトによりシミュレートすることができる。キータッチによりゲーム構成に関係し、別のゲーマーに生で対向することができる。同様に、スポーツゲームが、例えば、テニスゲームが実行される。この種のアプリケーションに対して、使われる移動モードは第３モードが好ましい。これによれば、ユーザは自分が見る仮想オブジェクトの移動をコントロールすることができる。カメラの視軸方向はゲームの中のキャラクタの方向を与える。ボールがゲーマーの近くに来たときに、キータッチによりボールを叩くことができると有利である。基準位置により、カメラを視軸上で移動させて、前後の移動を行うことができる。横方向の移動については、ユーザの横方向の動きを考慮する必要がある。

当然、特定の必要性を満たすために、本発明の技術分野の当業者は前記記載において変更を加えることができる。

Claims (20)

1. リアリティ向上アプリケーションにおける、少なくとも１のビデオストリームのほぼ連続している、少なくとも２つの画像における実シーンの少なくとも１のほぼ平らな幾何学的オブジェクトをリアルタイムで追跡するための方法であって、前記方法の開始は自動的であって、次のステップを有することを特徴とする方法。
   −前記少なくとも１のビデオストリームの第１画像を受信するステップ（300）；
   前記第１画像は、前記少なくとも追跡すべきオブジェクトを含む。
   −予め決められている複数の画像ブロックからの前記第１画像における前記少なくとも１の追跡すべきオブジェクトの位置・方向を決定するステップ（320）；
   複数の画像ブロックの各画像ブロックは、少なくとも１の追跡すべきオブジェクトの姿勢に関係している。
   −前記第１画像及び前記第１画像における前記少なくとも１の追跡すべきオブジェクトの位置・方向を含むキー画像を生成するステップ；
   −少なくとも１のビデオストリームの第２画像を受信するステップ（330）；
   前記第２画像は少なくとも１の追跡すべきオブジェクトを含む。
   −前記キー画像から第２画像において少なくとも１の追跡すべきオブジェクトの位置・方向を算出するステップ（330）。
2. 更に、少なくとも１の追跡すべきオブジェクトのテクスチャー化画像から、前記複数の画像ブロックとその姿勢を決定するステップを含む請求項１に記載の方法。
3. 画像の受信ステップ及び、少なくとも１の前記“受信画像における追跡すべき、オブジェクト”の位置・方向の算出のステップは、前記第２画像に続く、少なくとも１のビデオストリームの(複数)画像に対して繰り返されることを特徴とする請求項1又は２に記載の方法。
4. 前記受信画像において、追跡すべき、少なくとも１のオブジェクトの位置・方向が前記キー画像に基づいて算出することができないときには、前記受信画像における追跡すべき、少なくとも１のオブジェクトの位置・方向が、前記複数の画像ブロックに基づいて算出される（320）ことを特徴とする請求項１乃至３のいずれか１項に記載の方法。
5. 前記キー画像の値（複数）は、受信された画像により、及び、前記受信された画像において追跡すべきオブジェクトについて算出された位置・方向により、置き換えられることを特徴とする請求項１乃至４のいずれか１項に記載の方法。
6. 更に、少なくとも１の追跡すべきオブジェクトの算出された位置から、イメージセンサの姿勢を算出するステップを含むことを特徴とする請求項１乃至５のいずれか１項に記載の方法。但し、“実シーンに関係する基準フレームにおける前記少なくとも１のビデオストリーム”は、前記イメージセンサから出力される。
7. 更に、イメージセンサの動きを決定するステップを含むことを特徴とする請求項６に記載の方法。
8. 前記少なくとも１の追跡すべきオブジェクトは、クロマキー技術を実施するように構成された、色が一様なゾーンを含むことを特徴とする請求項１乃至７のいずれか１項に記載の方法。
9. 前記少なくとも１の追跡すべきオブジェクトが、少なくとも１のビデオストリーム及び別のビデオストリームにおいて同時に追跡され、前記少なくとも１のビデオストリーム及び別のビデオストリームは少なくとも２つの異なるイメージセンサから出力される請求項１乃至８のいずれか１項に記載の方法。但し、該方法は少なくとも２つのイメージセンサに関する位置を推定するステップを有する。
10. 更に、受信した少なくとも１の画像において算出された少なくとも１の追跡オブジェクトの位置・方向に基づいて、前記受信された複数画像の内の少なくとも１画像に、少なくとも１の構成要素を合成する１のステップを有する請求項１乃至９のいずれか１項に記載の方法。但し、前記少なくとも１の構成要素は、前記イメージセンサから出力される画像を充実するために、少なくとも１の仮想オブジェクト又は少なくとも１のビデオストリームの少なくとも１の表示を含むリストにおいて選択される。
11. 更に、少なくとも１の制御コマンドを決定するステップを有する請求項１乃至１０のいずれか１項に記載の方法。但し、前記少なくとも１の逝去コマンドは追跡オブジェクトの姿勢の変化に基づいて決定される。
12. 更に、追跡オブジェクトの姿勢の変化に基づいて、少なくとも１の表示を送信するステップを有する請求項１乃至１１のいずれか１項に記載の方法。
13. 更に、第１と第２の画像を取得するステップ及び前記第１と第２の画像の少なくとも１部分を表示するステップを有する請求項１乃至１２のいずれか１項に記載の方法。但し、前記取得ステップ、表示ステップは、前記別のステップを実行する装置とは異なる装置で実行される。
14. 請求項１乃至１２のいずれか１項に記載された方法の各ステップを実行する命令を含むコンピュータプログラム。
15. リアリティ向上アプリケーションにおける、少なくとも１のビデオストリームのほぼ連続している、少なくとも２つの画像における実シーンの少なくとも１つのほぼ平らな幾何学的オブジェクトを、リアルタイムで追跡するための装置であって、
    前記追跡の開始は自動的で、
    次の手段を含むことを特徴とする装置。
    −前記少なくとも１のビデオストリームの第１画像を受信する受信手段；
    前記第１画像は、前記少なくとも追跡すべきオブジェクトを含む。
    −第１格納手段（複数）に前記第１画像を記憶する記憶手段；
    −予め記憶されている複数の画像ブロックからの前記第１画像における前記少なくとも１の追跡すべきオブジェクトの位置・方向を決定するための手段；
    複数の画像ブロックの各画像ブロックは、少なくとも１の追跡すべきオブジェクトからの姿勢に関係しており、前記姿勢は前記第２格納手段に記憶されており、前記第１画像(キー画像とよばれる）において追跡すべき少なくとも１のオブジェクトの位置・方向は前記第１格納手段に記憶されている。
    −少なくとも１のビデオストリームの第２画像を受信する受信手段；
    前記第２画像は追跡すべき少なくとも１のオブジェクトを含む。
    −前記第１格納手段に記憶されているデータからの第２画像において追跡すべき少なくとも１のオブジェクトの位置・方向を算出する算出手段。
16. 前記第１格納手段に記憶されているデータからの第２画像において、少なくとも１のオブジェクトの位置・方向を算出することができるかを決定するための手段を、更に有していることを特徴とする請求項１５に記載された装置。
    前記第１格納手段に記憶されているデータからの第２画像において、少なくとも１のオブジェクトの位置・方向を算出することができるかを決定するための手段は、前記第２格納手段に記憶されているデータからの第２画像において、少なくとも１のオブジェクトの位置・方向を算出することができるかを決定するように構成されている。
17. “前記第２画像”及び“前記第１格納手段における第２画像における少なくとも１の追跡オブジェクトの位置・方向”を記憶する記憶手段を有することを特徴とする請求項１５又は１６に記載された装置。
18. 更に、“少なくとも１の追跡すべきオブジェクト”又は“少なくとも１のビデオストリームが実シーンと、又は少なくとも１の追跡オブジェクトと、又は前記イメージセンサと関係する標的の１に出力されるイメージセンサ”の姿勢を決定するように構成された変換手段を備えていることを特徴とする請求項１５乃至１７のいずれか１項に記載の装置。
19. 更に、受信した少なくとも１の画像において算出された少なくとも１の追跡オブジェクトの位置・方向に基づいて、前記受信された画像に、少なくとも１の構成要素を合成する手段を備え、前記少なくとも１の構成要素は、前記イメージセンサから出力される画像を充実するために、少なくとも１の仮想オブジェクト及び少なくとも１の第２ビデオストリームの少なくとも１の表示を含むリストから選択されることを特徴とする請求項１５乃至１８のいずれか１項に記載の装置。
20. 少なくとも１の携帯電話から前記第１及び第２画像を受信するための手段を更に備える請求項１５乃至１９のいずれか１項に記載の装置。

Images