JP3565707B2 - 観察者トラッキング自動立体表示装置、画像トラッキングシステム、および画像トラッキング方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像トラッキングのシステムおよび方法に関する。本発明は、このようなシステムおよび方法を使用できる観察者トラッキング自動立体表示装置にも関する。本発明のシステムおよび方法は、セキュリティ監視、映像および画像圧縮、テレビ会議、コンピュータゲーム、ドライバーモニタリング、グラフィカルユーザインターフェース、カメラオートフォーカスシステムおよびマルチメディアなどの他の用途にも使用できる。
【０００２】
【従来の技術】
自動立体表示装置は周知であり、その一例は、ＥＰ０６０２９３４、ＥＰ０６５６５５５、ＥＰ０７０８３５１、ＥＰ０７２６４８２、およびＧＢ９６１９０９７．０に開示されている。添付の図１は、典型的な自動立体表示装置の基本的な構成要素を模式的に示す。この表示装置は、表示装置システム１およびトラッキングシステム２を有する。トラッキングシステム２は、センサ信号をトラッキングプロセッサ４に与えるトラッキングセンサ３を有する。トラッキングプロセッサは、センサ信号から観察者位置データ信号を求める。観察者位置データ信号は、表示装置システム１の表示装置制御プロセッサ５に与えられる。プロセッサ５は、位置データ信号をウィンドウステアリング信号に変換し、これを、表示装置７と協働するステアリングメカニズム６に与える。これにより、観察者８は、広範囲にわたる観察者位置において自動立体的に表示装置を観察することができる。
【０００３】
添付の図２は、純粋に例示として、表示装置７およびステアリングメカニズム６を含む表示装置システム１の一部を示す。ステアリングメカニズム６は光源１０を有し、光源１０は、個々に制御可能な発光素子の直線状アレイを有する。部分的に銀メッキされたミラー等のビームスプリッタ１１は、光源１０からの光をミラー１２に向けて透過するとともに、光源１０からの光をもう１つのミラー１３に向けて反射する。ミラー１２によって反射された光は、レンズ１４を通過し、そして、立体対（ｓｔｅｒｅｏｓｃｏｐｉｃ ｐａｉｒ）の内の右目用画像を有する液晶装置（ＬＣＤ）の形態である空間光変調器（ＳＬＭ）によって変調される。同様に、ミラー１３によって反射された光は、レンズ１６を通過し、立体対の内の左目用画像を有するＬＣＤ１７によって空間的に変調される。例えば部分的に銀メッキされたミラーの形態であるビーム結合器１８によって、ＬＣＤ１５からの光は、観察者８の右目用観察ウィンドウ１９に向けて反射される。ＬＣＤ１７からの光は、ビーム結合器１８を透過し、観察者８の左目用観察ウィンドウ２０を形成する。各観察ウィンドウ１９および２０の幅は、あらゆる可能性のある眼の間の間隔をカバーするように十分に大きい。典型的な眼の間の間隔の値は、約５５〜約７０ミリメートルである。図３に示すように、表示装置７および観察者８を含む３次元（３Ｄ）空間は、デカルト座標によって表すことができる。但し、Ｘは横方向、Ｙは縦方向、Ｚは長手方向を表す。
【０００４】
添付の図４ａに示すように、菱形の照射（ｉｌｌｕｍｉｎａｔｉｏｎ）領域２１および２２が形成されており、観察者の右目が領域２１内にあり且つ観察者の左目が領域２２内にあれば、表示装置７全体にわたって３Ｄ画像が知覚されるようになっている。これらの菱形領域は観察ゾーンと呼ばれ、その幅は、両観察ウィンドウ１９および２０を含む「最良観察」ウィンドウ平面２３において最大である。観察ゾーン２１および２２は、表示装置７の長手方向における理論上の観察自由度を示している。
【０００５】
観察者の観察自由度を拡張するために、上記のように、観察者トラッキングおよび表示装置の制御部（ｃｏｎｔｒｏｌ）を設けることが可能である。観察者の頭の動きを追従して、観察者の目が適切な観察ゾーン内に維持されるように、観察ウィンドウ１９および２０の位置が「ステアリング」される。このような表示装置において不可欠な部分は、観察者の頭および／または目の位置を特定するトラッキングシステム２である。実際には、観察者の両目の間の中心点をトラッキングすればよい場合が一般的である。なぜなら、図４ｂの左側に示すように、この中心点が左右の観察ウィンドウの境界位置だからである。図４ｂの右側に示すように比較的大きく頭が回転した場合でも、このようなシステムは、観察ウィンドウ１９および２０を正確に位置決めし、自動立体観察を維持する。
【０００６】
各観察ウィンドウは、添付の図５に示すように照度（ｉｌｌｕｍｉｎａｔｉｏｎ）プロファイルによって特徴づけられる有効観察領域（ｕｓｅｆｕｌ ｖｉｅｗｉｎｇ ｒｅｇｉｏｎ）を有する。横軸は平面２３内の位置を表し、縦軸は照度を表す。理想的な照度プロファイルは、隣接ウィンドウ同士がすき間なく隣接した矩形のプロファイルであるが、これは、実際には得られない。
【０００７】
図５に示すように、最大平均強度の半値における照度プロファイル幅をウィンドウ幅とする。隣接観察ウィンドウのプロファイルは、常にすき間なく隣接するわけではなく、（図のように）アンダーラップ、またはオーバーラップを有する。プロファイルの「最上部」には均一性にばらつきがあるが、これが、有効幅を表している。強度は、有効幅の外で突然０になるのではなく、急峻に低下してエッジ幅を規定する。プロファイルは、すぐに０にはならず、隣接プロファイルとオーバーラップし、これにより、クロストークを生じる。理想的な矩形の照度プロファイルと実際のプロファイルとの差は、光学系における収差、散乱、デフォーカス、回折、および表示装置の光学素子における幾何学的な誤差を含む複数の劣化メカニズムの組合せによって生じる。トラッキングシステム２の目的の１つは、観察者の目を常に最良観察領域内に維持することである。
【０００８】
観察ウィンドウ１９および２０が連続的に動き得ることが理想的であるが、実際には、観察ウィンドウは、固定位置間において不連続な「ステップ」単位で動き得る。ステアリングメカニズム６は、光源１０の移動または切替えを制御することにより、観察ウィンドウ位置を制御する。これらの位置を切り替えるのに必要な位置の数および時間は、表示装置およびステアリングメカニズムによって異なる。添付の図６は、光源１０が１４個のすき間なく隣接したイルミネータを有し、各観察ウィンドウの幅がイルミネータ４個分である、図２に示すタイプの表示装置の場合に実現可能な観察ウィンドウ位置の範囲（ｒａｎｇｅ）の一例を示す。この例の場合、観察ウィンドウが取り得る位置は１１個であるが、その代表的な位置を参照符号２５で示す。１つのイルミネータが結像すると、参照符号２６で示すように、ウィンドウ平面２３において幅約１６ミリメートルの「ストリップ」または「ステップ」となり、４つの隣接するストリップによってウィンドウ幅は約６４ミリメートルになる。トラッキングシステム２は、観察者の目の瞳孔を、参照符号２７で示すような２つのストリップの中間に維持しようとする。観察者が、領域２７の中心から離れて横方向に１ステップ分動く前に、トラッキングシステム２は、移動方向の次のストリップ２６を照射するとともに、反対側即ち最後尾のストリップを消灯する。
【０００９】
トラッキングシステム２によって得られた位置データを、表示装置ウィンドウ位置に合わせるためには、例えばＥＰ０７６９８８１に開示される較正処理が必要となる。典型的な表示装置７は、添付の図７の２８のように、表示装置の光心２９と呼ばれる共通の原点から拡がる、複数の円錐またはくさび形の観察ゾーンを与える。観察者の両目の中心が、あるウィンドウから別のウィンドウに移動する度に切替えが行われなければならない位置がこれらの観察ゾーンによって決まる。この場合、観察ゾーンは、表示装置に対する観察者の横方向（Ｘ）と長手方向（Ｚ）によって特定される水平方向平面内において、角度的に隔てられている。
【００１０】
理想的なトラッキングおよび表示装置システムは、あらゆる頭の動きに即座に応答する。実際には、あらゆる実用的なトラッキングおよび表示装置システムが頭の動きを検出しこれに応答するには、常に、ある有限時間が必要となる。観察ウィンドウが移動するステップが有限個しかない場合には、即時的な応答は必ずしも必要ではない。この場合、トラッキングシステムの性能要件は、観察ウィンドウの位置の更新を必要とせずに観察者が目を動かし得る距離に関係する。
【００１１】
図６に示すウィンドウステップを形成する図２に示す自動立体表示装置の場合、システムが応答してウィンドウ位置を更新することを必要とせずに、観察者が動くことができるのは、１ステップに等しい距離ｄである。観察者の頭の移動距離ｄおよび最大速度ｖによって、要求されるトラッキングシステムのシステム応答時間ｔは、
ｔ＝ｄ／ｖ
として求められる。
【００１２】
平均的な観察者の通常の頭の移動速度は、約３００ミリメートル／秒未満であるが、観察者がこれよりも速い速度で動くことも珍しくはない。これは、表示された立体画像内のオブジェクトの急な動きに観察者が反応するときに最もよく起こる。典型的な最大頭移動速度は、約５００ミリメートル／秒である。この速度において、ｄの値が典型的な約１６ミリメートルである場合、トラッキングおよび表示装置システムが、観察者の頭の動きを検出してこれに応答するのに有する時間は約３２ミリ秒である。この応答時間が達成されなかった場合、観察者が、フリッカ等の不快な視覚的アーチファクト（ｖｉｓｕａｌ ａｒｔｉｆａｃｔｓ）を見る場合がある。添付の図８において、参照符号３０は、ミリメートル／秒単位の最大頭移動速度の関数としての要求されるシステム応答時間をミリ秒単位で示す。
【００１３】
実際には、トラッキングおよび表示装置システムの実際の応答時間は、観察者の位置を求めるのに必要な時間だけでなく、この情報をステアリングメカニズムに送るのに必要な通信時間、ならびに現ウィンドウ位置と次のウィンドウ位置との切換えに必要な時間をも含む。
【００１４】
要求されるシステム応答時間は、トラッキングシステムの精度によっては、上記より短くなる。測定誤差の影響は、観察ウィンドウが移動されるまでに観察者が移動し得るステップ距離ｄの減少に等価であるので、要求されるシステム応答時間は、
Ｔ＝（ｄ−ｅ）／ｖ
となる。但し、ｅは測定誤差である。図８の破線３１は、ｅが約５ミリメートルである場合の応答時間を示す。従って、要求される応答時間は、約５００ミリメートル／秒の最大頭移動速度の場合、約２２ミリ秒にまで低減される。
【００１５】
測定誤差ｅを低減することが望ましいが、実際には、これを０にまで低減することは不可能であり、トラッキングに用いられる画像解像度およびアルゴリズムを含む複数の要因により、この誤差をどこまで小さくできるかには限界がある。一般に、位置データを測定するアルゴリズムが実行されるまでは、測定誤差を求めるのは困難である。この理由から、上記式は、
ｖ＝（ｄ−ｅ）／Ｔ
と書き換えられる。
【００１６】
これにより、観察者が連続的な３Ｄ画像を見ることができる最大頭移動速度が、所与の測定誤差および所与の応答時間について与えられる。測定誤差が小さく応答時間が短い程、観察者が頭を動かし得る速度が大きくなる。従って、ステップの大きさ、測定誤差、およびシステム応答時間は、例えば約５００ミリメートル／秒の所望の基準を満たすｖの値が得られるようにするべきである。
【００１７】
観察者が目と目の間に装着する逆反射スポットによって反射される赤外線放射（ｉｎｆｒａｒｅｄ ｒａｄｉａｔｉｏｎ）を検出して行われる公知のタイプの赤外線トラッキングシステムの１つは、ＤｙｎａＳｉｇｈｔセンサと呼ばれ、Ｏｒｉｇｉｎ Ｉｎｓｔｒｕｍｅｎｔｓから入手可能である。赤外線センサに対する逆反射スポットの３Ｄ座標は、最大約６４Ｈｚのレートで得られる。これにより、逆反射スポットに対する観察者の頭の位置に関する必要な情報が与えられ、頭が動いても左画像および右画像を正しい方の目に向けることができる。
【００１８】
【発明が解決しようとする課題】
赤外線ビデオカメラを使用した観察者の頭の位置の検出は、ＷＯ９６／１８９２５およびＵＳ５０１６２８２に開示されている。その他のこのようなシステムは、ＩＳｃａｎおよびＨＨＩから入手可能である。しかし、赤外線を利用した全てのシステムは、赤外線ビデオカメラシステムが必要になること、制御された赤外線光源の使用、およびそれに伴う部品のコスト、赤外線源とそのセンサの間の複雑な構成、マーカーを観察者に装着する不便さ、赤外線源のために付加的な電源が必要になること、近距離から観察者の目に赤外線光が入ることによる不快さ、の問題のいくつかまたは全てを有する。
【００１９】
可視光ビデオカメラを使用するトラッキングシステムもいくつかある。例えば、ＵＳ４９７５９６０は、小鼻をトラッキングすることによって口の位置を特定し、視覚強化型音声認識（ｖｉｓｉｏｎ−ａｕｇｍｅｎｔｅｄ ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ）を行うシステムを開示している。しかし、この技術の精度は多くの用途、特に、観察者トラッキング自動立体表示装置の制御には不十分である。
【００２０】
別の技術が以下の文献に開示されている。
１９９６年１１月にＣＶＰＲに提出されたＴ．Ｓ． Ｊｅｂａｒａ ａｎｄ Ａ． Ｐｅｎｔｌａｎｄの”Ｐａｒａｍｅｔｒｉｚｅｄ Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ ｆｏｒ ３Ｄ Ａｄａｐｔｉｖｅ Ｆｅｅｄｂａｃｋ Ｔｒａｃｋｉｎｇ ｏｆ Ｆａｃｅｓ”， ＭＩＴ Ｍｅｄｉａ Ｌａｂｏｒａｔｏｒｉｅｓ， Ｐｅｒｃｅｐｔｕａｌ Ｃｏｍｐｕｔｉｎｇ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ４０１、 Ａ． Ａｚａｒｂａｙｅｊａｎｉらの”Ｒｅａｌ−Ｔｉｍｅ ３Ｄ ｔｒａｃｋｉｎｇ ｏｆ ｔｈｅ Ｈｕｍａｎ Ｂｏｄｙ”， ＭＩＴ Ｌａｂｏｒａｔｏｒｉｅｓ， Ｐｅｒｃｅｐｔｕａｌ Ｃｏｍｐｕｔｉｎｇ Ｓｅｃｔｉｏｎ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ Ｎｏ． ３７４， Ｐｒｏｃ ＩＭＡＧＥ’ＣＯＭ １９９６， Ｂｏｒｄｅａｕｘ， Ｆｒａｎｃｅ， １９９６年５月、Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ、ＣＶＰＲ’９６に提出されたＮ． Ｏｌｉｖｅｒ ａｎｄ Ａ． Ｐｅｎｔｌａｎｄの”ＬＡＦＴＥＲ：Ｌｉｐｓ ａｎｄ Ｆａｃｅ Ｒｅａｌ Ｔｉｍｅ Ｔｒａｃｋｅｒ”， ＭＩＴ Ｍｅｄｉａ Ｌａｂｏｒａｔｏｒｉｅｓ， Ｐｅｒｃｅｐｔｕａｌ Ｃｏｍｐｕｔｉｎｇ Ｓｅｃｔｉｏｎ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ Ｎｏ． ３９６、および、Ａ． Ｐｅｎｔｌａｎｄの”Ｓｍａｒｔ Ｒｏｏｍｓ”， Ｓｃｉｅｎｔｉｆｉｃ Ａｍｅｒｉｃａｎ， Ｖｏｌｕｍｅ ２７４， Ｎｏ． ４， ｐｐ．６８−７６，１９９６年４月。しかし、これらの技術においては、商品化には非現実的である高度なアルゴリズムを複数使用しなければならない。さらに、信頼性を確保するには、ある程度の照明管理が必要である。
【００２１】
Ａ． Ｓｕｗａらの”Ａ ｖｉｄｅｏ ｑｕａｌｉｔｙ ｉｍｐｒｏｖｅｍｅｎｔ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｖｉｄｅｏｐｈｏｎｅ ａｎｄ Ｖｉｄｅｏｃｏｎｆｅｒｅｎｃｅ ｔｅｒｍｉｎａｌ”， ＪＥＥＥ Ｗｏｒｋｓｈｏｐ ｏｎ Ｖｉｓｕａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ， ２１−２２、１９９３年９月， Ｍｅｌｂｏｕｒｎｅ， Ａｕｓｔｒａｌｉａは、ビデオカメラを用いた別の技術を開示する。この技術は、スキンカラーアルゴリズム（ｓｋｉｎ ｃｏｌｏｕｒ ａｌｇｏｒｉｔｈｍ）を用いた映像圧縮向上システム（ｖｉｄｅｏ ｃｏｍｐｒｅｓｓｉｏｎ ｅｎｈａｎｃｅｍｅｎｔ ｓｙｓｔｅｍ）を提供し、頭の位置の近似トラッキングを行うことにより、テレビ電話用途における圧縮比を向上する。しかし、そのトラッキング精度は多くの用途において不十分である。
【００２２】
従来のビデオカメラのほとんどの出力はアナログであり、コンピュータ処理を行うためには、これをデジタルデータに変換する必要がある。商業上魅力的な市販のビデオカメラは、各フレーム３２をインターレースされた２つのフィールド３３および３４で構成する添付の図９に示すようなインターレースラスタスキャン技術を利用している。各フィールドについて、そのフィールドを処理する前に、そのフィールドをデジタル化するのにある固定時間がかかる。これを、添付の図１０に示す。第１のフィールドは期間３５の間にデジタル化され、計算を開始できるのは時間３６であるので、第１のフィールドは、第２のフィールドをデジタル化し得る期間３７において処理できる。画像のデジタル化の開始から位置データが得られるまでの時間間隔を待ち時間（ｔｉｍｅ ｌａｔｅｎｃｙ）と呼ぶ。図中、この待ち時間を参照符号３８で示す。更新頻度は、位置データの更新頻度に関連する。図１０に示す場合のように、計算時間が１フィールドをデジタル化する時間を上回らない場合、更新頻度は、フィールドデジタル化レートと同じである。
【００２３】
上記のように、要求されるシステム応答時間は、待ち時間３８だけでなく、位置情報をウィンドウステアリングメカニズムに送るのに必要な通信時間、ならびに現ウィンドウ位置と次のウィンドウ位置との切換えに必要な時間をも含む。
【００２４】
フィールドのデジタル化は、「リングバッファ（ｒｉｎｇ ｂｕｆｆｅｒ）」を用いて、計算処理と並行して行われる。図１１に模式的に示すように、リングバッファ３９は、２つのメモリブロック４０および４１を含むメモリバッファである。メモリブロック４０および４１は、それぞれが、フィールドバッファであり、１フィールド分のデジタル画像を格納するのに十分な大きさである。従って、バッファ４０および４１の一方を現フィールドのデジタル化に使用している間、他方のバッファによって前フィールドを処理することができる。
【００２５】
１フィールド分の画像を捕捉するのに必要な時間は、約５０フィールド／秒で動作するＰＡＬカメラを使用した場合には約２０ミリ秒であり、約６０フィールド／秒で動作するＮＴＳＣカメラを使用した場合には約１６．７ミリ秒である。上記および図８に示したように、典型的な自動立体表示装置において、最大頭移動速度が約５００ミリメートル／秒であり、測定誤差が約５ミリメートルである場合、図１に示したトラッキングシステム２、表示装置制御プロセッサ５およびステアリングメカニズム６が、頭の動きを検出してこれに応答するのに有する時間は、わずかに約２２ミリ秒である。ＰＡＬカメラを使用する場合、画像を処理し、通信およびウィンドウステアリングに起因する他の待ち時間をカバーするのに残された時間は、約２ミリ秒である。ＮＴＳＣカメラを使用した場合、この時間を約５．３ミリ秒まで延長することができる。このように、利用可能な時間によって、商業上魅力的な標準ハードウェアを用いる場合に使用可能な処理技術が制限される。実際にかかる時間が上記の制限時間を越える場合には、観察者がフリッカの無い立体画像を見るために、頭の動きを制限する必要が生じ得る。
【００２６】
非標準の高速カメラを用いれば、映像フィールドをデジタル化するのに必要な時間は低減されるが、これは、コストが実質的に増大するので望ましくない。高速カメラを使用しても、それを動作させる速度には限界があり得る。コストを削減し、使い易さを高めるためには、可視光または赤外線の特別な光源を必要としないことが非常に望ましい。従って、トラッキングシステム２は、通常の電源を使用したときに光源の強度が約１００Ｈｚまたは約１２０Ｈｚで振動する通常の光源で使用可能であるべきである。これは、例えばイギリスの電源周波数５０Ｈｚ、あるいはアメリカの電源周波数６０Ｈｚの２倍である。カメラがこの周波数に近いあるいはそれを上回る速度で動作する場合、異なる時間における画像の強度は大幅に異なり得る。この影響を解消するには、さらに複雑な計算が必要になり、高速カメラを使用する利点が相殺されてしまう。
【００２７】
将来的な商品化の際のコストの観点から、利用可能な計算パワーには実用上限界がある。従って、画像データ量をできるだけ少なくするために、低解像度カメラが好ましい。しかし、観察者の頭が画像の中の小さい部分しか占めないように、ビデオカメラは、少なくとも自動立体表示装置の観察領域と同程度の大きさの視野をカバーしなければならない。従って、目等の対象画像領域の解像度は非常に低くなる。フィールドレートの使用によって、垂直方向の解像度は半分になる。
【００２８】
ある画像中において対象画像即ち「ターゲット画像」の位置を特定する公知技術が多数存在する。これらの技術の多くは複雑であり、有用な特徴を抽出するために過度の計算パワーおよび／または高い解像度の画像を必要とする。従って、このような技術は、多くの商業的用途において非実用的である。
【００２９】
公知の画像トラッキング技術の１つは、Ｒ． ＢｒｕｎｅｌｌｉおよびＴ． Ｐｏｇｇｉｏの”Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ： Ｆｅａｔｕｒｅｓ Ｖｅｒｓｕｓ Ｔｅｍｐｌａｔｅｓ”， ＩＥＥＥ Ｔｒａｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｖｏｌｕｍｅ １５， Ｎｏ． １０， １９９３年１０月に開示されている。この技術を添付の図１２に示す。第１の工程４５において、位置特定の対象であるターゲット画像を１つ含む「テンプレート」を捕捉する。図１３は、サーチ対象画像４６と、ターゲット画像を含むテンプレート４７とを示す。テンプレートを捕捉した後、それを用いて、各画像フィールドのサブセクションの全てを順番に調べる（ｉｎｔｅｒｒｏｇａｔｅ）。工程４８において、最後にデジタル化された画像を取得し、工程４９において、テンプレートと「その下にある（ｕｎｄｅｒｌｙｉｎｇ）」画像エリアの最良の相関関係が存在する位置を検索することによってテンプレートマッチングを行う。具体的には、テンプレートと同じ大きさおよび同じ形状である画像４６のサブセクションを画像の左上コーナーから選択し、これをテンプレート４７と相関させる。この相関関係を格納し、画素１列分右のサブセクションを選択することにより上記処理を繰り返す。これを、画像の最上行について繰り返し、その後、画素１行分下に移動してこの処理を繰り返す。従って、添付の図１４に示すように、Ｍ×Ｎ画素の画像およびｍ×ｎ画素のテンプレートの場合、位置の数は（Ｍ−ｍ＋１）×（Ｎ−ｎ＋１）となる。これらの位置についての交差相関（ｃｒｏｓｓ−ｃｏｒｒｅｌａｔｉｏｎ）関係は、これらの位置の２次関数を形成し、添付の図１５に示す面のようにプロットされ得る。この面のピークは、最良マッチング位置を示す。
【００３０】
工程５０において、ピーク相関関係即ち最良相関関係が所定の閾値よりも大きいかどうかを判定する。そうである場合、最後にデジタル化された画像内にターゲット画像が検索されたと仮定でき、この情報を、例えば図１２の参照符号５１のように使用することにより、観察者トラッキング自動立体表示装置を制御することができる。次のデジタル化画像が捕捉されると、工程４８〜工程５１が繰り返され、その後も同様の処理が繰り返される。
【００３１】
別のテンプレートマッチング技術が、ＵＳ３８２８１２２に開示されている。ＵＳ３８２８１２２は、航空機搭載ミサイル用の、一連の画像を提供するビデオカメラを有するターゲットトラッキング装置を開示する。ユーザは、表示装置の画像上で（小さい矩形を含んだ）大きい矩形を動かすことによって、第１の画像上にターゲットを特定する。小さい矩形がターゲットに重なったとき、小さい矩形の中の画像がターゲットメモリに格納される。次の画像を受け取ると、大きい矩形の中の画像の位置を現フレームメモリに格納し、装置はターゲットが大きい矩形の中心にあるかどうかを判定する。具体的には、ターゲットメモリの内容を、大きい矩形の中における小さい矩形の全ての位置について、現フレームメモリの内容に相関させ、最大相関値を示す位置を選択する。
【００３２】
テンプレートマッチングは、コンピュータで実施するには比較的容易な処理であるが、計算集約型の処理である。直接テンプレートマッチングを行うには、非常に高性能なコンピュータハードウェアが必要であり、これは、商品化のためには非実用的である。
【００３３】
ＥＰ０５７９３１９は、テレビ電話からの一連の画像において顔の動きをトラッキングする方法を開示する。第１のフレームにおいて、顔の画像についての重心（ｃｅｎｔｒｏｉｄ）および動きベクトルを求め、これを用いて、次のフレームの重心を推定する。第１のフレームと次のフレームとにおける重心の周りのエリアを比較することにより、推定した重心の周りに画像を形成する。第１のフレームと前フレームの顔の位置を比較することにより、動きベクトルを推定する。
【００３４】
この技術には、いくつかの欠点がある。例えば、重心を中心として形成される画像の形状およびサイズが、フレーム毎に異なり得る。従って、重心が、例えば観察者の目と目の中間点である顔の画像中の同じ位置を指さない。この結果、トラッキングにおける実質的な誤差を生じる。さらに、第１のフレームにおいて重心の初期位置を求めた後、それ以降の重心位置推定は、動きベクトルを求めることによって行われる。従って、動きベクトルを求める際に誤差が累積し得る。このように、この技術は、テレビ電話の用途には適しているかもしれないが、観察者トラッキング自動立体表示装置における使用には精度が不十分である。
【００３５】
本発明はかかる問題点を解決するためのものであって、その目的は、望ましくないまたは非実用的な大きい計算パワーを必要とせずに、ターゲット画像の位置を高速に示す、画像トラッキングシステム、観察者トラッキング自動立体表示装置および画像トラッキング方法を提供することである。
【００３６】
【課題を解決するための手段】
本発明による画像トラッキングシステムは、画像シーケンスを取得する画像シーケンス取得手段と、該画像シーケンス取得手段によって取得された前記画像シーケンスが与えられる制御部とを備えた画像トラッキングシステムであって、該制御部が、前記画像シーケンス取得手段によって取得された画像シーケンスの１つの画像である第１の画像の全体に対してターゲット画像のテンプレートによるテンプレートマッチングを適用し最良の相関値が得られる位置を検出して、その検出された位置をターゲット位置とする第１の手段と、前記第１の画像と、該第１の画像の次に利用可能な前記画像シーケンスの１つの画像である第２の画像とに対して微分法を適用して両画像間の前記ターゲット位置の移動量を算出する第２の手段と、前記第１の手段によって検出されたターゲット位置と前記第２の手段によって算出された移動量とに基づいて前記ターゲット位置を更新する第３の手段と、該第３の手段によって更新されたターゲット位置を中心とした所定の大きさの領域に対してターゲット画像のテンプレートによるテンプレートマッチングを適用して最良の相関値が得られた位置を検出し、該位置をターゲット位置として更新する第４の手段とを有し、前記第２の手段は、前記第２の画像を前記画像シーケンスの新たな画像に置き換えるとともに前記第１の画像を前記第２の画像に置き換えた後に、該第４の手段によってターゲット位置が更新されると、該ターゲット位置と前記第２の手段によって算出された移動量とに基づいて前記ターゲット位置の移動量を算出するものであり、これにより、上記目的が達成される。
前記第２の画像が、前記第１の画像と連続している。
前記第１の画像が、前記画像シーケンスのそれぞれの画像である。
前記画像シーケンス取得手段は、前記画像シーケンスの画像をリアルタイムで前記制御部に与える。
前記第２の画像が、前記画像シーケンス取得手段からリアルタイムで取得された画像である。
前記画像シーケンス取得手段が、ビデオカメラを含む。
前記画像シーケンス取得手段が、前記第１の画像および前記第２の画像を格納するメモリを含む。
前記画像シーケンスが、インターレースされた連続するフィールドを含む。
前記制御部が、プログラムドプロセッサである。
前記第２の手段は、前記第２の画像が前記画像シーケンス取得手段によって与えられるとすぐに前記移動量を算出する。
前記第４の手段は、前記第２の画像上における前記ターゲット位置を更新すると、すぐに、前記テンプレートマッチングを適用する。
前記第４の手段の前記テンプレートマッチングが適用される所定の大きさの領域は、前記画像シーケンスの画像よりも小さく且つ前記第３の手段によって更新されたターゲット位置を含む。
前記所定の大きさの領域の中心が、前記第３の手段によって更新されたターゲット位置である。
前記第１の手段は、前記最良の相関値を所定の閾値と比較し、該最良の相関値が閾値を越えない場合には、前記画像シーケンスの新たな画像を第１の画像として前記テンプレートマッチングを実施する。
前記第４の手段は、前記最良の相関値を所定の閾値と比較し、該最良の相関値が閾値を越えない場合には前記ターゲット位置を更新せず、前記第１の手段は、その後に、前記画像シーケンスの新たな画像を第１の画像として、前記テンプレートマッチングによるターゲット位置を検出する。
前記第１の手段は、前記所定の大きさの画像部分内の複数の第１の領域において前記ターゲット画像のテンプレートマッチングを行い、その後に、該第１の領域よりも小さい領域であって、該テンプレートマッチングによるターゲット位置の近傍に配された複数の第 ２の領域において前記テンプレートマッチングを行う。
前記画像シーケンス取得手段によって取得された前記画像シーケンスの１つの画像の一部を前記ターゲット画像として捕捉して格納する第５の手段を備えている。
前記第５の手段が、前記捕捉して格納された画像シーケンスの画像を表示する表示装置と、該表示装置上に境界画像を生成する画像生成装置とを備え、該境界画像内の画像領域の捕捉がユーザによって指示される。
前記表示装置上の前記境界画像の位置がユーザによって指示される。
前記第２の手段は、１組の方程式
【数２】

を解くことによって、前記移動量を算出するようになっており、ここで、ｘ _ｉ およびｙ _ｉ はｉ番目の画像要素のデカルト座標であり、ｉは１≦ｉ≦ｊである整数であり、ｊは１よりも大きい整数であり、ｆ ₁ およびｆ ₂ は前記第１の画像および前記第２の画像を表す関数であり、ΔｘおよびΔｙは前記動きのデカルト成分である。
また、本発明の観察者トラッキング自動立体表示装置は、前記画像シーケンス取得手段が、ビデオカメラを含む前記画像トラッキングシステムと、右目用ウィンドウおよび左目用ウィンドウを有し、該右目用ウィンドウおよび左目用ウィンドウのそれぞれに右目用画像および左目用画像を表示することによって立体画像を表示する表示装置とを備え、前記ビデオカメラは、前記表示装置の正面の観察者の画像を捕捉し、前記トラッキングシステムにおける前記ターゲット画像が、該観察者の目の画像であり、前記トラッキングシステムによって得られるターゲット位置に基づいて、前記表示装置の右目用ウィンドウおよび左目用ウィンドウの位置をステアリングするステアリング手段をさらに有する。
前記ビデオカメラが、前記表示装置の光心に配置されている。
また、本発明の画像トラッキング方法は、（１）取得された画像シーケンスの１つの画像である第１の画像全体に対してターゲット画像のテンプレートによるテンプレートマッチングを適用し最良の相関値が得られるテンプレートの位置をターゲット位置として検出する工程と、（２）前記第１の画像の次に利用可能な画像シーケンスの１つの画像である第２の画像を取得する工程と、（３）前記第１の画像と前記第２の画像とに対して微分法を適用して両画像間の前記ターゲット位置の移動量を算出する工程と、（４）前記ターゲット位置と前記移動量とに基づいて該ターゲット位置を更新する工程と、（５）更新された前記ターゲット位置を中心とした所定の大きさの領域に対してターゲット画像のテンプレートによるテンプレートマッチングを適用して最良の相関値が得られた位置を検出し、該位置をターゲット位置として更新する工程と、（６）その後に、前記第２の画像を前記画像シーケンスの新たな画像に置き換えるとともに前記第１の画像を前記第２の画像に置き換えた後に、前記工程（３）〜（５）を繰り返す工程と、を包含する。
【００６８】
以下、本発明の作用を説明する。
【００６９】
画像トラッキングシステムは、画像シーケンスをプロセッサに与えるためのビデオカメラまたは他の装置を備えている。画像は、映像フィールドシーケンスの形態でリアルタイムに与えられる。プロセッサは、例えば画像フィールドの中のターゲット画像の位置が特定され得る領域に限定してテンプレートマッチング技術を用いることによって、前画像フレーム内におけるターゲット画像の位置を求める。その後、プロセッサは、例えば微分技術を用いることによって、前フィールドと次のフィールドの間の動きを求める。その後、前フィールド内におけるターゲット画像の位置と、前フィールドとそれに連続する次のフィールドの間の動きとの和として、更新されたターゲット画像位置を形成する。この位置データを、例えば自動立体３Ｄ表示装置のウィンドウステアリングメカニズムに供給する。これにより、観察者の目をトラッキングし、観察者の動きの自由度が拡大された表示装置の自動立体観察を確実にする。
【００７０】
【発明の実施の形態】
以下、添付の図面を参照しながら、実施例によって本発明をさらに説明する。全ての図面において、同一の参照符号は同一の部材を示す。
【００７１】
図１６は、本発明の実施形態の構成する観察者トラッキング自動立体表示装置を示す。観察者トラッキング自動立体表示装置は、これも本発明の実施形態を構成するビデオ画像トラッキングシステムを含む。図１６に示すトラッキングシステム２は、図１のものとは異なり、トラッキングセンサ３が、約６０Ｈｚのフィールドレートで動作するＳＯＮＹ ＸＣ９９９ ＮＴＳＣカメラを含み、トラッキングプロセッサ４にはマウス６０が設けられている。トラッキングプロセッサ４は、約１５０ＭＨｚで動作するＲ４４００プロセッサを備えたＩｎｄｙシリーズのＳｉｌｉｃｏｎ Ｇｒａｐｈｉｃｓエントリーレベルマシン（ｅｎｔｒｙ ｌｅｖｅｌ ｍａｃｈｉｎｅ）と、カメラ３によって捕捉される各フィールド毎に６４０×２４０画素（ピクセル）の解像度を持つ映像デジタイザおよびフレーム記憶装置とを有する。カメラ３は、３Ｄ表示装置７の上に配置され、表示装置の正面に座っている観察者８に向けられる。観察者８とカメラ３の間の通常の距離は、約０．８５メートルであり、この距離において、観察者は、横方向即ちＸ方向において約５００ミリメートルの移動自由度を有する。カメラ３によって形成される画像における２つの画素間の距離は、Ｘ方向およびＹ方向において、それぞれ、約０．７および約１．４ミリメートルに相当する。それぞれインターレースされたフィールドが個々に用いられるので、Ｙ方向の解像度は半分になる。後述のテンプレートは、１５０×５０画素の大きさに選択される。これは、約１０５×７０ミリメートルの領域に相当する。マウス６０は、後述のテンプレート捕捉の際に用いられる。カメラ３は、周囲照明下におけるユーザの画像の連続的なシーケンスを捕捉し、これをプロセッサ４に与える。
【００７２】
図１７は、プロセッサ４が行うトラッキング方法を概括的に記載する。初期化ステージの工程６１において、ターゲット画像を有するテンプレートをインタラクティブに捕捉する。初期化ステージに続いて、工程６２のグローバルテンプレートサーチからトラッキングステージが始まり、引き続き、動き検出工程６３およびローカルターゲットサーチが行われる。工程６５では、トラッキングが失なわれたかどうかをチェックする。トラッキングが失われていた場合、制御部は、工程６２に戻り、もう１度グローバルテンプレートサーチを行う。トラッキングが失われていなかった場合、制御部は、動き検出工程６３に戻る。このように、工程６３〜工程６５はトラッキングループを形成し、これは、トラッキングが維持されている限り行われる。動き検出工程６３は、微分動き測定法（ｄｉｆｆｅｒｅｎｔｉａｌ ｍｏｖｅｍｅｎｔ ｍｅｔｈｏｄ）によって、位置データ６６を供給する。微分動き測定法は、連続するフィールド間におけるターゲット画像の動きを求め、これを、先行フィールドについて先行の工程６４のグローバルテンプレートマッチングによって検索された位置に加算する。
【００７３】
図１８は、図１７のトラッキング方法をより詳細に示す。インタラクティブテンプレート捕捉工程６１では、ユーザに、表示装置７およびマウス６０を用いてテンプレートを形成するターゲット画像を選択させる。この動作モードの間、図１９に示すように、表示装置７は、ビデオカメラ３によって捕捉される観察者８の画像を表示している。プロセッサ４は、この画像に、必要なテンプレートサイズのグラフィカルガイド６７と、観察者の目を表示装置７上の矩形６７内に入れて中心線６８に合わせるように観察者に指示するテキストとをオーバーレイする。観察者は、観察者自身がグラフィカルガイド６７に対して正しい位置になったところで、マウス６０のボタンを操作する。これにより、グラフィカルガイド６７内の観察者の画像の一部をプロセッサ４が捕捉および格納し、これをテンプレートまたはターゲット画像として使用する。
【００７４】
あるいは、マウス６０を用いて、グラフィカルガイド６７を、観察者の目に対して正しい位置になるようにドラッグして、その後、マウスボタンを押してターゲット画像を格納するようにしてもよい。
【００７５】
インタラクティブテンプレート捕捉６１の利点の１つは、観察者が、許容可能な位置精度で、テンプレートの選択に関する決定を行うことができることである。これは、人間の顔の認識、および、目の領域のような対象画像領域の選択を含む。人間の視覚によればこの処理は簡単であるが、コンピュータにとっては、年齢、性別、目の形状および様々な照明条件の下での肌の色が異なる可能性のある全ての種類の人間について、テンプレート捕捉を行うことは困難である。テンプレート捕捉は、あらゆる形状および色の眼鏡をかけた観察者に対して行うことができるが、他の公知のタイプのトラッキングシステムは、眼鏡をかけた観察者には対応できない。
【００７６】
図１８に示すように、工程６１は、最新のデジタル画像をプロセッサ４のフレーム記憶装置から取り出す工程６９を含む。工程７０において、テンプレート位置を示すグラフィックスオーバーレイを描画する。工程７１では、マウスボタン等の入力装置が操作されたかどうかを検出することによって、テンプレート位置が正しいかどうかをテストする。正しくない場合には、制御部は工程６９に戻る。ターゲット画像が捕捉されると、制御部は、グローバルテンプレートサーチ工程６２に進む。
【００７７】
工程７２において、フレーム記憶装置から次の利用可能なデジタル画像を取得し、工程７３において、この画像全体にテンプレートマッチングを適用して、テンプレートを形成するターゲット画像の開始位置（座標：Ｘ_０、Ｙ_０）を検索する。後述するように、開始位置は、テンプレートとその下にある画像エリアとの最良相関値が得られる位置である。工程７４において、工程７３で求めた最良相関値が所定の閾値よりも大きいかどうかを判定する。最良相関値が閾値を越えない場合には、制御部は、工程７２に戻り、次の利用可能なデジタル画像についてこの処理を繰り返す。最良相関値が閾値を越える場合、制御部は、ターゲット確認を伴った動き検出を行う工程６３、６４および６５に進む。
【００７８】
工程７５において、最後に処理された画像ｆ_１を格納し、次の利用可能な画像ｆ_２を取り出して処理する。工程７６において、画像ｆ_１およびｆ_２について、後述の微分法を適用して、両画像間におけるテンプレートの移動即ち動きを計算する。この動きは、デカルト成分ΔＸおよびΔＹを持つ。工程７７では、工程７６において計算された動きを、前のテンプレートマッチングの際に求めた位置に加算して位置データを更新する。これにより、工程７８で、表示装置制御プロセッサ５を介してウィンドウステアリングメカニズム６に出力される位置データＸ_０、Ｙ_０は、Ｘ_０＋ΔＸ、Ｙ_０＋ΔＹとして生成される。
【００７９】
工程７８の後、工程７９において、後述のように、画像ｆ_２にテンプレートマッチングを適用する。具体的には、位置Ｘ_０、Ｙ_０を中心とした画像中の小さい領域に対して階層サーチを適用する。このテンプレートマッチングは、交差相関技術を含み、工程８０において、工程７９で求めた最良相関値を所定の閾値と比較することによって、トラッキングが失なわれたかどうかを検出する。最良相関値が所定の閾値未満である場合、制御部は、グローバルテンプレートサーチ６２の中の工程７２に戻り、次の利用可能なデジタル画像内におけるターゲット画像の位置を再び特定する。最良相関値が所定の閾値よりも大きい場合、工程８１において、最良相関値位置をパラメータＸ_０およびＹ_０として入力することにより位置データを更新する。その後、制御部は工程７５に戻り、観察者トラッキングが必要である間、工程７５〜工程８１を繰り返す。
【００８０】
テンプレートマッチング工程７３は、図１２〜図１４を参照しながら上記したタイプのものである。初期工程の際、および、工程８０においてトラッキングが失われたと判定される度に、全画像エリア中におけるターゲット画像の位置を特定する必要がある。具体的には、画像全体中におけるターゲット画像の位置が分かるまでの間は、微分動き測定法７６を開始することはできない。
【００８１】
好適な実施形態においては、図１４を参照しながら説明したように、テンプレート中のターゲット画像を、テンプレートによってオーバーレイされた各サブセクションに交差相関させることによってテンプレートマッチングが行われる。テンプレートと画像中の現サブセクションとの相似性（ｓｉｍｉｌａｒｉｔｙ）は、あらゆる適切な測定基準（ｍｅｔｒｉｃ）によって測定され得るが、好適な実施形態においては正規化された交差相関を用いる。テンプレートマッチングされる画像エリアの左上コーナーの座標ｘ_０、ｙ_０に対する正規化された交差相関Ｃ（ｘ_０、ｙ_０）は、
【００８２】
【数３】

【００８３】
但し、ｆ（ｘ、ｙ）は、入力画像を表す関数、
Ｔｐ（ｘ、ｙ）は、テンプレートのターゲット画像を表す関数、
（ｘ、ｙ）は、テンプレート内の各画素の座標、
Ｍは、テンプレート内の合計画素数
Ｃ_ｆは、ｆ（ｘ、ｙ）の自己相関値
Ｃ_Ｔｐは、テンプレートＴｐ（ｘ、ｙ）の自己相関値
として計算される。
【００８４】
上記自己相関値は、
【００８５】
【数４】

【００８６】
【数５】

【００８７】
によって与えられる。
【００８８】
交差相関Ｃ（ｘ_０、ｙ_０）の値は、［０．０，１．０］の範囲内にある。但し、最大値１．０は、テンプレートがその下にある画像と同一であるときに得られる。
【００８９】
これと同じテンプレートマッチング技術を工程７９においても用いているが、工程７９では、図２０に示すように、現在利用可能な画像の中の比較的小さい領域に対してテンプレートマッチングを適用する。参照符号８５は、前画像フィールド内において特定されたターゲット画像位置を示す。連続するビデオ画像フィールド間の時間間隔において、生じ得る最大動きは、観察者の最大移動速度によって制限される。上記した特定のハードウェア例の場合、これは、約８．３３ミリメートルの最大垂直または水平移動８６に相当する。従って、観察者の目の領域は、テンプレートと同じ（矩形の）形状を有するとともにテンプレートと同心であり、縦横のサイズがそれぞれ約１６．６７ミリメートルだけ大きい境界８７内になければならない。このように、テンプレートマッチング工程７９は境界８７内に限定されており、計算時間が最少限に抑えられる。
【００９０】
工程７３および工程７９のテンプレートマッチングをさらに最適化するには、図２１に示すように、最適化階層テンプレートマッチング技術を採用する。このテンプレートマッチングは、第１および第２のサブ工程で行われる。第１のサブ工程において、工程７３では画像全体（工程７９では境界８７）中の疎らな位置においてテンプレートマッチングを行う。下にある画像セクションとの交差相関を行うのに、テンプレート４７の全画素を用いるのではなく、比較的粗いグリッドの交点にある８８および８９のような画像要素を用いる。これにより、テンプレートおよび下にある画像領域がサブサンプリングされ、交差相関計算において処理しなければならないデータの量が低減される。各画像要素を表すデータを切り捨て（ｔｒｕｎｃａｔｅ）ることによって計算時間をさらに削減し得る。
【００９１】
参照符号９０は、最後に検出されたターゲット画像の位置を示す。テンプレートマッチングの第１のサブ工程が完了した時点で、例えば、位置９１を中心としたターゲット画像について相関値が最大となることが分かる。
【００９２】
その後、第２のサブ工程を行って、ターゲット画像の位置を高精度化（ｒｅｆｉｎｅ）する。上記と同じ交差相関計算を行うが、ここでは、より小さい領域９２に限定してサーチを行う。領域９２の寸法は、縦横それぞれ、第１のサブ工程における疎らな段階（ステップ）の２倍である。このサブ工程は、より細かい段階（ステップ）およびより高い画像要素解像度を用いて行われ、この結果、現処理中画像フィールド内のターゲット画像について高精度化された位置９３が検索される。
【００９３】
テンプレートマッチング工程を２工程より多数のサブ工程に分割してもよいが、実際には、効率および精度の観点から２サブ工程の構成が適当であることが分かっている。これは、第１のサブ工程において２つの隣接する位置間のステップサイズを大きくし過ぎると、正しい「粗」位置を簡単に見過ごしてしまうからである。
【００９４】
上記のように、工程７４および８０においては、それぞれ工程７３および７９において得られた最良交差相関値を所定の閾値と比較することにより、ターゲット画像が、現画像内（工程７４）あるいは画像の境界８７内（工程８０）に存在するかどうかを判定する。もし、
頭の動きが並進的であり、
強度変化が全くなく、
カメラが線形（ｌｉｎｅａｒ）であり、光学系の故障が全くなく、
電子回路からのランダムノイズが全くなく、
デジタル化誤差が全くない
場合、最良一致（ｂｅｓｔ−ｍａｔｃｈｅｄ）位置における交差相関値は、理論上１となる。
【００９５】
実際には、これらの条件を満たすことは不可能であり、テンプレートによって画像内に完全な一致が検索されることはない。従って、最良交差相関値を所定の閾値と比較し、これにより、許容可能な一致が検索されたかどうかを確立するとともに、交差相関値の比較的低い、不適切な画像部分にシステムがロックすることを防ぐ。予め設定される閾値は、様々な照明条件の下で多数の異なる種類の人間を対象として実験を行うことによって発見的に求める。最大値１．０の正規化された交差相関値を用いる場合、典型的な閾値の値は約０．５である。
【００９６】
テンプレート４７はどのような形状であってもよいが、コンピュータ処理が容易な矩形が好ましい。テンプレートのサイズは、ターゲット画像の位置を求める効率および精度に影響し得るので重要である。テンプレートが大きい程、より鋭いピーク相関が得られ、ピーク位置がより正確に求められる。この主な理由は、画像領域が大きい程、顔の特徴をより多く含み、このため、ピーク位置からの微少な移動でも交差相関値をより実質的に変化させるからである。しかし、テンプレートが大きい程、より多くの計算時間を必要とする。また、テンプレートマッチングが画像の背景内容に影響されることを防ぐために、テンプレートは、画像内の観察者の顔の境界を越えるべきではない。これらのファクタのバランスがとれる典型的なサイズは、画像内の観察者の両目の領域を丁度カバーする程度のサイズである。上記のパラメータの場合、１５０×５０画素のテンプレートサイズが適切である。
【００９７】
観察者の両目の中間点を用いて観察ウィンドウのステアリングを制御しているが、上記の較正を人間の観察者が行う場合には、コーナー等のテンプレートの他の位置を用いることも可能である。較正の結果には、暗示的且つ自動的にオフセットが含まれる。
【００９８】
微分法７６においては、２つの連続する画像フィールド間の相対移動を測定し、この移動が純粋に並進的であると仮定する。この移動は、周知のテイラー近似を用いて２つの連続する画像フィールドの強度の差から求められる。テイラー近似は、例えば、Ｔ．Ｓ．Ｈｕａｎｇ（編）， Ｉｍａｇｅ Ｓｅｑｕｅｎｃｅ Ａｎａｌｙｓｉｓ， ＩＳＢＮ ３−５４０−１０９１９−６， １９８３年、に開示されている。ｆ_１（ｘ、ｙ）が、連続するフィールドの内の第１のフィールドの点（ｘ、ｙ）における画像特徴の強度であり、この画像特徴が（Δｘ、Δｙ）だけ移動して第２のフィールドにおいて位置（ｘ＋Δｘ、ｙ＋Δｙ）にあるとすると、第２のフレームのグレーレベルｆ_２（ｘ＋Δｘ、ｙ＋Δｙ）は同じグレーレベルを有する、即ち、
ｆ_１（ｘ、ｙ）＝ｆ_２（ｘ＋Δｘ、ｙ＋Δｙ）
となる。
【００９９】
動きの量が微少である場合、上記式の右辺は、１次の微分項（ｆｉｒｓｔ ｏｒｄｅｒ ｄｉｆｆｅｒｅｎｔｉａｌ ｔｅｒｍｓ）を切り捨てたテイラー展開を用いて、
【０１００】
【数６】

【０１０１】
と近似することができる。
【０１０２】
上記式において、ΔｘおよびΔｙは、動きを表す未知数である。このように、２つの連続する画像における１対の画素から１つの式が得られるので、２対の画素からは２つの式の線形システムが得られる。この線形システムは、上記２つの未知数について解くことができ、これにより、動きが与えられる。実際には、ランダムな誤差を低減するために、周知の最少２乗法を利用して、多数の画素を用いる。例えば、約５０〜約６０個の画素を用いることが可能である。
【０１０３】
画素対は、観察者の目の領域等のターゲット画像から選択するべきである。しかし、連続するフィールド間の動きが求められるまでの間、ターゲットの実際の位置は未知である。実際には、図２０を参照しながら上記したように、２つの連続するフィールド間の実際の動きには限界があるので、図２０に示す領域９４から画素対を選択することが可能である。観察者の移動速度が設定最大速度未満であれば、領域９４は、移動の方向に関わらず、連続する画像フィールド内に頭の一部を常に含んでいる。
【０１０４】
微分法をより明瞭に説明するために、１次元の例を図２２に示す。この場合、テイラー近似は、
【０１０５】
【数７】

【０１０６】
にまで低減する。これは、
【０１０７】
【数８】

【０１０８】
のように書き直すことができる。但し、
Δｆ＝ｆ_１（ｘ）−ｆ_２（ｘ）
である。
【０１０９】
図２２に示す曲線９５および９６は、ある画像の連続するフィールドに対応する、時間ｔ_１およびｔ_２における１次元動きターゲットの画像をそれぞれ表している。この移動が行われた時点で、時間ｔ_１において位置ｘ_０にある点Ｐ_１は、時間ｔ_２においては位置ｘ_０＋Δｘにある点Ｐ_１’である。同様に、時間ｔ_１における点Ｐ_２は、時間ｔ_２において点Ｐ_２’になる。図２２において簡単な三角形の幾何学形状で示すように、動きΔｘは、位置ｘ_０における強度差Δｆおよびこの位置におけるターゲット強度の勾配から計算できる。
【０１１０】
実際には、偏導関数（ｐａｒｔｉａｌ ｄｅｒｉｖａｔｉｖｅｓ）で表される２次元テイラー近似における勾配は、数値の差、即ち、
【０１１１】
【数９】

【０１１２】
【数１０】

【０１１３】
によって近似され得る。
【０１１４】
これらの近似は、画像フィールドに存在する不可避のノイズの影響を受ける。この影響を低減する方法の１つは、小さいウィンドウに対して多項式面（ｐｏｌｙｎｏｍｉｎａｌ ｓｕｒｆａｃｅ）をフィッティングさせることである。例えば、３×３画素のウィンドウに対して、
ｆ（ｘ、ｙ）＝ａｘ^２＋ｂｙ^２＋ｃｘｙ＋ｄｘ＋ｅｙ＋ｇ
の面をフィッティングさせることが可能である。
【０１１５】
パラメータ｛ａ、ｂ、ｃ、ｄ、ｅ、ｇ｝は、費用関数（ｃｏｓｔ ｆｕｎｃｔｉｏｎ）
【０１１６】
【数１１】

【０１１７】
を最小化することによって求められる。但し、合算（ｓｕｍｍａｔｉｏｎ）は、現画素を中心とした３×３のウィンドウに対して行われる。最小化は、各パラメータに関する偏導関数が０の場合に達成される。これにより、容易に解くことができる方程式系が得られる。すると、ｆ（ｘ、ｙ）の偏導関数は、
【０１１８】
【数１２】

【０１１９】
【数１３】

【０１２０】
のように計算される。３×３のウィンドウについて、最終的な式は、
【０１２１】
【数１４】

【０１２２】
【数１５】

【０１２３】
によって表すことができる。
【０１２４】
微分法７６は計算上効率的であり、ここに記載される特定の実施形態において、約２ミリ秒しか必要とせず、適切な精度を提供するので、工程７８において供給される位置データの出力を用いて自動立体表示装置のステアリングメカニズム６を制御することができる。しかし、動き検出法だけを用いて安定なトラッキングを行うことはできない。なぜなら、検出される動きには常に測定誤差があるからである。合間に訂正を行わずに動き検出法を繰り返すだけでは、誤差が累積し、正確なトラッキングがすぐに失われる。連続するフィールドのそれぞれについて正確な位置測定を行うためにはテンプレートマッチング工程７９が必要である。微分法７６で１回の反復処理に生じる誤差は小さすぎて正確な観察者トラッキングに影響しない。工程７９で行われるターゲット確認において、検出された位置において、ターゲット画像が本当にそこにあることを確認するとともに、次の動き検出工程７６の前に、位置データを高精度化する。上記のように、動き検出工程にかかる時間は約２ミリ秒であり、フィールド反復レートが約６０Ｈｚの場合、次のデジタル化画像が用意されるまでに約１４．７ミリ秒が残る。この「待ち時間」は、テンプレートマッチング工程７９がターゲット確認を行うのに十分である。
【０１２５】
工程７７において、工程７６で検出された動きを、前画像フィールドについて工程７９において求められた位置に加算する。このように、工程７８においてターゲット画像位置を示すのに１回の微分法工程７６の結果（含まれる誤差は１組のみ）だけを用いるので、微分法工程７６における累積誤差が回避される。テンプレートマッチング工程７９において、誤差を含むターゲット画像位置が計算されるが、現ターゲット画像に対して１回毎にテンプレートマッチングを行うので、この誤差は累積しない。従って、得られる位置データは、常に、正しいターゲット位置＋単一の測定誤差となる。
【０１２６】
動き検出とテンプレートマッチングとは効率的に協働する。動き検出は、高速に位置データを生成し、これにより、待ち時間が最小限になる。動き検出の結果によって、テンプレートマッチングのサーチエリアが限定される。テンプレートマッチングを利用することによって、ターゲット位置を確認するとともに、動き検出による測定誤差の累積を防ぐ。この効率的な組合せによって、短い待ち時間、高い更新頻度および十分な測定精度の要件が満たされるので、観察者トラッキング自動立体３Ｄ表示装置に適した信頼性の高いトラッキングシステムを提供することが可能になる。
【０１２７】
図２３は、画像フィールドシーケンスのデジタル化のタイミングに関連した、工程７６および７９のタイミングを示す。デジタル化は、時間９７から開始され、図１６に示すようなフィールドレート６０ＨｚのＮＴＳＣビデオカメラを用いて、各フィールドが、約１６．６７ミリ秒の期間内にデジタル化される。プロセッサ４は、図１１に示すタイプのリングバッファを含んでおり、次のフィールドを捕捉している間に、各フィールドが各バッファメモリから利用可能である。
【０１２８】
時間９８から計算が開始され、グローバルテンプレートサーチ６２が既に行われてターゲット画像の初期位置が与えられているとすると、約２ミリ秒以内に工程７６が行われ、位置データＰｍｄが利用可能となり、これを前工程７９においてテンプレートマッチングによって求めた位置Ｐｔｍに加算することができる。従って、新しいフィールドが捕捉およびデジタル化された後すぐに、工程７６が開始される。工程７９は、工程７６が完了した後すぐに終了し、これにかかる時間は約１０ミリ秒である。従って、各画像フィールドについての画像全体のトラッキングは、１つの画像フィールドをデジタル化するのに必要な時間以内に完了するので、観察者位置測定の反復レートは、約６０Ｈｚのフィールド反復レートに等しい。位置測定の待ち時間は、約１８．７ミリ秒であり、約５ミリメートルよりも優れたＸ方向精度を得ることが可能である。これは、例えば図２に示す自動立体表示装置において使用される画像トラッキングシステムには十分である。
【０１２９】
グローバルテンプレートサーチ６２には、約６０ミリ秒の固定時間がかかる。例えば観察者がビデオカメラ３の視野外に出ることにより、工程６３、６４および６５においてターゲット画像が失われた場合、トラッキングシステムはターゲット画像が失われたことを検出し、観察者が視野の中に戻ってトラッキングシステムが再びその位置を特定するまでの間、グローバルテンプレートサーチ６２に切り換える。
【０１３０】
微分法７６は、２つの連続するフィールド間の動きが画素３〜４個分を越えない場合に良好に機能する。これは、大凡、図２に示す自動立体サイズの典型的な実施形態における観察者の平均速度であるが、実際には、観察者がこの２倍の速度で動く場合も時々ある。このような状況下では、微分法は、動きを過小評価する傾向がある。この問題を解決する技術の１つは、反復微分法（ｉｔｅｒａｔｉｖｅ ｄｉｆｆｅｒｅｎｔｉａｌ ｍｅｔｈｏｄ）を用いることである。例えば、連続するフィールド間においてターゲット画像が７画素分動いたにも関わらず第１の反復処理において動きを４画素と推定した場合、次の反復処理までの間、第２の画像フィールドは４画素分だけシフトし得る。このとき、シフトしたフィールドと前フィールドとの間の相対的動きは約３画素であるが、これは、正確に測定され得る。２回よりも多い反復処理を用いることも可能であるが、実際には、２回の反復処理が適当であることが分かっている。
【０１３１】
上記のように、観察者位置データは、図３に示すようにデカルト座標で表すことができる。上記のトラッキングシステムは、ＸＹ方向頭トラッキングを実現するが、観察者がＺ方向には移動せずに表示装置のウィンドウ平面２３内に留まっている場合には、Ｘ位置データのみでも十分な場合がある。通常、観察者がＺ方向に動く場合には、Ｚ方向トラッキングが必要となる。しかし、カメラ３のレンズ９９の光心が表示装置の光心２９と位置的に整合している特別な場合には、Ｚ方向トラッキングは明示的には必要でない。
【０１３２】
図７に示すように、観察ゾーン２８は、水平方向ＸＺ平面において角度的に隔てられている。図２４に示すように、カメラレンズ９９の光心が表示装置の光心２９と位置的に整合している場合、参照符号１００等の同一の切替線上の全ての点が、参照符号１０１等のカメラ３の結像面１０２上の同一の点に結像する。従って、カメラのある画素のＸ位置は、観察者の角度的な位置を示し、これを図７の光学系に直接供給することにより、観察者のＺ位置を全く知る必要なく、正しくステアリングされた観察ウィンドウを得ることができる。従って、この特定の構成により、単一のカメラを使用して、精度を高めて応答時間を短縮することが可能となり、トラッキングシステムが、このタイプの自動立体表示装置に特に適したものとなる。
【０１３３】
図４に示すように、自動立体表示装置は、典型的には、ある程度の長手方向の観察自由度を観察者に与える。具体的には、観察者の目が適切な菱形観察ゾーン２１および２２内に維持されている限り、観察者は表示装置全体にわたって３Ｄ画像を知覚する。しかし、長手方向即ちＺ方向に移動した場合、観察者がビデオカメラ３に対して近づいたり離れたりするため、ターゲット画像のサイズが変化する。微分法７６においては、ターゲットが短い距離しか動かないように、最新の２つの連続する画像フィールドを用いている。従って、このスケーリングの影響（ｓｃａｌｉｎｇ ｅｆｆｅｃｔ）は最小限であり、重大な問題を引き起こすことはない。
【０１３４】
スケーリングの影響は、テンプレートマッチング工程７３および７９にとってより重要である。なぜなら、各画像フィールドが、常に、テンプレート捕捉工程６１で得た固定テンプレートを用いてサーチされるからである。このスケーリングの影響の結果、最大相関値は、最適値１未満になる。上記した特定の実施形態の場合、測定誤差が約５ミリメートルを上回らなければ、トラッキングシステムは、約０．８５メートルの最良観察位置から前後に約１５０ミリメートルの長手方向の移動を許容できる。
【０１３５】
上記のように、工程７４および８０において、所定の閾値を用いて、ターゲット画像の位置が特定されたかどうかをテストする。予め設定される閾値は、様々な照明条件下において、異なる位置および方向の様々な人間に対処できるように、十分に小さくなければならない。しかし、この閾値は、ターゲット画像を誤ったターゲット画像から区別できる程度には大きくなければならない。ターゲット確認は、図２５および図２６に示す色調（Ｈ）、彩度（Ｓ）、明度（Ｖ）測定等の追加の方法を用いてさらなるチェックを行うことによって向上し得る。
【０１３６】
図２５に示す画像トラッキングは、図１７および図１８に示すものとは異なり、工程１０３および１０４が挿入されている。人間の皮膚の彩度が均一になることは周知である。この均一性は、グレーレベル等の他の画像特徴と比べて、異なる照明条件による影響を受けにくい。照明が均一であれば、顔の大部分にわたって顔の色調および彩度は共に滑らかに変化する。照明が不均一であっても、画像の彩度は観察者の顔の両側で非常にバランスがとれた状態を維持するが、強度画像（ｉｎｔｅｎｓｉｔｙ ｐｉｃｔｕｒｅ）は、目に見えて片側では暗く反対側では明るくなり得る。また、観察者の顔の平均彩度値は、より顕著に、背景の平均彩度値と異なる。観察者の顔の彩度の平均値は、頭を移動する際にもほとんど変化しない。これにより、ターゲット確認をさらにチェックすることができる。
【０１３７】
図２６は、可能性のある全ての光の色を含んだ二重円錐としてＨＳＶを示す。二重円錐の軸は、黒から白へのグレースケールの進行を表す。軸からの距離は、彩度を表す。軸を中心とした角度方向は色調を表す。
【０１３８】
赤、緑および青（ＲＧＢ）の出力を提供するビデオカメラ３の場合、ＨＳＶフォーマットへの変換は、ＲＧＢ信号の最大値および最小値を検索することによって行われる。この場合、Ｖ成分は最大信号の値によって得られる。彩度Ｓは、Ｖ成分が０である場合には０になり、そうでない場合には、最大および最小ＲＧＢ値の差を最大値で割ったものになる。色調は、
Ｖ＝０の場合、 Ｈ＝０
ｃ ｍａｘ＝Ｒの場合、 Ｈ＝（Ｇ−Ｂ）／ｄ
ｃ ｍａｘ＝Ｇの場合、 Ｈ＝２＋（Ｂ−Ｒ）／ｄ
ｃ ｍａｘ＝Ｂの場合、 Ｈ＝４＋（Ｒ−Ｇ）／ｄ
となる。但し、ｄは、ＲＧＢ値の最大値と最少値の差であり、ｃ ｍａｘは、ＲＧＢ値の最大値である。
【０１３９】
ピーク相関値が閾値を上回る場合、工程１０３において、テンプレートの下にある画像フィールドの中の最適位置にある領域を、上記のようにＲＧＢフォーマットからＨＳＶフォーマットに変換する。ターゲット画像の平均値ｓ１を計算し、これを、テンプレートの平均彩度と比較する（平均彩度は、固定であり、テンプレート捕捉工程６１の間に計算することができる）。平均彩度の差Ｓは、｜ｓ１−ｓ２｜／ｓ２として計算し、これを、工程１０４において、典型的に約０．７〜０．８である別の所定の閾値と比較する。平均彩度が閾値よりも大きい場合、制御部は動き検出工程６３に戻り、ターゲット確認が成功したことを示す。Ｓが閾値未満であった場合には、制御部はグローバルテンプレートサーチ工程６２に戻る。このように、この追加的なチェックによって、正しくないターゲット画像に誤ってロックする可能性が低くなる。
【０１４０】
上記のシステムは、あらゆる頭の移動の際に顔がほぼ真っ直ぐな位置にある単一のユーザに対して単一のテンプレートを用いている。実際には、ユーザは、少しであれば、頭を傾斜および／または回転させてよい。顔の大きさ、顔の特徴および画像の信号対ノイズ比等の複数のファクタに応じて、厳密な範囲はユーザによって異なる。複数のテンプレートを用いて、より大きい回転および傾斜を許容するように、システムを改変することが可能である。図２７の初めの行は、ユーザが、角度−Ａ度から＋Ａ度まで傾斜し得る場合の単一のテンプレートを示す。第２のテンプレートを角度２Ａで作成した場合、このテンプレートを用いて、Ａ度〜３Ａ度の範囲で傾斜した目の領域に対してテンプレートマッチングを行うことができる。同様に、第３のテンプレートを角度−２Ａで作成することにより、傾斜範囲を−Ａ〜−３Ａに拡張することができる。
【０１４１】
この例の場合、初めに、第１のテンプレートを用いて最良一致領域を検索し得る。最良相関値が所定の閾値を上回る場合には、その目の領域を検索する。そうでない場合には、第２のテンプレートを用いて、テンプレートマッチング処理を適用する。最良相関値が所定の閾値を上回る場合には、その目の領域を検索する。そうでない場合には、第３のテンプレートを用いて、テンプレートマッチング処理を適用する。
【０１４２】
例えば、第２のテンプレートを用いて目の領域が検索された場合、次のフレームに対するテンプレートマッチングは、第１のテンプレートではなく、第２のテンプレートを用いて開始され得る。最良相関値が所定の閾値を上回る場合には、その目の領域を検索する。そうでない場合には、その目の領域が検索されるまで、他の２つのテンプレートを順番に用いることができる。
【０１４３】
より多くのテンプレートを用いれば、許容される傾斜範囲がさらに拡張され得る。
【０１４４】
ユーザが頭を所望の角度に傾斜させて、上記のインタラクティブな方法を適用して、第２および第３のテンプレートを作成することが可能である。しかし、これは不便であり、またその必要でもない。なぜなら、第２および第３のテンプレートは、第１のテンプレートを所望の角度だけ回転させて計算によって作成することが可能だからである。
【０１４５】
この方法を適用して、図２８に示すようにユーザが垂直方向軸を中心として頭を回転させる際の許容される回転の範囲を拡張することが可能である。但し、この付加的なテンプレートは、個々に手動で捕捉しなければならない。
【０１４６】
複数のテンプレートを使用すると、使用するテンプレートの数に等しいファクタ分だけ、必要な計算パワーが増大する。同じ性能を維持するためには、より高性能な逐次処理コンピュータ、または並列コンピュータを用いる必要がある。上記のテンプレートマッチング処理自体、および複数のテンプレートの使用は、並列処理に非常に適している。将来、並列計算がもっと容易に利用できるようになれば、このような多重テンプレート技術が、実施および計算効率の点で有利になるであろう。
【０１４７】
本発明の範囲内で様々な改変を行うことが可能である。例えば、記載した実施形態におけるトラッキングシステムの大部分は、プログラムドデータプロセッサとして実施されているが、他の実施態様としては、カメラ、デジタル信号処理チップおよび適切な記憶装置等の個別の部品の使用が挙げられる。システムを、少なくとも部分的にカメラシステムに内蔵された専用のシリコンチップまたはチップセットとして実現することも可能である。そのようなカメラは、標準映像信号用の第１の出力と、位置データ用の第２の出力とを有し得る。ＣＭＯＳを利用したカメラシステム等のカメラセンサに直接集積されたシステムは、アナログビデオデータの生成および処理のためのデジタル／アナログコンバータおよびアナログ／デジタルコンバータを必要とせず、これにより、コストを低減し、性能を向上させる機会を提供する。また、可視光カメラの使用を記載したが、赤外線光システム等の他のセンサを用いてもよい。
【０１４８】
【発明の効果】
本発明によると、望ましくないまたは非実用的な大きい計算パワーを必要とせずに、ターゲット画像の位置を高速に示す画像トラッキングシステムを提供することができる。
【０１４９】
本発明によると、観察者が、マーカーまたは他の装置を装着する必要がなく邪魔にならない、自動立体表示装置における観察者トラッキング技術が提供される。また、比較的安価な「受動的」ビデオカメラによって観察者を観察することができ、背景または照明を特別に制御する必要もない。観察者トラッキングに必要な全てのデータは、ビデオ画像のみからリアルタイムで抽出することができる。
【０１５０】
本発明の技術は、リアルタイム、例えば最大約６０Ｈｚで、約２０ミリ秒未満の待ち時間で動作することができる。これにより、観察者は、頭移動速度を事実上全く制限されることなく、表示装置の視野内で自由に動くことができる。計算パワーに対する過度の要求がなく、低コストで商品化することができる。
【０１５１】
本発明の技術は、特別な光源の配置なしで周囲光の下で動作できる。これにより、より広い使用環境において使い易さが増す。能動的な可視または赤外線光源からの光が目に入ることが全くないので、視覚的不快感がない。能動的な光源のための部品および電源が不要なので、コストが削減される。
【０１５２】
観察者が一旦表示装置を離れた後に戻って来た際にも、トラッキングシステムは、非常に短い時間でターゲットの位置を再特定できるので、ユーザは、立体映像を再び見ることができるようになるまでに、実質的な遅延を全く感じない。トラッキング処理を行っている間に、機能が失われることもなく、周囲の照明が大幅に変化しない限りはシステムを再起動する必要もない。
【図面の簡単な説明】
【図１】公知タイプの観察者トラッキング自動立体表示装置の模式図である。
【図２】特定の公知タイプの自動立体表示装置の平面図である。
【図３】自動立体表示装置における観察ウィンドウの生成を示す図である。
【図４ａ】自動立体表示装置における観察ゾーンの生成を示す平面図である。
【図４ｂ】目の位置が水平な場合、および水平方向に対して傾斜している場合における、観察ウィンドウと、観察者の目との所望の相対位置を示す図である。
【図５】自動立体表示装置の観察ウィンドウの典型的な照度プロファイルを示すグラフである。
【図６】自動立体表示装置の観察ウィンドウの不連続な位置を示す図である。
【図７】自動立体表示装置における観察ゾーンの生成を示す平面図である。
【図８】最大観察者頭移動速度の関数としての観察者トラッキング応答時間を示すグラフである。
【図９】インターレースされた奇数フィールドおよび偶数フィールドで構成される１つの画像フレームを示す図である。
【図１０】フィールドのデジタル化および処理のタイミングを示す図である。
【図１１】リングバッファを使用してデジタル化および処理を同時に行う方法を示す図である。
【図１２】公知のテンプレートマッチング技術のフローチャートである。
【図１３】画像と適切なテンプレートとのテンプレートマッチングを示す図である。
【図１４】画像全体のテンプレートマッチングに必要な反復処理の回数を示す図である。
【図１５】異なる画像位置についての交差相関値を表す２次元の面を示す図である。
【図１６】本発明の実施形態を構成する観察者トラッキング表示装置およびトラッキングシステムを示す模式図である。
【図１７】本発明の実施形態を構成する画像トラッキング方法を示す概略フローチャートである。
【図１８】図１７の方法のより詳細なフローチャートである。
【図１９】テンプレートを捕捉する際の表示装置の様子を示す図である。
【図２０】テンプレートマッチングの対象である画像の中の限定された領域を示す図である。
【図２１】階層テンプレートマッチングを示す図である。
【図２２】微分動き測定法を示す図である。
【図２３】図１７および図１８の方法のタイミングを示す図である。
【図２４】３Ｄ表示装置に対する好適なビデオカメラ位置を示す平面図である。
【図２５】テンプレートマッチングの別の技術を示す図である。
【図２６】色調（Ｈ）、彩度（Ｓ）、明度（Ｖ）空間を示す図である。
【図２７】頭の傾斜に対処するための多重テンプレート技術を示す図である。
【図２８】垂直軸を中心とした頭の回転の影響を示す図である。
【符号の説明】
１ 表示装置システム
２ トラッキングシステム
３ トラッキングセンサ
４ トラッキングプロセッサ
５ 表示装置制御プロセッサ
６ ステアリングメカニズム
７ ３Ｄ表示装置
８ 観察者

Claims (23)

1. 画像シーケンスを取得する画像シーケンス取得手段と、
   該画像シーケンス取得手段によって取得された前記画像シーケンスが与えられる制御部とを備えた画像トラッキングシステムであって、
   該制御部が、
   前記画像シーケンス取得手段によって取得された画像シーケンスの１つの画像である第１の画像の全体に対してターゲット画像のテンプレートによるテンプレートマッチングを適用し最良の相関値が得られる位置を検出して、その検出された位置をターゲット位置とする第１の手段と、
   前記第１の画像と、該第１の画像の次に利用可能な前記画像シーケンスの１つの画像である第２の画像とに対して微分法を適用して両画像間の前記ターゲット位置の移動量を算出する第２の手段と、
   前記第１の手段によって検出されたターゲット位置と前記第２の手段によって算出された移動量とに基づいて前記ターゲット位置を更新する第３の手段と、
   該第３の手段によって更新されたターゲット位置を中心とした所定の大きさの領域に対してターゲット画像のテンプレートによるテンプレートマッチングを適用して最良の相関値が得られた位置を検出し、該位置をターゲット位置として更新する第４の手段とを有し、
   前記第２の手段は、前記第２の画像を前記画像シーケンスの新たな画像に置き換えるとともに前記第１の画像を前記第２の画像に置き換えた後に、
   該第４の手段によってターゲット位置が更新されると、該ターゲット位置と前記第２の手段によって算出された移動量とに基づいて前記ターゲット位置の移動量を算出する、画像トラッキングシステム。
2. 前記第２の画像が、前記第１の画像と連続している、請求項１に記載の画像トラッキングシステム。
3. 前記第１の画像が、前記画像シーケンスのそれぞれの画像である、請求項１または２に記載の画像トラッキングシステム。
4. 前記画像シーケンス取得手段は、前記画像シーケンスの画像をリアルタイムで前記制御部に与える、請求項１から３のいずれかに記載の画像トラッキングシステム。
5. 前記第２の画像が、前記画像シーケンス取得手段からリアルタイムで取得された画像である、請求項４に記載の画像トラッキングシステム。
6. 前記画像シーケンス取得手段が、ビデオカメラを含む、請求項４または５に記載の画像トラッキングシステム。
7. 前記画像シーケンス取得手段が、前記第１の画像および前記第２の画像を格納するメモリを含む、請求項１から６のいずれかに記載の画像トラッキングシステム。
8. 前記画像シーケンスが、インターレースされた連続するフィールドを含む、請求項１から７のいずれかに記載の画像トラッキングシステム。
9. 前記制御部が、プログラムドプロセッサである、請求項１から８のいずれかに記載の画像トラッキングシステム。
10. 前記第２の手段は、前記第２の画像が前記画像シーケンス取得手段によって与えられるとすぐに前記移動量を算出する、請求項１から９のいずれかに記載の画像トラッキングシステム。
11. 前記第４の手段は、前記第２の画像上における前記ターゲット位置を更新すると、すぐに、前記テンプレートマッチングを適用する、請求項１０に記載の画像トラッキングシステム。
12. 前記第４の手段の前記テンプレートマッチングが適用される所定の大きさの領域は、前記画像シーケンスの画像よりも小さく且つ前記第３の手段によって更新されたターゲット位置を含む、請求項１から１１のいずれかに記載の画像トラッキングシステム。
13. 前記所定の大きさの領域の中心が、前記第３の手段によって更新されたターゲット位置である、請求項１２に記載の画像トラッキングシステム。
14. 前記第１の手段は、前記最良の相関値を所定の閾値と比較し、該最良の相関値が閾値を越えない場合には、前記画像シーケンスの新たな画像を第１の画像として前記テンプレートマッチングを実施する請求項１に記載の画像トラッキングシステム。
15. 前記第４の手段は、前記最良の相関値を所定の閾値と比較し、該最良の相関値が閾値を越えない場合には前記ターゲット位置を更新せず、前記第１の手段は、その後に、前記画像シーケンスの新たな画像を第１の画像として、前記テンプレートマッチングによるターゲット位置を検出する、請求項１に記載の画像トラッキングシステム。
16. 前記第１の手段は、前記所定の大きさの画像部分内の複数の第１の領域において前記ターゲット画像のテンプレートマッチングを行い、その後に、該第１の領域よりも小さい領域であって、該テンプレートマッチングによるターゲット位置の近傍に配された複数の第２の領域において前記テンプレートマッチングを行う、請求項１から１４のいずれかに記載の画像トラッキングシステム。
17. 前記画像シーケンス取得手段によって取得された前記画像シーケンスの１つの画像の一部を前記ターゲット画像として捕捉して格納する第５の手段を備えている、請求項１から１６のいずれかに記載の画像トラッキングシステム。
18. 前記第５の手段が、前記捕捉して格納された画像シーケンスの画像を表示する表示装置と、該表示装置上に境界画像を生成する画像生成装置とを備え、該境界画像内の画像領域の捕捉がユーザによって指示される、請求項１７に記載の画像トラッキングシステム。
19. 前記表示装置上の前記境界画像の位置がユーザによって指示される、請求項１８に記載の画像トラッキングシステム。
20. 前記第２の手段は、１組の方程式
    

    

    を解くことによって、前記移動量を算出するようになっており、ここで、ｘ_ｉおよびｙ_ｉはｉ番目の画像要素のデカルト座標であり、ｉは１≦ｉ≦ｊである整数であり、ｊは１よりも大きい整数であり、ｆ₁およびｆ₂は前記第１の画像および前記第２の画像を表す関数であり、ΔｘおよびΔｙは前記動きのデカルト成分である、
    請求項１に記載の画像トラッキングシステム。
21. 請求項６に記載の画像トラッキングシステムと、
    右目用ウィンドウおよび左目用ウィンドウを有し、該右目用ウィンドウおよび左目用ウィンドウのそれぞれに右目用画像および左目用画像を表示することによって立体画像を表示する表示装置とを備え、
    前記ビデオカメラは、前記表示装置の正面の観察者の画像を捕捉し、
    前記トラッキングシステムにおける前記ターゲット画像が、該観察者の目の画像であり、
    前記トラッキングシステムによって得られるターゲット位置に基づいて、前記表示装置の右目用ウィンドウおよび左目用ウィンドウの位置をステアリングするステアリング手段をさらに有する、観察者トラッキング自動立体表示装置。
22. 前記ビデオカメラが、前記表示装置の光心に配置されている、請求項２１に記載の観察者トラッキング自動立体表示装置。
23. （１）取得された画像シーケンスの１つの画像である第１の画像全 体に対してターゲット画像のテンプレートによるテンプレートマッチングを適用し最良の相関値が得られるテンプレートの位置をターゲット位置として検出する工程と、
    （２）前記第１の画像の次に利用可能な画像シーケンスの１つの画像である第２の画像を取得する工程と、
    （３）前記第１の画像と前記第２の画像とに対して微分法を適用して両画像間の前記ターゲット位置の移動量を算出する工程と、
    （４）前記ターゲット位置と前記移動量とに基づいて該ターゲット位置を更新する工程と、
    （５）更新された前記ターゲット位置を中心とした所定の大きさの領域に対してターゲット画像のテンプレートによるテンプレートマッチングを適用して最良の相関値が得られた位置を検出し、該位置をターゲット位置として更新する工程と、
    （６）その後に、前記第２の画像を前記画像シーケンスの新たな画像に置き換えるとともに前記第１の画像を前記第２の画像に置き換えた後に、前記工程（３）〜（５）を繰り返す工程と、
    を包含する画像トラッキング方法。

Images