JP2015079502A - オブジェクト追跡方法、オブジェクト追跡装置、及び追跡特徴選択方法 - Google Patents

Abstract

【課題】オブジェクト追跡方法及び装置、並びに追跡特徴選択方法を提供する。
【解決手段】オブジェクト追跡方法は、予め選択された第１追跡特徴を用いてオブジェクトを含む画像フレーのムシーケンスにおいてオブジェクト追跡を行い、画像フレームのシーンが変化した場合は、変化したシーンに対して最適な追跡性能を有する第２追跡特徴を選択し、選択された該第２追跡特徴を用いて引き続きオブジェクト追跡を行う。該オブジェクト追跡方法によると、手の追跡において、シーンの変化に応じて、それぞれのシーンに最適な追跡性能を有する追跡特徴を動的に選択することで、正確な追跡を行うことができる。
【選択図】図２

Description

本発明は全体的にヒューマン・マシン・インタラクション分野に係わり、より具体的にヒューマン・マシン・インタラクションにおけるオブジェクト追跡方法及び装置に係る。

オブジェクト追跡は、ヒューマン・マシン・インタラクション分野で非常に重要且つ肝心な部分である。現在、オブジェクト追跡の代表となる手の追跡に関し、多くの研究が行われ、例えば、手の色特徴を用いた追跡方法、手の深度（奥行き）特徴を用いた追跡方法などの、いくつかの手の追跡方法が提案されている。

しかしながら、手は非剛体であり、動作過程において変形及び形状が不統一などの現象が発生し、また、手の動作には例えば手の動作スピードが絶えず変化するなどの、多くの特有の特性があり、手の軽快な動作は、画像中の手の情報を不鮮明にする等の原因となる。したがって、手の全体の動作過程において各種シーンでいずれも最適な追跡効果が得られる単一な手の特徴を見つけることは困難である。

米国特許第ＵＳ８２１３６７９Ｂ２号（特許文献１）には、移動目標の追跡及び計数のための方法が開示されている。該方法では、オンライン特徴の選択に基づいて、隣接する２つのフレームあたりに、予め作成された特徴プールの中にあらゆる特徴を用いて現在フレームの目標エリアと前のフレームの目標エリアの間の整合度を計算し、それから最適な整合度を有する特徴を利用し、さらに総合整合度を計算する。該方法によって、追跡を行う時、目標が移動する過程において撮影された異なる画像フレームで異なる特徴を用いて追跡を行うことが可能である。しかしながら、該方法は２つの画像フレームあたりに共に複雑な整合計算を行い、計算量が比較的に大きく、処理速度が遅い。

オブジェクト追跡方法及びオブジェクト追跡装置を提供することを目的とする。

本発明の実施例においては、予め選択された第１追跡特徴を用いてオブジェクトを有する画像フレームのシーケンスにおいてオブジェクト追跡を行うステップと、画像フレームのシーンが変化した場合は、変化したシーンに対して最適な追跡性能を有する第２追跡特徴を選択するステップと、前記選択された第２追跡特徴を用いて引き続きオブジェクト追跡を行うステップと、を含む、オブジェクト追跡方法を提供する。

本発明の他の実施例においては、画像フレームのシーンが変化した場合は、変化したシーンに対して最適な追跡性能を有する追跡特徴を選択し、該追跡特徴を追跡手段に通知する特徴選択手段と、選択された追跡特徴を用いて、前記オブジェクトを含む画像フレームのシーケンスにおいてオブジェクト追跡を行う前記追跡手段と、を含む、オブジェクト追跡装置を提供する。

本発明のさらなる他の実施例においては、オブジェクトの追跡に用いられる追跡特徴選択方法であって、前記オブジェクトを含む画像フレームのシーンの変化に応じて、変化したシーンに対して最適な追跡性能を有する追跡特徴を選択するステップ、を含む、追跡特徴選択方法を提供する。

本発明の実施例に基づくオブジェクト追跡とオブジェクト特徴選択技術は、追跡過程において、シーンの変化に応じて、それぞれのシーンに最適な追跡性能を有する追跡特徴を動的に選択することで、正確な追跡を行うことができる。

本発明の実施例によるオブジェクト追跡技術の可能な応用シーンを概略的に示す図。 本発明の実施例によるオブジェクト追跡方法のフローチャート。 本発明の実施例による予め選択した追跡特徴を用いて手を含む画像フレームシーケンス中に手の追跡を行うフローチャート。 ２種類の異なる追跡特徴の全体の訓練データ集合における特徴分布の説明図。 追跡誤差を用いて追跡性能を表示した場合の、２つの異なる特徴の訓練データ集合における追跡性能の比較を示す図。 本発明の実施例による画像フレームのシーンの変化時に、変化したシーンに対して最適な追跡性能を有する追跡特徴を選択するフローチャート。 本発明の実施例による追跡方法を応用する説明図。 本発明の実施例によるオブジェクト追跡装置による機能構成ブロック図。 本発明の実施例によるオブジェクト追跡システムによる全体ハードウエアブロック図。

当業者によりよく本発明を理解させるために、以下、図面及び具体的な実施形態に合わせて、本発明を更に詳しく説明する。

図１は本発明の実施例によるオブジェクト追跡技術の可能な応用シーンを概略的に示した。図１に示すように、ユーザがビデオカメラ１０１の撮影範囲に立ち、ビデオカメラ１０１はユーザを撮影する。ビデオカメラ１０１はカラー画像のみを提供するカメラであってもよく、カラー画像を提供し、深度画像も提供するカメラであってもよく、例えばＰｒｉｍｅｓｅｎｓｅ、Ｋｉｎｅｃｔなどである。ユーザがビデオカメラの範囲内に彼または彼女の例えば、手を移動するとき、例えば計算機の処理装置１０２などはビデオカメラ１０１が撮影した画像フレームに基づいて、適当な特徴を選択して手の追跡が行い、最終的に手が画像フレーム中での位置を出力できる。なお、図１は本発明の１種の可能な応用シーンのみを示し、実際の状況によって、応用シーン中の装置が対応的に増加或いは減少してもよいし、異なる配置を有してもよい。

説明に便利するために、以下は手の追跡を例とし、本発明によるオブジェクト追跡技術を説明する。

まず、本発明の手の追跡技術の構想に対して簡潔な説明を行う。以上のように、手が非剛体であり、動作が速く、変形しやすいなどの特性を有する。そのため、ある単一な手の特徴を見付けにくく、それは手の全体動作過程の各種シーンに共に最適な追跡効果を取得できる。この状況に対して、本発明は手の追跡過程において具体的なシーンの変化によって、現在シーンに適合する特徴を動的に選択して追跡を行う追跡技術を提出する。例えば、手が快速な動作を行うとき、手の不明瞭なエッジ情報が不明確で、ひいては紛失し、このシーンに対して、色特徴が良好な識別効果を有する。そのため、追跡過程において該シーンが現れるとき、動的に色特徴を選択して追跡を行うことが考えられる。また例えば、手が顔の付近に動作するとき、二者の色が接近するため、色特徴の識別度が下がり、それに対して深度特徴が良好な識別効果を示した。そのため、追跡過程において該シーンが現れるとき、深度特徴を動的に選択して色特徴を代替して追跡を行うことが考えられる。また、あるシーンに対して、単一な特徴を選択して手の追跡に用いられることが可能であるだけではなく、複数の種類の特徴の組み合わせを選択して追跡を行うことも可能である。このように、手の追跡過程において、具体的なシーンの変化により、現在シーンに適合する特徴を動的に選択して追跡を行うことによって、正確な追跡を実現できる。

図２は本発明の実施例によるオブジェクト追跡方法のフローチャートを示した。

図２の示すように、ステップＳ２１０において、予め選択された第１追跡特徴を用いて手を含む画像フレームのシーケンスにおいて手の追跡を行う。

追跡特徴は、手の表現特徴とし、手の追跡において良好な追跡性能を生じることができる特性である。例えば前に述べられた色特徴、深度（奥行き）特徴であり、例えばエッジ特徴、グレースケール特徴などであってもよい。

該ステップにおいて、追跡のための第１追跡特徴は、予め選択した現在シーンに適合する追跡特徴であってもよく、または何れかの他の適当な方式によって予め選択した追跡特徴であってもよい。以下は図３を参照して該ステップＳ２１０の処理に対して説明を行う。

図３の示すように、ステップＳ３１０において、追跡結果の信頼度が所定の信頼度閾値よりも小さい初期画像フレームＴまで、第１追跡特徴を用いて追跡を行って得られた追跡結果の信頼度をフレーム毎に順次に計算する。ここで、該初期画像フレームＴの前の画像フレームＴ−１の追跡結果の信頼度は該信頼度の閾値以上である。

第１追跡特徴を用いて行った具体的な追跡処理はいかなる公知方法によって行うことが可能であり、例えばカルマンフィルタ法または粒子フィルタ法などであり、ここで繰り返して説明はしない。

本発明の実施例による手の追跡はリアルタイムなオンライン過程である。該ステップにおいて、得られた手を含む各画像フレームに対して、追跡性能が下げた初期画像フレームＴが現れるまで、第１追跡特徴をリアルタイムに用いて手の追跡を行い、且つ追跡によって得られた追跡結果の信頼度を計算する。即ち、第１追跡特徴を利用する画像フレームＴにおける追跡結果の信頼度は所定の信頼度閾値より小さく、それに対して画像フレームＴ−１における信頼度が該信頼度の閾値以上である。信頼度は追跡結果の信頼度を反映し、理解できるのは、信頼度の低減は現在選択した追跡特徴の追跡性能が下がることを表し、言い換えれば、現在選択した追跡特徴は現在の画像フレームにおけるシーンに適合せず、即ちシーンの変化を生じた。そのため、例を挙げて説明すれば、手を含む画像フレームシーケンスの以前１００フレームの中に、手が始終快速な動作をしていて、該１００フレームの中に始終色を追跡特徴として追跡を行うため、各フレームの追跡性能がいずれも比較的に高く、でも第１０１フレームの中で、手が顔の付近まで移動し、手の色が顔の色と接近するため、色特徴の識別度が下がり、第１０１フレームで色を用いて追跡を行う結果の信頼度が低減することをもたらし、追跡性能が下がり、該第１０１フレームは、即ち前記追跡性能が下がる初期画像フレームＴである。

信頼度はいかなる適当な方式によって計算できる。手が同一なシーンの隣接する２つのフレームでの、例えば色距離及び位置距離の変化があまり大きくないと考え、１種の信頼度を計算する例示方式が以下のように示す。

ここで、Ｃｏｎｆｉｄｅｎｃｅ_ｉは第ｉフレームの追跡結果の信頼度を示し、Ｄ（ｃｏｌｏｒ_ｉ、ｃｏｌｏｒ_ｉ−１）は第ｉフレームが第ｉ−１フレームとの色距離を示し、Ｄ（Ｐｏｓ_ｉ、Ｐｏｓ_ｉ−１）は第ｉフレームが第ｉ−１フレームとの位置距離を示した。いかなる適当な方法によって色距離及び位置距離を計算することが可能である。例えば、１種の色距離を計算する方法は、隣接する２つのフレームにおいて追跡した手の追跡エリアの色ヒストグラムの距離を計算し、例えばＢｈａｔｔａｃｈａｒｙｙａ距離であり、１種の位置距離を計算する方法は、隣接する２つのフレームにおいて追跡した手の位置のユークリッド距離を計算する。Ｃｏｎｆｉｄｅｎｃｅ_ｉは予め設定した信頼度閾値よりも小さい場合は、現在選択した追跡特徴は第ｉのフレームでの追跡性能が低減すると見なされ、ここで、信頼度閾値が具体的な応用環境に基づいて、経験によって設定することが可能である。

図３に戻り、ステップＳ３２０において、初期画像フレームＴ以降のｋ個の画像フレームにおいて、前記第１追跡特徴を引き続き利用し、手の追跡を行い、且つ得られた追跡結果の信頼度をフレーム毎に順次に計算する。ここで、ｋ＞０。

前記ステップＳ３１０で述べたように、追跡シーンの変化により、追跡性能が低減する初期画像フレームＴは現れることをもたらす。しかしながら、実は、画像フレームＴにおいて、追跡性能の低減は、得られた画像フレームの中にノイズなどの他の干渉要因によりもたらす可能性がある。そのため、ステップＳ３２０において、性能低減の初期画像フレームＴが現れた後、直ちに追跡のための追跡特徴を変更する必要がなく、１つの「許容期間」を設定する。該「許容期間」には、第１追跡特徴を引き続き用いて手の追跡を行い、且つこの期間に追跡性能が改善するか否かを観察する。「許容期間」の長さは具体的な追跡環境によって経験に従って設定し、例えば、「許容期間」は性能低減の初期画像フレーム後のｋ個画像フレームであってもよく、ここで、ｋ＞０。ステップＳ３３０において、ｋ個画像フレームの中のある画像フレームから、追跡された手を見失い始めたことを判明すれば、または、画像フレームＴ＋ｋの追跡結果の信頼度が依然として前記信頼度閾値よりも小さい場合は、画像フレームのシーンが変化したと決定する。そうでなければ、第１特徴を引き続き用いて追跡を行う。

該ステップにおいて、第１追跡特徴を用い、ｋ個のフレーム画像の中で行った追跡結果によって対応する処理を行う。具体的に言えば、ｋ個画像フレームの中のある画像フレームから、追跡された手を見失った（即ち、追跡失敗）、または、画像フレームＴ＋ｋにおける追跡結果の信頼度が依然として前記信頼度閾値よりも小さい場合は、即ち、「許容期間」が終わった後、追跡性能が依然として改善できず、シーンがもう変化したと判明し、且つ現在シーンにおいて、第１追跡特徴が良好な追跡性能を取得できない。逆に、追跡性能が改善すれば、例えば、「許容期間」中のある画像フレームから信頼度が信頼度閾値以上となるように回復すれば、且つその後のフレームにおいて、信頼度が信頼度閾値以上のまま維持すれば、第１追跡特徴が現在シーンで良好な追跡性能を取得すると判明できるため、第１追跡特徴を用いて追跡を引き続き行ってもよい。

図２に戻り、ステップＳ２２０において、画像フレームのシーンが変化した場合は、変化後のシーンに対して最適な追跡性能を有する第２追跡特徴を選択する。

画像フレームのシーンが変化すれば、第１追跡特徴が変化後のシーンにおいて良好な追跡性能を取得できず、該ステップＳ２２０において、いかなる適切な方式で変化後のシーンに対して最適な追跡性能を有する追跡特徴を選択してもよい。１つの実例では、予め計算された各種の追跡特徴の、訓練データ集合の各種シーンにおける追跡性能に基づき、最適な追跡性能を有する第２追跡特徴を選択してもよい。ここで、訓練データ集合は、各種シーンにおける手を含む訓練画像フレームにより構成されている。該実例において、各種の可能な追跡特徴の各種の可能なシーンにおける追跡性能を予め計算することによって、変化後のシーンがどのようなシーンと判明すれば、該シーンで最適な追跡性能を有する追跡特徴を手軽に選択することが可能である。本分野のいかなる公知方法を使用して各種の可能な追跡特徴が各種の可能なシーンでの追跡性能が予め計算することが可能であり、説明の一貫性のために、以下はその中の１種の実例性方法を簡単に説明する。

まず、特徴プールを作成し、該特徴プールは経験により手の追跡において良好な追跡性能を生じる特徴、例えば、以上に説明した色特徴、深度特徴、エッジ特徴、グレースケール特徴などの単一特徴、及び複種の単一特徴の組み合わせ特徴などを含む。また、訓練データ集合を収集する。なお、訓練データ集合はできる限り手の動作と係る各種シーンをカバーするべきであり、特にヒューマン・マシン・インタラクション分野で手の動作と係る各種異なるシーンである。それから訓練データ（即ち、手を含む画像フレーム）を手の運動が係るシーンによってグループ別に分類する。前記手の動作が係るシーンは、以上のように説明した手が急速に動作するシーン、手が顔の付近に動作するシーンなどである。なお、この２つのシーンは実例のみであり、シーンの数量及び具体的なシーンの種類はいずれも実際の応用によって設定することが可能である。

訓練データが異なったシーンに分類した後、各種シーンにおける各画像フレームに対して、レクタングルを用いて手のエリアを描き、または点を用いて手の中心位置を描くなどのことによって、人工的に手がその中の位置を表し、「グラウンドトルース」（ｇｒｏｕｎｄ ｔｒｕｔｈ）とする。その以外に、各種シーンに対して、特徴プール中の各特徴が該シーンにおける特徴分布を計算する。特徴分布は追跡特徴が該シーンの各フレームでの具体値を反映する。例えば、深度値を追跡特徴とすれば、各フレームでの具体値は各フレームで検出した手の深度値である。例えば、図４を参照し、それは、２種類の異なった追跡特徴が全体の訓練データ集合での特徴分布の説明図を実例する。

また、訓練データが異なったシーンに分けられた後、特徴プールの中の各特徴を利用し、あらゆるシーンにおいてオフラインの手の追跡を行う。例えば、特徴プールにはｒ種類の特徴（単一特徴または組み合わせ特徴）を含まれば、このｒ種類の特徴の各特徴に対して１回りの手の追跡を行い、且つ毎回の追跡において、該回りの追跡が対応した特徴を用いてあらゆるシーンにおいて手を追跡する。その後、各種類の追跡特徴に対し、各種シーンにおける平均追跡性能を計算する。追跡性能は例えば、追跡精度、追跡誤差、追跡失敗（追跡オブジェクターを見失うこと）の回数などの各種のバラメーターまたはその組み合わせによって表示することが可能である。例えば、以下の式（２）は追跡誤差と追跡失敗の回数の組み合わせを用いて平均追跡性能を表示する実例方式を示した。

ここで、Ａｖｇ．ＰＲ_ｍはある特徴がシーンｍにおける平均追跡性能を表し、ｅｒｒｏｒ_ｉは該特徴がシーンｍにおける第ｉフレームでの追跡誤差を表し、当追跡誤差は人工的に表示した手が該フレームでの位置のグラウンドトルースと前記オフライン追跡によって得られた手が該フレームでの位置の間の距離によって表すことが可能である。ｎは訓練データ集合の中のシーンｍにおける画像フレームの数量であり、ｌｏｓｓｔｉｍｅｓ_ｍは該特徴がシーンｍにおける追跡失敗した回数である。以上の式（２）により算出したＡｖｇ．ＰＲの値が小さいほど、特徴の追跡性能がよいことを表す。

このように、例えば、以上の式（２）により、各種の可能な追跡特徴が各種の可能なシーンにおける追跡性能を予め算出することが可能である。なお、以上の式（２）は全体の訓練データ集合に対することを拡大することが可能であり、即ち、各特徴が全体の訓練データ集合での平均追跡性能が算出する。

図５は追跡誤差により追跡性能を示すときの２つの異なった特徴が訓練データ集合での追跡性能の比較を示した。図５では、横軸は画像フレームのシーケンス番号を示し、縦軸はある特徴の追跡誤差を示す。左図は特徴ｑが訓練データ集合での追跡性能を示し、該図面からわかるように、シーンの変化により、該特徴ｑの追跡性能も関連した変化している。右図は特徴ｐが訓練データ集合での追跡性能を示し、該図面からわかるように、約第１００フレームから特徴ｐの追跡誤差が急激に上げ、追跡性能が急激に下げ、まもなく追跡オブジェクターを見失い、追跡失敗になる。

ステップＳ２２０に戻り、以上のように、該ステップでは、シーンが変った後にどんなシーンに変化するのかを判明すれば、予め算出した各種の可能な特徴が各種の可能なシーンにおける追跡性能により、具体的に変化されたシーンに対して最適な追跡性能を有する特徴を選択することが可能である。以下は、図６を参照して説明する。

図６に示すように、ステップＳ６１０において、前記第１追跡特徴が画像フレームＴから画像フレームＴ＋ｋまでのｋ＋１個画像フレームでの特徴分布を計算する。

ステップＳ６２０では、該特徴分布と予め計算された第１追跡特徴の訓練データ集合の各種シーンにおける特徴分布との間の距離を計算する。

以上のように、画像フレームＴから画像フレームＴ＋ｋまでのｋ＋１個画像フレームにおいて、第１追跡特徴を使用することは良好な追跡性能を取得できたいため、画像フレームＴからシーンの変化を生じたことを判明する。ここで、説明の便宜上、変化された現在シーンをＳｉｔｕａｔｉｏｎ_{ｃｕｒｒｅｎｔ}と示す。また、前に述べたように、各種の可能なシーンに対して特徴プールの中の各可能な特徴が該シーンにおける特徴分布を予め計算した。

そのため、該ステップＳ６２０において、第１追跡特徴のｋ＋１個画像フレームにおける特徴分布と第１追跡特徴の訓練データ集合の各種シーンにおける特徴分布との間の各対応距離を計算することが可能である。

ステップＳ６３０において、距離のうちの最小距離に対応する訓練データ集合のシーンを決定する。

該ステップにおいて、ステップＳ６２０で計算して得られた各対応距離中の最小距離を決定し、且つ該最小距離に対応する訓練データ集合のシーンＳｉｔｕａｔｉｏｎ_ｍｉｎＤを決定する。該シーンが下記の式によって表すことができる。

ここで、Ｍは、訓練集合のシーンの数量であり、Ｄ（ｆｅａｔｕｒｅ_{１Ｓｉｔｕａｔｉｏｎｃｕｒｒｅｎｔ，}ｆｅａｔｕｒｅ_{１Ｓｉｔｕａｔｉｏｎｉ}）は第１特徴のシーンＳｉｔｕａｔｉｏｎ_{ｃｕｒｒｅｎｔ}における特徴分布と第１特徴の訓練データ集合の第ｉシーンＳｉｔｕａｔｉｏｎ_ｉにおける特徴分布との間の距離であり、本分野のいかなる公知方法を用いて特徴分布の間の距離を計算してもよく、ここで繰り返して説明はしない。なお、Ｓｉｔｕａｔｉｏｎ_ｍｉｎＤは、訓練データ集合の各種シーンにおいて、変化後の現在シーンＳｉｔｕａｔｉｏｎ_{ｃｕｒｒｅｎｔ}と同一または最も類似するシーンである。

ステップＳ６４０において、予め計算された各種追跡特徴の訓練データ集合の各種シーンにおける追跡性能に基づいて、最小距離に対応する訓練データ集合のシーンに対して最適な追跡性能を有する追跡特徴を、第２追跡特徴として決定する。

以上のように、例えば式（２）によって各可能の追跡特徴が各可能のシーンにおける平均追跡性能Ａｖｇ．ＰＲを予め計算したため、シーンＳｉｔｕａｔｉｏｎ_ｍｉｎＤに対して最適な追跡性能を有する追跡特徴を、変化後の現在シーンＳｉｔｕａｔｉｏｎ_{ｃｕｒｒｅｎｔ}に対して最適な追跡性能を有する第２追跡特徴として、簡単に決定することができる。

なお、以上のステップＳ６１０において、第１追跡特徴は信頼度が信頼度の閾値よりも低い画像フレームＴからのｋ＋１個画像フレームにおける特徴分布を計算するが、これが１種の実例のみである。具体的に、画像フレームＴ前の若干フレームまたは画像フレームＴ以降の若干フレームから画像フレームＴ＋ｋまでの複数の画像フレームの特徴分布を計算してもよく、数量がｋ＋１よりも多い、或いは少ない画像フレームのシーケンスにおいて特徴分布を計算してもよい。

また、以上の図６を参照する説明において、追跡特徴が画像フレームにおける特徴分布を用いて変化後の現在シーンＳｉｔｕａｔｉｏｎ_{ｃｕｒｒｅｎｔ}が具体的にどんなシーンを決定するが、これも１種の実例のみであり、当業者がいかなる他の適当なパラメータを用いて変化後の現在シーンＳｉｔｕａｔｉｏｎ_{ｃｕｒｒｅｎｔ}が具体的にどんなシーンを決定することが可能であり、例えば、オプティカルフロー特徴を採用する。

図２に戻り、ステップＳ２３０において、該第２追跡特徴を用いて手の追跡を引き続き行う。

上述したように、本発明の実施例による手の追跡は、リアルタイムのオンラインの追跡過程である。そのため、以上のように第２追跡特徴を選択した後、該ステップにおいて、シーンが変化してから取得される手を含む各画像フレームに対して、第２追跡特徴を用いて手の追跡をリアタイム的に引き続き行う。第２追跡特徴を用いて行った具体的な追跡処理がいかなる公知方法によって行うことが可能であり、ここで繰り返して詳しく説明はしない。

以上は本発明の実施例に基づいて手の追跡方法を説明する。該方法によって、手の追跡過程において、シーンの変化に応じて、変化後のシーンに対して最適追跡性能を有する特徴を動的に選択して追跡を行うことで、正確な追跡を実現した。

図７は本実施例による追跡方法を応用する説明図を示す。図７に示すように、追跡特徴ｐが約第１００フレームから、追跡性能が急激に低減し、且つ追跡オブジェクトを間もなく見失うことで、追跡が失敗になる。このような情況で、変化後のシーンに適応する特徴を用いて追跡を行う必要がある。計算及び比較によって、訓練データ集合のシーンＳｉｔｕａｔｉｏｎ_ｍｉｎＤが約第１００フレームから変化したシーンと最も類似すると決定し、且つ特徴ｑがシーンＳｉｔｕａｔｉｏｎ_ｍｉｎＤにおいて最適な追跡性能を有する。そのため、該特徴ｑを用いて追跡特徴として追跡を引き続き行う。

なお、本発明実施例による以上の追跡方法を応用する全体の追跡過程において、シーンが変化したとき、いつも変化したシーンに最も適応の特徴を動的に選択して追跡を行い、しかし追跡を起動するときの第１画像フレームに対して、それがどんなシーンに属することを予知できないため、最適な特徴を予め選択できない。そのため、追跡を起動するときの第１画像フレームに対して、全体の訓練データ集合における最適な平均追跡性能を有する追跡特徴を選択してオブジェクト追跡を行ってもよく、そのうちの各特徴の全体の訓練データ集合における平均追跡性能は以上のように展開式（２）によって算出してもよい。

また、以上の説明において手の追跡を例として説明を行うが、本発明によるオブジェクト追跡方法が手の追跡に制限されず、他の各種のオブジェクトの追跡に応用されることが可能である。

また、本発明は、またリアルタイムのオブジェクト追跡を行うときの追跡特徴選択方法を提供し、該方法において、オブジェクトを含む画像フレームのシーンが変化した時に応じて、変化したシーンに対して最適な追跡性能を有する追跡を選択する。該選択ステップの具体的な処理は、以上の図１〜図７と関係する説明を参照してもよく、ここで繰り返して説明はしない。該追跡特徴選択方法によって、リアルタイムのオブジェクト追跡において、追跡のための特徴が常にシーンの特徴に最も適合することで、比較的に良好な追跡性能を取得できる。

次に、図８を参照して本発明の実施例によるオブジェクト追跡装置を説明する。

図８は、本発明の実施例によるオブジェクト追跡装置８００の機能構成ブロック図を示した。

図８に示すように、オブジェクト追跡装置８００は、画像フレームのシーンが変化した場合は、変化したシーンに対して最適な追跡性能の追跡特徴を選択し、且つ該追跡特徴を追跡部８２０に通知する特徴選択部８１０と、選択された追跡特徴を用いてオブジェクトを含む画像フレームシーケンスにおいてオブジェクト追跡を行う追跡部８２０とを含む。

以上の特徴選択部８１０及び追跡部８２０の具体的な機能及び操作は以上の図１〜図７の関係する説明を参照することが可能であり、ここで繰り返して説明はしない。

以下は図９を参照して本発明の実施例によるオブジェクト追跡システム９００の全体ハードウエアブロック図を示した。図９に示すように、オブジェクト追跡システム９００は、外部から関係する画像または情報を入力し、例えば、ビデオカメラにより撮影した画像フレームなどであり、例えばキーボード、マウス、ビデオカメラなどであってもよい入力装置９１０、以上の本発明の実施例のオブジェクト追跡方法を実施することに用いられ、または以上のオブジェクト追跡装置として実施することに用いられ、コンピューターの中央処理装置または他の処理能力を有するチップなどである処理装置９２０、外部に以上のオブジェクト追跡を実施する過程において得られた結果を出力することに用いられ、例えば、オブジェクトを決定する位置座標、オブジェクトの動作軌跡など、ディスプレー、プリンタなどであってもよい出力装置９３０、及び非持久または持久の方式で以上のオブジェクト追跡過程が係り、例えば画像フレーム、信頼度閾値、訓練データ、追跡特徴、追跡特徴の訓練データ集合の各種シーンにおける追跡性能及び特徴分布などを記憶するための記憶装置９４０を含み、該記憶装置は読取り書込み記憶装置（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、ハードディスク、または半導体記憶装置などの非持久または持久性記憶装置であってもよい。

以上は具体的な実施例と合わせて本発明の基本的な原理を説明し、しかしながら、指摘すべきは、当業者にとって、本発明の方法及び装置の全部またはいずれかのステップまたは部材を理解でき、いかなる計算装置（プロセッサー、記憶媒体など）または計算装置のネットにおいて、ハードウェア、ファームウェア、ソフトウェアまたはそれらの組み合わせによって実現し、これは、当業者が本発明の説明を読んだ情況で、基礎のプログラミング技術を応用して実現できる。

そのため、本発明の目的は、いかなる計算装置で１つのプログラムまたは１セットのプログラムを実行することによって実現してもよい。前記計算装置は公知の汎用装置であってもよい。そのため、本発明の目的は、前記方法または装置を実現するプログラムコードを含むプログラム製品のみを提供することによって実現してもよい。即ち、このようなプログラムも本発明を構成し、且つこのようなプログラム製品を記憶する記憶媒体も本発明を構成する。明らかに、前記記憶媒体はいかなる公知の記憶媒体または将来に開発されるいかなる記憶媒体であってもよい。

指摘すべきは、本発明の装置及び方法において、明らかに、各部材または各ステップは分解及び／または再組み合わせることが可能である。これらの分解と／または再組み合わせは本発明の同等な解決手段と見なすべきである。且つ、以上のシリーズの処理を実行するステップは、自然的に説明の順番によって時間の順番により実行することが可能であり、しかし、必ず時間順番によって実行することが必要はない。あるステップは並行または互いに独立的に実行すること可能である。

前述の具体的な実施例は、本発明の保護範囲に対する制限にはならない。当業者が理解すべきは、設計要求及び他の原因によって決まり、さまざまな修正、組み合わせ、下位組み合わせ及び代替を生じることが可能である。本発明の構想と原則以内で行った如何なる修正、同等な代替および改善などは、すべて本発明の保護範囲内に含まれるべきである。

米国特許第ＵＳ８２１３６７９Ｂ２号

Claims (10)

1. 予め選択された第１追跡特徴を用いてオブジェクトを有する画像フレームのシーケンスにおいてオブジェクト追跡を行うステップと、
   画像フレームのシーンが変化した場合は、変化したシーンに対して最適な追跡性能を有する第２追跡特徴を選択するステップと、
   前記選択された第２追跡特徴を用いて引き続きオブジェクト追跡を行うステップと、を含む、オブジェクト追跡方法。
2. 前記変化したシーンに対して最適な追跡性能を有する第２追跡特徴を選択するステップは、
   予め計算された各追跡特徴の、訓練データ集合の各種シーンにおける追跡性能に基づいて、前記変化したシーンに対して最適な追跡性能を有する第２追跡特徴を選択するステップ、を含み、
   前記訓練データ集合は、各種シーンにおける前記オブジェクトを含む訓練画像フレームからなる、請求項１に記載のオブジェクト追跡方法。
3. 前記予め選択された第１追跡特徴を用いてオブジェクトを含む画像フレームのシーケンスにおいてオブジェクト追跡を行うステップは、
   追跡結果の信頼度が所定の信頼度の閾値よりも小さい初期画像フレームＴまで、前記第１追跡特徴を用いた追跡から得られた追跡結果の信頼度をフレーム毎に順次に計算するステップであって、該初期画像フレームＴの前の画像フレームＴ−１の追跡結果の信頼度は該信頼度の閾値以上である、ステップと、
   初期画像フレームＴ以降のｋ個（ｋ＞０）の画像フレームにおいて、前記第１追跡特徴を引き続き用いてオブジェクトの追跡を行い、得られた追跡結果の信頼度をフレーム毎に順次に計算するステップと、を含む、請求項２に記載のオブジェクト追跡方法。
4. 前記予め選択された第１追跡特徴を用いてオブジェクトを含む画像フレームのシーケンスにおいてオブジェクトの追跡を行うステップは、
   前記ｋ個の画像フレームにおける画像フレームから追跡オブジェクトを見失った、或いは画像フレームＴ＋ｋの追跡結果の信頼度が依然として前記信頼度の閾値よりも小さい場合は、画像フレームのシーンが変化したと決定し、そうでない場合は、前記第１追跡特徴を用いて引き続き追跡を行うステップ、をさらに含む、請求項３に記載のオブジェクト追跡方法。
5. 前記予め計算された各追跡特徴の、訓練データ集合の各種シーンにおける追跡性能に基づいて、前記変化したシーンに対して最適な追跡性能を有する第２追跡特徴を選択するステップは、
   画像フレームＴから画像フレームＴ＋ｋまでのＫ＋１個の画像フレームにおける、前記第１追跡特徴の特徴分布を計算するステップと、
   該特徴分布と、予め計算された前記第１追跡特徴の、訓練データ集合の各種シーンにおける特徴分布との間の距離を計算するステップと、
   前記距離のうちの最小距離に対応する訓練データ集合のシーンを決定するステップと、
   予め計算された各種の追跡特徴の、訓練データ集合の各種シーンにおける追跡性能に基づいて、前記最小距離に対応する訓練データ集合のシーンに対して最適な追跡特徴性能を有する追跡特徴を、前記第２追跡特徴として決定するステップと、を含む、請求項４に記載のオブジェクト追跡方法。
6. 追跡を開始する際の第１画像フレームについて、全体の訓練データ集合における最適な平均追跡性能を有する追跡特徴を選択してオブジェクト追跡を行うステップ、をさらに含む、請求項２に記載のオブジェクト追跡方法。
7. 前記追跡性能は、追跡精度、追跡誤差、追跡失敗回数のうち少なくとも１つによって表される、請求項１〜６の何れか１項に記載のオブジェク追跡方法。
8. オブジェクトの追跡に用いられる追跡特徴選択方法であって、
   前記オブジェクトを含む画像フレームのシーンの変化に応じて、変化したシーンに対して最適な追跡性能を有する追跡特徴を選択するステップ、を含む、追跡特徴選択方法。
9. 画像フレームのシーンが変化した場合は、変化したシーンに対して最適な追跡性能を有する追跡特徴を選択し、該追跡特徴を追跡手段に通知する特徴選択手段と、
   選択された追跡特徴を用いて、前記オブジェクトを含む画像フレームのシーケンスにおいてオブジェクト追跡を行う前記追跡手段と、を含む、オブジェクト追跡装置。
10. 前記特徴選択手段は、予め計算された各追跡特徴の、訓練データ集合の各種シーンにおける追跡性能に基づいて、前記変化したシーンに対して最適な追跡性能を有する追跡特徴を選択し、
    前記訓練データ集合は、各種シーンにおける前記オブジェクトを含む訓練画像フレームからなる、請求項９に記載のオブジェクト追跡装置。

Images