JP2015079502A - オブジェクト追跡方法、オブジェクト追跡装置、及び追跡特徴選択方法 - Google Patents
オブジェクト追跡方法、オブジェクト追跡装置、及び追跡特徴選択方法 Download PDFInfo
- Publication number
- JP2015079502A JP2015079502A JP2014206916A JP2014206916A JP2015079502A JP 2015079502 A JP2015079502 A JP 2015079502A JP 2014206916 A JP2014206916 A JP 2014206916A JP 2014206916 A JP2014206916 A JP 2014206916A JP 2015079502 A JP2015079502 A JP 2015079502A
- Authority
- JP
- Japan
- Prior art keywords
- tracking
- feature
- scene
- performance
- image frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
【課題】オブジェクト追跡方法及び装置、並びに追跡特徴選択方法を提供する。
【解決手段】オブジェクト追跡方法は、予め選択された第1追跡特徴を用いてオブジェクトを含む画像フレーのムシーケンスにおいてオブジェクト追跡を行い、画像フレームのシーンが変化した場合は、変化したシーンに対して最適な追跡性能を有する第2追跡特徴を選択し、選択された該第2追跡特徴を用いて引き続きオブジェクト追跡を行う。該オブジェクト追跡方法によると、手の追跡において、シーンの変化に応じて、それぞれのシーンに最適な追跡性能を有する追跡特徴を動的に選択することで、正確な追跡を行うことができる。
【選択図】図2
【解決手段】オブジェクト追跡方法は、予め選択された第1追跡特徴を用いてオブジェクトを含む画像フレーのムシーケンスにおいてオブジェクト追跡を行い、画像フレームのシーンが変化した場合は、変化したシーンに対して最適な追跡性能を有する第2追跡特徴を選択し、選択された該第2追跡特徴を用いて引き続きオブジェクト追跡を行う。該オブジェクト追跡方法によると、手の追跡において、シーンの変化に応じて、それぞれのシーンに最適な追跡性能を有する追跡特徴を動的に選択することで、正確な追跡を行うことができる。
【選択図】図2
Description
本発明は全体的にヒューマン・マシン・インタラクション分野に係わり、より具体的にヒューマン・マシン・インタラクションにおけるオブジェクト追跡方法及び装置に係る。
オブジェクト追跡は、ヒューマン・マシン・インタラクション分野で非常に重要且つ肝心な部分である。現在、オブジェクト追跡の代表となる手の追跡に関し、多くの研究が行われ、例えば、手の色特徴を用いた追跡方法、手の深度(奥行き)特徴を用いた追跡方法などの、いくつかの手の追跡方法が提案されている。
しかしながら、手は非剛体であり、動作過程において変形及び形状が不統一などの現象が発生し、また、手の動作には例えば手の動作スピードが絶えず変化するなどの、多くの特有の特性があり、手の軽快な動作は、画像中の手の情報を不鮮明にする等の原因となる。したがって、手の全体の動作過程において各種シーンでいずれも最適な追跡効果が得られる単一な手の特徴を見つけることは困難である。
米国特許第US8213679B2号(特許文献1)には、移動目標の追跡及び計数のための方法が開示されている。該方法では、オンライン特徴の選択に基づいて、隣接する2つのフレームあたりに、予め作成された特徴プールの中にあらゆる特徴を用いて現在フレームの目標エリアと前のフレームの目標エリアの間の整合度を計算し、それから最適な整合度を有する特徴を利用し、さらに総合整合度を計算する。該方法によって、追跡を行う時、目標が移動する過程において撮影された異なる画像フレームで異なる特徴を用いて追跡を行うことが可能である。しかしながら、該方法は2つの画像フレームあたりに共に複雑な整合計算を行い、計算量が比較的に大きく、処理速度が遅い。
オブジェクト追跡方法及びオブジェクト追跡装置を提供することを目的とする。
本発明の実施例においては、予め選択された第1追跡特徴を用いてオブジェクトを有する画像フレームのシーケンスにおいてオブジェクト追跡を行うステップと、画像フレームのシーンが変化した場合は、変化したシーンに対して最適な追跡性能を有する第2追跡特徴を選択するステップと、前記選択された第2追跡特徴を用いて引き続きオブジェクト追跡を行うステップと、を含む、オブジェクト追跡方法を提供する。
本発明の他の実施例においては、画像フレームのシーンが変化した場合は、変化したシーンに対して最適な追跡性能を有する追跡特徴を選択し、該追跡特徴を追跡手段に通知する特徴選択手段と、選択された追跡特徴を用いて、前記オブジェクトを含む画像フレームのシーケンスにおいてオブジェクト追跡を行う前記追跡手段と、を含む、オブジェクト追跡装置を提供する。
本発明のさらなる他の実施例においては、オブジェクトの追跡に用いられる追跡特徴選択方法であって、前記オブジェクトを含む画像フレームのシーンの変化に応じて、変化したシーンに対して最適な追跡性能を有する追跡特徴を選択するステップ、を含む、追跡特徴選択方法を提供する。
本発明の実施例に基づくオブジェクト追跡とオブジェクト特徴選択技術は、追跡過程において、シーンの変化に応じて、それぞれのシーンに最適な追跡性能を有する追跡特徴を動的に選択することで、正確な追跡を行うことができる。
当業者によりよく本発明を理解させるために、以下、図面及び具体的な実施形態に合わせて、本発明を更に詳しく説明する。
図1は本発明の実施例によるオブジェクト追跡技術の可能な応用シーンを概略的に示した。図1に示すように、ユーザがビデオカメラ101の撮影範囲に立ち、ビデオカメラ101はユーザを撮影する。ビデオカメラ101はカラー画像のみを提供するカメラであってもよく、カラー画像を提供し、深度画像も提供するカメラであってもよく、例えばPrimesense、Kinectなどである。ユーザがビデオカメラの範囲内に彼または彼女の例えば、手を移動するとき、例えば計算機の処理装置102などはビデオカメラ101が撮影した画像フレームに基づいて、適当な特徴を選択して手の追跡が行い、最終的に手が画像フレーム中での位置を出力できる。なお、図1は本発明の1種の可能な応用シーンのみを示し、実際の状況によって、応用シーン中の装置が対応的に増加或いは減少してもよいし、異なる配置を有してもよい。
説明に便利するために、以下は手の追跡を例とし、本発明によるオブジェクト追跡技術を説明する。
まず、本発明の手の追跡技術の構想に対して簡潔な説明を行う。以上のように、手が非剛体であり、動作が速く、変形しやすいなどの特性を有する。そのため、ある単一な手の特徴を見付けにくく、それは手の全体動作過程の各種シーンに共に最適な追跡効果を取得できる。この状況に対して、本発明は手の追跡過程において具体的なシーンの変化によって、現在シーンに適合する特徴を動的に選択して追跡を行う追跡技術を提出する。例えば、手が快速な動作を行うとき、手の不明瞭なエッジ情報が不明確で、ひいては紛失し、このシーンに対して、色特徴が良好な識別効果を有する。そのため、追跡過程において該シーンが現れるとき、動的に色特徴を選択して追跡を行うことが考えられる。また例えば、手が顔の付近に動作するとき、二者の色が接近するため、色特徴の識別度が下がり、それに対して深度特徴が良好な識別効果を示した。そのため、追跡過程において該シーンが現れるとき、深度特徴を動的に選択して色特徴を代替して追跡を行うことが考えられる。また、あるシーンに対して、単一な特徴を選択して手の追跡に用いられることが可能であるだけではなく、複数の種類の特徴の組み合わせを選択して追跡を行うことも可能である。このように、手の追跡過程において、具体的なシーンの変化により、現在シーンに適合する特徴を動的に選択して追跡を行うことによって、正確な追跡を実現できる。
図2は本発明の実施例によるオブジェクト追跡方法のフローチャートを示した。
図2の示すように、ステップS210において、予め選択された第1追跡特徴を用いて手を含む画像フレームのシーケンスにおいて手の追跡を行う。
追跡特徴は、手の表現特徴とし、手の追跡において良好な追跡性能を生じることができる特性である。例えば前に述べられた色特徴、深度(奥行き)特徴であり、例えばエッジ特徴、グレースケール特徴などであってもよい。
該ステップにおいて、追跡のための第1追跡特徴は、予め選択した現在シーンに適合する追跡特徴であってもよく、または何れかの他の適当な方式によって予め選択した追跡特徴であってもよい。以下は図3を参照して該ステップS210の処理に対して説明を行う。
図3の示すように、ステップS310において、追跡結果の信頼度が所定の信頼度閾値よりも小さい初期画像フレームTまで、第1追跡特徴を用いて追跡を行って得られた追跡結果の信頼度をフレーム毎に順次に計算する。ここで、該初期画像フレームTの前の画像フレームT−1の追跡結果の信頼度は該信頼度の閾値以上である。
第1追跡特徴を用いて行った具体的な追跡処理はいかなる公知方法によって行うことが可能であり、例えばカルマンフィルタ法または粒子フィルタ法などであり、ここで繰り返して説明はしない。
本発明の実施例による手の追跡はリアルタイムなオンライン過程である。該ステップにおいて、得られた手を含む各画像フレームに対して、追跡性能が下げた初期画像フレームTが現れるまで、第1追跡特徴をリアルタイムに用いて手の追跡を行い、且つ追跡によって得られた追跡結果の信頼度を計算する。即ち、第1追跡特徴を利用する画像フレームTにおける追跡結果の信頼度は所定の信頼度閾値より小さく、それに対して画像フレームT−1における信頼度が該信頼度の閾値以上である。信頼度は追跡結果の信頼度を反映し、理解できるのは、信頼度の低減は現在選択した追跡特徴の追跡性能が下がることを表し、言い換えれば、現在選択した追跡特徴は現在の画像フレームにおけるシーンに適合せず、即ちシーンの変化を生じた。そのため、例を挙げて説明すれば、手を含む画像フレームシーケンスの以前100フレームの中に、手が始終快速な動作をしていて、該100フレームの中に始終色を追跡特徴として追跡を行うため、各フレームの追跡性能がいずれも比較的に高く、でも第101フレームの中で、手が顔の付近まで移動し、手の色が顔の色と接近するため、色特徴の識別度が下がり、第101フレームで色を用いて追跡を行う結果の信頼度が低減することをもたらし、追跡性能が下がり、該第101フレームは、即ち前記追跡性能が下がる初期画像フレームTである。
ここで、Confidenceiは第iフレームの追跡結果の信頼度を示し、D(colori、colori−1)は第iフレームが第i−1フレームとの色距離を示し、D(Posi、Posi−1)は第iフレームが第i−1フレームとの位置距離を示した。いかなる適当な方法によって色距離及び位置距離を計算することが可能である。例えば、1種の色距離を計算する方法は、隣接する2つのフレームにおいて追跡した手の追跡エリアの色ヒストグラムの距離を計算し、例えばBhattacharyya距離であり、1種の位置距離を計算する方法は、隣接する2つのフレームにおいて追跡した手の位置のユークリッド距離を計算する。Confidenceiは予め設定した信頼度閾値よりも小さい場合は、現在選択した追跡特徴は第iのフレームでの追跡性能が低減すると見なされ、ここで、信頼度閾値が具体的な応用環境に基づいて、経験によって設定することが可能である。
図3に戻り、ステップS320において、初期画像フレームT以降のk個の画像フレームにおいて、前記第1追跡特徴を引き続き利用し、手の追跡を行い、且つ得られた追跡結果の信頼度をフレーム毎に順次に計算する。ここで、k>0。
前記ステップS310で述べたように、追跡シーンの変化により、追跡性能が低減する初期画像フレームTは現れることをもたらす。しかしながら、実は、画像フレームTにおいて、追跡性能の低減は、得られた画像フレームの中にノイズなどの他の干渉要因によりもたらす可能性がある。そのため、ステップS320において、性能低減の初期画像フレームTが現れた後、直ちに追跡のための追跡特徴を変更する必要がなく、1つの「許容期間」を設定する。該「許容期間」には、第1追跡特徴を引き続き用いて手の追跡を行い、且つこの期間に追跡性能が改善するか否かを観察する。「許容期間」の長さは具体的な追跡環境によって経験に従って設定し、例えば、「許容期間」は性能低減の初期画像フレーム後のk個画像フレームであってもよく、ここで、k>0。ステップS330において、k個画像フレームの中のある画像フレームから、追跡された手を見失い始めたことを判明すれば、または、画像フレームT+kの追跡結果の信頼度が依然として前記信頼度閾値よりも小さい場合は、画像フレームのシーンが変化したと決定する。そうでなければ、第1特徴を引き続き用いて追跡を行う。
該ステップにおいて、第1追跡特徴を用い、k個のフレーム画像の中で行った追跡結果によって対応する処理を行う。具体的に言えば、k個画像フレームの中のある画像フレームから、追跡された手を見失った(即ち、追跡失敗)、または、画像フレームT+kにおける追跡結果の信頼度が依然として前記信頼度閾値よりも小さい場合は、即ち、「許容期間」が終わった後、追跡性能が依然として改善できず、シーンがもう変化したと判明し、且つ現在シーンにおいて、第1追跡特徴が良好な追跡性能を取得できない。逆に、追跡性能が改善すれば、例えば、「許容期間」中のある画像フレームから信頼度が信頼度閾値以上となるように回復すれば、且つその後のフレームにおいて、信頼度が信頼度閾値以上のまま維持すれば、第1追跡特徴が現在シーンで良好な追跡性能を取得すると判明できるため、第1追跡特徴を用いて追跡を引き続き行ってもよい。
図2に戻り、ステップS220において、画像フレームのシーンが変化した場合は、変化後のシーンに対して最適な追跡性能を有する第2追跡特徴を選択する。
画像フレームのシーンが変化すれば、第1追跡特徴が変化後のシーンにおいて良好な追跡性能を取得できず、該ステップS220において、いかなる適切な方式で変化後のシーンに対して最適な追跡性能を有する追跡特徴を選択してもよい。1つの実例では、予め計算された各種の追跡特徴の、訓練データ集合の各種シーンにおける追跡性能に基づき、最適な追跡性能を有する第2追跡特徴を選択してもよい。ここで、訓練データ集合は、各種シーンにおける手を含む訓練画像フレームにより構成されている。該実例において、各種の可能な追跡特徴の各種の可能なシーンにおける追跡性能を予め計算することによって、変化後のシーンがどのようなシーンと判明すれば、該シーンで最適な追跡性能を有する追跡特徴を手軽に選択することが可能である。本分野のいかなる公知方法を使用して各種の可能な追跡特徴が各種の可能なシーンでの追跡性能が予め計算することが可能であり、説明の一貫性のために、以下はその中の1種の実例性方法を簡単に説明する。
まず、特徴プールを作成し、該特徴プールは経験により手の追跡において良好な追跡性能を生じる特徴、例えば、以上に説明した色特徴、深度特徴、エッジ特徴、グレースケール特徴などの単一特徴、及び複種の単一特徴の組み合わせ特徴などを含む。また、訓練データ集合を収集する。なお、訓練データ集合はできる限り手の動作と係る各種シーンをカバーするべきであり、特にヒューマン・マシン・インタラクション分野で手の動作と係る各種異なるシーンである。それから訓練データ(即ち、手を含む画像フレーム)を手の運動が係るシーンによってグループ別に分類する。前記手の動作が係るシーンは、以上のように説明した手が急速に動作するシーン、手が顔の付近に動作するシーンなどである。なお、この2つのシーンは実例のみであり、シーンの数量及び具体的なシーンの種類はいずれも実際の応用によって設定することが可能である。
訓練データが異なったシーンに分類した後、各種シーンにおける各画像フレームに対して、レクタングルを用いて手のエリアを描き、または点を用いて手の中心位置を描くなどのことによって、人工的に手がその中の位置を表し、「グラウンドトルース」(ground truth)とする。その以外に、各種シーンに対して、特徴プール中の各特徴が該シーンにおける特徴分布を計算する。特徴分布は追跡特徴が該シーンの各フレームでの具体値を反映する。例えば、深度値を追跡特徴とすれば、各フレームでの具体値は各フレームで検出した手の深度値である。例えば、図4を参照し、それは、2種類の異なった追跡特徴が全体の訓練データ集合での特徴分布の説明図を実例する。
また、訓練データが異なったシーンに分けられた後、特徴プールの中の各特徴を利用し、あらゆるシーンにおいてオフラインの手の追跡を行う。例えば、特徴プールにはr種類の特徴(単一特徴または組み合わせ特徴)を含まれば、このr種類の特徴の各特徴に対して1回りの手の追跡を行い、且つ毎回の追跡において、該回りの追跡が対応した特徴を用いてあらゆるシーンにおいて手を追跡する。その後、各種類の追跡特徴に対し、各種シーンにおける平均追跡性能を計算する。追跡性能は例えば、追跡精度、追跡誤差、追跡失敗(追跡オブジェクターを見失うこと)の回数などの各種のバラメーターまたはその組み合わせによって表示することが可能である。例えば、以下の式(2)は追跡誤差と追跡失敗の回数の組み合わせを用いて平均追跡性能を表示する実例方式を示した。
ここで、Avg.PRmはある特徴がシーンmにおける平均追跡性能を表し、erroriは該特徴がシーンmにおける第iフレームでの追跡誤差を表し、当追跡誤差は人工的に表示した手が該フレームでの位置のグラウンドトルースと前記オフライン追跡によって得られた手が該フレームでの位置の間の距離によって表すことが可能である。nは訓練データ集合の中のシーンmにおける画像フレームの数量であり、losstimesmは該特徴がシーンmにおける追跡失敗した回数である。以上の式(2)により算出したAvg.PRの値が小さいほど、特徴の追跡性能がよいことを表す。
このように、例えば、以上の式(2)により、各種の可能な追跡特徴が各種の可能なシーンにおける追跡性能を予め算出することが可能である。なお、以上の式(2)は全体の訓練データ集合に対することを拡大することが可能であり、即ち、各特徴が全体の訓練データ集合での平均追跡性能が算出する。
図5は追跡誤差により追跡性能を示すときの2つの異なった特徴が訓練データ集合での追跡性能の比較を示した。図5では、横軸は画像フレームのシーケンス番号を示し、縦軸はある特徴の追跡誤差を示す。左図は特徴qが訓練データ集合での追跡性能を示し、該図面からわかるように、シーンの変化により、該特徴qの追跡性能も関連した変化している。右図は特徴pが訓練データ集合での追跡性能を示し、該図面からわかるように、約第100フレームから特徴pの追跡誤差が急激に上げ、追跡性能が急激に下げ、まもなく追跡オブジェクターを見失い、追跡失敗になる。
ステップS220に戻り、以上のように、該ステップでは、シーンが変った後にどんなシーンに変化するのかを判明すれば、予め算出した各種の可能な特徴が各種の可能なシーンにおける追跡性能により、具体的に変化されたシーンに対して最適な追跡性能を有する特徴を選択することが可能である。以下は、図6を参照して説明する。
図6に示すように、ステップS610において、前記第1追跡特徴が画像フレームTから画像フレームT+kまでのk+1個画像フレームでの特徴分布を計算する。
ステップS620では、該特徴分布と予め計算された第1追跡特徴の訓練データ集合の各種シーンにおける特徴分布との間の距離を計算する。
以上のように、画像フレームTから画像フレームT+kまでのk+1個画像フレームにおいて、第1追跡特徴を使用することは良好な追跡性能を取得できたいため、画像フレームTからシーンの変化を生じたことを判明する。ここで、説明の便宜上、変化された現在シーンをSituationcurrentと示す。また、前に述べたように、各種の可能なシーンに対して特徴プールの中の各可能な特徴が該シーンにおける特徴分布を予め計算した。
そのため、該ステップS620において、第1追跡特徴のk+1個画像フレームにおける特徴分布と第1追跡特徴の訓練データ集合の各種シーンにおける特徴分布との間の各対応距離を計算することが可能である。
ステップS630において、距離のうちの最小距離に対応する訓練データ集合のシーンを決定する。
該ステップにおいて、ステップS620で計算して得られた各対応距離中の最小距離を決定し、且つ該最小距離に対応する訓練データ集合のシーンSituationminDを決定する。該シーンが下記の式によって表すことができる。
ここで、Mは、訓練集合のシーンの数量であり、D(feature1Situationcurrent,feature1Situationi)は第1特徴のシーンSituationcurrentにおける特徴分布と第1特徴の訓練データ集合の第iシーンSituationiにおける特徴分布との間の距離であり、本分野のいかなる公知方法を用いて特徴分布の間の距離を計算してもよく、ここで繰り返して説明はしない。なお、SituationminDは、訓練データ集合の各種シーンにおいて、変化後の現在シーンSituationcurrentと同一または最も類似するシーンである。
ステップS640において、予め計算された各種追跡特徴の訓練データ集合の各種シーンにおける追跡性能に基づいて、最小距離に対応する訓練データ集合のシーンに対して最適な追跡性能を有する追跡特徴を、第2追跡特徴として決定する。
以上のように、例えば式(2)によって各可能の追跡特徴が各可能のシーンにおける平均追跡性能Avg.PRを予め計算したため、シーンSituationminDに対して最適な追跡性能を有する追跡特徴を、変化後の現在シーンSituationcurrentに対して最適な追跡性能を有する第2追跡特徴として、簡単に決定することができる。
なお、以上のステップS610において、第1追跡特徴は信頼度が信頼度の閾値よりも低い画像フレームTからのk+1個画像フレームにおける特徴分布を計算するが、これが1種の実例のみである。具体的に、画像フレームT前の若干フレームまたは画像フレームT以降の若干フレームから画像フレームT+kまでの複数の画像フレームの特徴分布を計算してもよく、数量がk+1よりも多い、或いは少ない画像フレームのシーケンスにおいて特徴分布を計算してもよい。
また、以上の図6を参照する説明において、追跡特徴が画像フレームにおける特徴分布を用いて変化後の現在シーンSituationcurrentが具体的にどんなシーンを決定するが、これも1種の実例のみであり、当業者がいかなる他の適当なパラメータを用いて変化後の現在シーンSituationcurrentが具体的にどんなシーンを決定することが可能であり、例えば、オプティカルフロー特徴を採用する。
図2に戻り、ステップS230において、該第2追跡特徴を用いて手の追跡を引き続き行う。
上述したように、本発明の実施例による手の追跡は、リアルタイムのオンラインの追跡過程である。そのため、以上のように第2追跡特徴を選択した後、該ステップにおいて、シーンが変化してから取得される手を含む各画像フレームに対して、第2追跡特徴を用いて手の追跡をリアタイム的に引き続き行う。第2追跡特徴を用いて行った具体的な追跡処理がいかなる公知方法によって行うことが可能であり、ここで繰り返して詳しく説明はしない。
以上は本発明の実施例に基づいて手の追跡方法を説明する。該方法によって、手の追跡過程において、シーンの変化に応じて、変化後のシーンに対して最適追跡性能を有する特徴を動的に選択して追跡を行うことで、正確な追跡を実現した。
図7は本実施例による追跡方法を応用する説明図を示す。図7に示すように、追跡特徴pが約第100フレームから、追跡性能が急激に低減し、且つ追跡オブジェクトを間もなく見失うことで、追跡が失敗になる。このような情況で、変化後のシーンに適応する特徴を用いて追跡を行う必要がある。計算及び比較によって、訓練データ集合のシーンSituationminDが約第100フレームから変化したシーンと最も類似すると決定し、且つ特徴qがシーンSituationminDにおいて最適な追跡性能を有する。そのため、該特徴qを用いて追跡特徴として追跡を引き続き行う。
なお、本発明実施例による以上の追跡方法を応用する全体の追跡過程において、シーンが変化したとき、いつも変化したシーンに最も適応の特徴を動的に選択して追跡を行い、しかし追跡を起動するときの第1画像フレームに対して、それがどんなシーンに属することを予知できないため、最適な特徴を予め選択できない。そのため、追跡を起動するときの第1画像フレームに対して、全体の訓練データ集合における最適な平均追跡性能を有する追跡特徴を選択してオブジェクト追跡を行ってもよく、そのうちの各特徴の全体の訓練データ集合における平均追跡性能は以上のように展開式(2)によって算出してもよい。
また、以上の説明において手の追跡を例として説明を行うが、本発明によるオブジェクト追跡方法が手の追跡に制限されず、他の各種のオブジェクトの追跡に応用されることが可能である。
また、本発明は、またリアルタイムのオブジェクト追跡を行うときの追跡特徴選択方法を提供し、該方法において、オブジェクトを含む画像フレームのシーンが変化した時に応じて、変化したシーンに対して最適な追跡性能を有する追跡を選択する。該選択ステップの具体的な処理は、以上の図1〜図7と関係する説明を参照してもよく、ここで繰り返して説明はしない。該追跡特徴選択方法によって、リアルタイムのオブジェクト追跡において、追跡のための特徴が常にシーンの特徴に最も適合することで、比較的に良好な追跡性能を取得できる。
次に、図8を参照して本発明の実施例によるオブジェクト追跡装置を説明する。
図8は、本発明の実施例によるオブジェクト追跡装置800の機能構成ブロック図を示した。
図8に示すように、オブジェクト追跡装置800は、画像フレームのシーンが変化した場合は、変化したシーンに対して最適な追跡性能の追跡特徴を選択し、且つ該追跡特徴を追跡部820に通知する特徴選択部810と、選択された追跡特徴を用いてオブジェクトを含む画像フレームシーケンスにおいてオブジェクト追跡を行う追跡部820とを含む。
以上の特徴選択部810及び追跡部820の具体的な機能及び操作は以上の図1〜図7の関係する説明を参照することが可能であり、ここで繰り返して説明はしない。
以下は図9を参照して本発明の実施例によるオブジェクト追跡システム900の全体ハードウエアブロック図を示した。図9に示すように、オブジェクト追跡システム900は、外部から関係する画像または情報を入力し、例えば、ビデオカメラにより撮影した画像フレームなどであり、例えばキーボード、マウス、ビデオカメラなどであってもよい入力装置910、以上の本発明の実施例のオブジェクト追跡方法を実施することに用いられ、または以上のオブジェクト追跡装置として実施することに用いられ、コンピューターの中央処理装置または他の処理能力を有するチップなどである処理装置920、外部に以上のオブジェクト追跡を実施する過程において得られた結果を出力することに用いられ、例えば、オブジェクトを決定する位置座標、オブジェクトの動作軌跡など、ディスプレー、プリンタなどであってもよい出力装置930、及び非持久または持久の方式で以上のオブジェクト追跡過程が係り、例えば画像フレーム、信頼度閾値、訓練データ、追跡特徴、追跡特徴の訓練データ集合の各種シーンにおける追跡性能及び特徴分布などを記憶するための記憶装置940を含み、該記憶装置は読取り書込み記憶装置(RAM)、読み取り専用メモリ(ROM)、ハードディスク、または半導体記憶装置などの非持久または持久性記憶装置であってもよい。
以上は具体的な実施例と合わせて本発明の基本的な原理を説明し、しかしながら、指摘すべきは、当業者にとって、本発明の方法及び装置の全部またはいずれかのステップまたは部材を理解でき、いかなる計算装置(プロセッサー、記憶媒体など)または計算装置のネットにおいて、ハードウェア、ファームウェア、ソフトウェアまたはそれらの組み合わせによって実現し、これは、当業者が本発明の説明を読んだ情況で、基礎のプログラミング技術を応用して実現できる。
そのため、本発明の目的は、いかなる計算装置で1つのプログラムまたは1セットのプログラムを実行することによって実現してもよい。前記計算装置は公知の汎用装置であってもよい。そのため、本発明の目的は、前記方法または装置を実現するプログラムコードを含むプログラム製品のみを提供することによって実現してもよい。即ち、このようなプログラムも本発明を構成し、且つこのようなプログラム製品を記憶する記憶媒体も本発明を構成する。明らかに、前記記憶媒体はいかなる公知の記憶媒体または将来に開発されるいかなる記憶媒体であってもよい。
指摘すべきは、本発明の装置及び方法において、明らかに、各部材または各ステップは分解及び/または再組み合わせることが可能である。これらの分解と/または再組み合わせは本発明の同等な解決手段と見なすべきである。且つ、以上のシリーズの処理を実行するステップは、自然的に説明の順番によって時間の順番により実行することが可能であり、しかし、必ず時間順番によって実行することが必要はない。あるステップは並行または互いに独立的に実行すること可能である。
前述の具体的な実施例は、本発明の保護範囲に対する制限にはならない。当業者が理解すべきは、設計要求及び他の原因によって決まり、さまざまな修正、組み合わせ、下位組み合わせ及び代替を生じることが可能である。本発明の構想と原則以内で行った如何なる修正、同等な代替および改善などは、すべて本発明の保護範囲内に含まれるべきである。
Claims (10)
- 予め選択された第1追跡特徴を用いてオブジェクトを有する画像フレームのシーケンスにおいてオブジェクト追跡を行うステップと、
画像フレームのシーンが変化した場合は、変化したシーンに対して最適な追跡性能を有する第2追跡特徴を選択するステップと、
前記選択された第2追跡特徴を用いて引き続きオブジェクト追跡を行うステップと、を含む、オブジェクト追跡方法。 - 前記変化したシーンに対して最適な追跡性能を有する第2追跡特徴を選択するステップは、
予め計算された各追跡特徴の、訓練データ集合の各種シーンにおける追跡性能に基づいて、前記変化したシーンに対して最適な追跡性能を有する第2追跡特徴を選択するステップ、を含み、
前記訓練データ集合は、各種シーンにおける前記オブジェクトを含む訓練画像フレームからなる、請求項1に記載のオブジェクト追跡方法。 - 前記予め選択された第1追跡特徴を用いてオブジェクトを含む画像フレームのシーケンスにおいてオブジェクト追跡を行うステップは、
追跡結果の信頼度が所定の信頼度の閾値よりも小さい初期画像フレームTまで、前記第1追跡特徴を用いた追跡から得られた追跡結果の信頼度をフレーム毎に順次に計算するステップであって、該初期画像フレームTの前の画像フレームT−1の追跡結果の信頼度は該信頼度の閾値以上である、ステップと、
初期画像フレームT以降のk個(k>0)の画像フレームにおいて、前記第1追跡特徴を引き続き用いてオブジェクトの追跡を行い、得られた追跡結果の信頼度をフレーム毎に順次に計算するステップと、を含む、請求項2に記載のオブジェクト追跡方法。 - 前記予め選択された第1追跡特徴を用いてオブジェクトを含む画像フレームのシーケンスにおいてオブジェクトの追跡を行うステップは、
前記k個の画像フレームにおける画像フレームから追跡オブジェクトを見失った、或いは画像フレームT+kの追跡結果の信頼度が依然として前記信頼度の閾値よりも小さい場合は、画像フレームのシーンが変化したと決定し、そうでない場合は、前記第1追跡特徴を用いて引き続き追跡を行うステップ、をさらに含む、請求項3に記載のオブジェクト追跡方法。 - 前記予め計算された各追跡特徴の、訓練データ集合の各種シーンにおける追跡性能に基づいて、前記変化したシーンに対して最適な追跡性能を有する第2追跡特徴を選択するステップは、
画像フレームTから画像フレームT+kまでのK+1個の画像フレームにおける、前記第1追跡特徴の特徴分布を計算するステップと、
該特徴分布と、予め計算された前記第1追跡特徴の、訓練データ集合の各種シーンにおける特徴分布との間の距離を計算するステップと、
前記距離のうちの最小距離に対応する訓練データ集合のシーンを決定するステップと、
予め計算された各種の追跡特徴の、訓練データ集合の各種シーンにおける追跡性能に基づいて、前記最小距離に対応する訓練データ集合のシーンに対して最適な追跡特徴性能を有する追跡特徴を、前記第2追跡特徴として決定するステップと、を含む、請求項4に記載のオブジェクト追跡方法。 - 追跡を開始する際の第1画像フレームについて、全体の訓練データ集合における最適な平均追跡性能を有する追跡特徴を選択してオブジェクト追跡を行うステップ、をさらに含む、請求項2に記載のオブジェクト追跡方法。
- 前記追跡性能は、追跡精度、追跡誤差、追跡失敗回数のうち少なくとも1つによって表される、請求項1〜6の何れか1項に記載のオブジェク追跡方法。
- オブジェクトの追跡に用いられる追跡特徴選択方法であって、
前記オブジェクトを含む画像フレームのシーンの変化に応じて、変化したシーンに対して最適な追跡性能を有する追跡特徴を選択するステップ、を含む、追跡特徴選択方法。 - 画像フレームのシーンが変化した場合は、変化したシーンに対して最適な追跡性能を有する追跡特徴を選択し、該追跡特徴を追跡手段に通知する特徴選択手段と、
選択された追跡特徴を用いて、前記オブジェクトを含む画像フレームのシーケンスにおいてオブジェクト追跡を行う前記追跡手段と、を含む、オブジェクト追跡装置。 - 前記特徴選択手段は、予め計算された各追跡特徴の、訓練データ集合の各種シーンにおける追跡性能に基づいて、前記変化したシーンに対して最適な追跡性能を有する追跡特徴を選択し、
前記訓練データ集合は、各種シーンにおける前記オブジェクトを含む訓練画像フレームからなる、請求項9に記載のオブジェクト追跡装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310479162.3 | 2013-10-14 | ||
CN201310479162.3A CN104574433A (zh) | 2013-10-14 | 2013-10-14 | 对象跟踪方法和设备、跟踪特征选择方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015079502A true JP2015079502A (ja) | 2015-04-23 |
Family
ID=52809711
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014206916A Pending JP2015079502A (ja) | 2013-10-14 | 2014-10-08 | オブジェクト追跡方法、オブジェクト追跡装置、及び追跡特徴選択方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20150104067A1 (ja) |
JP (1) | JP2015079502A (ja) |
CN (1) | CN104574433A (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105096259B (zh) | 2014-05-09 | 2018-01-09 | 株式会社理光 | 深度图像的深度值恢复方法和*** |
CN105590309B (zh) | 2014-10-23 | 2018-06-15 | 株式会社理光 | 前景图像分割方法和装置 |
US10586102B2 (en) * | 2015-08-18 | 2020-03-10 | Qualcomm Incorporated | Systems and methods for object tracking |
CN105447887A (zh) * | 2015-11-06 | 2016-03-30 | 掌赢信息科技(上海)有限公司 | 一种基于历史轨迹的目标跟踪方法及电子设备 |
US10360456B2 (en) | 2016-08-12 | 2019-07-23 | Qualcomm Incorporated | Methods and systems of maintaining lost object trackers in video analytics |
US10796185B2 (en) * | 2017-11-03 | 2020-10-06 | Facebook, Inc. | Dynamic graceful degradation of augmented-reality effects |
CN107862704B (zh) * | 2017-11-06 | 2021-05-11 | 广东工业大学 | 一种目标跟踪方法、***及其使用的云台相机 |
CN110493488B (zh) | 2018-05-15 | 2021-11-26 | 株式会社理光 | 视频稳像方法、视频稳像装置和计算机可读存储介质 |
US11301686B2 (en) * | 2018-05-25 | 2022-04-12 | Intel Corporation | Visual anomaly detection without reference in graphics computing environments |
CN111667398B (zh) | 2019-03-07 | 2023-08-01 | 株式会社理光 | 图像处理方法、装置和计算机可读存储介质 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005029264A2 (en) * | 2003-09-19 | 2005-03-31 | Alphatech, Inc. | Tracking systems and methods |
GB0502371D0 (en) * | 2005-02-04 | 2005-03-16 | British Telecomm | Identifying spurious regions in a video frame |
AU2007254600B2 (en) * | 2007-12-20 | 2011-04-14 | Canon Kabushiki Kaisha | Collaborative tracking |
US8374388B2 (en) * | 2007-12-28 | 2013-02-12 | Rustam Stolkin | Real-time tracking of non-rigid objects in image sequences for which the background may be changing |
JP5816098B2 (ja) * | 2009-02-02 | 2015-11-18 | アイサイト モバイル テクノロジーズ リミテッド | ビデオストリームの中のオブジェクト認識および追跡システムおよび方法 |
EP2602692A1 (en) * | 2011-12-05 | 2013-06-12 | Alcatel Lucent | Method for recognizing gestures and gesture detector |
US8948449B2 (en) * | 2012-02-06 | 2015-02-03 | GM Global Technology Operations LLC | Selecting visible regions in nighttime images for performing clear path detection |
US9141196B2 (en) * | 2012-04-16 | 2015-09-22 | Qualcomm Incorporated | Robust and efficient learning object tracker |
CN103077532A (zh) * | 2012-12-24 | 2013-05-01 | 天津市亚安科技股份有限公司 | 一种实时视频目标快速跟踪方法 |
-
2013
- 2013-10-14 CN CN201310479162.3A patent/CN104574433A/zh active Pending
-
2014
- 2014-10-08 JP JP2014206916A patent/JP2015079502A/ja active Pending
- 2014-10-10 US US14/511,657 patent/US20150104067A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
CN104574433A (zh) | 2015-04-29 |
US20150104067A1 (en) | 2015-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2015079502A (ja) | オブジェクト追跡方法、オブジェクト追跡装置、及び追跡特徴選択方法 | |
JP7147078B2 (ja) | ビデオフレームの情報ラベリング方法、装置、機器及びコンピュータプログラム | |
CN110637323B (zh) | 基于部分的跟踪的方法、设备和*** | |
JP6158446B2 (ja) | 表示の区分およびビデオフレームのクラスタ化のためのオブジェクトの選択およびトラッキング | |
JP6271741B2 (ja) | オブジェクト編成を符号化するためのシステム、方法、および装置 | |
Fourie et al. | Harmony filter: a robust visual tracking system using the improved harmony search algorithm | |
CN104376576B (zh) | 一种目标跟踪方法及装置 | |
CN111640140A (zh) | 目标跟踪方法、装置、电子设备及计算机可读存储介质 | |
US20180112978A1 (en) | Curated photogrammetry | |
JP7151488B2 (ja) | 移動物体検出装置、移動物体検出方法及びプログラム | |
CN111462185A (zh) | ***辅助的图像捕获 | |
JP2015520470A (ja) | データベース生成及び更新に深度ベースのトラッキングを用いた顔認識自己学習 | |
CN109685797B (zh) | 骨骼点检测方法、装置、处理设备及存储介质 | |
CN108876758B (zh) | 人脸识别方法、装置及*** | |
Morimitsu et al. | Exploring structure for long-term tracking of multiple objects in sports videos | |
JP2009157767A (ja) | 顔画像認識装置、顔画像認識方法、顔画像認識プログラムおよびそのプログラムを記録した記録媒体 | |
WO2018107197A1 (en) | Method, system and apparatus for configuring a virtual camera | |
US20160182769A1 (en) | Apparatus and method for generating motion effects by analyzing motions of objects | |
CN111080751A (zh) | 碰撞渲染方法和装置 | |
US10440350B2 (en) | Constructing a user's face model using particle filters | |
CN115988262A (zh) | 用于视频处理的方法、装置、设备和介质 | |
CN113992976A (zh) | 视频播放方法、装置、设备以及计算机存储介质 | |
KR20210146265A (ko) | 골프 스윙에 관한 정보를 추정하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체 | |
JP2022185872A5 (ja) | ||
US10853952B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium |