JP2016507834A

JP2016507834A - ターゲットオブジェクトをトラッキングし、検出するためのシステムおよび方法

Info

Publication number: JP2016507834A
Application number: JP2015553807A
Authority: JP
Inventors: ガオ、ダシャン; ジョン、シン; キ、インヨン; ビ、ニン
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2013-01-22
Filing date: 2014-01-15
Publication date: 2016-03-10
Also published as: KR20150110697A; US20140205141A1; EP2948926A1; CN104937638A; US9852511B2; WO2014116485A1

Abstract

ターゲットオブジェクトを検出し、トラッキングするための方法について説明する。本方法は、前のビデオフレームと現在ビデオフレームとを比較することによって現在ビデオフレームのための動きベーストラッキングを実施することを含む。本方法は、トラッキングされたパラメータに基づいて現在ビデオフレーム中でオブジェクト検出を選択的に実施することをも含む。

Description

関連出願
[0001]本出願は、「TRACKING AND DETECTING A TARGET OBJECT」について、２０１３年１月２２日に出願された、米国仮特許出願第６１／７５５，４４３号と、「SMOOTHING JITTER IN MOTION TRACKING RESULTS」について、２０１３年６月１４日に出願された、米国仮特許出願第６１／８３５，３８５号とに関し、それらの優先権を主張する。

[0002]本開示は、一般に電子デバイスに関する。より詳細には、本開示は、ターゲットオブジェクトをトラッキングし、検出するためのシステムおよび方法に関する。

[0003]最近の数十年で、電子デバイスの使用が一般的になった。特に、電子技術の進歩は、ますます複雑で有用になる電子デバイスのコストを低減した。コスト低減および消費者需要により、電子デバイスが現代社会において事実上ユビキタスであるほど電子デバイスの使用が激増した。電子デバイスの使用が拡大するにつれて、電子デバイスの新しい改善された特徴に対する需要も拡大した。より詳細には、新しい機能を実施する、および／あるいはより高速に、より効率的に、またはより高品質で機能を実施する、電子デバイスがしばしば求められる。

[0004]いくつかの電子デバイス（たとえば、カメラ、ビデオカムコーダ、デジタルカメラ、セルラーフォン、スマートフォン、コンピュータ、テレビジョンなど）は画像をキャプチャまたは利用する。たとえば、デジタルカメラがデジタル画像をキャプチャし得る。

[0005]電子デバイスの新しいおよび／または改善された特徴がしばしば求められる。この説明からわかるように、電子デバイスの新しいおよび／または改善された特徴を追加するシステムおよび方法が有益であり得る。

[0006]ターゲットオブジェクトをトラッキングし、検出するための電子デバイスを示すブロック図。 [0007]オブジェクトトラッキングおよび検出モジュールを示すブロック図。 [0008]図２Ａのシステム内のいくつかの構成要素がプロセッサによって実装されることを示す図。 [0009]動きベーストラッキングとオブジェクト検出とを実施するための方法を示す流れ図。 [0010]動きベーストラッキングを実施するための方法を示す流れ図。 [0011]フォワードバックワードエラー（forward-backward error）に基づいて動きベーストラッキングにおけるトラッキングエラーを推定する方法を示す流れ図。 [0012]オブジェクト検出を実施するための方法を示す流れ図。 [0013]本システムおよび方法とともに使用され得る異なるウィンドウサイズを示すブロック図。 [0014]オブジェクトトラッキングおよび検出モジュールの別の可能な構成を示すブロック図。 [0015]平滑化モジュールを示すブロック図。 [0016]動きトラッキング結果中のジッタを平滑化するための方法を示す流れ図。 [0017]電子デバイス／ワイヤレスデバイス内に含まれ得るいくつかの構成要素を示す図。

[0018]ターゲットオブジェクトを検出し、トラッキングするための方法について説明する。本方法は、前のビデオフレームと現在ビデオフレームとを比較することによって現在ビデオフレームのための動きベーストラッキングを実施することを含む。本方法は、トラッキングされたパラメータに基づいて現在ビデオフレーム中でオブジェクト検出を選択的に実施することをも含む。

[0019]トラッキングされたパラメータは、ターゲットオブジェクトが現在ビデオフレーム中にある可能性に相当するトラッキング信頼性値（tracking confidence value）であり得る。オブジェクト検出を選択的に実施することは、トラッキング信頼性値がトラッキングしきい値よりも小さいかまたはそれに等しいとき、現在ビデオフレームに対するオブジェクト検出を実施することを含み得る。オブジェクト検出を選択的に実施することは、トラッキング信頼性値がトラッキングしきい値よりも大きいとき、現在ビデオフレームに対するオブジェクト検出をスキップすることをも含み得る。オブジェクト検出は動きベーストラッキングに連続して実施され得る。トラッキングされたパラメータは領域でもあり得る。トラッキングされたパラメータはウィンドウロケーションでもあり得る。トラッキングされたパラメータはウィンドウサイズでもあり得る。トラッキングされたパラメータはスケールレベルでもあり得る。本方法は、ターゲットオブジェクトを定義する入力をタッチスクリーンにおいて受信することをも含み得る。

[0020]オブジェクト検出を選択的に実施することは、前のビデオフレーム中のウィンドウの第１のサブセットを選択することを含み得る。オブジェクト検出を選択的に実施することは、ターゲットオブジェクトについてウィンドウの第１のサブセットのみを探索することをも含み得る。オブジェクト検出を選択的に実施することは、ウィンドウの第１のサブセット中の各選択されたウィンドウについて、ウィンドウサイズのサブセットを選択することをも含み得る。オブジェクト検出を選択的に実施することは、ウィンドウの第１のサブセット中の各ウィンドウについてウィンドウサイズのサブセットのみを探索することをも含み得る。ウィンドウの第１のサブセットを選択することは、乱数発生器に基づいてウィンドウの第１のサブセットをランダムに選択することを含み得る。

[0021]本方法は、現在ビデオフレーム中のウィンドウの第２のサブセットを選択することをさらに含み得る。ウィンドウの第２のサブセットのサイズは、ターゲットオブジェクトが前のビデオフレーム中で検出されたかどうかに基づき得る。ウィンドウの第１のサブセットからウィンドウの第２のサブセットへのサイズの増加は、ターゲットオブジェクトが前のビデオフレーム中で検出されなかった場合よりも、ターゲットオブジェクトが前のビデオフレーム中で検出された場合により高いことがある。

[0022]本方法は、後のフレーム中で選択されるウィンドウの割合を増加させることをも含み得る。選択されるウィンドウの割合の増加は一様または非一様であり得る。選択されるウィンドウの割合は、検出およびトラッキング信頼性値が検出およびトラッキング信頼性しきい値を上回るとき、少なくとも６０％であり得る。検出およびトラッキング信頼性しきい値は、０．６、０．６５、０．７、０．７５、０．８および０．８５のうちの１つであり得る。

[0023]本方法は、検出およびトラッキング信頼性値に基づいて、次のビデオフレーム中でターゲットオブジェクトを検出する試みのために探索範囲を狭くすることをも含み得る。探索範囲を狭くすることは、現在ビデオフレームのための検出およびトラッキング信頼性値が検出およびトラッキングしきい値よりも大きいとき、低減された探索空間から探索のためのウィンドウロケーションを選択することをも含み得る。現在ビデオフレームのための検出およびトラッキング信頼性値は、ターゲットオブジェクトが現在ビデオフレーム中で検出され、トラッキングされた可能性を示す、０から１の間の実数であり得る。探索範囲を狭くすることは、現在ビデオフレームのための検出およびトラッキング信頼性値が検出およびトラッキングしきい値よりも小さいかまたはそれに等しいとき、探索空間全体から探索のためのウィンドウロケーションを選択することをも含み得る。

[0024]また、ターゲットオブジェクトを検出し、トラッキングするための装置について説明する。本装置は、前のビデオフレームと現在ビデオフレームとを比較することによって現在ビデオフレームのための動きベーストラッキングを実施するための手段を含む。本装置は、トラッキングされたパラメータに基づいて現在ビデオフレーム中でオブジェクト検出を選択的に実施するための手段をも含む。

[0025]また、ターゲットオブジェクトを検出し、トラッキングするための電子デバイスについて説明する。本電子デバイスは、プロセッサと、プロセッサと電子通信しているメモリとを含む。本電子デバイスは、メモリに記憶された命令をも含む。命令は、前のビデオフレームと現在ビデオフレームとを比較することによって現在ビデオフレームのための動きベーストラッキングを実施するように実行可能である。命令は、トラッキングされたパラメータに基づいて現在ビデオフレーム中でオブジェクト検出を選択的に実施するようにも実行可能である。

[0026]また、ターゲットオブジェクトを検出し、トラッキングするためのコンピュータプログラム製品について説明する。本コンピュータプログラム製品は、命令をその上に有する非一時的コンピュータ可読媒体を含む。命令は、電子デバイスに、前のビデオフレームと現在ビデオフレームとを比較することによって現在ビデオフレームのための動きベーストラッキングを実施することを行わせるためのコードを含む。命令は、電子デバイスに、トラッキングされたパラメータに基づいて現在ビデオフレーム中でオブジェクト検出を選択的に実施することを行わせるためのコードをも含む。

[0027]モバイルプラットフォーム（たとえば、タブレット、電話）からのカメラを使用してある画像内のまたはその画像内の当該のユーザ定義領域内のオブジェクトをトラッキングすることは困難であり得る。リアルタイム性能（約３０フレーム毎秒（ｆｐｓ））が必要とされ得る。いくつかの構成は、ロバストなトラッキングを得るために、オプティカルフローベーストラッカーの出力と画像コンテンツベース検出器の出力とを組み合わせ得る。しかしながら、既存のアルゴリズムの計算（computation）は、モバイルプラットフォームがリアルタイム性能を達成するには法外であり得る。

[0028]本システムおよび方法は、トラッキングおよび検出アルゴリズムの速度を改善するために以下の技法、すなわち、（１）各フレームにおいて可能な検出ウィンドウの一部分を使用することと（たとえば、ウィンドウ位置をランダムに選択する）、（２）前の検出されたターゲットサイズに近いオブジェクト検出のための数個の空間スケールのみを選択することと、（３）前のトラッキングの信頼性値に基づいて、オブジェクトを部分的に探索することまたは画像全体を探索することのいずれかを決定することと、（４）前のトラッキング結果に基づいて検出ウィンドウの数を動的に調整することと、（５）トラッカーとオブジェクト検出器とを並列に実行する代わりに、最初にトラッカーを適用することはあまり計算コストが高くないので、それを行うことと、（６）トラッカーの信頼性があるしきい値よりも低いときのみ、オブジェクト検出器を実行することとを実装し得る。技術的利点の１つは、ターゲットオブジェクトをトラッキングおよび／または検出するために使用される計算を低減することである。

[0029]本明細書で使用する「トラッキングする」という用語およびそれの変形態は、動きベースであり、特定のオブジェクトを識別しない、プロセスを指す。たとえば、オブジェクトトラッキングおよび検出モジュールが、フレームごとに動きをトラッキングし、（たとえば、カメラがパンしている場合の）電子デバイスの移動またはフレームごとのオブジェクトの移動に基づいて、ターゲットオブジェクトのロケーション、サイズまたはフレームを決定し得る。「検出する」という用語およびそれの変形態は、たとえば、フレームの一部分を参照画像と比較することによって、ターゲットオブジェクトを識別することを試みるプロセスを指す。たとえば、オブジェクトトラッキングおよび検出モジュールは、ターゲットオブジェクトを識別する試みにおいて、キャプチャされたフレームの部分を（ターゲットオブジェクトの）参照画像と比較し得る。一例では、検出は、ターゲットがもはやトラッキングされ得ないときに（たとえば、オブジェクトが視野外に出る場合に）使用され得る。動きベーストラッキングとオブジェクト検出とを実施するシステムおよび方法について以下でさらに詳細に説明する。

[0030]図１は、ターゲットオブジェクトをトラッキングし、検出するための電子デバイス１０２を示すブロック図である。電子デバイス１０２は、ワイヤレス通信デバイス、モバイルデバイス、移動局、加入者局、クライアント、クライアント局、ユーザ機器（ＵＥ）、遠隔局、アクセス端末、モバイル端末、端末、ユーザ端末、加入者ユニットなどと呼ばれることもある。電子デバイスの例としては、ラップトップまたはデスクトップコンピュータ、セルラーフォン、スマートフォン、ワイヤレスモデム、電子リーダー、タブレットデバイス、ゲームシステムなどがある。これらのデバイスのうちのいくつかは、１つまたは複数の業界規格に従って動作し得る。

[0031]スマートフォンまたはタブレットコンピュータなど、電子デバイス１０２はカメラを含み得る。カメラは、画像センサー１１４と、光学システム１１８の視野内に位置するオブジェクトの画像を画像センサー１１４上に合焦させる光学システム１１８（たとえば、レンズ）とを含み得る。電子デバイス１０２は、カメラソフトウェアアプリケーションとディスプレイスクリーンとをも含み得る。カメラアプリケーションが動作しているとき、光学システム１１８の視野内に位置するオブジェクトの画像は画像センサー１１４によって記録され得る。画像センサー１１４によって記録されている画像はディスプレイスクリーン上に表示され得る。これらの画像は、所与の時間において、光学システム１１８の視野内に位置するオブジェクトがディスプレイスクリーン上に表示されるように、比較的高いフレームレートにおいて高速に連続して表示され得る。本システムおよび方法について、キャプチャされたビデオフレームに関して説明するが、本明細書で説明する技法は任意のデジタル画像に対して使用され得る。したがって、ビデオフレームおよびデジタル画像という用語は本明細書では互換的に使用され得る。

[0032]カメラアプリケーションのユーザインターフェース１２０が、ディスプレイスクリーン上に表示されている１つまたは複数のオブジェクトがトラッキングされることを可能にし得る。電子デバイスのユーザは、トラッキングされるべきである（１つまたは複数の）オブジェクトを選択することを可能にされ得る。さらに、（１つまたは複数の）選択されたオブジェクトは、オブジェクトを後で検出するための参照として使用され得る。

[0033]一構成では、ディスプレイは、たとえば、指、スタイラスまたは他のツールによる、物理的タッチからの入力を受信するタッチスクリーン１１６である。タッチスクリーン１１６は、トラッキングされるべきターゲットオブジェクトを定義するタッチ入力を受信し得る。たとえば、電子デバイス１０２が、当該の動物を含む自然のシーンをキャプチャしている場合、ユーザは、必要な場合、その動物がトラッキングまたは検出されるべきであるという要望を示すバウンディングボックス（bounding box）をその動物の周りに描き得る。ターゲットオブジェクトは任意の好適な方法で選択され得る。たとえば、トラッキング、検出、または両方が行われるべきであるターゲットオブジェクトを選択するために、顔認識、歩行者認識などが使用され得る。一構成では、複数のオブジェクトがトラッキングされ得る。ユーザインターフェース１２０は、たとえば、１つまたは複数のターゲットオブジェクトを選択する（すなわち、定義する）ために、ユーザがオブジェクトトラッキングおよび検出モジュール１０４と対話することを可能にし得る。

[0034]電子デバイス１０２は、ビデオフレーム中の選択されたオブジェクトをトラッキングし、および／またはそのオブジェクトを検出するための、オブジェクトトラッキングおよび検出モジュール１０４を含み得る。オブジェクトトラッキングおよび検出モジュール１０４は、１つまたは複数のオブジェクトをトラッキングするための動きトラッカー（motion tracker）１０６を含み得る。動きトラッカー１０６は、前のビデオフレームと現在ビデオフレームとの間でターゲットオブジェクトのロケーションおよび／またはロケーションの変化を推定するために、フレームごとに画像（たとえば、ビデオフレーム）上の点の動きをトラッキングするために動きベースであり得る。

[0035]オブジェクトトラッキングおよび検出モジュール１０４は、ビデオフレーム上のオブジェクトを検出するためのオブジェクト検出器１０８をも含み得る。オブジェクト検出器１０８は、現在ビデオフレームの全部または一部分を、（たとえば、ビデオフレームのシーケンス中の）キャプチャされた前のビデオフレーム１１２の選択されたオブジェクトまたは部分と比較することによって、オブジェクトを検出するために、動きベースモデルではなく、オブジェクトモデルを使用し得る。オブジェクト検出器１０８は、ビデオフレーム内の複数のオブジェクトを検出するために使用され得る。

[0036]オブジェクトトラッキングおよび検出モジュール１０４はメモリバッファ１１０をも含み得る。メモリバッファ１１０は、１つまたは複数のキャプチャされたフレームと、キャプチャされたビデオフレームに関連するデータとを記憶し得る。一例では、メモリバッファ１１０は前のキャプチャされたビデオフレーム１１２を記憶し得る。オブジェクトトラッキングおよび検出モジュール１０４は、動きベーストラッキングおよび／またはオブジェクト検出を実施する際に、キャプチャされた前のビデオフレーム１１２に関してメモリバッファ１１０から与えられたデータを使用し得る。ターゲットオブジェクトをより正確にトラッキングおよび／または検出するように動きベーストラッキングおよびオブジェクト検出を調整するために、メモリバッファ１１０からのフィードバックを介してデータが動きトラッカー１０６またはオブジェクト検出器１０８に与えられ得る。たとえば、メモリバッファ１１０は、オブジェクトをトラッキングまたは検出するときにオブジェクトのロケーションとサイズとをより正確に特定するために使用され得る１つまたは複数のパラメータを動きトラッカー１０６とオブジェクト検出器１０８とに与えるために、ロケーションおよびウィンドウサイズデータを動きトラッカー１０６とオブジェクト検出器１０８とに与え得る。

[0037]上述のように、電子デバイス１０２は動きベーストラッキングを実施し得る。動きベーストラッキングは様々な方法を使用して実施され得る。一例では、トラッキングはメジアンフロー方法（median flow method）によって実施され、その方法では、動きトラッカーは、画像のペアＩ_t、Ｉ_t+1（たとえば、ビデオフレーム）とバウンディングボックスβ_tとを受け付け、バウンディングボックスβ_t+1を出力する。点のセットが、バウンディングボックスβ_t内の矩形格子上で初期化され得、Ｉ_tとＩ_t+1との間のスパース動きフロー（sparse motion flow）を生成するためにそれらの点をトラッキングする。点予測の品質が推定され得、各点がエラーを割り当てられ得る。最悪の予測の一部分（たとえば、５０％）はフィルタで除去され得、残りの予測は、全バウンディングボックスの変位を推定するために使用される。動きトラッカー１０６は、電子デバイス１０２によってキャプチャされた各ビデオフレームに対する動きベーストラッキングを実施し得る。同様の方法では、動きベーストラッキングは、１つまたは複数の勾配（たとえば、ｘ勾配およびｙ勾配）を計算する（calculate）ことと、時間勾配を計算するためにフレームのペア間の差を使用することと、現在ビデオフレーム内のターゲットオブジェクトを正確にトラッキングするために複数の勾配値を使用することとによって実施され得る。動きベーストラッキングに関するさらなる詳細が以下で与えられる。

[0038]動きベーストラッキングを実施するとき、動きトラッカー１０６は、動きトラッキング方法の計算または推定された精度に基づいてトラッキング信頼性値を決定し得る。いくつかの構成では、トラッキング信頼性値は、ターゲットオブジェクトが現在ビデオフレームまたはそのビデオフレームの定義されたウィンドウ内に入る可能性または確率に対応する０から１の間の実数であり得る。トラッキング信頼性値はトラッキングしきい値と比較され得る。トラッキング信頼性値がトラッキングしきい値よりも大きい場合、ターゲットオブジェクトが現在ビデオフレーム内で見つけられる可能性は高いことがある。代替的に、トラッキング信頼性値がトラッキングしきい値よりも小さいかまたはそれに等しい場合、ターゲットオブジェクトが現在ビデオフレーム内で見つけられる可能性は低いかまたは不確実であることがある。トラッキング信頼性値を決定するための様々な方法が使用され得る。一構成では、トラッキング信頼性値は、現在ビデオフレーム中のトラッキングされたウィンドウ（たとえば、トラッキングパッチウィンドウ）と、前にキャプチャされたビデオフレームからの前に記憶された画像パッチとの間の正規化相互相関（ＮＣＣ：normalized cross correlation）を計算することによって決定される。トラッキング信頼性値を決定することに関するさらなる詳細が以下で与えられる。

[0039]電子デバイス１０２はオブジェクト検出をも実施し得る。オブジェクト検出は様々な方法を使用して実施され得る。一構成では、オブジェクト検出はスライディングウィンドウ方法（sliding window method）を使用して実施され、その方法では、ターゲットオブジェクトが現在ビデオフレーム中で、あるいは現在ビデオフレームの特定のウィンドウまたはウィンドウのサブセット内で見つけられるかどうかを決定するために、ビデオフレーム内のウィンドウの複数のサブセットのコンテンツが閲覧される。すべての可能なウィンドウロケーションおよびサイズの全部またはサブセットがビデオフレーム中で探索され得る。たとえば、各ウィンドウはデータのピクセルに対応し得、オブジェクト検出器１０８は、ターゲットオブジェクトが特定のウィンドウまたはサブウィンドウ内にある信頼性のレベル（たとえば、バイナリインジケータ）を決定するために、データのピクセルを使用して１つまたは複数の計算を実施し得る。１つまたは複数のウィンドウに関連する信頼性のレベルに基づいて、検出器信頼性値が現在ビデオフレームのために取得され得る。さらに、オブジェクト検出の精度または効率を増加させるために追加の技法が使用され得る。これらの技法のうちのいくつかについて以下で説明する。

[0040]いくつかの構成では、動きトラッカー１０６とオブジェクト検出器１０８は、並列にではなく連続的に動作し得る。たとえば、電子デバイス１０２は、選択されたオブジェクト（たとえば、ターゲットオブジェクト）の動きベーストラッキングを実施し、連続的に、トラッキングされたパラメータに基づいて、選択されたオブジェクトのオブジェクト検出を実施し得る。一構成では、電子デバイス１０２は、現在ビデオフレームに対する動きベーストラッキングを実施し得る。電子デバイス１０２は、次いで、トラッキングされたパラメータに基づいて現在フレームに対するオブジェクト検出を実施し得る。一構成では、トラッキングされたパラメータは、信頼性値としきい値との間の比較に基づき得る。たとえば、トラッキング信頼性値がトラッキングしきい値を下回る場合、電子デバイス１０２はオブジェクト検出を実施し得る。代替的に、トラッキング信頼性値がトラッキングしきい値を上回る場合、電子デバイス１０２は、現在ビデオフレームのためのオブジェクト検出をスキップし、現在ビデオフレームの動きトラッキング結果に基づいて次のビデオフレームに対する動きベーストラッキングを実施することを続け得る。言い換えれば、オブジェクト検出は、動きベーストラッキングがあまり良好でなく、たとえば、トラッキング信頼性値がトラッキングしきい値を下回るときのみ、実施され得る。オブジェクト検出が実施されるかどうかおよび／またはどのように実施されるかを考慮するとき、他のトラッキングされたパラメータが使用され得る。トラッキングされたパラメータの例としては、ターゲットオブジェクトの領域、ウィンドウロケーション、ウィンドウサイズ、スケールレベル、ターゲットサイズ、トラッキングおよび／または検出信頼性値、あるいはターゲットオブジェクトの効率的なトラッキングおよび／または検出を可能にするために使用され得る他のパラメータがあり得る。

[0041]トラッキングされたパラメータに基づいて動きベーストラッキングとオブジェクト検出とを連続的に実施することは、電子デバイス１０２が、広範な計算を実施することなしにビデオフレーム内のターゲットオブジェクトをトラッキングおよび／または検出することを可能にし得る。詳細には、動きベーストラッキングはオブジェクト検出よりも計算集約的でないことがあるので、電子デバイス１０２はオブジェクト検出を実施することをスキップし得、ここで、現在ビデオフレーム内のターゲットオブジェクトを正確にトラッキングするために動きベーストラッキングが使用され得る。たとえば、電子デバイス１０２が、トラッキング信頼性値が特定のターゲットしきい値を超えることを決定した場合、電子デバイス１０２は、現在ビデオフレーム内のターゲットオブジェクトのロケーションまたは存在を正確に決定するために、現在ビデオフレームに対してオブジェクト検出が必要とされないことを決定し得る。さらに、オブジェクト検出は多くの場合有益であり得るので、電子デバイス１０２は、トラッキングしきい値との比較に基づいて動きベーストラッキングが不十分である場合、ターゲットオブジェクトをより正確に検出するかまたはオブジェクト検出を実施するために、オブジェクト検出が使用され得る場合を決定し得る。

[0042]いくつかの構成では、現在ビデオフレームに対するオブジェクト検出をスキップするのではなく、メモリバッファ１１０によって与えられる動きベーストラッキングの結果および／または追加情報が、オブジェクト検出を実施するプロセスを狭くするかまたは調整するために使用され得る。たとえば、ターゲットオブジェクトが、動きベーストラッキング方法を使用して正確にトラッキングされ得ない場合、電子デバイス１０２は、依然として、動きベーストラッキングを介して与えられたパラメータがない場合よりも少ない計算能力を使用してオブジェクトをより正確に検出するためにオブジェクト検出中に使用され得る、ターゲットオブジェクトに関連するロケーション、ウィンドウスケールまたは他のトラッキングされたパラメータに関する情報を推定または取得し得る。したがって、動きベーストラッキングが、トラッキングしきい値を超えるトラッキング信頼性値を与えない場合でも、動きベーストラッキングの結果は、その後オブジェクト検出を実施するときに使用され得る。

[0043]図２Ａは、オブジェクトトラッキングおよび検出モジュール２０４を示すブロック図である。オブジェクトトラッキングおよび検出モジュール２０４は、電子またはワイヤレスデバイス内に実装され得る。オブジェクトトラッキングおよび検出モジュール２０４は、オプティカルフローモジュール２２６とトラッキング信頼性値２２８とを有する動きトラッカー２０６を含み得る。オブジェクトトラッキングおよび検出モジュール２０４は、スキャナロケータ２３０と、スキャナスケーラ２３６と、分類器２３８と、検出信頼性値２４０とを有するオブジェクト検出器２０８をも含み得る。メモリバッファ２１０は、動きトラッカー２０６とオブジェクト検出器２０８とに与えられ得るキャプチャされた前のビデオフレーム２１２に関連するデータを記憶し得る。オブジェクトトラッキングおよび検出モジュール２０４、動きトラッカー２０６、オブジェクト検出器２０８ならびにメモリバッファ２１０は、図１に関して上記で説明したオブジェクトトラッキングおよび検出モジュール１０４、動きトラッカー１０６、オブジェクト検出器１０８ならびにメモリバッファ１１０の構成であり得る。

[0044]動きトラッカー２０６は、現在ビデオフレーム（Ｎ）２２４に対する動きベーストラッキングを実施するために使用され得る。たとえば、前のビデオフレーム（Ｎ−１）２２２および現在ビデオフレーム（Ｎ）２２４が（たとえば、電子デバイスによって）受信され得る。前のビデオフレーム（Ｎ−１）２２２は、ビデオフレームのシーケンス中の現在ビデオフレーム（Ｎ）２２４の直前にくることがある。追加のビデオフレームがオブジェクトトラッキングおよび検出モジュール２０４によって取得され、処理され得る。前のビデオフレーム（Ｎ−１）２２２は動きトラッカー２０６に与えられ得る。さらに、メモリバッファ２１０は、本明細書ではキャプチャされた前のビデオフレーム２１２と呼ぶ、前のビデオフレーム（Ｎ−１）２２２に関連するデータを記憶し得る。いくつかの構成では、メモリバッファ２１０は、電子デバイスから（たとえば、カメラから）前のビデオフレーム（Ｎ−１）２２２に関する情報を直接取得し得る。メモリバッファ２１０はまた、融合モジュール（fusion module）２６０から前のビデオフレーム（Ｎ−１）２２２に関するトラッキング結果を取得し得、トラッキング結果は、オブジェクトが前のビデオフレーム（Ｎ−１）２２２中のどこでトラッキングおよび／または検出されたかを指定し得る。前のビデオフレーム（Ｎ−１）２２２または他の前にキャプチャされたビデオフレームに関するこの情報はメモリバッファ２１０に記憶され得る。

[0045]動きトラッカー２０６は、その後ビデオフレームのシーケンス中の現在ビデオフレーム（Ｎ）２２４を受信し得る。動きトラッカー２０６は、（たとえば、メモリバッファ２１０から与えられた情報を使用して）現在ビデオフレーム（Ｎ）２２４を前のビデオフレーム（Ｎ−１）２２２と比較し得る。動きトラッカー２０６は、オプティカルフローモジュール２２６を使用して現在ビデオフレーム（Ｎ）２２４上のオブジェクトの動きをトラッキングし得る。オプティカルフローモジュール２２６は、現在ビデオフレーム（Ｎ）２２４上のオブジェクトの動きベーストラッキングを実施するためのハードウェアおよび／またはソフトウェアを含み得る。前のビデオフレーム（Ｎ−１）２２２と現在ビデオフレーム（Ｎ）２２４とを比較することによって、動きトラッカー２０６は、ターゲットオブジェクトが現在ビデオフレーム（Ｎ）２２４中にある可能性に関連するトラッキング信頼性値２２８を決定し得る。一例では、トラッキング信頼性値は、ターゲットオブジェクトが現在ビデオフレーム（Ｎ）２２４または現在ビデオフレーム（Ｎ）２２４内のウィンドウ内にある確実性の割合に基づく（たとえば、０から１の間の）実数である。

[0046]オブジェクト検出器２０８は、現在ビデオフレーム（Ｎ）２２４上のオブジェクトを検出するために使用され得る。たとえば、オブジェクト検出器２０８は、ビデオフレームのシーケンス中の現在ビデオフレーム（Ｎ）２２４を受信し得る。オブジェクト検出器２０８は、トラッキングされたパラメータに基づいて現在ビデオフレーム（Ｎ）２２４に対するオブジェクト検出を実施し得る。トラッキングされたパラメータは、ターゲットオブジェクトが正確にトラッキングされている可能性に相当するトラッキング信頼性値２２８を含み得る。より詳細には、トラッキングされたパラメータは、トラッキング信頼性値２２８とトラッキングしきい値２５０との比較を含み得る。トラッキングされたパラメータは、メモリバッファ２１０から与えられた情報をも含み得る。オブジェクトを検出するときに使用され得るトラッキングされたパラメータのいくつかの例としては、領域、ウィンドウロケーション、ウィンドウサイズ、またはオブジェクト検出を実施するときにパラメータとしてオブジェクト検出器２０８によって使用され得る他の情報がある。

[0047]オブジェクト検出器２０８はスキャナロケータ２３０を含み得る。スキャナロケータ２３０は、ウィンドウロケーションセレクタ２３２とランダマイザ２３４とを含み得る。ウィンドウロケーションセレクタ２３２は、ビデオフレーム内の複数のウィンドウを選択し得る。たとえば、ビデオフレームが、関連するロケーションとサイズとを各々がもつ、複数のウィンドウを含み得る。一構成では、各ビデオフレームは、ビデオフレーム中の総ピクセルの一部分を各々が含む、複数の（たとえば、約１０，０００個の）重複ウィンドウに分割される。代替的に、任意の好適な数のウィンドウがあり得、それらは重複しないことがある。スキャナロケータ２３０内のウィンドウロケーションセレクタ２３２は、ターゲットオブジェクトをそれの中で識別することを試みるための、ウィンドウのロケーションを選択し得る。ランダマイザ２３４は、オブジェクトを検出するために異なるサイズおよびロケーションのウィンドウをランダムに選択し得る。いくつかの構成では、ランダマイザ２３４は、ビデオフレーム内のウィンドウをランダムに選択する。代替的に、ランダマイザ２３４は、１つまたは複数のファクタに基づいてウィンドウをより正確に選択し得る。たとえば、ランダマイザ２３４は、オブジェクトがたいがい位置するところの領域、サイズまたは概略的なロケーションに基づいてウィンドウの選択を限定し得る。この情報は、メモリバッファ２１０を介して取得され得、または、完全に依拠されるのに十分正確ではないが、オブジェクト検出を実施するときに役立つ情報を与え得る、動きベーストラッキングを介して取得され得る。したがって、ランダマイザ２３４は、探索すべき複数のウィンドウをランダムに選択し得るが、ウィンドウの選択は、オブジェクト検出器２０８に与えられた情報に基づいて狭くされ、したがって完全にランダムであるとは限らない。

[0048]オブジェクト検出器２０８は、あるサイズのウィンドウを引き出すかまたは選択するために使用され得る、スキャナスケーラ２３６をも含み得る。ウィンドウサイズは、オブジェクトを検出すること、または画像が特定のウィンドウ内にあるかどうかを検出するためにウィンドウの選択を元の画像と比較することを行うとき、ウィンドウのサイズを狭くするためにスキャナロケータ２３０によって使用され得る。スキャナスケーラ２３６は、オブジェクトを定義するときに初めにあるサイズまたはスケールレベルの１つまたは複数のウィンドウを選択するか、あるいは、代替的に、メモリバッファ２１０から与えられた情報に基づいて、あるサイズまたはスケールレベルの１つまたは複数のウィンドウを引き出し得る。

[0049]分類器２３８は、ターゲットオブジェクトの一部または全部が特定のウィンドウ中で見つけられたかどうかを決定するために使用され得る。いくつかの構成では、分類器２３８は、ターゲットオブジェクトが特定のウィンドウまたはサブウィンドウ内で検出されたかどうかを示すために各ウィンドウについてバイナリ値を生成し得る。この分類（たとえば、バイナリ分類）は、オブジェクト検出器２０８によって探索された各ウィンドウについて実施され得る。詳細には、分類器２３８は、オブジェクトがそれの中で検出された各ウィンドウについてバイナリ１を生成し、オブジェクトがそれの中で検出されなかった各ウィンドウについてバイナリ０を生成し得る。１と０の数または組合せに基づいて、オブジェクト検出器２０８は、ターゲットオブジェクトが現在ビデオフレーム（Ｎ）２２４内に存在する可能性を示す検出信頼性値２４０を決定し得る。いくつかの構成では、検出信頼性値２４０は、オブジェクトが正確に検出された割合または確率を示す０から１の間の実数である。

[0050]オブジェクト検出器２０８は、領域、ターゲットサイズ、ウィンドウサイズ、スケールレベル、ウィンドウロケーションおよび１つまたは複数の信頼性値を含む、様々なトラッキングされたパラメータに従ってオブジェクト検出を実施し得る。ビデオフレームのウィンドウまたはウィンドウのサブセットが探索され、オブジェクト検出器２０８が、各探索されたウィンドウについてバイナリ値を取得すると、オブジェクト検出器２０８は、最高の信頼性を有する現在ビデオフレーム上のウィンドウサイズならびにロケーションまたは領域を決定し得る。このロケーションおよびウィンドウサイズは、ターゲットオブジェクトをより正確にトラッキングおよび／または検出するために後のトラッキングおよび検出において使用され得る。

[0051]上述のように、様々な方法が、ターゲットオブジェクトを検出する際にオブジェクト検出器２０８によって使用され得る。一構成では、ターゲットオブジェクトを検出することは、あらゆる可能なウィンドウロケーションおよびあらゆる可能なウィンドウサイズにおいてウィンドウのためにバイナリ分類を実施することを含み得る。しかしながら、あらゆる可能なウィンドウを探索することはリソース集約的である。したがって、別の構成では、オブジェクト検出器は、ビデオフレーム中のすべての可能なウィンドウではなく、ウィンドウロケーションおよびサイズのサブセットを探索し得る。たとえば、オブジェクト検出器２０８は、すべての可能なウィンドウの１％を探索し得る。次いで、検出が不成功である（たとえば、検出信頼性値２４０が検出しきい値２５２よりも小さい）場合、後のキャプチャされたフレーム中でウィンドウロケーションのより高い割合、たとえば、２％が探索され得る。探索されるウィンドウロケーションの割合におけるステップは、一様、非一様、遅いまたは速いことがあり、すなわち、連続フレームが、１％、２％、３％、４％または１％、２％、４％、８％を有し得る。一構成では、探索されるフレームの割合は、高い検出信頼性値に応答して極めて高く（たとえば、８０％、９０％、１００％）、すなわち、ターゲットオブジェクトが次のビデオフレームであることを保証するように、設定され得る。たとえば、探索されるフレームの割合は、検出およびトラッキングしきい値を超える検出およびトラッキング信頼性値に応答して少なくとも８０％にジャンプし得る。代替的に、その割合は、６０％、７０％、９０％などにジャンプし得る。さらに、検出およびトラッキングしきい値のための任意の好適な値、たとえば、０．６、０．６５、０．７、０．７５、０．８、０．８５などが使用され得る。さらに、探索されるウィンドウの割合は、ランダマイザ（乱数発生器）に基づいて、ランダムに決定され得、たとえば、１％から１５％の間のウィンドウのランダム割合が、キャプチャされたフレーム中で探索され得る。すべてのウィンドウロケーションのサブセットを探索することによって、オブジェクト検出は、電子デバイスにおけるより少数のリソースを使用し得る。

[0052]さらに、本システムおよび方法は、各ロケーションについてウィンドウサイズのサブセットを探索し得る。各ウィンドウサイズは、本明細書ではスケールレベルと呼ぶことがあり、各スケールレベルは特定のウィンドウサイズに対応する。たとえば、２０個の可能なスケールレベルがあり得る。すべての２０個のスケールレベルを探索するのではなく、スケールレベルまたはウィンドウサイズのサブセットが各ウィンドウロケーションにおいて探索され得る。

[0053]本システムおよび方法は、探索されるウィンドウロケーションおよびサイズを調整するためにメモリバッファ２１０からのフィードバックをも使用し得る。言い換えれば、ターゲットオブジェクトがそれの中で正常に検出および／またはトラッキングされた、最後のキャプチャされたビデオフレームのロケーションおよびサイズが、現在ビデオフレーム（Ｎ）２２４を探索するための開始点として使用され得る。たとえば、ターゲットオブジェクトが最近のビデオフレーム中で検出され、トラッキングされた（すなわち、最近のキャプチャされたビデオフレームのための検出およびトラッキング信頼性値２５６が検出およびトラッキングしきい値を上回る）場合、スキャナロケータは、最近のフレームに関連するロケーションおよびサイズにおいて、現在のキャプチャされたフレームを探索し始め得る。たとえば、ターゲットオブジェクトが、光学システムの視野外に移動するかまたはある距離を置いて消える場合、ターゲットオブジェクトは、ターゲットオブジェクトが光学システムの視野を出たかまたはある距離を置いて消えたときと同じサイズにおいて再び現れる可能性が高いことがある。したがって、あるサイズまたはある範囲のサイズが、オブジェクト検出を実施するときに後のビデオフレーム中のターゲットオブジェクトを検出するために予測され得る。

[0054]さらに、キャプチャされたビデオフレーム（Ｎ）２２４中で探索されるウィンドウロケーションおよびウィンドウサイズの探索範囲が、最近のビデオフレーム（たとえば、前のビデオフレーム（Ｎ−１）２２２）中のターゲットオブジェクトに関連するウィンドウロケーションおよびウィンドウサイズと同様のものに限定され得る。本明細書で使用する「探索範囲」という用語は、ビデオフレーム中のターゲットオブジェクトを検出および／またはトラッキングするときに利用され得る候補ウィンドウロケーションまたは候補ウィンドウサイズ（または両方）のセットを指す。たとえば、探索されるウィンドウロケーションのサブセットは、ターゲットオブジェクトが最近のビデオフレーム中のどこで見つけられたかに基づいて現在ビデオフレーム（Ｎ）２２４の一部分、たとえば、現在ビデオフレーム（Ｎ）２２４の４半分または半分のうちの１つ内から選択され得る。言い換えれば、探索空間は、ターゲットオブジェクトが最後にトラッキングまたは検出されたところの近くに限定され得る。同様に、各ウィンドウロケーションについて探索されるフレームのサイズは、ターゲットにされたオブジェクトが最近のビデオフレーム中のそれの中で見つけられた、ウィンドウのサイズに基づいて限定され得る。たとえば、オブジェクトが、８のスケールレベルをもつウィンドウを使用して最近のフレーム中で検出された場合、スキャナスケーラ２３６は、８プラスまたはマイナス３の現在ビデオフレーム（Ｎ）２２４のためのウィンドウスケールレベルのみ、すなわち、スケールレベル５〜１１を選択し得る。これは、さらに、低い確率の探索をなくし、オブジェクト検出の効率を増加させ得る。代替的に、最近の（非現在）ビデオフレームがターゲットオブジェクトを検出しなかった（すなわち、最近のビデオフレームのための検出およびトラッキング信頼性値２５６が検出およびトラッキングしきい値を下回る）場合、オブジェクト検出器２０８は、探索される探索空間（ウィンドウロケーション）を拡大し得、たとえば、画像のより広い範囲または全画像が探索を受け得る。

[0055]オブジェクトトラッキングおよび検出モジュール２０４は、単一のウィンドウを形成するために複数のウィンドウをマージするための融合モジュール２６０を含み得る。初めに２つの信頼性値、すなわち、オブジェクト検出器２０８からの検出信頼性値２４０および動きトラッカー２０６からのトラッキング信頼性値２２５がある。融合モジュール２６０は、２つの信頼性値を組み合わせて（たとえば、より大きい信頼性値を選んで）検出およびトラッキング信頼性値２５６にし得る。検出およびトラッキング信頼性値２５６は、ターゲットオブジェクトがビデオフレーム上で識別されたかどうかを示し得る。一構成では、検出およびトラッキング信頼性値２５６は０から１の間の実数であり得、ただし、０は、ターゲットオブジェクトが特定のビデオフレーム中で識別された、最低の可能な信頼性を示し、１は、ターゲットオブジェクトが特定のビデオフレーム中で識別された、最高の可能な信頼性を示す。言い換えれば、検出およびトラッキング信頼性値２５６は、ターゲットオブジェクトが見つけられた可能性の全体的指示として働き得る。さらに、検出およびトラッキング信頼性値２５６は、次のビデオフレーム中で探索すべきウィンドウロケーション、ウィンドウサイズまたはウィンドウの割合を決定するために使用されるパラメータであり得る。融合モジュール２６０は、現在ビデオフレーム（Ｎ）２２４に関する情報をメモリバッファ２１０に与えるために使用され得る。一例では、融合モジュール２６０は、トラッキングされたウィンドウ２４２に関する情報（たとえば、ウィンドウロケーション２４４、ウィンドウサイズ２４６など）と検出およびトラッキング信頼性値２５６とをメモリバッファ２１０に与え得る。融合モジュール２６０は、組み合わされたトラッキング結果（たとえば、バウンディングボックス）を形成することと、検出およびトラッキング信頼性値２５６を計算することとを行うために、動きトラッカー２０６およびオブジェクト検出器２０８からのトラッキング結果（たとえば、バウンディングボックス）を使用し得る。

[0056]メモリバッファ２１０は、前のビデオフレーム（Ｎ−１）２２２、現在ビデオフレーム（Ｎ）２２４または他のキャプチャされたビデオフレームに関連する１つまたは複数の値を記憶し得る。一構成では、メモリバッファ２１０は、前のビデオフレーム（Ｎ−１）２２２に対応する情報を含み得る、キャプチャされた前のビデオフレーム２１２を記憶する。キャプチャされた前のビデオフレーム２１２は、各ウィンドウ２４２についてロケーション２４４と、ウィンドウサイズ２４６と、（たとえば、分類器２３８からの）バイナリ決定２４８とを含む、１つまたは複数のウィンドウ２４２に関する情報を含み得る。キャプチャされた前のビデオフレーム２１２は、トラッキングしきい値２５０と、検出しきい値２５２と、検出およびトラッキングしきい値２５４とをも含み得る。トラッキングしきい値２５０は、２５８において、トラッキング信頼性レベルがトラッキングしきい値２５０よりも大きいかどうかを決定するために、動きトラッカー２０６またはオブジェクトトラッキングおよび検出モジュール上の回路（たとえば、信頼性レベル比較器）に与えられ得る。検出しきい値２５２は、検出信頼性値２４０が検出しきい値２５２よりも大きいかどうかを決定するために、オブジェクト検出器２０８またはオブジェクトトラッキングおよび検出モジュール２０４上の他の回路に与えられ得る。検出およびトラッキングしきい値２５４は、トラッキングしきい値２５０と検出しきい値２５２とに基づく組み合わされた値であり得る。検出およびトラッキングしきい値２５４は、動きベーストラッキングとオブジェクト検出とのための組み合わされた信頼性値を決定するために検出およびトラッキング信頼性値２５６と比較され得る。しきい値の各々は、ターゲットオブジェクトがビデオフレーム内に位置する可能性に基づき得る。オブジェクトトラッキングおよび検出モジュール２０４は、特定の検出およびトラッキング信頼性値２５６が取得されるまで、現在ビデオフレーム（Ｎ）２２４に対する動きベーストラッキングおよび／または検出を実施し得る。さらに、動きベーストラッキングおよびオブジェクト検出は、複数のビデオフレームのシーケンス中の各ビデオフレームに対して実施され得る。

[0057]動きベーストラッキングおよびオブジェクト検出を実施することは、動きベーストラッキングの後に、トラッキングされたパラメータに基づくオブジェクト検出を連続的に実施することを含み得る。特に、本システムおよび方法は、２ステップトラッキングおよび検出手法を実装し得る。動きベーストラッキングが、使用されるオブジェクト検出としての実際のオブジェクト識別ではなく、シーンの相対的動きに基づくので、動きベーストラッキングは、電子デバイスにおいて、オブジェクト検出を実施することほどリソース集約的でないことがある。したがって、オブジェクト検出器２０８の代わりに動きトラッカー２０６を使用することがより効率的であり得、ここで、ターゲットオブジェクトが、オブジェクト検出をも実施することなしに正確にトラッキングされ得る。

[0058]したがって、オブジェクト検出器２０８と並列に動きトラッカー２０６を使用するのではなく、オブジェクトトラッキングおよび検出モジュール２０４は、動きトラッカー２０６が不十分である場合にオブジェクト検出器２０８を使用するにすぎず、すなわち、動きトラッキングとオブジェクト検出は（実施されるとしても）並列にではなく連続的に実施される。トラッキングがそれに対して実施された各ビデオフレームについて、動きトラッカー２０６は、ターゲットオブジェクトが現在ビデオフレーム（Ｎ）２２４中にある可能性を示す０から１の間の実数であり得る、トラッキング信頼性値２２８を生成し得る。

[0059]２ステップトラッキングおよび検出手法の一構成では、動きトラッカー２０６は、最初に現在ビデオフレーム（Ｎ）２２４に対する動きベーストラッキングを実施し得る。動きトラッカー２０６は、動きベーストラッキングプロセスに基づいてトラッキング信頼性値２２８を決定し得る。トラッキング信頼性値２２８とメモリバッファ２１０によって与えられたトラッキングしきい値２５０とを使用して、オブジェクトトラッキングおよび検出モジュール２０４内の回路（たとえば、信頼性レベル比較器）は、２５８において、トラッキング信頼性値２２８がトラッキングしきい値２５０を超えるかどうかを決定し得る。トラッキング信頼性値２２８がトラッキングしきい値２５０よりも大きい場合、オブジェクトトラッキングおよび検出モジュール２０４は、オブジェクト検出を実施することをスキップし、出力２６２を生成するために融合モジュール２６０にトラッキング結果を与え得る。出力２６２は、ターゲットオブジェクトが現在ビデオフレーム（Ｎ）２２４内にあるという指示を含み得る。さらに、出力２６２は、ターゲットオブジェクトに関する追加情報を含み得る。

[0060]トラッキング信頼性値２２８がトラッキングしきい値２５０を超えない場合、オブジェクト検出器２０８は、その後現在ビデオフレーム（Ｎ）２２４に対するオブジェクト検出を実施し得る。オブジェクト検出は、現在ビデオフレーム（Ｎ）２２４内のウィンドウの全部またはサブセットに対して実施され得る。オブジェクト検出器２０８は、動きベーストラッキングの結果および／またはメモリバッファ２１０から与えられた情報に基づいて、ウィンドウ、ウィンドウサイズのサブセット、または他の検出基準をも選択し得る。オブジェクト検出は、オブジェクト検出器２０８に与えられた１つまたは複数のトラッキングされたパラメータに基づいて多少ロバストなプロセスを使用して実施され得る。オブジェクト検出器２０８は、検出信頼性値２４０を決定し、検出信頼性値２４０を検出しきい値２５２と比較し得る。検出信頼性値２４０が検出しきい値２５２を上回る場合、オブジェクト検出器２０８は、出力２６２を生成するために融合モジュール２６０に検出結果を与え得る。その出力は、ターゲットオブジェクトが現在ビデオフレーム（Ｎ）２２４内にあるという指示を含み、および／または検出されたオブジェクトに関する追加情報を含み得る。

[0061]代替的に、検出信頼性値２４０が検出しきい値２５２よりも小さいかまたはそれに等しい場合、オブジェクト検出器２０８は、現在ビデオフレーム（Ｎ）２２４内のより大きい数のウィンドウを探索することなど、よりロバストな方法を使用してオブジェクト検出を再び実施し得る。オブジェクト検出器２０８は、満足な検出信頼性値２４０が取得されるまで、オブジェクト検出のプロセスを繰り返し得る。満足な検出信頼性値２４０が取得され、その結果、現在ビデオフレーム内のターゲットオブジェクトが識別されると、オブジェクトトラッキングおよび検出モジュール２０４は、次のビデオフレームに対するトラッキングおよび検出を実施するために使用され得る。

[0062]図２Ｂに、図２Ａのシステム内のいくつかの構成要素がプロセッサ２６４によって実装されることを示す。図２Ａに示されているように、オブジェクトトラッキングおよび検出モジュール２０４はプロセッサ２６４によって実装され得る。異なるプロセッサが、異なる構成要素を実装するために使用され得る（たとえば、あるプロセッサは動きトラッカー２０６を実装し得、別のプロセッサはオブジェクト検出器２０８を実装するために使用され得、また別のプロセッサはメモリバッファ２１０を実装するために使用され得る）。

[0063]図３は、動きベーストラッキングとオブジェクト検出とを実施するための方法３００を示す流れ図である。方法３００は、電子デバイス１０２、たとえば、オブジェクトトラッキングおよび検出モジュール１０４によって実装され得る。電子デバイス１０２は、３０２において、前のビデオフレーム（Ｎ−１）２２２と現在ビデオフレーム（Ｎ）２２４とを比較することによって現在ビデオフレーム（Ｎ）２２４のための動きベーストラッキングを実施する。オブジェクトをトラッキングすることは、画像のペア間で点をトラッキングすることによってメジアンフロー方法を使用して実施され得る。動きベーストラッキングの他の方法も使用され得る。さらに、動きベーストラッキングは、メモリバッファ１１０を介して与えられたキャプチャされた前のビデオフレーム１１２に関する情報を使用して現在ビデオフレーム（Ｎ）２２４のために実施され得る。

[0064]電子デバイス１０２は、３０４において、トラッキング信頼性値２２８を決定する。トラッキング信頼性値２２８は、ターゲットオブジェクトが正確にトラッキングされた可能性または確実性を示し得る。電子デバイス１０２は、３０６において、トラッキング信頼性値２２８がトラッキングしきい値２５０よりも大きいかどうかを決定し得る。トラッキング信頼性値２２８がトラッキングしきい値２５０よりも大きい場合、電子デバイス１０２は、３０８において、次のビデオフレームのための動きベーストラッキングを実施する。さらに、電子デバイス１０２は、動きベーストラッキングの結果に基づいて現在ビデオフレームに対するオブジェクト検出を実施することをスキップし得る。言い換えれば、オブジェクト検出は、動きベーストラッキングがあまり良好でないときのみ、すなわち、トラッキング信頼性値がトラッキングしきい値よりも大きくない場合、現在ビデオフレームのために実施され得る。しかしながら、トラッキング信頼性値２２８がトラッキングしきい値２５０よりも大きくない場合、電子デバイス１０２は、３１０において、現在ビデオフレーム（Ｎ）２２４のためのオブジェクト検出を実施する。電子デバイス１０２は、動きベーストラッキングに連続してオブジェクト検出を実施し得る。いくつかの構成では、オブジェクト検出は、より高い検出信頼性値２４０を取得するために、異なるロバストネスを用いて複数回実施され得る。

[0065]図４は、動きベーストラッキングを実施するための方法４００を示す流れ図である。方法４００は、電子デバイス１０２、たとえば、オブジェクトトラッキングおよび検出モジュール１０４によって実装され得る。電子デバイス１０２は、４０２において、バウンディングボックスを使用してターゲットオブジェクトを識別する。４０２においてオブジェクトを識別することは、タッチスクリーン１１６、または当該のオブジェクトがそれで選択される他の入力方法を使用して、手動で実施され得る。複数のオブジェクトが同様の方法で識別され得る。さらに、トラッキングされるべきオブジェクトを識別するために他の入力方法が使用され得る。一例では、オブジェクトは、ターゲットオブジェクトの周りにバウンディングボックスを手動で描くことによって識別される。

[0066]電子デバイス１０２は、４０４において、バウンディングボックス内の格子上の点を初期化する。格子上の点は、バウンディングボックス全体にわたって一様に離間され得る。さらに、４０６において、２つの画像（たとえば、前のビデオフレーム（Ｎ−１）２２２と現在ビデオフレーム（Ｎ）２２４）間で格子上の点をトラッキングする。一例では、それらの点は、画像間のスパース動きフローを生成するルーカス−カナデ（Lucas-Kanade）トラッカーによってトラッキングされる。電子デバイス１０２は、４０８において、２つの画像（たとえば、前のビデオフレーム（Ｎ−１）２２２と現在ビデオフレーム（Ｎ）２２４）間のトラッキングエラーを推定する。４０８においてトラッキングエラーを推定することは、トラッキングされた点の各点にエラー値を割り当てることを含み得る。さらに、４０８においてトラッキングエラーを推定することは、たとえば、フォワードバックワードエラーと、正規化相互相関（ＮＣＣ）と、２乗差分和とを含む、様々な方法を使用して実施され得る。推定されたトラッキングエラーは、トラッキング信頼性値２２８を取得し、最終的に、ターゲットオブジェクトが現在ビデオフレーム（Ｎ）２２４中にある可能性を決定するために、使用され得る。一構成では、トラッキング信頼性値２２８は、現在ビデオフレーム（Ｎ）２２４中のトラッキングされたウィンドウと前のビデオフレーム（Ｎ−１）２２２中のトラッキングされたウィンドウとの間の正規化相互相関（ＮＣＣ）を計算することによって取得され得る。トラッキングエラーは、図５に関して以下でより詳細に説明するフォワードバックワードエラー推定を含む、追加の技法をも使用して推定され得る。さらに、電子デバイス１０２は、４１０において、範囲外の点予測をフィルタで除去する。たとえば、電子デバイスは、最悪の予測の５０％をフィルタで除去し得る。残りの予測は、バウンディングボックスの変位を推定するために使用され得る。

[0067]電子デバイス１０２は、４１２において、バウンディングボックスを更新する。４１２においてバウンディングボックスを更新することは、更新されたバウンディングボックスが次のビデオフレームのための新しいバウンディングボックスになるように、実施され得る。動きベーストラッキングプロセスは、次いで次のビデオフレームのために繰り返され得、または、トラッキング信頼性値がトラッキングしきい値２５０よりも小さいかまたはそれに等しい場合、動きベーストラッキングプロセスは、ターゲットオブジェクトが正確にトラッキングされ得るまで、次のビデオフレームのために中止され得る。いくつかの構成では、現在ビデオフレーム（Ｎ）２２４のための動きベーストラッキングが満足な結果を与えない場合、電子デバイスは、ターゲットオブジェクトの位置を特定する際に信頼性のより高いレベルを取得するために現在ビデオフレーム（Ｎ）２２４に対するオブジェクト検出を実施し得る。いくつかの構成では、動きベーストラッキングが満足な結果を生成することができない場合（たとえば、ターゲットオブジェクトがビデオフレームの範囲外に移動したとき）、オブジェクト検出は、ターゲットオブジェクトが検出されるまで、いずれかの後のビデオフレームに対して実施され得る。

[0068]図５は、フォワードバックワードエラーに基づいて動きベーストラッキングにおけるトラッキングエラーを推定する方法５００を示す流れ図である。方法５００は電子デバイス１０２（たとえば、オブジェクトトラッキングおよび検出モジュール１０４）によって実装され得る。いくつかの構成では、電子デバイス１０２は、トラッキングされたウィンドウ間の正規化相互相関（ＮＣＣ）を計算し得る。正規化相互相関（ＮＣＣ）は、トラッキング信頼性値２２８を決定するために使用され得る。電子デバイス１０２は、正規化相互相関（ＮＣＣ）を補足する様々なトラッキングエラー推定技法（たとえば、フォワードバックワードエラー、２乗差分和）をも使用し得る。フォワードバックワードエラー推定を使用する一例では、電子デバイス１０２は、５０２において、フォワード軌道を決定するために前のビデオフレーム（Ｎ−１）２２２と現在ビデオフレーム（Ｎ）２２４との間でフォワードトラッキングを実施する。フォワードトラッキングは、ｋ個のステップ前方の画像をトラッキングすることを含み得る。得られたフォワード軌道は（ｘ_t，ｘ_t+1，．．．，ｘ_t+k）に等しいことがあり、ただし、ｘ_tは時間的点ロケーションであり、ｋは画像のシーケンスの長さを示す。電子デバイス１０２は、５０４において、バックワード軌道を決定するために現在ビデオフレーム（Ｎ）２２４と前のビデオフレーム（Ｎ−１）２２２との間でバックワードトラッキングを実施する。得られたバックワード軌道は（

，

，．．．，

）に等しいことがあり、ただし、

である。

[0069]電子デバイス１０２は、５０６において、フォワード軌道とバックワード軌道との間のフォワードバックワードエラーを決定する。フォワードバックワードエラーは、フォワード軌道とバックワード軌道との間の距離として定義され得る。さらに、様々な距離が軌道比較のために定義され得る。一構成では、検証軌道の初期点と終了点との間のユークリッド距離が、フォワードバックワードエラーを決定するときに使用され得る。一構成では、フォワードバックワードエラーは、トラッキング信頼性値２２８を決定するために使用され得る、トラッキングエラーとして使用され得る。

[0070]図６は、オブジェクト検出を実施するための方法６００を示す流れ図である。方法６００は電子デバイス１０２（たとえば、オブジェクトトラッキングおよび検出モジュール１０４）によって実装され得る。電子デバイス１０２は、６０２において、現在ビデオフレーム（Ｎ）２２４中のウィンドウロケーションおよびサイズのサブセットを探索することによって現在ビデオフレーム（Ｎ）２２４に対するオブジェクト検出および動きベーストラッキングを実施する。

[0071]電子デバイス１０２は、６０４において、検出およびトラッキング信頼性値２５６を決定する。検出およびトラッキング信頼性値２５６は、ターゲットオブジェクトが現在ビデオフレーム（Ｎ）２２４中でまたは特定のウィンドウ内で見つけられるかどうかの信頼性のレベルを与え得る。電子デバイス１０２は、６０６において、検出および信頼性値２５６が検出およびトラッキングしきい値２５４よりも大きいかどうかをも決定し得る。検出および信頼性値が検出およびトラッキングしきい値２５４よりも大きい場合、電子デバイス１０２は、６０８において、次のビデオフレーム中のウィンドウおよびサイズのサブセット（たとえば、同じサブセット）を使用して次のビデオフレームに対するオブジェクト検出を実施する。代替的に、検出および信頼性値２５６が検出およびトラッキングしきい値２５４よりも小さい場合、電子デバイス１０２は、６１０において、次のビデオフレーム中のウィンドウロケーションおよびサイズのより大きいサブセットを使用して次のビデオフレームに対するオブジェクト検出を実施する。いくつかの構成では、信頼性値２５６が検出およびトラッキングしきい値２５４よりも小さい場合、電子デバイス１０２は、６１０において、次のビデオフレームの探索空間全体および／またはすべてのウィンドウを使用して次のビデオフレームに対するオブジェクト検出を実施する。

[0072]図７は、本システムおよび方法とともに使用され得る異なるウィンドウサイズ７６６を有する画像ウィンドウ７００を示すブロック図である。詳細には、図７は、１０個の可能なウィンドウサイズ７６６ａ〜ｊのセットを示している。各ウィンドウサイズはスケールレベル（たとえば、１〜１０）に対応し得る。本明細書では矩形として示されているが、探索されるウィンドウは任意の形状、たとえば、正方形、矩形、円形、楕円、ユーザ定義されたものなどであり得る。さらに、任意の数、たとえば、５つ、１５個、２０個、３０個などのウィンドウサイズまたはスケールレベルが利用可能であり得る。

[0073]上記で説明したように、探索範囲は、特定のロケーションのために使用されるウィンドウサイズのサブセットによって示され得、たとえば、現在ビデオフレーム（Ｎ）２２４中で探索されるウィンドウサイズは、最近のフレーム中のターゲットオブジェクトに関連するウィンドウロケーションおよびウィンドウサイズと同様のものに限定され得る。たとえば、フィードバックなしに、オブジェクト検出器２０８は、各選択されたウィンドウロケーションについてすべての１０個のウィンドウサイズを探索し得る。しかしながら、オブジェクトが、第５のウィンドウサイズ７６６ｅをもつウィンドウを使用して最近の（非現在）ビデオフレーム中で検出された場合、スキャナスケーラ２３６は、５プラスまたはマイナス３の現在キャプチャされたフレームのためのウィンドウサイズのみ、すなわち、ウィンドウサイズ２〜８を選択し得る。言い換えれば、第１のウィンドウサイズ７６６ａ、第９のウィンドウサイズ７６６ｉおよび第１０のウィンドウサイズ７６６ｊをもつウィンドウは、最近または前のビデオフレーム（Ｎ−１）２２２からのフィードバックに基づいて探索されないことがある。これは、さらに、低い確率の探索をなくし、オブジェクト検出の効率を増加させ得る。言い換えれば、最近のビデオフレームからのフィードバックを使用することは、実施される計算を低減するのに役立ち得る。代替的に、最近のビデオフレームがターゲットオブジェクトを検出しなかった（すなわち、最近のキャプチャされたフレームのための検出およびトラッキング信頼性値２５６が検出およびトラッキングしきい値２５４よりも小さい）場合、オブジェクト検出器２０８は、サイズレベルのサブセットを使用することによって探索範囲を限定しないことがある。

[0074]図８は、オブジェクトトラッキングおよび検出モジュール８０４の別の可能な構成を示すブロック図である。図８に示されたオブジェクトトラッキングおよび検出モジュール８０４は、図２に示されたオブジェクトトラッキングおよび検出モジュール２０４と同様のモジュールを含み、同様の機能を実施し得る。詳細には、図８に示されたオブジェクト検出器８０８、動きトラッカー８０６、スキャナロケータ８３０、ウィンドウロケーションセレクタ８３２、ランダマイザ８３４、スキャナスケーラ８３６、分類器８３８、融合モジュール８６０、メモリバッファ８１０、キャプチャされた前のビデオフレーム８１２、ウィンドウ８４２、ロケーション８４４、サイズ８４６、バイナリ決定８４８、トラッキングしきい値８５０、検出しきい値８５２、検出およびトラッキングしきい値８５４、検出信頼性値８４０、トラッキング信頼性値８２８、ならびに検出およびトラッキング信頼性値８５６は、図２に示されたオブジェクト検出器２０８、動きトラッカー２０６、スキャナロケータ２３０、ウィンドウロケーションセレクタ２３２、ランダマイザ２３４、スキャナスケーラ２３６、分類器２３８、融合モジュール２６０、メモリバッファ２１０、キャプチャされた前のビデオフレーム２１２、ウィンドウ２４２、ロケーション２４４、サイズ２４６、バイナリ決定２４８、トラッキングしきい値２５０、検出しきい値２５２、検出およびトラッキングしきい値２５４、検出信頼性値２４０、トラッキング信頼性値２２８、ならびに検出およびトラッキング信頼性値２５６に対応し、それらと同様の機能を有し得る。

[0075]さらに、オブジェクトトラッキングおよび検出モジュール８０４は、ターゲットの動きとトラッキングエラーとによるジッタリング影響を低減するために使用される平滑化モジュール８６１を含み得る。言い換えれば、平滑化モジュール８６１は、トラッキング結果を平滑化し、探索ウィンドウが、ロケーション（ｘ，ｙ）８４４とサイズ（幅、高さ）８４６の両方においてより滑らかな軌道を有することを引き起こす。平滑化モジュール８６１は、単純な移動平均（ＭＡ：moving average）フィルタまたは自動回帰（ＡＲ：auto regression）フィルタであり得る。ロケーション８４４のための平滑化程度とサイズ８４６のための平滑化程度は異なり得る。カルマンフィルタなど、予測フィルタもロケーション８４４の平滑化に好適であり得る。

[0076]一構成では、融合モジュール８６０は、バウンディングボックスによって表され得る、動きトラッキングとオブジェクト検出との組み合わされた結果を出力し得る。このバウンディングボックスは、平滑化モジュール８６１によって平滑化されたロケーション情報とサイズ情報の両方を含み得る。したがって、平滑化モジュール８６１は、非平滑化されたロケーション８６３と非平滑化されたサイズ８６５とを入力として受信し、平滑化されたロケーション８６７と平滑化されたサイズ８６９とを出力し得る。

[0077]図９は、平滑化モジュール９６１を示すブロック図である。平滑化モジュール９６１は、ターゲットの動きとトラッキングエラーとによるジッタリング影響を低減するために使用され得、すなわち、したがって、トラッキング結果（バウンディングボックス）は、ロケーション（ｘ，ｙ）とサイズ（幅、高さ）の両方においてより滑らかな軌道を有する。一構成では、ロケーション平滑化フィルタ９７１とサイズ平滑化フィルタ９７３は、非平滑化されたロケーション９６３と非平滑化されたサイズ９６５とを入力として受信し、平滑化されたロケーション９６７と平滑化されたサイズ９６９とを出力するために、自動回帰（ＡＲ）モデルを使用して実装される。

[0078]自動回帰（ＡＲ）モデルでは、Ｘが、平滑化されるべき変数であり、ロケーションまたはサイズのいずれかであると仮定されたい。さらに、Ｘ’をオブジェクトトラッカーによるＸの出力とする。この構成では、時間ｔにおけるＸの平滑化されたフィルタ処理Ｘ_tが、式（１）に従って表され得る。

上式で、Ｘ’_tは、時間ｔにおけるＸのトラッカー出力であり、Ｘ_t-1は、時間ｔ−１におけるＸの平滑化された結果であり、Ｗ（０≦Ｗ≦１）は、平滑化効果を制御する平滑化重みである。たとえば、Ｘ’_tは、現在ビデオフレームのために選択されたウィンドウロケーションまたはウィンドウサイズであり得、Ｘ_t-1は、前のビデオフレームのために使用されたウィンドウロケーションまたはウィンドウサイズであり得る。

[0079]異なる平滑化重みＷが、ロケーション平滑化フィルタ９７１とサイズ平滑化フィルタ９７３とのために使用され得る。たとえば、一実装形態では、ウィンドウロケーションに対してより少ない平滑化効果があるが、ウィンドウサイズに対してより強い平滑化効果があるように、Ｗ_location＝０．８およびＷ_size＝０．４である。平滑化重みのこの選択は、より少ないトラッキング遅延とより少ないジッタリングの両方をもたらすことになる。

[0080]さらに、平滑化重みのその選択はまた、検出およびトラッキング信頼性値８５６があるしきい値（たとえば、検出およびトラッキングしきい値８５４）を下回るときに低減され得る。これは、潜在的トラッキングまたは検出エラーが高いとき、より強いフィルタ処理を引き起こし得る。たとえば、低いトラッキング信頼性に応答して（たとえば、検出およびトラッキング信頼性値８５６が検出およびトラッキングしきい値８５４を下回る）、ロケーションのための平滑化重みおよびサイズのための平滑化重みは、それぞれＷ_location＝０．６５およびＷ_size＝０．２に設定され得る。言い換えれば、重みの一方または両方が減少され得、これは、ウィンドウロケーションおよびサイズ選択が、現在ビデオフレームのウィンドウロケーションおよびサイズよりも、前のビデオフレームのウィンドウロケーションおよびサイズにより重度に頼ることを引き起こし得る。

[0081]さらに、重み付けは、検出およびトラッキング信頼性値８５６ではなく、トラッキング信頼性値８２８または検出信頼性値８４０に基づき得る。たとえば、平滑化重みＷ_locationおよびＷ_sizeは、トラッキング信頼性値８２８がトラッキングしきい値８５０を下回ったことに応答して減少され得、すなわち、より強いフィルタ処理が、不十分な動きトラッキングに応答して使用され得る。代替的に、平滑化重みは、検出信頼性値８４０が検出しきい値８５２を下回ったことに応答して減少され得、すなわち、より強いフィルタ処理が、不十分なオブジェクト検出に応答して使用され得る。

[0082]別の構成では、カルマンフィルタ処理が、ウィンドウロケーションを平滑化するために使用され得る。そのような構成では、フィルタ処理は式（２）〜（７）に従って定義され得る。

[0083]上式で、ｚ_kは、ｘ_kの観測値または測定値であり、ｘ_kは、

によって定義される真の状態であり、ただし、（ｘ，ｙ）は、バウンディングボックス中心ロケーションであり、（

，

）は、各方向における速度である。さらに、ｘ_k-1は、時間ｋ−１における前の状態である。さらに、状態遷移モデルＦ_k、および観測モデルＨは、それぞれ式（４）〜（５）によって定義され得る。

[0084]上式で、Δｔは調節可能パラメータである。さらに、ｗｋは、式（６）に従って共分散Ｑ（すなわち、ｗ_k≒Ｎ（０，Ｑ））を用いたゼロ平均多変量正規分布（zero mean multivariate normal distribution）から引き出されると仮定されるプロセス雑音である。

[0085]上式で、σ₁は調節可能パラメータである。同様に、ｗｋは、式（７）に従って共分散Ｒ（すなわち、ｖ_k≒Ｎ（０，Ｒ））を用いたゼロ平均ガウス白色雑音（zero mean Gaussian white noise）であると仮定される観測雑音である。

[0086]上式で、σ₂は調節可能パラメータである。

[0087]図１０は、動きトラッキング結果中のジッタを平滑化するための方法１０００を示す流れ図である。方法１０００は、電子デバイス１０２、たとえば、電子デバイス１０２中のオブジェクトトラッキングおよび検出モジュール８０４によって実施され得る。電子デバイス１０２は、１００２において、現在ビデオフレームに関連する１つまたは複数のウィンドウロケーションと１つまたは複数のウィンドウサイズとを決定し、たとえば、非平滑化されたロケーション８６３と非平滑化されたサイズ８６５とを決定する。電子デバイス１０２はまた、１００４において、１つまたは複数の平滑化されたウィンドウロケーション８６７と１つまたは複数の平滑化されたウィンドウサイズ８６９とを生成するために１つまたは複数のウィンドウロケーションと１つまたは複数のウィンドウサイズとをフィルタ処理する。たとえば、これは、移動平均フィルタ、自動回帰フィルタまたはカルマンフィルタを使用することを含み得る。一構成では、低いトラッキング信頼性に応答して（たとえば、検出およびトラッキング信頼性値８５６が検出およびトラッキングしきい値８５４を下回る）、ロケーションのための平滑化重みおよびサイズのための平滑化重みは低減され得る。代替的に、平滑化重みは、検出信頼性値８４０またはトラッキング信頼性値８２８に基づいて低減され得る。また、電子デバイスは、１つまたは複数の平滑化されたウィンドウロケーション８６７と１つまたは複数の平滑化されたサイズ８６９とによって定義された１つまたは複数のウィンドウを使用して現在ビデオフレーム２２４内のターゲットオブジェクトを検出し得る。

[0088]図１１に、電子デバイス／ワイヤレスデバイス１１０２内に含まれ得るいくつかの構成要素を示す。電子デバイス／ワイヤレスデバイス１１０２は、図１に示された電子デバイス１０２など、アクセス端末、移動局、ユーザ機器（ＵＥ）、基地局、アクセスポイント、ブロードキャスト送信機、ノードＢ、発展型ノードＢなどであり得る。電子デバイス／ワイヤレスデバイス１１０２はプロセッサ１１０３を含む。プロセッサ１１０３は、汎用シングルまたはマルチチップマイクロプロセッサ（たとえば、ＡＲＭ）、専用マイクロプロセッサ（たとえば、デジタル信号プロセッサ（ＤＳＰ））、マイクロコントローラ、プログラマブルゲートアレイなどであり得る。プロセッサ１１０３は中央処理ユニット（ＣＰＵ）と呼ばれることがある。電子デバイス／ワイヤレスデバイス１１０２中に単一のプロセッサ１１０３のみが示されているが、代替構成では、プロセッサの組合せ（たとえば、ＡＲＭとＤＳＰ）が使用され得る。

[0089]電子デバイス／ワイヤレスデバイス１１０２はまた、メモリ１１０５を含む。メモリ１１０５は、電子情報を記憶することが可能な任意の電子的構成要素であり得る。メモリ１１０５は、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、磁気ディスク記憶媒体、光記憶媒体、ＲＡＭ中のフラッシュメモリデバイス、プロセッサに含まれるオンボードメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭ（登録商標）メモリ、レジスタなど、およびそれらの組合せとして実施され得る。

[0090]データ１１０７ａおよび命令１１０９ａがメモリ１１０５に記憶され得る。命令１１０９ａは、本明細書で開示する方法を実装するようにプロセッサ１１０３によって実行可能であり得る。命令１１０９ａを実行することは、メモリ１１０５に記憶されたデータの使用を含み得る。プロセッサ１１０３が命令１１０９を実行すると、命令１１０９ｂの様々な部分がプロセッサ１１０３上にロードされ得、様々ないくつかのデータ１１０７ｂがプロセッサ１１０３上にロードされ得る。

[0091]電子デバイス／ワイヤレスデバイス１１０２はまた、電子デバイス／ワイヤレスデバイス１１０２との間での信号の送信および受信を可能にするために、送信機１１１１と受信機１１１３とを含み得る。送信機１１１１と受信機１１１３とはトランシーバ１１１５と総称されることがある。複数のアンテナ１１１７ａ〜ｂはトランシーバ１１１５に電気的に結合され得る。電子デバイス／ワイヤレスデバイス１１０２はまた、複数の送信機、複数の受信機、複数のトランシーバおよび／または追加のアンテナ（図示せず）を含み得る。

[0092]電子デバイス／ワイヤレスデバイス１１０２はデジタル信号プロセッサ（ＤＳＰ）１１２１を含み得る。電子デバイス／ワイヤレスデバイス１１０２はまた、通信インターフェース１１２３を含み得る。通信インターフェース１１２３は、ユーザが電子デバイス／ワイヤレスデバイス１１０２と対話することを可能にし得る。

[0093]電子デバイス／ワイヤレスデバイス１１０２の様々な構成要素は、電力バス、制御信号バス、ステータス信号バス、データバスなどを含み得る、１つまたは複数のバスによって互いに結合され得る。明快のために、図１１では様々なバスはバスシステム１１１９として示されている。

[0094]本明細書で説明した技法は、直交多重化方式に基づく通信システムを含む様々な通信システムに使用され得る。そのような通信システムの例としては、直交周波数分割多元接続（ＯＦＤＭＡ）システム、シングルキャリア周波数分割多元接続（ＳＣ−ＦＤＭＡ）システムなどがある。ＯＦＤＭＡシステムは、全システム帯域幅を複数の直交サブキャリアに区分する変調技法である、直交周波数分割多重化（ＯＦＤＭ）を利用する。これらのサブキャリアは、トーン、ビンなどと呼ばれることもある。ＯＦＤＭでは、各サブキャリアは独立してデータで変調され得る。ＳＣ−ＦＤＭＡシステムは、システム帯域幅にわたって分散されたサブキャリア上で送信するためのインターリーブＦＤＭＡ（ＩＦＤＭＡ）、隣接するサブキャリアのブロック上で送信するための局所ＦＤＭＡ（ＬＦＤＭＡ）、または隣接するサブキャリアの複数のブロック上で送信するための拡張ＦＤＭＡ（ＥＦＤＭＡ）を利用し得る。概して、変調シンボルは、ＯＦＤＭでは周波数領域で、ＳＣ−ＦＤＭＡでは時間領域で送られる。

[0095]本開示によれば、電子デバイス中の、回路が、前のビデオフレームと現在ビデオフレームとを比較することによって現在ビデオフレームのための動きベーストラッキングを実施するように適応され得る。同じ回路、異なる回路、あるいは同じまたは異なる回路の第２のセクションが、トラッキングされたパラメータに基づいて現在ビデオフレーム中でオブジェクト検出を実施するように適応され得る。第２のセクションは、有利には、第１のセクションに結合され得、または、第２のセクションは、第１のセクションと同じ回路で実施され得る。さらに、同じ回路、異なる回路、あるいは同じまたは異なる回路の第３のセクションが、上記で説明した機能を与える（１つまたは複数の）回路または（１つまたは複数の）回路の（１つまたは複数の）セクションの構成を制御するように適応され得る。

[0096]「決定」という用語は、多種多様なアクションを包含し、したがって、「決定」は、計算（calculating）、計算（computing）、処理、導出、調査、ルックアップ（たとえば、テーブル、データベースまたは別のデータ構造でのルックアップ）、確認などを含むことができる。また、「決定」は、受信（たとえば、情報を受信すること）、アクセス（たとえば、メモリ中のデータにアクセスすること）などを含むことができる。また、「決定」は、解決、選択、選定、確立などを含むことができる。

[0097]「に基づいて」という句は、別段に明示されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という句は、「のみに基づいて」と「に少なくとも基づいて」の両方を表す。

[0098]「プロセッサ」という用語は、汎用プロセッサ、中央処理ユニット（ＣＰＵ）、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、コントローラ、マイクロコントローラ、状態機械などを包含するものと広く解釈されたい。いくつかの状況下では、「プロセッサ」は、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などを指すことがある。「プロセッサ」という用語は、処理デバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、あるいは他のそのような構成を指すことがある。

[0099]「メモリ」という用語は、電子情報を記憶することが可能な任意の電子的構成要素を包含するものと広く解釈されたい。メモリという用語は、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、プログラマブル読取り専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気または光学データストレージ、レジスタなど、様々なタイプのプロセッサ可読媒体を指すことがある。プロセッサがメモリから情報を読み取り、および／または情報をメモリに書き込むことができる場合、メモリはプロセッサと電子通信していると言われる。プロセッサに一体化されたメモリは、プロセッサと電子通信している。

[00100]「命令」および「コード」という用語は、任意のタイプの（１つまたは複数の）コンピュータ可読ステートメントを含むものと広く解釈されたい。たとえば、「命令」および「コード」という用語は、１つまたは複数のプログラム、ルーチン、サブルーチン、関数、プロシージャなどを指すことがある。「命令」および「コード」は、単一のコンピュータ可読ステートメントまたは多くのコンピュータ可読ステートメントを備え得る。

[00101]本明細書で説明した機能は、ハードウェアによって実行されているソフトウェアまたはファームウェアで実装され得る。機能は、１つまたは複数の命令としてコンピュータ可読媒体上に記憶され得る。「コンピュータ可読媒体」または「コンピュータプログラム製品」という用語は、コンピュータまたはプロセッサによってアクセスされ得る任意の有形記憶媒体を指す。限定ではなく例として、コンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備え得る。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびＢｌｕ−ｒａｙ（登録商標）ディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。コンピュータ可読媒体は有形で非一時的であり得ることに留意されたい。「コンピュータプログラム製品」という用語は、コンピューティングデバイスまたはプロセッサによって実行、処理または計算され得るコードまたは命令（たとえば、「プログラム」）と組み合わせたコンピューティングデバイスまたはプロセッサを指す。本明細書で使用する「コード」という用語は、コンピューティングデバイスまたはプロセッサによって実行可能であるソフトウェア、命令、コードまたはデータを指すことがある。

[00102]ソフトウェアまたは命令はまた、伝送媒体を介して送信され得る。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、伝送媒体の定義に含まれる。

[00103]本明細書で開示する方法は、説明した方法を達成するための１つまたは複数のステップまたはアクションを備える。本方法のステップおよび／またはアクションは、特許請求の範囲から逸脱することなく互いに交換され得る。言い換えれば、本明細書で説明した方法の適切な動作のためにステップまたはアクションの特定の順序が必要とされない限り、特定のステップおよび／またはアクションの順序および／または使用は、特許請求の範囲を逸脱することなく修正され得る。

[00104]さらに、図３〜図６および図１１によって示されたものなど、本明細書で説明した方法および技法を実施するためのモジュールおよび／または他の適切な手段は、デバイスによってダウンロードおよび／または他の方法で取得され得ることを諒解されたい。たとえば、デバイスは、本明細書で説明した方法を実施するための手段の転送を可能にするために、サーバに結合され得る。代替的に、本明細書で説明した様々な方法は、記憶手段をデバイスに結合するかまたは与えるときにデバイスが様々な方法を獲得し得るように、記憶手段（たとえば、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、コンパクトディスク（disc）（ＣＤ）またはフロッピーディスク（disk）などの物理的記憶媒体など）によって提供され得る。

[00105]特許請求の範囲は、上記に示した正確な構成および構成要素に限定されないことを理解されたい。特許請求の範囲から逸脱することなく、本明細書で説明したシステム、方法、および装置の構成、動作および詳細において、様々な修正、変更および変形が行われ得る。

[00105]特許請求の範囲は、上記に示した正確な構成および構成要素に限定されないことを理解されたい。特許請求の範囲から逸脱することなく、本明細書で説明したシステム、方法、および装置の構成、動作および詳細において、様々な修正、変更および変形が行われ得る。
以下に本願発明の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ターゲットオブジェクトを検出し、トラッキングするための方法であって、
前のビデオフレームと現在ビデオフレームとを比較することによって前記現在ビデオフレームのための動きベーストラッキングを実施することと、
トラッキングされたパラメータに基づいて前記現在ビデオフレーム中でオブジェクト検出を選択的に実施することと
を備える、方法。
［Ｃ２］
前記トラッキングされたパラメータは、前記ターゲットオブジェクトが前記現在ビデオフレーム中にある可能性に相当するトラッキング信頼性値である、Ｃ１に記載の方法。
［Ｃ３］
オブジェクト検出を選択的に実施することは、前記トラッキング信頼性値がトラッキングしきい値よりも小さいかまたはそれに等しいとき、前記現在ビデオフレームに対するオブジェクト検出を実施することを備える、Ｃ２に記載の方法。
［Ｃ４］
オブジェクト検出を選択的に実施することは、前記トラッキング信頼性値がトラッキングしきい値よりも大きいとき、前記現在ビデオフレームに対するオブジェクト検出をスキップすることを備える、Ｃ２に記載の方法。
［Ｃ５］
前記オブジェクト検出は前記動きベーストラッキングに連続して実施される、Ｃ１に記載の方法。
［Ｃ６］
前記トラッキングされたパラメータは領域である、Ｃ１に記載の方法。
［Ｃ７］
前記トラッキングされたパラメータはウィンドウロケーションである、Ｃ１に記載の方法。
［Ｃ８］
前記トラッキングされたパラメータはウィンドウサイズである、Ｃ１に記載の方法。
［Ｃ９］
前記トラッキングされたパラメータはスケールレベルである、Ｃ１に記載の方法。
［Ｃ１０］
前記ターゲットオブジェクトを定義する入力をタッチスクリーンにおいて受信することをさらに備える、Ｃ１に記載の方法。
［Ｃ１１］
オブジェクト検出を選択的に実施することは、
前記前のビデオフレーム中のウィンドウの第１のサブセットを選択することと、
前記ターゲットオブジェクトについてウィンドウの前記第１のサブセットのみを探索することと
を備える、Ｃ１に記載の方法。
［Ｃ１２］
オブジェクト検出を選択的に実施することは、
ウィンドウの前記第１のサブセット中の各選択されたウィンドウについて、ウィンドウサイズのサブセットを選択することと、
ウィンドウの前記第１のサブセット中の各ウィンドウについてウィンドウサイズの前記サブセットのみを探索することと
をさらに備える、Ｃ１１に記載の方法。
［Ｃ１３］
前記選択することは、乱数発生器に基づいてウィンドウの前記第１のサブセットをランダムに選択することを備える、Ｃ１１に記載の方法。
［Ｃ１４］
前記現在ビデオフレーム中のウィンドウの第２のサブセットを選択することをさらに備え、ここにおいて、ウィンドウの前記第２のサブセットのサイズは、前記ターゲットオブジェクトが前記前のビデオフレーム中で検出されたかどうかに基づく、Ｃ１１に記載の方法。
［Ｃ１５］
ウィンドウの前記第１のサブセットからウィンドウの前記第２のサブセットへのサイズの増加は、前記ターゲットオブジェクトが前記前のビデオフレーム中で検出されなかった場合よりも、前記ターゲットオブジェクトが前記前のビデオフレーム中で検出された場合により高い、Ｃ１４に記載の方法。
［Ｃ１６］
後のフレーム中で選択されるウィンドウの割合を増加させることをさらに備える、Ｃ１１に記載の方法。
［Ｃ１７］
選択されるウィンドウの前記割合の増加が一様または非一様である、Ｃ１６に記載の方法。
［Ｃ１８］
選択されるウィンドウの割合は、検出およびトラッキング信頼性値が検出およびトラッキング信頼性しきい値を上回るとき、少なくとも６０％である、Ｃ１６に記載の方法。
［Ｃ１９］
前記検出およびトラッキング信頼性しきい値は、０．６、０．６５、０．７、０．７５、０．８および０．８５のうちの１つである、Ｃ１８に記載の方法。
［Ｃ２０］
検出およびトラッキング信頼性値に基づいて、次のビデオフレーム中で前記ターゲットオブジェクトを検出する試みのために探索範囲を狭くすることをさらに備える、Ｃ１に記載の方法。
［Ｃ２１］
探索範囲を狭くすることは、前記現在ビデオフレームのための前記検出およびトラッキング信頼性値が検出およびトラッキングしきい値よりも大きいとき、低減された探索空間から探索のためのウィンドウロケーションを選択することをさらに備える、Ｃ２０に記載の方法。
［Ｃ２２］
前記現在ビデオフレームのための前記検出およびトラッキング信頼性値は、前記ターゲットオブジェクトが前記現在ビデオフレーム中で検出され、トラッキングされた可能性を示す、０から１の間の実数である、Ｃ２１に記載の方法。
［Ｃ２３］
探索範囲を狭くすることは、前記現在ビデオフレームのための検出およびトラッキング信頼性値が検出およびトラッキングしきい値よりも小さいかまたはそれに等しいとき、探索空間全体から探索のためのウィンドウロケーションを選択することをさらに備える、Ｃ２０に記載の方法。
［Ｃ２４］
ターゲットオブジェクトを検出し、トラッキングするための装置であって、
前のビデオフレームと現在ビデオフレームとを比較することによって前記現在ビデオフレームのための動きベーストラッキングを実施するための手段と、
トラッキングされたパラメータに基づいて前記現在ビデオフレーム中でオブジェクト検出を選択的に実施するための手段と
を備える、装置。
［Ｃ２５］
前記トラッキングされたパラメータは、前記ターゲットオブジェクトが前記現在ビデオフレーム中にある可能性に相当するトラッキング信頼性値である、Ｃ２４に記載の装置。
［Ｃ２６］
オブジェクト検出を選択的に実施するための前記手段は、前記トラッキング信頼性値がトラッキングしきい値よりも小さいかまたはそれに等しいとき、前記現在ビデオフレームに対するオブジェクト検出を実施するための手段を備える、Ｃ２５に記載の装置。
［Ｃ２７］
オブジェクト検出を選択的に実施するための前記手段は、前記トラッキング信頼性値がトラッキングしきい値よりも大きいとき、前記現在ビデオフレームに対するオブジェクト検出をスキップするための手段を備える、Ｃ２５に記載の装置。
［Ｃ２８］
前記オブジェクト検出は前記動きベーストラッキングに連続して実施される、Ｃ２４に記載の装置。
［Ｃ２９］
前記トラッキングされたパラメータは領域である、Ｃ２４に記載の装置。
［Ｃ３０］
前記トラッキングされたパラメータはウィンドウロケーションである、Ｃ２４に記載の装置。
［Ｃ３１］
前記トラッキングされたパラメータはウィンドウサイズである、Ｃ２４に記載の装置。
［Ｃ３２］
前記トラッキングされたパラメータはスケールレベルである、Ｃ２４に記載の装置。
［Ｃ３３］
前記ターゲットオブジェクトを定義する入力をタッチスクリーンにおいて受信するための手段をさらに備える、Ｃ２４に記載の装置。
［Ｃ３４］
オブジェクト検出を選択的に実施するための前記手段は、
前記前のビデオフレーム中のウィンドウの第１のサブセットを選択するための手段と、
前記ターゲットオブジェクトについてウィンドウの前記第１のサブセットのみを探索するための手段と
を備える、Ｃ２４に記載の装置。
［Ｃ３５］
オブジェクト検出を選択的に実施するための前記手段は、
ウィンドウの前記第１のサブセット中の各選択されたウィンドウについて、ウィンドウサイズのサブセットを選択するための手段と、
ウィンドウの前記第１のサブセット中の各ウィンドウについてウィンドウサイズの前記サブセットのみを探索するための手段と
をさらに備える、Ｃ３４に記載の装置。
［Ｃ３６］
選択するための前記手段は、乱数発生器に基づいてウィンドウの前記第１のサブセットをランダムに選択するための手段を備える、Ｃ３４に記載の装置。
［Ｃ３７］
前記現在ビデオフレーム中のウィンドウの第２のサブセットを選択するための手段をさらに備え、ここにおいて、ウィンドウの前記第２のサブセットのサイズは、前記ターゲットオブジェクトが前記前のビデオフレーム中で検出されたかどうかに基づく、Ｃ３４に記載の装置。
［Ｃ３８］
ウィンドウの前記第１のサブセットからウィンドウの前記第２のサブセットへのサイズの増加は、前記ターゲットオブジェクトが前記前のビデオフレーム中で検出されなかった場合よりも、前記ターゲットオブジェクトが前記前のビデオフレーム中で検出された場合により高い、Ｃ３７に記載の装置。
［Ｃ３９］
後のフレーム中で選択されるウィンドウの割合を増加させるための手段をさらに備える、Ｃ３４に記載の装置。
［Ｃ４０］
選択されるウィンドウの前記割合の増加が一様または非一様である、Ｃ３９に記載の装置。
［Ｃ４１］
選択されるウィンドウの割合は、検出およびトラッキング信頼性値が検出およびトラッキング信頼性しきい値を上回るとき、少なくとも６０％である、Ｃ３９に記載の装置。
［Ｃ４２］
前記検出およびトラッキング信頼性しきい値は、０．６、０．６５、０．７、０．７５、０．８および０．８５のうちの１つである、Ｃ４１に記載の装置。
［Ｃ４３］
検出およびトラッキング信頼性値に基づいて、次のビデオフレーム中で前記ターゲットオブジェクトを検出する試みのために探索範囲を狭くするための手段をさらに備える、Ｃ２４に記載の装置。
［Ｃ４４］
探索範囲を狭くするための前記手段は、前記現在ビデオフレームのための前記検出およびトラッキング信頼性値が検出およびトラッキングしきい値よりも大きいとき、低減された探索空間から探索のためのウィンドウロケーションを選択するための手段をさらに備える、Ｃ４３に記載の装置。
［Ｃ４５］
前記現在ビデオフレームのための前記検出およびトラッキング信頼性値は、前記ターゲットオブジェクトが前記現在ビデオフレーム中で検出され、トラッキングされた可能性を示す、０から１の間の実数である、Ｃ４４に記載の装置。
［Ｃ４６］
探索範囲を狭くするための前記手段は、前記現在ビデオフレームのための検出およびトラッキング信頼性値が検出およびトラッキングしきい値よりも小さいかまたはそれに等しいとき、探索空間全体から探索のためのウィンドウロケーションを選択するための手段をさらに備える、Ｃ４３に記載の装置。
［Ｃ４７］
ターゲットオブジェクトを検出し、トラッキングするための電子デバイスであって、
プロセッサと、
前記プロセッサと電子通信しているメモリと、
メモリに記憶された命令と
を備え、前記命令は、
前のビデオフレームと現在ビデオフレームとを比較することによって前記現在ビデオフレームのための動きベーストラッキングを実施することと、
トラッキングされたパラメータに基づいて前記現在ビデオフレーム中でオブジェクト検出を選択的に実施することと
を実行可能とする、電子デバイス。
［Ｃ４８］
前記トラッキングされたパラメータは、前記ターゲットオブジェクトが前記現在ビデオフレーム中にある可能性に相当するトラッキング信頼性値である、Ｃ４７に記載の電子デバイス。
［Ｃ４９］
オブジェクト検出を選択的に実施することを実行可能とする前記命令は、前記トラッキング信頼性値がトラッキングしきい値よりも小さいかまたはそれに等しいとき、前記現在ビデオフレームに対するオブジェクト検出を実施することを実行可能とする命令を備える、Ｃ４８に記載の電子デバイス。
［Ｃ５０］
オブジェクト検出を選択的に実施することを実行可能とする前記命令は、前記トラッキング信頼性値がトラッキングしきい値よりも大きいとき、前記現在ビデオフレームに対するオブジェクト検出をスキップすることを実行可能とする命令を備える、Ｃ４８に記載の電子デバイス。
［Ｃ５１］
前記オブジェクト検出は前記動きベーストラッキングに連続して実施される、Ｃ４７に記載の電子デバイス。
［Ｃ５２］
オブジェクト検出を選択的に実施することを実行可能とする前記命令は、
前記前のビデオフレーム中のウィンドウの第１のサブセットを選択することと、
前記ターゲットオブジェクトについてウィンドウの前記第１のサブセットのみを探索することと
を実行可能とする命令を備える、Ｃ４７に記載の電子デバイス。
［Ｃ５３］
オブジェクト検出を選択的に実施することを実行可能とする前記命令は、
ウィンドウの前記第１のサブセット中の各選択されたウィンドウについて、ウィンドウサイズのサブセットを選択することと、
ウィンドウの前記第１のサブセット中の各ウィンドウについてウィンドウサイズの前記サブセットのみを探索することと
を実行可能とする命令を備える、Ｃ５２に記載の電子デバイス。
［Ｃ５４］
選択することは、乱数発生器に基づいてウィンドウの前記第１のサブセットをランダムに選択することを備える、Ｃ５２に記載の電子デバイス。
［Ｃ５５］
検出およびトラッキング信頼性値に基づいて、次のビデオフレーム中で前記ターゲットオブジェクトを検出する試みのために探索範囲を狭くすることを実行可能な命令をさらに備える、Ｃ４７に記載の電子デバイス。
［Ｃ５６］
命令をその上に有する非一時的コンピュータ可読媒体を備える、ターゲットオブジェクトを検出し、トラッキングするためのコンピュータプログラム製品であって、前記命令は、
電子デバイスに、前のビデオフレームと現在ビデオフレームとを比較することによって前記現在ビデオフレームのための動きベーストラッキングを実施することを行わせるためのコードと、
前記電子デバイスに、トラッキングされたパラメータに基づいて前記現在ビデオフレーム中でオブジェクト検出を選択的に実施することを行わせるためのコードと
を備える、コンピュータプログラム製品。
［Ｃ５７］
前記トラッキングされたパラメータは、前記ターゲットオブジェクトが前記現在ビデオフレーム中にある可能性に相当するトラッキング信頼性値である、Ｃ５６に記載のコンピュータプログラム製品。
［Ｃ５８］
前記電子デバイスに、オブジェクト検出を選択的に実施することを行わせるための前記コードは、前記電子デバイスに、前記トラッキング信頼性値がトラッキングしきい値よりも小さいかまたはそれに等しいとき、前記現在ビデオフレームに対するオブジェクト検出を実施することを行わせるためのコードを備える、Ｃ５７に記載のコンピュータプログラム製品。
［Ｃ５９］
前記電子デバイスに、オブジェクト検出を選択的に実施することを行わせるための前記コードは、前記電子デバイスに、前記トラッキング信頼性値がトラッキングしきい値よりも大きいとき、前記現在ビデオフレームに対するオブジェクト検出をスキップすることを行わせるためのコードを備える、Ｃ５７に記載のコンピュータプログラム製品。
［Ｃ６０］
前記オブジェクト検出は前記動きベーストラッキングに連続して実施される、Ｃ５６に記載のコンピュータプログラム製品。
［Ｃ６１］
前記電子デバイスに、オブジェクト検出を選択的に実施することを行わせるための前記コードは、
前記電子デバイスに、前記前のビデオフレーム中のウィンドウの第１のサブセットを選択することを行わせるためのコードと、
前記電子デバイスに、前記ターゲットオブジェクトについてウィンドウの前記第１のサブセットのみを探索することを行わせるためのコードと
を備える、Ｃ５６に記載のコンピュータプログラム製品。
［Ｃ６２］
前記電子デバイスに、オブジェクト検出を選択的に実施することを行わせるための前記コードは、
前記電子デバイスに、ウィンドウの前記第１のサブセット中の各選択されたウィンドウについて、ウィンドウサイズのサブセットを選択することを行わせるためのコードと、
前記電子デバイスに、ウィンドウの前記第１のサブセット中の各ウィンドウについてウィンドウサイズの前記サブセットのみを探索することを行わせるためのコードと
を備える、Ｃ６１に記載のコンピュータプログラム製品。
［Ｃ６３］
前記電子デバイスに、選択することを行わせるための前記コードが、前記電子デバイスに、乱数発生器に基づいてウィンドウの前記第１のサブセットをランダムに選択することを行わせるためのコードを備える、Ｃ６１に記載のコンピュータプログラム製品。
［Ｃ６４］
前記命令は、前記電子デバイスに、検出およびトラッキング信頼性値に基づいて、次のビデオフレーム中で前記ターゲットオブジェクトを検出する試みのために探索範囲を狭くすることを行わせるためのコードをさらに備える、Ｃ５６に記載のコンピュータプログラム製品。

Claims

ターゲットオブジェクトを検出し、トラッキングするための方法であって、
前のビデオフレームと現在ビデオフレームとを比較することによって前記現在ビデオフレームのための動きベーストラッキングを実施することと、
トラッキングされたパラメータに基づいて前記現在ビデオフレーム中でオブジェクト検出を選択的に実施することと
を備える、方法。
前記トラッキングされたパラメータは、前記ターゲットオブジェクトが前記現在ビデオフレーム中にある可能性に相当するトラッキング信頼性値である、請求項１に記載の方法。
オブジェクト検出を選択的に実施することは、前記トラッキング信頼性値がトラッキングしきい値よりも小さいかまたはそれに等しいとき、前記現在ビデオフレームに対するオブジェクト検出を実施することを備える、請求項２に記載の方法。
オブジェクト検出を選択的に実施することは、前記トラッキング信頼性値がトラッキングしきい値よりも大きいとき、前記現在ビデオフレームに対するオブジェクト検出をスキップすることを備える、請求項２に記載の方法。
前記オブジェクト検出は前記動きベーストラッキングに連続して実施される、請求項１に記載の方法。
前記トラッキングされたパラメータは領域である、請求項１に記載の方法。
前記トラッキングされたパラメータはウィンドウロケーションである、請求項１に記載の方法。
前記トラッキングされたパラメータはウィンドウサイズである、請求項１に記載の方法。
前記トラッキングされたパラメータはスケールレベルである、請求項１に記載の方法。
前記ターゲットオブジェクトを定義する入力をタッチスクリーンにおいて受信することをさらに備える、請求項１に記載の方法。
オブジェクト検出を選択的に実施することは、
前記前のビデオフレーム中のウィンドウの第１のサブセットを選択することと、
前記ターゲットオブジェクトについてウィンドウの前記第１のサブセットのみを探索することと
を備える、請求項１に記載の方法。
オブジェクト検出を選択的に実施することは、
ウィンドウの前記第１のサブセット中の各選択されたウィンドウについて、ウィンドウサイズのサブセットを選択することと、
ウィンドウの前記第１のサブセット中の各ウィンドウについてウィンドウサイズの前記サブセットのみを探索することと
をさらに備える、請求項１１に記載の方法。
前記選択することは、乱数発生器に基づいてウィンドウの前記第１のサブセットをランダムに選択することを備える、請求項１１に記載の方法。
前記現在ビデオフレーム中のウィンドウの第２のサブセットを選択することをさらに備え、ここにおいて、ウィンドウの前記第２のサブセットのサイズは、前記ターゲットオブジェクトが前記前のビデオフレーム中で検出されたかどうかに基づく、請求項１１に記載の方法。
ウィンドウの前記第１のサブセットからウィンドウの前記第２のサブセットへのサイズの増加は、前記ターゲットオブジェクトが前記前のビデオフレーム中で検出されなかった場合よりも、前記ターゲットオブジェクトが前記前のビデオフレーム中で検出された場合により高い、請求項１４に記載の方法。
後のフレーム中で選択されるウィンドウの割合を増加させることをさらに備える、請求項１１に記載の方法。
選択されるウィンドウの前記割合の増加が一様または非一様である、請求項１６に記載の方法。
選択されるウィンドウの割合は、検出およびトラッキング信頼性値が検出およびトラッキング信頼性しきい値を上回るとき、少なくとも６０％である、請求項１６に記載の方法。
前記検出およびトラッキング信頼性しきい値は、０．６、０．６５、０．７、０．７５、０．８および０．８５のうちの１つである、請求項１８に記載の方法。
検出およびトラッキング信頼性値に基づいて、次のビデオフレーム中で前記ターゲットオブジェクトを検出する試みのために探索範囲を狭くすることをさらに備える、請求項１に記載の方法。
探索範囲を狭くすることは、前記現在ビデオフレームのための前記検出およびトラッキング信頼性値が検出およびトラッキングしきい値よりも大きいとき、低減された探索空間から探索のためのウィンドウロケーションを選択することをさらに備える、請求項２０に記載の方法。
前記現在ビデオフレームのための前記検出およびトラッキング信頼性値は、前記ターゲットオブジェクトが前記現在ビデオフレーム中で検出され、トラッキングされた可能性を示す、０から１の間の実数である、請求項２１に記載の方法。
探索範囲を狭くすることは、前記現在ビデオフレームのための検出およびトラッキング信頼性値が検出およびトラッキングしきい値よりも小さいかまたはそれに等しいとき、探索空間全体から探索のためのウィンドウロケーションを選択することをさらに備える、請求項２０に記載の方法。
ターゲットオブジェクトを検出し、トラッキングするための装置であって、
前のビデオフレームと現在ビデオフレームとを比較することによって前記現在ビデオフレームのための動きベーストラッキングを実施するための手段と、
トラッキングされたパラメータに基づいて前記現在ビデオフレーム中でオブジェクト検出を選択的に実施するための手段と
を備える、装置。
前記トラッキングされたパラメータは、前記ターゲットオブジェクトが前記現在ビデオフレーム中にある可能性に相当するトラッキング信頼性値である、請求項２４に記載の装置。
オブジェクト検出を選択的に実施するための前記手段は、前記トラッキング信頼性値がトラッキングしきい値よりも小さいかまたはそれに等しいとき、前記現在ビデオフレームに対するオブジェクト検出を実施するための手段を備える、請求項２５に記載の装置。
オブジェクト検出を選択的に実施するための前記手段は、前記トラッキング信頼性値がトラッキングしきい値よりも大きいとき、前記現在ビデオフレームに対するオブジェクト検出をスキップするための手段を備える、請求項２５に記載の装置。
前記オブジェクト検出は前記動きベーストラッキングに連続して実施される、請求項２４に記載の装置。
前記トラッキングされたパラメータは領域である、請求項２４に記載の装置。
前記トラッキングされたパラメータはウィンドウロケーションである、請求項２４に記載の装置。
前記トラッキングされたパラメータはウィンドウサイズである、請求項２４に記載の装置。
前記トラッキングされたパラメータはスケールレベルである、請求項２４に記載の装置。
前記ターゲットオブジェクトを定義する入力をタッチスクリーンにおいて受信するための手段をさらに備える、請求項２４に記載の装置。
オブジェクト検出を選択的に実施するための前記手段は、
前記前のビデオフレーム中のウィンドウの第１のサブセットを選択するための手段と、
前記ターゲットオブジェクトについてウィンドウの前記第１のサブセットのみを探索するための手段と
を備える、請求項２４に記載の装置。
オブジェクト検出を選択的に実施するための前記手段は、
ウィンドウの前記第１のサブセット中の各選択されたウィンドウについて、ウィンドウサイズのサブセットを選択するための手段と、
ウィンドウの前記第１のサブセット中の各ウィンドウについてウィンドウサイズの前記サブセットのみを探索するための手段と
をさらに備える、請求項３４に記載の装置。
選択するための前記手段は、乱数発生器に基づいてウィンドウの前記第１のサブセットをランダムに選択するための手段を備える、請求項３４に記載の装置。
前記現在ビデオフレーム中のウィンドウの第２のサブセットを選択するための手段をさらに備え、ここにおいて、ウィンドウの前記第２のサブセットのサイズは、前記ターゲットオブジェクトが前記前のビデオフレーム中で検出されたかどうかに基づく、請求項３４に記載の装置。
ウィンドウの前記第１のサブセットからウィンドウの前記第２のサブセットへのサイズの増加は、前記ターゲットオブジェクトが前記前のビデオフレーム中で検出されなかった場合よりも、前記ターゲットオブジェクトが前記前のビデオフレーム中で検出された場合により高い、請求項３７に記載の装置。
後のフレーム中で選択されるウィンドウの割合を増加させるための手段をさらに備える、請求項３４に記載の装置。
選択されるウィンドウの前記割合の増加が一様または非一様である、請求項３９に記載の装置。
選択されるウィンドウの割合は、検出およびトラッキング信頼性値が検出およびトラッキング信頼性しきい値を上回るとき、少なくとも６０％である、請求項３９に記載の装置。
前記検出およびトラッキング信頼性しきい値は、０．６、０．６５、０．７、０．７５、０．８および０．８５のうちの１つである、請求項４１に記載の装置。
検出およびトラッキング信頼性値に基づいて、次のビデオフレーム中で前記ターゲットオブジェクトを検出する試みのために探索範囲を狭くするための手段をさらに備える、請求項２４に記載の装置。
探索範囲を狭くするための前記手段は、前記現在ビデオフレームのための前記検出およびトラッキング信頼性値が検出およびトラッキングしきい値よりも大きいとき、低減された探索空間から探索のためのウィンドウロケーションを選択するための手段をさらに備える、請求項４３に記載の装置。
前記現在ビデオフレームのための前記検出およびトラッキング信頼性値は、前記ターゲットオブジェクトが前記現在ビデオフレーム中で検出され、トラッキングされた可能性を示す、０から１の間の実数である、請求項４４に記載の装置。
探索範囲を狭くするための前記手段は、前記現在ビデオフレームのための検出およびトラッキング信頼性値が検出およびトラッキングしきい値よりも小さいかまたはそれに等しいとき、探索空間全体から探索のためのウィンドウロケーションを選択するための手段をさらに備える、請求項４３に記載の装置。
ターゲットオブジェクトを検出し、トラッキングするための電子デバイスであって、
プロセッサと、
前記プロセッサと電子通信しているメモリと、
メモリに記憶された命令と
を備え、前記命令は、
前のビデオフレームと現在ビデオフレームとを比較することによって前記現在ビデオフレームのための動きベーストラッキングを実施することと、
トラッキングされたパラメータに基づいて前記現在ビデオフレーム中でオブジェクト検出を選択的に実施することと
を実行可能とする、電子デバイス。
前記トラッキングされたパラメータは、前記ターゲットオブジェクトが前記現在ビデオフレーム中にある可能性に相当するトラッキング信頼性値である、請求項４７に記載の電子デバイス。
オブジェクト検出を選択的に実施することを実行可能とする前記命令は、前記トラッキング信頼性値がトラッキングしきい値よりも小さいかまたはそれに等しいとき、前記現在ビデオフレームに対するオブジェクト検出を実施することを実行可能とする命令を備える、請求項４８に記載の電子デバイス。
オブジェクト検出を選択的に実施することを実行可能とする前記命令は、前記トラッキング信頼性値がトラッキングしきい値よりも大きいとき、前記現在ビデオフレームに対するオブジェクト検出をスキップすることを実行可能とする命令を備える、請求項４８に記載の電子デバイス。
前記オブジェクト検出は前記動きベーストラッキングに連続して実施される、請求項４７に記載の電子デバイス。
オブジェクト検出を選択的に実施することを実行可能とする前記命令は、
前記前のビデオフレーム中のウィンドウの第１のサブセットを選択することと、
前記ターゲットオブジェクトについてウィンドウの前記第１のサブセットのみを探索することと
を実行可能とする命令を備える、請求項４７に記載の電子デバイス。
オブジェクト検出を選択的に実施することを実行可能とする前記命令は、
ウィンドウの前記第１のサブセット中の各選択されたウィンドウについて、ウィンドウサイズのサブセットを選択することと、
ウィンドウの前記第１のサブセット中の各ウィンドウについてウィンドウサイズの前記サブセットのみを探索することと
を実行可能とする命令を備える、請求項５２に記載の電子デバイス。
選択することは、乱数発生器に基づいてウィンドウの前記第１のサブセットをランダムに選択することを備える、請求項５２に記載の電子デバイス。
検出およびトラッキング信頼性値に基づいて、次のビデオフレーム中で前記ターゲットオブジェクトを検出する試みのために探索範囲を狭くすることを実行可能な命令をさらに備える、請求項４７に記載の電子デバイス。
命令をその上に有する非一時的コンピュータ可読媒体を備える、ターゲットオブジェクトを検出し、トラッキングするためのコンピュータプログラム製品であって、前記命令は、
電子デバイスに、前のビデオフレームと現在ビデオフレームとを比較することによって前記現在ビデオフレームのための動きベーストラッキングを実施することを行わせるためのコードと、
前記電子デバイスに、トラッキングされたパラメータに基づいて前記現在ビデオフレーム中でオブジェクト検出を選択的に実施することを行わせるためのコードと
を備える、コンピュータプログラム製品。
前記トラッキングされたパラメータは、前記ターゲットオブジェクトが前記現在ビデオフレーム中にある可能性に相当するトラッキング信頼性値である、請求項５６に記載のコンピュータプログラム製品。
前記電子デバイスに、オブジェクト検出を選択的に実施することを行わせるための前記コードは、前記電子デバイスに、前記トラッキング信頼性値がトラッキングしきい値よりも小さいかまたはそれに等しいとき、前記現在ビデオフレームに対するオブジェクト検出を実施することを行わせるためのコードを備える、請求項５７に記載のコンピュータプログラム製品。
前記電子デバイスに、オブジェクト検出を選択的に実施することを行わせるための前記コードは、前記電子デバイスに、前記トラッキング信頼性値がトラッキングしきい値よりも大きいとき、前記現在ビデオフレームに対するオブジェクト検出をスキップすることを行わせるためのコードを備える、請求項５７に記載のコンピュータプログラム製品。
前記オブジェクト検出は前記動きベーストラッキングに連続して実施される、請求項５６に記載のコンピュータプログラム製品。
前記電子デバイスに、オブジェクト検出を選択的に実施することを行わせるための前記コードは、
前記電子デバイスに、前記前のビデオフレーム中のウィンドウの第１のサブセットを選択することを行わせるためのコードと、
前記電子デバイスに、前記ターゲットオブジェクトについてウィンドウの前記第１のサブセットのみを探索することを行わせるためのコードと
を備える、請求項５６に記載のコンピュータプログラム製品。
前記電子デバイスに、オブジェクト検出を選択的に実施することを行わせるための前記コードは、
前記電子デバイスに、ウィンドウの前記第１のサブセット中の各選択されたウィンドウについて、ウィンドウサイズのサブセットを選択することを行わせるためのコードと、
前記電子デバイスに、ウィンドウの前記第１のサブセット中の各ウィンドウについてウィンドウサイズの前記サブセットのみを探索することを行わせるためのコードと
を備える、請求項６１に記載のコンピュータプログラム製品。
前記電子デバイスに、選択することを行わせるための前記コードが、前記電子デバイスに、乱数発生器に基づいてウィンドウの前記第１のサブセットをランダムに選択することを行わせるためのコードを備える、請求項６１に記載のコンピュータプログラム製品。
前記命令は、前記電子デバイスに、検出およびトラッキング信頼性値に基づいて、次のビデオフレーム中で前記ターゲットオブジェクトを検出する試みのために探索範囲を狭くすることを行わせるためのコードをさらに備える、請求項５６に記載のコンピュータプログラム製品。