JP2021524116A - 動的動作検出方法、動的動作制御方法及び装置 - Google Patents

Abstract

本開示は、ビデオストリーム中のフレーム画像を第１のキューに加え、フレーム画像が部分的に更新された前記第１のキューを取得することと、部分的に更新された前記第１のキューのフレーム画像における動的動作を検出することと、前記動的動作と、動作参照結果又は先に検出された動作検出結果を含む動作検出結果とがマッチングしない場合に、前記動的動作に応じて、前記動作検出結果を更新することと、を含む動的動作検出方法、動的動作制御方法及び装置に関する。本開示の実施例は、部分的に更新された第１のキューのフレーム画像に基づいて動的動作の検出を行うことができることにより、ビデオストリームの動的動作をよりタイムリーに検出可能になり、更に、動的動作の先頭フレーム又は最終フレームに基づいて動的動作を高速に決定することができ、動的動作の検出結果がより精確になり、検出効率がより高くなる。【選択図】図１

Description

［関連出願の相互参照］
本願は、２０１８年８月２４日に中国特許局に提出された、出願番号２０１８１０９７４２４４．８、発明の名称「動的動作検出方法、動的動作制御方法及び装置」の中国特許出願の優先権を主張し、その内容の全てが参照によって本願に組み込まれる。

本開示は、画像処理技術分野に関し、特に、動的動作検出方法、動的動作制御方法及び装置に関する。

ヒューマンマシンインタラクションに対する需要が増えるにつれて、画像から操作者の動的動作を検出し、検出された動的動作によって機器を制御する需要が多くなる。

本開示は、動的動作検出の技術的手段を提供する。

本開示の一方面によれば、ビデオストリーム中のフレーム画像を第１のキューに加え、フレーム画像が部分的に更新された前記第１のキューを取得することと、部分的に更新された前記第１のキューのフレーム画像における動的動作を検出することと、前記動的動作と、動作参照結果又は先に検出された動作検出結果を含む動作検出結果とがマッチングしない場合に、前記動的動作に応じて、前記動作検出結果を更新することと、を含む動的動作検出方法を提供する。

本開示の一方面によれば、ビデオストリームを取得することと、上記のいずれか一項に記載の方法を用いて前記ビデオストリームの動作検出結果を決定することと、機器が前記動作検出結果に対応する操作を実行するように制御することと、を含む動的動作制御方法を提供する。

本開示の一方面によれば、ビデオストリーム中のフレーム画像を第１のキューに加え、フレーム画像が部分的に更新された前記第１のキューを取得するための第１のキュー更新モジュールと、部分的に更新された前記第１のキューのフレーム画像における動的動作を検出するための動的動作検出モジュールと、前記動的動作と、動作参照結果又は先に検出された動作検出結果を含む動作検出結果とがマッチングしない場合に、前記動的動作に応じて、前記動作検出結果を更新するための動作検出結果更新モジュールと、を含む動的動作検出装置を提供する。

本開示の一方面によれば、ビデオストリームを取得するためのビデオストリーム取得モジュールと、上記のいずれか一項に記載の装置を用いて前記ビデオストリームの動作検出結果を決定するための動作検出結果取得モジュールと、機器が前記動作検出結果に対応する操作を実行するように制御するための操作実行モジュールと、を含む動的動作制御装置を提供する。

本開示の一方面によれば、プロセッサと、プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含み、前記プロセッサは上記動的動作検出方法及び／又は動的動作制御方法を実行するように構成される電子機器を提供する。

本開示の一方面によれば、コンピュータプログラムコマンドが記憶されているコンピュータ読取可能記憶媒体であって、前記コンピュータプログラムコマンドは、プロセッサにより実行されると、上記動的動作検出方法及び／又は動的動作制御方法を実行させるコンピュータ読取可能記憶媒体を提供する。

本開示の一方面によれば、コンピュータ読取可能コードを含むコンピュータプログラムであって、前記コンピュータ読取可能コードは、電子機器において実行されると、前記電子機器のプロセッサに上記動的動作検出方法及び／又は動的動作制御方法を実行させるコンピュータプログラムを提供する。

本開示の実施例では、ビデオストリーム中のフレーム画像を第１のキューに加え、フレーム画像が部分的に更新された前記第１のキューを取得すること、部分的に更新された前記第１のキューのフレーム画像における動的動作を検出すること、前記動的動作と動作検出結果とがマッチングしない場合に、前記動的動作に応じて、前記動作検出結果を更新することができる。本開示の実施例では、第１のキューのフレーム画像が全般的に更新されるまで待たずに、部分的に更新された第１のキューのフレーム画像に基づいて動的動作の検出を行うことができ、これにより、ビデオストリームの動的動作をよりタイムリーに検出可能になる。動的動作の先頭フレーム又は最終フレームが第１のキューに加えられると、部分的に更新された第１のキューのフレーム画像に基づいて動的動作検出を行うことによって、動的動作の先頭フレーム又は最終フレームに基づいて動的動作を高速に決定することができ、これにより、動的動作の検出結果がより精確になり、検出効率がより高くなる。本開示の実施例は、ビデオストリームの動的動作をリアルタイムでトラッキングすることを実現できる。

以上の一般説明及び以下の詳細説明は、本開示を限定するのではなく、単なる例示的および解釈的であることを理解されたい。以下、図面を参照しながら例示的な実施例について詳細に説明することにより、本開示の他の特徴及び方面は明瞭になる。

明細書の一部として組み込まれた図面は、本開示に合致する実施例を示し、更に明細書と共に本開示の技術的手段を説明するために用いられる。
本開示の実施例による動的動作検出方法のフローチャットを示す。 本開示の実施例による動的動作検出方法のフローチャットを示す。 本開示の実施例による動的動作検出方法のフローチャットを示す。 本開示の実施例による動的動作検出方法のフローチャットを示す。 本開示の実施例による動的動作検出方法のフローチャットを示す。 本開示の実施例による動的動作検出方法のフローチャットを示す。 本開示の実施例による動的動作検出方法のフローチャットを示す。 本開示の実施例による動的動作検出方法のフローチャットを示す。 本開示の実施例による動的動作検出方法のフローチャットを示す。 本開示の実施例による動的動作検出方法のフローチャットを示す。 本開示の実施例による動的動作制御方法のフローチャットを示す。 本開示の実施例による動作認識方法の応用例のフローチャットを示す。 本開示の実施例による動的動作検出装置のブロック図を示す。 本開示の実施例による動的動作制御装置のブロック図を示す。 例示的実施例により示される電子機器のブロック図である。

以下に図面を参照しながら本開示の様々な例示的実施例、特徴および方面を詳細に説明する。図面において、同じ符号が同じまたは類似する機能の要素を表す。図面において実施例の様々な方面を示したが、特に断らない限り、比例に従って図面を作る必要がない。ここの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明されるいかなる実施例も他の実施例より好ましい又は優れるものであると理解すべきではない。本明細書において、用語の「及び／又は」は、関連対象の関連関係を記述するためのものに過ぎず、３つの関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａのみが存在し、ＡとＢが同時に存在し、Ｂのみが存在するという３つの場合を示すことができる。また、本明細書において、用語の「少なくとも１つ」は複数のうちのいずれか１つ又は複数のうちの少なくとも２つの任意の組合を示し、例えば、Ａ、Ｂ及びＣのうちの少なくとも１つを含むということは、Ａ、Ｂ及びＣから構成される集合から選択されたいずれか１つ又は複数の要素を含むことを示すことができる。また、本開示をより効果的に説明するために、以下の具体的な実施形態において様々な具体的な詳細を示す。当業者であれば、何らかの具体的な詳細がなくても、本開示が同様に実施できると理解すべきである。いくつかの実施例では、本開示の趣旨を強調するために、当業者に既知の方法、手段、要素および回路について、詳細な説明を行わない。

図１は本開示の実施例による動的動作検出方法のフローチャットを示す。前記動的動作検出方法は、ユーザ側装置（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ、ＵＥ）、携帯機器、ユーザ端末、端末、セルラーホン、コードレス電話、、パーソナル・デジタル・アシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、手持ちの機器、計算装置、車載装置、ウエアラブル装置等の端末装置、又は、サーバ等の電子機器により実行されてもよい。いくつかの可能な実現形態では、前記動的動作検出方法は、プロセッサによりメモリに記憶されているコンピュータ読取可能コマンドを呼び出すことで実現されもよい。

図１に示すように、前記動的動作検出方法は、以下のステップを含む。

ステップＳ１０、ビデオストリーム中のフレーム画像を第１のキューに加え、フレーム画像が部分的に更新された前記第１のキューを取得する。

可能な一実現形態では、従来の動的動作検出方法において、ビデオストリームから動的動作検出のための所定数量のフレーム画像を切り出して検出した後、次回の動的動作検出のための所定数量のフレーム画像を再度切り出すことが必要とされている。動的動作検出のリアルタイム性が悪い。

可能な一実現形態では、動的動作検出のためのフレーム画像の最小数量を第１のキューの長さと決定するようにしてもよい。例えば、人差し指を伸ばして右へスライドさせる動的動作に関して、複数のフレーム画像における手部の静的動作はいずれも人差し指を伸ばしている動作である。Ｎ個よりも少ないフレーム画像に基づいて動的動作検出を行う場合、フレーム画像数量が少な過ぎ、静的動作の空間位置の変化も小さ過ぎるため、静的動作の空間位置の変化を決定できなく、つまり、動的動作検出を行うことができない。Ｎ個以上のフレーム画像に基づいて動的動作検出を行う場合、人差し指を伸ばしている静的動作の空間位置の変化を右へスライドしていると決定できる。この場合、Ｎは動的動作検出を可能にするフレーム画像の最小数量である。Ｎを第１のキューの長さと決定してもよく、ただし、Ｎは正整数である。可能な一実現形態では、ビデオストリームのコンテンツ、動的動作検出の精度要求、動的動作検出の速度要求、又は以前の経験値に応じて、第１のキューの長さを決定してもよい。本開示は第１のキューの長さを限定しない。例えば、Ｎの値の取り得る範囲は、２≦Ｎ≦１００、又は１０≦Ｎ≦２００等であってもよく、必要に応じてＮの値を決定することができる。

可能な一実現形態では、ビデオストリーム中のフレーム画像を順に第１のキューに加えて、第１のキューを部分的に更新するようにしてもよい。新しいフレーム画像を第１のキューに加える時に、フレーム画像を第１のキューの後端から加え、且つ第１のキューの最先端のフレーム画像を削除して、第１のキューのフレーム画像を所定の数量に保つようにしてもよい。可能な一実現形態では、ビデオストリーム中の１つのフレーム画像を第１のキューに加え、フレーム画像が部分的に更新された前記第１のキューを取得するようにしてもよい。ビデオストリーム中の第１のキューの長さよりも少ない複数のフレーム画像を第１のキューに加え、フレーム画像が部分的に更新された前記第１のキューを取得するようにしてもよい。

ステップＳ２０、部分的に更新された前記第１のキューのフレーム画像における動的動作を検出する。

可能な一実現形態では、部分的に更新された第１のキューのフレーム画像を用いて検出を行い、各フレーム画像における動的動作を決定するようにしてもよい。部分的に更新された第１のキューのフレーム画像をニューラルネットワークに入力し、ニューラルネットワークにより第１のキューのフレーム画像における動的動作を検出するようにしてもよい。可能な一実現形態では、第１のキューが満杯でない場合に、システム資源を節約ために、第１のキューのフレーム画像に対する動的動作検出を行わないようにしてもよい。

可能な一実現形態では、動的動作を実行する実行対象は人、動物又はロボット等の様々な可動対象を含んでもよい。動的動作は、実行対象の所定部位の、その所在する環境に対する相対的位置変化を含んでもよい。例えば、動的動作は、人が人差し指をスライドさせる動作を含んでもよく、人が四肢で走る動作を含んでもよく、ロボットがそれに装備された可動装置により前後に移動する動作を含んでもよい。本開示は動的動作の実行対象、動的動作の種類を限定しない。

ステップＳ３０、前記動的動作と、動作参照結果又は先に検出された動作検出結果を含む動作検出結果とがマッチングしない場合に、前記動的動作に応じて、前記動作検出結果を更新する。

可能な一実現形態では、１つのビデオストリーム中のフレーム画像に複数の動的動作が含まれてもよい。先に検出された動作検出結果をビデオストリームの動作検出結果とするようにしてもよい。例えば、ビデオストリーム１のフレーム画像から順に動作１、動作２及び動作３の３つの動作を認識できる。動作１が認識されると、動作１を先に検出された動作検出結果として、動作検出結果と決定する。動作２が認識されると、動作検出結果を動作２に更新し、動作３が認識されると、動作検出結果を動作３に更新する。可能な一実現形態では、前記動作検出結果には動作参照結果も含むようにしてもよい。所定動作を動作参照結果としてもよく、動作参照結果を空にしてもよい。

可能な一実現形態では、複数のビデオストリーム中のフレーム画像における動的動作を解析し、複数のビデオストリーム中のフレーム画像における複数の動的動作に応じて動作検出結果を更新するようにしてもよい。例えば、ビデオストリーム１及びビデオストリーム２に対して順に動的動作検出を行う。ビデオストリーム１のフレーム画像から動作１及び動作２が認識可能であり、ビデオストリーム２のフレーム画像から動作３と動作４が認識可能である。ビデオストリーム１のフレーム画像から動作１が認識されると、動作１を動作検出結果とする。ビデオストリーム１のフレーム画像から動作２が認識されると、動作検出結果を動作２に更新する。更にビデオストリーム２のフレーム画像に基づいて動作認識を行い、動作３が認識されると、動作検出結果を動作３に更新する。動作４が認識されると、動作検出結果を動作４に更新する。必要に応じて動的動作検出のための１つ又は複数のビデオストリームを取得することができる。ビデオストリームの動作検出結果は、ビデオストリーム自身のフレーム画像に基づいて動的動作検出を行って得られたものであってもよく、他のビデオストリーム中のフレーム画像に基づいて動的動作検出を行って得られたものであってもよい。

可能な一実現形態では、前記動的動作と動作検出結果とがマッチングしない場合に、ビデオストリーム中のフレーム画像から新しい動作が判断されたことを示し、動作検出結果のタイムリーな更新のために、新しい動作で動作検出結果を更新するようにしてもよい。

可能な一実現形態では、本開示の実施例における動作検出結果は、実行対象の動作をリアルタイムでトラッキングするために用いられるようにしてもよい。機器操作者のビデオストリームを撮影し、本開示の実施例における動的動作検出方法を用いて、撮影したビデオストリームの動作検出結果を取得し、動作検出結果に基づいて機器を制御するようにしてもよい。動作検出結果のリアルタイム性により、機器操作者は機器を精確に制御することができる。

本実施例では、ビデオストリーム中のフレーム画像を第１のキューに加え、フレーム画像が部分的に更新された前記第１のキューを取得し、部分的に更新された前記第１のキューのフレーム画像における動的動作を検出し、前記動的動作と動作検出結果とがマッチングしない場合に、前記動的動作に応じて前記動作検出結果を更新することができる。本開示の実施例では、第１のキューのフレーム画像が全般的に更新されるまで待たずに、部分的に更新された第１のキューのフレーム画像に基づいて動的動作の検出を行うことができ、これにより、ビデオストリームにおける動的動作をよりタイムリーに検出可能になる。動的動作の先頭フレーム又は最終フレームが第１のキューに加えられると、部分的に更新された第１のキューのフレーム画像に基づいて動的動作検出を行うことによって、動的動作の先頭フレーム又は最終フレームに基づいて動的動作を高速に決定することができ、これにより、動的動作の検出結果がより精確になり、検出効率がより高くなる。本開示の実施例は、ビデオストリームにおける動的動作をリアルタイムでトラッキングすることを実現できる。

図２は本開示の実施例による動的動作検出方法のフローチャットを示す。図２に示すように、前記動的動作検出方法において、前記先に検出された動作検出結果の取得方法として、前記第１のキューのフレーム画像に動的動作がある場合に、前記第１のキューのフレーム画像を第２のキューに移すステップＳ１と、前記第２のキューのフレーム画像に基づいて前記動作検出結果を決定するステップＳ２と、を含む。

可能な一実現形態では、初期状態で、先に検出された動作検出結果を取得するようにしてもよい。初期状態で、前記第１のキュー及び前記第２のキューが空であり、前記動作検出結果は無動作であるようにしてもよい。初期状態で、ビデオストリーム中のフレーム画像を第１のキューに入力し、第１のキューのフレーム画像に基づいて決定された動作検出結果を、先に検出された動作検出結果とするようにしてもよい。可能な一実現形態では、初期状態で、ビデオストリームの最初のフレーム画像から動的動作検出を行ってもよい。ビデオストリーム中の実行対象が検出されたフレーム画像から動的動作検出を行ってもよい。本開示はこれらを限定しない。可能な一実現形態では、第１のキューに対する動的動作検出が可能になるまで、ビデオストリーム中のフレーム画像を時間順に第１のキューに加えるようにしてもよい。

可能な一実現形態では、第２のキューの長さは、第１のキューの長さと等しくてもよく、等しくなくてもよい。第１のキューのフレーム画像に動的動作があると判断された場合に、第１のキューのフレーム画像を全て第２のキューに移して、第１のキューを空にするようにしてもよい。第２のキューのフレーム画像における動的動作に応じて動作検出結果を決定するようにしてもよい。

可能な一実現形態では、第１のキューのフレーム画像が第２のキューに移された後、第１のキューのフレーム画像の数量が０になり、また、先に検出された動作検出結果が得られる。初期状態が終了した後、図１に示す実施例における方法を用いて、順に後続のそれぞれの認識すべきフレーム画像で第１のキューを部分的に更新し、部分的に更新された第１のキューのフレーム画像において検出された動的動作に応じて、動作検出結果を更新するようにしてもよい。

本実施例では、先に検出された動作検出結果の取得方法として、ビデオストリーム中のフレーム画像を順に第１のキューに加えて、前記第１のキューのフレーム画像に動的動作がある場合に、前記第１のキューのフレーム画像を第２のキューに移し、第２のキューのフレーム画像における動作に応じて動作検出結果を取得する。先に検出された動作検出結果はビデオストリームにおける動的動作である。動作検出結果が取得されたフレーム画像を第２のキューに保留することによって、動作認識のリアルタイム性及び正確性を高めることができる。

図３は本開示の実施例による動的動作検出方法のフローチャットを示す。ここで、前記動作検出結果に静的動作が含まれ、図３に示すように、前記動的動作検出方法におけるステップＳ１０は、前記ビデオストリーム中の認識すべきフレーム画像における静的動作を取得するステップＳ１１と、前記認識すべきフレーム画像における静的動作と前記動作検出結果に含まれる静的動作とがマッチングしない場合に、前記認識すべきフレーム画像を前記第１のキューに加え、フレーム画像が部分的に更新された前記第１のキューを取得するステップＳ１２と、を含む。

可能な一実現形態では、先に検出された動作検出結果が取得された後、第１のキューが空になり、第２のキューにフレーム画像がある。ビデオストリーム中の動的動作検出がなされていないフレーム画像を認識すべきフレーム画像とするようにしてもよい。

可能な一実現形態では、動的動作は静的動作及び静的動作の動作軌跡を含んでもよい。例えば、動的動作１は「伸ばしている人差し指を右へスライドさせている」動作であり、動的動作１に含まれる静的動作は人差し指を伸ばしている動作であり、静的動作の動作軌跡は右へスライドしていることである。可能な一実現形態では、動的動作は静的動作及び静的動作の切換情報を含んでもよい。静的動作の切換情報は少なくとも２つの静的動作間の切換の情報を含んでもよい。例えば、動的動作２は「拳を掌に変える」動作であり、動的動作２は静的動作１である掌及び静的動作２である拳を含み、動的動作２の切換情報は拳を掌に切り換えることである。

可能な一実現形態では、動的動作は静的動作、静的動作の切換情報、及び静的動作の動作軌跡を含んでもよい。例えば、動的動作３は「走り幅跳び動作」であり、動的動作３は静的動作１である走り及び静的動作２である跳びを含み、静的動作１の動作軌跡は右に向けることであり、静的動作２の動作軌跡は右に向けることであり、動的動作３の静的動作間の切換情報は走りから跳びに切り換えることである。

可能な一実現形態では、各認識すべきフレーム画像から静的動作を検出するようにしてもよい。１つの動的動作に対応する複数のフレーム画像における静的動作は、動的動作における静的動作にマッチングする。少なくとも２つのフレーム画像における静的動作を比較して、フレーム画像における静的動作の動作軌跡及び／又は切換情報を取得するようにしてもよい。１つの動的動作に対応する複数のフレーム画像における静的動作の動作軌跡及び／又は切換情報は、動的動作における動作軌跡及び／又は切換情報にマッチングする。

可能な一実現形態では、ビデオストリーム中のそれぞれの認識すべきフレーム画像に対して静的動作の検出を順に行い、それぞれの認識すべきフレーム画像における静的動作と動作検出結果に含まれる静的動作とのマッチングを検出するようにしてもよい。それぞれの認識すべきフレーム画像における静的動作と第２のキューのフレーム画像における静的動作とのマッチングを検出するようにしてもよい。例えば、動作検出結果が伸ばしている人差し指を右へスライドさせている動作である場合、認識すべきフレーム画像における人差し指の静的動作が動作検出結果の人差し指の静的動作にマッチングするか否かを検出するようにしてもよい。

可能な一実現形態では、認識すべきフレーム画像における静的動作と動作検出結果に含まれる静的動作とがマッチングしない場合、認識すべきフレーム画像を第１のキューに加えるようにしてもよい。認識すべきフレーム画像を第１のキューの後端から加え、且つ第１のキューの最先端のフレーム画像を削除して、第１のキューを部分的に更新するようにしてもよい。部分的に更新された第１のキューのフレーム画像における動的動作を検出し、検出された動的動作と動作検出結果とがマッチングしない場合に、動的動作に応じて動作検出結果を更新するようにしてもよい。

本実施例では、ビデオストリーム中の認識すべきフレーム画像における静的動作を取得し、前記認識すべきフレーム画像における静的動作と前記動作検出結果に含まれる静的動作とがマッチングしない場合に、前記認識すべきフレーム画像を前記第１のキューに加えることができる。フレーム画像から静的動作を簡単で高信頼性に検出することができ、また、認識すべきフレーム画像を第１のキューに高速に加えて、第１のキューを高速に部分的に更新することができるので、動的動作の検出効率を高めることができる。

図４は本開示の実施例による動的動作検出方法のフローチャットを示す。ここで、前記動作検出結果に前記静的動作の動作軌跡及び／又は切換情報が更に含まれる。図４に示すように、前記動的動作検出方法におけるステップＳ１０は、前記認識すべきフレーム画像における静的動作と前記動作検出結果に含まれる静的動作とがマッチングする場合に、前記認識すべきフレーム画像及び前記第２のキューのフレーム画像に基づいて、前記認識すべきフレーム画像における静的動作の動作軌跡及び／又は切換情報を決定するステップＳ１３と、前記認識すべきフレーム画像における静的動作の動作軌跡及び／又は切換情報と前記動作検出結果とがマッチングしない場合に、前記認識すべきフレーム画像を前記第１のキューに加え、フレーム画像が部分的に更新された前記第１のキューを取得するステップＳ１４と、を含む。

可能な一実現形態では、動的動作は静的動作の動作軌跡及び／又は切換情報を更に含む。認識すべきフレーム画像における静的動作と動作検出結果に含まれる静的動作とがマッチングする場合に、認識すべきフレーム画像、及び第２のキュー中の最後のフレーム画像又は複数のフレーム画像に基づいて、認識すべきフレーム画像における静的動作の動作軌跡及び／又は切換情報を決定するようにしてもよい。認識すべきフレーム画像における静的動作１と第２のキュー中の最後のフレーム画像における静的動作２との位置差に基づいて、静的動作１の静的動作２に対する動作軌跡及び／又は切換情報を取得するようにしてもよい。例えば、動作検出結果が「伸ばしている人差し指を右へスライドさせている」との動的動作１であり、認識すべきフレーム画像における静的動作が人差し指を伸ばしている動作であり、動作検出結果にマッチングする。認識すべきフレーム画像における静的動作と第２のキューのフレーム画像における静的動作との位置差に基づいて、認識すべきフレーム画像における人差し指が左へスライドしていると決定する場合、認識すべきフレーム画像における静的動作の動作軌跡と動作検出結果とがマッチングしない。

可能な一実現形態では、認識すべきフレーム画像における静的動作の動作軌跡及び／又は切換情報と動作検出結果とがマッチングしない場合に、認識すべきフレーム画像における静的動作の所属する動的動作と動作検出結果とがマッチングしないと考えられる。この場合、認識すべきフレーム画像を第１のキューに加え、第１のキューを部分的に更新するようにしてもよい。部分的に更新された第１のキューのフレーム画像における動的動作を検出し、検出された動的動作と動作検出結果とがマッチングしない場合に、動的動作に応じて動作検出結果を更新するようにしてもよい。

本実施例では、認識すべきフレーム画像における静的動作の動作軌跡及び／又は切換情報と動作検出結果とがマッチングしない場合に、認識すべきフレーム画像を前記第１のキューに加え、フレーム画像が部分的に更新された第１のキューを取得する。動作軌跡及び／又は切換情報に基づいて、認識すべきフレーム画像における静的動作の所属する動的動作と動作検出結果がマッチングするか否かを決定することによって、動作検出結果の正確率を高めることができる。

図５は本開示の実施例による動的動作検出方法のフローチャットを示す。図５に示すように、前記動的動作検出方法は、部分的に更新された前記第１のキューのフレーム画像に基づいて検出された前記動的動作と動作検出結果とがマッチングしない場合に、前記第２のキューを空にし、前記第１のキューのフレーム画像を前記第２のキューに移すステップＳ４０と、前記第２のキューのフレーム画像における動的動作に応じて、前記動作検出結果を更新するステップＳ５０と、を更に含む。

可能な一実現形態では、部分的に更新された第１のキューのフレーム画像における動的動作を検出するようにしてもよい。部分的に更新された第１のキューのフレーム画像における静的動作、及び静的動作の動作軌跡及び／又は切換情報を検出し、検出された静的動作、静的動作の動作軌跡及び／又は切換情報に基づいて動的動作を決定するようにしてもよい。部分的に更新された第１のキューのフレーム画像における動的動作と動作検出結果とがマッチングしない場合に、部分的に更新された第１のキューのフレーム画像に新しい動的動作が出現したと考えられる。

可能な一実現形態では、部分的に更新された第１のキューのフレーム画像に新しい動的動作が出現した場合に、第２のキューを空にし、第１のキューのフレーム画像を全て第２のキューに移し、更新された第２のキューのフレーム画像における動的動作に応じて動作検出結果を更新するようにしてもよい。

可能な一実現形態では、撮影されたビデオストリームに対してリアルタイムで動的動作検出を行って、リアルタイムで検出して得られた動的動作に応じて電子機器の制御を行うようにしてもよい。ビデオストリーム中の認識すべきフレーム画像における静的動作、静的動作の動作軌跡及び／又は切換情報が動作検出結果にマッチングするか否かを検出し、マッチングしない場合に、認識すべきフレーム画像を第１のキューに加えて第１のキューを部分的に更新するようにしてもよい。部分的に更新された第１のキューのフレーム画像に新しい動的動作があることが検出された場合に、第２のキューを空にし、第１のキューのフレーム画像を全て第２のキューに移し、更新された第２のキューのフレーム画像における動的動作に応じて動作検出結果を更新するようにしてもよい。ビデオストリーム中の各フレーム画像をリアルタイムで解析して、動的動作検出のリアルタイム性や正確率を高めることができる。

図６は本開示の実施例による動的動作検出方法のフローチャットを示す。図６に示すように、前記動的動作検出方法は、前記認識すべきフレーム画像における静的動作、静的動作の動作軌跡及び／又は切換情報と前記動作検出結果とがマッチングする場合に、前記認識すべきフレーム画像を前記第２のキューに加えるステップＳ１５を更に含む。

可能な一実現形態では、認識すべきフレーム画像における静的動作と動作検出結果に含まれる静的動作とがマッチングしており、認識すべきフレーム画像における静的動作の動作軌跡及び／又は切換情報と動作検出結果に含まれる静的動作の動作軌跡及び／又は切換情報ともマッチングする場合に、認識すべきフレーム画像における静的動作の所属する動的動作と動作検出結果とがマッチングすると考えられる。可能な一実現形態では、認識すべきフレーム画像における静的動作、静的動作の動作軌跡及び／又は切換情報と動作検出結果とがマッチングする場合に、認識すべきフレーム画像を前記第２のキューに加えるようにしてもよい。認識すべきフレーム画像を第２のキューの後端から加え、且つ第２のキューの最先端のフレーム画像を削除して、第２のキューのフレーム画像を所定の数量に保つようにしてもよい。動的動作は連続性を有するので、１つの動的動作に対応する複数の連続したフレーム画像において、遠く離れている２つのフレーム画像における静的動作、静的動作の動作軌跡及び／又は切換情報は大きく違い得る。動作検出結果にマッチングする認識すべきフレーム画像を第２のキューに加えることにより、第２のキューのフレーム画像における動的動作のリアルタイム性を保って、後続のフレーム画像の動的動作検出結果をより精確にすることができる。

可能な一実現形態では、第１のキューによりビデオストリーム中の後続の認識すべきフレーム画像における動的動作を検出し、第２のキューにより動作検出結果を決定するためのフレーム画像を保存するようにしてもよい。ビデオストリーム中の認識すべきフレーム画像について、第１のキュースに加える前に、第２のキューのフレーム画像と共に、認識すべきフレーム画像に動作検出結果にマッチングする動的動作があるか否かの決定に用いられるようにしてもよい。認識すべきフレーム画像に動作検出結果にマッチングする動的動作がある場合、認識すべきフレーム画像を第２のキューに加えて、第２のキューのフレーム画像における動的動作の連続性を保って、動的動作検出結果の正確率を高める。認識すべきフレーム画像に動作検出結果にマッチングする動的動作がない場合、認識すべきフレーム画像を第１のキューに加えて、第１のキューのフレーム画像による新しい動的動作の検出に利用して、動的動作検出の適時性を高める。本開示の実施例は、第１のキューおよび第２のキューを設置することにより、ビデオストリームにおける動的動作を精確、効率的、リアルタイムでトラッキングすることを実現することができる。

本実施例では、認識すべきフレーム画像における静的動作、静的動作の動作軌跡及び／又は切換情報と動作検出結果とがマッチングする場合に、認識すべきフレーム画像を前記第２のキューに加える。動作検出結果にマッチングするフレーム画像を第２のキューに加えて、第２のキューのフレーム画像における動的動作のリアルタイム性を保って、後続のフレーム画像の動的動作検出結果を精確にすることができる。

図７は本開示の実施例による動的動作検出方法のフローチャットを示す。ここで、前記動的動作に少なくとも１つの静的動作及び前記静的動作の動作軌跡が含まれる。図７に示すように、前記動的動作検出方法におけるステップＳ２０は、部分的に更新された前記第１のキューの各フレーム画像における静的動作及び各フレーム画像における静的動作の動作軌跡に基づいて、部分的に更新された前記第１のキューのフレーム画像における動的動作を取得するステップＳ２１を含む。

可能な一実現形態では、動的動作は静的動作及び静的動作の動作軌跡を含んでもよい。部分的に更新された前記第１のキューの各フレーム画像における静的動作を検出し、各フレーム画像における静的動作がマッチングする場合に、各フレーム画像における静的動作の動作軌跡を計算し、各フレーム画像における静的動作の動作軌跡がマッチングする場合に、静的動作及び静的動作の動作軌跡に基づいて、部分的に更新された第１のキューのフレーム画像における動的動作を取得するようにしてもよい。本実施例では、部分的に更新された第１のキューの各フレーム画像における静的動作及び各フレーム画像における静的動作の動作軌跡に基づいて、部分的に更新されたフレーム画像における動的動作を取得することができる。静的動作及び静的動作の動作軌跡に基づいて動的動作を検出することによって、動的動作の検出正確率を高めることができる。

図８は本開示の実施例による動的動作検出方法のフローチャットを示す。ここで、前記動的動作に少なくとも２つの静的動作及び静的動作間の切換情報が含まれる。図８に示すように、前記動的動作検出方法におけるステップＳ２０は、部分的に更新された前記第１のキューの各フレーム画像における静的動作及び静的動作の切換情報に基づいて、部分的に更新された前記第１のキューのフレーム画像における動的動作を取得するステップＳ２２を含む。

可能な一実現形態では、動的動作は静的動作及び静的動作の切換情報を含んでもよい。部分的に更新された前記第１のキューの各フレーム画像における静的動作を検出し、各フレーム画像における静的動作がマッチングする場合に、各フレーム画像における静的動作の切換情報を計算し、各フレーム画像における静的動作の切換情報がマッチングする場合に、静的動作及び静的動作の切換情報に基づいて、部分的に更新された第１のキューのフレーム画像における動的動作を取得するようにしてもよい。本実施例では、部分的に更新された第１のキューの各フレーム画像における静的動作及び各フレーム画像における静的動作の切換情報に基づいて、部分的に更新されたフレーム画像における動的動作を取得することができる。静的動作及び静的動作の切換情報に基づいて動的動作を検出することによって、動的動作の検出正確率を高めることができる。

図９は本開示の実施例による動的動作検出方法のフローチャットを示す。ここで、前記動的動作に少なくとも２つの静的動作、各静的動作の動作軌跡、及び静的動作間の切換情報が含まれる。図９に示すように、前記動的動作検出方法におけるステップＳ２０は、部分的に更新された前記第１のキューの各フレーム画像における静的動作、各静的動作の動作軌跡、及び静的動作間の切換情報に基づいて、部分的に更新された前記第１のキューのフレーム画像における動的動作を取得するステップＳ２３を含む。

可能な一実現形態では、動的動作は静的動作、各静的動作の動作軌跡、及び静的動作の切換情報を含んでもよい。部分的に更新された前記第１のキューの各フレーム画像における静的動作を検出し、各フレーム画像における静的動作がマッチングする場合に、各フレーム画像における各静的動作の動作軌跡及び静的動作間の切換情報を計算し、各フレーム画像における各静的動作の動作軌跡及び静的動作間の切換情報もマッチングする場合に、静的動作、各静的動作の動作軌跡、及び静的動作の切換情報に基づいて、部分的に更新された第１のキューのフレーム画像における動的動作を取得するようにしてもよい。本実施例では、部分的に更新された前記第１のキューの各フレーム画像における静的動作、各静的動作の動作軌跡、及び静的動作間の切換情報に基づいて、部分的に更新された第１のキューのフレーム画像における動的動作を取得する。静的動作、各静的動作の動作軌跡、及び静的動作間の切換情報に基づいて動的動作を検出することによって、動的動作の検出正確率を高めることができる。

図１０は本開示の実施例による動的動作検出方法のフローチャットを示す。ここで、前記動的動作に手部動的動作が含まれ、前記静的動作にジェスチャーが含まれる。図１０に示すように、前記動的動作検出方法におけるステップＳ１１は、前記認識すべきフレーム画像に手部が含まれるか否かを検出するステップＳ１１１と、前記認識すべき画像に手部が含まれる場合に、前記手部の指及び／又は掌に基づいて前記認識すべき画像におけるジェスチャーを取得するステップＳ１１２と、を含む。

可能な一実現形態では、動的動作は手部動的動作、肢体動的動作等の様々の動的動作を含んでもよい。手部動的動作の実行者は人、動物、ロボット等を含んでもよい。手部動的動作は人の手部の動的動作又はロボットの手部の動的動作を含んでもよい。本開示はこれらを限定しない。まず、認識すべきフレーム画像に手部が含まれるか否かを検出するようにしてもよい。認識すべきフレーム画像をニューラルネットワークに入力し、ニューラルネットワークにより認識すべきフレーム画像に対して畳み込み処理等の操作を行って、認識すべきフレーム画像に手部が含まれるか否かを検出するようにしてもよい。手部が含まれない検出結果の場合、システム資源を節約するために、認識すべきフレーム画像に対する後続の解析を行わないようにしてもよい。

可能な一実現形態では、認識すべきフレーム画像に手部が含まれる検出結果の場合、更にジェスチャーを決定するようにしてもよい。手部の指に基づいてジェスチャーを取得してもよい。例えば、５本の指が全て伸ばされていることに基づいて、ジェスチャーが「五」であると決定できる。手部の掌に基づいてジェスチャーを取得してもよくい。例えば、掌の中央が上又は下へ向けていることに基づいて、ジェスチャーが「上へ」又は「下へ」であると決定できる。更に手部の指及び掌に基づいてジェスチャーを取得してもよい。例えば、５本の指が伸ばされ、掌の中央が下へ向けていることに基づいて、ジェスチャーが「下へ押す」であると決定できる。必要に応じて、指及び／又は掌に基づくジェスチャーの取得を決定できる。本開示はこれを限定しない。本実施例では、認識すべきフレーム画像に手部が含まれるか否かを検出し、認識すべき画像に手部が含まれる場合に、手部の指及び／又は掌に基づいて前記認識すべき画像におけるジェスチャーを取得することができる。認識すべきフレーム画像に手部が含まれるか否かを検出することによって、動的動作の検出効率を高めることができる。

可能な一実現形態では、ステップＳ１１２は、指先又は指関節を含む、前記手部の指の第１のキーポイントの位置、及び／又は、掌の中央、手の甲又は掌の縁部での点を含む、掌の第２のキーポイントの位置に基づいて、前記認識すべき画像におけるジェスチャーを認識するステップを含む。

可能な一実現形態では、従来のジェスチャー認識方法において、ジェスチャーテンプレートによりジェスチャーを認識する時に、ジェスチャーを予めテンプレートに入力することが必要であるので、ジェスチャーの認識効率が低く、テンプレートに大きく依存する。可能な一実現形態では、指に第１のキーポイントを決定してもよい。１本の指に１つ又は複数の第１のキーポイントを決定してもよい。例えば、指関節、指先位置の点を第１のキーポイントとしてもよい。掌に第２のキーポイントを決定してもよい。掌に１つ又は複数のキーポイントを含んでもよい。例えば、掌の中央、手の甲又は掌の縁部での点を第２のキーポイントとしてもよい。本開示の実施例は、手部のキーポイントの位置によりそれぞれのジェスチャーを柔軟かつ精確に認識して、ジェスチャー認識テンプレートに対する依存を解消することができる。

可能な一実現形態では、指の第１のキーポイントの位置に基づいてジェスチャーを決定してもよく、掌の第２のキーポイントの位置に基づいてジェスチャーを決定してもよく、更に指の第１のキーポイントの位置と掌の第２のキーポイントの位置を組み合わせてジェスチャーを決定してもよい。本実施例では、指の第１のキーポイントの位置及び／又は掌の第２のキーポイントの位置に基づいて、認識すべきフレーム画像におけるジェスチャーを決定することができる。手部のキーポイントに基づいて決定されたジェスチャーは精確で信頼性が高い。

可能な一実現形態では、前記手部動的動作にジェスチャーの動作軌跡及び／又は切換情報が更に含まれ、前記動的動作検出方法におけるステップＳ１３は、前記認識すべきフレーム画像における第１のキーポイント及びそれに対応する前記第２のキューのフレーム画像における第１のキーポイントに基づいて、前記認識すべきフレーム画像における動作軌跡及び／又は切換情報を決定すること、及び／又は、前記認識すべきフレーム画像における第２のキーポイント及びそれに対応する前記第２のキューのフレーム画像における第２のキーポイントに基づいて、前記認識すべきフレーム画像における動作軌跡及び／又は切換情報を決定することを含む。

可能な一実現形態では、指に基づいてジェスチャーを決定できる場合に、認識すべきフレーム画像における第１のキーポイントとそれに対応する第２のキューのフレーム画像における第１のキーポイントとの位置差に基づいて、前記認識すべきフレーム画像における動作軌跡及び／又は切換情報を決定するようにしてもよい。

可能な一実現形態では、掌に基づいてジェスチャーを決定できる場合に、認識すべきフレーム画像における第２のキーポイントとそれに対応する第２のキューのフレーム画像における第２のキーポイントとの位置差に基づいて、前記認識すべきフレーム画像における動作軌跡及び／又は切換情報を決定するようにしてもよい。

可能な一実現形態では、指及び掌に基づいてジェスチャーを決定できる場合に、認識すべきフレーム画像における第１のキーポイントとそれに対応する第２のキューのフレーム画像における第１のキーポイントとの位置差、及び、認識すべきフレーム画像における第２のキーポイントとそれに対応する第２のキューのフレーム画像における第２のキーポイントとの位置差の両方に基づいて、前記認識すべきフレーム画像における動作軌跡及び／又は切換情報を決定するようにしてもよい。本実施例では、前記認識すべきフレーム画像における第１のキーポイント及びそれに対応する前記第２のキューのフレーム画像における第１のキーポイントに基づいて、及び／又は、前記認識すべきフレーム画像における第２のキーポイント及びそれに対応する前記第２のキューのフレーム画像における第２のキーポイントに基づいて、前記認識すべきフレーム画像における動作軌跡及び／又は切換情報を決定する。第１のキーポイント及び／又は第２のキーポイントに基づいて、認識すべきフレーム画像から精確な動作軌跡及び／又は切換情報を取得することにより、動的動作の検出結果を精確且つ信頼的にすることができる。

可能な一実現形態では、前記動的動作に静的動作及び静的動作の動作軌跡が含まれ、ステップＳ２０は、前記第１のキューのフレーム画像における静的動作を検出することと、前記第１のキューの最初のフレーム画像における静的動作に対する、前記第１のキューの前記最初のフレーム画像以外のいずれか１つのフレーム画像を含む目標フレーム画像における静的動作の、Ｘ軸方向及びＹ軸方向の累積移動距離を計算することと、前記目標フレーム画像における静的動作及び前記累積移動距離に基づいて、前記第１のキューのフレーム画像における動的動作を取得することと、を含む。

可能な一実現形態では、フレーム画像について画像座標系を確立し、各フレーム画像における静的動作の画像座標系での座標位置を決定し、静的動作のＸ軸とＹ軸での座標値を取得するようにしてもよい。例えば、静的動作がジェスチャーである時に、手部の第１のキーポイントのＸ軸とＹ軸での座標値、及び／又は手部の第２のキーポイントのＸ軸とＹ軸での座標値に基づいて、ジェスチャーのＸ軸とＹ軸での座標値を取得することができる。可能な一実現形態では、前記第１のキューの最初のフレーム画像における静的動作に対する、各フレーム画像における静的動作のＸ軸方向及びＹ軸方向の累積移動距離を計算するようにしてもよい。累積移動距離はＸ軸の累積移動距離とＹ軸の累積移動距離からなるアレーを含んでもよい。累積移動距離に基づいて、最初のフレーム画像における静的動作に対する、各フレーム画像における静的動作の移動方向や移動距離を決定できる。本実施例では、第１のキューの各フレーム画像における静的動作及び静的動作の累積移動距離に基づいて、第１のキューにおける動的動作を決定できる。各フレーム画像の画像座標系での位置変化に基づいて、各フレーム画像における静的動作の累積移動距離を決定できる。画像座標系に基づいて、各フレーム画像における静的動作の累積移動距離を精確に取得できる。これにより、動作認識の結果が精確且つ信頼的になり、動作認識の誤り率が低減される。

可能な一実現形態では、前記目標フレーム画像における静的動作及び前記累積移動距離に基づいて前記第１のキューのフレーム画像における動的動作を取得することは、前記目標フレーム画像における静的動作の累積移動距離が移動閾値よりも小さい場合に、前記第１のキューのフレーム画像における目標対象物の動的動作が断続動作であると決定することを含む。

可能な一実現形態では、動的動作が連続性を有しており、静的動作の空間位置の移動が所定距離に達すると、動的動作が発生したと決定できる。静的動作の空間位置の移動距離が小さ過ぎると、実行者が動的動作の実行を停止したと考えられる。必要に応じて移動閾値を決定でき、フレーム画像における静的動作の累積移動距離が移動閾値よりも小さい場合に、フレーム画像における動的動作に断続が生じたと考えられる。本実施例では、移動閾値により、第１のキューのフレーム画像における動作が断続動作であるか否かを精確に決定することができ、これにより、動作認識の結果が精確且つ信頼的になる。

可能な一実現形態では、前記目標フレーム画像における静的動作及び前記累積移動距離に基づいて、前記第１のキューのフレーム画像における動的動作を取得することは、前記累積移動距離が前記移動閾値以上である場合に、各前記フレーム画像における静的動作の累積移動距離の、前記静的動作の所属する目標対象物の幅に対する比を計算することと、前記比が比閾値よりも小さい場合に、目標フレーム画像における静的動作の動作軌跡が回転動作軌跡であると決定することと、前記目標フレーム画像における静的動作及び前記回転動作軌跡に基づいて、前記第１のキューのフレーム画像における動的動作を取得することと、を含む。

可能な一実現形態では、動的動作は回転動作を含んでもよい。例えば手部動的動作を例とする。動的動作が手部動的動作である場合に、各前記フレーム画像におけるジェスチャーの累積移動距離の、手部の幅に対する比を計算するようにしてもよい。ジェスチャーの累積移動距離を画像座標系におけるベクトルで示してもよい。前記ベクトルの大きさと手部の幅との比を計算してもよい。前記比が比閾値よりも小さい場合に、各フレーム画像におけるジェスチャーの動作軌跡が回転動作軌跡であると考えられる。

本実施例では、各フレーム画像における静的動作の累積移動距離の、前記静的動作の所属する目標対象物の幅に対する比を計算し、比が比閾値よりも小さい場合に、目標フレーム画像における静的動作の動作軌跡が回転動作軌跡であると決定することができる。累積移動距離及び比閾値により、動的動作の検出結果をより精確にすることができる。

可能な一実現形態では、前記方法は、前記比が前記比閾値以上である場合に、目標フレーム画像における静的動作の動作軌跡が並進移動動作軌跡であると決定することと、前記目標フレーム画像における静的動作及び前記並進移動動作軌跡に基づいて、前記第１のキューのフレーム画像における動的動作を取得することと、を更に含む。

可能な一実現形態では、静的動作の動作軌跡は並進移動動作軌跡を含んでもよい。上記比が比閾値以上である場合に、各フレーム画像におけるジェスチャーの動作軌跡が並進移動動作軌跡であると考えられる。本実施例では、累積移動距離及び比閾値により、静的動作の動作軌跡が並進移動動作軌跡であることを判断でき、これにより、動的動作の検出結果がより精確になる。

図１１は本開示の実施例による動的動作制御方法のフローチャットを示す。前記動的動作制御方法は、ユーザ側装置（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ、ＵＥ）、携帯機器、ユーザ端末、端末、セルラーホン、コードレス電話、、パーソナル・デジタル・アシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、手持ちの機器、計算装置、車載装置、ウエアラブル装置等の端末装置、又は、サーバ等の電子機器により実行されてもよい。いくつかの可能な実現形態では、前記動的動作制御方法は、プロセッサによりメモリに記憶されているコンピュータ読取可能コマンドを呼び出すことで実現されてもよい。

図１１に示すように、前記動的動作制御方法は、ビデオストリームを取得するステップＳ１００と、上記のいずれか一項の動的動作検出方法を用いて前記ビデオストリームの動作検出結果を決定するステップＳ１１０と、機器が前記動作検出結果に対応する操作を実行するように制御するステップＳ１２０と、を含む。

可能な一実現形態では、制御操作が必要な機器に撮影装置を設置して、撮影装置によりリアルタイムでビデオストリームを取得するようにしてもよい。撮影装置により撮影したビデオストリームを取得してもよい。異なる撮影装置によりビデオストリームを撮影してもよい。撮影装置は、双眼カメラ、深度カメラ又は一般カメラを含んでもよい。動的動作検出要求に応じて異なる種類のカメラを選択してビデオストリームを撮影してもよい。

可能な一実現形態では、ステップＳ１２０は、予め設定された動作検出結果と操作コマンドとの対応関係に基づいて、前記動作検出結果に対応する操作コマンドを取得することと、前記操作コマンドに基づいて、機器が対応する操作を実行するように制御することと、を含む。

可能な一実現形態では、動作検出結果と操作コマンドとの対応関係を予め設定してもよい。対応関係について、１つの動作検出結果が１つの操作コマンドに対応してもよく、複数の動作検出結果が１つの操作コマンドに対応してもよい。操作される機器の種類及び操作要求に応じて操作コマンドの種類及び内容を決定することができる。本開示は操作コマンドの形態及び具体的な内容を限定しない。

可能な一実現形態では、操作コマンドを出力して、操作される機器を制御するようにしてもよい。動作検出結果はビデオストリームにおける動作をリアルタイムでトラッキングすることにより、出力された操作コマンドもビデオストリームにおける実行対象の動作をリアルタイムでトラッキングするので、操作者は操作される機器を精確に制御することができる。

本実施例では、対応関係及び動作検出結果に基づいて、動作検出結果に対応する操作コマンドを決定、出力することができる。動作検出結果のリアルタイム性や正確性により、操作コマンドもビデオストリームにおける実行対象の動作をリアルタイムでトラッキングすることができるので、操作者は機器をより精確に操作することができる。

可能な一実現形態では、前記操作コマンドに基づいて、機器が対応する操作を実行するように制御することは、前記操作コマンドに基づいて車両の車窓、車両のドア、車載システム、又は車載機器を制御することを含む。

可能な一実現形態では、車両に監視装置を設置して、車両中の運転者又は乗員の監視映像をビデオストリームとして撮影するようにしてもよい。撮影したビデオストリームに対してリアルタイムで動的動作検出を行うようにしてもよい。予め設定された動作検出結果と操作コマンドとの対応関係に基づいて、前記動作検出結果に対応する操作コマンドを取得し、次に操作コマンドに基づいて車両の車窓、車両のドア、車載システム、又は車載機器（例えば、車載マルチメディアデバイス、車載ロボット等）を制御するようにしてもよい。

可能な一実現形態では、機器が前記動作検出結果に対応する操作を実行するように制御することは、前記検出結果が定義済み動的動作であることに応じて、車両が前記定義済み動的動作に対応する操作を実行するように制御することを含む。

可能な一実現形態では、前記定義済み動的動作は、１本の指を時計方向／反時計方向に回転させる、掌を左／右へ振り動かす、２本の指で前へ突く、親指と小指を伸ばす、掌を下へ向けて下へ押す、親指を伸ばして左／右へ移動する、掌を左／右へ長くスライドさせる、掌の中央を上へ向けて拳を掌に変える、掌の中央を上へ向けて掌を拳に変える、掌の中央を下へ向けて掌を拳に変える、掌の中央を下へ向けて掌を拳に変える、１本の指をスライドさせる、複数の指を内へ向けて握る、１本の指でダブルクリックする、１本の指でシングルクリックする、複数の指でダブルクリックする、複数の指でシングルクリックするといったジェスチャーの少なくとも１つを含む動的ジェスチャーを含み、前記定義済み動的動作に対応する操作は、音量を大／小に調節する、曲を切り替える、曲を一時停止／継続する、電話を受ける又は起動する、電話を切る又は拒否する、エアコン温度を上げる又は下げる、マルチスクリーン・インタラクションを行う、サンルーフを開ける、サンルーフを閉める、ドアロックをかける、ドアロックを解除する、ナビゲーションをドラッグする、地図を縮小する、地図を拡大するといった操作の少なくとも１つを含む。

可能な一実現形態では、１本の指を時計方向／反時計方向に回転させる動的ジェスチャーにより、車両の音響装置に対して音量を大／小に調節する操作を行うようにしてもよい。掌を左／右へ振り動かす動的ジェスチャーにより、車両の音響装置に対して曲を切り替える操作を行うようにしてもよい。２本の指で前へ突く動的ジェスチャーにより、車両の音響装置に対して曲を一時停止／継続する操作を行うようにしてもよい。親指と小指を伸ばす動的ジェスチャーにより、車両の通信機器に対して電話を受ける又は起動する操作を行うようにしてもよい。掌を下へ向けて下へ押す動的ジェスチャーにより、車両の通信機器に対して電話を切る又は拒否する操作を行うようにしてもよい。親指を伸ばして左／右へ移動する動的ジェスチャーにより、車両のエアコン機器に対してエアコン温度を上げる又は下げる操作を行うようにしてもよい。掌を左／右へ長くスライドさせる動的ジェスチャーにより、車両のディスプレイスクリーンに対してマルチスクリーン・インタラクションを行う操作を行うようにしてもよい。掌の中央を上へ向けて拳を掌に変える動的ジェスチャーにより、車両に対してサンルーフを開ける操作（例えば、毎回１０センチメートル開けるように毎回所定の長さ開ける）を行うようにしてもよい。掌の中央を上へ向けて掌を拳に変える動的ジェスチャーにより、車両に対してサンルーフを閉める操作を行うようにしてもよい。掌の中央を下へ向けて掌を拳に変える動的ジェスチャーにより、車両に対してドアロックをかける操作を行うようにしてもよい。掌の中央を下へ向けて拳を掌に変える動的ジェスチャーにより、車両に対してドアロックを解除する操作を行うようにしてもよい。１本の指をスライドさせる動的ジェスチャーにより、車両のナビゲーション装置に対してナビゲーションをドラッグする操作を行うようにしてもよい。複数の指を内へ向けて握る動的ジェスチャーにより、車両のナビゲーション装置に対して地図を縮小する操作を行うようにしてもよい。１本の指でダブルクリックする動的ジェスチャーにより、車両のナビゲーション装置に対して地図を拡大する操作を行うようにしてもよい。本実施例では、操作コマンドに基づいて車両の車窓、車両のドア、車載システム、又は車載機器を制御することができる。ビデオストリームから認識された動的動作に応じて、車両自身又は車両の車載システムに対して様々な操作を行うことができる。本開示の実施例における動的動作検出方法によれば、操作者は車両自身又は車載システムを精確に制御することができる。

応用例：図１２は本開示の実施例による動作認識方法の応用例のフローチャットを示す。図１２に示すように、車両に深度カメラを配置し、深度カメラにより運転者の監視画像をビデオストリームとして取得するようにしてもよい。撮影した監視画像に対してリアルタイムで動作認識を行ってもよい。本実施例では、運転者の手部動作に対する動作認識を行う。

１、先に検出された動作検出結果を取得する。ステップＳ２１０、第１のキュー及び第２のキューを空にし、動作検出結果も空にする。ビデオストリーム中のフレーム画像を時間順に第１のキューに加える。ステップＳ２２０、第１のキューのフレーム画像に動的動作があるか否かを検出する。動的動作なしの場合、ステップＳ２３０に進み、動的動作ありの場合、ステップＳ２４０に進む。

可能な一実現形態では、第１のキューの長さは１０フレームのフレーム画像とするようにしてもよい。ビデオストリーム中の第１〜第１０のフレームのフレーム画像を第１のキューに加えた後、第１のキューの１０フレームのフレーム画像に動的動作があるか否かを判断するようにしてもよい。例えば、動的動作が手部動的動作である。具体的には、フレーム画像に手部があるか否かを順に認識し、第１のキューのフレーム画像に手部がある場合に、手部の指及び／又は掌に基づいて認識すべき画像におけるジェスチャーを認識するようにしてもよい。各フレーム画像におけるジェスチャーがマッチングする場合に、各フレーム画像におけるジェスチャーの動作軌跡及び／又は切換情報を決定するようにしてもよい。各フレーム画像におけるジェスチャーの動作軌跡及び／又は切換情報もマッチングする場合に、第１のキューにおける動的動作を検出するようにしてもよい。

ステップＳ２３０、ビデオストリーム中の各フレーム画像を時間順に第１のキューに加え続け、ステップＳ２２０に移行する。可能な一実現形態では、第１１のフレームのフレーム画像を第１のキューの後端に加え、且つ第１のキューの最先端の第１のフレームのフレーム画像を第１のキューから削除するようにしてもよい。この時に、第１のキューに第２〜第１１のフレームのフレーム画像が含まれ、ステップＳ２２０に移行してから、当該第１のキューに動作があるか否かを判断するようにしてもよい。動作なしの場合、続けて第１２のフレームのフレーム画像を第１のキューに加え、且つ第２のフレームのフレーム画像を削除するようにしてもよい。ステップＳ２２０において第１のキューのフレーム画像に動作があると判断されるまで、上記の動作を繰り返す。

ステップＳ２４０、第１のキューのフレーム画像を第２のキューに移す。第１のキューを空にし、第２のキューのフレーム画像に基づいて動作検出結果を決定し、先に検出された動作検出結果を取得する。可能な一実現形態では、先に検出された動作検出結果が取得された後、第１のキューが空になり、第２のキューにビデオストリーム中の第２３〜第３２のフレームのフレーム画像といった１０フレームのフレーム画像がある。第２のキューのフレーム画像における動作に応じて動作検出結果を決定できる。ビデオストリーム中の動作認識がなされていないフレーム画像は、認識すべきフレーム画像として後続に解析されてもよい。即ち、第３３のフレームのフレーム画像からのフレーム画像を認識すべきフレーム画像として、後続の動的動作検出のステップＳ２５０に進む。

２、動的動作検出ステップ。ステップＳ２５０、ビデオストリーム中の認識すべきフレーム画像のそれぞれと動作検出結果とがマッチングするか否かを順に判断する。マッチングする場合に、ステップＳ２６０に進み、マッチングしない場合に、ステップＳ２７０に進む。

可能な一実現形態では、第３３のフレームのフレーム画像及び第２のキューの最後端のフレーム画像（第３２のフレームのフレーム画像）に基づいて、第３３のフレームのフレーム画像と動作検出結果とがマッチングするか否かを決定してもよい。先に第３３のフレームのフレーム画像におけるジェスチャーと第２のキューの第３２のフレームのフレーム画像におけるジェスチャーとが一致するか否かを決定してもよい。ジェスチャーが一致している場合に、第３３のフレームのフレーム画像におけるジェスチャーの動作軌跡及び／又は切換情報と動作検出結果に含まれるジェスチャーの動作軌跡及び／又は切換情報とがマッチングするか否かを決定する。ジェスチャーの動作軌跡及び／又は切換情報もマッチングする場合に、第３３のフレームのフレーム画像と動作検出結果とがマッチングすると決定できる。

ステップＳ２６０、マッチングする場合に、前記認識すべきフレーム画像を第２のキューに加える。可能な一実現形態では、第３３のフレームのフレーム画像を第２のキューに加えてから、第２のキューのフレーム画像が第２４〜第３３のフレームのフレーム画像に更新される。

ステップＳ２７０、マッチングしない場合に、前記認識すべきフレーム画像を第１のキューに加える。

ステップＳ２８０、前記第１のキューのフレーム画像における動的動作と動作検出結果とがマッチングするか否かを決定する。マッチングしない場合に、ステップＳ２９０に進む。

ステップＳ２９０、第１のキューのフレーム画像における動的動作と動作検出結果とがマッチングしない場合に、第２のキューを空にし、第１のキューのフレーム画像を第２のキューに移す。更新された第２のキューのフレーム画像における動作に応じて前記動作検出結果を更新する。

本開示で言及された上記各方法の実施例は、原理や論理を違反しない限り、相互に組み合わせて実施例を形成することができることが理解され、紙幅に限りがあるため、詳細は本開示では再度説明しない。当業者であれば、具体的な実施形態の上記方法において、各ステップの記述順序は厳密にその順に従って実行することを限定して、実施プロセスを何ら限定するものではなく、各ステップの具体的な実行順序はその機能および可能な内在的論理によって決定されるべきであることが理解される。

なお、本開示は、動的動作検出装置、動的動作制御装置、電子機器、コンピュータ読取可能記憶媒体、プログラムを更に提供し、いずれも本開示で提供されるいずれか１つの動的動作検出方法、動的動作制御方法を実現するために用いることができ、対応する技術的手段及び説明は方法の部分の対応する記載を参照すればよく、詳細は再度説明しない。

図１３は本開示の実施例による動的動作検出装置のブロック図を示す。図１３に示すように、前記動的動作検出装置は、ビデオストリーム中のフレーム画像を第１のキューに加え、フレーム画像が部分的に更新された前記第１のキューを取得するための第１のキュー更新モジュール１０と、部分的に更新された前記第１のキューのフレーム画像における動的動作を検出するための動的動作検出モジュール２０と、前記動的動作と、動作参照結果又は先に検出された動作検出結果を含む動作検出結果とがマッチングしない場合に、前記動的動作に応じて、前記動作検出結果を更新するための動作検出結果更新モジュール３０と、を含む。

可能な一実現形態では、前記装置は、前記第１のキューのフレーム画像に動的動作がある場合に、前記第１のキューのフレーム画像を第２のキューに移すことと、前記第２のキューのフレーム画像に基づいて前記動作検出結果を決定することとに用いられる、先に検出された動作検出結果の取得モジュールを更に含む。

可能な一実現形態では、前記動作検出結果に静的動作が含まれ、前記第１のキュー更新モジュール１０は、前記ビデオストリーム中の認識すべきフレーム画像における静的動作を取得するための第１の取得サブモジュールと、前記認識すべきフレーム画像における静的動作と前記動作検出結果に含まれる静的動作とがマッチングしない場合に、前記認識すべきフレーム画像を前記第１のキューに加え、フレーム画像が部分的に更新された前記第１のキューを取得するための第１の更新サブモジュールと、を含む。

可能な一実現形態では、前記動作検出結果に前記静的動作の動作軌跡及び／又は切換情報が更に含まれ、前記第１のキュー更新モジュール１０は、前記認識すべきフレーム画像における静的動作と前記動作検出結果に含まれる静的動作とがマッチングする場合に、前記認識すべきフレーム画像及び前記第２のキューのフレーム画像に基づいて、前記認識すべきフレーム画像における静的動作の動作軌跡及び／又は切換情報を決定するための第２の取得サブモジュールと、前記認識すべきフレーム画像における静的動作の動作軌跡及び／又は切換情報と前記動作検出結果とがマッチングしない場合に、前記認識すべきフレーム画像を前記第１のキューに加え、フレーム画像が部分的に更新された前記第１のキューを取得するための第２の更新サブモジュールと、を含む。

可能な一実現形態では、前記装置は、部分的に更新された前記第１のキューのフレーム画像に基づいて検出された前記動的動作と動作検出結果とがマッチングしない場合に、前記第２のキューを空にし、前記第１のキューのフレーム画像を前記第２のキューに移すためのキュー転移モジュールと、前記第２のキューのフレーム画像における動的動作に応じて、前記動作検出結果を更新するための動作検出結果更新モジュールと、を更に含む。

可能な一実現形態では、撮影したビデオストリームに対してリアルタイムで動的動作検出を行って、リアルタイムで検出して得られた動的動作に応じて電子機器の制御を行うようにしてもよい。ビデオストリーム中の認識すべきフレーム画像における静的動作、静的動作の動作軌跡及び／又は切換情報が動作検出結果にマッチングするか否かを検出し、マッチングしない場合に、認識すべきフレーム画像を第１のキューに加えて第１のキューを部分的に更新するようにしてもよい。部分的に更新された第１のキューのフレーム画像に新しい動的動作があることが検出された場合に、第２のキューを空にし、第１のキューのフレーム画像を全て第２のキューに移し、更新された第２のキューのフレーム画像における動的動作に応じて動作検出結果を更新するようにしてもよい。ビデオストリーム中の各フレーム画像をリアルタイムで解析して、動的動作検出のリアルタイム性や正確率を高めることができる。

可能な一実現形態では、前記装置は、前記認識すべきフレーム画像における静的動作、静的動作の動作軌跡及び／又は切換情報と前記動作検出結果とがマッチングする場合に、前記認識すべきフレーム画像を前記第２のキューに加えるための第２のキュー更新モジュールを更に含む。

可能な一実現形態では、前記動的動作に少なくとも１つの静的動作及び前記静的動作の動作軌跡が含まれ、前記動的動作検出モジュール２０は、部分的に更新された前記第１のキューの各フレーム画像における静的動作及び各フレーム画像における静的動作の動作軌跡に基づいて、部分的に更新された前記第１のキューのフレーム画像における動的動作を取得するための第１の動的動作検出サブモジュールを含む。

可能な一実現形態では、前記動的動作に少なくとも２つの静的動作及び静的動作間の切換情報が含まれ、前記動的動作検出モジュール２０は、部分的に更新された前記第１のキューの各フレーム画像における静的動作及び静的動作の切換情報に基づいて、部分的に更新された前記第１のキューのフレーム画像における動的動作を取得するための第２の動的動作検出サブモジュールを含む。

可能な一実現形態では、前記動的動作に少なくとも２つの静的動作、各静的動作の動作軌跡、及び静的動作間の切換情報が含まれ、前記動的動作検出モジュール２０は、部分的に更新された前記第１のキューの各フレーム画像における静的動作、各静的動作の動作軌跡、及び静的動作間の切換情報に基づいて、部分的に更新された前記第１のキューのフレーム画像における動的動作を取得するための第３の動的動作検出サブモジュールを含む。可能な一実現形態では、前記動的動作に手部動的動作が含まれ、前記静的動作にジェスチャーが含まれ、前記第１の取得サブモジュールは、前記認識すべきフレーム画像に手部が含まれるか否かを検出するための手部検出ユニットと、前記認識すべき画像に手部が含まれる場合に、前記手部の指及び／又は掌に基づいて前記認識すべき画像におけるジェスチャーを取得するためのジェスチャー決定ユニットと、を含む。

可能な一実現形態では、前記ジェスチャー決定ユニットは、指先又は指関節を含む、前記手部の指の第１のキーポイントの位置、及び／又は、掌の中央、手の甲又は掌の縁部での点を含む、掌の第２のキーポイントの位置に基づいて、前記認識すべき画像におけるジェスチャーを認識することに用いられる。

可能な一実現形態では、前記手部動的動作にジェスチャーの動作軌跡及び／又は切換情報が更に含まれ、前記第２の取得サブモジュールは、前記認識すべきフレーム画像における第１のキーポイント及びそれに対応する前記第２のキューのフレーム画像における第１のキーポイントに基づいて、前記認識すべきフレーム画像における動作軌跡及び／又は切換情報を決定するための第１の取得ユニット、及び／又は前記認識すべきフレーム画像における第２のキーポイント及びそれに対応する前記第２のキューのフレーム画像における第２のキーポイントに基づいて、前記認識すべきフレーム画像における動作軌跡及び／又は切換情報を決定するための第２の取得ユニットと、を含む。

可能な一実現形態では、前記動的動作に静的動作及び静的動作の動作軌跡が含まれ、前記動的動作検出モジュール２０は、前記第１のキューのフレーム画像における静的動作を検出するための静的動作検出サブモジュールと、前記第１のキューの最初のフレーム画像における静的動作に対する、前記第１のキューの前記最初のフレーム画像以外のいずれか１つのフレーム画像を含む目標フレーム画像における静的動作の、Ｘ軸方向及びＹ軸方向の累積移動距離を計算するための累積移動距離決定サブモジュールと、前記目標フレーム画像における静的動作及び前記累積移動距離に基づいて前記第１のキューのフレーム画像における動的動作を取得するための第４の動的動作検出サブモジュールと、を含む。

可能な一実現形態では、前記第４の動的動作検出サブモジュールは、前記目標フレーム画像における静的動作の累積移動距離が移動閾値よりも小さい場合に、前記第１のキューのフレーム画像における目標対象物の動的動作が断続動作であると決定することに用いられる。

可能な一実現形態では、前記第４の動的動作検出サブモジュールは、前記累積移動距離が前記移動閾値以上である場合に、各前記フレーム画像における静的動作の累積移動距離の、前記静的動作の所属する目標対象物の幅に対する比を計算することと、前記比が比閾値よりも小さい場合に、目標フレーム画像における静的動作の動作軌跡が回転動作軌跡であると決定することと、前記目標フレーム画像における静的動作及び前記回転動作軌跡に基づいて、前記第１のキューのフレーム画像における動的動作を取得することとに用いられる。

可能な一実現形態では、前記第４の動的動作検出サブモジュールは、更に、前記比が前記比閾値以上である場合に、目標フレーム画像における静的動作の動作軌跡が並進移動動作軌跡であると決定することと、前記目標フレーム画像における静的動作及び前記並進移動動作軌跡に基づいて、前記第１のキューのフレーム画像における動的動作を取得することとに用いられる。

図１４は本開示の実施例による動的動作制御装置のブロック図を示す。図１４に示すように、前記動的動作制御装置は、ビデオストリームを取得するためのビデオストリーム取得モジュール１００と、上記動的動作検出装置を用いて前記ビデオストリームの動作検出結果を決定するための動作検出結果取得モジュール２００と、機器が前記動作検出結果に対応する操作を実行するように制御するための操作実行モジュール３００と、を含む。

可能な一実現形態では、制御操作が必要な機器に撮影装置を設置して、撮影装置によりリアルタイムでビデオストリームを取得するようにしてもよい。撮影装置により撮影したビデオストリームを取得してもよい。異なる撮影装置によりビデオストリームを撮影してもよい。撮影装置は、双眼カメラ、深度カメラ又は一般カメラを含んでもよい。動的動作検出要求に応じて異なる種類のカメラを選択してビデオストリームを撮影してもよい。

可能な一実現形態では、操作実行モジュール３００は、予め設定された動作検出結果と操作コマンドとの対応関係に基づいて、前記動作検出結果に対応する操作コマンドを取得するための操作コマンド取得サブモジュールと、前記操作コマンドに基づいて、機器が対応する操作を実行するように制御するための操作実行サブモジュールと、を含む。

可能な一実現形態では、前記操作実行サブモジュールは、前記操作コマンドに基づいて車両の車窓、車両のドア、車載システム、又は車載機器を制御することに用いられる。

可能な一実現形態では、車両に監視装置を設置して、車両中の運転者又は乗員の監視映像をビデオストリームとして撮影するようにしてもよい。撮影したビデオストリームに対してリアルタイムで動的動作検出を行ってもよい。予め設定された動作検出結果と操作コマンドとの対応関係に基づいて、前記動作検出結果に対応する操作コマンドを取得し、次に操作コマンドに基づいて車両の車窓、車両のドア、車載システム、又は車載機器（例えば、車載マルチメディアデバイス、車載ロボット等）を制御するようにしてもよい。

可能な一実現形態では、前記操作実行モジュール３００は、更に、前記検出結果が定義済み動的動作であることに応じて、車両が前記定義済み動的動作に対応する操作を実行するように制御することに用いられる。

可能な一実現形態では、前記定義済み動的動作は、１本の指を時計方向／反時計方向に回転させる、掌を左／右へ振り動かす、２本の指で前へ突く、親指と小指を伸ばす、掌を下へ向けて下へ押す、親指を伸ばして左／右へ移動する、掌を左／右へ長くスライドさせる、掌の中央を上へ向けて拳を掌に変える、掌の中央を上へ向けて掌を拳に変える、掌の中央を下へ向けて掌を拳に変える、掌の中央を下へ向けて拳を掌に変える、１本の指をスライドさせる、複数の指を内へ向けて握る、１本の指でダブルクリックする、１本の指でシングルクリックする、複数の指でダブルクリックする、複数の指でシングルクリックするといったジェスチャーの少なくとも１つを含む動的ジェスチャーを含み、前記定義済み動的動作に対応する操作は、音量を大／小に調節する、曲を切り替える、曲を一時停止／継続する、電話を受ける又は起動する、電話を切る又は拒否する、エアコン温度を上げる又は下げる、マルチスクリーン・インタラクションを行う、サンルーフを開ける、サンルーフを閉める、ドアロックをかける、ドアロックを解除する、ナビゲーションをドラッグする、地図を縮小する、地図を拡大するといった操作の少なくとも１つを含む。

いくつかの実施例では、本開示の実施例で提供された装置が有する機能又はモジュールは、上記方法の実施例に記載の方法を実行するために用いられ、その具体的な実現は上記方法の実施例の説明を参照すればよく、装置の技術的効果は対応する方法の実施例の記載を参考すればよく、説明を簡潔にするために、詳細は再度説明しない。

本開示の実施例は、コンピュータプログラムコマンドが記憶されているコンピュータ読取可能記憶媒体であって、前記コンピュータプログラムコマンドは、プロセッサにより実行されると、上記方法を実現させるコンピュータ読取可能記憶媒体を更に提案する。コンピュータ読取可能記憶媒体は、不揮発性のコンピュータ読取可能記憶媒体であってもよく、揮発性のコンピュータ読取可能記憶媒体であってもよい。

本開示の実施例は、プロセッサと、プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含み、前記プロセッサは、上記のいずれか１つの方法を実行するように構成される電子機器を更に提案する。電子機器は、端末、サーバ又は他の形態の機器として提供されてもよい。

本開示の実施例は、コンピュータ読取可能コードを含むコンピュータプログラムであって、前記コンピュータ読取可能コードは、電子機器において実行されると、前記電子機器のプロセッサに本開示のいずれか１つの方法の実施例を実行させるコンピュータプログラムを更に提案する。

図１５は例示的実施例による電子機器８００のブロック図である。例えば、電子機器８００は携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信装置、ゲームコンソール、タブレット装置、医療機器、フィットネス器具、パーソナル・デジタル・アシスタントなどの端末であってもよい。

図１５を参照すると、電子機器８００は、処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）のインタフェース８１２、センサコンポーネント８１４、および通信コンポーネント８１６のうちの一つ以上を含でもよい。

処理コンポーネント８０２は通常、電子機器８００の全体的な動作、例えば表示、電話呼出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント８０２は、命令を実行して上記方法の全てまたは一部のステップを実行するために、一つ以上のプロセッサ８２０を含んでもよい。また、処理コンポーネント８０２は、他のコンポーネントとのインタラクションのための一つ以上のモジュールを含んでもい。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８とのインタラクションのために、マルチメディアモジュールを含んでもい。

メモリ８０４は電子機器８００での動作をサポートするための様々なタイプのデータを記憶するように構成される。これらのデータは、例として、電子機器８００において操作するあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどの様々なタイプの揮発性または非揮発性記憶機器またはそれらの組み合わせによって実現できる。

電源コンポーネント８０６は電子機器８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、一つ以上の電源、および電子機器８００のための電力生成、管理および配分に関連する他のコンポーネントを含んでもよい。

マルチメディアコンポーネント８０８は前記電子機器８００とユーザとの間で出力インタフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは液晶ディスプレイ（ＬＣＤ）およびタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含む場合、ユーザからの入力信号を受信するタッチスクリーンとして実現してもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャーを検知するために、一つ以上のタッチセンサを含む。前記タッチセンサはタッチまたはスライド動きの境界を検知するのみならず、前記タッチまたはスライド操作に関連する持続時間および圧力を検出するようにしてもよい。いくつかの実施例では、マルチメディアコンポーネント８０８は一つの前面カメラおよび／または後面カメラを含む。電子機器８００が動作モード、例えば写真モードまたは撮影モードになる場合、前面カメラおよび／または後面カメラは外部のマルチメディアデータを受信するようにしてもよい。各前面カメラおよび後面カメラは、固定された光学レンズ系、または焦点距離および光学ズーム能力を有するものであってもよい。

オーディオコンポーネント８１０はオーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、一つのマイク（ＭＩＣ）を含み、マイク（ＭＩＣ）は、電子機器８００が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードになる場合、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号はさらにメモリ８０４に記憶されるか、または通信コンポーネント８１６によって送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するためのスピーカーを含む。

Ｉ／Ｏインタフェース８１２は処理コンポーネント８０２と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含んでもよいが、これらに限定されない。

センサコンポーネント８１４は電子機器８００の各面で状態評価のために一つ以上のセンサを含む。例えば、センサコンポーネント８１４は電子機器８００のオン／オフ状態、例えば電子機器８００の表示装置およびキーパッドのようなコンポーネントの相対的位置決めを検出でき、センサコンポーネント８１４はさらに、電子機器８００または電子機器８００のあるコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位または加減速および電子機器８００の温度変化を検出できる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するように構成された近接センサを含んでもよい。センサコンポーネント８１４はさらに、ＣＭＯＳまたはＣＣＤイメージセンサのような、イメージングアプリケーションにおいて使用するための光センサを含んでもよい。いくつかの実施例では、該センサコンポーネント８１４はさらに、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサまたは温度センサを含んでもよい。

通信コンポーネント８１６は電子機器８００と他の機器との有線または無線通信を実現するように配置される。電子機器８００は通信規格に基づく無線ネットワーク、例えばＷｉＦｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント８１６は放送チャネルによって外部の放送管理システムの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント８１６はさらに、近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールは無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術および他の技術によって実現できる。

例示的な実施例では、電子機器８００は一つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現され、上記方法を実行するために用いることができる。

例示的な実施例では、さらに、非揮発性のコンピュータ読み取り可能記憶媒体、例えばコンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は、電子機器８００のプロセッサ８２０によって実行されると、上記方法を実行することができる。

本開示はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品はプロセッサに本開示の各方面を実現させるためのコンピュータ読み取り可能プログラム命令を有しているコンピュータ読み取り可能記憶媒体を含んでもよい。コンピュータ読み取り可能記憶媒体は命令実行装置に使用される命令を保存および記憶可能な有形装置であってもよい。コンピュータ読み取り可能記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能記憶媒体のさらに具体的な例（非網羅的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、例えば命令が記憶されているせん孔カードまたはスロット内突起構造のような機械的符号化装置、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ読み取り可能記憶媒体は瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号と解釈されるものではない。

ここで記述したコンピュータ読み取り可能プログラム命令はコンピュータ読み取り可能記憶媒体から各計算／処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークによって外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバを含んでもよい。各計算／処理機器内のネットワークアダプタカードまたはネットワークインタフェースはネットワークからコンピュータ読み取り可能プログラム命令を受信し、該コンピュータ読み取り可能プログラム命令を転送し、各計算／処理機器内のコンピュータ読み取り可能記憶媒体に記憶させる。本開示の動作を実行するためのコンピュータプログラム命令はアセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含む一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ読み取り可能プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ読み取り可能プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズし、該電子回路によりコンピュータ読み取り可能プログラム命令を実行することにより、本開示の各方面を実現できるようにしてもよい。

ここで本開示の実施例による方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照しながら本開示の各方面を説明したが、フローチャートおよび／またはブロック図の各ブロックおよびフローチャートおよび／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ読み取り可能プログラム命令によって実現できることを理解すべきである。

これらのコンピュータ読み取り可能プログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供されて、これらの命令はコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されるときフローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現するように装置を製造してもよい。これらのコンピュータ読み取り可能プログラム命令は、コンピュータ読み取り可能記憶媒体に記憶し、コンピュータ、プログラマブルデータ処理装置および／または他の機器を特定の方式で動作させるようにしてもよい。命令を記憶しているコンピュータ読み取り可能記憶媒体に、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作の各方面を実現するための命令を有する製品を含む。

コンピュータ読み取り可能プログラムは、コンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードし、コンピュータ、他のプログラマブルデータ処理装置または他の機器に一連の動作ステップを実行させることにより、コンピュータにより実施なプロセスを生成し、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令によりフローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する。

図面のうちフローチャートおよびブロック図は、本開示の複数の実施例によるシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つ以上の実行可能命令を含む。いくつかの代替としての実現形態では、ブロックに表記される機能は図面に付した順序と異なって実現してもよい。例えば、二つの連続的なブロックは実質的に同時に実行してもよく、また、係る機能によって、逆な順序で実行してもよい場合がある。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことに注意すべきである。論理を違反しない限り、本願のそれぞれの実施例は相互に組み合わせることができ、異なる実施例において重点として説明されるものが異なって、重点として説明されていない部分は他の実施例の記載を参照すればよい。

以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または市場における技術への改善を好適に解釈するか、または他の当業者に本明細書に披露された各実施例を理解させるためのものである。

Claims (45)

1. ビデオストリーム中のフレーム画像を第１のキューに加え、フレーム画像が部分的に更新された前記第１のキューを取得することと、
   部分的に更新された前記第１のキューのフレーム画像における動的動作を検出することと、
   前記動的動作と、動作参照結果又は先に検出された動作検出結果を含む動作検出結果とがマッチングしない場合に、前記動的動作に応じて、前記動作検出結果を更新することと、を含むことを特徴とする動的動作検出方法。
2. 前記先に検出された動作検出結果の取得方法として、
   前記第１のキューのフレーム画像に動的動作がある場合に、前記第１のキューのフレーム画像を第２のキューに移すことと、
   前記第２のキューのフレーム画像に基づいて前記動作検出結果を決定することと、を含むことを特徴とする請求項１に記載の方法。
3. 前記動作検出結果に静的動作が含まれ、ビデオストリーム中のフレーム画像を第１のキューに加え、フレーム画像が部分的に更新された前記第１のキューを取得することは、
   前記ビデオストリーム中の認識すべきフレーム画像における静的動作を取得することと、
   前記認識すべきフレーム画像における静的動作と前記動作検出結果に含まれる静的動作とがマッチングしない場合に、前記認識すべきフレーム画像を前記第１のキューに加え、フレーム画像が部分的に更新された前記第１のキューを取得することと、を含むことを特徴とする請求項１又は２に記載の方法。
4. 前記動作検出結果に前記静的動作の動作軌跡及び／又は切換情報が更に含まれ、ビデオストリーム中のフレーム画像を第１のキューに加え、フレーム画像が部分的に更新された前記第１のキューを取得することは、
   前記認識すべきフレーム画像における静的動作と前記動作検出結果に含まれる静的動作とがマッチングする場合に、前記認識すべきフレーム画像及び前記第２のキューのフレーム画像に基づいて、前記認識すべきフレーム画像における静的動作の動作軌跡及び／又は切換情報を決定することと、
   前記認識すべきフレーム画像における静的動作の動作軌跡及び／又は切換情報と前記動作検出結果とがマッチングしない場合に、前記認識すべきフレーム画像を前記第１のキューに加え、フレーム画像が部分的に更新された前記第１のキューを取得することと、を含むことを特徴とする請求項３に記載の方法。
5. 部分的に更新された前記第１のキューのフレーム画像に基づいて検出された前記動的動作と動作検出結果とがマッチングしない場合に、前記第２のキューを空にし、前記第１のキューのフレーム画像を前記第２のキューに移すことと、
   前記第２のキューのフレーム画像における動的動作に応じて、前記動作検出結果を更新することと、を更に含むことを特徴とする請求項２〜４のいずれか一項に記載の方法。
6. 前記認識すべきフレーム画像における静的動作、静的動作の動作軌跡及び／又は切換情報と前記動作検出結果とがマッチングする場合に、前記認識すべきフレーム画像を前記第２のキューに加えることを更に含むことを特徴とする請求項４又は５に記載の方法。
7. 前記動的動作に少なくとも１つの静的動作及び前記静的動作の動作軌跡が含まれ、部分的に更新された前記第１のキューのフレーム画像における動的動作を検出することは、
   部分的に更新された前記第１のキューの各フレーム画像における静的動作及び各フレーム画像における静的動作の動作軌跡に基づいて、部分的に更新された前記第１のキューのフレーム画像における動的動作を取得することを含むことを特徴とする請求項１〜６のいずれか一項に記載の方法。
8. 前記動的動作に少なくとも２つの静的動作及び静的動作間の切換情報が含まれ、部分的に更新された前記第１のキューのフレーム画像における動的動作を検出することは、
   部分的に更新された前記第１のキューの各フレーム画像における静的動作及び静的動作の切換情報に基づいて、部分的に更新された前記第１のキューのフレーム画像における動的動作を取得することを含むことを特徴とする請求項１〜６のいずれか一項に記載の方法。
9. 前記動的動作に少なくとも２つの静的動作、各静的動作の動作軌跡、及び静的動作間の切換情報が含まれ、部分的に更新された前記第１のキューのフレーム画像における動的動作を検出することは、
   部分的に更新された前記第１のキューの各フレーム画像における静的動作、各静的動作の動作軌跡、及び静的動作間の切換情報に基づいて、部分的に更新された前記第１のキューのフレーム画像における動的動作を取得することを含むことを特徴とする請求項１〜６のいずれか一項に記載の方法。
10. 前記動的動作に手部動的動作が含まれ、前記静的動作にジェスチャーが含まれ、前記ビデオストリーム中の認識すべきフレーム画像における静的動作を取得することは、
    前記認識すべきフレーム画像に手部が含まれるか否かを検出することと、
    前記認識すべき画像に手部が含まれる場合に、前記手部の指及び／又は掌に基づいて前記認識すべき画像におけるジェスチャーを取得することと、を含むことを特徴とする請求項３〜９のいずれか一項に記載の方法。
11. 前記手部の指及び／又は掌に基づいて前記認識すべき画像におけるジェスチャーを判断することは、
    指先又は指関節を含む、前記手部の指の第１のキーポイントの位置、及び／又は、掌の中央、手の甲又は掌の縁部での点を含む、掌の第２のキーポイントの位置に基づいて、前記認識すべき画像におけるジェスチャーを認識することを含むことを特徴とする請求項１０に記載の方法。
12. 前記手部動的動作にジェスチャーの動作軌跡及び／又は切換情報が更に含まれ、前記認識すべきフレーム画像及び前記第２のキューのフレーム画像に基づいて、前記認識すべきフレーム画像における静的動作の動作軌跡及び／又は切換情報を決定することは、
    前記認識すべきフレーム画像における第１のキーポイント及びそれに対応する前記第２のキューのフレーム画像における第１のキーポイントに基づいて、前記認識すべきフレーム画像における動作軌跡及び／又は切換情報を決定すること、及び／又は
    前記認識すべきフレーム画像における第２のキーポイント及びそれに対応する前記第２のキューのフレーム画像における第２のキーポイントに基づいて、前記認識すべきフレーム画像における動作軌跡及び／又は切換情報を決定することを含むことを特徴とする請求項１１に記載の方法。
13. 前記動的動作に静的動作及び静的動作の動作軌跡が含まれ、部分的に更新された前記第１のキューのフレーム画像における動的動作を検出することは、
    前記第１のキューのフレーム画像における静的動作を検出することと、
    前記第１のキューの最初のフレーム画像における静的動作に対する、前記第１のキューの前記最初のフレーム画像以外のいずれか１つのフレーム画像を含む目標フレーム画像における静的動作の、Ｘ軸方向及びＹ軸方向の累積移動距離を計算することと、
    前記目標フレーム画像における静的動作及び前記累積移動距離に基づいて、前記第１のキューのフレーム画像における動的動作を取得することと、を含むことを特徴とする請求項１〜１２のいずれか一項に記載の方法。
14. 前記目標フレーム画像における静的動作及び前記累積移動距離に基づいて、前記第１のキューのフレーム画像における動的動作を取得することは、
    前記目標フレーム画像における静的動作の累積移動距離が移動閾値よりも小さい場合に、前記第１のキューのフレーム画像における目標対象物の動的動作が断続動作であると決定することを含むことを特徴とする請求項１３に記載の方法。
15. 前記目標フレーム画像における静的動作及び前記累積移動距離に基づいて、前記第１のキューのフレーム画像における動的動作を取得することは、
    前記累積移動距離が前記移動閾値以上である場合に、各前記フレーム画像における静的動作の累積移動距離の、前記静的動作の所属する目標対象物の幅に対する比を計算することと、
    前記比が比閾値よりも小さい場合に、目標フレーム画像における静的動作の動作軌跡が回転動作軌跡であると決定することと、
    前記目標フレーム画像における静的動作及び前記回転動作軌跡に基づいて、前記第１のキューのフレーム画像における動的動作を取得することと、を含むことを特徴とする請求項１３に記載の方法。
16. 前記比が前記比閾値以上である場合に、目標フレーム画像における静的動作の動作軌跡が並進移動動作軌跡であると決定することと、
    前記目標フレーム画像における静的動作及び前記並進移動動作軌跡に基づいて、前記第１のキューのフレーム画像における動的動作を取得することと、を更に含むことを特徴とする請求項１５に記載の方法。
17. ビデオストリームを取得することと、
    請求項１〜１６のいずれか一項に記載の方法を用いて前記ビデオストリームの動作検出結果を決定することと、
    機器が前記動作検出結果に対応する操作を実行するように制御することと、を含むことを特徴とする動的動作制御方法。
18. 機器が前記動作検出結果に対応する操作を実行するように制御することは、
    予め設定された動作検出結果と操作コマンドとの対応関係に基づいて、前記動作検出結果に対応する操作コマンドを取得することと、
    前記操作コマンドに基づいて、機器が対応する操作を実行するように制御することと、を含むことを特徴とする請求項１７に記載の方法。
19. 前記操作コマンドに基づいて、機器が対応する操作を実行するように制御することは、
    前記操作コマンドに基づいて車両の車窓、車両のドア、車載システム、又は車載機器を制御することを含むことを特徴とする請求項１８に記載の方法。
20. 機器が前記動作検出結果に対応する操作を実行するように制御することは、
    前記検出結果が定義済み動的動作であることに応じて、車両が前記定義済み動的動作に対応する操作を実行するように制御することを含むことを特徴とする請求項１７に記載の方法。
21. 前記定義済み動的動作は、１本の指を時計方向／反時計方向に回転させる、掌を左／右へ振り動かす、２本の指で前へ突く、親指と小指を伸ばす、掌を下へ向けて下へ押す、親指を伸ばして左／右へ移動する、掌を左／右へ長くスライドさせる、掌の中央を上へ向けて拳を掌に変える、掌の中央を上へ向けて掌を拳に変える、掌の中央を下へ向けて掌を拳に変える、掌の中央を下へ向けて拳を掌に変える、１本の指をスライドさせる、複数の指を内へ向けて握る、１本の指でダブルクリックする、１本の指でシングルクリックする、複数の指でダブルクリックする、複数の指でシングルクリックするといったジェスチャーの少なくとも１つを含む動的ジェスチャーを含み、
    前記定義済み動的動作に対応する操作は、音量を大／小に調節する、曲を切り替える、曲を一時停止／継続する、電話を受ける又は起動する、電話を切る又は拒否する、エアコン温度を上げる又は下げる、マルチスクリーン・インタラクションを行う、サンルーフを開ける、サンルーフを閉める、ドアロックをかける、ドアロックを解除する、ナビゲーションをドラッグする、地図を縮小する、地図を拡大するといった操作の少なくとも１つを含むことを特徴とする請求項２０に記載の方法。
22. ビデオストリーム中のフレーム画像を第１のキューに加え、フレーム画像が部分的に更新された前記第１のキューを取得するための第１のキュー更新モジュールと、
    部分的に更新された前記第１のキューのフレーム画像における動的動作を検出するための動的動作検出モジュールと、
    前記動的動作と、動作参照結果又は先に検出された動作検出結果を含む動作検出結果とがマッチングしない場合に、前記動的動作に応じて、前記動作検出結果を更新するための動作検出結果更新モジュールと、を含むことを特徴とする動的動作検出装置。
23. 前記第１のキューのフレーム画像に動的動作がある場合に、前記第１のキューのフレーム画像を第２のキューに移すことと、前記第２のキューのフレーム画像に基づいて前記動作検出結果を決定することとに用いられる、先に検出された動作検出結果の取得モジュールを更に含むことを特徴とする請求項２２に記載の装置。
24. 前記動作検出結果に静的動作が含まれ、前記第１のキュー更新モジュールは、
    前記ビデオストリーム中の認識すべきフレーム画像における静的動作を取得するための第１の取得サブモジュールと、
    前記認識すべきフレーム画像における静的動作と前記動作検出結果に含まれる静的動作とがマッチングしない場合に、前記認識すべきフレーム画像を前記第１のキューに加え、フレーム画像が部分的に更新された前記第１のキューを取得するための第１の更新サブモジュールと、を含むことを特徴とする請求項２２又は２３に記載の装置。
25. 前記動作検出結果に前記静的動作の動作軌跡及び／又は切換情報が更に含まれ、前記第１のキュー更新モジュールは、
    前記認識すべきフレーム画像における静的動作と前記動作検出結果に含まれる静的動作とがマッチングする場合に、前記認識すべきフレーム画像及び前記第２のキューのフレーム画像に基づいて、前記認識すべきフレーム画像における静的動作の動作軌跡及び／又は切換情報を決定するための第２の取得サブモジュールと、
    前記認識すべきフレーム画像における静的動作の動作軌跡及び／又は切換情報と前記動作検出結果とがマッチングしない場合に、前記認識すべきフレーム画像を前記第１のキューに加え、フレーム画像が部分的に更新された前記第１のキューを取得するための第２の更新サブモジュールと、を含むことを特徴とする請求項２４に記載の装置。
26. 部分的に更新された前記第１のキューのフレーム画像に基づいて検出された前記動的動作と動作検出結果とがマッチングしない場合に、前記第２のキューを空にし、前記第１のキューのフレーム画像を前記第２のキューに移すためのキュー転移モジュールと、
    前記第２のキューのフレーム画像における動的動作に応じて、前記動作検出結果を更新するための動作検出結果更新モジュールと、を更に含むことを特徴とする請求項２３〜２５のいずれか一項に記載の装置。
27. 前記認識すべきフレーム画像における静的動作、静的動作の動作軌跡及び／又は切換情報と前記動作検出結果とがマッチングする場合に、前記認識すべきフレーム画像を前記第２のキューに加えるための第２のキュー更新モジュールを更に含むことを特徴とする請求項２５又は２６に記載の装置。
28. 前記動的動作に少なくとも１つの静的動作及び前記静的動作の動作軌跡が含まれ、前記動的動作検出モジュールは、
    部分的に更新された前記第１のキューの各フレーム画像における静的動作及び各フレーム画像における静的動作の動作軌跡に基づいて、部分的に更新された前記第１のキューのフレーム画像における動的動作を取得するための第１の動的動作検出サブモジュールを含むことを特徴とする請求項２２〜２７のいずれか一項に記載の装置。
29. 前記動的動作に少なくとも２つの静的動作及び静的動作間の切換情報が含まれ、前記動的動作検出モジュールは、
    部分的に更新された前記第１のキューの各フレーム画像における静的動作及び静的動作の切換情報に基づいて、部分的に更新された前記第１のキューのフレーム画像における動的動作を取得するための第２の動的動作検出サブモジュールを含むことを特徴とする請求項２２〜２７のいずれか一項に記載の装置。
30. 前記動的動作に少なくとも２つの静的動作、各静的動作の動作軌跡、及び静的動作間の切換情報が含まれ、前記動的動作検出モジュールは、
    部分的に更新された前記第１のキューの各フレーム画像における静的動作、各静的動作の動作軌跡、及び静的動作間の切換情報に基づいて、部分的に更新された前記第１のキューのフレーム画像における動的動作を取得するための第３の動的動作検出サブモジュールを含むことを特徴とする請求項２２〜２７のいずれか一項に記載の装置。
31. 前記動的動作に手部動的動作が含まれ、前記静的動作にジェスチャーが含まれ、前記第１の取得サブモジュールは、
    前記認識すべきフレーム画像に手部が含まれるか否かを検出するための手部検出ユニットと、
    前記認識すべき画像に手部が含まれる場合に、前記手部の指及び／又は掌に基づいて前記認識すべき画像におけるジェスチャーを取得するためのジェスチャー決定ユニットと、を含むことを特徴とする請求項２４〜３０のいずれか一項に記載の装置。
32. 前記ジェスチャー決定ユニットは、
    指先又は指の関節を含む、前記手部の指の第１のキーポイントの位置、及び／又は、掌の中央、手の甲又は掌の縁部での点を含む、掌の第２のキーポイントの位置に基づいて、前記認識すべき画像におけるジェスチャーを認識することに用いられることを特徴とする請求項３１に記載の装置。
33. 前記手部動的動作にジェスチャーの動作軌跡及び／又は切換情報が更に含まれ、前記第２の取得サブモジュールは、
    前記認識すべきフレーム画像における第１のキーポイント及びそれに対応する前記第２のキューのフレーム画像における第１のキーポイントに基づいて、前記認識すべきフレーム画像における動作軌跡及び／又は切換情報を決定するための第１の取得ユニット、及び／又は
    前記認識すべきフレーム画像における第２のキーポイント及びそれに対応する前記第２のキューのフレーム画像における第２のキーポイントに基づいて、前記認識すべきフレーム画像における動作軌跡及び／又は切換情報を決定するための第２の取得ユニットを含むことを特徴とする請求項３２に記載の装置。
34. 前記動的動作に静的動作及び静的動作の動作軌跡が含まれ、前記動的動作検出モジュールは、
    前記第１のキューのフレーム画像における静的動作を検出するための静的動作検出サブモジュールと、
    前記第１のキューの最初のフレーム画像における静的動作に対する、前記第１のキューの前記最初のフレーム画像以外のいずれか１つのフレーム画像を含む目標フレーム画像における静的動作の、Ｘ軸方向及びＹ軸方向の累積移動距離を計算するための累積移動距離決定サブモジュールと、
    前記目標フレーム画像における静的動作及び前記累積移動距離に基づいて前記第１のキューのフレーム画像における動的動作を取得するための第４の動的動作検出サブモジュールと、を含むことを特徴とする請求項２２〜３３のいずれか一項に記載の装置。
35. 前記第４の動的動作検出サブモジュールは、
    前記目標フレーム画像における静的動作の累積移動距離が移動閾値よりも小さい場合に、前記第１のキューのフレーム画像における目標対象物の動的動作が断続動作であると決定することに用いられることを特徴とする請求項３４に記載の装置。
36. 前記第４の動的動作検出サブモジュールは、
    前記累積移動距離が前記移動閾値以上である場合に、各前記フレーム画像における静的動作の累積移動距離の、前記静的動作の所属する目標対象物の幅に対する比を計算することと、
    前記比が比閾値よりも小さい場合に、目標フレーム画像における静的動作の動作軌跡が回転動作軌跡であると決定することと、
    前記目標フレーム画像における静的動作及び前記回転動作軌跡に基づいて、前記第１のキューのフレーム画像における動的動作を取得することとに用いられることを特徴とする請求項３４に記載の装置。
37. 前記第４の動的動作検出サブモジュールは、更に、
    前記比が前記比閾値以上である場合に、目標フレーム画像における静的動作の動作軌跡が並進移動動作軌跡であると決定することと、
    前記目標フレーム画像における静的動作及び前記並進移動動作軌跡に基づいて、前記第１のキューのフレーム画像における動的動作を取得することとに用いられることを特徴とする請求項３６に記載の装置。
38. ビデオストリームを取得するためのビデオストリーム取得モジュールと、
    請求項２２〜３７のいずれか一項に記載の装置を用いて前記ビデオストリームの動作検出結果を決定するための動作検出結果取得モジュールと、
    機器が前記動作検出結果に対応する操作を実行するように制御するための操作実行モジュールと、を含むことを特徴とする動的動作制御装置。
39. 操作実行モジュールは、
    予め設定された動作検出結果と操作コマンドとの対応関係に基づいて、前記動作検出結果に対応する操作コマンドを取得するための操作コマンド取得サブモジュールと、
    前記操作コマンドに基づいて、機器が対応する操作を実行するように制御するための操作実行サブモジュールと、を含むことを特徴とする請求項３８に記載の装置。
40. 前記操作実行サブモジュールは、
    前記操作コマンドに基づいて車両の車窓、車両のドア、車載システム、又は車載機器を制御することに用いられることを特徴とする請求項３９に記載の装置。
41. 前記操作実行モジュールは、更に、
    前記検出結果が定義済み動的動作であることに応じて、車両が前記定義済み動的動作に対応する操作を実行するように制御することに用いられることを特徴とする請求項３８に記載の装置。
42. 前記定義済み動的動作は、１本の指を時計方向／反時計方向に回転させる、掌を左／右へ振り動かす、２本の指で前へ突く、親指と小指を伸ばす、掌を下へ向けて下へ押す、親指を伸ばして左／右へ移動する、掌を左／右へ長くスライドさせる、掌の中央を上へ向けて拳を掌に変える、掌の中央を上へ向けて掌を拳に変える、掌の中央を下へ向けて掌を拳に変える、掌の中央を下へ向けて拳を掌に変える、１本の指をスライドさせる、複数の指を内へ向けて握る、１本の指でダブルクリックする、１本の指でシングルクリックする、複数の指でダブルクリックする、複数の指でシングルクリックするといったジェスチャーの少なくとも１つを含む動的ジェスチャーを含み、
    前記定義済み動的動作に対応する操作は、音量を大／小に調節する、曲を切り替える、曲を一時停止／継続する、電話を受ける又は起動する、電話を切る又は拒否する、エアコン温度を上げる又は下げる、マルチスクリーン・インタラクションを行う、サンルーフを開ける、サンルーフを閉める、ドアロックをかける、ドアロックを解除する、ナビゲーションをドラッグする、地図を縮小する、地図を拡大するといった操作の少なくとも１つを含むことを特徴とする請求項４１に記載の装置。
43. プロセッサと、
    プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含み、
    前記プロセッサは請求項１〜２１のいずれか一項に記載の方法を実行するように構成されることを特徴とする電子機器。
44. コンピュータプログラムコマンドが記憶されているコンピュータ読取可能記憶媒体であって、前記コンピュータプログラムコマンドは、プロセッサにより実行されると、請求項１〜２１のいずれか一項に記載の方法を実現させることを特徴とするコンピュータ読取可能記憶媒体。
45. コンピュータ読取可能コードを含むコンピュータプログラムであって、前記コンピュータ読取可能コードは、電子機器において実行されると、前記電子機器のプロセッサに請求項１〜２１のいずれか一項に記載の方法を実現するためのコマンドを実行させることを特徴とするコンピュータプログラム。
    

Images