JP6126738B2 - 手振り制御方法、装置およびシステム - Google Patents

Description

本発明は、通信分野に関し、具体的に手振り制御方法、装置およびシステムに関する。

デジタルマルチメディアとネットワークの発展により、人々の日常生活中の娯楽体験が豊かになる。人々はリモートコントローラ、手振りなどで１つの装置の再生を制御することができ、例えば直前のチャネル番組、次のチャネル番組を切り替えるように制御することなどである。

従来の、複数の装置に対する制御方式は、通常、装置のそれぞれのリモートコントローラを使用して制御するが、これらのリモートコントローラは、一般的に互いに共通しなく、多くの場合でネットワーク機能を備えなく、例えば従来のテレビ、音響器である。また、いくつかのネットワークをサポートするリモートコントローラもあり、例えば計算とネットワーク能力を備える装置（例えば携帯電話、ＰＡＤなど）に共通プロトコルをサポートするソフトウェアをロードし、当該ソフトウェアに基づいて別の装置を制御する。

前記装置制御方式は、人々が山積されたリモートコントローラから装置に対応するリモートコントローラを選択して装置制御を行う必要があり、且つ制御しようとしている装置が異なるにつれてリモートコントローラを変えなければならず、または装置制御を行うようにコンピュータ操作に慣れた人だけがＰＡＤ、携帯電話などを操作したり、または簡単な手振りで単一の装置を制御するので、あまり便利ではない。このことから分かるように、異なる装置を制御するために、人々がどのように異なる操作ツールを使用するかを学習する必要があり、操作が煩雑になる。より簡単、より自然な操作方式を使用して装置を制御することがより望ましく、当該ニーズに基づいて、手振り制御が出現された。手振り制御は現在比較的新しい制御方式であり、手振り制御を行う場合に、１つの装置のカメラが手振り動作を監視して識別し、識別された手振り動作に対応する制御命令に応じて当該装置を制御する。

現在、手振り制御を実現するために、被制御装置は、カメラをインストールされる必要があり、手振り制御における視覚識別を実現するように構成される。実際の応用環境において、手振り制御をサポートする複数の装置がそれぞれ自分のカメラ、手振り識別ソフトウェアを備える可能性があり、これは、多くの繰り返しリソースを消費することだけでなく、手振り識別過程に誤り操作を引き起こすことも容易になり、例えばセットトップボックスがテレビに対する手振り指示を自体に対する操作として理解する。また、多くの装置にカメラ、手振り識別ソフトウェがインストールされなく、このような装置は、手振り制御を実現できない。

これを鑑みて、本発明の実施形態の主な目的は、手振り制御の統一を実現するように、手振り制御方法、装置およびシステムを提供することにある。

上記目的を達成するために、本実施形態の技術的解決手段は、以下のように実現される。

手振り制御方法は、
手振り制御センターは、被制御装置に対する手振りを識別して、識別された手振りに対応する操作情報を被制御装置へ送信することと、被制御装置は、受信された操作情報に基づいて対応する操作を実行することとを含む。
ここで、前記手振りを識別する前に、手振り制御センターは、視覚範囲内の被制御装置をさらに識別する。

ここで、手振り制御センターは、視覚範囲内の被制御装置を識別する場合、被制御装置の装置識別子、装置アドレス、装置位置のうちの少なくとも１つを識別して記録する。

ここで、手振り制御センターは、被制御装置に対する手振りを識別する場合、手振りに対応する操作命令、手振りが指す被制御装置を識別する。

ここで、手振り制御センターは、手振りが指す被制御装置を識別する場合、
手振りと手振り制御センターのビデオ収集モジュールの角度を利用して計算すること、または、
手振り、被制御装置、手振り制御センターの間の距離を測定した後、三角式で計算することである。

ここで、手振り制御センターは、操作情報を送信する場合、操作命令または手振り動作特徴データを送信すること、および／または、
被制御装置により受信された操作情報が操作命令である場合、操作命令に対応する操作を実行し、被制御装置により受信された操作情報が手振り動作特徴データである場合、受信された手振り動作特徴データを分析して対応する操作命令を取得して操作命令に対応する操作を実行する。

ここで、被制御装置は、手振り制御センターとの接続を確立し、当該接続に基づいて会話モードでメッセージを使用して操作を完了する。

手振り制御装置は、
被制御装置に対する手振りを取り込むように構成されるビデオ収集モジュールと、
前記手振りを識別するように構成される識別モジュールと、
識別された手振りに対応する操作情報を被制御装置へ送信するように構成される制御モジュールとを含む。

ここで、当該装置は、前記ビデオ収集モジュールと組み合わせて視覚範囲内の被制御装置を識別して前記手振り制御装置と被制御装置の間の距離を計算するように構成される距離測定モジュールをさらに含む。

ここで、当該装置は、視覚範囲内の被制御装置を識別する場合、識別された被制御装置の装置識別子、装置アドレス、装置位置のうちの少なくとも１つを記録するように構成されるデータ記憶モジュールをさらに含む。

ここで、前記識別モジュールは、
手振りに対応する操作命令を識別するように構成される画像識別モジュールと、
手振りが指す被制御装置を識別するように構成される手振り識別モジュールとを含む。
ここで、前記手振り識別モジュールは、手振りが指す被制御装置を識別する場合、
手振りと前記ビデオ収集モジュールの角度を利用して計算するように構成されること、または、
手振り、被制御装置、前記装置の間の距離を測定した後、三角式で計算するように構成されることである。

ここで、前記制御モジュールは、操作情報を送信する場合、操作命令または手振り動作特徴データを送信するように構成される。
ここで、前記装置は、被制御装置との接続を確立し、当該接続に基づいて会話モードでメッセージを使用して操作を完了するように構成されるネットワークサービスモジュールを含む。

手振り制御システムは、
被制御装置に対する手振りを識別して、識別された手振りに対応する操作情報を被制御装置へ送信するように構成される手振り制御センターと、
受信された操作情報に基づいて対応する操作を実行するように構成される被制御装置とを含む。

ここで、前記手振り制御センターは、操作情報を送信する場合、操作命令または手振り動作特徴データを送信するするように構成されること、および／または、
前記被制御装置により受信された操作情報が操作命令である場合、操作命令に対応する操作を実行し、前記被制御装置により受信された操作情報が手振り動作特徴データである場合、受信された手振り動作特徴データを分析して対応する操作命令を取得して、操作命令に対応する操作を実行するように構成されることである。
ここで、前記被制御装置は、受信された操作情報に基づいて操作を実行する場合、手振り制御センターとの接続を確立し、当該接続に基づいて会話モードでメッセージを使用して操作を完了するように構成される。

本発明の実施形態の手振り制御技術により、手振り制御センターのような一つの手振り識別装置だけで複数の装置に対する手振り制御を実現できることを保証でき、手振り制御の統一を実現し、手振り識別過程において異なる装置に対する発生可能な誤り操作を避け、繰り返しリソースの消費も避けた。また、手振り識別制御をサポートしない装置のために便利な操作方式を提供し、装置のために手振り識別部材の追加コストを節約し、それによってユーザ満足度を効果的に向上させることができる。
本発明は、例えば、以下を提供する。
（項目１）
手振り制御方法であって、
手振り制御センターは、被制御装置に対する手振りを識別して、識別された手振りに対応する操作情報を被制御装置へ送信することと、被制御装置は、受信された操作情報に基づいて対応する操作を実行することとを含む、前記手振り制御方法。
（項目２）
前記手振りを識別する前に、手振り制御センターは、視覚範囲内の被制御装置をさらに識別することを特徴とする
項目１に記載の手振り制御方法。
（項目３）
手振り制御センターは、視覚範囲内の被制御装置を識別する場合、被制御装置の装置識別子、装置アドレス、装置位置のうちの少なくとも１つを識別して記録することを特徴とする
項目２に記載の手振り制御方法。
（項目４）
手振り制御センターは、被制御装置に対する手振りを識別する場合、手振りに対応する操作命令、手振りが指す被制御装置を識別することを特徴とする
項目１〜３のいずれか１項に記載の手振り制御方法。
（項目５）
手振り制御センターは、手振りが指す被制御装置を識別する場合、
手振りと手振り制御センターのビデオ収集モジュールの角度を利用して計算すること、または、
手振り、被制御装置、手振り制御センターの間の距離を測定した後、三角式で計算することであることを特徴とする
項目４に記載の手振り制御方法。
（項目６）
手振り制御センターは、操作情報を送信する場合、操作命令または手振り動作特徴データを送信すること、および／または、
被制御装置により受信された操作情報が操作命令である場合、操作命令に対応する操作を実行し、被制御装置により受信された操作情報が手振り動作特徴データである場合、受信された手振り動作特徴データを分析して対応する操作命令を取得して操作命令に対応する操作を実行することであることを特徴とする
項目４に記載の手振り制御方法。
（項目７）
被制御装置は、手振り制御センターとの接続を確立し、当該接続に基づいて会話モードでメッセージを使用して操作を完了することを特徴とする
項目１に記載の手振り制御方法。
（項目８）
手振り制御装置であって、
被制御装置に対する手振りを取り込むように構成されるビデオ収集モジュールと、
前記手振りを識別するように構成される識別モジュールと、
識別された手振りに対応する操作情報を被制御装置へ送信するように構成される制御モジュールとを含む、前記手振り制御装置。
（項目９）
前記ビデオ収集モジュールと組み合わせて視覚範囲内の被制御装置を識別して前記手振り制御装置と被制御装置の間の距離を計算するように構成される距離測定モジュールをさらに含むことを特徴とする
項目８に記載の手振り制御装置。
（項目１０）
視覚範囲内の被制御装置を識別する場合、識別された被制御装置の装置識別子、装置アドレス、装置位置のうちの少なくとも１つを記録するように構成されるデータ記憶モジュールをさらに含むことを特徴とする
項目９に記載の手振り制御装置。
（項目１１）
前記識別モジュールは、
手振りに対応する操作命令を識別するように構成される画像識別モジュールと、
手振りが指す被制御装置を識別するように構成される手振り識別モジュールとを含むことを特徴とする
項目８〜１０のいずれか１項に記載の手振り制御装置。
（項目１２）
前記手振り識別モジュールは、手振りが指す被制御装置を識別する場合、
手振りと前記ビデオ収集モジュールの角度を利用して計算するように構成されること、または、
手振り、被制御装置、前記装置の間の距離を測定した後、三角式で計算するように構成されることであることを特徴とする
項目１１に記載の手振り制御装置。
（項目１３）
前記制御モジュールは、操作情報を送信する場合、操作命令または手振り動作特徴データを送信するように構成されることを特徴とする
項目１１に記載の手振り制御装置。
（項目１４）
被制御装置との接続を確立し、当該接続に基づいて会話モードでメッセージを使用して操作を完了するように構成されるネットワークサービスモジュールを含むことを特徴とする
項目８に記載の手振り制御装置。
（項目１５）
手振り制御システムであって、
被制御装置に対する手振りを識別して、識別された手振りに対応する操作情報を被制御装置へ送信するように構成される手振り制御センターと、
受信された操作情報に基づいて対応する操作を実行するように構成される被制御装置とを含む、前記手振り制御システム。
（項目１６）
前記手振り制御センターは、操作情報を送信する場合、操作命令または手振り動作特徴データを送信するように構成されること、および／または、
前記被制御装置により受信された操作情報が操作命令である場合、操作命令に対応する操作を実行し、前記被制御装置により受信された操作情報が手振り動作特徴データである場合、受信された手振り動作特徴データを分析して対応する操作命令を取得して、操作命令に対応する操作を実行するように構成されることであることを特徴とする
項目１５に記載の手振り制御システム。
（項目１７）
前記被制御装置は、受信された操作情報に基づいて操作を実行する場合、手振り制御センターとの接続を確立し、当該接続に基づいて会話モードでメッセージを使用して操作を完了するように構成されることを特徴とする
項目１５または１６に記載の手振り制御システム。

本発明の一つの実施形態に係る手振り制御システムを示す図である。 本発明の別の実施形態に係る手振り制御システムを示す図である。 本発明の実施形態に係る手振り制御を実現する場合に使用されるバーコードを示す図である。 本発明の実施形態に係る手振り制御を実現する場合に使用される２次元コードを示す図である。 本発明の実施形態に係る手振り制御プロセスを示す図である。 本発明の実施形態に係る手振り制御センターと被制御装置の間のメッセージフローを示す図である。 本発明の実施形態に係る手振り制御プロセスの模式図である。 本発明の実施形態に係る手振りが指す被制御装置の原理を示す図である。

本発明の実施形態が解決しようとする問題は、被制御装置を統一的に制御できる装置を応用して被制御装置に対する制御を実現することである。

上述した、被制御装置を統一的に制御できる装置は、手振り制御センターであって、手振り識別能力、ネットワーク能力を備え、手振り、手振りが指す被制御装置を識別して、手振りを操作命令に変換する、または手振り動作特徴を記憶することができる。手振り制御センターは、被制御装置と互いに接続して被制御装置へ操作命令または手振り動作特徴が含まれるメッセージを送信することもできる。

手振り制御センターは、次のステップが含まれる操作を実行することができる。

ステップ１において、手振り制御センターは、視覚範囲内の被制御装置を識別する。
ステップ２において、手振り制御センターは、手振りを識別する。
ステップ３において、手振り制御センターは、手振りが指す被制御装置へ操作情報を送信する。
ステップ４において、被制御装置は、受信された操作情報に基づいて対応する操作を実行する。

さらに、ステップ１において、手振り制御センターは、視覚範囲内の被制御装置を識別する場合、被制御装置の装置識別子、装置アドレス、装置位置などの情報のうちの少なくとも１つを識別して記録することができる。

さらに、ステップ２において、手振り制御セネターは、手振りを識別する場合、手振りに対応する操作命令、手振りが指す被制御装置を識別し、例えば手振りの動作特徴を分析することで識別することができる。

さらに、ステップ３において、手振り制御センターは、操作命令または手振り動作特徴データを送信することができる。送信された手振り動作特徴データが被制御装置によってさらに分析されることができ、対応する操作命令を受信する。

さらに、ステップ４において、被制御装置は、手振り制御センターとの接続を確立し、当該接続に基づいて会話モードでメッセージを使用して操作を完了することができる。

さらに、操作命令、手振り動作特徴データがプロトコル命令、即ちある応用プロトコルにおいて規定されたプロトコルメッセージおよび対応するパラメータであってよい。

以下、図面と実施形態を参照して本発明を詳しく説明する。

図１を参照して、図１は、本発明の一つの実施形態に係る装置のシーンを示し、そのなかに各装置およびそれらの相互関係が含まれる。

図１において左から右までホーム記憶サーバ、ＤＶＤプレーヤー、テレビ、手振り制御センターの４つの装置を示し、すべての装置の配置関係は、手振り制御センターと他のいずれかの装置との間に遮蔽部がなく、この場合で、手振り制御センターからの光が遮蔽されなく直接装置に照射することができることである。

上記の４つの装置にネットワークインタフェース（例えばＩＥＥＥ８０２.１１ｂ／ｇ／ｎをサポートするネットワークインタフェース、またはＩＥＥＥ ８０２.３をサポートするネットワークインタフェース）が設置され、それによってＩＰネットワークなどの通信ネットワークに接続されることができる。各装置に通信モジュールが含まれ、当該通信モジュールは、サービス能力を備え、他の装置と互いに発見し、接続して他の装置とメッセージを送信し、受信し、および操作命令処理、または操作命令転送などを行うことができるように構成される。前記サービス能力は、従来のユニバーサルプラグアンドプレイ（ＵＰｎＰ）技術により実現されることができ、マルチキャストドメイン名システム（ｍＤＮＳ）とドメイン名システムに基づくサービス発見（ＤＮＳ−ＳＤ）技術により実現されることができ、ＩＰネットワークに用いられ、シングルトキャスト、マルチキャストクエリで、予め定義されたメッセージフォーマットに従ってクエリに応答し、機能呼び出しを提供することができる。例えば、ＵＰｎＰ技術によりメディア表示装置（例えばＴＶ）、サーバ（例えばＤＶＤプレーヤー、ホーム記憶サーバ）がどのようにクエリに応答するか、どの呼び出し機能を提供するかが規定される。

手振り制御センターは、画像、ビデオ収集能力を備えるビデオ収集モジュール（例えばカメラ、以下にカメラを例とする）、および距離測定モジュールをさらに含む。手振り制御センターは、識別モジュール、データ記憶モジュール、制御モジュール、ネットワークサービスモジュールなどをさらに含む。手振り制御センターのカメラは、カメラの視覚範囲内の装置を撮像して装置ラベルの情報を識別すること、ユーザの手振り動作を取り込んで、対応する操作ターゲット、操作命令、または手振り動作特徴データを識別することの機能を完了することができる。距離測定モジュールは、手持ち型レーザ赤外線距離計と類似し、赤外線などの光の伝播と反射により手振り制御センターと被制御装置の間の距離を計算する。通常、精度が２ｍｍ程度である距離測定モジュールを選択することができる。制御モジュールは、識別された手振りに対応する操作情報を被制御装置へ送信することができ、それによって被制御装置は、受信された操作情報に基づいて対応する操作を実行することができる。識別モジュールは、画像識別モジュールと手振り識別モジュールを含み、それぞれ画像識別と手振り識別を実現することができる。

手振り制御センターは、その視覚範囲内の装置を識別でき、実現方法は、カメラ、距離測定モジュールが３次元の空間において画像を回転して収集し、収集された画像に予め定義されたラベルパターンを検索して分析することである。図１に示すように、手振り制御センターのカメラは、撮像により１枚の画像を収集し、画像にテレビ、ＤＶＤプレーヤーとホーム記憶サーバの３つの被制御装置があり、この３つの被制御装置にバーコードまたは２次元コードなどのラベルが貼着または印刷、インサートされている。手振り制御センターの画像識別モジュールは、画像を分析した後、画像に若干のラベルがあることを識別し、ラベルをそれぞれ識別して、識別されたラベル情報を記憶し、その後ラベルがある被制御装置に対して距離測定を行い、測定された距離とラベル情報を一緒に記憶する。

図１と類似し、図２にもテレビ、ＤＶＤプレーヤー、ホーム記憶サーバの３つの被制御装置があり、また、画像、ビデオ収集能力を備える３つのカメラをさらに含み、この３つのカメラが手振り制御センターに属する。図２における手振り制御センターは、距離測定機能を備えない。図２においてすべての装置の配置関係は、手振り制御センターと他のいずれかの装置の間に遮蔽部がなく、即ち手振り制御センターからの光が遮蔽されなく直接装置に照射することができることである。

上記の３つのカメラの間の相互空間位置関係は、確定されたものであって、即ち手振り制御センターが３つのカメラの間の相互距離、カメラ方向の相互角度を記録した。通常、３つのカメラは、同じ直線に位置しなく、それらの間の相互角度も平行できない、または９０度を超えることができない。３つのカメラ同士が相互に通信でき、相互に収集された画像、ビデオを交換し、またはそれぞれの収集された画像、ビデオを指定された装置に送信することができる。

上記の位置関係（３つカメラの間の相互距離、角度）に基づいて、３つのカメラの収集範囲に属する被制御装置、手振りに対して、カメラは、それらの相対角度（例えば水平に対する角度）を収集した後、数学座標変換と三角式により被制御装置、手振りの位置および手振り方向を計算できる。

上記のバーコードが図３に示され、バーコードラベルの情報が「ｄｖｄｐｌａｙｅｒ−１９２.１.１.１」であって、当該バーコードラベルに対応する被制御装置がＤＶＤプレーヤーであり、ネットワークアドレスが１９２.１.１.１であることを示す。前記バーコードラベルは、ＤＶＤプレーヤーに粘着または印刷、インサートされることができる。

上記の２次元コードが図４に示され、２次元コードラベルの情報が「ｔｖ−１９２.１.１.２」であって、当該２次元コードラベルに対応する被制御装置がテレビであり、ネットワークアドレスが１９２.１.１.２であることを示す。前記２次元コードラベルは、テレビに粘着または印刷、インサートされることができる。

上記のバーコード、２次元コード以外、ラベル情報は、より多くの内容、例えば被制御装置の略称、カスタマイズ名などを含むことができる。例えば、直接に文字を被制御装置に付けて、手振り制御センターによって、被制御装置に付けられた文字に基づいて被制御装置を識別する。

被制御装置、手振り、手振りが指す被制御装置を識別するために、手振り制御センターの識別モジュールは、数学空間３次元座標系を確立でき、そのなかの座標原点が手振り制御センターに選択されてよく、カスタマイズされた空間位置点に選択されてもよく、当然この点が手振り制御センターに記憶される必要がある。図２に示す場合に対して、座標原点は、３つのカメラのうちの一つのカメラに選択されてもよい。手振り制御センターでの識別モジュールは、被制御装置の位置の測定、識別、計算、手振りが指す被制御装置の測定、識別、計算を担当する。

以下、図１、図５を参照して、手振り制御センターの動作プロセスを説明する。

１．手振り制御センターは、被制御装置を識別する。

手振り制御センターは、起動する時または周期的にカメラで視覚範囲内の画像を収集し、その後、収集された画像を識別し、識別可能な被制御装置があるかどうかをチェックする。具体的な識別方法が図２、図３に示すバーコード、２次元コードに関すれば、まず画像にバーコード、２次元コードがあるかどうかを確定し、バーコード、２次元コード領域を確定した後、バーコード、２次元コードに示される情報を識別することができる。

２．手振り制御センターは、識別された被制御装置と確認する。

被制御装置が識別された後、手振り制御センターは、被制御装置とネットワークインタラクションにより、例えば従来のＵＰｎＰプロトコルまたはＤＮＳ−ＳＤを使用して当該被制御装置を検索し、当該被制御装置のアドレス、機能などの情報を確認することができる。

３．手振り制御センターは、手振り識別を準備する。

手振り制御センターのビデオ収集モジュール（例えばカメラ）は、ビデオ領域内の画像を監視し、手振り収集を行う。

手振り動作の識別は、ヒストグラム法または隠れマルコフモデル法を使用することができる。まずユーザの手振り動作がカメラの取り込み範囲に入る必要があり、このようにしてカメラは、手振りビデオを生成して識別モジュールに引き渡すことができ、識別モジュールは、色、輪郭、構造光分析などの方法により収集された手振りビデオの手振り画像から手の位置を識別し、手振り対象を検出して分割し、手振り特徴を抽出し、手振り動きをトラッキングする。次に指の方向、動き方向シーケンスを処理する。最後、手振り動作を完全に識別し、この場合に予め定義された手振り動作空間比較などの方法を使用して、ユーザの手振り動作意図を確定することができる。

上記の手振り動作識別は、手振りが指す被制御装置を識別することをさらに含む。

本実施形態において手振りが指す被制御装置を確定する方法は、手振りと被制御角度を利用して計算することである。例えば、ユーザを座標中心とすると、被制御装置とユーザの手振りは、角度がある。手振り制御センターは、手振りを識別する場合に、ユーザの手振り延長線と各被制御装置の間の角度、距離を識別できる。

具体的には、手振制御センターは、まずアームを識別し、肘を座標原点とすることができる。例えば、いかなる被制御装置がないシーンにおいて、手のひらが左から右へ動くと、角度が０°から３６０°に変化し、手のひらが上から下へ動くと、角度が０°から１８０°に変化する。ここで、識別モジュールは、被制御装置、手のひら、肘の３つの点からなる三角形における、肘−各被制御装置の線と手−肘（即ちアーム）の線との交角を計算しようとする。アームとある被制御装置との交角角度が小さいほど、手振りの指向がこの被制御装置に傾向することを示す。交角角度の大きさの具体的な意味が次の通りである。

０°−９０°：手振りは、ユーザが制御したい被制御装置を指す可能性があることを示す。０°であれば、この確定された被制御装置を指すことを判定できる。

９０°−１８０°：手振りは、ユーザが制御したい被制御装置を指しない可能性が大きいことを示す。各被制御装置と手振りとの角度を計算した後、手振り制御センターは、そのなかから角度の最も小さい被制御装置を確定し、この装置がユーザが制御したい被制御装置であることを判定する。

実際の応用において、手振り、被制御装置、手振り制御センターの間の距離を測定した後、被制御装置、手のひら、肘の３つの点からなる三角形における、肘−被制御装置の線と肘−手のひら（アーム）の線、手のひら−被制御装置の線という３本の線の長さを計算することができる。長さの計算において、識別モジュールは、直接上記の３本の線の長さを測定することができ、基準距離を測定した後に割合で計算し、その後三角式で上記の角度を計算し、判定することもできる。

どのように手振りが指す被制御装置を確定するかが図８に示され、手のひら−アームの線が一つの方向を指し、同時に、手のひら−アームの線と肘−装置の線が交角を形成し、例えば図８は肘−ＤＶＤプレーヤーの線と手のひら−アームの線との交角を示し、また肘−テレビの線と手のひら−アームの線との交角を示す。手振り制御センターは、この２つの交角を比較することで、ユーザが手振りでＤＶＤプレーやーを制御することを確定する。図８は上記の三角形（合計で２つの三角形がある）を示し、別の角度計算方法として、この２つの三角形をそれぞれ三角式で計算することができる。図８に示す方法は、より多くの被制御装置に対する手振り制御に応用されることができる。

実際の応用において、測定対象（例えば手のひら、アーム、被制御装置）の中心点選択などの問題に関する可能性があり、これらは、数学演算により確定されることができる。

４．手振り制御センターは、手振り動作に対応する操作命令を識別した後、操作命令メッセージを対応する被制御装置に送信する。

手振り制御センターに手振り動作と命令メッセージとの対応関係が定義されて記憶されている。手振り制御センターは、操作命令、操作命令に対応する被制御装置を識別して確定した後、被制御装置とのネットワーク接続により操作命令を被制御装置に送信することができる。

操作命令は、メディアの再生、シャットダウンなどのような汎用命令であってよく、チャネル交換、音量増大などのような装置向け命令であってもよく、またプロトコル命令、即ちある応用プロトコルに規定された命令、例えばＵＰｎＰなどのプロトコルにおけるメディア内容共有などであってもよい。

５．操作命令メッセージを受信した被制御装置は、操作命令を実行する。

被制御装置は、ネットワーク接続により操作命令を受信して実行する。ステップ４で説明したように、被制御装置は、命令の具体的な内容に基づいて、内部プロトコルを実行し、または他の装置と通信し、連携して操作命令を完了する。

命令メッセージに手振り動作特徴データが含まれる場合、被制御装置は、特徴データを分析し、計算して、対応する命令を取得して実行する。

全体的には、図６に示す手振り制御センターと被制御装置の間のメッセージ交換プロセスにおいて、手振り制御センターの操作は、２つのステップに分かれ、それぞれ被制御装置の視覚発見の完了および操作命令送信の完了である。

具体的には、まず手振り制御センターは、視覚範囲内の被制御装置を走査し、走査された被制御装置のラベルを識別し、記憶する。この場合にネットワークを使用する必要がない。

被制御装置が識別された後、手振り制御センターは、被制御装置とネットワークを介してインタラクションを行い、例えば従来のＵＰｎＰプロトコルまたはＤＮＳ−ＳＤを使用して当該被制御装置を検索して、当該被制御装置のアドレス、機能などの情報を確認することができる。

次に、手振り制御センターが手振り動作を識別した場合、手振り動作を分析し、動作対象、動作意図を分析して動作意図を操作命令または手振り動作特徴データにマッピングさせる。

その後、手振り制御センターは、操作命令を手振りが指す被制御装置に送信する。この場合、手振り制御センターと手振りが指す被制御装置同士は、ネットワーク接続が存在する必要があり、そしてＵＰｎＰプロトコルなどのプロトコルメッセージを使用してネットワークメッセージを送信することができる。

前記手振りが予め定義された連携手振りであり、例えば連続的にテレビ、ＤＶＤプレーヤーに対して手振り操作を行う場合、手振り制御センターは、それぞれ手振り動作を識別して対応する操作命令を対応する被制御装置に送信する。

最後、操作命令を受信した被制御装置は、操作命令に対応する操作を実行する。

前記制御命令がメディアの再生、シャットダウンなどのような汎用命令であってよく、チャネル交換、音量増大などのような装置向け命令であってもよく、またプロトコル命令、即ちある応用プロトコルに置いて規定された命令、例えばＵＰｎＰなどのプロトコルにおけるメディア内容共有などであってもよい。

被制御装置が前記テレビ、プレーヤー、記憶サーバなどに限られなく、コンピューター、音響器、サウンドボックス、プロジェクタ、セットトップボックスなどであってもよく、さらには工業分野における自動車、工作機械、船舶などであってもよいと説明すべきである。そして、被制御装置は、従来技術におけるカメラがインストルされ、視覚識別に基づいて手振り制御を独立して実現することができる装置であってよく、カメラがインストルされない他の装置であってもよい。

また、手振り制御センターのカメラは、様々な仕様であってよく、例えば固定焦点距離または焦点距離可変のカメラであってよく、回転空間が上下左右の各角度であってよく、左右角度のみをサポートする。距離測定モジュールは、赤外線レーザを使用して距離を測定することができ、他の波長域の光線を使用して距離を測定することもできる。上述した３つのカメラを使用して距離を測定することができ、より多くのカメラを使用して距離を測定することもできる（例えば重み付け調整などの方法を使用する）。

また、前記通信モジュールは、送受信器であってよく、距離測定モジュールは、距離計であってよく、識別モジュールは、シングルチップマイクロコンピュータ、プロセッサなどであってよく、画像識別モジュールは、画像を処理できるシングルチップマイクロコンピュータ、プロセッサなどであってよく、手振り識別モジュールは、手振りを処理できるシングルチップマイクロコンピュータ、プロセッサなどであってよく、データ記憶モジュールは、メモリであってよく、制御モジュールは、ＣＰＵなどのデータ処理および制御を行うことができる集積回路などであってよく、ネットワークサービスモジュールは、ネットワークサーバであってよい。

上述したように、本発明の実施形態の手振り制御技術は、図７に示すプロセスを示することができ、当該プロセスが以下のステップを含む。

ステップ７１０において、手振り制御センターは、被制御装置に対する手振りおよび手振りが指す被制御装置を識別する。

ステップ７２０において、手振り制御センターは、手振りが指す被制御装置へ操作情報を送信し、被制御装置が受信された操作情報に基づいて対応する操作を実行する。

上述したように、本発明の実施形態の手振り制御技術により、手振り制御センターのような一つの手振り識別装置だけで複数の装置に対する手振り制御を実現できることを保証でき、手振り制御の統一を実現し、手振り識別過程において異なる装置に対する発生可能な誤り操作を避け、繰り返しリソースの消費も避けた。また、手振り識別制御をサポートしない装置のために便利な操作方式を提供し、装置のために手振り識別部材の追加コストを節約し、それによってユーザ満足度を効果的に向上させることができる。

上記は、本発明の好ましい実施形態に過ぎなく、本発明の保護範囲を制限することに用いられるものではない。

Claims (13)

1. 手振り制御方法であって、
   手振り制御センターは、被制御装置に対する手振りを識別して、識別された手振りに対応する操作情報を被制御装置へ送信することと、被制御装置は、受信された操作情報に基づいて対応する操作を実行することとを含み、
   前記手振り制御センターは、前記手振りを識別する前に、視覚範囲内の被制御装置をさらに識別し、視覚範囲内の被制御装置を識別する場合、被制御装置のネットワークアドレスを識別して記録し、
   前記手振り制御センターは、前記被制御装置のネットワークアドレスに応じて、識別された手振りに対応する操作情報を被制御装置へ送信し、
   前記手振り制御センターは、被制御装置に対する手振りを識別する場合、肘−各被制御装置の線と手−肘（即ちアーム）の線との交角に応じて、手振りが指す被制御装置を識別する
   前記手振り制御方法。
2. 手振り制御センターは、被制御装置に対する手振りを識別する場合、手振りに対応する操作命令を識別することを特徴とする
   請求項１に記載の手振り制御方法。
3. 手振り制御センターは、手振りが指す被制御装置を識別する場合、
   手振りと手振り制御センターのビデオ収集モジュールの角度を利用して計算すること、
   または、
   手振り、被制御装置、手振り制御センターの間の距離を測定した後、三角式で計算することであることを特徴とする
   請求項１に記載の手振り制御方法。
4. 手振り制御センターは、操作情報を送信する場合、操作命令または手振り動作特徴データを送信すること、および／または、
   被制御装置により受信された操作情報が操作命令である場合、操作命令に対応する操作を実行し、被制御装置により受信された操作情報が手振り動作特徴データである場合、受信された手振り動作特徴データを分析して対応する操作命令を取得して操作命令に対応する操作を実行することであることを特徴とする
   請求項１に記載の手振り制御方法。
5. 被制御装置は、手振り制御センターとの接続を確立し、当該接続に基づいて会話モードでメッセージを使用して操作を完了することを特徴とする
   請求項１に記載の手振り制御方法。
6. 手振り制御装置であって、
   被制御装置に対する手振りを取り込むように構成されるビデオ収集モジュールと、
   前記手振りを識別するように構成される識別モジュールと、
   前記ビデオ収集モジュールと組み合わせて視覚範囲内の被制御装置を識別して前記手振り制御装置と被制御装置の間の距離を計算するように構成される距離測定モジュールと、
   視覚範囲内の被制御装置を識別する場合、識別された被制御装置の装ネットワークアドレスを記録するように構成されるデータ記憶モジュールと、
   前記被制御装置のネットワークアドレスに応じて、識別された手振りに対応する操作情報を被制御装置へ送信するように構成される制御モジュールとを含み、
   前記識別モジュールは、手振り識別モジュールをさらに含み、
   前記手振り識別モジュールは、肘−各被制御装置の線と手−肘（即ちアーム）の線との交角に応じて、手振りが指す被制御装置を識別するように構成される
   前記手振り制御装置。
7. 前記識別モジュールは、
   手振りに対応する操作命令を識別するように構成される画像識別モジュールを含むことを特徴とする
   請求項６に記載の手振り制御装置。
8. 前記手振り識別モジュールは、手振りが指す被制御装置を識別する場合、
   手振りと前記ビデオ収集モジュールの角度を利用して計算するように構成されること、
   または、
   手振り、被制御装置、前記装置の間の距離を測定した後、三角式で計算するように構成されることであることを特徴とする
   請求項６に記載の手振り制御装置。
9. 前記制御モジュールは、操作情報を送信する場合、操作命令または手振り動作特徴データを送信するように構成されることを特徴とする
   請求項６に記載の手振り制御装置。
10. 被制御装置との接続を確立し、当該接続に基づいて会話モードでメッセージを使用して操作を完了するように構成されるネットワークサービスモジュールを含むことを特徴とする
    請求項６に記載の手振り制御装置。
11. 手振り制御システムであって、
    被制御装置に対する手振りを識別して、識別された手振りに対応する操作情報を被制御装置へ送信するように構成される手振り制御センターと、
    受信された操作情報に基づいて対応する操作を実行するように構成される被制御装置とを含み、
    前記手振り制御センターは、前記手振りを識別する前に、視覚範囲内の被制御装置をさらに識別し、視覚範囲内の被制御装置を識別する場合、被制御装置のネットワークアドレスを識別して記録し、
    前記手振り制御センターは、前記被制御装置のネットワークアドレスに応じて、識別された手振りに対応する操作情報を被制御装置へ送信し、
    前記手振り制御センターは、被制御装置に対する手振りを識別する場合、肘−各被制御装置の線と手−肘（即ちアーム）の線との交角に応じて、手振りが指す被制御装置を識別する
    前記手振り制御システム。
12. 前記手振り制御センターは、操作情報を送信する場合、操作命令または手振り動作特徴データを送信するように構成されること、および／または、
    前記被制御装置により受信された操作情報が操作命令である場合、操作命令に対応する操作を実行し、前記被制御装置により受信された操作情報が手振り動作特徴データである場合、受信された手振り動作特徴データを分析して対応する操作命令を取得して、操作命令に対応する操作を実行するように構成されることであることを特徴とする
    請求項１１に記載の手振り制御システム。
13. 前記被制御装置は、受信された操作情報に基づいて操作を実行する場合、手振り制御センターとの接続を確立し、当該接続に基づいて会話モードでメッセージを使用して操作を完了するように構成されることを特徴とする
    請求項１１または１２に記載の手振り制御システム。