JP5653206B2 - 映像処理装置 - Google Patents

Description

技術分野は、電子機器の操作に関する。

本技術分野の背景技術として、特開２００３−２３３４５２号公報（特許文献１）がある。この公報には、「アプリケーションあるいは他のユーザが任意に登録したジェスチャコマンドに関わらず、ユーザが自分の使い慣れたジェスチャを使用してコマンド入力を行えるようにするとともに、入力手段に、どのユーザがジェスチャ入力を行っているかを認識し、複数のユーザが各々のジェスチャで、コマンド入力を行えるようにして、利用性の良好なジェスチャコマンド入力装置を提供すること」（特許文献１［００１３］参照）等を課題とし、その解決手段として「ユーザの身体の一部または専用の指示媒体を用いて、入力手段に対して行われたジェスチャ入力をコマンドに変換するジェスチャコマンド入力装置において、予め各ユーザ毎に当該ユーザ固有のジェスチャコマンドが登録されている記憶手段と、前記入力手段に対してジェスチャ入力を行うユーザを認識するユーザ認識手段と、前記入力手段に対して前記ジェスチャ入力を行うユーザを、前記ユーザ認識手段が認識すると、当該認識されたユーザに対応して前記記憶手段に登録されているユーザ固有のジェスチャコマンドに基づいて当該ユーザが前記入力手段から入力したジェスチャをコマンドに変換する制御手段と、を備えること」（特許文献１［００２５］参照）等が記載されている。

特開２００３−２３３４５２

しかし、特許文献１の技術的思想においては、各電子機器に予め登録したジェスチャを記憶しなければならず、ユーザにとって使い勝手が悪い。

上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。

本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、映像信号を出力する映像処理装置であって、ユーザを含む映像を撮影するカメラと、前記カメラで撮影された映像に基づいてユーザのジェスチャを認識して、前記映像処理装置が出力する前記カメラで撮影された映像を含まない操作用映像に対して、当該ジェスチャに対応する操作を実行させる操作認識部と、を有し、前記操作認識部は、前記カメラで撮影された映像からユーザの体の部位を検出し、一の部位の位置を基準にした境界線を設定し、当該境界線に対する当該検出した部位の相対位置に基づいて、前記映像処理装置が出力する操作用映像に含まれる複数のメニューから、前記ジェスチャに対応する操作の対象となるメニューを決定することを特徴とする。

上記手段によれば、ジェスチャによる電子機器の操作を効率良く行うことが可能となり、当該電子機器のユーザの使い勝手を向上させることができる。

実施例１の入力装置を示す概観図である。 実施例１の入力装置の構成を示すブロック図である。 実施例１の入力装置の操作する際のユーザの手および顔の位置を示す概観図である。 実施例１の入力装置のユーザの手の位置と表示画面の対応を説明する概観図である。 実施例１の入力装置の動作を説明するフローチャートである。 実施例２の入力装置を示す概観図である。 実施例２の入力装置のユーザのジェスチャ操作の領域を示す概観図である。 実施例２の入力装置のユーザの手の動きと表示画面の対応を説明する概観図である。 実施例３の入力装置のユーザの胴体軸を基準としたユーザの手の操作領域を示す概観図である。 実施例３の入力装置のユーザの胴体中心点の縦位置を基準としたユーザの手の操作領域を示す概観図である。 実施例３の入力装置のユーザの顔の位置情報を用いて作成した仮想的な境界線を基準とした操作領域を示す概観図である。 実施例３の入力装置の動作を説明するフローチャートである。 実施例４の入力装置のユーザのジェスチャ操作の領域を示す概観図である。 実施例４の入力装置の動作を説明するフローチャートである。 実施例４の入力装置のユーザの手の位置と表示画面の対応を説明する概観図である。 実施例５の入力装置のユーザのジェスチャを示す概観図である。

以下図面を用いて実施例を説明する。

本実施例の入力装置１００は、ユーザを撮像した動画像からユーザの体の部位の位置を検出することが可能であり、ユーザの動作（以下、「ジェスチャ」ともいう）を検出し、該動作に応じて、所定の処理を実行するとともに、ＧＵＩ（Graphical User Interfaceの略）の表示を変更することが可能な装置である。

図１は、入力装置１００をユーザが使用する際の動作環境の概観を示す。
撮像部１０１は、入力装置１００に動画像を入力するためのカメラである。表示部１１０は、入力装置に備えられる表示装置であり、例えば、液晶ディスプレイやプラズマディスプレイなどの表示装置で構成される。表示部１１０は、表示パネルとパネル制御回路とパネル制御ドライバとから構成され、後述する映像処理部２１０から供給されるデータで構成される映像を表示パネルに表示する。

第１のメニュー１１１および第２のメニュー１１２は表示部１１０に示すＧＵＩであり、所定のユーザ操作に対応している。なお、本実施例においては、第１のメニュー１１１は音量調整のＧＵＩ、第２のメニュー１１２はチャンネル切替えのＧＵＩをしているが、それぞれのメニューに対応する操作は他の操作でもよい。

ユーザ１２０は、入力装置１００に対して、操作を行うユーザである。ユーザの操作は、例えばユーザの顔１２２を入力装置１００に向けたときに、ユーザがユーザの手１２１を横に振ったり、縦に振ったり、ある所定の位置から手１２１を上、下、左または右に払ったり（以下、スワイプと記す）、手を回転したりするジェスチャを行い、入力装置１００が前記ジェスチャを認識し、前記ジェスチャの認識結果に応じて所定の処理を実行する。

図２は、入力装置１００の構成の一例を示すブロック図である。入力装置１００は、例えば図２に示すように、撮像部１０１、システム制御部２００、映像処理部２１０、表示１１０、を備える。システム制御部２００は、部位検出２０１、ジェスチャ認識部２０２、の機能を実現する部分を有する。

部位検出部２０２は、撮像部１０１から得られる動画像から例えば形状検出アルゴリズムなどの処理を用いて、手、顔、胴体、などのユーザの各体部位の位置を検出する。ジェスチャ認識部２０２は、部位検出部２０１で検出されたユーザの手の位置情報を用いて、入力装置１００を操作する所定ジェスチャを認識する部分である。なお、本実施例においては手のジェスチャを認識する例を説明するが、本発明はこれに限定されない。例えば、顔や足のジェスチャ、あるいは複数の体の部位を組み合わせたジェスチャを認識する構成としてもよい。

システム制御部２００は、部位検出部２０２の出力や、ジェスチャ認識部２０２の出力などのデータに対してデータ処理を行う部分である。システム制御部２００は、ＣＰＵが、メモリ上に記憶されているソフトウェアモジュールを実行することにより実現してもよいし、専用のハードウェア回路により実現してもよい。

映像処理部２１０は、例えば、ＡＳＩＣ、ＦＰＧＡ、ＭＰＵ等の処理装置により構成される。映像処理部２１０は、システム制御部２００の制御に従いＧＵＩの映像データを、表示部１１０で処理可能な形態に変換して出力する。

入力装置１００は、表示デバイスを備えるテレビやモニタに搭載されることで、これらの装置をユーザのジェスチャにより操作することを可能にする。また、図２において、入力装置１００が表示部１１０を備える構成となっているが、必ずしも表示部１１０を備える必要はない。例えば、表示装置を備えないディスクプレイヤー等に搭載し、当該ディスクプレイヤーに接続される外部の表示装置を利用してユーザに対して映像を提供するように構成してもよい。また、例えば撮像部を備えるビデオカメラを、表示装置やディスクプレイヤー等に接続し、ビデオカメラで撮影した映像に基づいて表示装置やディスクプレイヤー等において処理が行われるように構成してもよい。

また、図２においては本実施例及び本実施例以外の実施例における説明に用いられる構成を示しているが、必要に応じて他の構成を追加可能であることは言うまでもない。例えば、入力装置１００が放送を受信するテレビに搭載される場合、当該テレビには放送の受信、表示に用いるチューナやデマルチプレクサ、デコーダ、音声を出力するスピーカ等が備えられてもよい。

図３は、ユーザがジェスチャによって本実施例の入力装置を操作する様子を示す。ユーザの手１２１の位置は、例えば検出された手の形状領域の中心点３２０の横位置３０２と、該中心点３２０の縦位置３０３から構成される座標で表す。また、ユーザの顔１２２の位置は、例えば検出された顔の中心点３１０の横位置３００と、顔の該中心点３１０の縦位置３０１から構成される座標で表す。

本実施例では、ユーザの手１２１が検出される範囲を、ユーザの顔の横位置３００を通った線の右側にある操作領域３０４と左側にある操作領域３０５とに分ける方法について説明する。

ここで、システム制御部２００のデータ処理により、ユーザがジェスチャを行う際の手１２１の位置は、ユーザの顔１２２の横位置３００よりも右側の領域（操作領域３０４）に検出される状態と、顔１２２の横位置３００よりも左側領域（操作領域３０５）に検出される状態とがある。本実施例の入力装置１００においては、この２つの状態に応じて、ユーザが行う所定ジェスチャに対して、異なる操作を割り当てる。

図４は入力装置１００を使用するユーザの手１２１が、操作領域３０４に検出された場合と、操作領域３０５に検出された場合の表示部１１０の概観図を示す。図４（Ａ）には、ユーザの手が操作領域３０４に検出されたときのユーザ１２０と入力装置１００の表示画面の態様を示す。入力装置１００は、表示部１１０において、第１のメニュー１１１の表示を強調するなどにより、該状態においてユーザが所定のジェスチャを行うと第１のメニュー１１１に関する操作（本実施例では音量調整）が実行されることをユーザ１２０に示す。

図４（Ｂ）には、ユーザの手が操作領域３０５（顔の左側）に検出されたときのユーザ１２０と入力装置１００の表示画面の態様を示す。入力装置１００は、表示部１１０において、第２のメニュー１１２の表示を強調するなどにより、該状態においてユーザが所定のジェスチャを行うと、第２のメニュー１１２に関する操作（本実施例ではチャンネル切替）が実行されることをユーザ１２０に示す
以下、図５のフローチャートを用いて、第１の実施例に係る入力装置１００のジェスチャによる操作を説明する。ユーザのジェスチャの検出処理は、図２に示したシステム制御部２００がおこなう処理である。

先ず、システム制御部２００において、ユーザの手１２１および顔１２２の位置を検出し、顔の位置に対する手の位置を計算する（ステップ５００）。

前記ステップ５００の結果に応じて、検出された顔に対する手の位置に応じてＧＵＩ表示を変更する（ステップ５０１）。図４に示すように、手が顔に対して右に検出された場合は、第１のメニュー１１１の方を強調し、手が顔に対して左に検出された場合は第２のメニュー１１２の方を強調する。本ステップによって、ユーザは、自分がこれからジェスチャによってどの操作が実行されるかを理解できる。

本実施例においては、検出された手の位置に対応するメニューを強調表示するように構成したが、ユーザがジェスチャによりどのような操作が実行されるかを認識できるような表示であれば、表示の仕方はこれに限定されない。例えば、手が顔に対して右に検出された場合は、第１のメニュー１１１のみを表示し、第２のメニュー１１２は表示しないように構成してもよい。

なお、手や顔が検出できない場合などにより、手や顔の位置情報が存在しなければ、例えば表示部１１０には第１のメニュー１１１と第２のメニュー１１２を表示しない。

次に、システム制御部２００において、ジェスチャの認識を行い（ステップ５０２）、あらかじめ登録したジェスチャを認識しなければ、そのまま処理を終了する（ステップ５０３：Ｎｏ）。あらかじめ登録したジェスチャを認識したら、ステップ５０４に進む（ステップ５０３：Ｙｅｓ）。

次に、手が顔に対して、右側にあるか、または左側にあるか、を判定する（ステップ５０４）。

ステップ５０４の判定結果である顔に対する手の位置が、上記ステップ５０１において強調表示されたＧＵＩの位置とが整合するか否か、をチェックする（ステップ５０５、およびステップ５０６）。整合しなければ、ジェスチャによる操作を受け付けることなく処理を終了する（ステップ５０５：Ｎｏ、およびステップ５０６：Ｎｏ）。整合すれば、ステップ５０４の結果に応じて、ステップ５０７およびステップ５０８に進む（ステップ５０５：Ｙｅｓ、およびステップ５０６：Ｙｅｓ）。

表示部１１０に第１のメニュー１１１（右側のメニュー）を強調して表示しているが、ステップ５０４の結果によりジェスチャを認識したときの手の位置が左側にあると判定したら（ステップ５０４：Ｌｅｆｔ）、ＧＵＩの表示と、入力装置がこれから実行する操作と、が不整合となるため、ジェスチャ認識のエラーが発生するとみなし、ユーザのジェスチャを受け付けない。

ジェスチャを認識した際の手の位置が顔の右側にあると判定された場合、すなわち手の位置が図３に示した操作領域３０４に検出された場合（ステップ５０４：Ｒｉｇｈｔ）、かつその判定結果が表示中のＧＵＩと整合する場合（ステップ５０５：Ｙｅｓ）、入力装置１００は、第１のメニュー１１１に関する操作（本実施例では音量調整）を実行する（ステップ５０７）。

同様に、ジェスチャを認識した際の手の位置が顔の左側にあると判定された場合、すなわち手の位置が図３に示した操作領域３０５に検出された場合（ステップ５０４：Ｌｅｆｔ）、かつその判定結果が表示中のＧＵＩと整合する場合（ステップ５０６：Ｙｅｓ）、入力装置１００は第２のメニュー１１２に関する操作（本実施例ではチャンネル切替）を実行する（ステップ５０８）。

このように、入力装置１００において、顔に対する手の位置を認識することで、ユーザの所定のジェスチャを複数の操作に割り当てることが可能となり、ユーザが複数のジェスチャを記憶することなく、複数の操作を行うことができる。また、手の位置が顔に対して右側に検出された場合は、第１のメニュー１１１の表示が強調され、手の位置が顔に対して左側に検出された場合は第２のメニュー１１２の表示を強調されることによって、ユーザは、これから行うジェスチャがどの操作に適応されるかがわかる。さらに、機器を操作する過程においてメニューの切り替えを行う手間を少なくする効果もあり、ユーザが所望の操作をより早く実行できる。

また、ジェスチャにより操作可能な従来の装置に比べ、ジェスチャによる操作の処理負荷を低減することも可能となる。

なお、上記の実施例においては、顔に対する手の位置が右または左といった二種類の状態を用いてユーザのジェスチャを二種類の操作に割り当てる説明したが、顔に対する手の位置が上または下の状態などを用いてもよい。また、顔の位置に対して左上、右上、右下、左下の状態を用いる等により、３種類以上の操作にユーザのジェスチャを割り当てることも可能である。

以下、第２の実施例を、図６ないし図８を用いて説明する。
第１の実施例の入力装置１００は、顔に対して手の位置が右側あるいは左側に検出されたときに、対応した第１のメニューまたは第２のメニューを強調して表示するものであった。本実施例では、第１の実施例の操作方法に加えて、ユーザの手が顔の位置に対してどこに検出されているか、をＧＵＩで表示するものである。

図６は、ユーザ１２０が入力装置１００を操作する概観図を示す。入力装置１００の表示部１１０には、実施例１における第１のメニュー１１１と第２のメニュー１１２に加え、ユーザの手が検知される領域を示す操作領域表示６００およびユーザの手が検知されている位置を示す手の位置表示６０１のＧＵＩを表示する。入力装置１００は、操作領域表示６００と手の位置表示６０１の組み合わせを用いて、ユーザの手が顔に対してどこの位置に検出されているかを表示する。中間線６０２は、操作領域表示６００を左右に分ける中間の境界線である。ユーザは入力装置１００の表示部１１０の画面を確認しながら、ジェスチャを行い、入力装置１００を操作する。

図７に本実施例に係るユーザと表示部１１０に表示する画面との関係を示す。操作領域範囲７００は、ジェスチャ認識が可能な範囲である。本実施例において、操作領域範囲７００の中間点は、顔の横位置３００に対応する。表示部１１０に表示する操作領域表示６００の横の長さは、該操作領域範囲７００を表し、中間線６０２は顔の横位置３００に対応している。

図８は、本実施例に係る入力装置１００のユーザの手の位置と表示画面の対応を説明する概観図である。図７の操作領域７００中における手の位置は、操作領域表示６００における手の位置表示６０１の位置と対応する。すなわち、該操作領域範囲７００においてユーザの手１２１が右側に移動すると、図８（Ａ）に示すように、手の位置表示６０１の位置を操作領域表示６００の右側に移動させる。同様に操作領域範囲７００においてユーザの手１２１が左側に移動すると、図８（Ｂ）に示すように、手の位置表示６０１の位置を操作領域表示６００の左側に移動させる。

上記の構成により、第１の実施例の効果に加え、ユーザは操作領域示６００における手の位置表示６０１の位置を見て、自分の手の位置を確認することができるという効果を奏する。

以下、第３の実施例を、図９ないし図１２を用いて説明する。
第１の実施例および第２の実施例の入力装置１００は、顔の位置情報を用いて所定基準の位置を設定し、該基準の位置に対する手の相対位置に応じて、異なった操作を割り当てるものであった。本実施例では、手とユーザの体のその他の部位との相対位置を用いてジェスチャによる操作を割り当てる方法を説明する。

まず、ユーザの体の各部位の位置を基準として、縦、横、あるいは所定の傾きで、仮想的にある境界線を作成する。境界線の作成により、２つ以上の操作領域が生成される。本実施例では、所定のジェスチャに対して、ユーザの手がどの操作領域に検出されたかに応じて、操作を割り当てる方法について説明する。以下、仮想的な境界線を用いて操作領域を作成する例を説明する。

図９は、本実施例に係るユーザの胴体軸を基準としたときのユーザの手の操作領域を示す概観図である。入力装置１００は例えば部位検出部２０１を用いてユーザの胴体の中心点９００、および胴体の傾きを検出する。境界線９０１は、検出された胴体の中心点９００を通り、その傾きは検出された胴体の傾きと同じである。

境界線９０１が作成されたことによって、操作領域９０２および操作領域９０３の２つの手の操作領域が生成される。そして、ユーザのジェスチャによる入力装置１００の操作について、手の位置が操作領域９０２に検出された場合の操作と、操作領域９０３に検出された場合の操作とに、二種類の操作を割り当てる。

これにより、ユーザの姿勢に合わせて、入力装置１００に対するジェスチャによる操作をより適切に複数の操作に割り当てることが可能となり、ユーザの使い勝手を向上させることができる。なお、仮想線９０１は、例えば顔の中心点３１０と胴体の中心点９００とを通っている線で定義する等、他の方法によって作成してもよい。

図１０は、本実施例に係るユーザの胴体の中心点の縦位置を基準としたときのユーザのジェスチャによる操作の操作領域を示す概観図である。上記胴体の中心点９００の縦位置に、横に仮想の境界線９０１−ｂを作成すると、図１０に示す操作領域１０００および操作領域１００１が生成される。そして、ユーザのジェスチャによる入力装置１００の操作について、手の位置が操作領域１０００に検出された場合の操作と、操作領域１００１に検出された場合の操作とに、二種類の操作を割り当てる。
これにより、手が体の中心点より上にある状態でのジェスチャ、または下にある状態でのジェスチャを使って、入力装置対して複数の操作を割り当てることが可能である。

図１１は、ユーザの顔の位置情報を用いて作成した境界線を基準とした操作領域を示す概観図である。右手のジェスチャによる入力装置１００の操作において、顔や胴体の中心を通る線を仮想的な境界線とすると、右側に割り当てられた操作に比べ、左側に割り当てられた操作を行ないにくいことが考えられる。そこで、ユーザの顔の横位置３００より、ある距離１１００において、縦の仮想的な境界線９０１−ｃを作成すると、図１１に示す操作領域１１０１および操作領域１１０２が生成される。ユーザのジェスチャによる入力装置１００の操作について、手の位置が操作領域１１０１に検出された場合の操作と、操作領域１１０２に検出された場合の操作とに、二種類の操作を割り当てる。

このように、仮想的な境界線９０１−ｃを顔の縦位置より右側（左手によるジェスチャの場合には左側）に設定することによって、顔や胴体の中心を通る線を仮想的な境界線とする場合に比べて、ユーザの右手のジェスチャによる左側の領域に割り当てられた操作が行いやすくなる。

また、例えば部位検出部２０２を用いて、ジェスチャを行う手が右手か左手かを判別し、ユーザが左手でジェスチャを行うと判別した場合に、上記境界線９０１−ｃを顔の左側に設定することで、左手のジェスチャによる操作が行いやすくなる。

以下、図１２のフローチャートを用いて、本実施例に係る所定のジェスチャに対して、入力装置１００に二種類の操作を割り当てる方法を説明する。

入力操作の検出処理は、図２に示したシステム制御部２００がおこなう処理である。まず、システム制御部２００において、ユーザの手１２１および操作領域を作成する基準とする体の部位の位置を検出する（ステップ１２００）。

ステップ１２００の出力であるユーザの体の部位の位置情報を用いて、例えば図９ないし図１１に図示したように仮想的な境界線を作成して、２つの操作領域を生成する（ステップ１２０１）。

次に図５のフローチャートのステップ５０１と同様に、手がどの操作領域に検出されたかに応じてＧＵＩ表示を変更する。（ステップ１２０２）。

次に図５のフローチャートのステップ５０２と同様に、ジェスチャの認識を行う（ステップ１２０３）。あらかじめ登録したジェスチャを認識しなければ、そのまま処理を終了する（ステップ１２０４：Ｎｏ）。あらかじめ登録したジェスチャを認識すれば、ステップ１２０５に進む（ステップ１２０４：Ｙｅｓ）。

次に、手が第１の操作領域に検出されるか、第２の操作領域に検出されるかを判定する（ステップ１２０５）。

次に、ステップ１２０５の判定結果が、上記ステップ１２０２で処理されたＧＵＩと整合しているか否かをチェックする（ステップ１２０６、およびステップ１２０７）。整合しなければ、ジェスチャによる操作を受けつけることなく処理を終了する（ステップ１２０６：Ｎｏ、およびステップ１２０７：Ｎｏ）。整合すれば、ステップ１２０５の結果に応じて、ステップ１２０８およびステップ１２０９に進む（ステップ１２０６：Ｙｅｓ、およびステップ１２０７：Ｙｅｓ）。

例えば、上記ステップ１２０２により、表示部１１０に第１のメニュー１１１（右側のメニュー）を強調して表示しているが、ステップ１２０５の結果によりジェスチャを認識したときの手がユーザの左側の操作領域にあると判定した場合、ユーザが見るＧＵＩ表示と、入力装置がこれから実行する操作と、が不整合となるため、ジェスチャ認識のエラーが発生するみなし、ユーザのジェスチャによる操作を受け付けない。

ジェスチャが行われた際に、手が第１の操作領域にある場合（ステップ１２０５：第１の操作領域）、かつその判定結果が表示中のＧＵＩと整合する場合（ステップ１２０６：Ｙｅｓ）、入力装置１００は第１のユーザ操作を実行する（ステップ１２０８）。同様に、ジェスチャが行われた際に、手が第２の操作領域にある場合（ステップ１２０５：第２の操作領域）、かつその判定結果が表示中のＧＵＩと整合する場合（ステップ１２０７：Ｙｅｓ）、入力装置１００は第２のユーザ操作を実行する（ステップ１２０９）。

このように、体の部位の位置情報を用いて仮想的な境界線および操作領域を定義し、手の位置がどの操作領域にあるかの２つの状態を用いれば、所定のジェスチャを行う際に、二種類のユーザ操作に割り当てることが可能である。なお、仮想的な境界線は、ユーザの手の位置を認識する領域の分け方により適宜設定するように構成してもよい。例えば、ユーザの手の位置を認識する領域を左右で分けたい場合には、上述のようにユーザの顔の中心点３１０と胴体の中心点９００とを通っている線で定義してもよいし、ユーザの手の位置を認識する領域を上下で分けたい場合にはユーザの両肩を結んだ線で定義してもよい。さらに、仮想的な境界線を二本以上とし、ユーザの手の位置を認識する領域を３つ以上にして、所定のジェスチャを三種類以上の操作に割り当てることも可能である。

以下、第４の実施例を、図１３ないし図１５を用いて説明する。
上記第１の実施例、第２の実施例および第３の実施例においては、所定の基準の位置に対して手が右、左、上、下などの状態を用いて入力装置１００に複数操作を割り当てる方法を説明した。本実施例においては、所定の基準の位置からの手の距離を用いて入力装置１００に複数操作を割り当てる方法を説明する。

図１３は、本実施例における入力装置１００を操作する際のユーザの様子を示す。操作の境界線９０１−ｄは、例えば、あらかじめ決められた所定の体の部位（顔、肩、など）の位置から設定した仮想的な操作の境界線である。ここで、操作の境界線９０１−ｄから左右の両側に、ある所定距離で、第１の操作領域１３０２と、第２の操作領域１３０３と、第３の操作領域１３０４と、が生成されるように、仮想的な境界線（ユーザにとっての右の境界線１３００、左の境界線１３０１）を設定する。ユーザが入力装置１００に対してジェスチャによる操作を行う際に、手の位置が第１の操作領域１３０２に検出されるか、第２の操作領域１３０３に検出されるか、あるいは第３の操作領域１３０４に検出されるか、の３つの条件を用いて、入力装置１００に異なった操作を割り当てる。なお、操作領域範囲７００−ｂは図７に示す操作領域範囲７００と同様なものである。

図１４は、ユーザの手が上記３つの操作領域に検出された場合のユーザの手の位置と入力装置１００の表示部１１０の表示画面を示す。

図１４の（Ａ）は、ユーザの手が第１の操作領域１３０２に検出された場合のユーザと表示部１１０画面との関係を示す。表示部１１０に第１のメニュー１１１と第２のメニュー１１２を表示するが、どちらのメニューも操作できないことを示すために、例えばこれらの表示を薄く表示するようにしてもよい。操作領域表示６００における手の位置表示６０１は、操作領域表示６００の真中あたりに表示する。本実施例においては、この領域には操作が割り当てられていないため、ユーザがジェスチャを行っても、入力装置１００を操作できない。

図１４の（Ｂ）は、ユーザの手が第２の操作領域１３０３に検出された場合のユーザと表示部１１０画面との関係を示す。表示部１１０には、第１のメニュー１１１が第２のメニュー１１２よりも強調して表示され、所定のジェスチャにより第１のメニュー１１１が示す操作を行うことが可能であることをユーザに示す。操作領域表示６００においては、手の位置表示６０１の表示位置を右側にする。このとき、ユーザがジェスチャを行うと、入力装置１００に対して第１の操作（本実施例では音量調整）が実行される。

図１４の（Ｃ）は、ユーザの手を第３の操作領域１３０４に検出された場合のユーザと表示部１１０画面との関係を示す。表示部１１０には、第２のメニュー１１２が第１のメニュー１１１よりも強調して表示され、所定のジェスチャにより第２のメニュー１１２が示す操作を行うことが可能であることをユーザに示す。操作領域表示６００においては、手の位置表示６０１の表示位置を左側にする。このとき、ユーザがジェスチャを行うと、入力装置１００に対して第２の操作（本実施例ではチャンネル切り替え）が実行される。

以下、図１５のフローチャートを用いて、本実施例に係る所定のジェスチャ操作を、複数の操作に割り当てる方法を説明する。

まず、システム制御部２００において、ユーザの手１２１、および操作領域を作成する基準とする体の部位の位置を検出する（ステップ１５００）。図１３の場合には、ユーザの肩が操作領域を設定する基準となる。

前記ステップ１５００の出力であるユーザの体の部位の位置情報を用いて、例えば図１３に示したように仮想的な境界線を決め、その境界線より所定の距離を用いて３種類の操作領域を定義する（ステップ１５０１）。

次に、手がどの操作領域に検出されたかに応じてＧＵＩ表示を変更する。（ステップ１５０２）。図１４に示すように、ユーザの手がどの操作領域に検出されたかによってＧＵＩの表示を変える。

本実施例においては、検出された手の位置に対応するメニューを強調表示するように構成したが、ユーザがジェスチャによりどのような操作が実行されるかを認識できるような表示であれば、表示の仕方はこれに限定されない。例えば、手が操作領域１３０３に検出された場合は、第１のメニュー１１１のみを表示し、第２のメニュー１１２は表示しないように、または手が操作領域１３０２に検出された場合は、メニューを表示しないように構成してもよい。また、操作領域表示６００や手の位置表示６０１は表示しない構成にしてもよい。

次にジェスチャの認識処理を行う(ステップ１５０３)。あらかじめ登録したジェスチャを認識しなければ、そのまま処理を終了する（ステップ１５０４：Ｎｏ）。あらかじめ登録したジェスチャを認識すれば、ステップ１５０５に進む（ステップ１５０４：Ｙｅｓ）。

次に、手が、第１の操作領域に検出されるか、第２の領域に検出されるか、または第３の領域に検出されるか、を判定する（ステップ１５０５）。

次に、ステップ１５０５の判定結果が、上記ステップ１５０２の処理により表示したＧＵＩと整合するか否か、をチェックする（ステップ１５０６、ステップ１５０７、およびステップ１５０８）。整合しなければ、ジェスチャによる操作を受け付けることなく処理を終了する（ステップ１５０６：Ｎｏ、ステップ１５０７：Ｎｏ、およびステップ１５０８：Ｎｏ）。整合すれば、上記ステップ１５０５の結果に応じて、ステップ１５０９、ステップ１５１０またはステップ１５１１に進む。

例えば上記ステップ１５０２により、表示部１１０に第１のメニュー１１１（右側のメニュー）を強調して表示しているが、ステップ１５０５において判定したユーザの手の検出位置が左側の領域１３０４であった場合、ユーザのジェスチャによる操作を受け付けない。

ジェスチャが行われた際に、ユーザの手が第１の領域に検出されたと判定され（ステップ１５０５：第１の操作領域）、かつその判定結果がステップ１５０２の処理により表示したＧＵＩと整合する場合（ステップ１５０６：Ｙｅｓ）、入力装置１００は第１のユーザ操作を実行する（ステップ１５０９）。

ジェスチャが行われた際に、ユーザの手が第２の領域に検出されたと判定され場合や第３の領域に検出されたと判定された場合も同様である（ステップ１５０７、１５１０、１５０８、１５１１）。

このように、ユーザの体の所定の部位の位置に基づいて設定された境界線からの距離により複数の操作領域を定義することで、ユーザの手が検出された位置に応じて、入力装置１００に対する複数の操作を割り当てることができる。

なお、本実施例においては、３つの操作領域を例としたが、境界線の数を減らす、あるいは増やすことにより、操作領域を少なく、あるいは多くすることもできる。また、本実施例においては、所定の部位に基づいて境界線を設定し、当該境界線からの距離によって複数の操作領域を設定したが、境界線を設定せずに、所定の部位からの距離によって複数の操作領域を設定するように構成してもよい。

以下、第５の実施例を、図１６を用いて説明する。

本実施例においては、所定の体の部位の位置を用いて、入力装置１００を操作するユーザのジェスチャを定義する方法について説明する。

従来、スワイプジェスチャを定義するためには、ある時間の範囲で、手の位置がカメラの撮影範囲において、ある位置から別の位置まで連続的に右または左に動くときに定義したものである。しかし、カメラの撮影範囲の情報を用いることによって、ユーザの身長の差や、入力装置からのユーザが操作する場所の距離などによって、ユーザが同じスワイプのジェスチャを行ったとしても、認識されない場合がある。

本実施例では、カメラの撮影範囲の代わりに、実際に撮影したユーザの体の部位の位置を基準として、スワイプのジェスチャを定義する。

図１６は、本実施例に係る入力装置１００に対してユーザが行うジェスチャを示す概観図である。例えば、ジェスチャ１６００は、ユーザの手が上記操作領域１３０２から、上記操作領域１３０４に動くときに成立すると定義する。境界線１２０１の位置は、検出されたユーザの体の部位の位置情報に基づいて設定されるため、操作領域１３０２および操作領域の１３０４の大きさは検出されたユーザの体の大きさや位置に応じて変化する。これにより、身長や体格が異なった複数のユーザが操作する、または同じユーザが違う場所から操作する場合においても、入力装置を適切に操作することが可能となる。

このように、体の部位の位置情報を用いてジェスチャを定義することにより、ユーザや操作する位置の変化に対応可能な入力装置１００のジェスチャによる操作を実現することが可能となる。

なお、上記入力装置１００が検出した顔、胴体の中心点、などの体の部位の位置を、その他のジェスチャ（手振り、手の回転、など）を定義する基準としてもよい。例えば、ユーザの手の動きが、胴体の中心点の位置を中心に回っているとき、ユーザの手の回転の半径が胴体の横幅から算出した所定の範囲となったとき等を、手を回転させるジェスチャと判定するように構成してもよい。

上記実施例１〜５は、映像を表示する表示部１１０や、映像処理部２１０を備える装置を前提として説明されているが、本発明はこれに限定されない。映像を撮影するカメラと当該カメラが撮影した映像に基づいて装置を制御する制御部とを有する装置であれば、カメラで撮影されたユーザの映像に基づいて上記実施例１〜５で説明したジェスチャによる装置の操作は可能である。この場合、メニューを強調表示する等はできないが、同じジェスチャに対して複数の操作を割り当てることは可能である。また、メニューの強調表示に代えて、装置に備えられたＬＥＤ（Light Emitting Diode）等の発行素子を発光させること（発光素子の位置や光の色を利用する等）により、ユーザに対してジェスチャによりどのような操作がされるかを示すように構成してもよい。

また、上記実施例で説明した処理はソフトウェアにより実行されるように構成してもよい。カメラ等の撮像素子を備える装置であれば、当該装置のＣＰＵが上記実施例で説明した処理を可能とするソフトウェアを実行することで、上記実施例と同様の作用、効果を奏することが可能となる。

１００ ・・・ 入力装置
１０１ ・・・ 撮像部
１１０ ・・・ 表示部
１１１ ・・・ 第１のメニュー
１１２ ・・・ 第２のメニュー
１２０ ・・・ ユーザ
１３１ ・・・ ユーザの手
１２２ ・・・ ユーザの顔
２００ ・・・ システム制御部
２０１ ・・・ 体の部位検出部
２０２ ・・・ ジェスチャ認識部
２１０ ・・・ 映像処理部
３００ ・・・ 顔の横位置
３０１ ・・・ 顔の縦位置
３０２ ・・・ 手の横位置
３０３ ・・・ 手の縦位置
３１０ ・・・ 顔の中心点
３２０ ・・・ 手の中心点
３０４、３０５、９０２、９０３、１０００，１００１、１１０１、１１０２、１３０２，１３０３、１３０４ ・・・ 個別操作領域
６００ ・・・ 操作領域表示
６０１ ・・・ 手の位置表示
６０２ ・・・ 操作領域表示の中間線
７００、７００−ｂ ・・・ 操作領域範囲
９００ ・・・ 胴体の中心点
９０１、９０１−ｂ、９０１−ｃ、９０１−ｄ ・・・ 操作境界線
１６００ ・・・ ジェスチャ操作

Claims (5)

1. 映像信号を出力する映像処理装置であって、
   ユーザを含む映像を撮影するカメラと、
   前記カメラで撮影された映像に基づいてユーザのジェスチャを認識して、前記映像処理装置が出力する前記カメラで撮影された映像を含まない操作用映像に対して、当該ジェスチャに対応する操作を実行させる操作認識部と、を有し、
   前記操作認識部は、前記カメラで撮影された映像からユーザの体の部位を検出し、一の部位の位置を基準にした境界線を設定し、当該境界線に対する当該検出した部位の相対位置に基づいて、前記映像処理装置が出力する操作用映像に含まれる複数のメニューから、前記ジェスチャに対応する操作の対象となるメニューを決定する
   ことを特徴とする映像処理装置。
2. 請求項１の映像処理装置であって、
   さらに、出力する映像信号を処理する映像処理部を有し、
   前記映像処理部は、前記操作認識部により操作の対象となるメニューが決定されていることを示すように映像信号を処理する
   ことを特徴とする映像処理装置。
3. 請求項１または２の映像処理装置であって、
   前記操作認識部は、前記カメラで撮影された映像からユーザの顔の位置及び手の位置を検出し、検出した顔の位置を基準にした境界線を設定し、検出した手の位置が、当該境界線で分けられた第１の領域に検出された場合には第１の操作の対象となるメニューを決定し、検出した手の位置が、当該境界線で分けられた第２の領域に検出された場合には第２の操作の対象となるメニューを決定することを特徴とする映像処理装置。
4. 請求項１または２の映像処理装置であって、
   前記操作認識部は、前記カメラで撮影された映像からユーザの手及び手以外の所定の部位を検出し、検出した手の位置と前記境界線との距離に基づいて前記映像処理装置に対する操作の対象となるメニューを決定することを特徴とする映像処理装置。
5. 請求項３ないし４のいずれかの映像処理装置であって、
   前記操作用映像には、前記操作認識部で検出したユーザの手の位置が示される操作領域表示に関する映像信号が含まれることを特徴とする映像処理装置。
   
   

Images