JP2014048936A - ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム - Google Patents

Abstract

【課題】ユーザが自然な動作によりジェスチャ認識を開始させることができ、かつ、ユーザによるジェスチャ開始の意図を正確に判断することができるジェスチャ認識装置を提供する。
【解決手段】視線方向推定手段１２２が推定した操作者の視線方向が、所定の方向でほぼ静止している場合に、意図判定手段１２３は、ユーザがジェスチャを開始しようとしていると判定する。フィードバック部１３は、意図判定手段１２３が、上記ユーザがジェスチャを開始しようとしていると判定した場合に、該判定が行われた旨を上記ユーザに通知する。
【選択図】図１

Description

本発明は、認識対象物の動作からジェスチャを認識するジェスチャ認識装置、その制御方法、表示機器、および制御プログラムに関する。

近年、テレビジョン受像機、パーソナルコンピュータ、またはタブレット端末などの表示装置に、操作者が動作させる認識対象物のジェスチャを認識するジェスチャ認識装置を組み合わせた表示機器が登場してきている。このような表示機器において、操作者がデータグローブ等の特殊な装具を装着する必要がなく、また操作者が自然かつスムーズに自身の操作を当該表示機器に対して行えるように、操作者の手や指などを用いて行うジェスチャを認識するジェスチャ認識装置が望まれている。なお、現在のジェスチャ認識装置では、ＨＭＭ（Hidden Markov Model；隠れマルコフモデル）あるいは連続ＤＰ（Continuous Dynamic Programming）などを用いたジェスチャ認識が行われている。

ここで、図８を用いて、従来のジェスチャ認識装置におけるジェスチャ認識の流れを説明しておく。同図に示すとおり、従来のジェスチャ認識では、まず操作者の特定／決定が行われる。すなわち、ジェスチャ認識装置は、認識した複数の人物のうちいずれの人物を操作者とするか否か判断したり、または、認識した人物が予め登録された操作者リストに含まれているか判断したりする。次に、操作者が、ジェスチャを開始することをジェスチャ認識装置に伝達する。具体的には、操作者が、例えば手を挙げるなどの開始動作を行うと、ジェスチャ認識装置が、上記開始動作を認識して、認識対象物（例えば操作者の手、ポインタなど）のジェスチャ認識を行うことができる状態になる。その後、ジェスチャ認識装置は、上記開始動作の後に操作者が認識対象物を用いて行うジェスチャを認識する。

上記のようなジェスチャ認識装置の例として、特許文献１には、特定被写体の移動速度が一定以上速いと判断し、かつ、移動パターンが一定範囲内に収束していると判断した場合に、ジェスチャ認識処理の開始または終了の指示として識別するジェスチャ認識装置が開示されている。上記ジェスチャ認識装置は、具体的には、ユーザの手を上記特定被写体として、高速の手振りなど、すばやく小刻みに動く動作を上記特定被写体から検出した場合に、ジェスチャ認識を開始・終了することが示されている。

また、特許文献２には、撮影した画像を解析することによって、予め定められた設定値に近似する特徴を有する基準物を検出し、また上記基準物との相対的な関係が予め定められた特定条件を満たす物を認識対象物として特定するインタフェース装置が開示されている。なお、上記基準物とは、例えば人の顔であり、また上記認識対象物は、例えばその人の顔の一部を覆った手の形状および色であることが示されている。

特開２０１１−１９２０９０号公報（２０１１年 ９月２９日公開） 特開２０１１−２３２８９４号公報（２０１１年１１月１７日公開）

しかしながら、特許文献１に開示された技術では、当該装置にジェスチャ認識を開始または終了させる毎に、ユーザが手振りを行う必要がある。

また、特許文献２に開示された技術では、上記基準物との相対的な関係が予め定められた特定条件を満たす物が、上記インタフェース装置によって自動的に上記認識対象物として特定されるため、ユーザの意図しない物が上記認識対象物として特定される可能性があるという問題がある。

本発明は、上記の課題に鑑みてなされたものであり、その目的は、ユーザが自然な動作によりジェスチャ認識を開始させることができ、かつ、ユーザによるジェスチャ開始の意図を正確に判断することができるジェスチャ認識装置などを提供することにある。

本発明に係るジェスチャ認識装置は、上記の課題を解決するために、ユーザが撮影された動画から、該ユーザによるジェスチャを認識するジェスチャ認識装置において、上記ユーザの視線方向を推定する視線方向推定手段と、所定期間において、所定の方向と上記視線方向との為す角度が所定値よりも小さい場合に、上記ユーザがジェスチャを開始しようとしていると判定する判定手段と、上記判定手段が、上記ユーザがジェスチャを開始しようとしていると判定した場合に、該判定が行われた旨を上記ユーザに通知する通知手段とを備えたことを特徴としている。

また、本発明に係るジェスチャ認識装置の制御方法は、上記の課題を解決するために、ユーザが撮影された動画から、該ユーザによるジェスチャを認識するジェスチャ認識装置の制御方法であって、上記ユーザの視線方向を推定し、所定期間において、所定の方向と上記視線方向との為す角度が所定値よりも小さい場合に、上記ユーザがジェスチャを開始しようとしていると判定し、上記ユーザがジェスチャを開始しようとしていると判定した場合に、該判定が行われた旨を上記ユーザに通知することを特徴としている。

上記構成または方法によれば、まず、ユーザの視線方向が推定される。そして、推定された視線方向が所定の方向でほぼ静止している場合に、ユーザが当該ジェスチャ認識装置に認識させたいジェスチャを開始する意図を有していると判定する。従って、ユーザは、ジェスチャを開始したい場合に、視線の方向を所定の方向に向けるだけでよく、手振りなどの煩雑な動作を行う必要がない。ゆえに、視線を向けるという自然な方法により、当該ジェスチャ認識装置にジェスチャ開始の意図を伝達して、ジェスチャを実行することができる。なお、上記所定の方向とは、例えば、当該ジェスチャ認識装置が備えた動画撮影用のカメラの方向である。

また、上記構成または上記方法によれば、所定の方向とユーザの視線方向との為す角度が所定値よりも小さい場合に、視線方向がほぼ静止しているとみなされる。従って、ユーザは、ジェスチャを開始する意図を当該ジェスチャ認識装置に通知したい場合、上記所定の方向、例えばカメラの方向に対して、例えば１０°以下の範囲内に含まれる方向に視線を向ければよい。このように、視線方向が静止しているとみなす方向にある程度の範囲を持たせることによって、視線方向の揺らぎや、視線方向推定手段による視線方向の推定誤差などがある場合であっても、ユーザは当該ジェスチャ認識装置にジェスチャ開始の意図を伝達することができる。

さらに、上記構成または上記方法によれば、ユーザはジェスチャを開始する意図を有していると判定された場合に、その判定結果がユーザに通知される。

そのため、ユーザは、ジェスチャを開始する意図が当該ジェスチャ認識装置に伝達されたのか否かを迷うことがない。従って、ユーザは、次に行うべき動作が、ジェスチャ開始の意図を当該ジェスチャ認識装置に再度伝達することなのか、あるいはジェスチャを開始することなのかを適切に判断することができる。

また、本発明に係るジェスチャ認識装置において、上記通知手段は、当該ジェスチャの認識開始または終了の少なくともいずれか一方を判定した場合にも、該判定が行われた旨を上記ユーザに通知する構成であってもよい。

上記構成によれば、ジェスチャの認識開始および／または終了を判定した場合にも、その判定結果がユーザに通知される。そのため、ユーザは、各々の判定結果を確認することによって、ジェスチャを開始したり終了したりすることができる。

また、本発明に係るジェスチャ認識装置は、動画において上記ユーザの顔の位置を検出する顔検出手段をさらに備え、上記判定手段は、所定期間において、所定の方向と上記視線方向との為す角度が所定値よりも小さいとともに、上記顔検出手段によって検出された顔の位置の変化量が所定値よりも小さい場合に、上記ユーザがジェスチャを開始しようとしていると判定する構成であってもよい。

また、本発明に係るジェスチャ認識装置は、動画において上記ユーザの顔の向きを推定する顔方向推定手段をさらに備え、上記判定手段は、所定期間において、所定の方向と上記視線方向との為す角度が所定値よりも小さいとともに、上記顔方向推定手段によって推定された顔の向きと所定の方向との為す角度が所定値よりも小さい場合に、上記ユーザがジェスチャを開始しようとしていると判定する構成であってもよい。

上記構成によれば、視線方向が所定の方向で静止しており、かつ、顔の位置／顔の方向が静止している場合に、判定手段は、ユーザがジェスチャ開始の意図を有していると判定する。ここで、ジェスチャ開始の意図を当該ジェスチャ認識装置に伝達するために上記所定の方向を向いているとき、ユーザの顔の位置および顔の向きは静止していると考えられる。ゆえに、単に視線方向が所定の方向で静止していることのみをジェスチャ開始の意図の判定条件とする構成に比べて、顔の位置／顔の方向が静止していることも上記判定条件に加わることによって、ユーザがジェスチャを開始しようとしているか否かをより正確に判定することができる。

また、本発明に係るジェスチャ認識装置は、上記ジェスチャを認識する領域である認識領域を設定する認識領域設定手段をさらに備えた構成であってもよい。

上記構成によれば、当該ジェスチャ認識装置は、動画像の全体においてジェスチャ認識を行うのではなく、動画像の一部領域を上記認識領域として設定し、該認識領域内でジェスチャ認識を行う。そのため、認識対象物のジェスチャ認識を実行する際、当該ジェスチャ認識装置の処理負荷を低減することができる。

また、本発明に係るジェスチャ認識装置は、外部の機器に対して、ジェスチャの認識結果に対応する処理を実行するように指示する機器制御手段をさらに備えた構成であってもよい。

上記構成によれば、上述したようなジェスチャの認識結果に対応する処理が、外部の機器において実行される。上記外部の機器とは、例えば表示装置を備えた表示機器である。これにより、ユーザは、上記表示機器などの外部の機器を、ジェスチャで操作することができる。

なお、上記ジェスチャ認識装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記ジェスチャ認識装置をコンピュータにて実現させるジェスチャ認識装置の制御プログラムも、本発明の範疇に入る。

また、上記ジェスチャ認識装置と、上記ジェスチャ認識装置が保持する各種情報をユーザに表示するための表示装置とを備え、上記ジェスチャ認識装置によって動作制御が行われる表示機器も本発明の範囲に含まれる。

以上のように、本発明に係るジェスチャ認識装置は、ユーザが動作させる認識対象物が撮影された動画から、該認識対象物によるジェスチャを認識するジェスチャ認識装置において、上記ユーザの視線方向を推定する視線方向推定手段と、所定期間において、所定の方向と上記視線方向との為す角度が所定値よりも小さい場合に、上記ユーザがジェスチャを開始しようとしていると判定する判定手段と、上記判定手段が、上記ユーザがジェスチャを開始しようとしていると判定した場合に、該判定が行われた旨を上記ユーザに通知する通知手段とを備えている。

また、本発明に係るジェスチャ認識装置の制御方法は、ユーザが動作させる認識対象物が撮影された動画から、該認識対象物によるジェスチャを認識するジェスチャ認識装置において、上記ユーザの視線方向を推定し、所定期間において、所定の方向と上記視線方向との為す角度が所定値よりも小さい場合に、上記ユーザがジェスチャを開始しようとしていると判定し、上記ユーザがジェスチャを開始しようとしていると判定した場合に、該判定が行われた旨を上記ユーザに通知する。

これにより、本発明に係るジェスチャ認識装置およびその制御方法は、ユーザが自然な動作によりジェスチャ認識を開始させることができ、かつ、ユーザによるジェスチャ開始の意図を正確に判断することができるという効果を奏する。

本発明の一実施形態に係るジェスチャ認識装置の構成を示すブロック図である。 図１に示すジェスチャ認識装置の動作を示すフローチャートである。 図１に示すジェスチャ認識装置が備えた制御手段によって設定される認識領域および顔位置を示す模式図である。 （ａ）および（ｂ）は、図１に示すジェスチャ認識装置が備えた制御手段によって推定される顔方向および視線方向を示す模式図であり、（ａ）は操作者の視線方向および顔方向が正面を向いている場合を示し、（ｂ）は操作者の視線方向および顔方向が横を向いている場合を示している。 本発明の他の実施形態に係るジェスチャ認識装置の構成を示すブロック図である。 図５に示すジェスチャ認識装置の動作を示すフローチャートである。 本発明に係るジェスチャ認識装置が適用された表示機器を示す外観図である。 一般的なジェスチャ認識の流れを説明する説明図である。

以下、本発明の実施の形態について、実施形態１および２において詳細に説明する。

〔実施形態１〕
本発明のジェスチャ認識装置１に関する実施の一形態について図１〜図４に基づいて説明すれば以下のとおりである。

（ジェスチャ認識装置１の構成）
まず、ジェスチャ認識装置１の構成について、図１を用いて説明する。同図は、ジェスチャ認識装置１の構成を示すブロック図である。

図１に示すように、ジェスチャ認識装置１は、動画撮影部１１、制御手段１２、フィードバック部（通知手段）１３、および記憶部１４を備えている。以下に、上記の各部材の詳細をそれぞれ説明する。

（１．動画撮影部１１）
動画撮影部１１は、操作者（すなわちユーザ）を含む空間の画像を撮影するものである。動画撮影部１１は、より詳細には、ジェスチャを行う主体となる操作者、および、ジェスチャ認識の対象となる認識対象物を撮像し、動画データを生成する。また、動画撮影部１１は、所定の時間（例えば１／１５秒）ごとに撮影したフレーム画像を、後述する顔検出手段１２１およびジェスチャ認識手段１２５に送出する。

（２．制御手段１２）
制御手段１２は、ジェスチャ認識装置１が備える各部を統括制御するものであり、顔検出手段１２１、視線方向推定手段１２２、意図判定手段（判定手段）１２３、認識領域設定手段１２４、ジェスチャ認識手段１２５、および表示機器制御手段１２６を含む構成である。なお、制御手段１２に含まれる各手段については、その詳細を後述する。

（３．フィードバック部１３）
フィードバック部１３は、ジェスチャ認識装置１の認識段階を操作者にフィードバックするものである。詳細には、フィードバック部１３は、制御手段１２に含まれる意図判定手段１２３、認識領域設定手段１２４、およびジェスチャ認識手段１２５から入力された制御信号に基づき、上記認識段階毎に、ユーザに対するフィードバックを行う。これにより、操作者は、自身の操作や動作が、ジェスチャ認識装置１に認識されているか否かを理解することができる。

このようなフィードバックの一つの手法として、本実施形態に係るジェスチャ認識装置１では、フィードバック部１３がＬＥＤを備えており、ジェスチャ認識装置１の認識段階毎に異なる色で、上記ＬＥＤを発光させる。

上記構成によれば、意図判定手段１２３による後述の判定結果が、ＬＥＤの色によりユーザに通知される。従って、ユーザは、上記ＬＥＤの色を確認することによって、ジェスチャ認識装置１において、上記の各判定が行われた旨を理解することができる。これにより、ユーザは、当該ジェスチャ認識装置１に対して行うべき適切な操作を判断することができる。

なお、フィードバック部１３は、ジェスチャ認識装置１のその他の構成物、すなわち動画撮影部１１などと一体となった構成でもよいし、または動画撮影部１１から分離した位置に配置することのできる構成であってもよい。また、上記ＬＥＤについて、上記ＬＥＤにおける点灯・消灯・点滅などの各発光状態を、上記認識段階毎に異なるものとする構成としてもよいし、あるいは、上記認識段階を、表示装置（図示せず）の画面に表示する構成としてもよい。なお、表示装置の画面に上記認識段階を表示する場合、その表示の仕方としては、例えば色、テキスト、アイコンなどによるものであってよい。また、これら以外にも、外部の音声出力装置（図示せず）から出力する音声により、認識段階が変化する毎に、その時点の認識段階をユーザに通知する構成であってもよい。さらに、フィードバック部１３は、認識段階毎にフィードバックを行うだけでなく、例えば、認識対象物が、後述する認識領域ＯＥから外れている場合、または、ジェスチャ認識装置１がジェスチャ認識に失敗した場合などに、それぞれフィードバックを行う構成としてもよい。

なお、上記認識段階は、例えば以下のような段階毎に、互いに区別される。
段階１：操作者を発見していない段階（すなわち、ジェスチャ認識装置１が操作者の特定／決定をしていない状態）、または操作者がジェスチャ開始を意図していないと判定している段階
段階２：操作者がジェスチャ開始の意図を有すると判定した段階（すなわち、ジェスチャ認識装置１が、操作者の顔の位置および視線方向から、操作者がジェスチャ開始を意図していると判定した段階）
段階３：認識対象物の認識を完了した段階（すなわち、ジェスチャ認識装置１が、認識領域ＯＥ内で認識対象物を検出した段階）
段階４：ジェスチャ認識が完了した段階（すなわち、ジェスチャ認識装置１が認識対象物によるジェスチャ認識処理を終了した段階）
（４．記憶部１４）
記憶部１４は、ジェスチャ認識装置１が扱う各種データを記憶するものであり、データを揮発的に記憶する一時記憶部と、データを不揮発的に記憶する記憶装置とを含む。上記一時記憶部は、ジェスチャ認識装置１が実行する各種処理の過程で、演算に使用するデータおよび演算結果等を一時的に記憶するいわゆるワーキングメモリであり、ＲＡＭなどで構成される。また、上記記憶装置は、制御手段１２が実行する制御プログラムおよびＯＳプログラム、ならびに、ジェスチャ認識装置１が有する各種機能を実行するときに読み出す各種データを記憶するものであり、ＲＯＭなどで構成される。

（制御手段１２の詳細な構成）
ここでは、制御手段１２の詳細な構成について、図１を用いて説明する。

（１．顔検出手段１２１）
顔検出手段１２１は、動画撮影部１１が撮影した画像を取得し、その画像中から人間の顔および顔位置ＦＥ（すなわち画像中において顔が占有する領域；図３参照）を検出するものである。そして、顔検出手段１２１は、各フレーム画像において推定した顔位置ＦＥを、記憶部１４に記憶する。画像中から人間の顔を抽出するには、周知の顔検出技術を利用すればよい。例えば、まずテンプレートマッチングを併用して肌色領域を抽出し、次に上記肌色領域における色の変化に基づいて眉および口の位置を推定し、推定した眉・口を含みかつ画像の縦横方向と平行な辺を有する最小の正方形の領域を、顔位置ＦＥとして設定してもよい。

（テンプレートマッチングについて）
上記テンプレートマッチングとは、入力画像などのサンプルについて、予め準備したモデルとの一致（マッチング）の程度を計算する方法のことである。

以下に、テンプレートマッチング処理の流れを簡単に説明する。なお、テンプレートマッチングのため、顔形状のテンプレートを予め記憶部１４に記憶しておく。

まず、画像から抽出した肌色領域の部分と、記憶部１４に準備した顔形状のテンプレートとを比較する。そして、上記肌色領域のうち、上記テンプレートとの類似度が所定値よりも小さい部分は、人間の顔には相当しないと判定して除外する。その後、残った肌色領域、すなわち上記テンプレートとの類似度が所定値以上の領域について、後述するジェスチャ認識処理が行われることになる。なお、テンプレートとして、互いに異なる複数のテンプレートが存在することが望ましい。この場合、テンプレートマッチング処理では、各テンプレートについてサンプルとのマッチングが計算されて、サンプルとの類似度が所定値以上であるテンプレートが存在すれば、このサンプルは人間の顔に相当すると判定されることになる。

（２．視線方向推定手段１２２）
視線方向推定手段１２２は、操作者の視線方向ＬＶ（図４の（ａ）および（ｂ）参照）を推定するものである。また、視線方向推定手段１２２は、動画撮影部１１が撮影した全てのフレーム画像毎、あるいは所定の枚数のフレーム画像毎に推定した視線方向を記憶部１４に記憶する。

（視線方向推定について）
視線方向の推定は、以下のようにして実現してもよい。

視線方向推定手段１２２は、まず、顔位置ＦＥに対応する画像領域において、目の位置を抽出する。顔位置ＦＥから目を抽出するためには、顔位置ＦＥの中から、最も輝度が高い領域を抽出すればよい。これにより、一般的には白目の領域が抽出される。抽出された白目の輪郭によって囲われる領域が、目の領域となる。続いて、視線方向推定手段１２２は、虹彩を抽出する。なお、虹彩は、輝度が高い領域である白目を周辺領域とする領域であって、かつ輝度が低い領域を抽出することによって発見することができる。このように、目および虹彩を抽出した後、視線方向推定手段１２２は、目の領域における虹彩の左右方向の偏りから、視線方向を推定する。例えば、図４の（ａ）では、操作者の視線は前方すなわち動画撮影部１１の方向を向いている。一方、図４の（ｂ）では、操作者の視線は動画撮影部１１の左方（すなわち操作者から見て右方）を向いている。

（３．意図判定手段１２３）
意図判定手段１２３は、顔位置ＦＥおよび視線方向ＬＶを記憶部１４から取得する。意図判定手段１２３は、詳細には、連続する複数のフレーム画像（例えば３０フレーム画像）における顔位置ＦＥおよび視線方向ＬＶを取得する。そして、意図判定手段１２３は、取得したフレーム画像間における顔位置ＦＥの変化量に基づいて、操作者の顔の位置が静止しているかを判定し、また、フレーム画像間における視線方向ＬＶの変化量に基づいて、操作者の視線方向が静止しているか否かを判定する。ここで、操作者は、ジェスチャ認識装置１にジェスチャを認識させたい場合、動画撮影部１１すなわちカメラを凝視する。そのため、操作者がジェスチャ開始を意図している場合、操作者の顔の位置は静止し、かつ、操作者の視線方向は動画撮影部１１を向いて静止する。そこで、意図判定手段１２３は、所定数の連続するフレーム画像において、所定の方向と視線方向ＬＶとの為す角度が所定値よりも小さく（条件Ａ）、かつ、顔位置ＦＥの変化量が所定値よりも小さい（条件Ｂ）場合に、操作者がジェスチャの開始を意図していると判定する。

詳細には、意図判定手段１２３は、以下の２つの意図判定条件がどちらも満たされる場合に、操作者がジェスチャの意図を有すると判定する。
条件Ａ．視線方向が、連続する３０フレーム画像において、動画撮影部１１と正対する方向に対して１０°の角度範囲内に存在する。すなわち、視線方向が、連続する３０フレーム画像において、虹彩の中心を頂点とし、虹彩の中心と動画撮影部１１とを結ぶ基準直線の周りに１０°の角度で拡がる円錐に含まれる。
条件Ｂ．顔位置ＦＥの中心（または重心など所定の一点）が、連続する３０フレーム画像において、顔位置ＦＥの幅（左右長さ）の１０％の長さを径とする１つの円に含まれる。

ただし、意図判定手段１２３が、操作者によるジェスチャ開始の意図を判定する条件はこれに限られない。例えば、上記条件Ａにおいて、操作者の視線が、動画撮影部１１の代わりにフィードバック部１３（図７参照）に向いて静止しているか否かを判定してもよい。あるいは、その他の所定方向または複数の所定方向のうちいずれかの方向に、操作者の視線が静止していることを判定してもよい。また、上記条件ＡおよびＢにおいて、円錐の角度／円の径の大きさは、操作者の視線方向／顔位置が静止しているとみなせる範囲内で変更してもかまわない。なお、円錐の角度／円の径を大きくするほど、操作者の視線方向／顔位置が大きく動いており、操作者がジェスチャ開始の意図を有するとは考え難い場合であっても、ジェスチャ認識装置１によるジェスチャ認識が開始されることになる。逆に、上記円錐の角度または上記円の径を狭めるほど、操作者の視線方向または顔位置がほとんど動いていない場合にのみ、ジェスチャ認識装置１によるジェスチャ認識処理が開始されることになる。

（４．認識領域設定手段１２４）
認識領域設定手段１２４は、顔位置ＦＥの周辺、詳細には顔位置ＦＥの左右の位置に、認識領域ＯＥ１、ＯＥ２を設定するものである（図３参照）。なお、認識領域ＯＥ１、ＯＥ２の大きさは、その各辺の長さが、顔位置ＦＥの対応する各辺の長さの１．５倍となるように設定される。そして、認識領域設定手段１２４は、認識領域ＯＥ１およびＯＥ２内において、認識対象物（例えば操作者の手）を抽出する。なお、操作者が、おおよそ顔の横に相当する位置で認識対象物を操作する場合、認識領域ＯＥ１、ＯＥ２は、その高さ方向の範囲が、顔位置ＦＥの高さ方向の範囲を含んでいることが望ましい。例えば、認識領域ＯＥ１およびＯＥ２の高さ方向についての中心線が、顔位置ＦＥの高さ方向についての中心線と一致するように、認識領域ＯＥ１、ＯＥ２を設定する。こうすることにより、認識領域ＯＥ１、ＯＥ２の高さ方向の中心と顔位置ＦＥの高さ方向の中心とが一致する。さらに、前述のように、認識領域ＯＥ１、ＯＥ２の辺の長さは顔位置ＦＥの辺の長さの１．５倍である。従って、認識領域ＯＥ１、ＯＥ２の高さ方向の範囲が、顔位置ＦＥの高さ方向の範囲を含むことになる。

上記構成によれば、ユーザの顔の左右となる位置に認識領域ＯＥ１、ＯＥ２が設定される。従って、ユーザは、自分の手を認識対象物としてジェスチャを行う場合、自分の顔の左右いずれかの位置に手を挙げればよいことになる。すなわち、ユーザは、自分の顔の左右どちらかに手を挙げるという自然な振る舞いで、ジェスチャを行うことができる。

あるいは、認識領域設定手段１２４は、認識対象物が操作者の手である場合、以下のように、操作者の手（指）を発見した後に認識領域ＯＥ´を設定してもよい。

認識領域ＯＥ´の設定において、まず、認識領域設定手段１２４は、顔位置ＦＥの周辺の領域を、探索領域として設定する。上記探索領域は、例えば、顔位置ＦＥの左右の側辺の一方から、画像の側端のうち該側辺に近い側端までの領域であってもよいし、または、顔位置ＦＥを除く画像領域の全体であってもよい。

次に、認識領域設定手段１２４は、上記探索領域内において、連続するフレーム画像の背景差分を行うことによって、顔位置ＦＥを除く画像領域から前景を抽出する。次に、認識領域設定手段１２４は、抽出した前景における先端部（より正確には上端部）を抽出する。ここで、先端部（上端部）を抽出するには、例えば、縦方向には所定以上の長さで同色（例えば肌色）が連続する一方、横方向に上記同色が連続する長さは所定未満である長細い形状の領域を抽出すればよい。例えば、図３に示すように、顔位置ＦＥの横側で、操作者が人差し指を立てた状態である場合、認識領域設定手段１２４は、顔位置ＦＥを除く画像領域から前景を抽出することによって操作者の手を抽出する。次に、認識領域設定手段１２４は前景の先端部を抽出することによって、操作者の人差し指の先端を抽出することになる。その後、認識領域設定手段１２４は、抽出した人差し指の先端を中心として認識領域ＯＥ´を設定する。なお、認識領域ＯＥ´の大きさは、認識領域ＯＥ１、ＯＥ２と同様、顔位置ＦＥの各辺に対しする各辺がそれぞれ１．５倍の長さを有する正方形とする。

上記構成によれば、認識領域設定手段１２４は、まず、画像から前景となる領域を抽出し、次に、抽出した前景領域において特定形状を有する特定部位（人差し指の先端）を検出して、上記特定部位の特定位置を中心とする認識領域ＯＥ´を設定する。ここで、ユーザがジェスチャを実行する際、ジェスチャ認識装置１の直前にユーザがおり、ジェスチャ認識装置１とユーザとの間に他の物体が存在しない状態となると考えられ、画像においては、ユーザの顔および認識対象物が前景になると考えられる。そのため、認識領域設定手段１２４が画像からユーザの顔を除く前景領域を抽出することにより、認識対象物（ユーザの手）が抽出されることになる。

次に、上記前景領域すなわち認識対象物の特定形状が検出される。なお、上記特定形状は、ユーザがジェスチャを行う手の形状、例えば、本実施形態のように、人差し指のみを延ばした手の形状としてもよい。また、上記特定部位の特定位置は、例えば、本実施形態のように、人差し指の先端としてよい。この場合には、ユーザの手の人差し指を中心として、操作領域ＯＥ´が設定されることになる。

従って、ユーザは、自分にとってジェスチャを行いやすい所望の位置まで、上記特定部位を持ってくることにより、認識領域設定手段１２４に、所望の位置を中心として操作領域ＯＥ´を設定させることができる。

ここで、認識領域ＯＥ´の設定を行うとき、抽出された前景におけるフレーム画像間の差分が所定値よりも小さくなるまで、前景の先端部を決定しないことが望ましい。その理由は、前景におけるフレーム画像間の差分が大きいとき、操作者は、ジェスチャを行おうとする所望の位置、例えば顔の横の位置まで、認識対象物を移動させている途中であることが考えられる。その場合、認識対象物が移動中に認識領域が設定されるので、その設定位置が操作者の所望の位置とは異なる位置となる可能性があるためである。

（５．ジェスチャ認識手段１２５）
ジェスチャ認識手段１２５は、認識領域ＯＥ１およびＯＥ２内において、認識対象物の位置、形状、および変位を認識する。認識対象物の認識の方法としては、例えば、フレーム画像毎に手の位置の変位を抽出する方法、あるいはＨＭＭなどのモデルを利用した方法などを挙げることができる。

（ジェスチャ認識について）
ジェスチャ認識を行うため、上述のように、フレーム画像間において認識対象物の位置の変位を測定する方法、および／またはＨＭＭを用いた方法を使用することができる。詳細には、認識対象物の位置の変位を測定する方法によれば、操作者が認識対象物を移動させると、ジェスチャ認識装置１と接続されている表示装置に表示されたポインタＰを、認識対象物が移動した方向・距離に動かすといった処理が可能になる。また、ＨＭＭを用いた方法では、まず、ジェスチャ認識装置１が認識するジェスチャの種類毎のモデルを、データベースにして記憶部１４に記憶しておく。その後、ジェスチャ認識装置１に入力された画像に対して、ジェスチャ認識手段１２５は、上記データベースに含まれる各モデルの尤度を計算する。その結果、入力画像に対する尤度値が所定値以上である１つまたは複数のモデルが発見された場合、ジェスチャ認識手段１２５は、それらのモデルのうち尤度が最も高いモデルに対応するジェスチャを、入力画像から認識したジェスチャとする。

（６．表示機器制御手段１２６）
表示機器制御手段１２６は、ジェスチャ認識装置１外部の表示機器において、ジェスチャ認識手段１２５によるジェスチャ認識の結果に対応する処理を実行するものである。詳細には、表示機器制御手段１２６は、まず、記憶部１４に記憶された、ジェスチャの種類毎にそれぞれ対応する処理内容を示すジェスチャ−処理内容対応テーブルを参照する。これにより、表示機器制御手段１２６は、上記表示機器において、ジェスチャ認識手段１２５によるジェスチャの認識結果に対応する処理を実行する。

図７を参照しつつ、表示機器制御手段１２６による表示機器１０００の制御を説明すると、表示機器制御手段１２６は、まず、ジェスチャ認識結果に基づいて決定した処理内容を指示する制御信号を、表示機器１０００が備えた制御機能部（図示せず）に送信する。すると、上記制御機能部は、表示機器制御手段１２６の送信した制御信号を受信して、上記処理内容を実行する。上記処理内容とは、例えば、認識対象物の変位の認識結果に基づき、表示装置２に表示されたポインタＰを移動させる処理である。あるいは、操作者が手で所定の形状を作るジェスチャを行ったことを認識した場合に、上記ポインタＰと重なる位置に表示されているアイコンが選択される処理であってもよい。このように、操作者は、表示装置２の画面に接触することなく、認識対象物を用いた簡単な操作によって、表示機器１０００の操作を行うことができる。

（７．その他の手段について）
なお、制御手段１２は、以上に説明した各手段の他に、顔検出手段１２１が検出した人物を操作者として認定するか否かを決定し、また、複数の操作者候補が存在する場合に、いずれの人物を操作者として認定するか否かを決定する顔認証手段（図示せず）をさらに含んでいてもよい。例えば、顔検出手段１２１によって複数の顔が検出された場合、上記顔認証手段は、検出された各々の顔の特徴を抽出して、記憶部１４に予め記憶した操作者リスト（操作者として認定する人物）に含まれる人物の顔の特徴と一致するか否か、それぞれ判定する。このとき、操作者リストに含まれる人物には優先順位が設定されており、上記顔認証手段は、顔検出手段１２１が検出した全ての人物の中から、優先順位の最も高い人物を操作者として認定する。あるいは、複数の顔が検出された場合、上記顔認証手段は、画像において顔が最も大きな領域を占める人物（すなわち、動画撮影部１１に最も近い位置にいる人物）を操作者として認定してもよい。また、上記顔認証手段は、顔検出手段１２１が検出した人物が上記操作者リストに含まれないと判定した場合には、その人物を操作者として認定しなくてもよい。

（ジェスチャ認識処理の流れ）
ここでは、制御手段１２によって実行されるジェスチャ認識処理の流れについて、図２を用いて説明する。ジェスチャ認識処理では、操作者の顔の位置と視線の方向とに基づいて、操作者がジェスチャ開始の意図を持つか否かを判定し、操作者がジェスチャ開始の意図を持つと判定した場合に、ジェスチャ認識を開始する。以下に、図２に示すフローチャートに従って、ジェスチャ認識処理の詳細を説明する。なお、ここでは、操作者が扱う認識対象物は操作者自身の手であるとする。

ここで、初期状態において、フィードバック部１３が備えたＬＥＤは消灯されている状態である。なお、その他の構成例として、初期状態において、フィードバック部１３は、ジェスチャ認識装置１が待機状態であることを示す色で、上記ＬＥＤを発光させていてもよい。

さて、ジェスチャ認識処理においては、まず、顔検出手段１２１が顔検出を実行する（Ｓ１０１）。なお、顔検出の方法は前述のとおりである。そして、顔検出手段１２１は、検出した顔が占有する画像領域を、顔位置ＦＥとして設定する。顔検出手段１２１は、フレーム画像毎に検出した顔位置ＦＥのデータを記憶部１４に記憶する。

次に、視線方向推定手段１２２が、操作者の視線方向を推定する（Ｓ１０２）。詳細には、視線方向推定手段１２２は、上記顔位置ＦＥにおいて、前述のように、目および虹彩を抽出した後、それらに基づいて視線方向を推定する。視線方向推定手段１２２は、フレーム画像毎に推定した視線方向のデータを記憶部１４に記憶する。

その後、意図判定手段１２３は、視線方向が静止しているか否かを判定する（Ｓ１０３）。詳細には、意図判定手段１２３は、連続する複数のフレーム画像（例えば３０フレーム画像）における視線方向を記憶部１４から取得し、それらの視線方向に基づいて、操作者の視線方向が静止しているか否か判定する。意図判定手段１２３が、視線方向は静止していないと判定した場合（ステップＳ１０３でｎｏ）、視線方向推定のステップＳ１０２に戻る。

続いて、意図判定手段１２３は、顔検出手段１２１によって検出された顔位置が静止しているか否か判定する（Ｓ１０４）。詳細には、意図判定手段１２３は、連続する複数のフレーム画像（例えば３０フレーム画像）における顔位置を記憶部１４から取得し、それらの顔位置に基づいて、操作者の顔が静止しているか否か判定する。意図判定手段１２３が、顔位置は静止していないと判定した場合（ステップＳ１０４でｎｏ）、顔検出を行うステップＳ１０１に戻る。

一方、意図判定手段１２３が、顔位置は静止していると判定した場合（ステップＳ１０４でｙｅｓ）、認識領域設定手段１２４は、顔位置ＦＥの周辺領域に認識領域ＯＥ１、ＯＥ２（図３参照）を設定する（Ｓ１０５）。すなわち、視線方向が静止しているという条件（条件Ａ）と共に、顔位置が静止しているという条件（条件Ｂ）が満たされた場合にのみ、意図判定手段１２３は、操作者がジェスチャ開始を意図していると判定して、認識領域設定手段１２４による認識領域ＯＥ１、ＯＥ２の設定が行われることになる。なお、操作者がジェスチャ開始を意図していると判定されたとき（すなわちステップＳ１０４の後、ステップＳ１０５の前）、意図判定手段１２３は、フィードバック部１３に対し、ＬＥＤを赤色で発光させるよう指示する制御信号を送出する。こうして、ＬＥＤが赤色で発光するので、操作者は、ジェスチャ開始の意図がジェスチャ認識装置１に認識されたことを理解することができる。

なお、上記ステップＳ１０１〜Ｓ１０４の順番を以下のように変更してもよい。すなわち、この場合、まず顔検出を行い（上記ステップＳ１０１）、次に顔位置の静止を判定する（上記ステップＳ１０４）。その後、顔位置が静止していた場合、視線方向推定を行い（上記ステップＳ１０２）、次に視線方向の静止を判定する（上記ステップＳ１０３）。

続いて、ジェスチャ認識手段１２５は、認識領域ＯＥ１およびＯＥ２において、認識対象物の検出を行う（Ｓ１０６）。認識対象物を検出した後、ジェスチャ認識手段１２５は、ＬＥＤの色を青色に変化させるよう、フィードバック部１３に指示する制御信号を送出する。こうして、ＬＥＤの発光色が赤色から青色に変化することにより、操作者は、ジェスチャ認識装置１がジェスチャ認識を受け付ける状態となったことを、理解することができる。

その後、ジェスチャ認識手段１２５は、認識対象物のジェスチャ認識を開始する。ジェスチャ認識手段１２５は、詳細には、認識対象物の位置、変位、および形状を認識する（Ｓ１０７）。ジェスチャ認識が完了した後、ジェスチャ認識手段１２５は、ＬＥＤの色を緑色に変化させるよう、フィードバック部１３に指示する。こうして、ＬＥＤが青色から緑色に変化することによって、操作者は、ジェスチャ認識装置１がジェスチャ認識を完了したことを理解することができる。

このように、操作者は、ジェスチャ認識処理の各段階において、ジェスチャ認識装置１から認識段階をフィードバックされる。これにより、操作者は、フィードバックを確認することにより、ジェスチャを開始すべきタイミングを計ったり、あるいはジェスチャの修正を行ったりすることができる。

ジェスチャ認識手段１２５によるジェスチャ認識が完了した後、表示機器制御手段１２６が、表示機器が備えた制御機能部と協働することにより、該表示機器において、ジェスチャ認識の結果に対応する処理を実行する。

〔変形例〕
実施形態１に係るジェスチャ認識装置１の変形例について、図５および図６に基づいて説明すれば、以下のとおりである。ここで、図５は、本変形例に係るジェスチャ認識装置１ａの構成を示すブロック図であり、図６は、ジェスチャ認識装置１ａが備えた制御手段２２によって実行されるジェスチャ認識処理αの流れを示すフローチャートである。以下では、説明の便宜上、実施形態１で説明した図面と同じ機能を有する部材については、同じ符号を付記して、その説明を省略することとする。

なお、本変形例は、以下の考察に基づいている。操作者が、ジェスチャ認識装置１にジェスチャを認識させるため、動画撮影部１１を凝視するとき、操作者の視線方向が動画撮影部１１を向いて静止するとともに、操作者の顔の向きは、動画撮影部１１に正対して静止する。そこで、顔検出手段１２１によって検出された顔の位置の変化量が所定値よりも小さく、かつ、顔方向推定手段１２７によって推定された顔の向きと所定の方向との為す角度が所定値よりも小さい場合、操作者はジェスチャの開始を意図していると考えられる。すなわち、本変形例では、前記実施形態１のように顔位置が静止していることを上記意図判定条件の１つとする代わりに、顔方向が所定の方向で静止していることを上記意図判定条件の１つとしている。ここで、顔方向の上記所定の方向とは、具体的には動画撮影部１１に正対する方向であってもよい。前記実施形態１では、操作者の顔が所定の方向、例えば動画撮影部１１の方向を向いていない状態で、その顔の位置が静止している場合であっても、ジェスチャ開始を意図していると判定される可能性があった。一方、本変形例では、顔の方向が所定の方向で静止していることに基づいて、操作者がジェスチャ開始を意図していることを判定するので、より正確に操作者のジェスチャ開始の意図を判定することができる。

本変形例に係るジェスチャ認識装置１ａでは、図５に示すように、制御手段２２が、制御手段１２の構成に加えて、操作者の顔方向を推定する顔方向推定手段１２７をさらに含んでいる。この顔方向推定手段１２７は、顔検出手段１２１から取得した顔位置ＦＥ（図３参照）内において、操作者の顔方向を推定するものである。なお、顔方向を推定する方法については、下記の通りである。そして、本変形例のジェスチャ認識処理αでは、図６に示すように、上で説明したジェスチャ認識処理において、操作者の顔位置が静止しているか否かが判定される（図２のステップＳ１０４参照）代わりに、顔方向が静止しているか否かが判定される（図６のステップＳ１０４ａおよびＳ１０４ｂ参照）。

（顔方向の推定について）
人の顔の向き（言い換えれば頭の向き）を推定するためには、前述した視線方向の推定を応用することができる。詳細には、動画像から前述のように抽出した両目が、顔位置ＦＥの横方向の中心線ＣＬに対して対称な位置にある場合（図４の（ａ）参照）、顔方向推定手段１２７は、顔の向きはジェスチャ認識装置１（正確にいえば動画撮影部１１）に対して正対していると判断する。一方、抽出した目の位置が、上記中心線ＣＬに対して非対称な位置にある場合（図４の（ｂ）参照）、顔方向推定手段１２７は、顔の向きはジェスチャ認識装置１に対して正対していない、すなわち操作者は横を向いていると判断する。

以下に、本実施形態のジェスチャ認識装置１ａにおけるジェスチャ認識処理αについて、図６に示すフローチャートを用いて説明する。なお、ジェスチャ認識処理αにおいて、ステップＳ１０１〜Ｓ１０３、Ｓ１０５〜Ｓ１０７については、前記実施形態１におけるジェスチャ認識処理の流れと同様であるから、その説明を省略する。

（ジェスチャ認識処理αの流れ）
ステップＳ１０３において、意図判定手段１２３が、視線方向は静止していると判定した場合（ステップＳ１０３でｙｅｓ）、顔方向推定手段１２７は、顔方向の推定を行う（Ｓ１０４ａ）。その後、意図判定手段１２３は、連続する複数のフレーム画像（例えば３０フレーム画像）において、顔方向が所定の方向で静止しているか否か判定する（Ｓ１０４ｂ）。顔方向が所定の方向で静止していないと判定された場合（ステップＳ１０４ｂでｎｏ）、ステップＳ１０２に戻り、再び視線方向の推定が行われる。

一方、顔方向が静止していると判定された場合（ステップＳ１０４ｂでｙｅｓ）、ステップＳ１０５に進み、前述のジェスチャ認識処理と同様、認識領域設定手段１２４によって、認識領域ＯＥ１、ＯＥ２（図３参照）の設定が行われる。

すなわち、本実施形態においては、視線方向が所定の方向で静止しているという条件（条件Ａ）と共に、顔方向が所定の方向で静止しているという条件（条件Ｂ´）が満たされた場合（ステップＳ１０３およびＳ１０４ｂで共にｙｅｓ）にのみ、意図判定手段１２３は、操作者がジェスチャ開始を意図していると判定し、認識領域設定手段１２４による認識領域ＯＥ１、ＯＥ２の設定が行われることになる。なお、操作者の顔が所定の方向で静止する条件Ｂ´は、詳細には、例えば以下のようである。
条件Ｂ´．連続する３０フレーム画像において、操作者の右目から中心線ＣＬまでの距離と、操作者の左目から中心線ＣＬまでの距離との差が、顔位置ＦＥの幅の１０％以下である。

なお、本変形例では、視線方向が静止しているという条件（条件Ａ）と、顔方向が静止しているという条件（条件Ｂ´）とがどちらも満たされた場合に、操作者がジェスチャ開始を意図しているかと判定するとしたが、本発明はこれに限られず、上記条件Ｂ´の代わりに、例えば、操作者の口が特定の形状変化（例えば「おーい」と叫ぶような口の形状変化）を示したことを条件（条件Ｂ´１）としてもよいし、あるいは操作者から特定の音声（声や手を叩く音など）が発せられたことを条件（条件Ｂ´２）としてもよい。さらに、ここで述べた条件Ｂ´１、Ｂ´２の両方またはいずれか一方を、条件ＡおよびＢ´に追加して、その全ての条件が満たされる場合に、意図判定手段１２３は、操作者がジェスチャ開始を意図していると判定としてもよい。特に、条件Ｂ´２のように、操作者から所定の音声が発せられたことを意図判定条件の１つとする場合、ジェスチャ認識装置１は、２つのマイクをさらに備える。この２つのマイクは互いに異なる位置に設置されており、音声が発せられたときに、各々のマイクが設置された位置でその音声を録音する。これにより、意図判定手段１２３は、上記２つのマイクで録音された音声から、その音声が発せられた位置を特定することができる。そして、意図判定手段１２３は、音声が発せられた位置に存在する人物が、顔検出手段１２１により顔を検出された操作者であれば、条件Ｂ´２は満たされたと判定する。これにより、操作者以外の人物が上記特定の音声を発した場合、その人物は操作者とは異なる位置にいるので、条件Ｂ´２が満たされないと判定されることになる。

〔実施形態２〕
本発明に係る表示機器１０００について、図７に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、実施形態１および変形例で説明した図面と同じ機能を有する部材については、同じ符号を付記して、その説明を省略することとする。

（表示機器１０００の構成）
図７に外観を示す表示機器１０００は、ジェスチャ認識装置１および表示装置２を備えたものである。表示機器１０００において、ジェスチャ認識装置１の代わりに、前記変形例のジェスチャ認識装置１ａを適用することもできる。なお、表示機器１０００は、具体的にはパーソナルコンピュータである。しかしながら、本発明はこれに限られず、表示機器１０００は、テレビジョン受像機、インターネットテレビ、またはタブレット端末など、制御機能および表示機能を備えた各種表示機器であってもよい。

また、ジェスチャ認識装置１は、表示装置２の上側に、当該表示装置２の上辺と接するように設置されている。また、ジェスチャ認識装置１は、表示装置２の画面に正対する方向に位置する操作者（ユーザ）から、動画撮影部１１およびフィードバック部１３が見えるように設置されている。これにより、操作者は、フィードバック部１３によるフィードバックを確認しつつ表示装置２の画面を見ることができ、また、動画撮影部１１は、画面の前に位置する操作者の動画を撮影することができる構成になっている。

なお、図７では、ジェスチャ認識装置１が表示装置２の上側に設置されているが、ジェスチャ認識装置１が設置される位置について特に制限はなく、表示装置２の下側・左側・右側に設置されてもよいし、または表示装置２と一体となった構成であってもよい。ジェスチャ認識装置１と表示装置２とが一体となった構成としては、例えば、表示装置２の画面の周りを囲うフレームに、動画撮影部１１が埋め込まれた構成としてもよい。さらに、表示装置２がウェブカメラを備えている場合には、このウェブカメラを動画撮影部１１の代用とすることができ、この場合、ジェスチャ認識装置１の全体がソフトウェア的に実現されることになる。

（表示機器１０００の制御について）
本実施形態における表示機器制御手段１２６は、ジェスチャ認識手段１２５から取得したジェスチャ認識結果に基づいて、表示装置２における表示を制御する。表示機器制御手段１２６は、例えば、上記表示機器１０００がさらに備えた制御機能部（図示せず）と協働することによって、表示装置２に表示されたポインタＰを制御する。このポインタＰは、ジェスチャ認識装置１が認識対象物のジェスチャを認識した結果に基づき、認識対象物のジェスチャと連動する。すなわち、操作者が認識領域ＯＥ１、ＯＥ２内において認識対象物の操作を行うと、表示装置２の画面内において、ポインタＰが認識対象物の操作に連動する。このように、操作者は、表示装置２の画面に接触したり、あるいはリモコンなどの道具を使用したりすることなく、画面に表示されたポインタＰの操作を行うことができる。

次に、表示機器１０００の使用例を説明する。まず、操作者が、（フィードバック部１３が備えたＬＥＤの色が青色であること、すなわちジェスチャ認識装置１がジェスチャを受け付ける状態であることを確認した上で）認識領域ＯＥ１、ＯＥ２内で、認識対象物（手）を用いたジェスチャを行う。認識対象物のジェスチャは動画撮影部１１によって撮影されて、ジェスチャ認識手段１２５によって認識された後、表示機器制御手段１２６に入力される。すると、表示機器制御手段１２６は、ジェスチャの認識結果に基づいて決定したポインタＰの制御内容を、表示装置２が備えた上記制御機能部に送信する。こうして、表示機器制御手段１２６は、上記制御機能部と協働することにより、表示装置２に表示されたポインタＰを制御する。なお、表示機器制御手段１２６は、単にポインタＰの動作を制御するのみでなく、認識対象物の形状に対応する処理内容を実行することができる構成であってもよい。これにより、例えば、操作者が手を握る動作を行った場合、表示機器制御手段１２６は、ポインタＰと重なる位置に表示されているアイコンが選択されるよう制御するといったことが可能となる。

なお、本実施形態に係る表示機器１０００において、フィードバック部１３は、表示装置２とは別体として設けられている構成であり、また前記実施形態１と同様、ＬＥＤの発光によって操作者にフィードバックを行う構成である。しかしながら、本発明はこれに限られず、表示装置２の表示により、操作者に対するフィードバックを行う構成としてもよい。例えば、画面の一部に表示したアイコン、テキスト、色によって、操作者に対するフィードバックを行ってもよい。その他、表示装置２が備えた音声出力装置（図示せず）から出力する音声によってフィードバックを行ってもよい。なお、これらの構成の場合、フィードバック部１３はソフトウェア的に実現され、制御手段１２に含まれることになる。

（まとめ）
以上のように、本発明によれば、操作者が、例えば手を振るなどの特別な開始動作を行うことなく、ジェスチャ認識装置１、１ａにジェスチャを認識させることができる。さらに、操作者は、ジェスチャ認識装置１、１ａから認識段階をフィードバックされるので、このフィードバックを確認することによって、適切な操作を行うことができる。さらに、操作者は、リモコン、マウス、またはグローブなどの特別な道具を使用することなく、かつ、表示装置２の画面に接触することなく、操作者自身の手などを認識対象物として用いて、表示機器１０００の操作を行うことができる。すなわち、本発明に係るジェスチャ認識装置１、１ａは、操作者が、自然でスムーズ、かつインタラクティブな操作を、表示機器１０００に対して行うためのインタフェースを提供する。

なお、本発明は上述した各実施形態１、２および変形例に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、実施形態１、２および変形例にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。

〔ソフトウェアによる実現例〕
最後に、ジェスチャ認識装置１、２の各ブロック、特に制御手段１２、２２に含まれる各手段は、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。

後者の場合、ジェスチャ認識装置１、１ａは、各機能を実現するプログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるジェスチャ認識装置１、１ａの制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記ジェスチャ認識装置１、２に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、一時的でない有形の媒体（non-transitory tangible medium）、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ（登録商標）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable logic device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。

また、ジェスチャ認識装置１、１ａを通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は、表示装置を備えた各種表示機器、特にテレビジョン受像機、パーソナルコンピュータ、およびタブレット端末などに利用することができる。

１、１ａ ジェスチャ認識装置
２ 表示装置
１０００ 表示機器
１３ フィードバック部（通知手段）
１２１ 顔検出手段
１２２ 視線方向推定手段
１２３ 意図判定手段（判定手段）
１２４ 認識領域設定手段
１２７ 顔方向推定手段

Claims (9)

1. ユーザが撮影された動画から、該ユーザによるジェスチャを認識するジェスチャ認識装置において、
   上記ユーザの視線方向を推定する視線方向推定手段と、
   所定期間において、所定の方向と上記視線方向との為す角度が所定値よりも小さい場合に、上記ユーザがジェスチャを開始しようとしていると判定する判定手段と、
   上記判定手段が、上記ユーザがジェスチャを開始しようとしていると判定した場合に、該判定が行われた旨を上記ユーザに通知する通知手段とを備えたことを特徴とするジェスチャ認識装置。
2. 上記通知手段は、当該ジェスチャの認識開始または終了の少なくともいずれか一方を判定した場合にも、該判定が行われた旨を上記ユーザに通知することを特徴とする請求項１記載のジェスチャ認識装置。
3. 動画において上記ユーザの顔の位置を検出する顔検出手段をさらに備え、
   上記判定手段は、所定期間において、所定の方向と上記視線方向との為す角度が所定値よりも小さいとともに、上記顔検出手段によって検出された顔の位置の変化量が所定値よりも小さい場合に、上記ユーザがジェスチャを開始しようとしていると判定することを特徴とする請求項１または２に記載のジェスチャ認識装置。
4. 動画において上記ユーザの顔の向きを推定する顔方向推定手段をさらに備え、
   上記判定手段は、所定期間において、所定の方向と上記視線方向との為す角度が所定値よりも小さいとともに、上記顔方向推定手段によって推定された顔の向きと所定の方向との為す角度が所定値よりも小さい場合に、上記ユーザがジェスチャを開始しようとしていると判定することを特徴とする請求項１または２に記載のジェスチャ認識装置。
5. 上記ジェスチャを認識する領域である認識領域を設定する認識領域設定手段をさらに備えたことを特徴とする請求項１または２に記載のジェスチャ認識装置。
6. 外部の機器に対して、ジェスチャの認識結果に対応する処理を実行するように指示する機器制御手段をさらに備えたことを特徴とする請求項１〜５のいずれか一項に記載のジェスチャ認識装置。
7. 請求項６記載のジェスチャ認識装置と、上記ジェスチャ認識装置によって動作制御が行われる表示装置とを備えた表示機器。
8. ユーザが撮影された動画から、該ユーザによるジェスチャを認識するジェスチャ認識装置の制御方法であって、
   上記ユーザの視線方向を推定し、
   所定期間において、所定の方向と上記視線方向との為す角度が所定値よりも小さい場合に、上記ユーザがジェスチャを開始しようとしていると判定し、
   上記ユーザがジェスチャを開始しようとしていると判定した場合に、該判定が行われた旨を上記ユーザに通知することを特徴とするジェスチャ認識装置の制御方法。
9. 請求項８に記載のジェスチャ認識装置の制御方法の各処理をコンピュータに実行させるための制御プログラム。

Images