JP5515067B2 - 操作入力装置および操作判定方法並びにプログラム - Google Patents

Description

本発明は、操作入力装置および操作判定方法に関し、より詳細には、ビデオカメラ等により撮影した画像から測定対象の動作の判定を行う操作入力装置および操作判定方法に関する。

近年、コンピュータやゲーム機器などにおいて、種々の入力方法が採用されている。たとえば、操作者の予め定めたジェスチャ等の動作をカメラで撮像する等して認識し、そのジェスチャがいずれの操作内容かを判定するシステムが提案されている。例えば、特許文献１には、ＣＣＤカメラで撮像した画像中の物体の形状、動きを認識するホストコンピュータと、ホストコンピュータによって認識した物体の形状、動きを表示するディスプレイとを備え、ＣＣＤカメラにユーザが向い、手振り等によって指示を与えると、与えた手振りがディスプレイの表示画面上に表示され、表示画面上に表示した仮想スイッチ等を手振りによって矢印カーソルのアイコンで選択でき、マウス等の入力装置を必要とせず、非常に簡便な機器の操作が可能となる技術が提案されている。

一方、コンピュータの操作において、操作者は、マウスを動かすことによって、ディスプレイに表示されたボタンや入力フィールドなどの所定の位置にポインタを合わせ、クリック等により、「ボタンを押下する」あるいは「入力フィールドの入力を開始する」といった操作内容を確定させる。このように、従来、マウスを用いることにより、ポインティングあるいはフォーカス（選択）し、所定の位置でクリックボタンを１度押すことによりその場所の選択等をすることができる。また、クリックボタンを連続して２度押下することによりポインティングされた位置に関連付けされた様々なアプリケーションを実行させることができる（いわゆる、ダブルクリック)。あるいは、ポインティングされた位置と移動先とを紐付けるドラッグなどの操作が可能となっている。入力キーボードは通常、数値や文字などの具体的な情報の入力に用いられ、したがって、操作者は所望の情報を出力させたり、必要な情報を入力したりするため、マウスによる移動とキーボードによる入力を繰り返し行うこととなる。

また、操作者が特別な機器を装着することなく、操作者の操作に関する利便性をより向上させることを目的とし、操作者に対して、キーボードやマウス等に相当する操作手段を適切な空間部分に、例えば仮想平面Ｇや仮想キーボードＨを定義することで、操作者が表示画像に対して、マウス操作であるクリック操作、ドラック操作、ダブルクリック操作等を行うことや、所望する線、図形、或いは、文字等を描画、入力することを可能にする技術が提案されている（例えば特許文献２を参照）。

特開２００４−７８９７７号公報 特開２００４−２５８７１４号公報

しかしながら、マウスやキーボード、タッチパネル等のデバイスを使用しないジェスチャ操作等は、非直感的で複雑な動作を要するものや、大振りな動作により身体的負担を強いられるもの、特許文献２の発明のような操作する手で操作対象画面を自ら見えにくくするもの、ジェスチャ操作の動作間の「つなぎ」の曖昧さに起因する誤認識の問題等により、実既存の技術では満足されていなかった。特に、特許文献２の発明は、特別な機器等を装着せずに操作入力ができ、一見有効な技術と思われる。しかし、操作する手自体が対象画面を覆い隠してしまうといった視認性の問題と、「選択」から「決定」へ至る２つの操作ステップが明確に区別されていない問題とから、その実施は非常に困難と言える。

本発明は、このような問題に鑑みてなされたもので、操作者が表示装置に相対して操作する際に直感的かつ簡素でありながら、誤認識の発生率が低く、長時間の操作においても操作者に負担が少ない動作入力を的確に判定することが可能な操作入力装置および操作判定方法並びにプログラムを提供することを目的とする。

このような目的を達成するために、請求項１に記載の発明は、操作入力装置であって、操作者が閲覧する画像を表示する表示手段と、操作者に向けて表示手段の近傍に配置され、操作者の画像データを生成する撮像手段と、撮像手段により読取られた操作者の画像により定められる領域であって、操作者の一部が表示手段に表示された所定の標示を制御することができる制御領域、および標示の表示手段の表示面上の位置に関連する操作が行われたか否かを判定する判定領域を予め設定する領域設定手段と、操作者の画像から操作者の一部を抽出して、操作者の一部が設定された制御領域内にあるとき、操作者の一部と表示手段との位置関係に応じて標示を移動する制御手段と、操作者の画像から操作者の一部を抽出して、設定された判定領域内における操作者の一部の動作に応じて、標示の表示手段の表示面上の位置に関連する操作が行われたか否かを判定する操作判定手段とを備え、前記領域設定手段は、前記制御領域および前記判定領域を、前記操作者の画像から抽出された顔面を中心とした左右領域に分割配置し、前記制御手段は、指の動きに応じて、アイコンの形状、色、および透明度の少なくとも一つを変化させることを特徴とする。

請求項２に記載の発明は、請求項１に記載の操作入力装置において、制御領域と判定領域とは、操作者を中心にそれぞれ左右のいずれかにあり、制御範囲設定手段で抽出される操作者の一部と、操作判定手段で抽出される操作者の一部とは異なることを特徴とする。

請求項３に記載の発明は、請求項２に記載の操作入力装置において、領域設定手段は、読み取られた画像から操作者の顔面を抽出して操作者の中心を定めることを特徴とする。

請求項４に記載の発明は、請求項1ないし４のいずれかに記載の操作入力装置において、操作判定手段は、撮像手段により読取られた操作者の予め定められた一連の動作により、制御領域と判定領域とがそれぞれ左右のいずれに配置するかを定めることを特徴とする。

請求項５に記載の発明は、領域設定手段は、請求項２または３に記載の操作入力装置において、撮像手段により読取られた操作者の予め定められた一連の動作に基づいて、制御領域および判定領域を予め設定することを特徴とする。

請求項６に記載の発明は、請求項１ないし５のいずれかに記載の操作入力装置において、領域設定手段は、判定領域と、制御領域とが重ならないように予め設定することを特徴とする。

請求項７に記載の発明は、請求項１ないし６のいずれかに記載の操作入力装置において、制御領域および判定領域は、操作者の視点と表示手段の表示面の各頂点とを結んで定められる領域にかからない領域であることを特徴とする。

請求項８に記載の発明は、操作者が閲覧する画像を表示する表示手段と、表示手段の操作者に向けて表示手段の近傍に配置され、表示手段を見る操作者の画像データを生成する撮像手段とを備えた操作入力装置により操作入力をする方法であって、撮像手段により読取られた操作者の画像により定められる領域であって、操作者の一部が表示手段に表示された所定の標示を制御することができる制御領域、および標示の表示手段の表示面上の位置に関連する操作が行われたか否かを判定する判定領域を予め設定する領域設定ステップと、操作者の画像から操作者の一部を抽出して、操作者の一部が設定された制御領域内にあるとき、操作者の一部と前記表示手段との位置関係に応じて標示を移動する制御ステップと、操作者の画像から操作者の一部を抽出して、設定された判定領域内における操作者の一部の動作に応じて、標示の表示手段の表示面上の位置に関連する操作が行われたか否かを判定する操作判定ステップと、を備え、前記領域設定ステップにおいて、前記制御領域および前記判定領域を、前記操作者の画像から抽出された顔面を中心とした左右領域に分割配置し、前記制御ステップにおいて、指の動きに応じて、アイコンの形状、色、および透明度の少なくとも一つを変化させることを特徴とする。

請求項９に記載の発明は、操作者が閲覧する画像を表示する表示手段と、表示手段の操作者に向けて表示手段の近傍に配置され、表示手段を見る操作者の画像データを生成する撮像手段とを備えた操作入力装置に操作入力方法を実行させるプログラムであって、操作入力方法は、撮像手段により読取られた操作者の画像により定められる領域であって、操作者の一部が表示手段に表示された所定の標示を制御することができる制御領域、および標示の表示手段の表示面上の位置に関連する操作が行われたか否かを判定する判定領域を予め設定する領域設定ステップと、操作者の画像から操作者の一部を抽出して、操作者の一部が設定された制御領域内にあるとき、操作者の一部と表示手段との位置関係に応じて前記標示を移動する制御ステップと、操作者の画像から操作者の一部を抽出して、設定された判定領域内における操作者の一部の動作に応じて、標示の前記表示手段の表示面上の位置に関連する操作が行われたか否かを判定する操作判定ステップとを備え、前記領域設定ステップにおいて、前記制御領域および前記判定領域を、前記操作者の画像から抽出された顔面を中心とした左右領域に分割配置し、前記制御ステップにおいて、指の動きに応じて、アイコンの形状、色、および透明度の少なくとも一つを変化させることを特徴とする。

本実施形態の操作入力システムの一例を説明するための図である。 本実施形態の操作入力システムのコンピュータとの関係を模式的に示すブロック図である。 本実施形態の原理を説明するための図である。 本実施形態の処理のフローチャートである。 本発明の一実施形態にかかる左右の操作領域を説明するための図である。 本発明の一実施形態にかかる左右の操作領域の役割を説明するための図である。 本発明の一実施形態にかかる画面および対応する操作面の機能を模式的に示す図である。 本発明の一実施形態にかかる画面および対応する操作面の機能を模式的に示す図である。 本発明の一実施形態の仮想的な操作面の側面図である。 本発明の一実施形態の仮想的な操作面の上面図である。 本発明の一実施形態にかかる左右２つの操作領域の機能例を説明するための図である。 本発明の一実施形態にかかる左右２つの操作領域の別の機能例を説明するための図である。 本発明の一実施形態にかかる操作入力システムによる入力操作の一例を示す図である。 本発明の一実施形態にかかる操作者の動きと画面に表示されるアイコンとの関係を示す図である。 本発明の一実施形態にかかる操作入力画面の具体的な表示の一例を示す図である。 本発明の一実施形態にかかる操作入力画面で使用可能な種々のアイコンの例を示す図である。 本発明の一実施形態にかかる操作者の動きと画面に表示されるアイコンとの関係を示す図である。 本実施形態の操作入力システムの操作姿勢の一例を示す図である。 本実施形態の操作入力システムの一例を示す図である。 本実施形態の操作入力システムの一例を示す図である。 本実施形態のコンピュータのＣＰＵ内で処理されるプログラムの機能モジュールの一例を示すブロック図である。 本実施形態の処理のフローチャートである。 本発明の一実施形態にかかる指定された操作面の位置の抽出する処理を示すフローチャートである。

以下、図面を参照しながら本発明の実施形態について詳細に説明する。
（第１実施形態）
図１は、本実施形態の操作入力システムの一例を示す図である。本実施形態では、後述するように。操作者１０２の頭部を基準として右側領域１２４および左側領域１２５を、それぞれ右手１１４および左手１１５の操作領域として定め、各々操作内容を判定して操作入力として処理される。図１を参照すれば理解できるように、右側領域１２４および左側領域１２５を一定の距離をおいて配置することにより、操作者の右手１１４および左手１１５の動きが錯綜していずれの動きであるか誤認識することが回避できる。

このように２つの領域を定めることにより、図２０に示すようにディスプレイ１１１に相対して、右手１１４および左手１１５で異なる種類の操作を行い、より効率的な操作判定が可能になる。例えば、本実施形態では、右手１１４でカーソルを移動させ、左手１１５で操作内容を確定（マウスのクリック押下に相当）するように構成することができるが、これに限られず種々の操作を組み合わせることができる。

本実施形態のディスプレイ１１１は、操作者１０２の前面に配置され、操作者１０２は、ディスプレイ１１１との間の左右の一定の位置に設定された領域内で、指などの形状が操作判定の対象になることを意識して操作を行うことができる。ここで、ディスプレイ１１１には、通常パソコンで使用される様々なアプリケーション用の種々の映像が表示されるが、これに加え操作入力を支援、すなわち例えば対象となる操作者１０２の部位などを画面の隅の方に表示して、操作者１０２に、現時点でシステムがどのような操作が行われていると認識しているかを表示することができる。本実施形態では、操作者が視聴するモニタとして、通常のパソコン用ディスプレイを使用することができる。また、本実施形態では、右手で位置決定を、左手で操作判定を行うシステムを用いて説明するが、これに限られず、利き手や操作者の嗜好などにより左右を逆にすることもできる。

本実施形態では図５に示すように、画像を取得するためにビデオカメラ５１１ないし５１４のいずれかの位置のカメラを使用する。ここで、図５では、４つのカメラが示されているが、いずれか１つあるいは２つ以上を設けることができる。複数カメラを使用するときは、左右のカメラで左右の手の動きを別々に撮影して、画像の精度を上げることもできる。また、カメラとしては赤外線カメラ等、本技術分野で知られたいずれの撮像手段を用いることもでき、図５のような４つの位置以外でも設置場所としてモニタの付近の何処を選択することもできる。したがって、カメラ５１１等は対象の画像を撮影できるものであればいずれのタイプのものでも良く、その方式については問わないが、設置レイアウト上、広角範囲を取得できるカメラであるのが好ましい。

また、近年パソコン等で使用されている安価なウェブカメラなども使用することができる。高価なカメラに代え、安価なウェブカメラを利用して、カメラ５１２及び５１４の様に、各カメラを対象画面の両端に設置し、上述のように左右カメラそれぞれに左操作、右操作のセンシングを独立して担当させる方法によりセンシング精度を高めることもできる。この場合、取得された二次元的な画像情報から、利き腕でカーソル移動（指先の画像認識）、もう片方の腕のジェスチャの輪郭画像認識で意志決定といった本技術分野で知られた方法で、操作を二段階にしたＰＣ操作が可能となる。

次に、本実施形態の操作入力方法を図１９を参照してより具体的に説明する。図１９は、本実施形態の操作入力システムの一例を示す図である。図１９を参照すると、本実施形態の操作は、図１９の例ではかなり大きな緩衝領域、すなわち、上述の視点５０１と操作対象画面５２０の四隅を結ぶ四角錐を隔てて左右に分かれた領域１２４、１２５内で手を動かしたときのみ操作対象にするので、操作入力動作で操作者が手を動かしてもディスプレイ１１１に表示された画面を遮ることはなく、通常のパソコン操作時の視認性を確保することができる。ここで、左右の手の錯綜が起こらない限り緩衝領域はいずれの大きさとすることもできる。また、同様に左右の動作する領域１２４、１２５は上述の緩衝領域によって分割配置されていることから、それぞれの領域における動作を操作者の左手、右手と正確に分別しての判定が可能となる。従来の通常のジェスチャ認識においては、操作者の両腕の交差や身体と腕との重なり等で、誤認識が生ずることが多かったが、これにより、操作者による操作領域設定や中央の非センシングエリアによって分割された左右の手の操作領域をそれぞれ制限し区別することが可能となり、安定した操作が実現できることとなる。

本実施形態では、左右いずれかの手をＸＹ座標のポインティングあるいはフォーカス（従来のマウスによるカーソル移動に相当）機能のみに使用するようにし（仮想トラックパッドの機能）、もう片方の手をフォーカスに対する決定動作、例えばクリック、ダブルクリック、ドラッグのトリガを受け付ける機能のみに使用する。このようにして、左右それぞれに完全に機能を分担し、二段階で操作を判断することでジェスチャ操作に多く見られる入力ミスや誤認識を圧倒的に低減することができる。なお、具体的なジェスチャとしては、手のひらを開いて（じゃんけんのパーの形）「クリック、ダブルクリック操作」としたり、人差し指を立ててクリック、二本の指を立ててダブルクリック等としたりすることができる。なお、以下便宜上右手を仮想トラックパッド機能として使用し、左手を操作決定機能として使用するが、これに限られず左右を逆にしたり、さらに機能を分割、あるいは統合させたりすることができる。

（本実施形態のシステム構成）
図２は、本実施形態の操作入力装置のコンピュータ１１０の構造を模式的に示すブロック図である。コンピュータ１１０には、ディスプレイ１１１に取り付けられ、操作者１０２などを撮影するビデオカメラ５１１などが接続され、撮影した画像をコンピュータ１１０に取り込む。撮影により得られた画像は、ＣＰＵ２１０において本実施形態の特徴である操作者の一部である右左の手の画像を抽出する。コンピュータ１１０は、一般にＣＰＵ２１０を備え、ＲＯＭ２１１等に記憶されたプログラムをＲＡＭ２１２上で実行して、操作入力装置から入力した画像に基づいた処理結果をディスプレイ１１１等に出力する。本実施形態では、ディスプレイ１１１は、上述の操作者の手の動作により表示されるアイコンなどのほか、操作者が体験しようとする様々なアプリケーションにより提供される種々の映像を出力することができ、また後述するように操作入力の支援となるような情報も表示する。

図２１は、本実施形態のコンピュータ１１０のＣＰＵ２１０内で処理されるプログラムの機能モジュールの一例を示すブロック図である。図２１に示すように、本システムにおける処理は、画像読取部３０１、画像抽出部３０２、画像位置算出部３０３、操作判定部３０４および標示制御部３０５により実行される。なお、本実施形態では、ビデオカメラ５１１からの画像を受取ってからデータの出力を行うまでの処理をこの５つのモジュールにより実行するが、これに限られることなく、その他のモジュールを用い、あるいはより少ないモジュールで処理することもできる。

また、本実施形態では、ディスプレイ１１１として立体表示可能な３Ｄディスプレイを使用して、操作者１０２から見て操作面が設定あるいは調整された位置に存在するように見えるようにアイコンを表示することもできる。これにより、操作者１０２は、あたかもアイコンなどがそこに存在するように立体映像として認識して、認識した立体映像に対し手や指を用いて操作を実行することができる。操作者１０２は、その右目と左目とによりディスプレイ１１１上に表示された画像およびアイコンなどを見るが、アイコンなどは立体表示させるため、例えば視差を含んだ２枚の画像からなっており、それぞれ右目及び左目で見ることによりディスプレイ１１１から操作者の前面にあるように立体表示されるような面を形成することができる。なお、立体表示される面の位置は、操作者の操作感として実際にアイコンなどが形成される位置とは若干異なる位置に表示させる場合もあるが必ずしも一致する必要はない。

（操作領域の設定）
図３は、本実施形態の操作領域を設定する処理を説明するための図である。本実施形態では、左右の操作領域をより簡易に設定するため、上述したビデオカメラ１１１により撮像された操作者の画像から、顔面１３１を抽出して左右領域の設定の際の基準とする。図３を参照すると、本技術分野で知られた方法で操作者１０２の顔面１３１を抽出した後、顔の中心部を判断し、中心部を通る垂線を操作者１０２の中心線１３２と判断する。この中心線の左右に、いずれの操作領域にもならない一定の緩衝領域を設けて左右の操作領域１２５および１２４を設定する。このようにして、より簡易に図６に示すような右側領域１２４および左側領域１２５を中心線１３２に基づいて定めることができるが、各操作領域の大きさ、位置は、システムや操作者の体系などに応じて適切な値とする。同様に緩衝領域も左右の手の動きの錯綜の程度に応じて、適切な大きさを設定する。なお、本実施形態では顔面を抽出するが、頭部自体、あるいはその他頭部近傍にある操作者の一部を基準とすることもできる。

本実施形態では、このような有効な動作範囲の設定処理は、システムの電源投入後や特定の操作、例えばリモコンで指示するなどにより開始されるが、これに限られず本技術分野で知られたいずれの方法、タイミングで開始することができる。

また、本実施形態においては、通常のＰＣ操作で図１８に示すような両肘をついてのジェスチャ入力が一般的な形態となるので、動作範囲の設定に当たっては、このような操作姿勢を考慮して操作者の身体に適合した位置に範囲設定することが有用である。なお、このような両肘をついた操作姿勢によると、従来のＰＣ操作におけるマウスやキーボードに比して、両腕の重みによる両肩への筋負担が、かなり軽減されること、必要最小限の小振りなジェスチャ操作のみで済むことから、身体的な負担が大幅に軽減される上、マウス、キーボードをカメラ一台で置き換えることが可能となるため大きなメリットとなる。加えて、両肘を机面につくことで、右手１１４によるカーソル移動（フォーカス）や、左手１１５による操作判定の際も、常に安定したジェスチャ位置が確保できる。

本実施形態では、以上の操作範囲設定処理を行う前提として、本技術分野で知られた初期設定、例えば本実施形態の操作入力装置が新たに設置された場合を想定すると、事前準備として利用するビデオカメラ５１１の利用レンズの歪み、ディスプレイ１１１とレンズとの距離等の情報を装置に入力しておく必要がある。さらに閾値設定等を予め調整しておく。

（本実施形態の操作判定処理）
本実施形態では、図４および図１９を参照すると、ビデオカメラ５１１等で撮影した操作者１０２の一部である手や指１１４、１１５の位置を定めるとともに、これらの位置とディスプレイ上の対応する点との相対的な位置や、形状に基づいて、ディスプレイ上のアイコンを移動させたり、一定の操作と判定したりする。まず、画像読取部３０１においてビデオカメラ５１１等で撮影されたデータを読取り、そのデータから操作者の手の画像を、画像抽出部３０２により抽出する（Ｓ４０１および４０２）。

このような準備の結果、上述の操作領域の設定で予め設定し（Ｓ４０３）、記憶手段などに記憶していた有効な動作領域１２４、１２５の位置、大きさを読み出す。ここで、右手の操作開始位置を適当に定めておき、本技術分野で知られたいずれかの方法で、右手１１４の位置に対応するディスプレイ１１１上の位置にアイコン等が標示制御部３０５により表示され、手の動きとともに移動するよう制御される。したがって、操作者は表示されたアイコンの動きに合わせて有効な動作領域１２４内で的確に指や手を動かすことにより、表示面に表示されたアイコンを移動するなどの操作を行うことができる（Ｓ４０４、４０５および４０８）。

操作判定部３０４は、操作者１０２の動作領域１２５内の左手１１５の形状や動きにより、予め定めた操作が行われた判断し、右手１１４の位置に基づいて、左手の形状あるいは動きに関連付けて予め定められた操作内容とともに、操作が実行されたことをシステムに通知する（Ｓ４０６および４０７）。

ここで、どのような形状、動きがどのような操作に対応するかは、システム独自に取り決めることもできるし、本技術分野で知られたいずれかの手法を取り入れて決定することもでき、あるいはまた、単にその位置が操作者により触れられた、例えばアイコンが選択され、若しくはボタンが押されたと判定することができる。判定した結果は、そのような操作の入力があったものとしてコンピュータ１１０で実行される。操作内容の判定はここで説明した手法に限られることなく、本実施形態で知られたいずれの方法も用いることができる。また、具体的な判定方法も省略したが、一般には予め定めたジェスチャなどの操作者の身体の形状、動きと、それが意味する操作内容とをデータベース等に格納しておいて、画像抽出後、このデータベースにアクセスして、操作内容を判定する。この際にももちろん、画像認識技術や人工知能などを本技術分野で知られた手法により利用し、判定精度を向上させることもできる。ここで、手が有効な動作領域１２４、１２５にない場合は操作とは判定されない。例えば、右手が有効な領域１２４を外れると、その位置でアイコンが停止するか、初期の位置に戻る。また、左手が有効な領域１２５を外れると、予め定めた形状や動きであっても操作とは判定されない。

以上、本実施形態によれば、操作者の頭部等を基準に左右の動作領域１２４、１２５を定め、左右の手で異なる機能、例えばアイコンの移動あるいは選択と、クリック、ドラッグなどの操作内容とに分別して実行することにより、ジェスチャのみの入力にもかかわらず、操作者に負担をかけることなく、パソコン等でキーボードを使用しない正確な操作入力が可能となる。

（第２実施形態）
上述の第１実施形態では、操作者とディスプレイとの間で左右で機能を分担して手を動かすことによる操作入力方法の中でも、左右の操作領域を操作者の中心線に基づいて定める方法について説明したが、本実施形態では基本的に同じシステム構成を使用して、操作者のジェスチャ等、手などの位置や動作などにより、中心線を考慮せずに操作領域を定めるものである。また、本実施形態では基本的に左右の手を各々ディスプレイから見て左側及び右側の一定の範囲で動かして操作を判定するが、これに限らず、手が自然に届く範囲の位置で手を動かすことにより操作判定に使用することもできる。例えば、図１９に示す視点５０１と表示面５２０とで形成される四角錐の下側をスペースキーとして使用するなど、種々の機能を設定することができる。

本実施形態の操作入力方法でも、図１９に示すように、本実施形態の操作は、上述の視点５０１と操作対象画面５２０の四隅を結ぶ四角錐を隔てて左右に分かれた領域１２４、１２５内で手を動かしたときのみ操作対象にするので、操作入力動作で操作者が手を動かしてもディスプレイ１１１に表示された画面を遮ることはなく、通常のパソコン操作時の視認性を確保することができる。第１実施形態では、このような四角錐も含む緩衝領域という概念を用いて左右領域を隔てたが、本実施形態では、原則として左右の動作する領域１２４、１２５は上述の四角錐によって分割配置して処理を実行する手、右手と正確に分別しての判定が可能となる。従来の通常のジェスチャ認識においては、操作者の両腕の交差や身体と腕との重なり等で、誤認識が生ずることが多かったが、これにより、操作者による操作領域設定や中央の非センシングエリアによって分割された左右の手の操作領域をそれぞれ制限し区別することが可能となり、安定した操作が実現できることとなる。

（第２実施形態の操作範囲の設定）
本実施形態では、操作範囲設定処理を行う前提として、本技術分野で知られた初期設定、例えば本実施形態の操作入力装置が新たに設置された場合を想定すると、事前準備として利用するビデオカメラ５１１の利用レンズの歪み、ディスプレイ１１１とレンズとの距離等の情報を装置に入力しておく必要がある。さらに閾値設定等を予め調整しておく。システムの初期設定が終了すると、本実施形態の処理を行うが、図２０を参照して、本実施形態にかかる操作者のジェスチャにより左右の動作範囲を設定する処理を説明する。図２０に示す例のように、カメラで撮影された操作者の画像の手１１４、１１５により動作範囲の位置、大きさが決定される。具体的には、図２０に示すように、操作者が手１１４、１１５で示した位置を含む一定の範囲が有効な動作範囲として設定される。動作範囲の例として、図１９に範囲１２４、１２５を示す。ここで、上述の四角錐によって左右の有効な範囲を分割配置するため、設定された範囲が上述の四角錐にかかる部分は有効な動作とはみなされず、したがって、有効な動作範囲から除かれる。

本実施形態では、このような有効な動作範囲の設定処理は、システムの電源投入後や特定の操作、例えばリモコンで指示するなどにより開始されるが、これに限られず本技術分野で知られたいずれの方法、タイミングで開始することができる。

また、本実施形態においては、通常のＰＣ操作で図１８に示すような両肘をついてのジェスチャ入力が一般的な形態となるので、動作範囲の設定に当たっては、このような操作姿勢を考慮して操作者の身体に適合した位置に範囲設定することが有用である。なお、このような両肘をついた操作姿勢によると、従来のＰＣ操作におけるマウスやキーボードに比して、両腕の重みによる両肩への筋負担が、かなり軽減されること、必要最小限の小振りなジェスチャ操作のみで済むことから、身体的な負担が大幅に軽減される上、マウス、キーボードをカメラ一台で置き換えることが可能となるため大きなメリットとなる。加えて、両肘を机面につくことで、右手１１４によるカーソル移動（フォーカス）や、左手１１５による操作判定の際も、常に安定したジェスチャ位置が確保できる。

さらに、机上を有効な動作範囲とすることもできる。すなわち、右手１１４で机上を移動させてアイコンを移動させ、左手１１５は通常机上に浮かしておいて、机面に触れると操作と判定するようにすることもできる。

以上、本実施形態によれば、表示画面の視界、すなわち上述の四角錐により明確に分離される左右の動作範囲１２４、１２５を定め、左右の手で異なる機能、例えばアイコンの移動あるいは選択と、クリック、ドラッグなどの操作内容とに分別して実行することにより、ジェスチャのみの入力にもかかわらず、操作者に負担をかけることなく、パソコン等でキーボードを使用しない正確な操作入力が可能となる。

（第３実施形態）
上述の第１および第２実施形態では、操作者とディスプレイとの間で左右で機能を分担して手を動かすことによる操作入力について説明したが、本実施形態では基本的に同じシステム構成を使用して、さらに精度の高い操作入力を可能とする。すなわち、本実施形態では、仮想的な操作面の概念を導入して、操作面に対する手の動きや操作面により形成される領域を用いて、操作のトリガや操作内容を判定する。このため、本実施形態では第１実施形態のカメラの代わりに三次元カメラを使用することにより、操作者自身、手あるいは指のｚ方向の位置も取得して、仮想的な操作面上の手の位置を正確に取得したり、操作面を横切ったか否かを判定したりすることができる。したがって、三次元カメラを使用する点を除きシステム構成は第１実施形態と同様なので、以下重複する点は省略する。なお、本実施形態の仮想的な操作面を使用した処理は、左右の操作の双方に適用することができるが、右または左のいずれかの操作に上述の第１実施形態の処理を適用し、もう片方に本実施形態の処理を適用することもでき、システムの構成や使用状況に合わせて適宜選択することができる。

図５は、本発明の一実施形態にかかる左右の仮想的な操作面を説明するための図である。図５に示すビデオカメラ５１１ないし５１４のうち、実際にシステムで使用する場合は、基本的に三次元カメラ１台あればいい。本実施形態ではビデオカメラ５１１として三次元（あるいは３Ｄ）カメラを用いることにより、操作者を含め立体画像が作成できるようにする。もちろん、左右に通常の二次元カメラを配置して使用することもできる。例えば、ビデオカメラ５１２および５１４の両方を備えるようにし、この場合カメラとしては二次元カメラを使用してビデオカメラ５１２および５１４の２つで立体画像を生成するようにすることもできる。

図９および１０は、操作面を側面から見た図および上面から見た図である。図９および１０を参照すると理解できるように、操作面１０４、１０５は、操作者の視点５０１と操作対象画面５２０の四隅を結ぶ四角錐を避けるように左右に配置する。ここで、位置決定面１０４および操作判定面１０５の位置は、後述するＰＣ設置段階の初期設定ステップで操作者が利用環境に合わせ、入力操作に最適な位置で両手を広げて設定する。この際に、例えば、カメラ側で操作者の頭部両肩等の上半身の位置情報や両眼の位置等も補足し、机に向かった操作者が肘をついたまま両手の操作がしやすい左右の対照位置に配置設定するが、これに限られず操作者の操作環境に最適に設定することができる。なお、図９及び１０に示す位置決定面１０４及び操作判定面１０５は、上述の四角錐を避けるように左右に配置されているが、これは、上述のように操作者の視界を操作時の手１１４、１１５が遮らないようにするためであり、したがって、この目的を達成することができる限り、位置決定面１０４及び操作判定面１０５は概ね左右に配置されていれば良く、四角錐に多少かかっても問題はない。

図１１および１２は、本発明の一実施形態にかかる左右２つの操作面の典型的な機能の例を説明するための図である。図１１および１２とも位置決定面１０４は、ポインティングあるいはフォーカスの機能を担い、例えば図７に示すように位置決定面１０４に対応する領域１２０２をディスプレイ１１１の適当な場所に表示、現在、手１１４がフォーカスしている対応する箇所の色を変えたり、図示しないアイコンなどを表示したりすることができる。このように位置決定面１０４上の手１１４の動きに連動して、ディスプレイ１１１上の画像を変化させることにより、操作者は直感的にディスプレイ１１１を見ながら手１１４でフォーカスすることができるようになる。

また、操作判定面１０５は、図１１に示すように一定の領域９０１を持たせて、操作判定面１０５を手１１５が超えると操作が開始されたと判定し、領域９０１内の手１１５の形状やジェスチャに基づいて、操作内容を判定することができる。すなわち、本実施形態の操作面は、操作者１０２の身長や腕の長さ、あるいは身長や肩幅等の身体寸法情報に基づいて設定され、操作者１０２は、予め設定した操作判定面１０５が仮想的に存在すると捉え、種々の操作をしようとする場合は操作判定面１０５を基準に手１１５を前にある操作領域９０１に突き出してジェスチャを示したりすることができる。

あるいは、図１２に示すように、操作判定面を、例えば２階層９０２、１００１として手１１５が１階層目１００１までしか貫いていないとクリックと判定し、２階層目９０２まで到達しているとダブルクリックと判定するようにすることができる。本実施形態では、操作判定面として２階層を有する例を示したが、これに限られることなく３階層やそれ以上の階層を設定して、各々種々の機能を対応させることができる。

また、上述の例えば図７に示すような例では、本実施形態の操作入力システムは、簡易的なキーボードの機能を有することとなるが、図８に示すように、通常のキーボードの機能を有するようにすることもできる。すなわち、右操作面１０４は通常のキーボードの右半分を割当て、左操作面は通常のキーボードの左半分を割当てることにより、操作者はディスプレイ１１１上のキーボードレイアウト１２０２、１３０１を見ながらフォーカスさせて、操作を決定することができる。なお、この場合の操作の決定には、通常は利用しない操作画面下にもう１つの操作面を設定するなどして、操作判定面とすることもできる。また、このような操作画面下に操作面を設ける場合、単にスペースキーを割り当てる等することもできる。

（操作面の設定）
本実施形態では、システムの初期設定が終了すると、本実施形態にかかる操作面の設定処理を行う。図２０に示す例のように、三次元カメラで撮影された操作者の画像の手１１４、１１５により操作面の形状（大きさ、ディスプレイに対する角度を含む）が決定され、例えばｚ方向のディスプレイから手１１４、１１５までの距離により操作面１０４、１０５の位置を決定する。具体的には、図１に示すように、操作者が手１１４、１１５で示した位置に操作面１０４、１０５を形成すれば良いことが理解される。

次に、図２３を参照して操作面抽出処理を説明する。図２３は、本実施形態にかかる指定された操作面の位置を抽出する処理を示すフローチャートである。まず、データ、すなわち操作者の立体画像データの入力がなされると（Ｓ６０１）、手の形状および頭部を認識して（Ｓ６０２、Ｓ６０３）、操作面を形成するか否かを判定する（Ｓ６０４）。具体的には、例えば肘を机上について手をかざすジェスチャを一定時間維持していたときは、操作面の設定処理であると判断して、操作者が手により指示した位置に操作面を、取得した立体画像から抽出して操作面を形成し（Ｓ６０５）、必要なときは操作者の身体の測定値、例えば腕の長さ、胴や頭部の位置に基づいて操作領域を設定し（Ｓ６０６）データを出力して終了する（Ｓ６０９）。ここで、本実施形態では肘を机上について手をかざす動きを一定時間静止することにより、操作面の設定指示と判断するようにしているが、これに限らず種々のジェスチャ、リモコン操作等で指示するなど本技術分野で知られたいずれの手法により指示を判断させることができる。なお、本実施形態では基本的に手により形づくられた形状、位置に操作面を形成するが、操作者の身体的特徴やディスプレイの位置、使用状況等に合わせて調整することもできる。

頭部の認識や手のジェスチャから操作面の設定処理ではないと判断すると、既に操作面が設定された状態か否かを判定し（Ｓ６０７）、操作面が設定されている場合は通常の操作と判断して操作領域内の手の位置を取得する（Ｓ６０８）。以上により、操作者の指示に基づく操作面の設定処理を行う。

ここで、操作面の形状は図１などを参照すると垂直に立てた長方形となっているが、これに限られず、操作者の操作態様に応じて様々な形状（大きさ、ディスプレイに対する角度を含む）の操作面を形成することができる。例えば、机上に位置決定面および操作判定面を配置することもでき、キーボードやマウスを使用する感覚で操作入力することもできる。もちろん、このような操作面の配置とするためには、操作面の設定時に机上に手を置いたり、予め定めたジェスチャをしたりして操作面を設定しておけばよい。

（本実施形態の操作判定処理）
本実施形態では、ビデオカメラ５１１等で撮影した操作者１０２の一部である手や指１１４、１１５の位置を定めるとともに、操作面１０４、１０５と操作者１０２の手指１１４、１１５との位置関係を算出する処理を行う。この処理については図２２を参照して以下に説明する。

図２２は、本実施形態の操作判定処理のフローチャートである。まず、画像読取部３０１においてビデオカメラ５１１等で撮影されたデータを読取り（Ｓ４０１）、そのデータから操作者の像を、画像抽出部３０２により抽出する（Ｓ４０２）。

このような準備の結果、上述の操作面の設定で予め設定し、記憶手段などに記憶していた操作面の位置、形状を読み出す（Ｓ４０３）。このように、操作面の形状及び位置が読み出されると、本技術分野で知られたいずれかの方法で、操作面１０４上の手１１４位置に対応するディスプレイ１１１上の位置にアイコン等が標示制御部３０５により表示され、手の動きとともに移動するよう制御される。したがって、操作者は表示されたアイコンに対応する操作面上の位置に的確に指や手を触れさせることができるようになるため、表示面に表示されたアイコンをタッチするなどの操作を行うことができる。

操作判定部３０４は、操作入力システムが形成した操作面と、操作者１０２との相対的な位置関係を用い（Ｓ４０４）、操作者１０２の一部が操作面のビデオカメラ５１１などから見て手前に来ると、操作が開始されたと判断し（Ｓ４０５）、位置決定面１０４上での手１１４の位置を決定して、表示部の対応する位置にアイコンを移動するとともに、一方操作判定面１０５を基準として手１１５の形状（手を開いている、あるいは指を２本立てているなど）や動きから、その形状、動きが予め想定されたいずれの操作であるかを判定する（Ｓ４０６）。判定した結果は、そのような操作の入力があったものとしてコンピュータ１１０で実行され（Ｓ４０７）、もともと操作面から手前側に手が出ていない場合、操作は行われていないと判定して終了する（Ｓ４０８）。操作内容の判定はここで説明した手法に限られることなく本実施形態で知られたいずれの方法も用いることができる。

（操作面の手前側の操作支援）
本実施形態では、操作者が空間上に仮想的に設定した操作面を基準に、そこにあたかもマウスの代替となるような入力機器が存在するかのように操作することにより、その操作内容を確実に判定しようとするものであるが、操作者の一部である手または指などが操作面に至るまで、つまり操作者が何らかの操作を実行しようと手または指を動かし始めてから、操作面を押下するまでの間も操作支援することにより、さらに操作入力を容易に、より高精度に行うようにすることができる。本機能は、特にポインティングあるいはフォーカスの機能において有効であるが、操作判定面を使用した操作判定においても有効な場合が少なくないため、一般的な仮想的に設定される操作面として位置決定面を例に説明する。

基本的には、このような操作支援の原理は操作面に対する操作者の部位、例えば手あるいは指の位置の動きにあわせて、ディスプレイ１１１上に操作者がどのような操作をしようとしているかをビジュアルに表示させることにより、操作者を誘導して的確な操作入力を可能にするというものである。

この点について、図１４を参照して説明すると、本実施形態では予め操作者が操作面への操作が適した位置に操作面１０４設定する。図１４に示すように、操作者はシステムに対し何らかの操作を行おうとする場合、本例ではディスプレイ１１１に対し、腕２４０１を前後に動かすことにより、手あるいは指１１４の位置が変化するため、その様子をディスプレイ１１１に表示すると、突き出した指１１４が一定の位置まで来ると、そのときディスプレイ１１１の画面上で指示された項目が実行される等、システムとして一定の処理が行われる。図１４の例では、操作面１０４に対する指１１４の位置（深さ）によってアイコンの大きさが変化するようになっており、操作面に近づくほどアイコンが小さくなって操作者には自己の操作により一定の場所にフォーカスされていることが認識できるようになっている。そして、最もアイコンが小さくなった位置で、操作が確定し、それに応じた処理が実行される。

以上の操作の結果、アイコンがディスプレイ１１１の画面２５０１上でどのように変化するかを示したのが図１５である。図１５を参照すると、ディスプレイ１１１の画面２５０１には例えばテレビ番組表が表示されており、ある番組に関する操作を行おうとしている。このような状態で、例えば操作者が「設定変更」のメニューボタンを選択しようとする場合、操作者は上述のようにディスプレイ１１１に向かって指１１４を突き出して選択しようとする。本実施形態では、指１１４が操作面であるテレビ番組表に対し一定の距離まで近づくと、画面２５０１にアイコン２５０３が表示される。このアイコンは指の位置がまだ遠いため図１４に示すアイコンのうち右の方にある比較的大きなものが表示される。操作者がさらに腕２４０１を伸ばすと、このアイコンは目標である選択項目「設定変更」に近づきつつ、小さくなり一定の大きさのアイコン２５０２のときに特別なアイコンとなる。ここで、本実施形態の操作判定面１０５によりいずれかの操作であると判定されるとアイコンを異なる形状や色などに変化させて、操作が判定されたことを示すことが出来る。

このように、図１５の例では、指１１４の位置に応じて画面２５０１に表示されるアイコンの大きさを変化させることにより、操作者は自己の動作がシステムでどのように認識されているかを把握することができ、操作面の位置をより認識し易くして、メニューの選択などの操作を行うことができる。ここで、指１１４、腕２４０１を含む操作者全体及び各部位の位置や大きさは、操作者の全体像と同様三次元カメラを用いることにより抽出することができる。これにより画面内の物体は奥行きも含めて把握することができるから、これらの情報に基づき操作面との距離や位置関係を算出することができる。ただし、本実施形態で使用する三次元カメラや位置の抽出、距離の算出などは本技術分野で知られたいずれの方法も用いることができるので、ここではその説明を省略する。

ここで画面に表示されるアイコンは円形で操作者の動作に合わせて大きさが変化するが、これに限られず図１６に示すように様々な形態のアイコンを用い、様々な変化をさせることができる。すなわち、図１６を参照すると、（１）は指の形態のアイコンであり、上述の例と同様に操作面に近づくほどに小さくするようになっている。（２）は、円形で次第に小さくなるようになっているが、操作判定面により入力あるいは選択が確定すると特別な形状に変化して確定したことが示される。このアイコンや他のアイコンの場合も形状（大きさ、ディスプレイに対する角度を含む）の変化に代えて、あるいは合わせてアイコンの色を変化させることもできる。例えば、青、緑、黄、赤等、寒色系から暖色系に変化させることにより、直感的に操作がフォーカスされ確定することを操作者は認識することができる。（３）は、Ｘのような形状で、遠くにある場合は大きいだけでなくぼかしが入っており、近づくにしたがって、アイコンの大きさが小さくなるとともに、ぼかしが消えシャープな形状になる。（４）はアイコン全体の大きさは変化することなく、中に描かれた図形が形状変化を起こしてフォーカスされる様子を認識するようになっている。この場合、図形の色も変化させることができる。図１６に示す（５）も、形状を変化させるものである。図２３において、指の動きに応じてアイコンの形状や色などが変化していき、操作面を越えるとその瞬間に、欄２６０１に示すように種々の形状や色に変化させたり、点滅させたりして操作として判定されたことを操作者に認識させるようにすることもできる。また、図示しないがこの他のアイコンの変化としては最初透明で、指が操作面に近づくほどに不透明になるような変化も効果的である。さらに図示しないが、後述するようにディスプレイの立体表示機能を別途設けて、フォーカスしていくとアイコンが画面から飛び出すように見せるような画像を作成し、操作者にフォーカスの状況を知らせることもできる。

ここで、アイコンのバリエーションのうち特に形状をあまり変化させず色や濃さを変化させる場合は、図１６に示すようにアイコンはあまり移動せず指１１４を近づけていくと、色が暖色系になったり濃くなったりして、入力を確定することができる。

また、以上の例では操作の判定状況を確認するためアイコンを操作面の位置に表示させ、操作者の動作に応じて色や形状を変化させたが、例えば元々メニューのように予め指示する位置が固定されているような場合は、わざわざアイコンを表示しなくても、指が指し示す位置が表示されたメニューのどの項目ボタンに最も近いかにより決定し、指の動き、特に操作面からの距離に応じて指し示されている項目ボタンを塗りつぶす色または塗りつぶす濃さを変化させることにより、操作面の位置をより分かりやすくし、操作入力を容易にすることができる。

以上、操作面が操作者の水平方向前面にほぼ垂直に形成される場合について、本実施形態の原理を説明してきたが、この原理はこのような操作者とディスプレイとの位置関係や形状には影響されることはなく、種々の配置や構成が可能である。

Claims (9)

1. 操作者が閲覧する画像を表示する表示手段と、
   前記操作者に向けて前記表示手段の近傍に配置され、前記操作者の画像データを生成する撮像手段と、
   前記撮像手段により読取られた操作者の画像により定められる領域であって、前記操作者の一部が前記表示手段に表示された所定の標示を制御することができる制御領域、および前記標示の前記表示手段の表示面上の位置に関連する操作が行われたか否かを判定する判定領域を予め設定する領域設定手段と、
   前記操作者の画像から操作者の一部を抽出して、前記操作者の一部が前記設定された制御領域内にあるとき、該操作者の一部と前記表示手段との位置関係に応じて前記標示を移動する制御手段と、
   前記操作者の画像から操作者の一部を抽出して、前記設定された判定領域内における前記操作者の一部の動作に応じて、前記標示の前記表示手段の表示面上の位置に関連する操作が行われたか否かを判定する操作判定手段と
   を備え、
   前記領域設定手段は、前記制御領域および前記判定領域を、前記操作者の画像から抽出された顔面を中心とした左右領域に分割配置し、
   前記制御手段は、指の動きに応じて、アイコンの形状、色、および透明度の少なくとも一つを変化させることを特徴とする操作入力装置。
2. 前記制御領域と前記判定領域とは、前記操作者を中心にそれぞれ左右のいずれかにあり、
   前記制御範囲設定手段で抽出される操作者の一部と、前記操作判定手段で抽出される操作者の一部とは異なることを特徴とする請求項１に記載の操作入力装置。
3. 前記領域設定手段は、前記読み取られた画像から操作者の顔面を抽出して操作者の中心を定めることを特徴とする請求項２に記載の操作入力装置。
4. 前記操作判定手段は、前記撮像手段により読取られた操作者の予め定められた一連の動作により、前記制御領域と前記判定領域とがそれぞれ左右のいずれに配置するかを定めることを特徴とする請求項２または３に記載の操作入力装置。
5. 前記領域設定手段は、前記撮像手段により読取られた操作者の予め定められた一連の動作に基づいて、前記制御領域および前記判定領域を予め設定することを特徴とする請求項1ないし４のいずれかに記載の操作入力装置。
6. 前記領域設定手段は、前記判定領域と、前記制御領域とが重ならないように予め設定することを特徴とする請求項１ないし５のいずれかに記載の操作入力装置。
7. 前記制御領域および前記判定領域は、前記操作者の視点と前記表示手段の表示面の各頂点とを結んで定められる領域にかからない領域であることを特徴とする請求項１ないし６のいずれかに記載の操作入力装置。
8. 操作者が閲覧する画像を表示する表示手段と、前記表示手段の操作者に向けて前記表示手段の近傍に配置され、前記表示手段を見る操作者の画像データを生成する撮像手段とを備えた操作入力装置により操作入力をする方法であって、
   前記撮像手段により読取られた操作者の画像により定められる領域であって、前記操作者の一部が前記表示手段に表示された所定の標示を制御することができる制御領域、および前記標示の前記表示手段の表示面上の位置に関連する操作が行われたか否かを判定する判定領域を予め設定する領域設定ステップと、
   前記操作者の画像から操作者の一部を抽出して、前記操作者の一部が前記設定された制御領域内にあるとき、該操作者の一部と前記表示手段との位置関係に応じて前記標示を移動する制御ステップと、
   前記操作者の画像から操作者の一部を抽出して、前記設定された判定領域内における前記操作者の一部の動作に応じて、前記標示の前記表示手段の表示面上の位置に関連する操作が行われたか否かを判定する操作判定ステップと
   を備え、
   前記領域設定ステップにおいて、前記制御領域および前記判定領域を、前記操作者の画像から抽出された顔面を中心とした左右領域に分割配置し、
   前記制御ステップにおいて、指の動きに応じて、アイコンの形状、色、および透明度の少なくとも一つを変化させることを特徴とする操作入力方法。
9. 操作者が閲覧する画像を表示する表示手段と、前記表示手段の操作者に向けて前記表示手段の近傍に配置され、前記表示手段を見る操作者の画像データを生成する撮像手段とを備えた操作入力装置に操作入力方法を実行させるプログラムであって、該操作入力方法は、
   前記撮像手段により読取られた操作者の画像により定められる領域であって、前記操作者の一部が前記表示手段に表示された所定の標示を制御することができる制御領域、および前記標示の前記表示手段の表示面上の位置に関連する操作が行われたか否かを判定する判定領域を予め設定する領域設定ステップと、
   前記操作者の画像から操作者の一部を抽出して、前記操作者の一部が前記設定された制御領域内にあるとき、該操作者の一部と前記表示手段との位置関係に応じて前記標示を移動する制御ステップと、
   前記操作者の画像から操作者の一部を抽出して、前記設定された判定領域内における前記操作者の一部の動作に応じて、前記標示の前記表示手段の表示面上の位置に関連する操作が行われたか否かを判定する操作判定ステップと
   を備え、
   前記領域設定ステップにおいて、前記制御領域および前記判定領域を、前記操作者の画像から抽出された顔面を中心とした左右領域に分割配置し、
   前記制御ステップにおいて、指の動きに応じて、アイコンの形状、色、および透明度の少なくとも一つを変化させることを特徴とするプログラム。