JP2013178645A - 電子機器の入力装置 - Google Patents

Abstract

【課題】 カメラにより使用者の掌を検出するユーザーインターフェイスを含む電子機器の入力装置に関し、ユーザーインターフェイスを通じて想定する領域内から使用者の掌が出ないように自然に抑制し、円滑な入力操作が可能になる電子機器の入力装置を提供する。
【解決手段】 電子機器の入力装置は、身体部位検出部が使用者の掌部を検出する場合に、ユーザーインターフェイス制御部が、使用者の掌部の上下左右方向の移動量に略比例して操作画面中に表示するカーソルの第１移動量を設定し、身体部位検出部が使用者の掌部を画角の周辺付近に検出する場合には、カーソルの第１移動量を、掌部を画角の中央付近に検出する場合よりも大きく設定する。
【選択図】 図１

Description

本発明は、電子機器の入力装置に関し、特に、人の動き・姿勢・状態などに基づいて電子機器の操作入力、または、情報の制御操作などを行う入力装置に関し、カメラ、または、センサーを使用したユーザーインターフェイスで、人間の掌および腕の動きによって電子機器の入力操作を行う入力装置に関する。

遊技機、ビデオゲーム機、パーソナルコンピュータ、テレビジョン受像器、オーディオ装置、等の電子機器においては、カメラ、または、センサーを使用したユーザーインターフェイスを設けて、使用者の動き・姿勢・状態などに基づいて電子機器の操作入力、または、情報の制御操作などを行う入力装置がある。特に、ビデオゲーム機では、カメラおよび深度センサーを内蔵して使用者の動きを撮像して映像情報を得て、これをモーションキャプチャ等の解析技術を応用して使用者の動きを検出し、ユーザーインターフェイス内に表示されるカーソルを移動させる、あるいは、任意の表示ボタンを選択させる、等の入力操作が可能になる入力装置が普及している。モーションキャプチャでは、使用者の動きをデジタル的に検出し、使用者の位置または動きだけでなく、使用者の身体的な部位（顔、腕、掌、身体、足、等）もしくは骨格を特定して、その位置または動きまでも検出することができる。

例えば、従来には、電子機器の制御装置に係り、特に人の手などの動作の画像を認識して、テレビジョン受像機などの電子機器の遠隔操作を行うための電子機器の制御装置に関して、表示装置と、その表示装置の前方に位置する操作者を撮影するビデオカメラとを備えた電子機器の操作を、前記ビデオカメラで撮影して得た前記操作者の画像の動きに応じて制御する電子機器の制御装置において、前記ビデオカメラで撮影された画像を鏡像変換して、第１の鏡像変換画像信号を生成し、この生成した第１の鏡像変換画像信号を出力する鏡像変換手段と、入力されるサイズ制御信号に応じた拡大率又は縮小率で前記第１の鏡像変換画像信号の画像サイズを制御し、かつ、入力される位置制御信号に応じて前記第１の鏡像変換画像信号の表示される画面における画像位置を制御した第２の鏡像変換画像信号を出力する画像変換手段と、複数の操作検出領域を含んだ操作用画像に対応した操作用画像信号を生成する操作用画像信号生成手段と、前記第２の鏡像変換画像信号と前記操作用画像信号とを混合して前記表示装置へ出力する混合手段と、前記第２の鏡像変換画像信号を表示する画面を水平方向にＮ分割（Ｎは２以上の自然数）し、かつ、垂直方向にＭ分割（Ｍは２以上の自然数）することにより得られる計Ｎ×Ｍ分割された分割画像領域のそれぞれについて、前記操作者の所定の部位の動作を示す画像信号を検出する検出手段と、前記検出手段で検出された前記動作を示す画像信号により得られる動き画像と前記分割画像領域との位置関係とから当該動き画像の重心座標を求め、その重心座標が前記操作用画像の所定操作検出領域に位置するように当該動き画像の位置を制御する前記位置制御信号を生成すると共に、当該動き画像の最大幅に応じて前記画像サイズを決定して前記サイズ制御信号を生成し、これら生成した前記位置制御信号と前記サイズ制御信号とを前記画像変換手段に出力する制御信号生成手段とを有することを特徴とする電子機器の制御装置がある（特許文献１）。

また、従来には、表示画像上のオブジェクトの平行移動及び／又は回転運動に作用する信号を供給する入力装置において、ビデオ画像をキャプチャする装置と、キャプチャされた人間の腕等のモーションのビデオ画像を出力信号に変換する入力画像プロセッサであって、（ａ）前記キャプチャされたビデオ画像内の背景から人間の形を分離し、（ｂ）前記人間の腕等の位置及び／又は動きを検出し、（ｃ）前記人間の腕等の位置及び／又は動きに応じて出力信号を生成する、ようにプログラムされる入力画像プロセッサと、前記入力画像プロセッサから受信した信号に応じて、表示画像上のオブジェクトの平行移動及び／又は回転運動に作用を与えるようにプログラムされる出力画像プロセッサと、を有する入力装置がある（特許文献２）。

また、従来には、被測定者の動作要点部の動きを検出し、シミュレートするモーションキャプチャシステムにおいて、被測定者の動作要点部の各々に複数個ずつ取り付けられたアンテナエレメントと、このアンテナエレメントの各々を識別可能な無線信号を生成して各アンテナエレメントへ送出する無線送信装置と、前記アンテナエレメントの各々から送信された無線信号を受信する複数の無線受信装置と、この無線受信装置により受信された各無線信号の受信電界強度から前記動作要点部の位置、動き、向きの少なくとも１つを検出する処理手段と、を備えたことを特徴とするモーションキャプチャシステムがある（特許文献３）。

特表２００７−１２４３７２号公報 特表２００２−１８９５４５号公報 特開２００１−２６５５２１号公報

しかしながら、従来技術の電子機器の入力装置において、モーションキャプチャを応用して使用者の掌を検出して、ユーザーインターフェイスにより画面内に表示するボタンのオブジェクトを押し下げるようなジェスチャー操作を可能とする場合に、カメラあるいは他のセンサーで検出可能な範囲から掌が出てしまうと、あるいは、使用者の身体若しくは腕の位置から掌の位置が推定できないようになると、入力操作ができなくなるという問題がある。特にカメラによって使用者の検出可能な領域内での相対位置を検出する場合には、使用者自らの相対位置がわかりにくいので、使用者の腕の動きが大きくなって想定する領域内から掌が出てしまった場合には、入力操作にエラーを生じる場合がある、という問題がある。使用者にとっては、スムーズな入力操作ができなくなることで初めて自らの掌が検出できる領域、あるいは、推定可能な領域から出たことが分かることになるので、ユーザーインターフェイスを通じて想定する領域内から掌が出てないように使用者を抑制するのが好ましい。

本発明は、上記の従来技術が有する問題を解決するためになされたものであり、その目的は、カメラにより使用者の掌を検出するユーザーインターフェイスを含む電子機器の入力装置に関し、ユーザーインターフェイスを通じて想定する領域内から使用者の掌が出ないように自然に抑制し、円滑な入力操作が可能になる電子機器の入力装置を提供することにある。

本発明の電子機器の入力装置は、所定の画角を有するレンズを含むカメラと、カメラからの撮像データをモーションキャプチャして使用者の肩部および腕部および掌部を少なくとも検出可能な身体部位検出部と、身体部位検出部からの出力を受けて操作画面を出力するユーザーインターフェイス制御部と、を備え、身体部位検出部が使用者の掌部を検出する場合に、ユーザーインターフェイス制御部が、使用者の掌部の上下左右方向の移動量に略比例して操作画面中に表示するカーソルの第１移動量を設定し、身体部位検出部が使用者の掌部を画角の周辺付近に検出する場合には、カーソルの第１移動量を、掌部を画角の中央付近に検出する場合よりも大きく設定する。

好ましくは、本発明の電子機器の入力装置は、身体部位検出部が使用者の掌部が画角の中央付近の位置から画角の周辺付近に移動することを検出する場合に、ユーザーインターフェイス制御部が、操作画面中に表示するカーソルの第１移動量を、画角の周辺付近から中央付近へ移動する場合よりも大きく設定する。

また、好ましくは、本発明の電子機器の入力装置は、身体部位検出部が使用者の掌部を検出せずに肩部および腕部を検出する場合に、ユーザーインターフェイス制御部が、使用者の掌部の位置を肩部および腕部の検出位置から推定して掌部推定位置として特定し、掌部推定位置の上下左右方向の移動量に略比例して操作画面中に表示するカーソルの第２移動量を設定し、第２移動量が、カーソルの第１移動量よりも大きく設定されている。

また、好ましくは、本発明の電子機器の入力装置は、身体部位検出部が、使用者の掌部が画角の中央付近の位置から画角の周辺付近に移動したことを検出する場合に、ユーザーインターフェイス制御部が、操作画面中に表示するオブジェクトの表示位置を、画角内での掌部の検出位置に応じて操作画面の中央付近の位置から画角の周辺付近に移動する。

また、好ましくは、本発明の電子機器の入力装置は、身体部位検出部が、使用者の掌部が画角の周辺付近の位置から画角の外側に移動したことを検出し、かつ、肩部および腕部を検出する場合に、ユーザーインターフェイス制御部が、操作画面中に表示するオブジェクトの表示位置を、掌部推定位置に応じて操作画面の周辺付近の位置からさらに操作画面の外側に移動し、オブジェクトの一部のみを操作画面内に表示する。

また、好ましくは、本発明の電子機器の入力装置は、身体部位検出部が、使用者の掌部がカメラから相対的に遠い離隔距離の位置に移動したことを検出する場合に、ユーザーインターフェイス制御部が、操作画面中に表示するオブジェクトの大きさを、離隔距離の変化に応じて小さくするようにして操作画面に表示する。

以下、本発明の作用について説明する。

本発明の電子機器の入力装置は、所定の画角を有するレンズを含むカメラと、カメラからの撮像データをモーションキャプチャして使用者の肩部および腕部および掌部を少なくとも検出可能な身体部位検出部と、身体部位検出部からの出力を受けて操作画面を出力するユーザーインターフェイス制御部と、を備える。つまり、カメラにより使用者の掌を検出するユーザーインターフェイスを含み、使用者が掌をカメラに向けて上下左右に動かしたりすることで、操作画面で表示されるカーソル等を利用して入力操作を可能にする電子機器の入力装置である。この電子機器の入力装置では、身体部位検出部が使用者の掌部を検出する場合に、ユーザーインターフェイス制御部が、使用者の掌部の上下左右方向の移動量に略比例して操作画面中に表示するカーソルの第１移動量を設定する。

操作画面中に表示するカーソルの第１移動量は、以下のように設定する。撮像データをモーションキャプチャする身体部位検出部が、使用者の掌部を画角の周辺付近に検出する場合には、カーソルの第１移動量を、掌部を画角の中央付近に検出する場合よりも大きく設定する。さらに、好ましくは、使用者の掌部がカメラの画角の中央付近の位置から画角の周辺付近に移動したことを検出する場合に、ユーザーインターフェイス制御部が、上記の第１移動量を、使用者の掌部の上下左右方向の移動量に比例して、画角の周辺付近から中央付近へ移動する場合より大きくなるように設定する。つまり、使用者の掌部がカメラの画角の周辺付近に移動して、検出できないカメラの画角の外側に出てしまうおそれがある場合には、ユーザーインターフェイス制御部は、使用者が掌部を大きく移動させなくてもカーソルが操作画面の内部で相対的に大きく移動するように、カーソルの第１移動量を設定する。その結果、使用者の掌部がカメラの画角の外側に出てしまうことが自然と抑制されるので、入力操作でのエラー発生を少なくすることができる。

さらに、この電子機器の入力装置では、身体部位検出部が使用者の掌部を検出せずに肩部および腕部を検出する場合に、ユーザーインターフェイス制御部が、使用者の掌部の位置を肩部および腕部の検出位置から推定して掌部推定位置として特定し、掌部推定位置の上下左右方向の移動量に略比例して操作画面中に表示するカーソルの第２移動量を設定する。つまり、例えば、使用者の掌部がカメラの画角の外側に出てしまって使用者の掌部を検出できないような場合には、ユーザーインターフェイス制御部は、使用者の掌部の位置を肩部および腕部の検出位置から推定して掌部推定位置を特定する。その結果、使用者の掌部がカメラの画角の外側に出てしまっても、少なくとも使用者の肩部および腕部の位置を検出していれば、掌部の位置を推定してカーソルの第２移動量を設定することができる。

このカーソルの第２移動量は、第１移動量よりも大きく設定されている。すなわち、この電子機器の入力装置では、カメラにより検出可能な範囲から掌が出てしまっても、掌部の位置が推定できる範囲では入力操作にエラーを生じずに継続して操作が可能であるが、操作画面中で設定されるカーソルの移動量が相互に異なる第１移動量と第２移動量とに切り換えられるので、使用者は表示されるカーソルの移動量を見て、掌がカメラにより検出可能な範囲から出てしまっていることを自覚することができる。その結果、使用者は、掌の位置を自覚して腕をカメラにより検出可能な範囲へ戻そうと動かすことができるので、掌が再び検出可能になり、入力操作にエラーを生じる場合を少なくすることができる。

また、この電子機器の入力装置では、身体部位検出部が、使用者の掌部が画角の中央付近の位置から画角の周辺付近に移動したことを検出する場合に、ユーザーインターフェイス制御部が、操作画面中に表示するオブジェクトの表示位置を、画角内での掌部の検出位置に応じて操作画面の中央付近の位置から周辺付近に移動するようにしてもよく、身体部位検出部が、使用者の掌部が画角の周辺付近の位置から画角の外側に移動したことを検出し、かつ、肩部および腕部を検出する場合に、ユーザーインターフェイス制御部が、操作画面中に表示するオブジェクトの表示位置を、掌部推定位置に応じて操作画面の周辺付近の位置からさらに操作画面の外側に移動し、オブジェクトの一部のみを操作画面内に表示するようにしてもよい。使用者は、自らの掌がカメラの画角の周辺付近にあることを操作画面中に表示するオブジェクトの表示位置により直感できるので、掌および腕をカメラの画角の中央寄りに戻そうして、その結果として入力操作でのエラー発生を少なくすることができる。

また、好ましくは、本発明の電子機器の入力装置は、身体部位検出部が、使用者の掌部がカメラから相対的に遠い離隔距離の位置に移動したことを検出する場合に、ユーザーインターフェイス制御部が、操作画面中に表示するオブジェクトの大きさを、離隔距離の変化に応じて小さくするようにして操作画面に表示するようにしてもよい。つまり、使用者の掌部がカメラから遠すぎるような場合には、検出の精度が落ちてエラーの原因となるので、操作画面中に表示するオブジェクトの大きさを、その離隔距離では見づらくなるような小ささに変更して、近づけばオブジェクトが大きくなって見やすくなるように変更すればよい。使用者は、自らの掌がカメラから遠いことを操作画面中に表示するオブジェクトが大きくなって見やすくなることで直感できるので、掌および腕をカメラに近づけようとして、その結果として入力操作でのエラー発生を少なくすることができる。

本発明の電子機器の入力装置は、カメラにより使用者の掌を検出するユーザーインターフェイスを含み、ユーザーインターフェイスを通じて想定する領域内から使用者の掌が出ないように抑制し、円滑な入力操作が可能になる電子機器の入力装置を提供することができる。

本発明の好ましい実施形態による電子機器の入力装置１について説明するブロックダイアグラムである。（実施例１） 本発明の好ましい実施形態による電子機器の入力装置１の動作について説明する図である。（実施例１） 本発明の好ましい実施形態による電子機器の入力装置１のジェスチャー認識を説明するフローチャートである。（実施例１） 本発明の好ましい実施形態による電子機器の入力装置１の動作について説明する図である。（実施例１） 本発明の好ましい実施形態による電子機器の入力装置１の動作について説明する図である。（実施例１） 本発明の好ましい実施形態による電子機器の入力装置１の動作について説明する図である。（実施例１） 本発明の好ましい実施形態による電子機器の入力装置１の動作について説明する図である。（実施例１）

以下、本発明の好ましい実施形態による電子機器の入力装置について説明するが、本発明はこれらの実施形態には限定されない。

図１は、本発明の好ましい実施形態による電子機器の入力装置１について説明するブロックダイアグラムである。また、図２、図４、図５、図６および図７は、この入力装置１の動作について説明する図である。また、図３は、電子機器の入力装置１のジェスチャー認識を説明するフローチャートである。なお、後述するように、説明に不要な入力装置１および電子機器２０の一部の構造や、内部構造等は、図示ならびに説明を省略する。

具体的には、本実施例の入力装置１は、パーソナルコンピュータ、または、テレビジョン受像器、あるいは、オーディオ装置、等の電子機器２０に接続してジェスチャー認識のユーザーインターフェイスを実現する入力装置である。入力装置１は、操作画面内のユーザーインターフェイスにカーソル８および任意のオブジェクト９を表示し、ユーザー１０の掌１３および腕１２の動きによって、表示されるカーソル８を移動させる、あるいは、表示ボタン等を選択させる、等の入力操作を可能にして、電子機器２０に対して操作入力を行なう。入力装置１は、センサーとしてカメラ２を備えているので、カメラ２のレンズの画角７の内にユーザー１０を認識すると、モーションキャプチャを実行してユーザー１０の骨格を推定し、ユーザー１０の肩１１、腕１２、および、掌１３を認識することができ、掌１３の上下左右の動きに応じてカーソル８を移動させることができる。

入力装置１は、所定の画角７を有するレンズを含むカメラ２と、カメラ２からの撮像データをモーションキャプチャする身体部位検出回路３と、身体部位検出回路３からの出力を受けてユーザーインターフェイスの操作画面を出力するユーザーインターフェイス制御回路４と、操作画面を表示する表示回路５と、入力装置１全体の制御および電子機器２０と通信する制御回路６と、を備える。カメラ２は、入力装置１に接続する別筐体のカメラであってもよく、操作画面を表示する表示回路５は、ディスプレイ装置等の他の表示装置であってもよい。また、入力装置１の身体部位検出回路３、ユーザーインターフェイス制御回路４および制御回路６は、その一部または全部が他の電子機器２０の内部に含まれるものであってよい。

図２および図３を参照して、入力装置１でのジェスチャー認識の動作を説明する。図２に図示するように、ユーザー１０がカメラ２の画角７内に入ると、入力装置１は、ジェスチャー認識の動作を開始する（Ｓ００１）。身体部位検出回路３は、カメラ２からの撮像データを受けて、撮像データの中にユーザー１０の骨格が含まれているかを、データーベースを参照して推定する（Ｓ００２）。身体部位検出回路３は、ユーザー１０の頭、顔、体幹、腕、足、等を検出可能であるのが好ましく、肩１１および腕１２および掌１３を少なくとも検出できる。身体部位検出回路３は、検出されたユーザー１０の骨格のデータから、掌１３の可動範囲を推定することもできる（Ｓ００３）。例えば、肩１１および腕１２の位置が検出できれば、掌１３が所定の範囲にあることが推定できる。したがって、カメラ２からの撮像データの所定の範囲に掌１３の特徴を探せば（Ｓ００４）、掌１３を検出できる（Ｓ００５：Ｙｅｓ）。

入力装置１がユーザー１０の掌１３を検出する場合には、入力装置１は、ユーザー１０の掌１３の推定できる可動範囲とその位置１４の関係から、操作画面内でのカーソル８の位置を決定する（Ｓ００６）。ユーザーインターフェイス制御回路４は、ユーザー１０の掌１３の上下左右方向の移動量ａ１に略比例して操作画面中に表示するカーソル８の第１移動量ｄ１を設定する。図２に図示する場合には、ユーザー１０の掌１３の位置１４は、カメラ２の画角７に対して中央付近に位置するので、ユーザー１０は、腕１２および掌１３を大きく振っても、カメラ２の画角７の外側に出てしまうおそれは少ない。したがって、掌１３の移動量ａ１に対するカーソル８の第１移動量ｄ１は、相対的に小さく設定できる。このように掌１３を検出すれば、ユーザー１０は、その上下左右の動きに応じてカーソル８を移動させることができる。

なお、掌１３を検出できない場合（Ｓ００５：Ｎｏ）は、後述するように、肩１１および腕１２の位置から掌の位置を推定する（Ｓ００７）。ジェスチャー認識を終了せずに継続する場合（Ｓ００８：Ｎｏ）、繰り返してユーザー１０の掌１３の位置１４を検出（Ｓ００４）し、ジェスチャー認識を終了する場合（Ｓ００８：Ｙｅｓ）。には、終了する（Ｓ００９）。

次に、図４を参照して、入力装置１でのジェスチャー認識の動作を説明する。図４に図示するように、ユーザー１０の掌１３が検出可能な範囲に対して片寄った位置１４であって、カメラ２の画角７の周辺付近に検出される場合には、ユーザー１０が腕１２および掌１３を大きく振ると、カメラ２の画角７の外側に出てしまうおそれがある。そこで、入力装置１では、撮像データをモーションキャプチャする身体部位検出回路３が、ユーザー１０の掌１３を画角７の周辺付近に検出する場合には、ユーザーインターフェイス制御回路４が、掌１３の移動量ａ１に対するカーソル８の第１移動量ｄ１を、掌１３を画角７の中央付近に検出する場合よりも大きく設定する。

つまり、入力装置１では、ユーザー１０が同じ移動量ａ１だけ掌１３を動かすと、図２に図示する掌１３が画角７の中央付近に検出される場合よりも、図４に図示する掌１３が画角７の周辺付近に検出される場合の方が、カーソル８の第１移動量ｄ１が大きくなる。反対に言えば、入力装置１では、ユーザー１０がカーソル８を所定の第１移動量ｄ１だけ動かそうとすると、図２に図示する掌１３が画角７の中央付近に検出される場合よりも、図４に図示する掌１３が画角７の周辺付近に検出される場合の方が、掌１３の移動量ａ１が小さくなる。その結果、ユーザー１０の掌１３がカメラ２の画角７の外側に出てしまうことが自然と抑制されるので、本実施例の入力装置１では、入力操作でのエラー発生を少なくすることができる。

図５を参照して、ユーザー１０の掌１３の左右方向の移動量ａＬまたはａＲに対するカーソル８の第１移動量ｄＬまたはｄＲを、異なるように設定する場合を説明する。図５（ａ）は、ユーザー１０が掌１３を右側の開始位置１４であってカメラ２の画角７の右側周辺付近から左側の中央寄りに移動する場合である。また、図５（ｂ）は、ユーザー１０が掌１３を左側の開始位置１４であってカメラ２の画角７の中央付近から右側の周辺付近寄りに移動する場合である。上記の２つの場合には、図５（ａ）に図示する場合の方が、ユーザー１０の掌１３がカメラ２の画角７の外側に出てしまうおそれが少ない。したがって、図５（ｂ）に図示するように、ユーザー１０の掌１３がカメラ２の画角の中央付近の位置１４から画角７の右側周辺付近に移動することを検出する場合には、ユーザーインターフェイス制御回路４は、カーソル８の右側への第１移動量ｄＲを、反対の場合である図５（ａ）に図示するカーソル８の左側への第１移動量ｄＬより大きくなるように設定する。

つまり、ユーザー１０の掌１３がカメラ２の画角７の中央付近から周辺付近に移動して、検出できないカメラ２の画角７の外側に出てしまうおそれがある場合には、ユーザーインターフェイス制御回路４は、ユーザー１０が掌１３を大きく移動させなくてもカーソル８が操作画面の内部で相対的に大きく移動するように、カーソル８の第１移動量ｄ１を設定すればよい。ユーザー１０は、カーソル８を見ながら腕１２および掌１３を動かすので、画面内での移動量が大きくなれば、その分だけ掌１３の移動量を小さくすることになる。その結果、ユーザー１０の掌１３がカメラ２の画角７の外側に出てしまうことが自然と抑制されるので、入力操作でのエラー発生を少なくすることができる。

次に、図６を参照して、入力装置１において、ユーザー１０の掌１３を検出できない場合の動作を説明する。図６に図示するように、ユーザー１０の主要な骨格部分がカメラ２の画角７に入っていたとしても、腕１２の先の掌１３がカメラ２で検出可能な範囲から出てしまう場合がある。そこで、身体部位検出回路３がユーザー１０の掌１３を検出せずに肩１１および腕１２を検出する場合には、ユーザーインターフェイス制御回路４は、ユーザー１０の掌１３の位置を肩１１および腕１２の検出位置から推定して掌部推定位置１６として特定する。具体的には、肩１１および腕１２の検出位置の延長線１５の所定の距離に掌１３が存在するので、腕の角度から掌１３の位置を推定する。入力装置１は、推定した掌１３の位置である掌部推定位置１６の上下左右方向の移動量ａ２に略比例して操作画面中に表示するカーソル８の第２移動量ｄ２を設定する。

この様に、ユーザー１０の掌１３がカメラ２の画角７の外側に出てしまっても、少なくともユーザー１０の肩１１および腕１２の位置を検出していれば、掌１３の位置を推定してカーソル８の第２移動量ｄ２を設定することができる。さらに、実際にユーザー１０が掌１３を動したと推定できる移動量ａ２が、図２および図４で図示する場合の移動量ａ１と等しい場合を仮定すると、このカーソル８の第２移動量ｄ２は、第１移動量ｄ１よりも大きくなるように設定されている。したがって、ユーザーインターフェイス制御回路４は、ユーザー１０の掌１３の位置が、カメラ２の画角７の中央付近から周辺付近に向かい、画角７の外側に位置してしまうに連れて、掌１３を同じ移動量ａだけ動かすと、カーソル８の移動量ｄがかなり大きく変化することになる。

すなわち、この電子機器の入力装置１では、カメラ２により検出可能な範囲である画角７から掌１３が出てしまっても、掌１３の位置が推定できる範囲では入力操作にエラーを生じずに継続して操作が可能であるが、操作画面中で設定されるカーソル８の移動量が相互に異なる第１移動量ｄ１と第２移動量ｄ２とに切り換えられるので、ユーザー１０は表示されるカーソル８の移動量を見て、掌１３がカメラ２で検出可能な範囲から出てしまっていることを自覚することができる。その結果、ユーザー１０は、掌１３の位置を自覚して腕１２をカメラ２により検出可能な範囲へ戻そうと動かすことができるので、掌１３が再び検出可能になり、入力操作にエラーを生じる場合を少なくすることができる。

また、図２、図４、および、図６に図示するとおり、この電子機器の入力装置１では、ユーザーインターフェイスの操作画面の中で、表示する特定のオブジェクト９の表示位置を、カメラ２の画角７内での掌１３の検出位置に応じて操作画面の中央付近の位置から画角７の周辺付近に移動するようにしてもよい。特定のオブジェクト９は、例えば、図７に拡大して図示するようなメニュー画面などであればよい。図２に図示する場合には、ユーザー１０の掌１３の位置１４は、カメラ２の画角７に対して中央付近に位置するので、特定のオブジェクト９は、操作画面の中央付近に位置している。図４に図示する場合には、ユーザー１０の掌１３の位置１４は、カメラ２の画角７に対して右側周辺付近に位置するので、特定のオブジェクト９は、操作画面の右側周辺付近に位置している。図６に図示する場合には、ユーザー１０の掌１３の推定した位置である掌部推定位置１６は、カメラ２の画角７のさらに外側になるので、特定のオブジェクト９は、操作画面の周辺付近の位置からさらに操作画面の外側に移動し、オブジェクト９の一部のみを操作画面内に表示するように位置している。つまり、図６の場合には、掌１３の検出位置に応じて位置が変化する特定のオブジェクト９は、掌１３が検出できていないことに対応して、その一部のみを表示してまるでその残りがはみ出しているかのように操作画面に表示される。

したがって、図２および図４の場合には、ユーザー１０は、自らの掌１３がカメラ２の画角７の周辺付近にあることを操作画面中に表示するオブジェクト９の表示位置により直感できるので、腕１２および掌１３をカメラ２の画角７の中央寄りに戻そうして、その結果として入力操作でのエラー発生を少なくすることができる。また、図６の場合には、ユーザー１０は、自らの掌１３がカメラ２の画角７の外側にあることを操作画面中に一部だけが表示されるオブジェクト９の表示位置により直感できるので、腕１２および掌１３をカメラ２の画角７の中央寄りに戻すことができる。また、カメラ２が検出可能な範囲に複数のユーザーが存在するような場合には、どのユーザーの掌が検出されているか分からなくなることがあるが、この電子機器の入力装置１では、オブジェクト９の表示位置を参照することで、複数のユーザーの内で誰が操作を行っているのかを推測するのが容易になるという利点がある。

また、図７に図示するとおり、この電子機器の入力装置１では、ユーザーインターフェイスの操作画面の中で、表示する特定のオブジェクト９の大きさを、カメラ２の画角７内での掌１３を検出する離隔距離に応じて変更してもよい。図７（ａ）は、ユーザー１０の掌１３がカメラ２で検出可能な範囲の周辺付近に位置する場合であり、かつ、カメラ２からの離隔距離が大きくてユーザー１０の掌１３が撮像データの中で小さく検出される場合である。また、図７（ｂ）は、ユーザー１０の掌１３がカメラ２で検出可能な範囲の中央付近に位置する場合であり、かつ、カメラ２からの離隔距離が小さくてユーザー１０の掌１３が撮像データの中で大きく検出される場合である。図７（ａ）の場合には、ユーザーインターフェイス制御回路４は、表示するオブジェクト９の大きさを小さくし、かつ、右側に寄せて操作画面中にその一部だけを表示している。一方、図７（ｂ）の場合には、ユーザーインターフェイス制御回路４は、表示するオブジェクト９の大きさを大きくし、かつ、中央付近に寄せて操作画面中にその全部が入るように表示している。

つまり、この電子機器の入力装置１では、ユーザー１０の掌１３がカメラ２から遠すぎるような場合には、検出の精度が落ちて、入力操作のエラーの原因となるので、操作画面中に表示するオブジェクト９の大きさを、その離隔距離では見づらくなるような小ささに変更して、その反対に、ユーザー１０の掌１３がカメラ２に十分近づけば、オブジェクト９が大きくなって見やすくなるように操作画面を変更している。このようにすれば、ユーザー１０は、自らの掌１３がカメラ２から遠いことを操作画面中に表示するオブジェクト９が大きくなって見やすくなることで直感できるので、腕１２および掌１３をカメラ２に自然と近づけようとする。反対に言えば、掌１３をカメラ２で検出できない離隔距離までユーザー１０が遠ざかるのを予防できる。その結果として入力操作でのエラー発生を少なくすることができる。

なお、本発明の電子機器の入力装置は、上記実施例のような入力装置１に限定されず、接続される電子機器も限定されない。また、入力装置は、ユーザーの掌の動きを検出する場合のみならず、ユーザーの手の指、あるいは、手の甲の動きを検出するジェスチャー認識のユーザーインターフェイスであってもよい。入力装置が検出するユーザーの身体の部位は、腕の先の掌だけでなく、脚の先の足首、首の先の顔の眼や額などの特定の部位であればよい。あるいは、入力装置が備えるカメラは、奥行きセンサー等の他の検出手段を組み合わせるものであってもよい。

本発明の入力装置は、上記実施例の場合のような電子機器に適用するものに限定されず、ゲーム機、あるいは、ドライビングシミュレーター等に代表されるバーチャルリアリティ（ＶＲ）再生機器、等にも適用が可能である。

１ 入力装置（ビデオゲーム装置）
２ カメラ
３ 身体部位検出回路
４ ユーザーインターフェイス制御回路
５ 表示回路
６ 制御回路
７ 画角
８ カーソル
９ オブジェクト
１０ ユーザー
１１ 肩
１２ 腕
１３ 掌

Claims (6)

1. 所定の画角を有するレンズを含むカメラと、該カメラからの撮像データをモーションキャプチャして使用者の肩部および腕部および掌部を少なくとも検出可能な身体部位検出部と、該身体部位検出部からの出力を受けて操作画面を出力するユーザーインターフェイス制御部と、を備え、
   該身体部位検出部が該使用者の該掌部を検出する場合に、該ユーザーインターフェイス制御部が、該使用者の該掌部の上下左右方向の移動量に略比例して該操作画面中に表示するカーソルの第１移動量を設定し、
   該身体部位検出部が該使用者の該掌部を該画角の周辺付近に検出する場合には、該カーソルの該第１移動量を、該掌部を該画角の該中央付近に検出する場合よりも大きく設定する、
   電子機器の入力装置。
2. 前記身体部位検出部が前記使用者の前記掌部が該画角の中央付近の位置から該画角の周辺付近に移動することを検出する場合に、前記ユーザーインターフェイス制御部が、前記操作画面中に表示する前記カーソルの前記第１移動量を、該画角の該周辺付近から該中央付近へ移動する場合よりも大きく設定する、
   請求項１に記載の電子機器の入力装置。
3. 前記身体部位検出部が前記使用者の前記掌部を検出せずに前記肩部および前記腕部を検出する場合に、前記ユーザーインターフェイス制御部が、該使用者の該掌部の位置を該肩部および該腕部の検出位置から推定して掌部推定位置として特定し、該掌部推定位置の上下左右方向の移動量に略比例して前記操作画面中に表示する前記カーソルの第２移動量を設定し、
   該第２移動量が、該カーソルの前記第１移動量よりも大きく設定されている、
   請求項１または２に記載の電子機器の入力装置。
4. 前記身体部位検出部が、前記使用者の前記掌部が該画角の中央付近の位置から該画角の周辺付近に移動したことを検出する場合に、前記ユーザーインターフェイス制御部が、前記操作画面中に表示するオブジェクトの表示位置を、該画角内での該掌部の検出位置に応じて該操作画面の中央付近の位置から該画角の周辺付近に移動する、
   請求項１から３のいずれかに記載の電子機器の入力装置。
5. 前記身体部位検出部が、前記使用者の前記掌部が前記画角の周辺付近の位置から該画角の外側に移動したことを検出し、かつ、前記肩部および前記腕部を検出する場合に、前記ユーザーインターフェイス制御部が、前記操作画面中に表示するオブジェクトの表示位置を、前記掌部推定位置に応じて該操作画面の周辺付近の位置からさらに該操作画面の外側に移動し、該オブジェクトの一部のみを該操作画面内に表示する、
   請求項３または４に記載の電子機器の入力装置。
6. 前記身体部位検出部が、前記使用者の前記掌部が前記カメラから相対的に遠い離隔距離の位置に移動したことを検出する場合に、前記ユーザーインターフェイス制御部が、前記操作画面中に表示するオブジェクトの大きさを、該離隔距離の変化に応じて小さくするようにして該操作画面に表示する、
   請求項１から５のいずれかに記載の電子機器の入力装置。
   

Images