JP2013178645A - 電子機器の入力装置 - Google Patents
電子機器の入力装置 Download PDFInfo
- Publication number
- JP2013178645A JP2013178645A JP2012041745A JP2012041745A JP2013178645A JP 2013178645 A JP2013178645 A JP 2013178645A JP 2012041745 A JP2012041745 A JP 2012041745A JP 2012041745 A JP2012041745 A JP 2012041745A JP 2013178645 A JP2013178645 A JP 2013178645A
- Authority
- JP
- Japan
- Prior art keywords
- palm
- user
- angle
- view
- operation screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】 カメラにより使用者の掌を検出するユーザーインターフェイスを含む電子機器の入力装置に関し、ユーザーインターフェイスを通じて想定する領域内から使用者の掌が出ないように自然に抑制し、円滑な入力操作が可能になる電子機器の入力装置を提供する。
【解決手段】 電子機器の入力装置は、身体部位検出部が使用者の掌部を検出する場合に、ユーザーインターフェイス制御部が、使用者の掌部の上下左右方向の移動量に略比例して操作画面中に表示するカーソルの第1移動量を設定し、身体部位検出部が使用者の掌部を画角の周辺付近に検出する場合には、カーソルの第1移動量を、掌部を画角の中央付近に検出する場合よりも大きく設定する。
【選択図】 図1
【解決手段】 電子機器の入力装置は、身体部位検出部が使用者の掌部を検出する場合に、ユーザーインターフェイス制御部が、使用者の掌部の上下左右方向の移動量に略比例して操作画面中に表示するカーソルの第1移動量を設定し、身体部位検出部が使用者の掌部を画角の周辺付近に検出する場合には、カーソルの第1移動量を、掌部を画角の中央付近に検出する場合よりも大きく設定する。
【選択図】 図1
Description
本発明は、電子機器の入力装置に関し、特に、人の動き・姿勢・状態などに基づいて電子機器の操作入力、または、情報の制御操作などを行う入力装置に関し、カメラ、または、センサーを使用したユーザーインターフェイスで、人間の掌および腕の動きによって電子機器の入力操作を行う入力装置に関する。
遊技機、ビデオゲーム機、パーソナルコンピュータ、テレビジョン受像器、オーディオ装置、等の電子機器においては、カメラ、または、センサーを使用したユーザーインターフェイスを設けて、使用者の動き・姿勢・状態などに基づいて電子機器の操作入力、または、情報の制御操作などを行う入力装置がある。特に、ビデオゲーム機では、カメラおよび深度センサーを内蔵して使用者の動きを撮像して映像情報を得て、これをモーションキャプチャ等の解析技術を応用して使用者の動きを検出し、ユーザーインターフェイス内に表示されるカーソルを移動させる、あるいは、任意の表示ボタンを選択させる、等の入力操作が可能になる入力装置が普及している。モーションキャプチャでは、使用者の動きをデジタル的に検出し、使用者の位置または動きだけでなく、使用者の身体的な部位(顔、腕、掌、身体、足、等)もしくは骨格を特定して、その位置または動きまでも検出することができる。
例えば、従来には、電子機器の制御装置に係り、特に人の手などの動作の画像を認識して、テレビジョン受像機などの電子機器の遠隔操作を行うための電子機器の制御装置に関して、表示装置と、その表示装置の前方に位置する操作者を撮影するビデオカメラとを備えた電子機器の操作を、前記ビデオカメラで撮影して得た前記操作者の画像の動きに応じて制御する電子機器の制御装置において、前記ビデオカメラで撮影された画像を鏡像変換して、第1の鏡像変換画像信号を生成し、この生成した第1の鏡像変換画像信号を出力する鏡像変換手段と、入力されるサイズ制御信号に応じた拡大率又は縮小率で前記第1の鏡像変換画像信号の画像サイズを制御し、かつ、入力される位置制御信号に応じて前記第1の鏡像変換画像信号の表示される画面における画像位置を制御した第2の鏡像変換画像信号を出力する画像変換手段と、複数の操作検出領域を含んだ操作用画像に対応した操作用画像信号を生成する操作用画像信号生成手段と、前記第2の鏡像変換画像信号と前記操作用画像信号とを混合して前記表示装置へ出力する混合手段と、前記第2の鏡像変換画像信号を表示する画面を水平方向にN分割(Nは2以上の自然数)し、かつ、垂直方向にM分割(Mは2以上の自然数)することにより得られる計N×M分割された分割画像領域のそれぞれについて、前記操作者の所定の部位の動作を示す画像信号を検出する検出手段と、前記検出手段で検出された前記動作を示す画像信号により得られる動き画像と前記分割画像領域との位置関係とから当該動き画像の重心座標を求め、その重心座標が前記操作用画像の所定操作検出領域に位置するように当該動き画像の位置を制御する前記位置制御信号を生成すると共に、当該動き画像の最大幅に応じて前記画像サイズを決定して前記サイズ制御信号を生成し、これら生成した前記位置制御信号と前記サイズ制御信号とを前記画像変換手段に出力する制御信号生成手段とを有することを特徴とする電子機器の制御装置がある(特許文献1)。
また、従来には、表示画像上のオブジェクトの平行移動及び/又は回転運動に作用する信号を供給する入力装置において、ビデオ画像をキャプチャする装置と、キャプチャされた人間の腕等のモーションのビデオ画像を出力信号に変換する入力画像プロセッサであって、(a)前記キャプチャされたビデオ画像内の背景から人間の形を分離し、(b)前記人間の腕等の位置及び/又は動きを検出し、(c)前記人間の腕等の位置及び/又は動きに応じて出力信号を生成する、ようにプログラムされる入力画像プロセッサと、前記入力画像プロセッサから受信した信号に応じて、表示画像上のオブジェクトの平行移動及び/又は回転運動に作用を与えるようにプログラムされる出力画像プロセッサと、を有する入力装置がある(特許文献2)。
また、従来には、被測定者の動作要点部の動きを検出し、シミュレートするモーションキャプチャシステムにおいて、被測定者の動作要点部の各々に複数個ずつ取り付けられたアンテナエレメントと、このアンテナエレメントの各々を識別可能な無線信号を生成して各アンテナエレメントへ送出する無線送信装置と、前記アンテナエレメントの各々から送信された無線信号を受信する複数の無線受信装置と、この無線受信装置により受信された各無線信号の受信電界強度から前記動作要点部の位置、動き、向きの少なくとも1つを検出する処理手段と、を備えたことを特徴とするモーションキャプチャシステムがある(特許文献3)。
しかしながら、従来技術の電子機器の入力装置において、モーションキャプチャを応用して使用者の掌を検出して、ユーザーインターフェイスにより画面内に表示するボタンのオブジェクトを押し下げるようなジェスチャー操作を可能とする場合に、カメラあるいは他のセンサーで検出可能な範囲から掌が出てしまうと、あるいは、使用者の身体若しくは腕の位置から掌の位置が推定できないようになると、入力操作ができなくなるという問題がある。特にカメラによって使用者の検出可能な領域内での相対位置を検出する場合には、使用者自らの相対位置がわかりにくいので、使用者の腕の動きが大きくなって想定する領域内から掌が出てしまった場合には、入力操作にエラーを生じる場合がある、という問題がある。使用者にとっては、スムーズな入力操作ができなくなることで初めて自らの掌が検出できる領域、あるいは、推定可能な領域から出たことが分かることになるので、ユーザーインターフェイスを通じて想定する領域内から掌が出てないように使用者を抑制するのが好ましい。
本発明は、上記の従来技術が有する問題を解決するためになされたものであり、その目的は、カメラにより使用者の掌を検出するユーザーインターフェイスを含む電子機器の入力装置に関し、ユーザーインターフェイスを通じて想定する領域内から使用者の掌が出ないように自然に抑制し、円滑な入力操作が可能になる電子機器の入力装置を提供することにある。
本発明の電子機器の入力装置は、所定の画角を有するレンズを含むカメラと、カメラからの撮像データをモーションキャプチャして使用者の肩部および腕部および掌部を少なくとも検出可能な身体部位検出部と、身体部位検出部からの出力を受けて操作画面を出力するユーザーインターフェイス制御部と、を備え、身体部位検出部が使用者の掌部を検出する場合に、ユーザーインターフェイス制御部が、使用者の掌部の上下左右方向の移動量に略比例して操作画面中に表示するカーソルの第1移動量を設定し、身体部位検出部が使用者の掌部を画角の周辺付近に検出する場合には、カーソルの第1移動量を、掌部を画角の中央付近に検出する場合よりも大きく設定する。
好ましくは、本発明の電子機器の入力装置は、身体部位検出部が使用者の掌部が画角の中央付近の位置から画角の周辺付近に移動することを検出する場合に、ユーザーインターフェイス制御部が、操作画面中に表示するカーソルの第1移動量を、画角の周辺付近から中央付近へ移動する場合よりも大きく設定する。
また、好ましくは、本発明の電子機器の入力装置は、身体部位検出部が使用者の掌部を検出せずに肩部および腕部を検出する場合に、ユーザーインターフェイス制御部が、使用者の掌部の位置を肩部および腕部の検出位置から推定して掌部推定位置として特定し、掌部推定位置の上下左右方向の移動量に略比例して操作画面中に表示するカーソルの第2移動量を設定し、第2移動量が、カーソルの第1移動量よりも大きく設定されている。
また、好ましくは、本発明の電子機器の入力装置は、身体部位検出部が、使用者の掌部が画角の中央付近の位置から画角の周辺付近に移動したことを検出する場合に、ユーザーインターフェイス制御部が、操作画面中に表示するオブジェクトの表示位置を、画角内での掌部の検出位置に応じて操作画面の中央付近の位置から画角の周辺付近に移動する。
また、好ましくは、本発明の電子機器の入力装置は、身体部位検出部が、使用者の掌部が画角の周辺付近の位置から画角の外側に移動したことを検出し、かつ、肩部および腕部を検出する場合に、ユーザーインターフェイス制御部が、操作画面中に表示するオブジェクトの表示位置を、掌部推定位置に応じて操作画面の周辺付近の位置からさらに操作画面の外側に移動し、オブジェクトの一部のみを操作画面内に表示する。
また、好ましくは、本発明の電子機器の入力装置は、身体部位検出部が、使用者の掌部がカメラから相対的に遠い離隔距離の位置に移動したことを検出する場合に、ユーザーインターフェイス制御部が、操作画面中に表示するオブジェクトの大きさを、離隔距離の変化に応じて小さくするようにして操作画面に表示する。
以下、本発明の作用について説明する。
本発明の電子機器の入力装置は、所定の画角を有するレンズを含むカメラと、カメラからの撮像データをモーションキャプチャして使用者の肩部および腕部および掌部を少なくとも検出可能な身体部位検出部と、身体部位検出部からの出力を受けて操作画面を出力するユーザーインターフェイス制御部と、を備える。つまり、カメラにより使用者の掌を検出するユーザーインターフェイスを含み、使用者が掌をカメラに向けて上下左右に動かしたりすることで、操作画面で表示されるカーソル等を利用して入力操作を可能にする電子機器の入力装置である。この電子機器の入力装置では、身体部位検出部が使用者の掌部を検出する場合に、ユーザーインターフェイス制御部が、使用者の掌部の上下左右方向の移動量に略比例して操作画面中に表示するカーソルの第1移動量を設定する。
操作画面中に表示するカーソルの第1移動量は、以下のように設定する。撮像データをモーションキャプチャする身体部位検出部が、使用者の掌部を画角の周辺付近に検出する場合には、カーソルの第1移動量を、掌部を画角の中央付近に検出する場合よりも大きく設定する。さらに、好ましくは、使用者の掌部がカメラの画角の中央付近の位置から画角の周辺付近に移動したことを検出する場合に、ユーザーインターフェイス制御部が、上記の第1移動量を、使用者の掌部の上下左右方向の移動量に比例して、画角の周辺付近から中央付近へ移動する場合より大きくなるように設定する。つまり、使用者の掌部がカメラの画角の周辺付近に移動して、検出できないカメラの画角の外側に出てしまうおそれがある場合には、ユーザーインターフェイス制御部は、使用者が掌部を大きく移動させなくてもカーソルが操作画面の内部で相対的に大きく移動するように、カーソルの第1移動量を設定する。その結果、使用者の掌部がカメラの画角の外側に出てしまうことが自然と抑制されるので、入力操作でのエラー発生を少なくすることができる。
さらに、この電子機器の入力装置では、身体部位検出部が使用者の掌部を検出せずに肩部および腕部を検出する場合に、ユーザーインターフェイス制御部が、使用者の掌部の位置を肩部および腕部の検出位置から推定して掌部推定位置として特定し、掌部推定位置の上下左右方向の移動量に略比例して操作画面中に表示するカーソルの第2移動量を設定する。つまり、例えば、使用者の掌部がカメラの画角の外側に出てしまって使用者の掌部を検出できないような場合には、ユーザーインターフェイス制御部は、使用者の掌部の位置を肩部および腕部の検出位置から推定して掌部推定位置を特定する。その結果、使用者の掌部がカメラの画角の外側に出てしまっても、少なくとも使用者の肩部および腕部の位置を検出していれば、掌部の位置を推定してカーソルの第2移動量を設定することができる。
このカーソルの第2移動量は、第1移動量よりも大きく設定されている。すなわち、この電子機器の入力装置では、カメラにより検出可能な範囲から掌が出てしまっても、掌部の位置が推定できる範囲では入力操作にエラーを生じずに継続して操作が可能であるが、操作画面中で設定されるカーソルの移動量が相互に異なる第1移動量と第2移動量とに切り換えられるので、使用者は表示されるカーソルの移動量を見て、掌がカメラにより検出可能な範囲から出てしまっていることを自覚することができる。その結果、使用者は、掌の位置を自覚して腕をカメラにより検出可能な範囲へ戻そうと動かすことができるので、掌が再び検出可能になり、入力操作にエラーを生じる場合を少なくすることができる。
また、この電子機器の入力装置では、身体部位検出部が、使用者の掌部が画角の中央付近の位置から画角の周辺付近に移動したことを検出する場合に、ユーザーインターフェイス制御部が、操作画面中に表示するオブジェクトの表示位置を、画角内での掌部の検出位置に応じて操作画面の中央付近の位置から周辺付近に移動するようにしてもよく、身体部位検出部が、使用者の掌部が画角の周辺付近の位置から画角の外側に移動したことを検出し、かつ、肩部および腕部を検出する場合に、ユーザーインターフェイス制御部が、操作画面中に表示するオブジェクトの表示位置を、掌部推定位置に応じて操作画面の周辺付近の位置からさらに操作画面の外側に移動し、オブジェクトの一部のみを操作画面内に表示するようにしてもよい。使用者は、自らの掌がカメラの画角の周辺付近にあることを操作画面中に表示するオブジェクトの表示位置により直感できるので、掌および腕をカメラの画角の中央寄りに戻そうして、その結果として入力操作でのエラー発生を少なくすることができる。
また、好ましくは、本発明の電子機器の入力装置は、身体部位検出部が、使用者の掌部がカメラから相対的に遠い離隔距離の位置に移動したことを検出する場合に、ユーザーインターフェイス制御部が、操作画面中に表示するオブジェクトの大きさを、離隔距離の変化に応じて小さくするようにして操作画面に表示するようにしてもよい。つまり、使用者の掌部がカメラから遠すぎるような場合には、検出の精度が落ちてエラーの原因となるので、操作画面中に表示するオブジェクトの大きさを、その離隔距離では見づらくなるような小ささに変更して、近づけばオブジェクトが大きくなって見やすくなるように変更すればよい。使用者は、自らの掌がカメラから遠いことを操作画面中に表示するオブジェクトが大きくなって見やすくなることで直感できるので、掌および腕をカメラに近づけようとして、その結果として入力操作でのエラー発生を少なくすることができる。
本発明の電子機器の入力装置は、カメラにより使用者の掌を検出するユーザーインターフェイスを含み、ユーザーインターフェイスを通じて想定する領域内から使用者の掌が出ないように抑制し、円滑な入力操作が可能になる電子機器の入力装置を提供することができる。
以下、本発明の好ましい実施形態による電子機器の入力装置について説明するが、本発明はこれらの実施形態には限定されない。
図1は、本発明の好ましい実施形態による電子機器の入力装置1について説明するブロックダイアグラムである。また、図2、図4、図5、図6および図7は、この入力装置1の動作について説明する図である。また、図3は、電子機器の入力装置1のジェスチャー認識を説明するフローチャートである。なお、後述するように、説明に不要な入力装置1および電子機器20の一部の構造や、内部構造等は、図示ならびに説明を省略する。
具体的には、本実施例の入力装置1は、パーソナルコンピュータ、または、テレビジョン受像器、あるいは、オーディオ装置、等の電子機器20に接続してジェスチャー認識のユーザーインターフェイスを実現する入力装置である。入力装置1は、操作画面内のユーザーインターフェイスにカーソル8および任意のオブジェクト9を表示し、ユーザー10の掌13および腕12の動きによって、表示されるカーソル8を移動させる、あるいは、表示ボタン等を選択させる、等の入力操作を可能にして、電子機器20に対して操作入力を行なう。入力装置1は、センサーとしてカメラ2を備えているので、カメラ2のレンズの画角7の内にユーザー10を認識すると、モーションキャプチャを実行してユーザー10の骨格を推定し、ユーザー10の肩11、腕12、および、掌13を認識することができ、掌13の上下左右の動きに応じてカーソル8を移動させることができる。
入力装置1は、所定の画角7を有するレンズを含むカメラ2と、カメラ2からの撮像データをモーションキャプチャする身体部位検出回路3と、身体部位検出回路3からの出力を受けてユーザーインターフェイスの操作画面を出力するユーザーインターフェイス制御回路4と、操作画面を表示する表示回路5と、入力装置1全体の制御および電子機器20と通信する制御回路6と、を備える。カメラ2は、入力装置1に接続する別筐体のカメラであってもよく、操作画面を表示する表示回路5は、ディスプレイ装置等の他の表示装置であってもよい。また、入力装置1の身体部位検出回路3、ユーザーインターフェイス制御回路4および制御回路6は、その一部または全部が他の電子機器20の内部に含まれるものであってよい。
図2および図3を参照して、入力装置1でのジェスチャー認識の動作を説明する。図2に図示するように、ユーザー10がカメラ2の画角7内に入ると、入力装置1は、ジェスチャー認識の動作を開始する(S001)。身体部位検出回路3は、カメラ2からの撮像データを受けて、撮像データの中にユーザー10の骨格が含まれているかを、データーベースを参照して推定する(S002)。身体部位検出回路3は、ユーザー10の頭、顔、体幹、腕、足、等を検出可能であるのが好ましく、肩11および腕12および掌13を少なくとも検出できる。身体部位検出回路3は、検出されたユーザー10の骨格のデータから、掌13の可動範囲を推定することもできる(S003)。例えば、肩11および腕12の位置が検出できれば、掌13が所定の範囲にあることが推定できる。したがって、カメラ2からの撮像データの所定の範囲に掌13の特徴を探せば(S004)、掌13を検出できる(S005:Yes)。
入力装置1がユーザー10の掌13を検出する場合には、入力装置1は、ユーザー10の掌13の推定できる可動範囲とその位置14の関係から、操作画面内でのカーソル8の位置を決定する(S006)。ユーザーインターフェイス制御回路4は、ユーザー10の掌13の上下左右方向の移動量a1に略比例して操作画面中に表示するカーソル8の第1移動量d1を設定する。図2に図示する場合には、ユーザー10の掌13の位置14は、カメラ2の画角7に対して中央付近に位置するので、ユーザー10は、腕12および掌13を大きく振っても、カメラ2の画角7の外側に出てしまうおそれは少ない。したがって、掌13の移動量a1に対するカーソル8の第1移動量d1は、相対的に小さく設定できる。このように掌13を検出すれば、ユーザー10は、その上下左右の動きに応じてカーソル8を移動させることができる。
なお、掌13を検出できない場合(S005:No)は、後述するように、肩11および腕12の位置から掌の位置を推定する(S007)。ジェスチャー認識を終了せずに継続する場合(S008:No)、繰り返してユーザー10の掌13の位置14を検出(S004)し、ジェスチャー認識を終了する場合(S008:Yes)。には、終了する(S009)。
次に、図4を参照して、入力装置1でのジェスチャー認識の動作を説明する。図4に図示するように、ユーザー10の掌13が検出可能な範囲に対して片寄った位置14であって、カメラ2の画角7の周辺付近に検出される場合には、ユーザー10が腕12および掌13を大きく振ると、カメラ2の画角7の外側に出てしまうおそれがある。そこで、入力装置1では、撮像データをモーションキャプチャする身体部位検出回路3が、ユーザー10の掌13を画角7の周辺付近に検出する場合には、ユーザーインターフェイス制御回路4が、掌13の移動量a1に対するカーソル8の第1移動量d1を、掌13を画角7の中央付近に検出する場合よりも大きく設定する。
つまり、入力装置1では、ユーザー10が同じ移動量a1だけ掌13を動かすと、図2に図示する掌13が画角7の中央付近に検出される場合よりも、図4に図示する掌13が画角7の周辺付近に検出される場合の方が、カーソル8の第1移動量d1が大きくなる。反対に言えば、入力装置1では、ユーザー10がカーソル8を所定の第1移動量d1だけ動かそうとすると、図2に図示する掌13が画角7の中央付近に検出される場合よりも、図4に図示する掌13が画角7の周辺付近に検出される場合の方が、掌13の移動量a1が小さくなる。その結果、ユーザー10の掌13がカメラ2の画角7の外側に出てしまうことが自然と抑制されるので、本実施例の入力装置1では、入力操作でのエラー発生を少なくすることができる。
図5を参照して、ユーザー10の掌13の左右方向の移動量aLまたはaRに対するカーソル8の第1移動量dLまたはdRを、異なるように設定する場合を説明する。図5(a)は、ユーザー10が掌13を右側の開始位置14であってカメラ2の画角7の右側周辺付近から左側の中央寄りに移動する場合である。また、図5(b)は、ユーザー10が掌13を左側の開始位置14であってカメラ2の画角7の中央付近から右側の周辺付近寄りに移動する場合である。上記の2つの場合には、図5(a)に図示する場合の方が、ユーザー10の掌13がカメラ2の画角7の外側に出てしまうおそれが少ない。したがって、図5(b)に図示するように、ユーザー10の掌13がカメラ2の画角の中央付近の位置14から画角7の右側周辺付近に移動することを検出する場合には、ユーザーインターフェイス制御回路4は、カーソル8の右側への第1移動量dRを、反対の場合である図5(a)に図示するカーソル8の左側への第1移動量dLより大きくなるように設定する。
つまり、ユーザー10の掌13がカメラ2の画角7の中央付近から周辺付近に移動して、検出できないカメラ2の画角7の外側に出てしまうおそれがある場合には、ユーザーインターフェイス制御回路4は、ユーザー10が掌13を大きく移動させなくてもカーソル8が操作画面の内部で相対的に大きく移動するように、カーソル8の第1移動量d1を設定すればよい。ユーザー10は、カーソル8を見ながら腕12および掌13を動かすので、画面内での移動量が大きくなれば、その分だけ掌13の移動量を小さくすることになる。その結果、ユーザー10の掌13がカメラ2の画角7の外側に出てしまうことが自然と抑制されるので、入力操作でのエラー発生を少なくすることができる。
次に、図6を参照して、入力装置1において、ユーザー10の掌13を検出できない場合の動作を説明する。図6に図示するように、ユーザー10の主要な骨格部分がカメラ2の画角7に入っていたとしても、腕12の先の掌13がカメラ2で検出可能な範囲から出てしまう場合がある。そこで、身体部位検出回路3がユーザー10の掌13を検出せずに肩11および腕12を検出する場合には、ユーザーインターフェイス制御回路4は、ユーザー10の掌13の位置を肩11および腕12の検出位置から推定して掌部推定位置16として特定する。具体的には、肩11および腕12の検出位置の延長線15の所定の距離に掌13が存在するので、腕の角度から掌13の位置を推定する。入力装置1は、推定した掌13の位置である掌部推定位置16の上下左右方向の移動量a2に略比例して操作画面中に表示するカーソル8の第2移動量d2を設定する。
この様に、ユーザー10の掌13がカメラ2の画角7の外側に出てしまっても、少なくともユーザー10の肩11および腕12の位置を検出していれば、掌13の位置を推定してカーソル8の第2移動量d2を設定することができる。さらに、実際にユーザー10が掌13を動したと推定できる移動量a2が、図2および図4で図示する場合の移動量a1と等しい場合を仮定すると、このカーソル8の第2移動量d2は、第1移動量d1よりも大きくなるように設定されている。したがって、ユーザーインターフェイス制御回路4は、ユーザー10の掌13の位置が、カメラ2の画角7の中央付近から周辺付近に向かい、画角7の外側に位置してしまうに連れて、掌13を同じ移動量aだけ動かすと、カーソル8の移動量dがかなり大きく変化することになる。
すなわち、この電子機器の入力装置1では、カメラ2により検出可能な範囲である画角7から掌13が出てしまっても、掌13の位置が推定できる範囲では入力操作にエラーを生じずに継続して操作が可能であるが、操作画面中で設定されるカーソル8の移動量が相互に異なる第1移動量d1と第2移動量d2とに切り換えられるので、ユーザー10は表示されるカーソル8の移動量を見て、掌13がカメラ2で検出可能な範囲から出てしまっていることを自覚することができる。その結果、ユーザー10は、掌13の位置を自覚して腕12をカメラ2により検出可能な範囲へ戻そうと動かすことができるので、掌13が再び検出可能になり、入力操作にエラーを生じる場合を少なくすることができる。
また、図2、図4、および、図6に図示するとおり、この電子機器の入力装置1では、ユーザーインターフェイスの操作画面の中で、表示する特定のオブジェクト9の表示位置を、カメラ2の画角7内での掌13の検出位置に応じて操作画面の中央付近の位置から画角7の周辺付近に移動するようにしてもよい。特定のオブジェクト9は、例えば、図7に拡大して図示するようなメニュー画面などであればよい。図2に図示する場合には、ユーザー10の掌13の位置14は、カメラ2の画角7に対して中央付近に位置するので、特定のオブジェクト9は、操作画面の中央付近に位置している。図4に図示する場合には、ユーザー10の掌13の位置14は、カメラ2の画角7に対して右側周辺付近に位置するので、特定のオブジェクト9は、操作画面の右側周辺付近に位置している。図6に図示する場合には、ユーザー10の掌13の推定した位置である掌部推定位置16は、カメラ2の画角7のさらに外側になるので、特定のオブジェクト9は、操作画面の周辺付近の位置からさらに操作画面の外側に移動し、オブジェクト9の一部のみを操作画面内に表示するように位置している。つまり、図6の場合には、掌13の検出位置に応じて位置が変化する特定のオブジェクト9は、掌13が検出できていないことに対応して、その一部のみを表示してまるでその残りがはみ出しているかのように操作画面に表示される。
したがって、図2および図4の場合には、ユーザー10は、自らの掌13がカメラ2の画角7の周辺付近にあることを操作画面中に表示するオブジェクト9の表示位置により直感できるので、腕12および掌13をカメラ2の画角7の中央寄りに戻そうして、その結果として入力操作でのエラー発生を少なくすることができる。また、図6の場合には、ユーザー10は、自らの掌13がカメラ2の画角7の外側にあることを操作画面中に一部だけが表示されるオブジェクト9の表示位置により直感できるので、腕12および掌13をカメラ2の画角7の中央寄りに戻すことができる。また、カメラ2が検出可能な範囲に複数のユーザーが存在するような場合には、どのユーザーの掌が検出されているか分からなくなることがあるが、この電子機器の入力装置1では、オブジェクト9の表示位置を参照することで、複数のユーザーの内で誰が操作を行っているのかを推測するのが容易になるという利点がある。
また、図7に図示するとおり、この電子機器の入力装置1では、ユーザーインターフェイスの操作画面の中で、表示する特定のオブジェクト9の大きさを、カメラ2の画角7内での掌13を検出する離隔距離に応じて変更してもよい。図7(a)は、ユーザー10の掌13がカメラ2で検出可能な範囲の周辺付近に位置する場合であり、かつ、カメラ2からの離隔距離が大きくてユーザー10の掌13が撮像データの中で小さく検出される場合である。また、図7(b)は、ユーザー10の掌13がカメラ2で検出可能な範囲の中央付近に位置する場合であり、かつ、カメラ2からの離隔距離が小さくてユーザー10の掌13が撮像データの中で大きく検出される場合である。図7(a)の場合には、ユーザーインターフェイス制御回路4は、表示するオブジェクト9の大きさを小さくし、かつ、右側に寄せて操作画面中にその一部だけを表示している。一方、図7(b)の場合には、ユーザーインターフェイス制御回路4は、表示するオブジェクト9の大きさを大きくし、かつ、中央付近に寄せて操作画面中にその全部が入るように表示している。
つまり、この電子機器の入力装置1では、ユーザー10の掌13がカメラ2から遠すぎるような場合には、検出の精度が落ちて、入力操作のエラーの原因となるので、操作画面中に表示するオブジェクト9の大きさを、その離隔距離では見づらくなるような小ささに変更して、その反対に、ユーザー10の掌13がカメラ2に十分近づけば、オブジェクト9が大きくなって見やすくなるように操作画面を変更している。このようにすれば、ユーザー10は、自らの掌13がカメラ2から遠いことを操作画面中に表示するオブジェクト9が大きくなって見やすくなることで直感できるので、腕12および掌13をカメラ2に自然と近づけようとする。反対に言えば、掌13をカメラ2で検出できない離隔距離までユーザー10が遠ざかるのを予防できる。その結果として入力操作でのエラー発生を少なくすることができる。
なお、本発明の電子機器の入力装置は、上記実施例のような入力装置1に限定されず、接続される電子機器も限定されない。また、入力装置は、ユーザーの掌の動きを検出する場合のみならず、ユーザーの手の指、あるいは、手の甲の動きを検出するジェスチャー認識のユーザーインターフェイスであってもよい。入力装置が検出するユーザーの身体の部位は、腕の先の掌だけでなく、脚の先の足首、首の先の顔の眼や額などの特定の部位であればよい。あるいは、入力装置が備えるカメラは、奥行きセンサー等の他の検出手段を組み合わせるものであってもよい。
本発明の入力装置は、上記実施例の場合のような電子機器に適用するものに限定されず、ゲーム機、あるいは、ドライビングシミュレーター等に代表されるバーチャルリアリティ(VR)再生機器、等にも適用が可能である。
1 入力装置(ビデオゲーム装置)
2 カメラ
3 身体部位検出回路
4 ユーザーインターフェイス制御回路
5 表示回路
6 制御回路
7 画角
8 カーソル
9 オブジェクト
10 ユーザー
11 肩
12 腕
13 掌
2 カメラ
3 身体部位検出回路
4 ユーザーインターフェイス制御回路
5 表示回路
6 制御回路
7 画角
8 カーソル
9 オブジェクト
10 ユーザー
11 肩
12 腕
13 掌
Claims (6)
- 所定の画角を有するレンズを含むカメラと、該カメラからの撮像データをモーションキャプチャして使用者の肩部および腕部および掌部を少なくとも検出可能な身体部位検出部と、該身体部位検出部からの出力を受けて操作画面を出力するユーザーインターフェイス制御部と、を備え、
該身体部位検出部が該使用者の該掌部を検出する場合に、該ユーザーインターフェイス制御部が、該使用者の該掌部の上下左右方向の移動量に略比例して該操作画面中に表示するカーソルの第1移動量を設定し、
該身体部位検出部が該使用者の該掌部を該画角の周辺付近に検出する場合には、該カーソルの該第1移動量を、該掌部を該画角の該中央付近に検出する場合よりも大きく設定する、
電子機器の入力装置。 - 前記身体部位検出部が前記使用者の前記掌部が該画角の中央付近の位置から該画角の周辺付近に移動することを検出する場合に、前記ユーザーインターフェイス制御部が、前記操作画面中に表示する前記カーソルの前記第1移動量を、該画角の該周辺付近から該中央付近へ移動する場合よりも大きく設定する、
請求項1に記載の電子機器の入力装置。 - 前記身体部位検出部が前記使用者の前記掌部を検出せずに前記肩部および前記腕部を検出する場合に、前記ユーザーインターフェイス制御部が、該使用者の該掌部の位置を該肩部および該腕部の検出位置から推定して掌部推定位置として特定し、該掌部推定位置の上下左右方向の移動量に略比例して前記操作画面中に表示する前記カーソルの第2移動量を設定し、
該第2移動量が、該カーソルの前記第1移動量よりも大きく設定されている、
請求項1または2に記載の電子機器の入力装置。 - 前記身体部位検出部が、前記使用者の前記掌部が該画角の中央付近の位置から該画角の周辺付近に移動したことを検出する場合に、前記ユーザーインターフェイス制御部が、前記操作画面中に表示するオブジェクトの表示位置を、該画角内での該掌部の検出位置に応じて該操作画面の中央付近の位置から該画角の周辺付近に移動する、
請求項1から3のいずれかに記載の電子機器の入力装置。 - 前記身体部位検出部が、前記使用者の前記掌部が前記画角の周辺付近の位置から該画角の外側に移動したことを検出し、かつ、前記肩部および前記腕部を検出する場合に、前記ユーザーインターフェイス制御部が、前記操作画面中に表示するオブジェクトの表示位置を、前記掌部推定位置に応じて該操作画面の周辺付近の位置からさらに該操作画面の外側に移動し、該オブジェクトの一部のみを該操作画面内に表示する、
請求項3または4に記載の電子機器の入力装置。 - 前記身体部位検出部が、前記使用者の前記掌部が前記カメラから相対的に遠い離隔距離の位置に移動したことを検出する場合に、前記ユーザーインターフェイス制御部が、前記操作画面中に表示するオブジェクトの大きさを、該離隔距離の変化に応じて小さくするようにして該操作画面に表示する、
請求項1から5のいずれかに記載の電子機器の入力装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012041745A JP2013178645A (ja) | 2012-02-28 | 2012-02-28 | 電子機器の入力装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012041745A JP2013178645A (ja) | 2012-02-28 | 2012-02-28 | 電子機器の入力装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013178645A true JP2013178645A (ja) | 2013-09-09 |
Family
ID=49270223
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012041745A Pending JP2013178645A (ja) | 2012-02-28 | 2012-02-28 | 電子機器の入力装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013178645A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016015078A (ja) * | 2014-07-03 | 2016-01-28 | Necパーソナルコンピュータ株式会社 | 表示制御装置、表示制御方法、及び、プログラム |
JP2016146104A (ja) * | 2015-02-09 | 2016-08-12 | 富士ゼロックス株式会社 | 入力システム、入力装置およびプログラム |
JP2021521512A (ja) * | 2018-05-03 | 2021-08-26 | マイクロソフト テクノロジー ライセンシング,エルエルシー | 手の位置に基づいたモーダル制御の開始 |
-
2012
- 2012-02-28 JP JP2012041745A patent/JP2013178645A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016015078A (ja) * | 2014-07-03 | 2016-01-28 | Necパーソナルコンピュータ株式会社 | 表示制御装置、表示制御方法、及び、プログラム |
JP2016146104A (ja) * | 2015-02-09 | 2016-08-12 | 富士ゼロックス株式会社 | 入力システム、入力装置およびプログラム |
JP2021521512A (ja) * | 2018-05-03 | 2021-08-26 | マイクロソフト テクノロジー ライセンシング,エルエルシー | 手の位置に基づいたモーダル制御の開始 |
JP7252252B2 (ja) | 2018-05-03 | 2023-04-04 | マイクロソフト テクノロジー ライセンシング,エルエルシー | 手の位置に基づいたモーダル制御の開始 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10606441B2 (en) | Operation control device and operation control method | |
US10764565B2 (en) | Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method | |
US9134800B2 (en) | Gesture input device and gesture input method | |
US8350896B2 (en) | Terminal apparatus, display control method, and display control program | |
US9323343B2 (en) | Information processing method and information processing apparatus | |
WO2014141504A1 (ja) | 3次元ユーザインタフェース装置及び3次元操作処理方法 | |
US9098130B2 (en) | Computer-readable storage medium having stored thereon input processing program, input processing apparatus, input processing method, and input processing system | |
US20110118877A1 (en) | Robot system and method and computer-readable medium controlling the same | |
WO2009147758A1 (ja) | 画像認識装置および操作判定方法並びにプログラム | |
JP2013258614A (ja) | 画像生成装置および画像生成方法 | |
TWI530858B (zh) | 一種立體交互系統和立體交互方法 | |
WO2020124976A1 (zh) | 图像处理方法及装置、电子设备及存储介质 | |
US20120154377A1 (en) | Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method | |
CN110520822B (zh) | 控制装置、信息处理***、控制方法和程序 | |
JP2013156889A (ja) | 移動制御装置、移動制御装置の制御方法、及びプログラム | |
US20190339768A1 (en) | Virtual reality interaction system and method | |
JP2013178645A (ja) | 電子機器の入力装置 | |
JP5863984B2 (ja) | ユーザインタフェース装置及びユーザインタフェース方法 | |
WO2019106862A1 (ja) | 操作案内システム | |
JP2017068763A (ja) | 情報処理装置および位置情報取得方法 | |
JP2013109538A (ja) | 入力方法及び入力装置 | |
JP6373546B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2020149336A (ja) | 情報処理装置、表示制御方法、及びプログラム | |
JP2013257830A (ja) | 情報処理装置 | |
US20240231481A1 (en) | Information processing apparatus, information processing method, and storage medium |