JP6210466B1 - 情報入力装置 - Google Patents
情報入力装置 Download PDFInfo
- Publication number
- JP6210466B1 JP6210466B1 JP2016213096A JP2016213096A JP6210466B1 JP 6210466 B1 JP6210466 B1 JP 6210466B1 JP 2016213096 A JP2016213096 A JP 2016213096A JP 2016213096 A JP2016213096 A JP 2016213096A JP 6210466 B1 JP6210466 B1 JP 6210466B1
- Authority
- JP
- Japan
- Prior art keywords
- palm
- information input
- image
- input device
- detection unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】電子機器の操作にあたり、リモコンのような特別の装置のみならず、操作用の画像を投影するスクリーン等の専用の投影対象も不要であり、かつ、ユーザーが片手のみで他の電子機器を操作することを可能にする。【解決手段】人の手のひらPを検知可能な検知部3と、手のひらPに、電子機器20を操作するための複数の処理に対応した複数の選択肢画像(ボタンB)を含む情報入力用画像を投影するプロジェクタ5と、検知部3およびプロジェクタ5を制御する制御部1と、を備える情報入力装置10であって、制御部1は、所定のタイミングにおいて検知部3が検知した手のひらPの位置に対応した絶対位置を記憶し、プロジェクタ5は、絶対位置を基準として情報入力用画像を投影し、検知部3が、手のひらPの中心に所定の選択肢画像が投影された状態から、手のひらPによる所定の動作を検知したとき、制御部1は、当該所定の選択肢画像(ボタンB)が選択されたと判定し、選択した選択肢画像(ボタンB)に対応する処理を電子機器20に送信する。【選択図】図9
Description
本開示は、電子機器を操作する情報入力装置に関する。
従来より、ユーザーが種々の電子機器を操作する場合、操作のための情報入力にはリモコン等の情報入力装置を利用することが一般的に行われている。リモコン等は置き場所が不明となることも多く、ユーザーが不便さを感じることも多い。
そこで、リモコン等の機器を用いず情報入力を行うことができる種々の装置が提案されている。例えば、特許文献1〜4は、投影装置からの照射光が投影される被投影面を検知する検知部を備えた情報入力装置を開示している。この照射光により、被投影面上に電子機器を操作する操作入力のための情報入力用画像が投影される。ユーザーは、情報入力用画像をタッチ操作等することにより、電子機器を操作することができる。
特に特許文献1〜4においては、被投影面として手のひらを用いることを想定しており、ユーザーはスクリーンの如き専用の投影対象を用意することなく、電子機器を操作することが可能となっている。
特許文献1〜4の情報入力装置は、専用の投影対象なしで、情報入力用画像を手のひらに投影することが可能となっている。しかしながら、投影面を手のひらにした場合、情報入力用画像を投影する面積が制限されることになる。また、手のひらを単に投影面として用いることを前提としており、情報の入力にはもう一方の手による操作が必須となる。よって、従来の情報入力装置には依然として不便な面が存在している。
本開示は、専用の投影対象を用意せず、また、ユーザーの片手のみで簡易な操作入力を可能とする情報入力装置に関する。
本開示の情報入力装置は、人の手のひらを検知可能な検知部と、手のひらに、電子機器を操作するための複数の処理に対応した複数の選択肢画像を含む情報入力用画像を投影する投影装置と、前記検知部および前記投影装置を制御する制御部と、を備える情報入力装置であって、前記制御部は、所定のタイミングにおいて前記検知部が検知した手のひらの位置に対応した絶対位置を記憶し、前記投影装置は、前記絶対位置を基準として前記情報入力用画像を投影し、前記検知部が、手のひらの中心に所定の選択肢画像が投影された状態から、手のひらによる所定の動作を検知したとき、前記制御部は、当該所定の選択肢画像が選択されたと判定し、選択した選択肢画像に対応する処理を前記電子機器に送信し、前記制御部は、前記投影装置から前記絶対位置に至る方向に沿って積層された複数の情報入力用画像を生成し、前記投影装置は、前記方向に沿って積層された複数の情報入力用画像を投影する。
本開示の情報入力装置によれば、電子機器の操作にあたり、リモコンのような特別の装置のみならず、操作用の画像を投影するスクリーン等の専用の投影対象も不要であり、かつ、ユーザーが片手のみで他の電子機器を操作することが可能となり、より簡易な操作入力が可能となる。
以下、適宜図面を参照しながら、本開示に係る情報入力装置を具体的に開示した実施形態(以下、「本実施形態」という)を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
以下、本開示を実施するための好適な本実施形態について、図面を参照して詳細に説明する。
(基本構成)
図1は、本開示の情報入力装置の一実施形態のブロック図である。情報入力装置10は、制御部1と、検知部3と、プロジェクタ(投影装置)5とを含む。情報入力装置10はリモコン等の装置を必要とすることなく、電子機器20の操作をするための情報をユーザーが入力するための装置である。電子機器20の種類は特に限定されず、室内の照明システム、空調システム、静止画、動画、音声などの種々のコンテンツを再生・記録するコンテンツ機器等、種々の機器が含まれる。情報入力装置10と電子機器20をインターネット等の通信回線で接続することにより、電子機器20を遠隔地から操作することも可能となる。
図1は、本開示の情報入力装置の一実施形態のブロック図である。情報入力装置10は、制御部1と、検知部3と、プロジェクタ(投影装置)5とを含む。情報入力装置10はリモコン等の装置を必要とすることなく、電子機器20の操作をするための情報をユーザーが入力するための装置である。電子機器20の種類は特に限定されず、室内の照明システム、空調システム、静止画、動画、音声などの種々のコンテンツを再生・記録するコンテンツ機器等、種々の機器が含まれる。情報入力装置10と電子機器20をインターネット等の通信回線で接続することにより、電子機器20を遠隔地から操作することも可能となる。
制御部1は、情報入力装置10の全体動作を司るプロセッサ、コンピュータ装置であり、検知部3、プロジェクタ5と別体の装置として設けてもよいし、検知部3またはプロジェクタ5内に設けられてもよいが、検知部3、プロジェクタ5を制御可能である。また、制御部1は、メモリなどの図示せぬ記憶装置を有しており、情報入力装置10を動作させる種々のプログラムや、検知部3が検知した対象物の座標、その他の情報を記憶可能である。
検知部3は、例えば赤外線発光装置と赤外線カメラを含む赤外線方式の深度センサーである。赤外線発光装置が空間に赤外線を照射し、赤外線カメラが、空間内に存在する対象物からの赤外線の反射光を受光して撮像し、赤外線画像の画素毎の位置座標データ(x,y)と、各画素に対応する撮像された物体までの距離を示す深度データ(d)とを、制御部1に出力する。ただし、対象物そのものの位置と距離を把握できる装置であれば、検知部3の種類は特に限定されない。
図2に示すように、本開示における検知対象である対象物は、少なくとも人(ユーザー)が手を拡げて形成される手のひらP(いわゆる「パー」の状態)を含む。制御部1は、予め個人差を考慮した手のひらの画像パターンを所定の記憶部に記憶しており、検知部3が撮像した赤外線画像と、当該画像パターンを比較し、所定の条件を満たしたとき(赤外線画像と画像パターンの差が所定値以下になった時)、手のひらPが検知されたと判定する。そして、制御部1は、当該手のひらPの位置座標データと、深度データをプロジェクタ5に出力する。
プロジェクタ5は、制御部1から受信した手のひらPの位置座標データと、深度データに基づき、本開示における対象物である手のひらに対して可視光を照射し、画像を投影する投影装置であり、その種類は特に限定されない。図2に示すように、プロジェクタ5は、検知部3が検知した手のひらPに対し、可視光を投影することによって、電子機器20を操作する操作情報を入力するための情報入力用画像を手のひらPの上に形成する。本実施形態では、複数の円形の画像である複数のボタンBを含む情報入力用画像が形成されている。後述するように、各ボタンBは、電子機器20を操作するための複数の処理(スイッチオン、種々のモード切り替え等)に対応した複数の選択肢画像に対応する。
(動作の概要)
図3〜図6は、本開示の情報入力装置10による入力処理動作を示す概念図である。図3(a)は、空間における手のひらPを検知する一連の動作を示す。情報入力装置10の電源オン等をトリガーとして、検知部3は赤外線の照射を開始する(図3(a)(1))。検知部3が手のひらPを検知した後(図3(a)(2))、制御部1は、手のひらPは追跡すべき対象物であることを判断し、プロジェクタ5に対し可視光の照射を指示し、追跡ポインタCを形成する様に可視光を手のひらPに対し照射する(図3(a)(3))。
なお、手のひらPを検知する特定空間を、ユーザーが予め認識している場合には、追跡ポインタCを照射しなくてもよい。
図3〜図6は、本開示の情報入力装置10による入力処理動作を示す概念図である。図3(a)は、空間における手のひらPを検知する一連の動作を示す。情報入力装置10の電源オン等をトリガーとして、検知部3は赤外線の照射を開始する(図3(a)(1))。検知部3が手のひらPを検知した後(図3(a)(2))、制御部1は、手のひらPは追跡すべき対象物であることを判断し、プロジェクタ5に対し可視光の照射を指示し、追跡ポインタCを形成する様に可視光を手のひらPに対し照射する(図3(a)(3))。
なお、手のひらPを検知する特定空間を、ユーザーが予め認識している場合には、追跡ポインタCを照射しなくてもよい。
図3(b)は、選択肢画像であるボタンBを形成する一連の動作を示す。追跡ポインタCの照射後、制御部1は検知部3に対し、対象物を補足するよう指示し、検知部3が対象物である手のひらPの位置座標データ、深度データを補足し続ける(図3(b)(1))。この後、時系列を示す矢印A1に沿うように、ユーザーが手を握り、形状が握りこぶしF(いわゆる「グー」の状態)に変化し、さらに手を拡げて手のひらPを形成し、検知部3が補足し続けている位置座標データ、深度データに基づき、この一連の動作を検知する(図3(b)(2))。制御部1は、検知したこの動作により、ユーザーが電子機器20を操作する準備ができたと判断し、情報入力用画像を構成する複数のボタンBを手のひらPの上に形成する(図3(b)(3))。このとき制御部1は、図3(b)(2)の動作タイミングにおいて検知部3が検知した手のひらの空間内の位置を絶対位置として、図示せぬ記憶装置に記憶した上で、ボタンBを投影する。「絶対位置」は、図3(b)(2)に示すような所定のタイミングにおいて検知部3が検知した手のひらPの位置に対応し、検知部3が検知し得る空間内の絶対的な位置座標に対応する。よって、絶対位置は、手のひらPが移動しても、変動することはない。なお、限られた範囲内においては、絶対位置を、手のひらPの移動に少し追従するようにしてもよい。
図4(a)は特定のボタンを選択する一連の動作の一例を示す。複数のボタンBが手のひらPの上に形成された状態で(図4(a)(1))、ユーザーが手のひらPを水平方向(横方向)に動かす(図4(a)(2))。そして、特定のボタンBFが手のひらPの中心に位置したところで、手のひらPを止めると、ユーザーが当該ボタンBFの選択を要望していると制御部1は判定し、当該ボタンBFが選択された選択ボタン(選択肢画像)と判定する(図4(a)(3))。
図4(b)は、図4(a)とは異なる、特定のボタンを選択する一連の動作の他の例を示す。複数のボタンBが手のひらPの上に形成された状態で(図4(b)(1))、ユーザーが手のひらPを上下方向(高さ方向)A2にスライドさせる(図4(b)(2))。このとき、手のひらPは、例えば手のひらP1で示す上の高さや、手のひらP2で示す下の高さに移動する。そして、それぞれの高さで表示されるボタンは、ボタンB1、B2で示す如く変化する。すなわち、制御部1は、上下方向に沿って積層された複数の情報入力用画像を生成し、プロジェクタ5が、上下方向に沿って積層された複数の情報入力用画像を投影する。
なお、図5に示すように、手のひらP上に複数のボタンBが最初に形成されたとき(初期時)には、手のひらPの中央付近には、選択可能なボタンBを配置しないことが望ましい(図5(a)参照)。手のひらPの中央付近のボタンは、初期時にユーザーが意図せずに選択してしまうことが多いため、初期時の形成では手のひらPの中央付近に選択可能なボタンBを配置せずに、空きスペースや、メッセージ等を表示する領域とする。なお、初期時の形成以外では、手のひらPの中央付近に選択可能なボタンBを配置してもよい。
なお、図5に示すように、手のひらP上に複数のボタンBが最初に形成されたとき(初期時)には、手のひらPの中央付近には、選択可能なボタンBを配置しないことが望ましい(図5(a)参照)。手のひらPの中央付近のボタンは、初期時にユーザーが意図せずに選択してしまうことが多いため、初期時の形成では手のひらPの中央付近に選択可能なボタンBを配置せずに、空きスペースや、メッセージ等を表示する領域とする。なお、初期時の形成以外では、手のひらPの中央付近に選択可能なボタンBを配置してもよい。
以降は、図4(a)(2)、図4(a)(3)で示した動作をそれぞれの高さで行うことにより、制御部1はボタンBFを選択ボタンとして判定することができる(図5(b)参照)。すなわち、手のひらP、P1、P2で示すそれぞれの高さで、ユーザーが手のひらを水平方向にスライドさせる(図4(a)(2))。特定のボタンBFが手のひらの中心に位置したところで、手のひらを止めると、ユーザーが当該ボタンBFの選択を要望していると制御部1は判定し、当該ボタンBFを選択ボタンとして判定する(図4(a)(3))。
図6(a)は、選択した選択ボタンBFに対応する処理の実行決定を行う一連の動作を示す。ボタンBFを選択ボタンとして判定した後(図6(a)(1))、ユーザーが手のひらを握り、握りこぶしFを形造ることにより、制御部1はボタンBFの最終的な選択を判定し、その後、握りこぶしFの状態から手のひらを開くと、当該ボタンBFの示す処理動作の実行命令を、電子機器20に送信する(図6(a)(2)、図6(a)(3))。尚、最終的な選択がなされたことをユーザーに視覚的に知らせるため、ボタンBFの表示態様を変更させてもよい。
図6(b)は情報入力装置10による入力処理動作の終了を命ずる動作の一例を示す。ユーザーが手のひらPを下に向けて垂直にすることにより、制御部1は入力処理動作の終了を判定する。図6(c)は終了を瞑する動作の他の例であり、ユーザーが手のひらPを数回上下に動かすような動作の後(図6(c)(1))、本動作を停止するような手のひらPの所定の動作を検知したとき(図6(c)(2))、制御部1は入力処理動作の終了を判定する。プロジェクタ5は、複数のボタンBを含む情報入力用画像の投影を停止する。もちろん、終了判定の動作は特には現令されない。また、手のひらPが、検知部3が検知し得る検知エリアから外れた場合も、制御部1は入力処理動作の終了を判定してよい。ただし、例えばボタンの投影が終了しても、電子機器20によるコンテンツの再生は継続してもよい。再生(動作)したコンテンツを終了する場合は、例えば他の終了用のボタンを選択するようにしてもよい。
(入力処理動作)
図7は、情報入力装置10による入力処理動作の一例のフロー図である。本フロー図は、専ら、図4(a)に示す特定のボタンを選択する動作を含む処理ステップを示し、手のひらPを上下方向に動かさず、水平方向にのみ動かしてボタンBFを選択ボタンとして判定する(図4(a)(3))、いわば2次元の選択処理を示す。
図7は、情報入力装置10による入力処理動作の一例のフロー図である。本フロー図は、専ら、図4(a)に示す特定のボタンを選択する動作を含む処理ステップを示し、手のひらPを上下方向に動かさず、水平方向にのみ動かしてボタンBFを選択ボタンとして判定する(図4(a)(3))、いわば2次元の選択処理を示す。
まず検知部3は、手のひらが検知されるまで検知を続行し(ステップS1;No)、手のひらを検知すると(ステップS1;Yes)、検知を受けた制御部1からの指示により、プロジェクタ5が手のひらへ追跡ポインタを投影し、検知部3は、手のひらの移動に連れて移動する追跡ポインタを追跡する(ステップS2)。ここまでが、図3(a)、図3(b)(1)の動作に該当する。
次に検知部3が、図3(b)(2)に示すような手のひらの何らかの動作(ジェスチャ)の検知を行い、何ら動作を検知しない場合は、ステップS1に戻り、再度手のひらの検知を開始する(ステップS3;No)。一方、検知部3が、図3(b)(2)に示すような手のひらの動作を検知した場合は(ステップS3;Yes)、手のひらへ選択肢画像である複数のボタンBを投影する(ステップS4)。ここでは、ボタンBを含む情報入力用画像が、特定の絶対位置を基準として投影される(図3(b)(3))。尚、ボタンBを投影することを決定する動作は、図3(b)(2)に示す手を握り締めて拡げる動作には限定されず、他の所定の動作であってもよい。
そして、検知部3が再度手のひらの検知を行い、ここで検知されなかった場合は、制御部1は手のひらの検知が失敗したと判定し、ステップS1に戻り、再度手のひらの検知を開始する(ステップS5;No)。一方、検知部3が、再度手のひらの検知を行い、手のひらを検知した場合は(ステップS5;Yes)、制御部1は、次に手のひらの何らかの動作の有無を判定する(ステップS6)。ここで、検知部3が、図3(b)(2)に示すような手のひらの動作を検知した場合は(ステップS6;Yes)、制御部1は再度ボタンBを含む情報入力用画像の絶対位置を決定すべきと判定し、ステップS4へ戻る。一方、検知部3が手のひらの何らかの動作を検知しない場合は(ステップS6;No)、制御部1は手のひらの中心と投影した特定のボタンBとの位置が、所定の時間以上合致したか否かの判定を行い、合致しない場合は、ステップS5に戻り、再度手のひらの検知を行う(ステップS7;No)。一方、制御部1が、手のひらの中心と投影した特定のボタンBとの位置が所定の時間以上合致したと判定した場合は(ステップS7;Yes)、図4(a)(3)に示すように、当該特定のボタンの表示を変更し、選択ボタンBFの表示をする(ステップS8)。
さらに検知部3は、手のひらの何らかの動作(ジェスチャ)の検知を行い、手のひらの何らかの動作を検知しない場合は、ステップS5に戻り、再度手のひらの検知を開始する(ステップS9;No)。一方、検知部3が、図6(a)(1)に示すような手のひらの何らかの動作を検知した場合は(ステップS9;Yes)、図6(a)(3)に示すように選択ボタンBFの表示を変更する(ステップS10)。そして、制御部1が、当該選択ボタンBFに割り当てられた処理の実行命令を電子機器20に送信し(ステップS11)、処理が終了する。
図8は、情報入力装置10による入力処理動作の他の例のフロー図である。本フロー図は、図7におけるステップS7、ステップS8の代わりにステップS71〜ステップS82を実施する。すなわち、図4(b)、図4(a)(2)、図4(a)(3)に示す特定のボタンを選択する動作を含む処理ステップを示し、手のひらPを水平方向のみならず上下方向にも動かして、ボタンBFを選択ボタンとして判定する(図4(a)(3))、いわば3次元の選択処理を示す。
すなわち、検知部3が手のひらの何らかの動作(ジェスチャ)を検知しない場合は(ステップS6;No)、制御部1は手のひらの中心と投影したボタンとの位置が、特定の高さにおける平面内で合致したか否かの判定を行い、合致しない場合は、ステップS5に戻り、再度手のひらの検知を行う(ステップS71;No)。一方、制御部1が、平面内で手のひらの中心と投影したボタンとの位置が合致したと判定した場合は(ステップS71;Yes)、ボタンの表示を変更する(ステップS8)。さらに制御部1は手のひらと投影したボタンとの位置が、上下方向において合致したか否かの判定を行い、合致しない場合は、ステップS5に戻り、再度手のひらの検知を行う(ステップS81;No)。一方、制御部1が、上下方向において手のひらと投影したボタンとの位置が合致したと判定した場合は(ステップS71;No)、ボタンの表示を変更する(ステップS82)。なお、図8の入力処理動作のフローにおいては、ステップ71とステップ81の順番を入れ替えてもよい。
図9は、本開示に係る情報入力装置10の主たる特徴点について説明した概念図である。図9(a)に示すように、情報入力装置10は手のひらPをカバーするような広い範囲に複数の選択肢画像である複数のボタンBを表示させることができ、ユーザーに対し操作の選択肢を与えることができる。また、図9(a)と図9(b)との比較から明らかなように、たとえ手のひらPが移動しても、情報入力装置10は手のひらPの動きに追従しないように、ボタンBの如き選択肢画像を含む情報入力用画像を空間の絶対位置を基準として投影させることができる。この結果、手のひらPには選択すべき選択ボタンBFと、他のボタンBが同時に並んで投影されることになり、ユーザーは、容易に、安定的にボタンBを選択することが可能となる。
また、手のひらPの中心に位置したボタンBFと隣接した他のボタンBも手のひらPに投影されている。よって、ユーザーは、ボタンBFと他のボタンB比較しながら、ボタンBFを選択することが可能であり、ユーザーは、容易な操作で要望する処理に対応したボタンを選択することが可能となる。さらに、手のひらPを握るような何らかの動作(ジェスチャ)によって、選択したボタンを最終的決定することができ、片手のみで選択処理を終了させることができるため、利便性を向上させることができる。尚、手のひらPの「中心」とは厳密には規定されないが、ユーザーが手のひらの中心であると認識できる所定の範囲を持った位置であり、ユーザーが手のひらを動かすことにより、当該所定範囲の位置に選択肢画像(ボタンB)を位置させることができればよい。
また、図9では表れていないが、情報入力装置10から見た手のひらPの上下位置(高さ位置)に応じても、情報入力用画像の内容を変化させることが可能である。このため、電子機器20の操作のバリエーションを更に拡充することが可能となる。
(応用例)
図10は、情報入力装置10の応用例の一つを説明する概念図である。図4(b)に示した例では、ユーザーは、手のひらの上下方向(高さ方向)に応じて種類の異なる情報入力用画像(およびそれに含まれる選択肢画像)を選択することができるが、何の目印もない場合、上下に他の情報入力用画像が存在するか否かを判断することは困難であると考えられる。よって、高さ方向に他の情報入力用画像が存在するか否かをユーザーに通知する何らかの手段が存在することが望ましい。
図10は、情報入力装置10の応用例の一つを説明する概念図である。図4(b)に示した例では、ユーザーは、手のひらの上下方向(高さ方向)に応じて種類の異なる情報入力用画像(およびそれに含まれる選択肢画像)を選択することができるが、何の目印もない場合、上下に他の情報入力用画像が存在するか否かを判断することは困難であると考えられる。よって、高さ方向に他の情報入力用画像が存在するか否かをユーザーに通知する何らかの手段が存在することが望ましい。
図10(a)は、最初に表示される画像であるボタンBに加え、上下方向に他のボタンを含む情報入力用画像が存在する場合は、画像を重ねて表示することにより、ユーザーに高さ方向において複数のボタンが存在することを知らせる例である。本例では、ボタンBの上方向にはボタンB1、下方向にはボタンB2、B3が互いに積層された状態で表示されており、制御部1は、上下方向に沿って積層された複数の選択肢画像であるボタンB、B1、B2、B3の積層状態を表示する積層状態表示画像Baを生成し、プロジェクタ5が積層状態表示画像Baを投影している。ユーザーは直感的に上下方向に手のひらPを移動させることにより、他のボタンも選択可能であることを把握することができ、利便性が向上する。
尚、積層状態表示画像BaにおけるボタンB1、B2、B3はあくまで他のボタンの存在を知らせる役割を果たすのであり、積層状態表示画像Baの一部であって、この手のひらの位置では選択できるボタンはボタンBのみであり、ボタンB1、B2、B3を選択することはできない。ユーザーは、積層状態表示画像Baを見て、図4(b)の要領で手のひらを上下に移動させることにより、ボタンB1、B2、B3を選択することができる。
図10(b)は、最初に表示される画像であるボタンBにおいて、上下方向に他のボタンが存在する旨を知らせるメッセージ(文字など)を表示することにより、ユーザーに高さ方向において複数のボタンが存在することを知らせる例である。すなわち制御部1は、上下方向に沿って積層された複数の選択肢画像であるボタンの各々の積層順序を表示する積層順序情報であるメッセージBbを生成し、プロジェクタ5が、ボタンBの各々においてメッセージBbを表示する。本例では「1/4 Movie 1」のメッセージBbが表示されているが、このメッセージにより、ユーザーは、映画を選択するボタンBの上下方向において合計4個のボタンが存在し、本ボタンBは下から1番目のボタンであることを把握することができる。ユーザーは直感的に高さ方向に手のひらPを移動させることにより、他のボタンも選択可能であることを把握することができ、利便性が向上する。
図10(c)は、最初に表示される情報入力用画像である厚みの表現されたボタンBに加え、上下方向に他のボタンが存在する場合は、異なる形状の画像を重ねて表示することにより、ユーザーに上下方向において複数のボタンが存在することを知らせる例である。ボタンBの上方向には弦形状のボタンBx、下方向には弦形状のボタンByが互いに重畳した状態で表示されている。ユーザーはボタンBの位置から、例えば上方向に手のひらPを移動させることにより、現在選択している円形のボタンBが弦形状に変形しつつ、下の弦形状のボタンByに重なり、上の弦形状のボタンBxが高さ方向の中央に位置するとともに厚みのある円形に変形して選択されたことを示す。このように選択肢画像を選択の有無により変形させることにより、ユーザーは特定の選択肢画像の選択を直感的に理解することができ、利便性が向上する。
尚、情報入力用画像および選択肢画像(ボタン)の積層状態を示す態様は、図10(a)〜(c)のものには特に限定されない。また、図4(b)、図10(a)〜(c)においては、複数の情報入力用画像が上下方向(高さ方向)に沿って積層され、ユーザーが上下方向に手のひらを移動させることにより、各情報入力用画像および選択肢画像を選択する例を示している。ただし、情報入力装置10が、側面の壁などに設置されることもあり、複数の情報入力用画像が積層される方向は上下方向(高さ方向)には限定されず、水平方向、斜め方向などであってもよい。一般化すれば、制御部1は、プロジェクタ5から検知部3が検知した絶対位置に至る方向に沿って積層された複数の情報入力用画像を生成すればよく、プロジェクタ5がこの方向に沿って積層された複数の情報入力用画像を投影すればよい。
図11は、情報入力装置10の応用例の一つを説明する概念図である。図9のように、ボタンBの如き情報入力用画像の投影範囲が手のひらPの周辺のみに限定される場合、ユーザーは投影された全ての情報入力用画像を直感的に把握することができる。しかしながら、投影範囲が手のひらPの周辺のみに限定されると、一面(平面)内で投影する情報入力用画像の数、種類は限定されてしまう。一方、投影範囲を広げてしまうと、手のひらPの周辺以外であって、手のひらPに投影されない情報入力用画像、選択肢画像を直感的に把握することは困難となる。
図11は、一面内における情報入力用画像の投影範囲が手のひらのサイズを超える領域に渡るように広く、多数の選択肢画像が形成される場合に、プロジェクタ5による投影範囲および手のひらの位置を知らせる位置表示画像を投影することにより、ユーザーが容易に投影範囲を把握することができる例を示す概念図である。図11(a)の例では、プロジェクタ5が選択肢画像群である情報入力用画像の投影範囲を示す横方向の両矢印A3である位置表示画像を投影する例を示す。手のひらが情報入力用画像内のどの位置にあるかを示す横方向の両矢印A3を手のひらPに投影することにより、ユーザーは情報入力用画像の投影範囲が手のひらPの左右両側に広がっており、左右方向に他の選択可能な選択肢画像(ボタンB)が存在することを直感的に把握することができる。図11(b)の例では、プロジェクタ5が投影範囲を示す左方向の矢印A4を手のひらPに投影する例を示す。画像群の投影範囲が手のひらPの左側に広がっているため、左方向の矢印A4を示すことにより、ユーザーは左方向に他の選択可能なボタンが存在することを直感的に把握することができる。尚、画像群の端からの距離を、矢印の長さで表現するなどしてもよい。
位置表示画像は矢印には限定されず、他の文字や、図形、記号などであってもよく、特に限定はされない。投影範囲は手のひらPの前後や斜め範囲に広がってもよく、広がりの範囲に応じた位置表示画像が生成される。
図12は、手のひらPの高さ方向の位置に合わせて、情報入力用画像および選択肢画像のサイズを決定する例を示す概念図である。図12(a)は、基本例であり、光学の原則論により、手のひらPの上下移動(矢印A5)に追従して選択肢画像であるボタンBのサイズが変化している。これに対し、図12(b)に示すように、制御部1は、検知部3が検知したプロジェクタ5から手のひらPまでの距離に基づき、手のひらPの上下移動(矢印A6)とは独立して、ボタンBのサイズを最適なもの、例えば高さに関わらず一定にすることができる。制御部1は、手のひらPまでの距離に基づき最適な情報入力用画像および選択肢画像のサイズを算出し、そのようなサイズの情報入力用画像および選択肢画像を出力する様に、プロジェクタ5に指示を出力する。このような制御を行うことにより、手のひらPの高さ方向の位置に関わらず、最適な情報入力用画像および選択肢画像のサイズを維持することができる。
最適な情報入力用画像および選択肢画像のサイズの決定方法は特に限定されない。上述した様に、制御部1は、検知部3から手のひらPまでの距離に基づき最適な情報入力用画像および選択肢画像のサイズを算出することもできる。また、制御部1は、検知部3が取得した手のひらPの平面サイズ(面積)に基づき、最適な情報入力用画像および選択肢画像のサイズを算出することもできる。具体的には、制御部1は、手のひらPまでの距離と、手のひらPの平面サイズ(面積)から、情報入力用画像および選択肢画像のサイズを変更するが、例えば、算出した手のひらPのサイズ(面積)の80%のサイズ(面積)の情報入力用画像および選択肢画像を投影してもよい。具体的には、図13に示すように、手のひらPのサイズ(面積)は、指以外の面積で算出してもよく、例えば指の付け根Qを認識し、指の付け根Qの位置を基準として手のひらPのサイズを算出することができる(図13(a1)、(a2)参照)。また、指の付け根Qを認識し、この付け根に接する外接円の面積で手のひらPのサイズを算出してもよい(図13(b1)、(b2)参照)。また、予め検知部3から手のひらPまでの距離に対応した情報入力用画像および選択肢画像のサイズを算出しておき、この距離のみに依存して情報入力用画像および選択肢画像のサイズを変更して投影してもよく、このような処理により制御部1の処理負担を軽減することができる。
図14は、手のひらPの傾き角度に合わせて、入力用画像の形状を決定する例を示す概念図である。図14(a)は、基本例であり、光学の原則論により、下位置の手のひらPがプロジェクタ5に対して傾いており、その傾き角度に応じて、情報入力用画像に含まれる選択肢画像であるボタンBの形状が変化している。具体的には、ボタンBが、横方向に伸びて手のひらPからはみ出てしまっている。尚、手のひらPがプロジェクタ5に対して傾いていない場合とは、プロジェクタ5の照射項の照射軸に対し、手のひらPが直交する様に配置されている場合である。
これに対し、図14(b)に示すように、情報入力装置10は、検知部3が検知したプロジェクタ5に対する手のひらPの傾き角度および手のひらPまでの距離に基づき、ボタンBの形状を最適なもの、例えば傾き角度に関わらず一定にすることができる。制御部1は、手のひらPの傾き角度に基づき最適な情報入力用画像の形状を算出し、そのような形状の情報入力用画像を出力する様に、プロジェクタ5に指示を出力する。このような制御を行うことにより、手のひらPの傾き角度に関わらず、最適な情報入力用画像の形状を維持することができる。
図15は、手のひらPの高さ方向の位置に合わせて、情報入力用画像および選択肢画像のピントを決定する例を示す概念図である。図15(a)は、基本例であり、光学の原則論により、手のひらPの上下移動(矢印A7)に追従してピントがずれることになる。本例では、最適なピントが下位置の手のひらPに対して与えられているため、上位置の手のひらPではピントがボケてしまっている。
これに対し、図15(b)に示すように、情報入力装置10は、検知部3が検知したプロジェクタ5から手のひらPまでの距離に基づき、手のひらPの上下移動(矢印A8)とは独立して、常に最適なプロジェクタ5のピントを決定することができる。制御部1は、手のひらPまでの距離に基づき最適なピントを算出し、そのようなピントの情報入力用画像および選択肢画像を出力する様に、プロジェクタ5に指示を出力する。このような制御を行うことにより、手のひらPの高さ方向の位置に関わらず、最適なピントの情報入力用画像および選択肢画像を維持することができる。
ピントの設定方法は特に限定されない。上述した様に、制御部1は、プロジェクタ5から手のひらPまでの距離に基づき最適なピントを算出することもできる(アクティブ方式)。また、制御部1は、検知部3がRGBカメラを備える場合、レンズを通過した光に基づき最適なピントを算出することもできる(パッシブ方式)。
なお、手のひらPの高さ方向の位置に合わせて、情報入力用画像および選択肢画像のピントを決定する処理は、図12で説明した手のひらPの高さ方向の位置に合わせて情報入力用画像および選択肢画像のサイズを決定する処理や、図14で説明した手のひらPの傾き角度に合わせて入力用画像の形状を決定する処理を組み合わせてもよい。
なお、手のひらPの高さ方向の位置に合わせて、情報入力用画像および選択肢画像のピントを決定する処理は、図12で説明した手のひらPの高さ方向の位置に合わせて情報入力用画像および選択肢画像のサイズを決定する処理や、図14で説明した手のひらPの傾き角度に合わせて入力用画像の形状を決定する処理を組み合わせてもよい。
図16は、情報入力装置10の応用例の一つを説明する概念図である。ユーザーの手のひらの位置によっては、情報入力用画像および選択肢画像の見え方が変わるため、その位置に応じて情報入力用画像および選択肢画像の表示方向をユーザーが見やすい方向に変更することが望ましい。例えば図16(a)に示すように、選択肢画像が円形のボタンBの場合、矢印A9で示す周方向に回転させ、表示方向を決定することが考えられる。
このため、検知部3が、手のひらに加え、ユーザーの肘部、肩部、頭部等の他の人体部分を形状から検知し、当該他の人体部分と手のひらを結ぶ直線軸を算出する。制御部1は、この直線軸を基準として、情報入力用画像の適切な表示方向を決定し、この表示方向を持つ情報入力用画像をプロジェクタ5が投影する。例えば直線軸が手のひらと頭部を結ぶものである場合、情報入力用画像は、直線軸と略平行にまたは略垂直になるような表示方向に配置されるのがよい。例えば直線軸が手のひらと肩部を結ぶものである場合、情報入力用画像は、手のひらが左右いずれの手かを認識した上で、直線軸から0〜60°程度の範囲での回転させた表示方向に配置されるのがよい。もちろん表示方向は一義的に規定されるものではなく、装置の種類、設置場所、ユーザーの特性など種々の要因により適宜決定される。
図16(b)は、検知部3が手のひらP、頭部H、肩部Sを認識した状況において、制御部1が手のひらPと頭部Hを結ぶ直線軸AX1および手のひらPと肩部Sを結ぶ直線軸AX2の二つの直線軸を決定し、この二つの直線軸から情報入力用画像であるボタンBの表示方向を決定する概念図を示す。図16(c)は、検知部3が手のひらP、肩部Sを認識した状況において、制御部1が手のひらPと肩部Sを結ぶ直線軸AX2を決定し、この直線軸から情報入力用画像であるボタンBの表示方向を決定する概念図を示す。図16(d)は、検知部3が手のひらP、頭部Hを認識した状況において、制御部1が手のひらPと頭部Hを結ぶ直線軸AX1を決定し、この直線軸から情報入力用画像であるボタンBの表示方向を決定する概念図を示す。
図16(e)は、検知部3が手のひらP、肩部S、特に両肩を認識した状況において、制御部1が両肩を結ぶ直線軸AX3を決定し、直線軸AX3を二等分する点が頭部Hの位置であると仮定して手のひらPと頭部Hを結ぶ直線軸AX1を決定し、直線軸AX1から情報入力用画像であるボタンBの表示方向を決定する概念図を示す。帽子や髪型等で頭部Hの認識が困難な場合に有用な方法である。
図16(f)は、検知部3が手のひらP、肩部S、特に両肩を認識した状況において、手のひらPが両肩の内側か外側にあるかを認識できるため、内側にある場合と外側にある場合とで表示方向を変更している。本例では、手のひらPが両肩の内側にある場合、表示方向は体に対して正対するように設定される、一方、手のひらPが両肩の外側にある場合、図16(e)と同様の方法で、直線軸AX3、直線軸AX1を決定し、直線軸AX1から情報入力用画像であるボタンBの表示方向を決定する。
本処理においては、上述した通り、検知部3が手のひらに加え、様々な他の人体部分を検知し、制御部1が、手のひらと他の人体部分との相対位置関係に基づき、情報入力用画像の向きを決定することができる。尚、検知部3が、ユーザーの直上に位置していなくても、空間的にユーザーの直上に位置している状況に変換して用いることができる。また、肩部の認識方法は骨格推定でも、上体塊推定でも良い。また、肘部を用いて表示方向を決定してもよい。また、椅子や、表示器など、使用環境によって人間の体の向きが限定される場合や、椅子の回転角度等を検出することにより体の認識以外でも向きを推定出来る場合は、その手段を用いて表示角度を変えてもよい。
図17は、高さ方向において情報入力用画像を投影する範囲を規定する概念を示す概念図である。検知部3が検知した頭部Hまたは肩部Sから手のひらPまでの相対距離(相対高さ)を制御部1が算出し、相対距離を基準として、プロジェクタ5が情報入力用画像を投影する範囲を規定する。例えば、肩部Sから手のひらPまでの相対距離を用いる場合(肩部基準)、手のひらPが肩部Sの高さ以下にある場合に情報入力用画像を投影すると決定することができ(距離D1)、さらに手のひらPが肩部Sの高さから600mm下の範囲までで情報入力用画像を投影すると決定することができる(距離D2)。頭部Hから手のひらPまでの相対距離を用いる場合(頭部基準)、肩部基準に対して150mm加算して計算する(距離D3、D4)。
本処理において、高さの基準を決める方向の角度は、図17のように重力方向(鉛直方向)には限定されず、例えばリクライニング式の椅子に腰かけた場合などを考慮し、上体の傾斜角度を基準として算出することもできる。すなわち、検知部3が、手のひら以外の他の人体部分を検知し、制御部1が、手のひらと他の人体部分との相対位置関係に基づき、情報入力用画像を投影する範囲を決定することができる。また、本処理においては、検知部3が、ユーザーの直上に位置していなくても(一般的な監視カメラ等)、空間的に本処理の状況に変換して用いることができる。また、クライニング式の椅子に腰かけた場合などは、頭部Hまたは肩部Sではなく、床、椅子の座面高さ等を認識、または事前設定しておき、情報入力用画像を投影する範囲を規定してもよく、高さの基準となるものは限定されない。
図18は、プロジェクタ5から照射する照射光と手のひらPが垂直に交わらない場合、すなわち、手のひらPに対し情報入力用画像を投影する投影角度が90°でない場合の処理の概念を示す概念図である。図18(a)に示すように、検知部3が手のひらPの傾き角度cを検知し、傾き角度に合わせて、例えば図14(b)で示した方法で情報入力用画像の形状を補正処理する。
また、手のひらPの移動が検知された場合、傾き角度cを用いて、制御部1は、移動方向について分解演算を行う。すなわち、手のひらPの平面方向aへの移動では投影位置は変化させず、制御部1は平面内でのボタンBの選択処理であると判断する。一方、手のひらPの奥行方向bへの移動では、ボタンBの投影位置そのものを変更する(図18(b)参照)。
これらの補正処置によって、プロジェクタ5から照射する照射光と手のひらPが垂直に交わらない場合でも、図4(b)のように、ユーザーが手のひらPに対して垂直方向にスライドさせることで、それぞれの高さで表示されるボタンが、ボタンB1、B2で示す如く変化する。
これらの補正処置によって、プロジェクタ5から照射する照射光と手のひらPが垂直に交わらない場合でも、図4(b)のように、ユーザーが手のひらPに対して垂直方向にスライドさせることで、それぞれの高さで表示されるボタンが、ボタンB1、B2で示す如く変化する。
手のひらPの傾き角度cを拡大すると投影画像の不鮮明化、手認識の困難化等が生じるため、傾き角度60°を上限とし、それ以上の傾き角度の場合、制御部1は傾き角度60°を最大角度として用いて処理する。また、手のひらPの傾き角度cに対して厳密に描画・演算処理を行うが、演算力・表示のチラつきが生じる場合、例えば5°、10°、15°毎のステップで演算を行う。
尚、手のひらによる動作(ジェスチャ)には種々のものが考えられ、上述の実施形態を含め、特定のものに限定はされない。例えば、テーブル等の所定の対象物に、手のひらに投影したボタンなどの情報入力用画像をこぼすようなジェスチャが考えられる。ボタンの投影箇所を、こぼし先の対象物に移動し、表示される情報入力用画像の数やサイズを変更して表示してもよい。
また、電子機器20による処理の実行開始後に、電子機器(ディスプレイ等)に注意が向くように、ビーム等を別途投影する様にしてもよい。具体的には、手のひらPに投射されているボタンBを、電子機器の方向に移動させてもよいし、手のひらPに投射されているボタンBを、電子機器の方向を示す矢印を表示させる様にしてもよい。
また、特定の情報入力用画像をちぎるような動作により処理を決定してもよいし、手のひらを傾けることで、情報入力用画像が流れていくように遷移する様にしてもよい。
上述の形態では、片方の手のみで操作を完結させる例を説明した。ただし、他方の手で情報入力用画像をタッチして決定することも可能である。ただし、他方の手の指によって片方の手のひらが隠れてしまい、手のひらの高さと指との高さの差が正確に測れないと言った不都合は生じ得る。このような不都合を解消するため、例えば、情報入力用画像を表示する前に手の平の表面の凹凸を記録し、情報入力用画像を表示する領域より外側で、かつ指にかからない領域を3点以上、観測点とし、この観測点を計測することで手のひらの傾きを検出する。記録した表面の凹凸と、手のひらの傾きにより、手のひらの表面の高さを逐次補正することができる。また、手のひらの血の赤色をVGA(Video Graphics Array)カメラで観測してもよい。
また、検知部3とプロジェクタ5との構成、位置等に関しては、種々の関係が考えられる。例えば、プロジェクタ5の投影画角にかからない位置に検知部3を配置したり、検知部3の検知領域にかからない位置にプロジェクタ5を配置することが考えられる。プロジェクタ5の情報入力用画像を投影する投影面と検知部3が検知する面を同一面に配置してもよい。
また、プロジェクタ5と検知部3を、同一パーツで固定してもよく、プロジェクタ5の光軸と検知部の軸を同一方向に配置してもよい。また、検知部3のアスペクト比とプロジェクタ5のアスペクト比を合わせてもよい。
また、プロジェクタ5と検知部3を校正する校正方法として、例えば何らかの校正アナウンスにより、対角点を表示し、ユーザーに対角点2点の中心に手をかざしてもらうことにより、手の検出位置と、投影位置を照合し、校正することが考えられる。また、画像認識によりポインタ中心と手のひらの中心のズレを認識し、調整してもよい。また、特徴的な構造物(イス等)に対して調整してもよい。
本開示の情報入力装置によれば、電子機器の操作にあたり、リモコンのような特別の装置のみならず、操作用の画像を投影するスクリーン等の専用の投影対象も不要であり、かつ、ユーザーが片手のみで他の電子機器を操作することが可能となり、より簡易な操作入力が可能となる。
また、本開示の情報入力装置によれば、基本的に手のひらに情報入力画像を投影するが、手のひらのサイズに制限されることなく情報入力画像を投影することができ、多様な電子機器の操作処理が可能となる。
また、本開示の情報入力装置によれば、手のひらの検知後、特定のタイミング、特に特定の手のひらの動作(ジェスチャ)によって、情報入力画像を投影する絶対位置を画定することができる。よって、任意の位置(空間)を投影位置とすることができ、専用の投影対象が不要となる。また、ユーザーが手のひらを動かしても、投影位置は追従しないため、ユーザーは選択したい情報入力画像の選択肢画像に、手のひらを動かすことができる。
また、本開示の情報入力装置によれば、特定の選択肢画像を手のひらの中心に位置する様に手を動かした後、所定の動作によりその選択肢画像の選択が決定される。よって、投影位置の設定、選択肢画像の選択及び決定を、同じ手で行うことができ、ユーザーの片手のみで電子機器を簡易に操作することが可能となる。また、従来のように、選択肢画像の決定を、もう一方の手で指す動作にした場合のような複雑な検出処理をする必要がないため、より確実に、より簡易に決定処理を行うことができる。
以上、図面を参照して本開示に係る情報入力装置の実施形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。
本開示の情報入力装置は、専用の投影対象を用意せずに、電子機器を簡易かつ的確に操作する用途に有用である。
1 制御部
3 検知部
5 プロジェクタ(投影装置)
10 情報入力装置
20 電子機器
B ボタン(選択肢画像)
F 握りこぶし
H 頭部
P 手のひら
Q 指の付け根
S 肩部
3 検知部
5 プロジェクタ(投影装置)
10 情報入力装置
20 電子機器
B ボタン(選択肢画像)
F 握りこぶし
H 頭部
P 手のひら
Q 指の付け根
S 肩部
Claims (12)
- 人の手のひらを検知可能な検知部と、
手のひらに、電子機器を操作するための複数の処理に対応した複数の選択肢画像を含む情報入力用画像を投影する投影装置と、
前記検知部および前記投影装置を制御する制御部と、
を備える情報入力装置であって、
前記制御部は、所定のタイミングにおいて前記検知部が検知した手のひらの位置に対応した絶対位置を記憶し、
前記投影装置は、前記絶対位置を基準として前記情報入力用画像を投影し、
前記検知部が、手のひらの中心に所定の選択肢画像が投影された状態から、手のひらによる所定の動作を検知したとき、前記制御部は、当該所定の選択肢画像が選択されたと判定し、選択した選択肢画像に対応する処理を前記電子機器に送信し、
前記制御部は、前記投影装置から前記絶対位置に至る方向に沿って積層された複数の情報入力用画像を生成し、前記投影装置は、前記方向に沿って積層された複数の情報入力用画像を投影する、情報入力装置。 - 請求項1に記載の情報入力装置であって、
前記制御部は、前記方向に沿って積層された複数の選択肢画像の積層状態を表示する積層状態表示画像を生成し、
前記投影装置は、前記積層状態表示画像を投影する、情報入力装置。 - 請求項1に記載の情報入力装置であって、
前記制御部は、前記方向に沿って積層された複数の選択肢画像の各々の積層順序を表示する積層順序情報を生成し、
前記投影装置は、選択肢画像の各々において前記積層順序情報を表示する、情報入力装置。 - 請求項1に記載の情報入力装置であって、
前記投影装置は、一面内おいて、手のひらのサイズを超える領域に前記情報入力用画像を投影する、情報入力装置。 - 請求項1に記載の情報入力装置であって、 前記投影装置は、手のひらが前記情報入力用画像内のどの位置にあるかを示す位置表示画像を手のひらに投影する、情報入力装置。
- 請求項1に記載の情報入力装置であって、
前記検知部が手のひらによる所定の動作がされたことを検知したとき、前記投影装置は前記情報入力用画像の投影を停止する、情報入力装置。 - 請求項1に記載の情報入力装置であって、
前記投影装置は、初期時に前記手のひらに投影する際には、少なくとも前記選択肢画像は前記手のひらの中央付近以外に投射する、情報入力装置。 - 請求項1に記載の情報入力装置であって、
前記検知部は、前記投影装置から手のひらまでの距離を検知し、
前記制御部は、前記距離に基づき、前記情報入力用画像のサイズを決定する、情報入力装置。 - 請求項1に記載の情報入力装置であって、
前記検知部は、前記投影装置に対する手のひらの傾き角度を検知し、
前記制御部は、前記傾き角度に基づき、前記情報入力用画像の形状を決定する、情報入力装置。 - 請求項1に記載の情報入力装置であって、
前記検知部は、前記投影装置から手のひらまでの距離を検知し、
前記制御部は、前記距離に基づき、前記投影装置のピントを決定する、情報入力装置。 - 請求項1に記載の情報入力装置であって、
前記検知部は、手のひら以外の他の人体部分を検知し、
前記制御部は、手のひらと他の人体部分との相対位置関係に基づき、前記情報入力用画像の向きを決定する、情報入力装置。 - 請求項1に記載の情報入力装置であって、
前記検知部は、手のひら以外の他の人体部分を検知し、
前記制御部は、手のひらと他の人体部分との相対位置関係に基づき、前記情報入力用画像を投影する範囲を決定する、情報入力装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016213096A JP6210466B1 (ja) | 2016-10-31 | 2016-10-31 | 情報入力装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016213096A JP6210466B1 (ja) | 2016-10-31 | 2016-10-31 | 情報入力装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6210466B1 true JP6210466B1 (ja) | 2017-10-11 |
JP2018073170A JP2018073170A (ja) | 2018-05-10 |
Family
ID=60040417
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016213096A Active JP6210466B1 (ja) | 2016-10-31 | 2016-10-31 | 情報入力装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6210466B1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109447052A (zh) * | 2019-01-09 | 2019-03-08 | 东浓智能科技(上海)有限公司 | 一种可精确定位手掌位置的掌静脉识别装置及其实现方法 |
CN111093066A (zh) * | 2019-12-03 | 2020-05-01 | 耀灵人工智能(浙江)有限公司 | 一种动态平面投影方法及*** |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220244788A1 (en) | 2019-05-22 | 2022-08-04 | Maxell, Ltd. | Head-mounted display |
EP3764199A1 (en) * | 2019-07-12 | 2021-01-13 | Bayerische Motoren Werke Aktiengesellschaft | Methods, apparatuses and computer programs for controlling a user interface |
JP2021071894A (ja) * | 2019-10-30 | 2021-05-06 | 三菱電機株式会社 | 操作装置、操作方法及びプログラム |
JP2021099721A (ja) * | 2019-12-23 | 2021-07-01 | トヨタ紡織株式会社 | 車両用入力装置 |
JP7375611B2 (ja) * | 2020-02-28 | 2023-11-08 | 日本精機株式会社 | 操作装置 |
JP7328409B2 (ja) * | 2020-09-24 | 2023-08-16 | Necプラットフォームズ株式会社 | 制御装置、制御方法、情報入力システムおよびプログラム |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004208089A (ja) * | 2002-12-26 | 2004-07-22 | Casio Comput Co Ltd | プロジェクタ、撮像装置、台形補正用プログラム |
US20100199232A1 (en) * | 2009-02-03 | 2010-08-05 | Massachusetts Institute Of Technology | Wearable Gestural Interface |
JP2012089079A (ja) * | 2010-10-22 | 2012-05-10 | Honda Access Corp | 車両用入出力装置 |
US20120249409A1 (en) * | 2011-03-31 | 2012-10-04 | Nokia Corporation | Method and apparatus for providing user interfaces |
WO2012129649A1 (en) * | 2011-03-31 | 2012-10-04 | Smart Technologies Ulc | Gesture recognition by shadow processing |
WO2012173001A1 (ja) * | 2011-06-13 | 2012-12-20 | シチズンホールディングス株式会社 | 情報入力装置 |
US20130086531A1 (en) * | 2011-09-29 | 2013-04-04 | Kabushiki Kaisha Toshiba | Command issuing device, method and computer program product |
US20140177909A1 (en) * | 2012-12-24 | 2014-06-26 | Industrial Technology Research Institute | Three-dimensional interactive device and operation method thereof |
JP2016029532A (ja) * | 2014-07-25 | 2016-03-03 | 小島プレス工業株式会社 | ユーザインターフェース |
WO2016047043A1 (ja) * | 2014-09-25 | 2016-03-31 | パナソニックIpマネジメント株式会社 | 投影装置 |
US20160282951A1 (en) * | 2013-06-27 | 2016-09-29 | Futureplay Inc. | Method and Device for Determining User Input on Basis of Visual Information on User's Fingernails or Toenails |
-
2016
- 2016-10-31 JP JP2016213096A patent/JP6210466B1/ja active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004208089A (ja) * | 2002-12-26 | 2004-07-22 | Casio Comput Co Ltd | プロジェクタ、撮像装置、台形補正用プログラム |
US20100199232A1 (en) * | 2009-02-03 | 2010-08-05 | Massachusetts Institute Of Technology | Wearable Gestural Interface |
JP2012089079A (ja) * | 2010-10-22 | 2012-05-10 | Honda Access Corp | 車両用入出力装置 |
US20120249409A1 (en) * | 2011-03-31 | 2012-10-04 | Nokia Corporation | Method and apparatus for providing user interfaces |
WO2012129649A1 (en) * | 2011-03-31 | 2012-10-04 | Smart Technologies Ulc | Gesture recognition by shadow processing |
WO2012173001A1 (ja) * | 2011-06-13 | 2012-12-20 | シチズンホールディングス株式会社 | 情報入力装置 |
US20130086531A1 (en) * | 2011-09-29 | 2013-04-04 | Kabushiki Kaisha Toshiba | Command issuing device, method and computer program product |
US20140177909A1 (en) * | 2012-12-24 | 2014-06-26 | Industrial Technology Research Institute | Three-dimensional interactive device and operation method thereof |
US20160282951A1 (en) * | 2013-06-27 | 2016-09-29 | Futureplay Inc. | Method and Device for Determining User Input on Basis of Visual Information on User's Fingernails or Toenails |
JP2016029532A (ja) * | 2014-07-25 | 2016-03-03 | 小島プレス工業株式会社 | ユーザインターフェース |
WO2016047043A1 (ja) * | 2014-09-25 | 2016-03-31 | パナソニックIpマネジメント株式会社 | 投影装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109447052A (zh) * | 2019-01-09 | 2019-03-08 | 东浓智能科技(上海)有限公司 | 一种可精确定位手掌位置的掌静脉识别装置及其实现方法 |
CN111093066A (zh) * | 2019-12-03 | 2020-05-01 | 耀灵人工智能(浙江)有限公司 | 一种动态平面投影方法及*** |
Also Published As
Publication number | Publication date |
---|---|
JP2018073170A (ja) | 2018-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6210466B1 (ja) | 情報入力装置 | |
US20220121344A1 (en) | Methods for interacting with virtual controls and/or an affordance for moving virtual objects in virtual environments | |
US20220261112A1 (en) | Systems, devices, and methods for touch-free typing | |
US10139929B2 (en) | Information handling system interactive totems | |
JP6371475B2 (ja) | 視線入力装置、視線入力方法、および、視線入力プログラム | |
US9804733B2 (en) | Dynamic cursor focus in a multi-display information handling system environment | |
US9753591B2 (en) | Capacitive mat information handling system display and totem interactions | |
US9323343B2 (en) | Information processing method and information processing apparatus | |
US9983717B2 (en) | Disambiguation of false touch inputs at an information handling system projected user interface | |
JP2019087279A (ja) | デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法 | |
US9720446B2 (en) | Information handling system projected work space calibration | |
US20160316186A1 (en) | Continuous Calibration of an Information Handling System Projected User Interface | |
JP6372487B2 (ja) | 情報処理装置、制御方法、プログラム、および記憶媒体 | |
US10139854B2 (en) | Dynamic display resolution management for an immersed information handling system environment | |
US11635827B2 (en) | Control device, display device, program, and detection method | |
US11243640B2 (en) | Information handling system modular capacitive mat with extension coupling devices | |
US9791979B2 (en) | Managing inputs at an information handling system by adaptive infrared illumination and detection | |
US9804718B2 (en) | Context based peripheral management for interacting with an information handling system | |
KR101330531B1 (ko) | 3차원 카메라를 이용한 가상 터치 방법 및 장치 | |
JP7294350B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US9720550B2 (en) | Adaptable input active zones at an information handling system projected user interface | |
US20210287330A1 (en) | Information processing system, method of information processing, and program | |
JP4712754B2 (ja) | 情報処理装置及び情報処理方法 | |
JP2012027744A (ja) | 情報処理装置及びその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170725 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170808 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170904 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6210466 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |