JP6551502B2 - ヘッドマウントディスプレイ、情報処理方法、及びプログラム - Google Patents
ヘッドマウントディスプレイ、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JP6551502B2 JP6551502B2 JP2017242459A JP2017242459A JP6551502B2 JP 6551502 B2 JP6551502 B2 JP 6551502B2 JP 2017242459 A JP2017242459 A JP 2017242459A JP 2017242459 A JP2017242459 A JP 2017242459A JP 6551502 B2 JP6551502 B2 JP 6551502B2
- Authority
- JP
- Japan
- Prior art keywords
- hand
- operator
- display screen
- display
- panel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Description
1.第1の実施形態の詳細な説明
2.第2の実施形態の詳細な説明
3.第3の実施形態の詳細な説明
4.変形例
従来、操作者のジェスチャにより機器を操作するアイディアが考えられてきたが、以下の点が課題であった。第1に、従来のアイディアでは、ジェスチャにより機器を操作する場合に物理的なフィードバックが無いので、操作している感覚が操作者に生じない。第2に、従来のアイディアでは、操作者は腕を前方に持ち上げてジェスチャを行う必要があるので、操作者が長時間操作を行う場合には、例えば肩、腕、ひじなどに強い疲労感が生じるなど身体的な苦痛が生じる。第3に、従来のアイディアでは、実空間に配置された仮想のアイコンを2次元ディスプレイ上に表示した場合に、操作者がアイコンを正しく選択することは困難である。
[1−1.基本構成]
最初に、第1の実施形態によるHMD10(情報処理装置)の基本構成について、図1を参照して説明する。図1に示したように、HMD10は、例えば図2に示したような表示画面20を操作者2に見せるための表示装置である。このHMD10は、操作者2の頭部に装着されるヘッドマウントディスプレイであってもよいし、例えばシースルー型のディスプレイを備えたメガネ型コンピュータであってもよい。また、HMD10は、撮影された静止画、動画、またはコンピュータグラフィックスにより描画された2次元オブジェクトや3次元オブジェクトなどを表示画面20に表示することができる。
また、HMD10は、例えば図3に示すようなハードウェア構成を有する。図3に示したように、HMD10は、CPU(Central Processing Unit)150、ROM(Read Only Memory)152、RAM(Random Access Memory)154、内部バス156、インターフェース158、入力装置160、出力装置162、ストレージ装置164、および通信装置166を備える。
(1−2−1.HMD10の構成)
以上、第1の実施形態によるHMD10の基本構成について説明した。続いて、第1の実施形態による構成について詳細に説明する。図4は、第1の実施形態によるHMD10の構成を示した機能ブロック図である。図4に示したように、HMD10は、制御部100、記憶部110、および出力部112を有する。また、制御部100は、手形状認識部102、動作認識部104、表示制御部106、および判断部108を有する。
撮像部120は、外部の映像を、レンズを通して例えばCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子に結像させ、静止画像又は動画像を撮影する機能を有する。また、撮像部120は、撮影した画像をHMD10に送信する。なお、撮像部120は、例えば図1に示したセンサ部122のように、操作者2の顔の上部に位置するようにHMD10に設置されることが可能である。
センサ部122は、例えば深度センサにより操作者2の手などの外部の物体の深度情報を測定する。また、センサ部122は、測定した情報をHMD10に送信する。なお、センサ部122は、例えば図1に示したように、操作者2の顔の上部に位置するようにHMD10に設置されることが可能である。
(1−3−1.全体的な動作)
以上、第1の実施形態による構成について説明した。続いて、第1の実施形態による動作について説明する。図9は、第1の実施形態による動作の一部を示すフローチャートである。
次に、S103におけるUIパネル表示・非表示処理の詳細について説明する。最初に、図11を参照して、UIパネル表示・非表示処理の第1の動作例について説明する。
次に、図12を参照して、UIパネル表示・非表示処理の第2の動作例について説明する。図12に示したように、まず、表示制御部106は、表示画面20にUIパネル30が表示中であるか否かを確認する(S301)。
以上、第1の実施形態による動作について説明したが、上述した動作に限定されない。例えば、S103において、HMD10は、UIパネル30の種類や表示内容によって図11に示した第1の動作例と、図12に示した第2の動作例とのいずれを採用するかを判断することも可能である。より具体的には、表示制御部106は、UIパネル30に含まれる情報量が少ない場合や、検索ウィンドウのような、一時的に表示させることを前提とする操作オブジェクトに関しては、第1の動作例を採用してもよい。この理由は、第1の動作例の方が処理が軽く、かつ、操作がより容易であるためである。また、表示制御部106は、UIパネル30に含まれる情報量が多い場合や、目的地までのルート案内表示のような、長時間表示させておくことが望ましい操作オブジェクトに関しては、第2の動作例を採用してもよい。この理由は、第2の動作例では、操作者2が所定の動作を行わない限り、操作オブジェクトを継続して表示させることが可能であるためである。
以上、例えば図4、図9〜図13等を参照して説明したように、第1の実施形態によるHMD10は、測定された操作者2の手に関する情報に基づいて操作者2の手形状を認識し、そして、操作者2の左手の手形状が所定の形状である場合には、表示画面20におけるUIパネル30の表示位置を操作者2の左手の位置の変化に応じて移動させる。このため、操作者2は左手を移動させることによりUIパネル30の位置を操作しやすい位置に変更することができるので、HMD10は操作者2の身体的な負荷を軽減させることができる。例えば、操作者2は右手のポインティング操作が楽な位置にUIパネル30を配置することができるので、長時間操作をしても身体的な苦痛がほとんど生じない。
以上、第1の実施形態について説明した。上述したように、第1の実施形態では、操作者2は、両手を用いてUIパネル30を操作する。次に説明するように、第2の実施形態によれば、操作者2は、片手だけを用いてUIパネル30を操作することができる。
第2の実施形態によるHMD10は、図4に示した第1の実施形態によるHMD10と同様の構成要素を有する。従って、ここでは、第1の実施形態との相違点を中心として説明を行う。
以上、第2の実施形態による構成について説明した。続いて、第2の実施形態による動作について説明する。図17は、第2の実施形態による動作の一部を示すフローチャートである。
なお、第2の実施形態による動作は、上述した動作に限定されない。例えば、表示制御部106は、操作者2によるUIパネル30の表示操作とは無関係にフォーカス枠36を表示画面20に表示させてもよい。例えば、表示制御部106は、フォーカス枠36を常に表示させてもよいし、操作者2により所定の動作がなされた場合にフォーカス枠36を表示させてもよい。
以上、例えば図17〜図18等を参照して説明したように、第2の実施形態によるHMD10は、操作者2の視点の位置に応じた表示画面20における位置にフォーカス枠36を表示させ、そして、UIパネル30の表示位置が移動された場合には、移動後のUIパネル30においてフォーカス枠36に対応する領域が操作者2により選択されたことを判断する。このため、操作者2は、UIパネル30において選択を希望する領域がフォーカス枠36の中に入るように、左手の位置を移動させてUIパネル30を移動させた場合には、希望する領域の選択をすることができる。従って、操作者2は、片手だけでUIパネル30を操作することができ、かつ容易に操作することができる。
以上、第2の実施形態について説明した。上述したように、第1の実施形態および第2の実施形態では、HMD10が、表示画面20およびUIパネル30の表示を行う。次に説明するように、第3の実施形態によれば、例えばテレビ受像機のような映像装置40が、表示画面20およびUIパネル30の表示を行う。
まず、第3の実施形態による映像装置40(情報処理装置)の基本構成について図19を参照して説明する。映像装置40は、例えば図2に示したような表示画面20を表示するための装置である。なお、映像装置40は、例えば液晶ディスプレイ装置、OLED装置、プラズマディスプレイ装置などであってもよい。また、映像装置40により表示される表示画面20は、第1の実施形態によるHMD10により表示される表示画面20と同じであってもよいし、異なる画面であってもよい。
(3−2−1.映像装置40)
以上、第3の実施形態による映像装置40の基本構成について説明した。続いて、第3の実施形態による構成について詳細に説明する。図20は、第3の実施形態による映像装置40の構成を示した機能ブロック図である。図20に示したように、映像装置40は、制御部400、記憶部410、および出力部412を有する。また、制御部400は、手形状認識部402、動作認識部404、表示制御部406、および判断部408を有する。なお、各構成要素の機能はそれぞれ、第1の実施形態によるHMD10における各構成要素と概略同様である。従って、ここでは、第1の実施形態との相違点を中心として説明を行う。
撮像部420およびセンサ部422の機能はそれぞれ、第1の実施形態による撮像部120およびセンサ部122と概略同様である。なお、撮像部420およびセンサ部422は、例えば図19に示したセンサ部422のように、ディスプレイの水平方向の中央の上部に位置するように映像装置40に設置されることが可能である。
以上、第3の実施形態による構成について説明した。続いて、第3の実施形態による動作について説明する。第3の実施形態による映像装置40は、例えば図9〜図13に示した第1の実施形態による動作、あるいは図17〜図18に示した第2の実施形態による動作と概略同様の動作を行うことが可能である。従って、ここでは説明を省略する。
以上説明したように、第3の実施形態による映像装置40は、測定された操作者2の手に関する情報に基づいて操作者2の手形状を認識し、そして、操作者2の左手の手形状が所定の形状である場合には、表示画面20におけるUIパネル30の表示位置を操作者2の左手の位置の変化に応じて移動させる。このため、第1の実施形態または第2の実施形態と同様に、操作者2は左手を移動させることによりUIパネル30の位置を操作しやすい位置に変更することが可能になるので、映像装置40は操作者2の身体的な負荷を軽減させることができる。
なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
(1)
測定された操作者の手に関する情報に基づいて前記操作者の手形状を認識する手形状認識部と、
前記操作者の手形状が所定の形状である場合に、表示画面における操作オブジェクトの表示位置を前記操作者の手の位置の変化に応じて移動させる表示制御部と、
を備える、情報処理装置。
(2)
前記所定の形状は、前記操作オブジェクトを持つ形状である、前記(1)に記載の情報処理装置。
(3)
前記操作オブジェクトは、前記表示画面を操作者が操作するための操作面である、前記(1)または(2)に記載の情報処理装置。
(4)
前記情報処理装置は、前記操作者による手の動作を認識する動作認識部をさらに備え、
前記表示制御部は、前記動作認識部による前記操作者の手の動作の認識結果に基づいて、前記表示画面において前記操作オブジェクトの表示と非表示とを切り替える、前記(1)〜(3)のいずれか一項に記載の情報処理装置。
(5)
前記手の動作は、手を回転させる動作であり、
前記表示制御部は、前記動作認識部により前記操作者の手を第1の方向へ回転させる動作が認識された場合には、前記操作者の回転後の手の位置に対応する前記表示画面における位置に前記操作オブジェクトを表示させる、前記(4)に記載の情報処理装置。
(6)
前記表示制御部は、前記表示画面に前記操作オブジェクトが表示されている間に、前記動作認識部により前記第1の方向の逆方向である第2の方向へ前記操作者の手を回転させる動作が認識された場合には、前記表示画面において前記操作オブジェクトを非表示にする、前記(5)に記載の情報処理装置。
(7)
前記手を回転させる動作は、一方の手を握った状態で前記一方の手を回転させる動作である、前記(4)〜(6)のいずれか一項に記載の情報処理装置。
(8)
前記表示制御部は、前記操作者の第1の手の手形状が前記所定の形状である場合に、前記操作オブジェクトの表示位置を前記第1の手の位置の変化に応じて移動させ、
前記情報処理装置は、前記手形状認識部により前記操作者の第2の手の手形状が指差しの形状であることが認識された場合に、前記第2の手の指の位置に基づいて前記操作者の操作内容を判断する判断部をさらに備える、前記(4)〜(7)のいずれか一項に記載の情報処理装置。
(9)
前記判断部は、前記第2の手の指の位置が前記第1の手の位置よりも前方にあることが認識された場合には、前記第2の手の指の位置に対応する前記操作オブジェクトにおける位置が前記操作者により選択されたことを判断する、前記(8)に記載の情報処理装置。
(10)
手の位置の変化量に対する前記表示画面における前記操作オブジェクトの移動量の割合は、前記第1の手と前記第2の手とで異なる、前記(9)に記載の情報処理装置。
(11)
前記表示制御部は、前記第1の手と前記第2の手との位置関係に応じて、前記第1の手の位置の変化量に対する前記表示画面における前記操作オブジェクトの移動量の割合を変化させる、前記(9)または(10)に記載の情報処理装置。
(12)
前記表示制御部は、前記第1の手が前記第2の手よりも前方にある場合には、前記操作者の前後方向における前記第1の手と前記第2の手との間の距離が小さいほど、前記第1の手の位置の変化量に対する前記表示画面における前記操作オブジェクトの移動量の割合を小さくさせる、前記(11)に記載の情報処理装置。
(13)
前記表示制御部は、前記手形状認識部により前記操作者の手形状が前記所定の形状であることが認識されない場合には、前記操作オブジェクトを前記表示画面に表示させない、前記(1)〜(3)のいずれか一項に記載の情報処理装置。
(14)
前記表示制御部は、前記表示画面を表示するディスプレイと前記操作者の眼との間の空間に前記操作者の手が位置する場合には、前記操作者から見て前記表示画面における前記操作者の手により遮られる領域とは異なる領域に前記操作オブジェクトを表示させる、前記(1)〜(13)のいずれか一項に記載の情報処理装置。
(15)
前記表示制御部は、前記操作者の視点の位置に応じた前記表示画面における位置にフォーカス枠を表示させ、
前記情報処理装置は、前記操作面の表示位置が移動された場合に、移動後の前記操作面における前記フォーカス枠に対応する領域が前記操作者により選択されたことを判断する判断部をさらに備える、前記(3)に記載の情報処理装置。
(16)
前記表示制御部は、前記操作者の手の位置に対応する前記表示画面における位置に手の画像を表示させる、前記(1)〜(15)のいずれか一項に記載の情報処理装置。
(17)
前記操作者の手に関する情報は、前記表示画面を表示するディスプレイから前記操作者の手までの距離に応じた値、または前記操作者の手の画像である、前記(1)〜(16)のいずれか一項に記載の情報処理装置。
(18)
測定された操作者の手に関する情報に基づいて前記操作者の手形状を認識することと、
前記操作者の手形状が所定の形状である場合に、表示画面における操作オブジェクトの表示位置を前記操作者の手の位置の変化に応じて移動させることと、
を備える、情報処理方法。
(19)
コンピュータを、
測定された操作者の手に関する情報に基づいて前記操作者の手形状を認識する手形状認識部と、
前記操作者の手形状が所定の形状である場合に、表示画面における操作オブジェクトの表示位置を前記操作者の手の位置の変化に応じて移動させる表示制御部、
として機能させるための、プログラム。
40 映像装置
100 制御部
102 手形状認識部
104 動作認識部
106 表示制御部
108 判断部
110 記憶部
112 出力部
120 撮像部
122 センサ部
150 CPU
152 ROM
154 RAM
156 内部バス
158 インターフェース
160 入力装置
162 出力装置
164 ストレージ装置
166 通信装置
400 制御部
402 手形状認識部
404 動作認識部
406 表示制御部
408 判断部
410 記憶部
412 出力部
420 撮像部
422 センサ部
Claims (19)
- ユーザの頭部に搭載されるように構成された筐体と、
前記筐体に設けられた表示画面と、
前記筐体に設けられた撮像部またはセンサ部と、
前記撮像部または前記センサ部により取得された操作者の手に関するセンシング情報に基づいて前記操作者のジェスチャを認識するプロセッサと、を備え、
前記プロセッサは、
前記センシング情報に基づいて前記操作者の手形状を認識し、前記認識された操作者の手形状に基づいて、前記操作者の手が握られた状態から前記操作者の指が所定の方向を指した状態に変化する前記操作者の手の動作を認識し、
前記表示画面に操作オブジェクトが表示されていない状態で、前記操作者の手の動作が認識された場合、前記操作オブジェクトを前記表示画面に表示させ、
前記表示画面に前記操作オブジェクトが表示されている状態で、前記操作者の手形状が認識されていない場合であっても、前記操作者の手の動作が認識されるまで、前記操作オブジェクトの表示を維持する、ヘッドマウントディスプレイ。 - 前記操作者の指が、前記所定の方向を指した状態への変化は、第1の方向の変化と、前記第1の方向とは反対の第2の方向の変化を含み、
前記プロセッサは、前記表示画面に前記操作オブジェクトが表示されてない状態で前記第1の方向の変化が認識された場合に前記操作オブジェクトを前記表示画面に表示させ、前記第2の方向の変化が認識された場合に前記表示画面に表示された操作オブジェクトを消去する、請求項1に記載のヘッドマウントディスプレイ。 - 前記操作者の指の前記所定の方向を指した状態への変化において、前記所定の方向は上方向であり、
前記プロセッサは、前記操作者の指が、下方向を向いた状態から上方向を向いた状態への変化を、前記操作者の手の動作として認識する、請求項2に記載のヘッドマウントディスプレイ。 - 前記プロセッサは、前記操作者の指の所定の方向を指した状態への変化に基づいて、前記指が所定の方向を指した変化の後の前記操作者の手の位置に対応する前記表示画面における位置に前記操作オブジェクトを表示させる、請求項2または3のいずれか一項に記載のヘッドマウントディスプレイ。
- 前記操作者の指の所定の方向を指した状態への変化は、前記操作者の手の回転に対応し、
前記プロセッサは、前記操作者の指が下方向から上方向に変化することにより、回転量を認識する、請求項1〜4のいずれか一項に記載のヘッドマウントディスプレイ。 - 前記操作オブジェクトは、前記表示画面を操作者が操作するための複数のアイコンを含む操作面である、請求項1〜5のいずれか一項に記載のヘッドマウントディスプレイ。
- 前記複数のアイコンは、それぞれ異なるアプリケーションを起動するためのアイコンである、請求項6に記載のヘッドマウントディスプレイ。
- 前記プロセッサは、前記操作者の第1の手の手形状が前記手を握った形状である場合に、前記操作オブジェクトの表示位置を前記第1の手の位置の変化に応じて移動させ、
前記ヘッドマウントディスプレイは、前記プロセッサにより前記操作者の第2の手の手形状が指差しの形状であることが認識された場合に、前記第2の手の指の位置に基づいて前記操作者の操作内容を判断する判断部をさらに備える、請求項1〜7のいずれか一項に記載のヘッドマウントディスプレイ。 - 前記判断部は、前記第2の手の指の位置が前記第1の手の位置よりも前方にあることが認識された場合には、前記第2の手の指の位置に対応する前記操作オブジェクトにおける位置が前記操作者により選択されたことを判断する、請求項8に記載のヘッドマウントディスプレイ。
- 手の位置の変化量に対する前記表示画面における前記操作オブジェクトの移動量の割合は、前記第1の手と前記第2の手とで異なる、請求項9に記載のヘッドマウントディスプレイ。
- 前記プロセッサは、前記第1の手と前記第2の手との位置関係に応じて、前記第1の手の位置の変化量に対する前記表示画面における前記操作オブジェクトの移動量の割合を変化させる、請求項8または9に記載のヘッドマウントディスプレイ。
- 前記プロセッサは、前記第1の手が前記第2の手よりも前方にある場合には、前記操作者の前後方向における前記第1の手と前記第2の手との間の距離が小さいほど、前記第1の手の位置の変化量に対する前記表示画面における前記操作オブジェクトの移動量の割合を小さくさせる、請求項11に記載のヘッドマウントディスプレイ。
- 前記プロセッサは、前記表示画面を表示するディスプレイと前記操作者の眼との間の空間に前記操作者の手が位置する場合には、前記操作者から見て前記表示画面における前記操作者の手により遮られる領域とは異なる領域に前記操作オブジェクトを表示させる、請求項1〜12のいずれか一項に記載のヘッドマウントディスプレイ。
- 前記プロセッサは、前記操作者の視点の位置に応じた前記表示画面における位置にフォーカス枠を表示させ、
前記ヘッドマウントディスプレイは、前記操作面の表示位置が移動された場合に、移動後の前記操作面における前記フォーカス枠に対応する領域が前記操作者により選択されたことを判断する判断部をさらに備える、請求項6または7に記載のヘッドマウントディスプレイ。 - 前記プロセッサは、前記操作者の手の位置に対応する前記表示画面における位置に手の画像を表示させる、請求項1〜14のいずれか一項に記載のヘッドマウントディスプレイ。
- 前記ヘッドマウントディスプレイは、シースルー型のディスプレイを備えたウェアラブルデバイスである、請求項15に記載のヘッドマウントディスプレイ。
- 前記センシング情報は、前記表示画面を表示するディスプレイから前記操作者の手までの距離に応じた値、または前記操作者の手の画像である、請求項1〜16のいずれか一項に記載のヘッドマウントディスプレイ。
- プロセッサが、
撮像部またはセンサ部により取得された操作者の手に関するセンシング情報に基づいて前記操作者の手形状を認識し、前記認識された操作者の手形状に基づいて、前記操作者の手が握られた状態から前記操作者の指が所定の方向を指した状態に変化する前記操作者の手の動作を認識することと、
表示画面に操作オブジェクトが表示されていない状態で、前記操作者の手の動作が認識された場合、前記操作オブジェクトを前記表示画面に表示させることと、
前記表示画面に前記操作オブジェクトが表示されている状態で、前記操作者の手形状が認識されていない場合であっても、前記操作者の手の動作が認識されるまで、前記操作オブジェクトの表示を維持することと、を含む情報処理方法。 - コンピュータに、
撮像部またはセンサ部により取得された操作者の手に関するセンシング情報に基づいて前記操作者の手形状を認識させ、前記認識された操作者の手形状に基づいて、前記操作者の手が握られた状態から前記操作者の指が所定の方向を指した状態に変化する前記操作者の手の動作を認識させ、
表示画面に操作オブジェクトが表示されていない状態で、前記操作者の手の動作が認識された場合、前記操作オブジェクトを前記表示画面に表示させ、
前記表示画面に前記操作オブジェクトが表示されている状態で、前記操作者の手形状が認識されていない場合であっても、前記操作者の手の動作が認識されるまで、前記操作オブジェクトの表示を維持させる、プログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013076724 | 2013-04-02 | ||
JP2013076724 | 2013-04-02 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015509931A Division JP6264370B2 (ja) | 2013-04-02 | 2014-01-24 | 情報処理装置、情報処理方法、及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019124706A Division JP6702489B2 (ja) | 2013-04-02 | 2019-07-03 | ヘッドマウントディスプレイ、情報処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018077876A JP2018077876A (ja) | 2018-05-17 |
JP6551502B2 true JP6551502B2 (ja) | 2019-07-31 |
Family
ID=51658068
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015509931A Active JP6264370B2 (ja) | 2013-04-02 | 2014-01-24 | 情報処理装置、情報処理方法、及びプログラム |
JP2017242459A Active JP6551502B2 (ja) | 2013-04-02 | 2017-12-19 | ヘッドマウントディスプレイ、情報処理方法、及びプログラム |
JP2019124706A Active JP6702489B2 (ja) | 2013-04-02 | 2019-07-03 | ヘッドマウントディスプレイ、情報処理方法、及びプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015509931A Active JP6264370B2 (ja) | 2013-04-02 | 2014-01-24 | 情報処理装置、情報処理方法、及びプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019124706A Active JP6702489B2 (ja) | 2013-04-02 | 2019-07-03 | ヘッドマウントディスプレイ、情報処理方法、及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10514767B2 (ja) |
EP (1) | EP2983064B1 (ja) |
JP (3) | JP6264370B2 (ja) |
CN (1) | CN105074625B (ja) |
WO (1) | WO2014162762A1 (ja) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6478713B2 (ja) * | 2015-03-04 | 2019-03-06 | キヤノン株式会社 | 計測装置および計測方法 |
JP6464889B2 (ja) * | 2015-03-31 | 2019-02-06 | 富士通株式会社 | 画像処理装置、画像処理プログラム、及び画像処理方法 |
KR20180094875A (ko) * | 2015-12-18 | 2018-08-24 | 소니 주식회사 | 정보 처리 장치, 정보 처리 방법, 및 프로그램 |
US10083539B2 (en) * | 2016-02-08 | 2018-09-25 | Google Llc | Control system for navigation in virtual reality environment |
JP2017174177A (ja) * | 2016-03-24 | 2017-09-28 | カシオ計算機株式会社 | 情報処理装置、情報処理方法およびプログラム |
US10921963B2 (en) * | 2016-07-05 | 2021-02-16 | Sony Corporation | Information processing apparatus, information processing method, and program for controlling a location at which an operation object for a device to be operated is displayed |
JP6706323B2 (ja) * | 2016-07-12 | 2020-06-03 | 富士フイルム株式会社 | 画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム |
CN106041967A (zh) * | 2016-07-19 | 2016-10-26 | 彭爽 | 一种仿生机械手的控制装置 |
CN106980362A (zh) * | 2016-10-09 | 2017-07-25 | 阿里巴巴集团控股有限公司 | 基于虚拟现实场景的输入方法及装置 |
US20210294482A1 (en) * | 2016-10-19 | 2021-09-23 | Sony Corporation | Information processing device, information processing method, and program |
KR102560598B1 (ko) | 2016-12-21 | 2023-07-28 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어방법 |
US11099716B2 (en) | 2016-12-23 | 2021-08-24 | Realwear, Inc. | Context based content navigation for wearable display |
US10936872B2 (en) | 2016-12-23 | 2021-03-02 | Realwear, Inc. | Hands-free contextually aware object interaction for wearable display |
US10620910B2 (en) | 2016-12-23 | 2020-04-14 | Realwear, Inc. | Hands-free navigation of touch-based operating systems |
US11507216B2 (en) | 2016-12-23 | 2022-11-22 | Realwear, Inc. | Customizing user interfaces of binary applications |
JP6744990B2 (ja) | 2017-04-28 | 2020-08-19 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理装置の制御方法、及びプログラム |
CN110072046B (zh) * | 2018-08-24 | 2020-07-31 | 北京微播视界科技有限公司 | 图像合成方法和装置 |
KR102539579B1 (ko) * | 2018-12-18 | 2023-06-05 | 삼성전자주식회사 | 정보의 표시 영역을 적응적으로 변경하기 위한 전자 장치 및 그의 동작 방법 |
US11340756B2 (en) * | 2019-09-27 | 2022-05-24 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments |
US11294461B2 (en) | 2020-01-24 | 2022-04-05 | Magic Leap, Inc. | Content movement and interaction using a single controller |
WO2021166717A1 (ja) | 2020-02-17 | 2021-08-26 | ソニーグループ株式会社 | 表示制御装置、表示制御方法及び記録媒体 |
WO2021181604A1 (ja) * | 2020-03-12 | 2021-09-16 | マクセル株式会社 | 情報端末装置、及びそのアプリケーション動作モード制御方法 |
JP2022052324A (ja) * | 2020-09-23 | 2022-04-04 | 株式会社x garden | 料理支援装置、プログラム及び料理支援方法 |
KR102613391B1 (ko) * | 2021-12-26 | 2023-12-13 | 주식회사 피앤씨솔루션 | 제스처를 이용해 동공 간 거리를 자동 조절하는 증강현실 글래스 장치 및 증강현실 글래스 장치를 위한 제스처를 이용한 동공 간 거리 자동 조절 방법 |
WO2024075565A1 (ja) * | 2022-10-04 | 2024-04-11 | ソニーグループ株式会社 | 表示制御装置および表示制御方法 |
Family Cites Families (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3311025B2 (ja) * | 1991-07-12 | 2002-08-05 | 株式会社東芝 | 情報検索装置 |
JPH07175587A (ja) * | 1993-10-28 | 1995-07-14 | Hitachi Ltd | 情報処理装置 |
JPH086708A (ja) | 1994-04-22 | 1996-01-12 | Canon Inc | 表示装置 |
JP2000075991A (ja) | 1998-08-28 | 2000-03-14 | Aqueous Research:Kk | 情報入力装置 |
US6771294B1 (en) * | 1999-12-29 | 2004-08-03 | Petri Pulli | User interface |
JP2004142656A (ja) | 2002-10-25 | 2004-05-20 | Keio Gijuku | ハンドパターンスイッチ装置 |
US8745541B2 (en) * | 2003-03-25 | 2014-06-03 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
JP2005301668A (ja) * | 2004-04-12 | 2005-10-27 | Seiko Epson Corp | 情報処理装置および情報処理プログラム |
HU0401034D0 (en) * | 2004-05-24 | 2004-08-30 | Ratai Daniel | System of three dimension induting computer technology, and method of executing spatial processes |
US7743348B2 (en) * | 2004-06-30 | 2010-06-22 | Microsoft Corporation | Using physical objects to adjust attributes of an interactive display application |
JP4763695B2 (ja) | 2004-07-30 | 2011-08-31 | アップル インコーポレイテッド | タッチ・センシティブ入力デバイスのためのモード・ベースのグラフィカル・ユーザ・インタフェース |
KR100687737B1 (ko) * | 2005-03-19 | 2007-02-27 | 한국전자통신연구원 | 양손 제스쳐에 기반한 가상 마우스 장치 및 방법 |
JP4569555B2 (ja) * | 2005-12-14 | 2010-10-27 | 日本ビクター株式会社 | 電子機器 |
KR100851977B1 (ko) * | 2006-11-20 | 2008-08-12 | 삼성전자주식회사 | 가상 평면을 이용하여 전자 기기의 사용자 인터페이스를제어하는 방법 및 장치. |
JP2008146243A (ja) * | 2006-12-07 | 2008-06-26 | Toshiba Corp | 情報処理装置、情報処理方法、及びプログラム |
WO2009019760A1 (ja) * | 2007-08-07 | 2009-02-12 | Osaka Electro-Communication University | 動体検出装置、動体検出方法、ポインティングデバイス、コンピュータプログラム及び記憶媒体 |
JP4569613B2 (ja) | 2007-09-19 | 2010-10-27 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
US8555207B2 (en) | 2008-02-27 | 2013-10-08 | Qualcomm Incorporated | Enhanced input using recognized gestures |
JP4318056B1 (ja) | 2008-06-03 | 2009-08-19 | 島根県 | 画像認識装置および操作判定方法 |
JP5262681B2 (ja) * | 2008-12-22 | 2013-08-14 | ブラザー工業株式会社 | ヘッドマウントディスプレイ及びそのプログラム |
US9569001B2 (en) | 2009-02-03 | 2017-02-14 | Massachusetts Institute Of Technology | Wearable gestural interface |
WO2010098050A1 (ja) * | 2009-02-25 | 2010-09-02 | 日本電気株式会社 | 電子機器のインターフェース、電子機器、並びに電子機器の操作方法、操作プログラム及び操作システム |
JP2011028366A (ja) * | 2009-07-22 | 2011-02-10 | Sony Corp | 操作制御装置および操作制御方法 |
JP2011258160A (ja) * | 2010-06-11 | 2011-12-22 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び画像生成システム |
US20120005624A1 (en) * | 2010-07-02 | 2012-01-05 | Vesely Michael A | User Interface Elements for Use within a Three Dimensional Scene |
US8593418B2 (en) * | 2010-08-08 | 2013-11-26 | Qualcomm Incorporated | Method and system for adjusting display content |
JP5167523B2 (ja) | 2010-09-22 | 2013-03-21 | 島根県 | 操作入力装置および操作判定方法並びにプログラム |
US10627860B2 (en) * | 2011-05-10 | 2020-04-21 | Kopin Corporation | Headset computer that uses motion and voice commands to control information display and remote devices |
US9069164B2 (en) * | 2011-07-12 | 2015-06-30 | Google Inc. | Methods and systems for a virtual input device |
JP5922349B2 (ja) * | 2011-07-27 | 2016-05-24 | 京セラ株式会社 | 表示機器、制御システムおよび制御プログラム |
US9030487B2 (en) | 2011-08-01 | 2015-05-12 | Lg Electronics Inc. | Electronic device for displaying three-dimensional image and method of using the same |
WO2014016992A1 (ja) * | 2012-07-27 | 2014-01-30 | Necソフト株式会社 | 3次元ユーザインタフェース装置及び3次元操作方法 |
KR102035134B1 (ko) * | 2012-09-24 | 2019-10-22 | 엘지전자 주식회사 | 영상표시장치, 및 그 동작방법 |
-
2014
- 2014-01-24 EP EP14779658.5A patent/EP2983064B1/en active Active
- 2014-01-24 CN CN201480018454.XA patent/CN105074625B/zh active Active
- 2014-01-24 US US14/776,906 patent/US10514767B2/en active Active
- 2014-01-24 WO PCT/JP2014/051536 patent/WO2014162762A1/ja active Application Filing
- 2014-01-24 JP JP2015509931A patent/JP6264370B2/ja active Active
-
2017
- 2017-12-19 JP JP2017242459A patent/JP6551502B2/ja active Active
-
2019
- 2019-07-03 JP JP2019124706A patent/JP6702489B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
EP2983064A1 (en) | 2016-02-10 |
CN105074625A (zh) | 2015-11-18 |
US20160041619A1 (en) | 2016-02-11 |
JP6702489B2 (ja) | 2020-06-03 |
JP2018077876A (ja) | 2018-05-17 |
JP6264370B2 (ja) | 2018-01-24 |
EP2983064B1 (en) | 2019-11-27 |
US10514767B2 (en) | 2019-12-24 |
EP2983064A4 (en) | 2016-11-30 |
CN105074625B (zh) | 2018-09-21 |
JPWO2014162762A1 (ja) | 2017-02-16 |
JP2019175510A (ja) | 2019-10-10 |
WO2014162762A1 (ja) | 2014-10-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6551502B2 (ja) | ヘッドマウントディスプレイ、情報処理方法、及びプログラム | |
KR102417968B1 (ko) | 시선-기반 사용자 상호작용 | |
KR101315303B1 (ko) | 착용형 디스플레이 장치 및 컨텐츠 디스플레이 방법 | |
EP4081883A1 (en) | Devices, methods, and graphical user interfaces for displaying applications in three-dimensional environments | |
EP4211661A2 (en) | Methods for manipulating objects in an environment | |
JP6288084B2 (ja) | 表示制御装置、表示制御方法および記録媒体 | |
US20150116206A1 (en) | Screen operation apparatus and screen operation method | |
CN106066537B (zh) | 头戴式显示器和头戴式显示器的控制方法 | |
US20160098094A1 (en) | User interface enabled by 3d reversals | |
US20140240225A1 (en) | Method for touchless control of a device | |
US10591988B2 (en) | Method for displaying user interface of head-mounted display device | |
JP5300825B2 (ja) | 指示受付装置、指示受付方法、コンピュータプログラム及び記録媒体 | |
CN108474950B (zh) | Hmd设备及其控制方法 | |
JP6350772B2 (ja) | 情報処理システム、情報処理装置、制御方法、及びプログラム | |
JP5766957B2 (ja) | ジェスチャ入力装置 | |
CN111161396B (zh) | 虚拟内容的控制方法、装置、终端设备及存储介质 | |
JP5341126B2 (ja) | 検出領域拡大装置、表示装置、検出領域拡大方法、プログラムおよび、コンピュータ読取可能な記録媒体 | |
KR101708455B1 (ko) | 핸드 플로트 입체 메뉴 시스템 | |
KR20240044327A (ko) | 제어장치, 제어 방법 및 컴퓨터 판독 가능한 기억 매체 | |
US20230092874A1 (en) | Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments | |
JP2024025272A (ja) | 情報処理装置、情報処理方法、プログラム | |
WO2019026713A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
WO2017217375A1 (ja) | 画像表示装置、画像表示方法、及び画像表示プログラム | |
WO2023049111A1 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
CN118435151A (zh) | 用于在三维环境中移动对象的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180928 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181016 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181210 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190208 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190214 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190222 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190515 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190522 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190604 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190617 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6551502 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |