JPWO2018012206A1 - 画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム - Google Patents
画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム Download PDFInfo
- Publication number
- JPWO2018012206A1 JPWO2018012206A1 JP2018527465A JP2018527465A JPWO2018012206A1 JP WO2018012206 A1 JPWO2018012206 A1 JP WO2018012206A1 JP 2018527465 A JP2018527465 A JP 2018527465A JP 2018527465 A JP2018527465 A JP 2018527465A JP WO2018012206 A1 JPWO2018012206 A1 JP WO2018012206A1
- Authority
- JP
- Japan
- Prior art keywords
- user
- range
- gesture
- unit
- numerical value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000001514 detection method Methods 0.000 claims abstract description 111
- 230000003190 augmentative effect Effects 0.000 claims description 57
- 238000012545 processing Methods 0.000 claims description 43
- 230000008859 change Effects 0.000 claims description 24
- 239000003550 marker Substances 0.000 description 31
- 238000003860 storage Methods 0.000 description 28
- 230000006870 function Effects 0.000 description 26
- 210000003128 head Anatomy 0.000 description 18
- 230000008569 process Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 9
- 230000001681 protective effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000001356 surgical procedure Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 3
- 238000002834 transmittance Methods 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- JOYRKODLDBILNP-UHFFFAOYSA-N Ethyl urethane Chemical compound CCOC(N)=O JOYRKODLDBILNP-UHFFFAOYSA-N 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 210000003811 finger Anatomy 0.000 description 1
- 239000006260 foam Substances 0.000 description 1
- 210000005224 forefinger Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 206010033675 panniculitis Diseases 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
- 210000003491 skin Anatomy 0.000 description 1
- 210000004304 subcutaneous tissue Anatomy 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
図1において、画像表示システム10は、HMD11A、11B、11Cと、制御装置12とを備え、医療施設13に設置されている。HMD11Aはユーザ14A、HMD11Bはユーザ14B、HMD11Cはユーザ14Cのそれぞれの頭部に装着される。ユーザ14A〜14Cは、医療施設13に所属する医師や看護師といった医療スタッフである。なお、頭部とは、立位の状態で人体の頸部から上に位置する部分を言い、顔面等を含む部分である。また、以下では、特に区別する必要がない場合は、HMD11A〜11CをまとめてHMD11、ユーザ14A〜14Cをまとめてユーザ14とそれぞれ表記する場合がある。
上記第1実施形態では、スライドバー45は仮想空間VSにおける表示位置が固定されているとして説明したが、3D画像40と同じく、現実空間RSにおける表示位置が固定されていてもよい。
上記第1実施形態では、手38の移動量に応じて数値を変更している。このため、現在設定されている数値とユーザ14が設定したい数値との差や、手38の単位移動量に対する数値の変動幅の設定によっては、比較的大きく手38を移動させなければならない場合がある。この場合、もし手38を大きく移動させることができないシチュエーションにユーザ14が置かれていると、数値の設定が困難になる。また、何よりも手38を大きく移動させることでユーザ14が疲れてしまう。そこで、図26および図27に示す第3実施形態では、少ない手38の移動量で数値の設定を可能とする。
上記第1実施形態では、粗調整スライドバー45Aと微調整スライドバー45Bとを選択的に表示させているが、図28〜図32に示す第4実施形態では、粗調整スライドバー45Aと微調整スライドバー45Bとを両方同時に表示させる。
上記各実施形態では、粗調整スライドバー45Aと微調整スライドバー45Bの2種類のスライドバー45で数値を設定する例を説明したが、図33〜図35に示す第5実施形態では、1つのスライドバー45で数値を設定する。
図36に示す第6実施形態は、3D画像40の視認性をスライドバー45で阻害しない対策を講じたものである。上記各実施形態では、例えば図16や図17等に示すように、拡張現実空間ARSにおいて、3D画像40の手前にスライドバー45が表示され、3D画像40とスライドバー45の表示位置が重ならない場合を例示したが、HMD11(ユーザ14)とマーカー39の位置関係によっては、3D画像40とスライドバー45の表示位置が重なる場合がある。
図37に示す第7実施形態は、ユーザ14の手38と重なるスライドバー45の部分をマスクする、という内容である。上記各実施形態では、例えば図16や図17等に示すように、拡張現実空間ARSにおいて、ユーザ14の手38とスライドバー45とが重ならない場合を例示したが、上記第6実施形態の3D画像40およびスライドバー45と同様に、手38とスライドバー45とが重なる場合もある。
上記各実施形態では、ユーザ14の手38自体を認識しているが、図38に示す第8実施形態では、ユーザ14の手38にはめられたグローブ105に基づいてユーザ14の手38を認識する。
[付記項1]
ユーザの頭部に装着されたヘッドマウントディスプレイと、前記ヘッドマウントディスプレイの制御装置とを備え、前記ヘッドマウントディスプレイを通じて、現実空間と仮想空間を融合させた拡張現実空間を前記ユーザに認識させる画像表示システムにおいて、
設定可能な数値の範囲を示す範囲表示部と、現在設定されている前記数値を指し示す数値指示部とで構成される少なくとも1つの数値設定用ユーザインターフェースを、前記拡張現実空間において前記ユーザが仮想的に認識する仮想ユーザインターフェースとして前記ヘッドマウントディスプレイに表示させる表示制御プロセッサと、
前記数値を設定するための前記ユーザの第1ジェスチャーを検出する第1検出プロセッサと、
粗調整モードと微調整モードとを切り替えるための前記ユーザの第2ジェスチャーを検出する第2検出プロセッサであり、
前記粗調整モードは、前記範囲が第1の範囲であるか、または/および前記数値の単位変動幅が第1の変動幅であるモードで、
前記微調整モードは、前記範囲が前記第1の範囲と比較して狭い第2の範囲であるか、または/および前記単位変動幅が前記第1の変動幅と比較して狭い第2の変動幅であるモードであり、
前記第1ジェスチャーに応じて、前記数値を変更する数値変更プロセッサと、
前記第2ジェスチャーに応じて、前記粗調整モードと前記微調整モードとを切り替えるモード切替プロセッサとを備える画像表示システム。
11、11A〜11C ヘッドマウントディスプレイ(HMD)
12 制御装置
13 医療施設
14、14A〜14C ユーザ
15 ディスプレイ
16 入力デバイス
17 ネットワーク
18 データセンタ
19 画像蓄積サーバ
25 本体部
26 バンド部
27 保護枠
28 スクリーン
29 カメラ
30 ケーブル
31 横バンド
32 縦バンド
35 手術室
37 手術台
38、38A、38B、38C 手
39 マーカー
40 三次元ボリュームレンダリング画像(3D画像)
45、110 スライドバー
45A 粗調整スライドバー
45B 微調整スライドバー
46、46A、46B、111 バー(範囲表示部)
47、47A、47B、112 スライダ(数値指示部)
50 ストレージデバイス
51 メモリ
52 CPU
53 通信部
54 データバス
60 作動プログラム
61、90、95 第1対応情報
62 第2対応情報
63、96 第3対応情報
65 撮像画像取得部
66 3D画像取得部
67 検出部
68 処理部
69 表示制御部
70 第1検出部
71 第2検出部
72 第3検出部
73 数値変更部
74 モード切替部
75 3D画像編集部
80 壁
85A〜85C 領域
91 範囲表示帯
100 マスク処理部
105 グローブ
106 グローブ情報
115 回転ダイヤル
116 バー(範囲表示部)
117 ダイヤル本体
118 三角マーク(数値指示部)
120 ネットワークサーバ(制御装置)
125 携帯コンピュータ(制御装置)
ARS、ARS−A〜ARS−C 拡張現実空間
RS、RS−A 現実空間
VS、VS−A 仮想空間
S10〜S14、S100〜S190 ステップ
Claims (21)
- ユーザの頭部に装着されたヘッドマウントディスプレイと、前記ヘッドマウントディスプレイの制御装置とを備え、前記ヘッドマウントディスプレイを通じて、現実空間と仮想空間を融合させた拡張現実空間を前記ユーザに認識させる画像表示システムにおいて、
設定可能な数値の範囲を示す範囲表示部と、現在設定されている前記数値を指し示す数値指示部とで構成される少なくとも1つの数値設定用ユーザインターフェースを、前記拡張現実空間において前記ユーザが仮想的に認識する仮想ユーザインターフェースとして前記ヘッドマウントディスプレイに表示させる表示制御部と、
前記数値を設定するための前記ユーザの第1ジェスチャーを検出する第1検出部と、
粗調整モードと微調整モードとを切り替えるための前記ユーザの第2ジェスチャーを検出する第2検出部であり、
前記粗調整モードは、前記範囲が第1の範囲であるか、または/および前記数値の単位変動幅が第1の変動幅であるモードで、
前記微調整モードは、前記範囲が前記第1の範囲と比較して狭い第2の範囲であるか、または/および前記単位変動幅が前記第1の変動幅と比較して狭い第2の変動幅であるモードであり、
前記第1ジェスチャーに応じて、前記数値を変更する数値変更部と、
前記第2ジェスチャーに応じて、前記粗調整モードと前記微調整モードとを切り替えるモード切替部とを備える画像表示システム。 - 前記第1検出部および前記第2検出部は、前記拡張現実空間において、前記ユーザの手が前記数値設定用ユーザインターフェースに触れていない状態で、前記第1ジェスチャーおよび前記第2ジェスチャーを検出する請求項1に記載の画像表示システム。
- 前記表示制御部は、前記拡張現実空間において、前記ユーザの手が届かない遠隔位置に前記数値設定用ユーザインターフェースを表示させる請求項1または2に記載の画像表示システム。
- 前記第1ジェスチャーは、前記ユーザの手を第1方向および前記第1方向とは反対の第2方向に移動させる第1および第2方向ジェスチャーであり、
前記第2ジェスチャーは、前記ユーザの手を前記第1方向とは異なる第3方向、および前記第2方向とは異なり、かつ前記第3方向とは反対の第4方向に移動させる第3および第4方向ジェスチャーである請求項1ないし3のいずれか1項に記載の画像表示システム。 - 前記第1検出部は、前記ユーザの手が基準位置にあることと、前記ユーザの手が前記基準位置から移動した方向を検出し、
前記数値変更部は、前記第1方向または前記第2方向の一方の方向への前記ユーザの手の移動が検出されてから、前記基準位置に前記ユーザの手が戻ったことが検出されるまで、前記数値を自動的に変更する請求項4に記載の画像表示システム。 - 前記表示制御部は、前記数値設定用ユーザインターフェースとして、前記粗調整モード用の粗調整インターフェースと、前記微調整モード用の微調整インターフェースとを表示させる請求項4または5に記載の画像表示システム。
- 前記表示制御部は、前記粗調整インターフェースと前記微調整インターフェースとを選択的に表示させる請求項6に記載の画像表示システム。
- 前記表示制御部は、前記拡張現実空間において、前記微調整インターフェースを前記粗調整インターフェースよりも手前側に拡大して表示させる請求項7に記載の画像表示システム。
- 前記表示制御部は、前記粗調整インターフェースと前記微調整インターフェースとを両方同時に表示させ、
前記粗調整インターフェースと前記微調整インターフェースのうちの一方を前記数値の設定を受け付けるアクティブ状態とし、他方を前記数値の設定を受け付けない非アクティブ状態とする請求項6に記載の画像表示システム。 - 前記表示制御部は、前記アクティブ状態と前記非アクティブ状態とで前記粗調整インターフェースと前記微調整インターフェースの表示態様を異ならせる請求項9に記載の画像表示システム。
- 前記表示制御部は、前記微調整インターフェースにおいて前記数値が前記第2の範囲の上限値または下限値に達した後、さらに前記第1ジェスチャーが検出された場合、前記範囲表示部の前記第2の範囲の表示を変更する請求項6ないし10のいずれか1項に記載の画像表示システム。
- 前記第1ジェスチャーは、前記ユーザの手を第1方向および前記第1方向とは反対の第2方向に移動させる第1および第2方向ジェスチャーであり、
前記第2ジェスチャーは、前記ユーザの手の移動方向を前記第1方向および前記第2方向の一方から他方に切り替える切替ジェスチャーであり、
前記モード切替部は、前記切替ジェスチャーの以後における前記単位変動幅を、前記切替ジェスチャーの以前における前記単位変動幅よりも狭くする請求項1ないし3のいずれか1項に記載の画像表示システム。 - 前記表示制御部は、前記第1ジェスチャーを検出している場合としていない場合とで前記数値指示部の表示態様を異ならせる請求項1ないし12のいずれか1項に記載の画像表示システム。
- 前記数値設定用ユーザインターフェースは、前記範囲表示部としてのバーと、前記バー上でスライド操作される前記数値指示部としてのスライダとで構成されるスライドバーである請求項1ないし13のいずれか1項に記載の画像表示システム。
- 前記表示制御部は、前記数値設定用ユーザインターフェースに加えて、前記現実空間における表示位置が固定された仮想オブジェクトを前記ヘッドマウントディスプレイに表示させ、
前記拡張現実空間において、前記数値設定用ユーザインターフェースで前記仮想オブジェクトが覆い隠された部分の大きさが、設定された大きさ以上となった場合、前記仮想オブジェクトを覆い隠さない位置に前記数値設定用ユーザインターフェースの表示位置を移動させる請求項1ないし14のいずれか1項に記載の画像表示システム。 - 前記第1検出部および前記第2検出部は、前記ユーザの手の撮像画像を解析して前記ユーザの手を認識し、認識した前記ユーザの手の前記第1ジェスチャーおよび前記第2ジェスチャーを検出する請求項1ないし15のいずれか1項に記載の画像表示システム。
- 前記第1検出部および前記第2検出部は、前記ユーザの手にはめられたグローブに基づいて前記ユーザの手を認識する請求項16に記載の画像表示システム。
- 認識した前記ユーザの手と重なる前記数値設定用ユーザインターフェースの部分をマスクするマスク処理部を備える請求項16または17に記載の画像表示システム。
- ユーザの頭部に装着され、現実空間と仮想空間を融合させた拡張現実空間を前記ユーザに認識させるヘッドマウントディスプレイの制御装置において、
設定可能な数値の範囲を示す範囲表示部と、現在設定されている前記数値を指し示す数値指示部とで構成される少なくとも1つの数値設定用ユーザインターフェースを、前記拡張現実空間において前記ユーザが仮想的に認識する仮想ユーザインターフェースとして前記ヘッドマウントディスプレイに表示させる表示制御部と、
前記数値を設定するための前記ユーザの第1ジェスチャーを検出する第1検出部と、
粗調整モードと微調整モードとを切り替えるための前記ユーザの第2ジェスチャーを検出する第2検出部であり、
前記粗調整モードは、前記範囲が第1の範囲であるか、または/および前記数値の単位変動幅が第1の変動幅であるモードで、
前記微調整モードは、前記範囲が前記第1の範囲と比較して狭い第2の範囲であるか、または/および前記単位変動幅が前記第1の変動幅と比較して狭い第2の変動幅であるモードであり、
前記第1ジェスチャーに応じて、前記数値を変更する数値変更部と、
前記第2ジェスチャーに応じて、前記粗調整モードと前記微調整モードとを切り替えるモード切替部とを備えるヘッドマウントディスプレイの制御装置。 - ユーザの頭部に装着され、現実空間と仮想空間を融合させた拡張現実空間を前記ユーザに認識させるヘッドマウントディスプレイの制御装置の作動方法において、
設定可能な数値の範囲を示す範囲表示部と、現在設定されている前記数値を指し示す数値指示部とで構成される少なくとも1つの数値設定用ユーザインターフェースを、前記拡張現実空間において前記ユーザが仮想的に認識する仮想ユーザインターフェースとして前記ヘッドマウントディスプレイに表示させる表示制御ステップと、
前記数値を設定するための前記ユーザの第1ジェスチャーを検出する第1検出ステップと、
粗調整モードと微調整モードとを切り替えるための前記ユーザの第2ジェスチャーを検出する第2検出ステップであり、
前記粗調整モードは、前記範囲が第1の範囲であるか、または/および前記数値の単位変動幅が第1の変動幅であるモードで、
前記微調整モードは、前記範囲が前記第1の範囲と比較して狭い第2の範囲であるか、または/および前記単位変動幅が前記第1の変動幅と比較して狭い第2の変動幅であるモードであり、
前記第1ジェスチャーに応じて、前記数値を変更する数値変更ステップと、
前記第2ジェスチャーに応じて、前記粗調整モードと前記微調整モードとを切り替えるモード切替ステップとを備えるヘッドマウントディスプレイの制御装置の作動方法。 - ユーザの頭部に装着され、現実空間と仮想空間を融合させた拡張現実空間を前記ユーザに認識させるヘッドマウントディスプレイの制御装置の作動プログラムにおいて、
設定可能な数値の範囲を示す範囲表示部と、現在設定されている前記数値を指し示す数値指示部とで構成される少なくとも1つの数値設定用ユーザインターフェースを、前記拡張現実空間において前記ユーザが仮想的に認識する仮想ユーザインターフェースとして前記ヘッドマウントディスプレイに表示させる表示制御機能と、
前記数値を設定するための前記ユーザの第1ジェスチャーを検出する第1検出機能と、
粗調整モードと微調整モードとを切り替えるための前記ユーザの第2ジェスチャーを検出する第2検出機能であり、
前記粗調整モードは、前記範囲が第1の範囲であるか、または/および前記数値の単位変動幅が第1の変動幅であるモードで、
前記微調整モードは、前記範囲が前記第1の範囲と比較して狭い第2の範囲であるか、または/および前記単位変動幅が前記第1の変動幅と比較して狭い第2の変動幅であるモードであり、
前記第1ジェスチャーに応じて、前記数値を変更する数値変更機能と、
前記第2ジェスチャーに応じて、前記粗調整モードと前記微調整モードとを切り替えるモード切替機能とを、コンピュータに実行させるヘッドマウントディスプレイの制御装置の作動プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016137813 | 2016-07-12 | ||
JP2016137813 | 2016-07-12 | ||
PCT/JP2017/022488 WO2018012206A1 (ja) | 2016-07-12 | 2017-06-19 | 画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018012206A1 true JPWO2018012206A1 (ja) | 2019-05-16 |
JP6672458B2 JP6672458B2 (ja) | 2020-03-25 |
Family
ID=60952947
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018527465A Active JP6672458B2 (ja) | 2016-07-12 | 2017-06-19 | 画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10664043B2 (ja) |
EP (1) | EP3486750B1 (ja) |
JP (1) | JP6672458B2 (ja) |
CN (1) | CN109478091A (ja) |
WO (1) | WO2018012206A1 (ja) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018005091A (ja) * | 2016-07-06 | 2018-01-11 | 富士通株式会社 | 表示制御プログラム、表示制御方法および表示制御装置 |
CN109478339A (zh) * | 2016-07-29 | 2019-03-15 | 三菱电机株式会社 | 显示装置、显示控制装置和显示控制方法 |
KR102567007B1 (ko) | 2017-02-24 | 2023-08-16 | 마시모 코오퍼레이션 | 의료 모니터링 데이터 표시 시스템 |
WO2018156809A1 (en) * | 2017-02-24 | 2018-08-30 | Masimo Corporation | Augmented reality system for displaying patient data |
EP3622529A1 (en) | 2017-05-08 | 2020-03-18 | Masimo Corporation | System for pairing a medical system to a network controller by use of a dongle |
KR102552551B1 (ko) * | 2017-05-19 | 2023-07-06 | 매직 립, 인코포레이티드 | 가상, 증강 및 혼합 현실 디스플레이 시스템들을 위한 키보드들 |
EP3542252B1 (en) * | 2017-08-10 | 2023-08-02 | Google LLC | Context-sensitive hand interaction |
US11080931B2 (en) * | 2017-09-27 | 2021-08-03 | Fisher-Rosemount Systems, Inc. | Virtual x-ray vision in a process control environment |
JP7006184B2 (ja) * | 2017-11-27 | 2022-01-24 | 富士通株式会社 | 制御プログラム、制御方法および制御装置 |
CN108197596B (zh) * | 2018-01-24 | 2021-04-06 | 京东方科技集团股份有限公司 | 一种手势识别方法和装置 |
US10635895B2 (en) | 2018-06-27 | 2020-04-28 | Facebook Technologies, Llc | Gesture-based casting and manipulation of virtual content in artificial-reality environments |
US10712901B2 (en) | 2018-06-27 | 2020-07-14 | Facebook Technologies, Llc | Gesture-based content sharing in artificial reality environments |
US10783712B2 (en) | 2018-06-27 | 2020-09-22 | Facebook Technologies, Llc | Visual flairs for emphasizing gestures in artificial-reality environments |
US11244509B2 (en) | 2018-08-20 | 2022-02-08 | Fisher-Rosemount Systems, Inc. | Drift correction for industrial augmented reality applications |
US11054896B1 (en) * | 2019-02-07 | 2021-07-06 | Facebook, Inc. | Displaying virtual interaction objects to a user on a reference plane |
CN209596544U (zh) * | 2019-02-17 | 2019-11-08 | 上海狮峪智能科技有限公司 | Vr自助游戏机头显装置 |
CN112433658B (zh) * | 2019-08-26 | 2023-07-04 | 北京小米移动软件有限公司 | 亮度调节方法、装置、设备和存储介质 |
US11474614B2 (en) | 2020-04-26 | 2022-10-18 | Huawei Technologies Co., Ltd. | Method and device for adjusting the control-display gain of a gesture controlled electronic device |
US11816887B2 (en) | 2020-08-04 | 2023-11-14 | Fisher-Rosemount Systems, Inc. | Quick activation techniques for industrial augmented reality applications |
JP2022065826A (ja) * | 2020-10-16 | 2022-04-28 | セイコーエプソン株式会社 | 操作方法及びプログラム |
JP2022163813A (ja) * | 2021-04-15 | 2022-10-27 | キヤノン株式会社 | 装着型の情報端末、その制御方法及びプログラム |
US11693551B2 (en) * | 2021-05-21 | 2023-07-04 | Huawei Technologies Co., Ltd. | Methods and systems for providing feedback for multi-precision mid-air gestures on a gesture-controlled device |
CN113961118B (zh) * | 2021-08-30 | 2022-08-23 | 珠海读书郎软件科技有限公司 | 一种可实现屏幕截图方法的电子设备及方法 |
CN114527879A (zh) * | 2022-02-25 | 2022-05-24 | 中国人民解放军空军工程大学航空机务士官学校 | 一种基于增强现实技术的航空机务飞行检查站位引导方法 |
US11531448B1 (en) * | 2022-06-01 | 2022-12-20 | VR-EDU, Inc. | Hand control interfaces and methods in virtual reality environments |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006146803A (ja) * | 2004-11-24 | 2006-06-08 | Olympus Corp | 操作装置及び遠隔操作システム |
JP2009295147A (ja) * | 2008-05-07 | 2009-12-17 | Hoya Corp | スクロール表示可能な情報処理装置 |
JP2013529802A (ja) * | 2010-06-10 | 2013-07-22 | マイクロソフト コーポレーション | コンテンツジェスチャー |
JP2014186361A (ja) * | 2013-03-21 | 2014-10-02 | Sony Corp | 情報処理装置、操作制御方法及びプログラム |
JP2015119373A (ja) * | 2013-12-19 | 2015-06-25 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9772759B2 (en) * | 2011-10-14 | 2017-09-26 | Apple Inc. | Device, method, and graphical user interface for data input using virtual sliders |
US9141198B2 (en) * | 2013-01-08 | 2015-09-22 | Infineon Technologies Ag | Control of a control parameter by gesture recognition |
KR102077305B1 (ko) * | 2013-05-09 | 2020-02-14 | 삼성전자 주식회사 | 증강 현실 정보를 포함하는 콘텐츠 제공 방법 및 장치 |
CN103631492B (zh) * | 2013-09-27 | 2018-09-04 | 深圳超多维科技有限公司 | 一种调节立体内容深度的方法及装置 |
US10203762B2 (en) * | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
US10055018B2 (en) * | 2014-08-22 | 2018-08-21 | Sony Interactive Entertainment Inc. | Glove interface object with thumb-index controller |
DE102014224599A1 (de) * | 2014-12-02 | 2016-06-02 | Robert Bosch Gmbh | Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung |
-
2017
- 2017-06-19 WO PCT/JP2017/022488 patent/WO2018012206A1/ja unknown
- 2017-06-19 EP EP17827337.1A patent/EP3486750B1/en active Active
- 2017-06-19 JP JP2018527465A patent/JP6672458B2/ja active Active
- 2017-06-19 CN CN201780043365.4A patent/CN109478091A/zh active Pending
-
2019
- 2019-01-10 US US16/244,478 patent/US10664043B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006146803A (ja) * | 2004-11-24 | 2006-06-08 | Olympus Corp | 操作装置及び遠隔操作システム |
JP2009295147A (ja) * | 2008-05-07 | 2009-12-17 | Hoya Corp | スクロール表示可能な情報処理装置 |
JP2013529802A (ja) * | 2010-06-10 | 2013-07-22 | マイクロソフト コーポレーション | コンテンツジェスチャー |
JP2014186361A (ja) * | 2013-03-21 | 2014-10-02 | Sony Corp | 情報処理装置、操作制御方法及びプログラム |
JP2015119373A (ja) * | 2013-12-19 | 2015-06-25 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20190146578A1 (en) | 2019-05-16 |
WO2018012206A1 (ja) | 2018-01-18 |
US10664043B2 (en) | 2020-05-26 |
EP3486750B1 (en) | 2023-10-18 |
EP3486750A1 (en) | 2019-05-22 |
EP3486750A4 (en) | 2019-07-10 |
CN109478091A (zh) | 2019-03-15 |
JP6672458B2 (ja) | 2020-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6672458B2 (ja) | 画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム | |
JP6706323B2 (ja) | 画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム | |
JP6551502B2 (ja) | ヘッドマウントディスプレイ、情報処理方法、及びプログラム | |
EP2649409B1 (en) | System with 3d user interface integration | |
EP3570771B1 (en) | Augmented reality for radiation dose monitoring | |
CN114830066A (zh) | 用于在三维环境中显示应用程序的设备、方法和图形用户界面 | |
US20140068476A1 (en) | Icon operating device | |
JP2018180840A (ja) | ヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム、並びに画像表示システム | |
CA3105192A1 (en) | Gaze based interface for augmented reality environment | |
US9013396B2 (en) | System and method for controlling a virtual reality environment by an actor in the virtual reality environment | |
EP3907585B1 (en) | Systems and methods of controlling an operating room display using an augmented reality headset | |
de Ridder et al. | Exploration of virtual and augmented reality for visual analytics and 3d volume rendering of functional magnetic resonance imaging (fMRI) data | |
JP2012038025A (ja) | 表示装置及び表示装置の制御方法、プログラム | |
Jota et al. | Palpebrae superioris: Exploring the design space of eyelid gestures | |
USRE48221E1 (en) | System with 3D user interface integration | |
US20120280910A1 (en) | Control system and method for controlling a plurality of computer devices | |
WO2022208612A1 (ja) | ウェアラブル端末装置、プログラムおよび表示方法 | |
Sa-nguannarm et al. | Hand movement recognition by using a touchless sensor for controlling images in operating room |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191023 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20191223 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200212 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200303 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200304 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6672458 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |