JP2018180840A - ヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム、並びに画像表示システム - Google Patents
ヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム、並びに画像表示システム Download PDFInfo
- Publication number
- JP2018180840A JP2018180840A JP2017078064A JP2017078064A JP2018180840A JP 2018180840 A JP2018180840 A JP 2018180840A JP 2017078064 A JP2017078064 A JP 2017078064A JP 2017078064 A JP2017078064 A JP 2017078064A JP 2018180840 A JP2018180840 A JP 2018180840A
- Authority
- JP
- Japan
- Prior art keywords
- display
- image
- user
- option
- virtual object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0486—Drag-and-drop
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Architecture (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
図1において、画像表示システム10は、HMD11と制御装置12とが一体化されたものであり、例えば医療施設13のカンファレンス室14で用いられる。画像表示システム10はユーザ15の頭部に装着される。ユーザ15は、医療施設13に所属する医師や看護師といった医療スタッフである。なお、頭部とは、立位の状態で人体の頸部から上に位置する部分を言い、顔面等を含む部分である。
上記第1実施形態では、ダブルタップ操作の有無に関わらず、メニューバーとしてのアジャストモード表示バー90および構造物リスト95を仮想空間VSに表示しているが、図27に示す第2実施形態では、ダブルタップ操作が認識された場合にのみメニューバーを表示する。
図28に示す第3実施形態では、ダブルタップ操作が認識された場合にのみメニューバーを表示することに加えて、ユーザ15の視点位置にメニューバーを表示する。
[付記項1]
ユーザの頭部に装着され、仮想空間を前記ユーザに認識させるヘッドマウントディスプレイの動作を制御するヘッドマウントディスプレイの制御装置において、
三次元の仮想オブジェクトを前記仮想空間に表示させる表示制御プロセッサと、
前記仮想オブジェクトに対する前記ユーザの手を用いたジェスチャー操作を認識する操作認識プロセッサと、
親指以外の少なくとも1本の指を親指に向けて押し下げてから押し上げる動作を2回連続して行うダブルタップ操作が前記ジェスチャー操作として認識された場合、前記仮想オブジェクトに関する複数の選択肢のうちの1つの選択肢を選択し、前記ダブルタップ操作が認識される度に、選択する前記選択肢をサイクリックに切り替える選択処理プロセッサと、
手首、肘、肩のいずれかを支点として手を移動させるスライド操作が前記ジェスチャー操作として認識された場合、前記選択処理プロセッサで選択された前記1つの選択肢に付随する、前記仮想オブジェクトの表示態様を変更する変更処理を行う変更処理プロセッサとを備えるヘッドマウントディスプレイの制御装置。
11、111、121 ヘッドマウントディスプレイ(HMD)
12、112、122 制御装置
13 医療施設
14 カンファレンス室
15 ユーザ
17 ネットワーク
18 コンピュータ室
19 画像蓄積サーバ
25 本体部
26 装着部
27 保護枠
28 スクリーン
29 センサ部
30 制御部
31 鼻当て
32 内側リング
33 外側リング
34 スピーカー
36 テーブル
37 手
38 指
40 三次元ボリュームレンダリング画像(3D画像)
41 カーソル
45 CTスキャン画像
46 皮膚
47 皮下組織
48 筋組織
49 骨
50 内臓
50A 肝臓
50B 胃
50C 脾臓
51 病変
55 ストレージデバイス
56 メモリ
57 CPU
58 データバス
65 作動プログラム
66、66A〜66F 第1対応情報
67 第2対応情報
70 センサ情報取得部
71 3D画像取得部
72 認識部
73 処理部
74 表示制御部
80 操作認識部
85 選択処理部
86 変更処理部
87 対象領域
90 アジャストモード表示バー(メニューバー)
90A〜90C アイコン
91 オブザーブモード表示バー
92 枠
95 構造物リスト(メニューバー)
96 カラーバー
97 アノテーション
98 透過率表示バー
103 終了ボタン
104 読込ボタン
105 リセットボタン
ARS 拡張現実空間
RS 現実空間
VS 仮想空間
ST100〜ST130、ST500〜ST590 ステップ
Claims (12)
- ユーザの頭部に装着され、仮想空間を前記ユーザに認識させるヘッドマウントディスプレイの動作を制御するヘッドマウントディスプレイの制御装置において、
三次元の仮想オブジェクトを前記仮想空間に表示させる表示制御部と、
前記仮想オブジェクトに対する前記ユーザの手を用いたジェスチャー操作を認識する操作認識部と、
親指以外の少なくとも1本の指を親指に向けて押し下げてから押し上げる動作を2回連続して行うダブルタップ操作が前記ジェスチャー操作として認識された場合、前記仮想オブジェクトに関する複数の選択肢のうちの1つの選択肢を選択し、前記ダブルタップ操作が認識される度に、選択する前記選択肢をサイクリックに切り替える選択処理部と、
手首、肘、肩のいずれかを支点として手を移動させるスライド操作が前記ジェスチャー操作として認識された場合、前記選択処理部で選択された前記1つの選択肢に付随する、前記仮想オブジェクトの表示態様を変更する変更処理を行う変更処理部とを備えるヘッドマウントディスプレイの制御装置。 - 前記表示制御部は、前記複数の選択肢を順番に並べたメニューバーを前記仮想空間に表示し、
前記メニューバーにおいて、前記選択処理部で選択された前記1つの選択肢をフォーカス表示する請求項1に記載のヘッドマウントディスプレイの制御装置。 - 前記表示制御部は、前記ダブルタップ操作が前記ジェスチャー操作として認識された場合にのみ前記メニューバーを表示する請求項2に記載のヘッドマウントディスプレイの制御装置。
- 前記表示制御部は、前記ユーザの視点位置に前記メニューバーを表示する請求項3に記載のヘッドマウントディスプレイの制御装置。
- 前記選択肢は、前記変更処理の種類である、前記仮想オブジェクトの表示位置、表示サイズ、および表示向きである請求項1ないし4のいずれか1項に記載のヘッドマウントディスプレイの制御装置。
- 前記仮想オブジェクトは複数の構造物を有し、
前記選択肢は、前記変更処理の対象である前記複数の構造物である請求項1ないし5のいずれか1項に記載のヘッドマウントディスプレイの制御装置。 - 前記変更処理部は、前記複数の構造物のうちの前記選択処理部で選択された1つの構造物の透過率を変更する透過率変更処理を前記変更処理として行う請求項6に記載のヘッドマウントディスプレイの制御装置。
- 前記仮想オブジェクトは、人体の三次元ボリュームレンダリング画像である請求項1ないし7のいずれか1項に記載のヘッドマウントディスプレイの制御装置。
- 前記スライド操作は、2本の指の指先を接触させた状態で手を移動させるタップアンドホールド操作である請求項1ないし8のいずれか1項に記載のヘッドマウントディスプレイの制御装置。
- ユーザの頭部に装着され、仮想空間を前記ユーザに認識させるヘッドマウントディスプレイの動作を制御するヘッドマウントディスプレイの制御装置の作動方法において、
三次元の仮想オブジェクトを前記仮想空間に表示させる表示制御ステップと、
前記仮想オブジェクトに対する前記ユーザの手を用いたジェスチャー操作を認識する操作認識ステップと、
親指以外の少なくとも1本の指を親指に向けて押し下げてから押し上げる動作を2回連続して行うダブルタップ操作が前記ジェスチャー操作として認識された場合、前記仮想オブジェクトに関する複数の選択肢のうちの1つの選択肢を選択し、前記ダブルタップ操作が認識される度に、選択する前記選択肢をサイクリックに切り替える選択処理ステップと、
手首、肘、肩のいずれかを支点として手を移動させるスライド操作が前記ジェスチャー操作として認識された場合、前記選択処理ステップで選択された前記1つの選択肢に付随する、前記仮想オブジェクトの表示態様を変更する変更処理を行う変更処理ステップとを備えるヘッドマウントディスプレイの制御装置の作動方法。 - ユーザの頭部に装着され、仮想空間を前記ユーザに認識させるヘッドマウントディスプレイの動作を制御するヘッドマウントディスプレイの制御装置の作動プログラムにおいて、
三次元の仮想オブジェクトを前記仮想空間に表示させる表示制御機能と、
前記仮想オブジェクトに対する前記ユーザの手を用いたジェスチャー操作を認識する操作認識機能と、
親指以外の少なくとも1本の指を親指に向けて押し下げてから押し上げる動作を2回連続して行うダブルタップ操作が前記ジェスチャー操作として認識された場合、前記仮想オブジェクトに関する複数の選択肢のうちの1つの選択肢を選択し、前記ダブルタップ操作が認識される度に、選択する前記選択肢をサイクリックに切り替える選択処理機能と、
手首、肘、肩のいずれかを支点として手を移動させるスライド操作が前記ジェスチャー操作として認識された場合、前記選択処理機能で選択された前記1つの選択肢に付随する、前記仮想オブジェクトの表示態様を変更する変更処理を行う変更処理機能とを、コンピュータに実行させるヘッドマウントディスプレイの制御装置の作動プログラム。 - ユーザの頭部に装着されるヘッドマウントディスプレイと、前記ヘッドマウントディスプレイの動作を制御する制御装置とを備え、前記ヘッドマウントディスプレイを通じて仮想空間を前記ユーザに認識させる画像表示システムにおいて、
三次元の仮想オブジェクトを前記仮想空間に表示させる表示制御部と、
前記仮想オブジェクトに対する前記ユーザの手を用いたジェスチャー操作を認識する操作認識部と、
親指以外の少なくとも1本の指を親指に向けて押し下げてから押し上げる動作を2回連続して行うダブルタップ操作が前記ジェスチャー操作として認識された場合、前記仮想オブジェクトに関する複数の選択肢のうちの1つの選択肢を選択し、前記ダブルタップ操作が認識される度に、選択する前記選択肢をサイクリックに切り替える選択処理部と、
手首、肘、肩のいずれかを支点として手を移動させるスライド操作が前記ジェスチャー操作として認識された場合、前記選択処理部で選択された前記1つの選択肢に付随する、前記仮想オブジェクトの表示態様を変更する変更処理を行う変更処理部とを備える画像表示システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017078064A JP6774367B2 (ja) | 2017-04-11 | 2017-04-11 | ヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム、並びに画像表示システム |
EP18162363.8A EP3388921A1 (en) | 2017-04-11 | 2018-03-16 | Control device of head mounted display; operation method and operation program thereof; and image display system |
US15/928,729 US10429941B2 (en) | 2017-04-11 | 2018-03-22 | Control device of head mounted display, operation method and operation program thereof, and image display system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017078064A JP6774367B2 (ja) | 2017-04-11 | 2017-04-11 | ヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム、並びに画像表示システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018180840A true JP2018180840A (ja) | 2018-11-15 |
JP6774367B2 JP6774367B2 (ja) | 2020-10-21 |
Family
ID=61691699
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017078064A Active JP6774367B2 (ja) | 2017-04-11 | 2017-04-11 | ヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム、並びに画像表示システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10429941B2 (ja) |
EP (1) | EP3388921A1 (ja) |
JP (1) | JP6774367B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022537574A (ja) * | 2019-06-18 | 2022-08-26 | ヒューメイン・インコーポレイテッド | ウェアラブルマルチメディアデバイスおよびレーザ投影システムを伴うクラウドコンピューティングプラットフォーム |
WO2022196222A1 (ja) * | 2021-03-16 | 2022-09-22 | ソニーセミコンダクタソリューションズ株式会社 | 検出処理装置、検出処理方法、情報処理システム |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3550897A1 (en) | 2013-01-03 | 2019-10-09 | LG Electronics Inc. | Method and apparatus for transmitting uplink signals in wireless communication system |
US10739861B2 (en) * | 2018-01-10 | 2020-08-11 | Facebook Technologies, Llc | Long distance interaction with artificial reality objects using a near eye display interface |
WO2019150430A1 (ja) * | 2018-01-30 | 2019-08-08 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置 |
US10860113B2 (en) * | 2018-05-30 | 2020-12-08 | Atheer, Inc. | Augmented reality head gesture recognition systems |
US11150746B2 (en) * | 2018-06-28 | 2021-10-19 | Google Llc | Wearable electronic devices having user interface mirroring based on device position |
USD959477S1 (en) | 2019-12-20 | 2022-08-02 | Sap Se | Display system or portion thereof with a virtual three-dimensional animated graphical user interface |
US11205296B2 (en) * | 2019-12-20 | 2021-12-21 | Sap Se | 3D data exploration using interactive cuboids |
USD959476S1 (en) | 2019-12-20 | 2022-08-02 | Sap Se | Display system or portion thereof with a virtual three-dimensional animated graphical user interface |
USD959447S1 (en) | 2019-12-20 | 2022-08-02 | Sap Se | Display system or portion thereof with a virtual three-dimensional animated graphical user interface |
CN111700630B (zh) * | 2020-06-28 | 2023-03-24 | 重庆电子工程职业学院 | 基于ar技术的健康检测*** |
TW202215370A (zh) * | 2020-08-14 | 2022-04-16 | 美商海思智財控股有限公司 | 疊合虛擬影像於即時影像的系統與方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005322071A (ja) * | 2004-05-10 | 2005-11-17 | Takenaka Komuten Co Ltd | 指示動作認識装置、指示動作認識方法及び指示動作認識プログラム |
US20120113223A1 (en) * | 2010-11-05 | 2012-05-10 | Microsoft Corporation | User Interaction in Augmented Reality |
JP2013012158A (ja) * | 2011-06-30 | 2013-01-17 | Toshiba Corp | 電子機器および制御方法 |
JP2014071812A (ja) * | 2012-10-01 | 2014-04-21 | Sony Corp | 情報処理装置、表示制御方法及びプログラム |
JP2015088161A (ja) * | 2013-09-26 | 2015-05-07 | 富士通株式会社 | ジェスチャ入力装置、ジェスチャ入力方法、およびジェスチャ入力プログラム |
US20160162020A1 (en) * | 2014-12-03 | 2016-06-09 | Taylor Lehman | Gaze target application launcher |
WO2016168047A1 (en) * | 2015-04-15 | 2016-10-20 | Sony Computer Entertainment Inc. | Pinch and hold gesture navigation on a head-mounted display |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140123077A1 (en) * | 2012-10-29 | 2014-05-01 | Intel Corporation | System and method for user interaction and control of electronic devices |
GB2507963A (en) * | 2012-11-14 | 2014-05-21 | Renergy Sarl | Controlling a Graphical User Interface |
WO2014144015A2 (en) * | 2013-03-15 | 2014-09-18 | Keller Eric Jeffrey | Computing interface system |
-
2017
- 2017-04-11 JP JP2017078064A patent/JP6774367B2/ja active Active
-
2018
- 2018-03-16 EP EP18162363.8A patent/EP3388921A1/en not_active Withdrawn
- 2018-03-22 US US15/928,729 patent/US10429941B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005322071A (ja) * | 2004-05-10 | 2005-11-17 | Takenaka Komuten Co Ltd | 指示動作認識装置、指示動作認識方法及び指示動作認識プログラム |
US20120113223A1 (en) * | 2010-11-05 | 2012-05-10 | Microsoft Corporation | User Interaction in Augmented Reality |
JP2013012158A (ja) * | 2011-06-30 | 2013-01-17 | Toshiba Corp | 電子機器および制御方法 |
JP2014071812A (ja) * | 2012-10-01 | 2014-04-21 | Sony Corp | 情報処理装置、表示制御方法及びプログラム |
JP2015088161A (ja) * | 2013-09-26 | 2015-05-07 | 富士通株式会社 | ジェスチャ入力装置、ジェスチャ入力方法、およびジェスチャ入力プログラム |
US20160162020A1 (en) * | 2014-12-03 | 2016-06-09 | Taylor Lehman | Gaze target application launcher |
WO2016168047A1 (en) * | 2015-04-15 | 2016-10-20 | Sony Computer Entertainment Inc. | Pinch and hold gesture navigation on a head-mounted display |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022537574A (ja) * | 2019-06-18 | 2022-08-26 | ヒューメイン・インコーポレイテッド | ウェアラブルマルチメディアデバイスおよびレーザ投影システムを伴うクラウドコンピューティングプラットフォーム |
JP7508492B2 (ja) | 2019-06-18 | 2024-07-01 | ヒューメイン・インコーポレイテッド | ウェアラブルマルチメディアデバイスおよびレーザ投影システムを伴うクラウドコンピューティングプラットフォーム |
WO2022196222A1 (ja) * | 2021-03-16 | 2022-09-22 | ソニーセミコンダクタソリューションズ株式会社 | 検出処理装置、検出処理方法、情報処理システム |
Also Published As
Publication number | Publication date |
---|---|
US20180292908A1 (en) | 2018-10-11 |
JP6774367B2 (ja) | 2020-10-21 |
US10429941B2 (en) | 2019-10-01 |
EP3388921A1 (en) | 2018-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6774367B2 (ja) | ヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム、並びに画像表示システム | |
US11989930B2 (en) | UI for head mounted display system | |
JP2022017422A (ja) | 拡張現実感手術ナビゲーション | |
EP2755194B1 (en) | 3d virtual training system and method | |
US20190146653A1 (en) | Image display system, and control apparatus for head-mounted display and operation method therefor | |
CN117032519A (zh) | 用于与三维环境进行交互的设备、方法和图形用户界面 | |
JP6116934B2 (ja) | アイコン操作装置 | |
US11481025B2 (en) | Display control apparatus, display apparatus, and display control method | |
WO2012081194A1 (ja) | 医療支援装置、医療支援方法および医療支援システム | |
JP6112689B1 (ja) | 重畳画像表示システム | |
EP3907585B1 (en) | Systems and methods of controlling an operating room display using an augmented reality headset | |
US10269453B2 (en) | Method and apparatus for providing medical information | |
CN104156061B (zh) | 直观的姿势控制 | |
CA3117533A1 (en) | Ui for head mounted display system | |
WO2018011105A1 (en) | Systems and methods for three dimensional touchless manipulation of medical images | |
JP6142462B1 (ja) | 重畳画像表示システム | |
CN106095088B (zh) | 一种电子设备及其图像处理方法 | |
JP7367041B2 (ja) | 頭部装着型ディスプレイシステムのためのui | |
JP7417337B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
US11771506B2 (en) | Method and system for controlling dental machines | |
JP2021133170A (ja) | 医用画像処理装置、医用画像処理方法および医用画像処理プログラム | |
JP2023184238A (ja) | 情報処理装置、情報処理方法、プログラム | |
Ruegger | Touchless interaction with 3D images in the operating room |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190815 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200617 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200714 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200911 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200923 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201002 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6774367 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |