JP2017537368A - 視線によって制御されるヘッドマウント型ディスプレイ装置、その制御方法、及びその制御のためのコンピュータプログラム - Google Patents

視線によって制御されるヘッドマウント型ディスプレイ装置、その制御方法、及びその制御のためのコンピュータプログラム Download PDF

Info

Publication number
JP2017537368A
JP2017537368A JP2017515162A JP2017515162A JP2017537368A JP 2017537368 A JP2017537368 A JP 2017537368A JP 2017515162 A JP2017515162 A JP 2017515162A JP 2017515162 A JP2017515162 A JP 2017515162A JP 2017537368 A JP2017537368 A JP 2017537368A
Authority
JP
Japan
Prior art keywords
user
line
sight
display device
mounted display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017515162A
Other languages
English (en)
Inventor
ソン ウ キム，
ソン ウ キム，
クヮン ジン チェ，
クヮン ジン チェ，
Original Assignee
エフエックスギア インコーポレイテッド
エフエックスギア インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エフエックスギア インコーポレイテッド, エフエックスギア インコーポレイテッド filed Critical エフエックスギア インコーポレイテッド
Publication of JP2017537368A publication Critical patent/JP2017537368A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0362—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 1D translations or rotations of an operating part of the device, e.g. scroll wheels, sliders, knobs, rollers or belts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2092—Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/068—Adjustment of display parameters for control of viewing angle adjustment
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Chemical & Material Sciences (AREA)
  • Optics & Photonics (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)

Abstract

ヘッドマウント型ディスプレイ装置（Ｈｅａｄ−Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ；ＨＭＤ）は、前記ＨＭＤを着用したユーザの動きを測定するセンサ部と、イメージを表示する表示部、及び前記センサ部の測定値からユーザの視線方向を算出し、ユーザの視線方向が予め設定された条件を満たす場合、ユーザの視線を入力信号として用いて前記イメージの視点以外の他の要素を制御する制御部と、を含んでいてよい。前記ＨＭＤは、ユーザの視線方向が予め設定された条件を満たす場合、ユーザの視線を入力信号として用いてＨＭＤに表示されるイメージを制御することによって別途のコントローラなしでイベント（ｅｖｅｎｔ）処理などを行うことができる。【選択図】図１

Description

実施例は、ヘッドマウント型ディスプレイ装置（Ｈｅａｄ−Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ；ＨＭＤ）、その制御のための方法、及びコンピュータプログラムに係り、より詳しくは、別途のコントローラなしでユーザの視線によって制御できるように構成されたＨＭＤ及びその制御技術に関する。
ヘッドマウント型ディスプレイ装置（Ｈｅａｄ−Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ；ＨＭＤ）は、頭部に着用する形態の携帯ディスプレイ装置であって、表示装置をゴーグルやヘルメットのような形態で頭部に装着することによって眼前の至近距離に画像の焦点が結ぶように構成された装備である。ＨＭＤを着用したユーザは、視界全体が画像で覆われることになってバーチャルリアリティのような感じを受けることができ、軍事用、医療用、及び個人用などの多様な分野に応用されている。
一例として、特許文献１（日本公開特許公報第１９９９-１６１１９０）では、ユーザの頭部の動きを検出し、検出された結果に基づいて表示素子に表示される情報を制御する技術を開示している。しかし、この種の従来のＨＭＤにおけるユーザの動きは表示素子に表示される視点の切り替えだけに用いられており、表示される情報に対するイベント（ｅｖｅｎｔ）処理などの制御のためには別途のコントローラ、例えば、タッチパッド、ゲームパッドなどを必要とするという短所がある。
特開平１１−１６１１９０号公報
本発明の一側面によれば、別途のコントローラなしでユーザの視線によってヘッドマウント型ディスプレイ装置（Ｈｅａｄ−Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ；ＨＭＤ）に表示されるイメージが制御できるように構成されたＨＭＤ及びその制御方法、並びにそのためのコンピュータプログラムを提供することができる。
一実施例に係るヘッドマウント型ディスプレイ装置（Ｈｅａｄ−Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ；ＨＭＤ）は、該ＨＭＤを着用したユーザの動きを測定するように構成されたセンサ部と、イメージを表示するように構成された表示部、及び前記センサ部の測定値からユーザの視線方向を算出し、ユーザの視線方向が予め設定された条件を満たす場合、ユーザの視線を入力信号として用いて前記イメージの視点以外の他の要素を制御するように構成された制御部と、を含む。
前記制御部は、ユーザの視線方向が予め設定された時間一定に維持されることに対する応答として、ユーザの視線を前記入力信号として用いていてよい。
また、前記制御部は、ユーザの視線方向が予め設定された方向と一致することに対する応答として、ユーザの視線を前記入力信号として用いていてもよい。
前記制御部は、ユーザの視線を前記入力信号として用いて、前記表示部に表示されるイメージの種類、出力部分、出力形態、及び再生速度の一つ以上を変化させていてよい。
前記制御部は、更に、ユーザの視線方向に応じて前記表示部に表示されるイメージの視点が変化する第１モードとユーザの視線を前記入力信号として用いて前記イメージの視点以外の他の要素が制御される第２モードとの間でモードを切り替えながら動作するように前記表示部を制御していてよい。
一実施例に係るＨＭＤの制御方法は、前記ＨＭＤにイメージを表示する段階と、前記ＨＭＤを着用したユーザの視線方向を算出する段階、及びユーザの視線方向が予め設定された条件を満たす場合、ユーザの視線を入力信号として用いて前記ＨＭＤに表示されるイメージの視点以外の他の要素を制御する段階と、を含む。
前記イメージの視点以外の他の要素を制御する段階は、ユーザの視線方向が予め設定された時間一定に維持されることに対する応答として、ユーザの視線を前記入力信号として決定する段階を含んでいてよい。
また、前記イメージの視点以外の他の要素を制御する段階は、ユーザの視線方向が予め設定された方向と一致することに対する応答として、ユーザの視線を前記入力信号として決定する段階を含んでいてよい。
前記イメージの視点以外の他の要素を制御する段階は、ユーザの視線を前記入力信号として用いて、前記ＨＭＤに表示されるイメージの種類、出力部分、出力形態、及び再生速度の一つ以上を変化させる段階を含んでいてよい。
前記イメージの視点以外の他の要素を制御する段階は、ユーザの視線方向に応じて前記ヘッドマウント型ディスプレイ装置に表示されるイメージの視点が変化する第１モードとユーザの視線を前記入力信号として用いて前記イメージの視点以外の他の要素が制御される第２モードとの間でモードを切り替えながら動作するように前記ＨＭＤを制御する段階を含んでいてよい。
一実施例に係るコンピュータプログラムは、ＨＭＤに結合されて該ＨＭＤの制御方法を実施するように媒体に記録されたものであってよい。
本発明の一側面に係るヘッドマウント型ディスプレイ装置（Ｈｅａｄ−Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ；ＨＭＤ）及びその制御方法を用いれば、ユーザの視線方向が予め設定された条件を満たす場合、それを入力信号として用いてＨＭＤに表示されるイメージを制御することにより、別途のコントローラなしでイベント（ｅｖｅｎｔ）処理などが可能であるという利点がある。
一実施例に係るヘッドマウント型ディスプレイ装置（Ｈｅａｄ−Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ；ＨＭＤ）のブロック図である。 一実施例に係るＨＭＤの表示形態を示す概略図である。 及び 一実施例に係るＨＭＤで視線を用いたイメージ制御形態を示す概略図である。 一実施例に係るＨＭＤで視線を用いたイメージ制御形態を示す他の概略図である。 一実施例に係るＨＭＤで視線を用いたイメージ制御形態を示すまた他の概略図である。
以下、図面を参照して本発明の実施例について詳述する。
図１は、一実施例に係るヘッドマウント型ディスプレイ装置（Ｈｅａｄ−Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ；ＨＭＤ）のブロック図である。
図１を参照すると、本実施例に係るＨＭＤは、センサ部１０、表示部２０、及び制御部３０を含む。一実施例において、ＨＭＤは、通信部４０及び／または格納部５０を更に含んでいてよい。本実施例に係るＨＭＤは、ユーザが頭部にＨＭＤを着用できるように構成され、必要に応じて一つまたは複数の固定手段（図示せず）を含んでいてよい。例えば、実施例に係るＨＭＤは、ゴーグル（ｇｏｇｇｌｅ）またはヘルメットのような形態で実現されていてよいが、必ずしもこれらに限定されるものではない。
実施例に係るＨＭＤは、全てがハードウェアであるか、または全てがソフトウェアであるか、または部分的にハードウェアで部分的にソフトウェアである側面を有していてよい。例えば、本明細書においてＨＭＤを構成する各「部（ｕｎｉｔ）」は、ハードウェア及びこれを駆動させるための運用ソフトウェアを通称するものであってよい。また、ハードウェアは、ＣＰＵまたは他のプロセッサ（ｐｒｏｃｅｓｓｏｒ）を含むデータ処理機器であってよい。また、ハードウェアによって駆動されるソフトウェアは、実行中のプロセス、オブジェクト（ｏｂｊｅｃｔ）、実行ファイル（ｅｘｅｃｕｔａｂｌｅ）、実行スレッド（ｔｈｒｅａｄ ｏｆ ｅｘｅｃｕｔｉｏｎ）、プログラム（ｐｒｏｇｒａｍ）などを指すものであってよい。
また、実施例に係るＨＭＤを構成する各部は、必ずしも物理的に区分される別個の構成要素を指すものを意図しない。図１においてセンサ部１０、表示部２０、及び制御部３０などを互いに区分される別個のブロックにて図示しているが、実施例によっては、センサ部１０、表示部２０、及び制御部３０の一部または全てを一つの素子として集積化することもできる。例えば、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）のような処理手段、加速度センサ、及びタッチスクリーンを備えたスマートフォン（ｓｍａｒｔｐｈｏｎｅ）が前述したセンサ部１０、表示部２０、及び制御部３０の一つ以上に該当することがあり、このようなスマートフォンが頭部に装着可能な他の部材（図示せず）に結合されて実施例に係るＨＭＤを構成することもできる。すなわち、本明細書に記載されたＨＭＤは、他の部材を介してヘッドマウント用として使用可能なスマートフォンであってもよい。
センサ部１０は、ＨＭＤを着用したユーザの頭部の動きを測定するための部分である。このために、センサ部１０は、ユーザの動きに対するセンサ測定値を得ることができる一つまたは複数の種類のセンサを含んでいてよい。例えば、センサ部１０は、加速度計（ａｃｃｅｌｅｒｏｍｅｔｅｒ）、磁気計（ｍａｇｎｅｔｏｍｅｔｅｒ）、及び／またはジャイロスコープ（ｇｙｒｏｓｃｏｐｅ）からなるものであってよいが、必ずしもこれらに限定されるものではない。センサ部１０により得られた測定値は、ユーザの視点に応じて表示されるイメージに対応する視点を変化させるのに用いられる一方、測定値が所定の条件を満たす場合は、イメージの視点以外の他の要素を制御するための入力信号として用いられ得る。これについては詳細に後述する。
表示部２０は、ユーザの眼付近に位置してイメージを表示するための部分である。表示部２０は、液晶表示装置（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ；ＬＣＤ）または他の適切な画像表示素子を含んでいてよい。また、表示部２０は、画像表示素子によって表示されるイメージの焦点がユーザの眼またはその付近に結ぶようにするための凸レンズなどの一つ以上の光学素子をさらに含んでいてもよい。本明細書において表示部２０に表示されるイメージは、写真のような単一のイメージまたは映像のような一連の連続したイメージをいずれも含むものと意図される。例えば、映像及び／または音声を含む動画などのコンテンツ（ｃｏｎｔｅｎｔｓ）も本明細書に記載されたイメージに含まれ得る。
一実施例において、ＨＭＤは通信部４０を更に含み、表示部２０に表示されるイメージは、通信部４０によりネットワークを介して遠隔サーバ（図示せず）から受信するものであってよい。例えば、通信部４０は、ストリーミング（ｓｔｒｅａｍｉｎｇ）方式にてイメージを受信することもできる。また、ＨＭＤは、通信部４０を介して遠隔サーバにデータを転送することもできる。他の実施例において、表示部２０に表示されるイメージは、格納部５０に予め格納されていたものであってよい。格納部５０は、表示部２０に表示されるイメージまたは他の更なるデータを格納できるリポジトリを含む。
制御部３０は、センサ部１０及び表示部２０に通信可能に接続され、センサ部１０により得られた測定値に基づいて表示部２０に表示されるイメージを制御する。先ず、制御部３０は、センサ部１０により測定されたユーザの動きに応じて表示部２０に表示されるイメージに対応する視点を変化させることができる。これは、広視野角イメージの一部を出力しながらＨＭＤを着用したユーザの頭部が動くことに対応してイメージの表示される部分を移動させることによってユーザが現実感を感じられるようにし、従来のＨＭＤに用いられるのと同じ表示形態である。例えば、ユーザが頭部を右側に回すと、表示部２０に表示されるイメージ全体をこれに対応して左側に移動させることによって、ユーザをしてイメージにて表示された仮想空間で首を回して右側を眺めたように感じさせることである。
一方、従来技術と異なり、制御部３０は、更に、センサ部１０の測定値からユーザの視線方向を算出し、ユーザの視線方向が予め設定された条件を満たす場合、ユーザの視線を入力信号として用いて、イメージの視点以外の他の要素を制御するように構成される。本明細書において、「視点以外の他の要素」とは、イメージに関連付けて処理できる様々なイベント（ｅｖｅｎｔ）を意味するものであって、イメージの種類、出力部分、出力形態、再生速度などの変化を指すものであってよい。例えば、表示されるイメージの選択、イメージの再生開始及び中断、イメージが時系列的な動画の場合、早送り（ｆａｓｔ ｆｏｒｗａｒｄ）、巻き戻し（ｒｅｗｉｎｄ）、再生速度のアップ及びダウン、出力ボリュームの増加及び減少、全画面（ｆｕｌｌ ｓｃｒｅｅｎ）モードのような表示形態の切替、イメージ上に表示されるメニュー、ボタン（ｂｕｔｔｏｎ）またはアイコン（ｉｃｏｎ）などのユーザインタフェース（ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）の操作がいずれも視点以外の他の要素の制御に該当され得るが、これらに限定されるものではない。イメージがゲーム、バーチャルリアリティ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ；ＶＲ）または拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ；ＡＲ）アプリケーションの一部である場合には、かかるアプリケーションとの相互作用がユーザの動きに応じて行われていてもよい。
本明細書に記載された「視点以外の他の要素」は、ＨＭＤにおいて本質的にユーザの動きに応じて表示されるイメージに対応する視点も変化することとの区分のための相対的な意味として記述されたものであり、ユーザの視線を入力信号として制御される要素が実質的に視点と無関係であることを意味するわけではない。制御部３０は、通常のＨＭＤと同様に、ユーザの動きに応じてイメージに対応する視点が変化するように表示部２０に表示されるイメージを制御し、ユーザの視線方向が特定の条件を満たすと、ユーザの動きを視点の変化に用いずにユーザの視線を入力信号としてイメージの他の任意の要素を制御するように構成される。その結果、ＨＭＤのユーザは、別途のコントローラがなくてもＨＭＤを着用した状態で自身の視線だけでイメージと相互作用することができる。
一実施例において、制御部３０は、表示部２０を、第１モード及び第２モードを含む複数の表示モード間でモードを切り替えながら動作するように制御する。第１モードは、従来のＨＭＤと同様に、ユーザの動きに応じて表示部２０に表示されるイメージに対応する視点が変化する表示形態であり、第２モードは、ユーザの視線が入力信号になって表示部２０に表示されるイメージの視点以外の他の要素が制御される表示形態である。第１モードと第２モードとの間での切り替えは、ユーザの視線方向が特定の条件を満たすことに対する応答としてなされてよく、または、表示部２０に表示されるイメージの終了や切り替えなどの事前に定義されたコンテキスト（ｃｏｎｔｅｘｔ）が生じることに対する応答としてなされていてもよい。視線方向が満たさなければならない条件は、ユーザの視線方向が一定に維持されること、視線方向が特定の方向または位置に向かうこと、またはこれらの組み合わせなどであってよい。しかし、これらに限定されるものではなく、視線方向が満たさなければならない条件は、本明細書に記載されていない別の形態で決定されていてもよい。
一実施例において、制御部３０は、視線方向算出部３１を含む。視線方向算出部３１は、センサ部１０の測定値を用いて表示部２０に表示されるイメージ上でユーザの視線の中心が置かれる位置を算出するように構成される。表示部２０に表示されるイメージは、ユーザの動きに応じて視点が変化するように移動するため、ユーザの視線は常にユーザが見る画面の中央に位置するはずである。しかし、イメージ中でユーザの視線が位置する座標の絶対値は、視線が向かう方向に応じて変わり、これを本明細書では視線方向情報と称する。視線方向算出部３１は、センサ部１０により測定されたセンサ値を用いてユーザの視線移動を算出することによって視線方向情報を得ることができる。
本実施例において、制御部３０は、視線方向算出部３１により算出された視線方向が予め設定された条件を満たす場合、ユーザの視線を入力信号として用いて表示部２０に表示されるイメージを制御する。ここで、予め設定された条件とは、例えば、視線方向が一定に維持されることや視線方向が特定の方向に向かうことなどを意味していてよく、図２〜図５を参照して詳細に後述する。
一実施例において、制御部３０は、表示モード決定部３２を更に含む。表示モード決定部３２は、視線方向算出部３１により算出された視線方向が特定の条件を満たすことに応答して、表示部２０の表示モードを第１モードと第２モードとの間で切り替えることができる。このとき、第２モードは、視線方向によってモード切り替えがなされると共に、視線によってイメージの制御が行われる間だけ持続されていてよく、または第２モードへの切り替えがなされてから再び所定の条件によって第１モードへの切り替えがなされるまでに持続されていてもよい。第２モードが持続する場合、第２モードへの切り替えがなされた後のユーザの視線は、視点切り替えではない他の要素の制御に入力信号として用いられる。
以下、図２〜図５を参照して視線を用いたＨＭＤのイメージ制御過程を例示的に説明する。しかし、これはユーザの視線によって視点外の要素を制御する過程の一具現例を詳細に説明したことであるに過ぎず、実施例によってなされ得るイメージの制御形態を限定することを意図するものではない。すなわち、以下に記述するのと相違する様々な方式にてイメージの視点外の要素の制御がなされていてもよく、これは本発明の範囲に含まれる。
図２は、一実施例に係るＨＭＤの表示形態を示す概略図である。図２は、ＨＭＤに表示されるイメージにおいて視聴したいコンテンツ自体を除いた画面上のオブジェクト（ｏｂｊｅｃｔ）を示す図である。ＨＭＤに表示するためのイメージの原本は、ユーザの視線によって表示部分を移せるように球（ｓｐｈｅｒｅ）状を有していてよいが、説明の便宜のために全イメージのうちユーザの視野に入ってくる部分だけを長方形状に図式化した。
図２を参照すると、画面上には再生中のコンテンツの題名が表示される領域２０１、関連したソーシャルネットワークサービス（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋ Ｓｅｒｖｉｃｅ；ＳＮＳ）メタデータが表示される領域２０２、時間が表示される領域２０３、タイムラインバー（ｔｉｍｅｌｉｎｅ ｂａｒ）２０７、及び再生時間表示領域２０８などが表示されていてよい。また、画面上には、一つ以上の制御アイコン２０４、２０５、２０６が表示されていてよい。前述した各オブジェクト２０１〜２０８は表示部に表示されるイメージの特定の座標にマッピングされて、ユーザは自身が見ている仮想空間内で特定の地点にオブジェクト２０１〜２０８が存在しているように感じるようになる。
画面上にはユーザの視線方向を示すカーソル２００が表示されていてもよい。ＨＭＤのユーザが見る画面は、ユーザの視線方向に応じて視点が変化するように移動する。例えば、ユーザが首を右側に回すとイメージ全体がこれに対応して左側に移動する。したがって、カーソル２００は、ユーザが見る画面において常に中央に位置するようになる。しかし、オブジェクト２０１〜２０８は、仮想空間内の特定の座標にマッピングされているため、ユーザは、ＨＭＤ上に表示される画面を見る状態で視線を用いてオブジェクト２０１〜２０８のうちの一つ以上にカーソル２００を位置させてオブジェクト２０１〜２０８を操作することができ、このような操作が本明細書に記載された「視点以外の他の要素」の制御に該当する。
以下の本明細書において説明の便宜のために単にカーソル２００の移動と説明することは、ユーザが視線方向を変えるにつれ画面に表示されるイメージ全体が視線方向の変化に対応して移動し、その結果、ユーザが見る画面中央のカーソル２００がイメージ中の特定の座標に留まるようになることを意味するものと意図される。
一具現例では、ユーザが画面を凝視することに対する応答として、前述したオブジェクト２０１〜２０８が画面上に表示されなくてよい。すなわち、ユーザの視線が一定に維持されることに応答して、全画面モードへの切り替えが行われる。ユーザの視線が一定に維持されるか否かは、予め設定された時間視線方向が予め設定された閾値以下に変化するか否かによって決定されていてよい。例えば、ユーザの視線方向の中心点が最後に動きを止めた地点から視線方向の偏差１５°以内で３秒以上留まる場合、視線方向が一定に維持されたと決定していてよい。以後、ユーザの視線方向の中心点が１５°外に動いていく場合、全画面モードを終了し、再びオブジェクト２０１〜２０８を画面上に表示していてよい。視線方向が一定であるか否かを決定するための前述した基準は単に例示的なものであって、他の実施例ではそれとは別の基準を用いてもよい。
一具現例では、ユーザがオブジェクト２０１〜２０８を凝視することによってオブジェクト２０１〜２０８との相互作用が行われるように構成されていてよい。例えば、ユーザは、アイコン２０５、２０６、２０６のいずれか一つを一定時間凝視することによって当該アイコンに付与された機能を動作させることができる。アイコン２０４、２０５、２０６により実行可能な機能は、巻き戻し、次のコンテンツ再生、メニュー呼び出し、イメージ拡大、イメージ縮小などを含んでいてよいが、これに限定されるものではない。ユーザがオブジェクト２０１〜２０８を凝視したか否かの決定は、全画面モードと関連して前述したのと同じ方式にて行われていてよい。以下、オブジェクト２０１〜２０８との相互作用の一例として、視線を用いたタイムラインバー２０７の操作について説明する。
図３ａ及び図３ｂは、一実施例に係るＨＭＤで視線を用いたイメージ制御形態を示す概略図である。
図２、図３ａ、及び図３ｂを参照すると、ユーザの視線方向がタイムラインバー２０７から一定の範囲内でに近接することに応答して、コンテンツの再生が中断し、枠が厚くなったタイムラインバー３０７が表示される。ユーザの視線方向に対応するカーソル２００がタイムラインバー３０７の最も隣接した位置に移動する。また、再生時間表示領域３０８がカーソル２００の下へ移動してカーソル２００位置での再生時間を示し、タイムラインバー３０７の真上にはカーソル２００が位置した部分でのコンテンツサムネール（ｔｈｕｍｂｎａｉｌ）３０１が表示される。この状態でユーザが視線を移動させることにより、カーソル２００を図３ｂに示したように移動させることができ、このとき、再生時間表示領域３０８もカーソル２００と共に移動し、コンテンツサムネールもカーソル２００位置に対応する部分のサムネール３０２に変化する。
ユーザの目的とした時間移動が完了した後、ユーザが視線によってカーソル２００を再びタイムラインバー３０７から外すと、タイムラインバー３０７は再び図２に示されたようなタイムラインバー２０７に戻って、コンテンツの再生が開始される。
図４は、一実施例に係るＨＭＤで視線を用いたイメージ制御形態を示す他の概略図である。
図４に示された画面は、コンテンツの再生中でなく複数のコンテンツをサムネール形態で示す画面であって、特定のコンテンツの再生終了、またはユーザがアイコン２０４、２０５、２０６を操作することに対する応答として、図４のような画面が表示されていてよい。図４の画面で再生中に表示されたオブジェクト２０１〜２０６は相対的に暗く表示され、オブジェクト４０１〜４０４が相対的に明るく表示され、ユーザの選択を誘導することができる。ユーザは、視線によってカーソル２００を移動させることによってアイコン４０１を凝視して、もう一度コンテンツを再生するか、または、アイコン４０２を凝視して「Ｌｉｋｅ」などのコンテンツに対するＳＮＳフィードバックを伝送することができる。または、ユーザは、サムネール４０３及びキーワード４０４の形態で表示された他のコンテンツを凝視することによって次に再生するコンテンツを選択することもできる。
図５は、一実施例に係るＨＭＤで視線を用いたイメージ制御形態を示すまた他の概略図である。
図５の画面は、ＨＭＤで使用可能な全コンテンツまたはユーザが特定のキーワードによって検索したコンテンツのうち再生するコンテンツを選択するための画面であってよい。画面上には複数のコンテンツ５０３及び対応キーワード５０４が表示されると共に、スクロールバー（ｓｃｒｏｌｌ ｂａｒ）５０７及びコンテンツ個数表示領域５０８が表示され、全コンテンツの量を示す。また、画面上には一つ以上の機能アイコン５０１及び対応するキーワード５０２が表示される。ユーザは、機能アイコン５０１を凝視することによって各アイコン５０１に付与された機能を実行することができ、例えば、アイコン５０１の機能には予め決定された特定のコンテンツセット（ｓｅｔ）のサムネールを画面上に表示することであってもよいが、これに限定されるものではない。
ユーザが視線を現在の画面に表示されたサムネール５０３よりもさらに右側に移動させることによって、画面に表示されたサムネール５０３は左側に移動しながら消えて新しいサムネール５０３が右側から現れ、同時にスクロールバー５０７中のバーも移動して全サムネール中の現在表示されたサムネールセットの相対的な位置を示す。または、図３を参照して前述したのと類似の方式にてユーザが視線によってスクロールバー５０７を操作することによって、画面に表示されるサムネールを移動させることもできる。
ユーザがいずれか一つのサムネールを眺めると、ユーザの視線に対応するカーソル２００が当該サムネールの上に位置するようになる。カーソル２００が位置するサムネールは、他のサムネールに比べて相対的に明るく表示され且つグロー（ｇｌｏｗ）効果を有する外郭線が付与されて、当該サムネールが選択されることをユーザに認知させる。カーソル２００が一定の時間当該サムネールの上に位置すると、当該サムネールの選択が決定され、選択されたサムネールに対応するコンテンツの再生が開始される。その結果、図２を参照して前述したのと同じコンテンツ再生画面に表示が切り替えられる。
以上で説明した実施例に係るＨＭＤの動作及びこれを制御するための方法は、少なくとも部分的にコンピュータプログラムで実現され、コンピュータ読み取り可能な記録媒体に記録することができる。前記コンピュータ読み取り可能な記録媒体は、コンピュータ読み取り可能なデータが格納されるあらゆる種類の記録装置を含む。コンピュータ読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光データ記憶装置などがあり、また、搬送波（ｃａｒｒｉｅｒ ｗａｖｅ）（例えば、インターネットを介した伝送の形態）で実現されることも含む。また、コンピュータ読み取り可能な記録媒体は、ネットワークに接続されたコンピュータシステムに分散され、分散方式にてコンピュータ読み取り可能なコードが格納され実行されていてもよい。また、本実施例を実現するための機能的なプログラム、コード、及びコードセグメント（ｓｅｇｍｅｎｔ）は本実施例の属する技術分野における通常の技術者によって容易に理解できるはずである。
以上、本発明を図面に示された実施例を参考にして説明してきたが、これは例示的なものに過ぎず、当該分野における通常の知識を有する者であればそれより種々の変形及び実施例の変形が可能であるという点が理解できるであろう。なお、このような変形は本発明の技術的保護範囲内にあるとみなすべきである。したがって、本発明の真の技術的保護範囲は、特許請求の範囲の技術的思想によって決定されるべきである。
実施例は、ヘッドマウント型ディスプレイ装置（Ｈｅａｄ−Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ；ＨＭＤ）とその制御のための方法、及びコンピュータプログラムに関する。

Claims (11)

  1. ヘッドマウント型ディスプレイ装置であって、
    前記ヘッドマウント型ディスプレイ装置を着用したユーザの動きを測定するセンサ部と、
    イメージを表示する表示部、及び
    前記センサ部の測定値からユーザの視線方向を算出し、ユーザの視線方向が予め設定された条件を満たす場合、ユーザの視線を入力信号として用いて前記イメージの視点以外の他の要素を制御する制御部と、
    を含むヘッドマウント型ディスプレイ装置。
  2. 前記制御部は、ユーザの視線方向が予め設定された時間一定に維持されることに対する応答として、ユーザの視線を前記入力信号として用いる、請求項１に記載のヘッドマウント型ディスプレイ装置。
  3. 前記制御部は、ユーザの視線方向が予め設定された方向と一致することに対する応答として、ユーザの視線を前記入力信号として用いる、請求項１に記載のヘッドマウント型ディスプレイ装置。
  4. 前記制御部は、ユーザの視線を前記入力信号として用いて、前記表示部に表示されるイメージの種類、出力部分、出力形態、及び再生速度の一つ以上を変化させる、請求項１に記載のヘッドマウント型ディスプレイ装置。
  5. 前記制御部は、更に、ユーザの視線方向に応じて前記表示部に表示されるイメージの視点が変化する第１モードとユーザの視線を前記入力信号として用いて前記イメージの視点以外の他の要素が制御される第２モードとの間でモードを切り替えながら動作するように前記表示部を制御する、請求項１に記載のヘッドマウント型ディスプレイ装置。
  6. ヘッドマウント型ディスプレイ装置の制御方法であって、
    前記ヘッドマウント型ディスプレイ装置にイメージを表示する段階と、
    前記ヘッドマウント型ディスプレイ装置を着用したユーザの視線方向を算出する段階、及び
    ユーザの視線方向が予め設定された条件を満たす場合、ユーザの視線を入力信号として用いて前記ヘッドマウント型ディスプレイ装置に表示されるイメージの視点以外の他の要素を制御する段階と、
    を含むヘッドマウント型ディスプレイ装置の制御方法。
  7. 前記イメージの視点以外の他の要素を制御する段階は、
    ユーザの視線方向が予め設定された時間一定に維持されることに対する応答として、ユーザの視線を前記入力信号として決定する段階を含む、請求項６に記載のヘッドマウント型ディスプレイ装置の制御方法。
  8. 前記イメージの視点以外の他の要素を制御する段階は、
    ユーザの視線方向が予め設定された方向と一致することに対する応答として、ユーザの視線を前記入力信号として決定する段階を含む、請求項６に記載のヘッドマウント型ディスプレイ装置の制御方法。
  9. 前記イメージの視点以外の他の要素を制御する段階は、
    ユーザの視線を前記入力信号として用いて、前記ヘッドマウント型ディスプレイ装置に表示されるイメージの種類、出力部分、出力形態、及び再生速度の一つ以上を変化させる段階を含む、請求項６に記載のヘッドマウント型ディスプレイ装置の制御方法。
  10. 前記イメージの視点以外の他の要素を制御する段階は、
    ユーザの視線方向に応じて前記ヘッドマウント型ディスプレイ装置に表示されるイメージの視点が変化する第１モードとユーザの視線を前記入力信号として用いて前記イメージの視点以外の他の要素が制御される第２モードとの間でモードを切り替えながら動作するように前記ヘッドマウント型ディスプレイ装置を制御する段階を含む、請求項６に記載のヘッドマウント型ディスプレイ装置の制御方法。
  11. ヘッドマウント型ディスプレイ装置に結合されて、
    前記ヘッドマウント型ディスプレイ装置にイメージを表示する段階と、
    前記ヘッドマウント型ディスプレイ装置を着用したユーザの視線方向を算出する段階、及び
    ユーザの視線方向が予め設定された条件を満たす場合、ユーザの視線を入力信号として用いて前記ヘッドマウント型ディスプレイ装置に表示されるイメージの視点以外の他の要素を制御する段階、を行うように媒体に格納された、コンピュータプログラム。
JP2017515162A 2014-09-18 2015-09-17 視線によって制御されるヘッドマウント型ディスプレイ装置、その制御方法、及びその制御のためのコンピュータプログラム Pending JP2017537368A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2014-0124038 2014-09-18
KR1020140124038A KR20160033376A (ko) 2014-09-18 2014-09-18 시선에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램
PCT/KR2015/009763 WO2016043537A1 (ko) 2014-09-18 2015-09-17 시선에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램

Publications (1)

Publication Number Publication Date
JP2017537368A true JP2017537368A (ja) 2017-12-14

Family

ID=55533506

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017515162A Pending JP2017537368A (ja) 2014-09-18 2015-09-17 視線によって制御されるヘッドマウント型ディスプレイ装置、その制御方法、及びその制御のためのコンピュータプログラム

Country Status (5)

Country Link
US (1) US10261581B2 (ja)
JP (1) JP2017537368A (ja)
KR (1) KR20160033376A (ja)
CN (1) CN106796351B (ja)
WO (1) WO2016043537A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018085124A (ja) * 2017-12-28 2018-05-31 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム
JP2018085125A (ja) * 2017-12-28 2018-05-31 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム
JP2019136471A (ja) * 2018-06-18 2019-08-22 グリー株式会社 ゲーム処理システム、ゲーム処理方法、及びゲーム処理プログラム
JP2019536118A (ja) * 2017-08-16 2019-12-12 歌爾科技有限公司ＧｏｅｒＴｅｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ． バーチャルリアリティデバイス及びそのコンテンツの調整方法
US10981067B2 (en) 2018-02-06 2021-04-20 Gree, Inc. Game processing system, method of processing game, and storage medium storing program for processing game
US10981052B2 (en) 2018-02-06 2021-04-20 Gree, Inc. Game processing system, method of processing game, and storage medium storing program for processing game
US10983590B2 (en) 2018-02-06 2021-04-20 Gree, Inc. Application processing system, method of processing application and storage medium storing program for processing application
US11083959B2 (en) 2018-02-06 2021-08-10 Gree, Inc. Game processing system, method of processing game, and storage medium storing program for processing game

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6532393B2 (ja) * 2015-12-02 2019-06-19 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置及び表示制御方法
JP2017181738A (ja) * 2016-03-30 2017-10-05 ＴｓＺ株式会社 画像表示装置
ES2774906T3 (es) 2016-04-08 2020-07-23 Vivior Ag Dispositivo y método para medir distancias
US20180095636A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US20180095635A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US20180095618A1 (en) 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
CN106484237A (zh) * 2016-10-14 2017-03-08 网易（杭州）网络有限公司 用于虚拟现实显示的方法、装置及虚拟现实设备
KR101905272B1 (ko) * 2016-11-29 2018-10-05 계명대학교 산학협력단 체감형 컨텐츠 제공 장치와 연계된 비콘 기반의 사용자 방향 인식 장치 및 그 방법
JP6836060B2 (ja) * 2017-01-31 2021-02-24 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP6582302B2 (ja) * 2017-03-13 2019-10-02 株式会社コナミデジタルエンタテインメント 表示制御装置及びプログラム
CN110494095B (zh) * 2017-04-20 2023-03-21 直观外科手术操作公司 用于约束虚拟现实手术***的***和方法
JP6684746B2 (ja) * 2017-05-12 2020-04-22 株式会社コロプラ 情報処理方法、コンピュータ及びプログラム
US10817129B2 (en) 2017-07-17 2020-10-27 Google Llc Methods, systems, and media for presenting media content previews
KR102374404B1 (ko) * 2017-07-25 2022-03-15 삼성전자주식회사 콘텐트를 제공하기 위한 디바이스 및 방법
CN107396086A (zh) * 2017-07-28 2017-11-24 歌尔科技有限公司 基于vr头戴设备播放视频的方法及vr头戴设备
KR102518404B1 (ko) * 2017-09-29 2023-04-06 삼성전자주식회사 전자 장치 및 그의 시선 정보를 이용한 컨텐트 실행 방법
CN107943296A (zh) * 2017-11-30 2018-04-20 歌尔科技有限公司 应用于头戴式设备中的控制方法及设备
KR20190089627A (ko) * 2018-01-23 2019-07-31 삼성전자주식회사 Ar 서비스를 제공하는 디바이스 및 그 동작 방법
CN111123518B (zh) * 2019-12-05 2021-12-03 浙江合众新能源汽车有限公司 一种汽车的ar-hud显示的智能控制方法与***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008033891A (ja) * 2006-06-27 2008-02-14 Matsushita Electric Ind Co Ltd 表示装置及びその制御方法
JP2008065169A (ja) * 2006-09-08 2008-03-21 Sony Corp 表示装置、表示方法
JP2009294372A (ja) * 2008-06-04 2009-12-17 Nikon Corp ヘッドマウントディスプレイ装置
JP2013168910A (ja) * 2012-02-17 2013-08-29 Sony Corp ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法
US20130246967A1 (en) * 2012-03-15 2013-09-19 Google Inc. Head-Tracked User Interaction with Graphical Interface

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11161190A (ja) 1997-11-25 1999-06-18 Seiko Epson Corp 頭部装着型表示装置
JP2010012290A (ja) 2003-11-21 2010-01-21 Takechika Nishi 画像表示装置及びシミュレーション装置
KR101824501B1 (ko) 2011-05-19 2018-02-01 삼성전자 주식회사 헤드 마운트 디스플레이 장치의 이미지 표시 제어 장치 및 방법
JP5993127B2 (ja) 2011-10-25 2016-09-14 オリンパス株式会社 頭部装着型表示装置、情報端末、プログラム、情報記憶媒体、画像処理システム、頭部装着型表示装置の制御方法及び情報端末の制御方法
JP5630518B2 (ja) * 2012-03-14 2014-11-26 株式会社デンソー 運転支援装置
US9378592B2 (en) 2012-09-14 2016-06-28 Lg Electronics Inc. Apparatus and method of providing user interface on head mounted display and head mounted display thereof
US8482527B1 (en) 2012-09-14 2013-07-09 Lg Electronics Inc. Apparatus and method of providing user interface on head mounted display and head mounted display thereof
JP2014092941A (ja) * 2012-11-02 2014-05-19 Sony Corp 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
JP6066676B2 (ja) * 2012-11-06 2017-01-25 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイおよび映像提示システム
JP6040715B2 (ja) * 2012-11-06 2016-12-07 ソニー株式会社 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
US9619021B2 (en) 2013-01-09 2017-04-11 Lg Electronics Inc. Head mounted display providing eye gaze calibration and control method thereof
KR20140090552A (ko) 2013-01-09 2014-07-17 엘지전자 주식회사 시선 캘리브레이션을 제공하는 헤드 마운트 디스플레이 및 그 제어 방법
US20140191927A1 (en) 2013-01-09 2014-07-10 Lg Electronics Inc. Head mount display device providing eye gaze calibration and control method thereof
KR101878144B1 (ko) 2013-11-06 2018-07-13 엘지전자 주식회사 헤드 마운트 디스플레이를 위한 사용자 인터페이스 제공 장치 및 방법
KR102083963B1 (ko) 2013-12-10 2020-04-14 엘지전자 주식회사 시선 캘리브레이션을 제공하는 헤드 마운트 디스플레이 디바이스 및 그 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008033891A (ja) * 2006-06-27 2008-02-14 Matsushita Electric Ind Co Ltd 表示装置及びその制御方法
JP2008065169A (ja) * 2006-09-08 2008-03-21 Sony Corp 表示装置、表示方法
JP2009294372A (ja) * 2008-06-04 2009-12-17 Nikon Corp ヘッドマウントディスプレイ装置
JP2013168910A (ja) * 2012-02-17 2013-08-29 Sony Corp ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法
US20130246967A1 (en) * 2012-03-15 2013-09-19 Google Inc. Head-Tracked User Interaction with Graphical Interface

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019536118A (ja) * 2017-08-16 2019-12-12 歌爾科技有限公司ＧｏｅｒＴｅｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ． バーチャルリアリティデバイス及びそのコンテンツの調整方法
JP2018085124A (ja) * 2017-12-28 2018-05-31 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム
JP2018085125A (ja) * 2017-12-28 2018-05-31 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム
US10981067B2 (en) 2018-02-06 2021-04-20 Gree, Inc. Game processing system, method of processing game, and storage medium storing program for processing game
US10981052B2 (en) 2018-02-06 2021-04-20 Gree, Inc. Game processing system, method of processing game, and storage medium storing program for processing game
US10983590B2 (en) 2018-02-06 2021-04-20 Gree, Inc. Application processing system, method of processing application and storage medium storing program for processing application
US11083959B2 (en) 2018-02-06 2021-08-10 Gree, Inc. Game processing system, method of processing game, and storage medium storing program for processing game
US11110346B2 (en) 2018-02-06 2021-09-07 Gree, Inc. Game processing system, method of processing game, and storage medium storing program for processing game
US11161047B2 (en) 2018-02-06 2021-11-02 Gree, Inc. Game processing system, method of processing game, and storage medium storing program for processing game
JP2019136471A (ja) * 2018-06-18 2019-08-22 グリー株式会社 ゲーム処理システム、ゲーム処理方法、及びゲーム処理プログラム
JP7005435B2 (ja) 2018-06-18 2022-01-21 グリー株式会社 ゲーム処理システム、ゲーム処理方法、及びゲーム処理プログラム

Also Published As

Publication number Publication date
US20170255256A1 (en) 2017-09-07
WO2016043537A1 (ko) 2016-03-24
CN106796351A (zh) 2017-05-31
US10261581B2 (en) 2019-04-16
CN106796351B (zh) 2020-06-23
KR20160033376A (ko) 2016-03-28

Similar Documents

Publication Publication Date Title
JP2017537368A (ja) 視線によって制御されるヘッドマウント型ディスプレイ装置、その制御方法、及びその制御のためのコンピュータプログラム
US11024263B2 (en) Method and apparatus for adjusting augmented reality content
CN109564749B (zh) 图像显示***、以及头戴式显示器的控制装置及其工作方法和非暂时性的计算机可读介质
JP6490804B2 (ja) タップによって制御されるヘッドマウント型ディスプレイ装置、その制御方法、及びその制御のためのコンピュータプログラム
US10133407B2 (en) Display apparatus, display system, method for controlling display apparatus, and program
JP4927631B2 (ja) 表示装置、その制御方法、プログラム、記録媒体および集積回路
KR102182161B1 (ko) Hmd 및 그 제어 방법
JP6277673B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP4268191B2 (ja) 情報提示装置、情報提示方法、プログラム、及び記録媒体
JP6547741B2 (ja) 情報処理システムおよび情報処理方法
US20150143297A1 (en) Input detection for a head mounted device
KR20160145976A (ko) 영상 공유 방법 및 이를 수행하는 전자 장치
JP2014106445A (ja) 電子機器および表示制御方法
JP6303274B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
KR20150001425A (ko) 헤드 마운트 디스플레이 장치 및 그 동작방법
KR20200112837A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
KR101879235B1 (ko) 시선에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램
US20240094819A1 (en) Devices, methods, and user interfaces for gesture-based interactions
WO2019107040A1 (ja) 情報処理装置、情報処理方法及びプログラム
US20230305303A1 (en) User Control in Augmented Reality
US12032754B2 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
US20240053832A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
JP6669183B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
KR102533465B1 (ko) 시각에 따른 가상현실내의 도구패널 위치 지정방법
US12041288B2 (en) Changing resource utilization associated with a media object based on an engagement score

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180320

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180614

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180807