CN106796351B - 通过视线控制的头戴式显示装置及其控制方法、计算机可读存储介质 - Google Patents

通过视线控制的头戴式显示装置及其控制方法、计算机可读存储介质 Download PDF

Info

Publication number
CN106796351B
CN106796351B CN201580053843.0A CN201580053843A CN106796351B CN 106796351 B CN106796351 B CN 106796351B CN 201580053843 A CN201580053843 A CN 201580053843A CN 106796351 B CN106796351 B CN 106796351B
Authority
CN
China
Prior art keywords
image
user
line
sight
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580053843.0A
Other languages
English (en)
Other versions
CN106796351A (zh
Inventor
金成祐
崔光珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FXGear Inc
Original Assignee
FXGear Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FXGear Inc filed Critical FXGear Inc
Publication of CN106796351A publication Critical patent/CN106796351A/zh
Application granted granted Critical
Publication of CN106796351B publication Critical patent/CN106796351B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0362—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 1D translations or rotations of an operating part of the device, e.g. scroll wheels, sliders, knobs, rollers or belts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2092—Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/068—Adjustment of display parameters for control of viewing angle adjustment
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)

Abstract

头戴式显示装置(Head‑Mounted Display；HMD)包括：传感器部，被构造为测定戴上所述HMD的用户的动作；显示部，被构造为显示图像；及控制部，被构造为由所述传感器部的测定值计算用户的视线方向，当用户的视线方向满足预先设定的条件时，将用户的视线作为输入信号使用，并控制所述图像的视点以外的其他要素。所述HMD当用户的视线方向满足预先设定的条件时，将用户的视线作为输入信号使用，并控制显示在HMD上的图像，从而即使没有额外的控制器也能进行事件(event)处理等。

Description

通过视线控制的头戴式显示装置及其控制方法、计算机可读 存储介质
技术领域
实施例涉及一种头戴式显示装置(Head-Mounted Display；HMD)及其控制方法和用于控制该装置的计算机程序，更为详细地涉及一种被构造为即使没有额外的控制器也能通过用户视线来控制的HMD及其控制技术。
背景技术
头戴式显示装置(Head-Mounted Display；HMD)为一种戴在头上形式的便携式显示装置，通过将显示装置以护目镜或头盔等形式安装于头上来将图像聚焦于眼前近距离上的设备。戴上HMD的用户的整个视界被图像覆盖，从而有虚拟现实的感觉，因此在军事、医疗及私人生活等多种领域上得到应用。
作为一例，日本专利公开公报第1999-161190号公开了对用户头部动作进行检测后根据检测结果控制显示在显示元件上的信息的技术。但这种以往的HMD中的用户动作只用于转换显示元件上显示的视点，具有如下的缺点：为了对显示信息进行事件(event)处理等控制，需要额外的控制器，例如触摸板或游戏手柄等。
发明内容
发明所要解决的问题
根据本发明的一方面，可提供一种HMD及其控制方法和用于控制该装置的计算机程序，该HMD及其控制方法和用于控制该装置的计算机程序被构造为即使没有额外的控制器也能通过用户视线来控制显示在头戴式显示装置(Head-Mounted Display；HMD)上的图像。
用于解决问题的方案
一实施例的头戴式显示装置(Head-Mounted Display；HMD)包括：传感器部，被构造为测定戴上所述HMD的用户的动作；显示部，被构造为显示图像；及控制部，被构造为由所述传感器部的测定值计算用户的视线方向，当用户的视线方向满足预先设定的条件时，将用户的视线作为输入信号使用，并控制所述图像的视点以外的其他要素。
所述控制部可被构造为当用户的视线方向在预先设定的时间内保持恒定时，响应于此而将用户的视线作为所述输入信号使用。
此外，所述控制部也可被构造为当用户的视线方向与预先设定的方向一致时，响应于此而将用户的视线作为所述输入信号使用。
所述控制部可被构造为将用户的视线作为所述输入信号使用，并改变显示在所述显示部上的图像的类型、输出部分、输出形式及播放速度中的一个以上。
所述控制部可进一步被构造为控制所述显示部，以使所述显示部在第一模式和第二模式之间切换运行，所述第一模式为根据用户的视线方向改变显示在所述显示部上的图像的视点的模式，所述第二模式为将用户的视线作为所述输入信号使用并控制所述图像的视点以外的其他要素的模式。
一实施例的HMD的控制方法包括步骤：在所述HMD上显示图像；计算戴上所述HMD的用户的视线方向；及当用户的视线方向满足预先设定的条件时，将用户的视线作为输入信号使用，并控制在所述HMD上显示的图像的视点以外的其他要素。
控制所述图像的视点以外的其他要素的步骤可包括：当用户的视线方向在预先设定的时间内保持恒定时，响应于此而将用户的视线确定为所述输入信号。
此外，控制所述图像的视点以外的其他要素的步骤可包括：当用户的视线方向与预先设定的方向一致时，响应于此而将用户的视线确定为所述输入信号。
控制所述图像的视点以外的其他要素的步骤可包括：将用户的视线作为所述输入信号使用，并改变显示在所述HMD上的图像的类型、输出部分、输出形式及播放速度中的一个以上。
控制所述图像的视点以外的其他要素的步骤可包括：控制所述HMD，以使所述HMD在第一模式和第二模式之间切换运行，所述第一模式为根据用户的视线方向改变显示在所述头戴式显示装置上的图像的视点的模式，所述第二模式为将用户的视线作为所述输入信号使用，并控制所述图像的视点以外的其他要素的模式。
一实施例的计算机程序可为存储在介质中的程序，所述计算机程序与HMD结合，并执行所述HMD的控制方法。
发明效果
若使用本发明的一方面的头戴式显示装置(Head-Mounted Display；HMD)及其控制方法，则当用户的视线方向满足预先设定的条件时，将该用户的视线作为输入信号使用，并控制显示在HMD上的图像，从而具有即使没有额外的控制器也能进行事件(event)处理等的优点。
附图说明
图1为一实施例的头戴式显示装置(Head-Mounted Display；HMD)的方框图。
图2为表示一实施例的HMD的显示形式的示意图。
图3a及图3b为表示在一实施例的HMD中利用视线的图像控制形式的示意图。
图4为表示在一实施例的HMD中利用视线的图像控制形式的另一种示意图。
图5为表示在一实施例的HMD中利用视线的图像控制形式的又一种示意图。
具体实施方式
下面，参照附图详细说明本发明的实施例。
图1为一实施例的头戴式显示装置(Head-Mounted Display；HMD)的方框图。
参照图1，本实施例的HMD包括传感器部10、显示部20及控制部30。在一实施例中，HMD可进一步包括通信部40及/或存储部50。本实施例的HMD被构造为用户能够在头上戴上HMD，并且根据需要可包括一个或多个固定装置(未图示)。例如，实施例的HMD可由如护目镜(goggle)或头盔的形式来实现，但并不局限于此。
实施例的HMD可全部为硬件，或全部为软件，或部分为硬件、部分为软件。例如，在本说明书中构造HMD的各“部(unit)”可为硬件及用于驱动该硬件的操作软件的总称。此外，硬件可为包括CPU或其他处理器(processor)的数据处理设备。此外，通过硬件驱动的软件可指执行中的进程、对象(object)、执行文件(executable)、执行线程(thread ofexecution)及程序(program)等。
此外，构成实施例的HMD的各部并不刻意指物理上分开的独立的结构要素。在图1中，传感器部10、显示部20及控制部30等表示为彼此分开的独立的方框，但根据实施例，传感器部10、显示部20及控制部30中的部分或全部也可被集成化为一个元件。例如，具有微处理器(microprocessor)等处理装置、加速度传感器及触摸屏的智能手机(smartphone)可相当于上述的传感器部10、显示部20及控制部30中的一个以上，这种智能手机与可在头上安装的其他部件(未图示)相结合来构成实施例的HMD。即，在本说明书中记载的HMD也可为能够通过其他部件来作为头戴式显示装置使用的智能手机。
传感器部10是用于测定戴上HMD的用户的头部动作的部分。为此，传感器部10可包括能够获得对用户动作的传感器测定值的一种或多种传感器。例如，传感器部10可由如加速度计(accelerometer)、磁强计(magnetometer)及/或陀螺仪(gyroscope)来构成，但并不局限于此。通过传感器部10获得的测定值可用于根据用户视点而改变与显示的图像对应的视点，并且当测定值满足规定的条件时，所述测定值可作为用于控制图像的视点以外的其他要素的输入信号来使用。对此在后面进行详细的描述。
显示部20为位于用户的眼睛附近而显示图像的部分。显示部20可包括液晶显示器(Liquid Crystal Display；LCD)或其他适当的图像显示元件。此外，显示部20可进一步包括一个以上的使通过图像显示元件显示的图像焦点聚焦于用户的眼睛或其附近的凸透镜等光学元件。在本说明书中，显示在显示部20上的图像意指包括如照片的单个图像或如影像的一连串连续的图像。例如，在本说明书中记载的图像也可包括包含影像及/或声音的视频等内容(contents)。
在一实施例中，HMD进一步包括通信部40，显示在显示部20上的图像可为通过网络由通信部40从远程服务器(未图示)接收的图像。例如，通信部40可通过流式传输(streaming)方式接收图像。此外，HMD可通过通信部40向远程服务器传输数据。在另一实施例中，显示在显示部20上的图像也可为预先存储在存储部50中的图像。存储部50包括能够存储在显示部20上显示的图像或其他额外数据的存储装置。
控制部30与传感器部10及显示部20可通信地连接，控制部30基于通过传感器部10获得的测定值，控制显示在显示部20上的图像。首先，控制部30可根据通过传感器部10测定的用户动作，改变与显示在显示部20上的图像对应的视点。这是在输出广视角图像的一部分的同时，与戴上HMD的用户的头部动作相应地移动图像中的显示部分，从而使用户能够感到现实感的显示方式，这种显示方式与以往的HMD中使用的显示方式相同。例如，当用户向右转头时，将显示在显示部20上的整个图像与此对应地向左移动，从而使用户感到在由图像显示的虚拟空间中转过头来看右边一样的感觉。
另外，与以往技术不同地，控制部30进一步被构造为由传感器部10的测定值计算用户的视线方向，当用户的视线方向满足预先设定的条件时，将用户的视线作为输入信号使用，并控制图像的视点以外的其他要素。在本说明书中，“视点以外的其他要素”意味着能够与图像关联处理的各种事件(event)，可指图像的类型、输出部分、输出形式及播放速度等的变化。例如，需要显示的图像的选择、图像的开始播放及停止播放、当图像为时间顺序的视频时快进(fast forward)和倒回(rewind)、播放速度的增减、输出音量的增减、如全屏(full screen)模式的显示形式的转换、显示在图像上的菜单、按钮(button)或图标(icon)等用户界面(user interface)的操作均可相当于视点以外的其他要素的控制，但并不局限于此。当图像为游戏、虚拟现实(Virtual Reality；VR)或扩增现实(Augmented Reality；AR)应用程序的一部分时，也可通过用户动作来实现与这些应用程序之间的交互。
在本说明书中记载的“视点以外的其他要素”是为了与在HMD中本质上根据用户动作也改变与显示图像对应的视点的显示方式区别开而描述的相对的含义，其并不意味将用户视线作为输入信号来使用而控制的要素实质上与视点无关。控制部30被构造为与一般的HMD同样地控制显示在显示部20上的图像，以根据用户动作而改变与图像对应的视点，不过当用户的视线方向满足特定条件时，将用户动作不用于改变视点，而将用户的视线作为输入信号来使用，并控制图像的其他任意要素。其结果，HMD的用户即使没有额外的控制器也能在戴上HMD的状态下只通过自己的视线与图像进行交互。
在一实施例中，控制部30控制显示部20，以使显示部20在包括第一模式及第二模式的多个显示模式之间切换运行。第一模式为与以往的HMD同样地根据用户动作而改变与显示在显示部20上的图像对应的视点的显示模式，第二模式为将用户视线作为输入信号使用，并控制显示在显示部20上的图像的视点以外的其他要素的显示模式。第一模式及第二模式之间的切换可通过响应于用户的视线方向满足特定条件来实现，或者也可通过响应于预先定义的上下文(context)的发生来实现，所述预先定义的上下文为显示在显示部20上的图像的结束或切换等。视线方向所要满足的条件可为用户的视线方向保持恒定、视线方向朝向特定方向或位置、或其组合等。但并不局限于此，视线方向所要满足的条件也可确定为在本说明书中没有记载的其他不同的形式。
在一实施例中，控制部30包括视线方向计算部32。视线方向计算部32被构造为利用传感器部10的测定值计算在显示在显示部20上的图像中用户的视线中心所处的位置。由于显示在显示部20上的图像会移动，以根据用户动作而改变视点，因此用户的视线始终会位于用户观看的画面中央。但在图像中，用户视线所处坐标的绝对值会根据视线朝向而改变，在本说明书中将其称为视线方向信息。视线方向计算部32可利用通过传感器部10测定的传感器值计算用户的视线移动，从而获得视线方向信息。
在本实施例中，当通过视线方向计算部32计算的视线方向满足预先设定的条件时，控制部33将用户视线作为输入信号使用，并控制显示在显示部20上的图像。在此，预先设定的条件可指例如视线方向保持恒定或者视线方向朝向特定方向等。对此，参照图2至图5在后面进行详细的说明。
在一实施例中，控制部30进一步包括显示模式确定部33。当通过视线方向计算部32计算的视线方向满足特定条件时，显示模式确定部33可以响应于此而将显示部20的显示模式在第一模式及第二模式之间进行切换。此时，第二模式可根据视线方向实现模式切换，并且只在通过视线控制图像的时间内持续该第二模式，或者也可在切换为第二模式后再根据规定的条件切换至第一模式之前不断持续该第二模式。当第二模式持续时，转换至第二模式后，用户视线在其他要素的控制(非视点转换)中作为输入信号使用。
下面参照图2至图5，对利用视线的HMD的图像控制过程进行示意性的说明。但这只不过详细说明通过用户视线控制视点外要素的过程的一实现例，并不意指通过实施例来限制能够实现的图像控制形式。即，也可通过与下面描述的方式不同的多种方式来控制图像的视点外要素，这也包括于本发明的范围内。
图2为表示一实施例的HMD的显示形式的示意图。图2为表示在HMD上显示的图像中除了所要观看的内容本身以外的画面上对象(object)的图。在HMD上显示的图像的原件可为球(sphere)状，从而根据用户的视线将显示部分移动，但为了便于说明，在整个图像中只对进入用户视野的部分以矩形形状表示。
参照图2，在画面上可显示用于显示播放中的内容标题的区域201、用于显示相关的社交网络服务(Social Network Service；SNS)元数据的区域202、用于显示时间的区域203、时间轴(timeline bar)207及播放时间显示区域208等。此外，在画面上可显示一个以上的控制图标204、205、206。前述的各对象201-208映射到显示在显示部上的图像的特定坐标上，以使用户感受到在自己观看的虚拟空间内的特定地点上存在对象201-208。
画面上还可显示用于显示用户的视线方向的光标200。在HMD中，用户观看的画面会移动，从而根据用户的视线方向改变视点。例如，当用户向右转头时，与此对应地整个图像向左移动。因此，光标200在用户观看的画面上始终位于中央。但是，由于对象201-208映射到虚拟空间内的特定坐标上，因此用户在观看显示在HMD上的画面的状态下，能够利用视线来使光标位于对象201-208中的一个以上的对象上，并操作对象201-208，而这种操作相当于在本说明书上记载的“视点以外的其他要素”的控制。
在本说明书的以下内容中，为了便于说明，简单说明为“光标200的移动”的部分意指以下内容：随着用户改变视线方向，显示在画面上的整个图像会与视线方向的变化相应地移动，其结果用户观看的画面中央的光标200会停留在图像内的特定坐标上。
在一实现例中，当用户凝视画面时，响应于此而前述的对象201-208有可能不会显示在画面上。即，当用户的视线保持恒定时，响应于此而切换到全屏模式。用户的视线是否保持恒定，则可通过在预先设定的时间内视线方向的变化是否在预先设定的阈值以下来确定。例如，当用户的视线方向的中心点在最后停止移动的地点上在视线方向的偏差15°以内停留三秒以上时，可确定为视线方向保持恒定。之后，当用户的视线方向的中心点移动15°以上时，可以结束全屏模式，并重新将对象201-208显示在画面上。用于确定视线方向是否恒定的前述标准只是示意性的，在其他实施例中也可利用与之不同的标准。
在一实现例中，也可构造为通过用户凝视对象201-208来实现与对象201-208之间的交互。例如，用户可通过在规定时间内凝视图标205、206、206中的某一个来执行对相应图标赋予的功能。通过图标204、205、206可执行的功能可包括后退、播放下一个内容、菜单加载、图像放大及图像缩小等，但并不局限于此。关于确定用户是否凝视了对象201-208，则可通过与上面与全屏模式相关的描述相同的方式来实现。下面，作为与对象201-208之间的交互的一例，对利用视线的时间轴207的操作进行说明。
图3a及图3b为表示在一实施例的HMD中利用视线的图像控制形式的示意图。
参照图2、图3a及图3b，当用户的视线方向以规定范围靠近时间轴207时，响应于此而中断内容的播放，并显示边框加粗的时间轴307。与用户的视线方向对应的光标200移动到最靠近时间轴307的位置。此外，播放时间显示区域308移动到光标200的下方，并显示光标200处的播放时间，在时间轴307的正上方显示光标200所处部分的内容缩略图(thumbnail)301。在此状态下，如图3b所示，用户可通过移动视线使光标200进行移动，此时，播放时间显示区域308也与光标200一起移动，并且内容缩略图也改变为与光标200处对应的缩略图302。
在完成用户所希望的时间移动后，当用户通过视线重新将光标200移开时间轴307时，时间轴307重新恢复为如图2所示的时间轴207，并开始播放内容。
图4为表示在一实施例的HMD中利用视线的图像控制形式的另一种示意图。
图4所示的画面为将多个内容以缩略图形式显示的画面，而不是显示内容播放。当结束特定内容的播放或者用户操作图标204、205、206时，可以响应于此而显示如图4的画面。在图4的画面中，在播放中显示的对象201-206可以相对较暗地显示，并将对象401-404相对较亮地显示，从而导向用户的选择。用户可通过视线来移动光标200，并且凝视图标401来再次播放内容，或者凝视图标402来传送“喜欢(Like)”等对内容的SNS反馈。或者，用户还可通过凝视以缩略图403及关键词404的形式显示的其他内容来选择下一个需要播放的内容。
图5为表示在一实施例的HMD中利用视线的图像控制形式的又一种示意图。
图5的画面可为用于在HMD中可使用的所有内容或者在用户通过特定关键词检索的内容中选择需要播放的内容的画面。在画面上显示多个内容503及对应关键词504的同时，显示滚动条(scroll bar)507及内容数量显示区域508，从而显示所有内容的数量。此外，在画面上显示一个以上的功能图标501及对应的关键词502。用户可通过凝视功能图标501来执行对各图标501赋予的功能，例如，图标501的功能也可为在画面上显示的预先确定的特定内容组(set)的缩略图，但并不局限于此。
当用户将视线比当前显示在画面上的缩略图503进一步向右移动时，显示在画面上的缩略图503向左移动并消失，并从右侧显示新的缩略图503，同时滚动条507内的条也会移动，以显示在所有缩略图中当前显示的缩略图组的相对位置。或者，也可通过与上面参照图3说明的方式相似的方式，用户通过视线操作滚动条507，以使显示在画面上的缩略图移动。
当用户凝视某一个缩略图时，与用户视线对应的光标200位于相应的缩略图上。光标200所在的缩略图与其他缩略图相比相对较亮地显示，并且赋予具有辉光(glow)效应的***线，从而使用户认识到该缩略图被选中。当光标200位于相应的缩略图上规定时间时，确定为该缩略图已被选中，并且开始播放与被选中的缩略图对应的内容。其结果，显示画面切换到上面参照图2所述的内容播放画面。
以上说明的实施例的HMD的操作及用于控制该操作的方法至少其中一部分可由计算机程序来实现，并被存储在计算机可读存储介质中。所述计算机可读存储介质包括用于存储计算机可读数据的所有类型的存储装置。计算机可读存储介质的示例中有ROM、RAM、CD-ROM、磁带、软盘及光学数据存储装置等，此外还包括以载波(carrier wave)(例如，网络传输)形式实现的存储介质。此外，计算机可读存储介质还可分散到由网络连接的计算机***中，并以分散方式存储并运行计算机可读代码。此外，本实施例所属技术领域的技术人员应能容易理解用于实现本实施例的功能程序、代码及代码段(segment)。
以上描述的本发明，虽然参照附图所示的实施例进行了说明，但这些实施例只不过是示意性的，本发明所属技术领域的技术人员应能理解基于上述内容可以进行多种变形及实施例的变形。但是，这种变形应被视为在本发明的技术保护范围内。因此，本发明的真正的技术保护范围应以所附的权利要求书的技术思想来界定。
产业上的可利用性
实施例涉及一种头戴式显示装置(Head-Mounted Display；HMD)和用于控制该装置的方法及计算机程序。

Claims (5)

1.一种头戴式显示装置，其中，包括：
传感器部，被构造为测定戴上所述头戴式显示装置的用户的动作；
显示部，被构造为包括画面，以显示对应于虚拟空间并且包括映射到所述虚拟空间内的特定坐标的一个或多个对象的广视角图像的一部分作为所述画面上的图像，通过响应于戴上所述头戴式显示装置的用户的头部的动作以移动所述广视角图像的所显示的部分从而来改变所述图像的视点；及
控制部，被构造为由所述传感器部的测定值计算用户的视线方向，当视线方向位于所述一个或多个对象时，使用用户的视线作为输入信号来控制所述图像的除视点以外的能够与图像关联处理的各种事件，
其中，所述控制部被构造为在所述画面上显示指示用户的视线方向的光标，
其中，所述控制部进一步被构造为控制所述显示部在第一模式和第二模式之间切换运行，所述第一模式为根据指示用户的视线方向的所述光标来改变显示在所述显示部上的图像的视点的模式，所述第二模式为使用指示用户的视线的光标作为所述输入信号来控制所述图像的除视点以外的能够与图像关联处理的各种事件的模式。
2.根据权利要求1所述的头戴式显示装置，其中，
所述控制部被构造为将用户的视线作为所述输入信号使用，并改变显示在所述显示部上的图像的类型、输出部分、输出形式及播放速度中的一个以上。
3.一种头戴式显示装置的控制方法，其中，包括步骤：
在所述头戴式显示装置上显示对应于虚拟空间并且包括映射到所述虚拟空间内的特定坐标的一个或多个对象的广视角图像的一部分作为画面上的图像；
通过传感器部来测定戴上所述头戴式显示装置的用户的动作；
通过响应于戴上所述头戴式显示装置的用户的头部的动作以移动所述广视角图像的所显示的部分从而来改变所述图像的视点；
由所述传感器部的测定值计算用户的视线方向；及
当视线方向位于所述一个或多个对象时，使用用户的视线作为输入信号来控制所述图像的除视点以外的能够与图像关联处理的各种事件，
其中，控制所述图像的除视点以外的能够与图像关联处理的各种事件包括：在所述画面上显示指示用户的视线方向的光标，
其中，控制所述图像的除视点以外的能够与图像关联处理的各种事件包括：控制所述显示部在第一模式和第二模式之间切换运行，所述第一模式为根据指示用户的视线方向的所述光标来改变所显示的图像的视点的模式，所述第二模式为使用指示用户的视线的光标作为所述输入信号来控制所述图像的除视点以外的能够与图像关联处理的各种事件的模式。
4.根据权利要求3所述的头戴式显示装置的控制方法，其中，
控制所述图像的除视点以外的能够与图像关联处理的各种事件的步骤包括：
将用户的视线作为所述输入信号使用，并改变显示在所述头戴式显示装置上的图像的类型、输出部分、输出形式及播放速度中的一个以上。
5.一种计算机可读存储介质，包含计算机程序产品，结合头戴式显示装置，所述计算机程序产品被配置为执行以下步骤：
在所述头戴式显示装置上显示对应于虚拟空间并且包括映射到所述虚拟空间内的特定坐标的一个或多个对象的广视角图像的一部分作为画面上的图像；
通过传感器部来测定戴上所述头戴式显示装置的用户的动作；
通过响应于戴上所述头戴式显示装置的用户的头部的动作以移动所述广视角图像的所显示的部分从而来改变所述图像的视点；
由所述传感器部的测定值计算用户的视线方向；及
当视线方向位于所述一个或多个对象时，使用用户的视线作为输入信号来控制所述图像的除视点以外的能够与图像关联处理的各种事件，
其中，控制所述图像的除视点以外的能够与图像关联处理的各种事件包括：在所述画面上显示指示用户的视线方向的光标，
其中，控制所述图像的除视点以外的能够与图像关联处理的各种事件包括：控制所述显示部在第一模式和第二模式之间切换运行，所述第一模式为根据指示用户的视线方向的所述光标来改变所显示的图像的视点的模式，所述第二模式为使用指示用户的视线的光标作为所述输入信号来控制所述图像的除视点以外的能够与图像关联处理的各种事件的模式。
CN201580053843.0A 2014-09-18 2015-09-17 通过视线控制的头戴式显示装置及其控制方法、计算机可读存储介质 Active CN106796351B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2014-0124038 2014-09-18
KR1020140124038A KR20160033376A (ko) 2014-09-18 2014-09-18 시선에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램
PCT/KR2015/009763 WO2016043537A1 (ko) 2014-09-18 2015-09-17 시선에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램

Publications (2)

Publication Number Publication Date
CN106796351A CN106796351A (zh) 2017-05-31
CN106796351B true CN106796351B (zh) 2020-06-23

Family

ID=55533506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580053843.0A Active CN106796351B (zh) 2014-09-18 2015-09-17 通过视线控制的头戴式显示装置及其控制方法、计算机可读存储介质

Country Status (5)

Country Link
US (1) US10261581B2 (zh)
JP (1) JP2017537368A (zh)
KR (1) KR20160033376A (zh)
CN (1) CN106796351B (zh)
WO (1) WO2016043537A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6532393B2 (ja) * 2015-12-02 2019-06-19 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置及び表示制御方法
JP2017181738A (ja) * 2016-03-30 2017-10-05 ＴｓＺ株式会社 画像表示装置
PT3228237T (pt) 2016-04-08 2020-06-09 Vivior Ag Um dispositivo e método para medir distâncias
US20180095635A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US20180095636A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US10536691B2 (en) 2016-10-04 2020-01-14 Facebook, Inc. Controls and interfaces for user interactions in virtual spaces
CN106484237A (zh) * 2016-10-14 2017-03-08 网易（杭州）网络有限公司 用于虚拟现实显示的方法、装置及虚拟现实设备
KR101905272B1 (ko) * 2016-11-29 2018-10-05 계명대학교 산학협력단 체감형 컨텐츠 제공 장치와 연계된 비콘 기반의 사용자 방향 인식 장치 및 그 방법
JP6836060B2 (ja) * 2017-01-31 2021-02-24 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP6582302B2 (ja) * 2017-03-13 2019-10-02 株式会社コナミデジタルエンタテインメント 表示制御装置及びプログラム
CN116035699A (zh) * 2017-04-20 2023-05-02 直观外科手术操作公司 用于约束虚拟现实手术***的***和方法
JP6684746B2 (ja) * 2017-05-12 2020-04-22 株式会社コロプラ 情報処理方法、コンピュータ及びプログラム
CN110709839A (zh) * 2017-07-17 2020-01-17 谷歌有限责任公司 用于呈现媒体内容预览的方法、***和介质
KR102374404B1 (ko) * 2017-07-25 2022-03-15 삼성전자주식회사 콘텐트를 제공하기 위한 디바이스 및 방법
CN107396086A (zh) * 2017-07-28 2017-11-24 歌尔科技有限公司 基于vr头戴设备播放视频的方法及vr头戴设备
CN107479804A (zh) * 2017-08-16 2017-12-15 歌尔科技有限公司 虚拟现实设备及其内容调整方法
KR102518404B1 (ko) * 2017-09-29 2023-04-06 삼성전자주식회사 전자 장치 및 그의 시선 정보를 이용한 컨텐트 실행 방법
CN107943296A (zh) * 2017-11-30 2018-04-20 歌尔科技有限公司 应用于头戴式设备中的控制方法及设备
JP6383083B2 (ja) * 2017-12-28 2018-08-29 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム
JP6380963B2 (ja) * 2017-12-28 2018-08-29 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム
KR20190089627A (ko) * 2018-01-23 2019-07-31 삼성전자주식회사 Ar 서비스를 제공하는 디바이스 및 그 동작 방법
CN110115842B (zh) 2018-02-06 2023-01-13 日本聚逸株式会社 应用处理***、应用处理方法以及应用处理程序
JP6908573B2 (ja) 2018-02-06 2021-07-28 グリー株式会社 ゲーム処理システム、ゲーム処理方法、及びゲーム処理プログラム
JP7005435B2 (ja) * 2018-06-18 2022-01-21 グリー株式会社 ゲーム処理システム、ゲーム処理方法、及びゲーム処理プログラム
US10981067B2 (en) 2018-02-06 2021-04-20 Gree, Inc. Game processing system, method of processing game, and storage medium storing program for processing game
EP3520868A1 (en) 2018-02-06 2019-08-07 Gree, Inc. Game processing system, method of processing game, and program for processing game
CN111123518B (zh) * 2019-12-05 2021-12-03 浙江合众新能源汽车有限公司 一种汽车的ar-hud显示的智能控制方法与***

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11161190A (ja) 1997-11-25 1999-06-18 Seiko Epson Corp 頭部装着型表示装置
JP2010012290A (ja) 2003-11-21 2010-01-21 Takechika Nishi 画像表示装置及びシミュレーション装置
JP4927631B2 (ja) 2006-06-27 2012-05-09 パナソニック株式会社 表示装置、その制御方法、プログラム、記録媒体および集積回路
JP5228305B2 (ja) * 2006-09-08 2013-07-03 ソニー株式会社 表示装置、表示方法
JP5125779B2 (ja) * 2008-06-04 2013-01-23 株式会社ニコン ヘッドマウントディスプレイ装置
KR101824501B1 (ko) * 2011-05-19 2018-02-01 삼성전자 주식회사 헤드 마운트 디스플레이 장치의 이미지 표시 제어 장치 및 방법
JP5993127B2 (ja) * 2011-10-25 2016-09-14 オリンパス株式会社 頭部装着型表示装置、情報端末、プログラム、情報記憶媒体、画像処理システム、頭部装着型表示装置の制御方法及び情報端末の制御方法
JP5880115B2 (ja) 2012-02-17 2016-03-08 ソニー株式会社 ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法
JP5630518B2 (ja) * 2012-03-14 2014-11-26 株式会社デンソー 運転支援装置
US20130246967A1 (en) 2012-03-15 2013-09-19 Google Inc. Head-Tracked User Interaction with Graphical Interface
US8482527B1 (en) 2012-09-14 2013-07-09 Lg Electronics Inc. Apparatus and method of providing user interface on head mounted display and head mounted display thereof
US9378592B2 (en) 2012-09-14 2016-06-28 Lg Electronics Inc. Apparatus and method of providing user interface on head mounted display and head mounted display thereof
JP2014092941A (ja) * 2012-11-02 2014-05-19 Sony Corp 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
JP6040715B2 (ja) * 2012-11-06 2016-12-07 ソニー株式会社 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
JP6066676B2 (ja) * 2012-11-06 2017-01-25 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイおよび映像提示システム
US20140191927A1 (en) 2013-01-09 2014-07-10 Lg Electronics Inc. Head mount display device providing eye gaze calibration and control method thereof
KR20140090552A (ko) 2013-01-09 2014-07-17 엘지전자 주식회사 시선 캘리브레이션을 제공하는 헤드 마운트 디스플레이 및 그 제어 방법
US9619021B2 (en) 2013-01-09 2017-04-11 Lg Electronics Inc. Head mounted display providing eye gaze calibration and control method thereof
KR101878144B1 (ko) * 2013-11-06 2018-07-13 엘지전자 주식회사 헤드 마운트 디스플레이를 위한 사용자 인터페이스 제공 장치 및 방법
KR102083963B1 (ko) * 2013-12-10 2020-04-14 엘지전자 주식회사 시선 캘리브레이션을 제공하는 헤드 마운트 디스플레이 디바이스 및 그 제어 방법

Also Published As

Publication number Publication date
KR20160033376A (ko) 2016-03-28
JP2017537368A (ja) 2017-12-14
CN106796351A (zh) 2017-05-31
US20170255256A1 (en) 2017-09-07
WO2016043537A1 (ko) 2016-03-24
US10261581B2 (en) 2019-04-16

Similar Documents

Publication Publication Date Title
CN106796351B (zh) 通过视线控制的头戴式显示装置及其控制方法、计算机可读存储介质
JP4927631B2 (ja) 表示装置、その制御方法、プログラム、記録媒体および集積回路
EP2959361B1 (en) Context-aware augmented reality object commands
KR101845217B1 (ko) 투명 헤드 마운티드 디스플레이들에 대한 사용자 인터페이스 상호작용
US9081177B2 (en) Wearable computer with nearby object response
US9904359B2 (en) Head-mounted display controlled by tapping, method for controlling the same and computer program product for controlling the same
US20150143297A1 (en) Input detection for a head mounted device
KR20150116871A (ko) Ｈｄｍ에 대한 인간―신체―제스처―기반 영역 및 볼륨 선택
KR20190133080A (ko) 증강 현실 시스템용 터치프리 인터페이스
CN115004128A (zh) 基于注视计时器的用户输入设备的功能增强
EP3084510B1 (en) Wearable display input system
US10771707B2 (en) Information processing device and information processing method
WO2019135313A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN115598831A (zh) 提供精准眼动追踪的光学***和相关方法
JP6277567B1 (ja) 端末装置、及びプログラム
US12032754B2 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
WO2021153577A1 (ja) 視線検出装置のキャリブレーション
KR101879235B1 (ko) 시선에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램
JP6500159B1 (ja) プログラム、情報処理装置、情報処理システム、情報処理方法及びヘッドマウントディスプレイ
US20190171350A1 (en) Information processing device, information processing method, and program
WO2021220407A1 (ja) ヘッドマウントディスプレイ装置および表示制御方法
JP2018198075A (ja) 端末装置、及びプログラム
JP6383083B2 (ja) 端末装置、及びプログラム
JP6380963B2 (ja) 端末装置、及びプログラム
JP2018063522A (ja) 表示制御システムおよび表示制御プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant