CN115598831A - 提供精准眼动追踪的光学***和相关方法 - Google Patents

提供精准眼动追踪的光学***和相关方法 Download PDF

Info

Publication number
CN115598831A
CN115598831A CN202210739311.4A CN202210739311A CN115598831A CN 115598831 A CN115598831 A CN 115598831A CN 202210739311 A CN202210739311 A CN 202210739311A CN 115598831 A CN115598831 A CN 115598831A
Authority
CN
China
Prior art keywords
user
user interface
interface object
optical system
estimated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210739311.4A
Other languages
English (en)
Inventor
刘冠麟
邱柏榕
吴奕亨
李魁安
简韶逸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jianzhen Technology Co ltd
Original Assignee
Jianzhen Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jianzhen Technology Co ltd filed Critical Jianzhen Technology Co ltd
Publication of CN115598831A publication Critical patent/CN115598831A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)

Abstract

光学***包含眼动追踪仪和头戴式显示器。眼动追踪仪包含一传感器模块，用来捕捉用户的一个或多个眼睛影像。头戴式显示器包含提供一用户界面的一处理器和呈现用户界面的一显示屏幕。用户界面包含一虚拟可视范围和至少一用户界面对象，至少一用户界面对象用来接收一注视指令，且该注视指令相关于用户的一个或多个注视点。至少一用户界面对象被安排在用户的一预估可视范围内，且位于用户界面的虚拟可视范围之外。

Description

提供精准眼动追踪的光学***和相关方法
技术领域
本发明涉及一种提供精准眼动追踪的光学***和相关方法，特别是涉及一种能在互动式虚拟环境中提供精准眼动追踪的光学***和相关方法。
背景技术
虚拟现实(virtual reality,VR)是利用计算机技术模拟出一个立体且高拟真的三维空间，当用户穿戴特殊显示设备执行VR应用时会产生好像处在现实中的错觉。扩增现实(augmented reality,AR)是一种将虚拟信息扩增到现实空间中的技术，相较于取代现实空间的VR，AR是在现实空间中添加虚拟对象。混合现实(mixed reality,MR)则是把现实世界与虚拟世界合并在一起，从而建立出一个新的环境以及符合一般视觉上所认知的虚拟图像，其中现实世界中的对象能够与数字世界中的对象共同存在并且实时的产生互动。现有VR/AR/MR的应用多半是通过双手控制摇杆或是触控面板来操作，但在不同场所需要随时携带这些控制装置，在使用上并不便利。若是将眼动追踪(eye-tracking)的技术应用在VR/AR/MR领域，用户可轻易地将眼睛变成操作界面，通过眼睛注视点、聚焦点和特定细微动作即可完成选取或点击对象的动作。
眼动追踪是一种能通过测量眼睛的注视位置或眼球相对头部的运动，来追踪用户眼球运动的技术。现有计算机会在显示屏幕上呈现一用户界面(user interface)，以提供用户各种视觉数据。上述数据呈现方式会受限于用户的主动视觉和显示屏幕的尺寸。举例来说，用户因其生理特征(例如眼睛构造)可能会具备较窄的主动视觉，而行动式装置多半需要在很小的屏幕(虚拟可视范围)上呈现大量数据。
因此，需要一种能在互动式虚拟环境中提供精准眼动追踪的光学***和方法。
发明内容
本发明提供一种提供精准眼动追踪的光学***，其包含一眼动追踪仪和一头戴式显示器。该眼动追踪仪包含一传感器模块，用来捕捉一用户的一个或多个眼睛影像。该头戴式显示器包含一第一处理器和一显示屏幕。该第一处理器用来控制该头戴式显示器的运作，并提供一用户界面。该显示屏幕用来呈现该用户界面，其中该用户界面包含一虚拟可视范围和至少一用户界面对象，该至少一用户界面对象用来接收一注视指令，且该注视指令相关于该用户的一个或多个注视点，且该至少一用户界面对象被安排在该用户的一预估可视范围内，且位于该用户界面的该虚拟可视范围之外。
本发明还提供一种提供精准眼动追踪的方法，其包含捕捉一用户的一个或多个眼睛影像，依据该一个或多个眼睛影像来计算出该用户的一个或多个注视点，以及提供一用户界面。其中，该用户界面包含一虚拟可视范围和至少一用户界面对象，且该至少一用户界面对象被安排在该用户的一预估可视范围内，且位于该用户界面的该虚拟可视范围之外。
附图说明
图1为本发明实施例中一种可在互动虚拟环境中提供精准眼动追踪的光学***的功能方块图。
图2为本发明另一实施例中一种可在互动虚拟环境中提供精准眼动追踪的光学***的功能方块图。
图3为本发明实施例中可在互动虚拟环境中提供精准眼动追踪的光学***运作时的方法流程图。
图4为本发明实施例中在光学***运作时所呈现的用户界面的示意图。
图5为本发明实施例中在光学***运作时所呈现的用户界面的放大示意图。
图6为本发明实施例光学***中用户界面对象的功能的示意图。
附图标记说明如下：
10： 头戴式显示器
12、22： 处理器
14： 显示屏幕
16、26： 传感器模块
18： 输入/输出装置
19： 用户界面
20： 眼动追踪仪
24： 照明模块
30： 用户
100、200： 光学***
310-360： 步骤
UIE1-UIEN： 用户界面对象
FoV1： 用户的可视范围
FoV2： 用户界面的虚拟可视范围
具体实施方式
图1为本发明实施例中一种可在互动虚拟环境中提供精准眼动追踪的光学***100的功能方块图。图2为本发明另一实施例中一种可在互动虚拟环境中提供精准眼动追踪的光学***200的功能方块图。
在图1所示的实施例中，光学***100包含一头戴式显示器(head-mounteddisplay,HMD)10和一眼动追踪仪20。头戴式显示器10包含一处理器12、一显示屏幕14、一传感器模块16、一输入/输出装置18，以及一用户界面19。眼动追踪仪20包含一处理器22、一照明模块24，以及一传感器模块26。处理器12可控制头戴式显示器10的运作，而处理器22可控制眼动追踪仪20的运作。
在图2所示的实施例中，光学***200为一头戴式显示器10，其包含一处理器12、一显示屏幕14、一传感器模块16、一输入/输出装置18、一用户界面19，以及一眼动追踪仪20。眼动追踪仪20包含一处理器22、一照明模块24，以及一传感器模块26。眼动追踪仪20包含一处理器22、一照明模块24，以及一传感器模块26。处理器12可控制头戴式显示器10的运作，而处理器22可控制眼动追踪仪20的运作。
在本发明其它实施例中，光学***100和200可省略处理器22。更详细地说，头戴式显示器10和眼动追踪仪20可共享同一处理器12，并由处理器12来控制头戴式显示器10和眼动追踪仪20的运作。
图3为本发明实施例中可在互动虚拟环境中提供精准眼动追踪的光学***100和200运作时的方法流程图。图3所示的方法流程图包含下列步骤：
步骤310：捕捉用户的一个或多个眼睛影像。
步骤320：依据一个或多个眼睛影像来计算出用户的一个或多个注视点。
步骤330：求出显示屏幕14的可视范围(field of view)和用户的预估可视范围之间的关系。
步骤340：依据用户的一个或多个注视点和显示屏幕14的可视范围和用户的预估可视范围之间的关系来提供包含一虚拟可视范围和至少一用户界面对象的用户界面。
步骤350：接收一个或多个用户指令。
步骤360：当至少一用户界面对象被用户的一个或多个注视点触发时，执行对应至少一用户界面对象的一预定动作；执行步骤310。
在光学***100中，眼动追踪仪20中的传感器模块26包含至少一个影像传感器(眼睛传感器)，用来在步骤310中捕捉用户的一个或多个眼睛影像。眼动追踪仪20中的处理器22可接收传感器模块26所捕捉的一个或多个眼睛影像，并在步骤320中依据一个或多个眼睛影像来计算出用户的一个或多个注视点。此外，眼动追踪仪20中的处理器22还可依据一个或多个眼睛影像来计算出其它眼动追踪相关数据，例如预估注视点的信心度和准确度、在三维空间内的眼球位置和瞳孔相关信息(例如瞳孔大小)。眼动追踪运作的算法可实作成能被眼动追踪仪20中的处理器22执行的程序/软件/固件，但不限定本发明的范围。
在光学***200中，眼动追踪仪20中的传感器模块26包含至少一个影像传感器(眼睛传感器)，用来在步骤310中捕捉用户的一个或多个眼睛影像。处理器12可接收传感器模块26所捕捉的一个或多个眼睛影像，并在步骤320中依据一个或多个眼睛影像来计算出用户的一个或多个注视点。此外，处理器12还可依据一个或多个眼睛影像来计算出其它眼动追踪相关数据，例如预估注视点的信心度和准确度、在三维空间内的眼球位置和瞳孔相关信息(例如瞳孔大小)。眼动追踪运作的算法可实作成能被处理器12执行的程序/软件/固件，但不限定本发明的范围。
在光学***100和200中，传感器模块16包含至少一场景传感器、至少一声音传感器(例如麦克风)，及/或至少一动作传感器(例如陀螺仪或加速度计)。场景传感器可捕捉相关于用户的目前可视范围的一个或多个场景影像，声音传感器可接收用户下达的语音指令，而动作传感器可侦测用户的动作(通常是头部动作)。
在光学***100和200中，照明模块24可包含一个或多个红外光发光二极管(light-emitting diode,LED)，用来照亮用户双眼，以确保不同眼色的用户在虹膜和瞳孔之间能有足够对比，尤其是在非常亮或非常暗的背景下，进而提升眼动追踪仪20捕捉用户双眼反射光线时的精准度。然而，照明模块24的实施方式并不限定本发明的范围。
在步骤330中，处理器12可求出显示屏幕14的可视范围和用户的预估可视范围之间的关系。用户的预估可视范围是指当用户正视前方时的可视范围，可依据光学***100或200的物理规格和用户的标准人体测量数据来计算出。随着用户的眼球运动，用户的实际可视范围会和用户的预估可视范围有所偏移。显示屏幕14的可视范围和用户的预估可视范围之间的关系至少包含显示屏幕14的可视范围和用户的该预估可视范围之间的面积比，其中上述面积比的值小于1。显示屏幕14的可视范围和用户的预估可视范围之间的关系可还包含显示屏幕14对应用户的预估可视范围的一相对位置，其中上述相对位置可依据头戴式显示器10的物理规格和用户的标准人体测量数据来计算出。在一实施例中，处理器12还可依据相关一个或多个眼睛影像的眼动追踪相关数据来微调上述相对位置。
在光学***100或200中，包含一虚拟可视范围(virtual field of view)和一个或多个用户界面对象(UI elemement)UIE1-UIEN的用户界面19可呈现在显示屏幕14上，其中N为正整数。在一实施例中，用户界面对象UIE1-UIEN可为用户看不见的抽象对象。如果用户界面对象UIE1-UIEN为互动对象，每一用户界面对象会连接至一事件处理器，其中每一事件处理器相关于光学***100或200的一特定运作，且由控制器12来掌控。
用户界面对象UIE1-UIEN可增加用户界面19的互动性，并提供用户下达眼动指令的接触点。每一用户界面对象的功能可相关于输入控制、浏览控制和信息显示，但不限定本发明的范围。每一用户界面对象包含一图像对象和一命中框(hit box)。图像对象可决定相对应用户界面对象的外观，且可相关于相对应用户界面对象的功能。在一实施例中，用户界面对象的图像对象可为相关输入控制的复选框(checkbox)、单选钮(radio button)、下拉式选单(dropdown list)、列表盒(list box)、开关按钮(toggle button)或日期/时间选项。在另一实施例中，用户界面对象的图像对象可为相关浏览控制的页面路径(breadcrumb)、滑动选单(slider)、分页选单(pagination)、图标(icon)或图像轮播(image carousel)。在另一实施例中，用户界面对象的图像对象可为相关信息显示的工具提示框(tooltip)、进度条(progress bar)、提示通知(notification)、对话框(message box)或互动窗口(modalwindow)。然而，用户界面对象的图像对象的外观并不限定本发明的范围。
用户界面对象的命中框为用户看不见的虚拟对象，其连接至相对应事件处理器。当关于用户的一个或多个注视点的一注视指令触发一用户界面对象的命中框时，处理器12会执行对应被触发用户界面对象的动作。在满足一个或多个触发条件时，本发明会判定用户界面对象被注视指令触发。上述触发条件包含下列至少一条件：在用户的一个或多个注视点位于一用户界面对象的命中框内后，用户立即或在一预定时间间隔内通过输入/输出装置18或传感器模块16(例如麦克风)加以确认；当用户的一个或多个注视点位于一用户界面对象的命中框内超过一预定凝视时段时；在用户的一个或多个注视点位于一用户界面对象的命中框后，用户立即或在一预定时间间隔内通过自主性眼动(例如眼球扫视或眨眼)加以确认；以及当包含用户的一个或多个注视点的一注视轨迹通过一用户界面对象的命中框的反应边界时。然而，相关每一用户界面对象的触发条件类型并不限定本发明的范围。
在光学***100或200中，输入/输出装置18可接收用户下达的指令。在一实施例中，输入/输出装置18可包含任何种类的手持式控制器(例如游戏手柄或游戏机)及/或任何形式的触觉回馈装置(例如体感套装或体感手套)。输入/输出装置18可侦测用户的动作信号，并将用户的动作信号传送至光学***100或200的控制器12。在一实施例中，控制器12可依据输入/输出装置18接收到的用户指令来控制光学***100或200的运作。在另一实施例中，控制器12可同时依据输入/输出装置18接收到的用户指令和用户界面19的用户界面对象UIE1-UIEN接收到的注视指令来控制光学***100或200的运作。
在步骤340中，处理器12可依据用户的一个或多个注视点和显示屏幕14的可视范围和用户的预估可视范围之间的关系来提供用户界面19，其中用户界面19包含虚拟可视范围和至少一用户界面对象。
图4为本发明实施例中在光学***100和200运作时所呈现的用户界面19的示意图。FoV1代表一用户30的可视范围，而FoV2代表光学***100和200中用户界面19的虚拟可视范围。
图5为本发明实施例中在光学***100和200运作时所呈现的用户界面19的放大示意图。在本发明中，用户界面对象UIE1-UIEN被安排在用户30的可视范围FoV1内，且位于用户界面19的虚拟可视范围FoV2之外的不同区域。为了说明目的，图5显示了N＝8的实施例。用户界面对象UIE1呈现在可视范围FoV1内并位于虚拟可视范围FoV2之外的一第一区域，且第一区域位于用户界面19的虚拟可视范围FoV2的上方。用户界面对象UIE2呈现在可视范围FoV1内并位于虚拟可视范围FoV2之外的一第二区域，且第二区域位于用户界面19的虚拟可视范围FoV2的下方。用户界面对象UIE3呈现在可视范围FoV1内并位于虚拟可视范围FoV2之外的一第三区域，且第三区域位于用户界面19的虚拟可视范围FoV2的左方。用户界面对象UIE4呈现在可视范围FoV1内并位于虚拟可视范围FoV2之外的一第四区域，且第四区域位于用户界面19的虚拟可视范围FoV2的右方。用户界面对象UIE5呈现在可视范围FoV1内并位于虚拟可视范围FoV2之外的一第五区域，且第五区域位于用户界面19的虚拟可视范围FoV2的左上方。用户界面对象UIE6呈现在可视范围FoV1内并位于虚拟可视范围FoV2之外的一第六区域，且第六区域位于用户界面19的虚拟可视范围FoV2的右上方。用户界面对象UIE7呈现在可视范围FoV1内并位于虚拟可视范围FoV2之外的一第七区域，且第七区域位于用户界面19的虚拟可视范围FoV2的左下方。用户界面对象UIE8呈现在可视范围FoV1内并位于虚拟可视范围FoV2之外的一第八区域，且第八区域位于用户界面19的虚拟可视范围FoV2的右下方。
如图4和图5所示，头戴式显示器10中用户界面19的虚拟可视范围FoV2仅占据用户30的可视范围FoV1内的极小区域，其有限的数据显示量会限制基于眼动的用户互动。由于眼动追踪仪20中传感器模块26取得的眼动信息(更精确地说，用户的注视点)可位于用户30的可视范围FoV1内的任何位置，本发明的光学***100和200会将用户界面对象UIE1-UIEN显示在用户界面19的虚拟可视范围FoV2之外的区域。如此一来，用户界面对象UIE1-UIEN的设置会更具弹性，且不会被虚拟可视范围FoV2的有限面积所局限。此外，用户界面19的虚拟可视范围FoV2也能显示更多影像数据。
在步骤350中，光学***100和200会接收一个或多个用户指令。如前所述，本发明可通过输入/输出装置18来接收用户指令，或通过用户界面19的用户界面对象UIE1-UIEN来接收注视指令。在满足一个或多个触发条件时，本发明会判定用户界面对象被注视指令触发。当一特定用户界面对象的命中框接受到用户的一注视指令，且该注视指令满足一个或多个触发条件时，处理器12会执行对应特定用户界面对象的一预定动作。上述触发条件包含用户的注视点位于特定用户界面对象的命中框内超过相关特定用户界面对象的凝视时段、用户按下另一按键、用户下达一语音指令、用户自主性地眨眼，或侦测到特定注视点轨迹/模式，但不限定本发明的范围。上述预定动作包含内容选择、往前一页、往后一页、设定、关闭页面、返回、回主页、显示通知信息或屏幕锁定，但不限定本发明的范围。
图6为本发明实施例光学***100和200中用户界面对象UIE1-UIEN的功能的示意图。当用户界面对象UIE1被触发时，光学***100和200可在用户界面19的虚拟可视范围FoV2内显示一设定选项。当用户界面对象UIE2被触发时，光学***100和200可让用户30返回用户界面19的首页。当用户界面对象UIE3被触发时，光学***100和200可将用户界面19的虚拟可视范围FoV向左方滑动(上一页)。当用户界面对象UIE4被触发时，光学***100和200可将用户界面19的虚拟可视范围FoV向右方滑动(下一页)。当用户界面对象UIE5被触发时，光学***100和200可让用户30返回上次浏览的页面或屏幕。当用户界面对象UIE6被触发时，光学***100和200可终止目前执行中的应用程序。当用户界面对象UIE7被触发时，光学***100和200可锁定用户界面19的目前状态。当用户界面对象UIE8被触发时，光学***100和200可在用户界面19的虚拟可视范围FoV2内显示一通知版。然而，用户界面19中每一用户界面对象的功能并不限定本发明的范围。
在本发明中，光学***会将一个或多个用户界面对象显示在用户界面的虚拟可视范围之外的区域，以提供基于眼动的用户互动功能。如此一来，用户界面对象的设置会更具弹性，且不会被用户界面的虚拟可视范围的有限面积所局限。此外，用户界面的虚拟可视范围也能显示更多影像数据。因此，本发明可提供一种能在互动式虚拟环境中提供精准眼动追踪的光学***和方法。
以上所述仅为本发明的较佳实施例，凡依本发明权利要求所做的均等变化与修饰，都应属本发明的涵盖范围。

Claims (20)

1.一种提供精准眼动追踪的光学***，其特征在于，包含：
一眼动追踪仪，其包含：
一第一传感器模块，用来捕捉一用户的一个或多个眼睛影像；
一头戴式显示器，其包含：
一第一处理器，用来控制所述头戴式显示器的运作，并提供一用户界面；以及
一显示屏幕，用来呈现所述用户界面，其中：
所述用户界面包含一虚拟可视范围和至少一用户界面对象，所述至少一用户界面对象用来接收一注视指令，且所述注视指令相关于所述用户的一个或多个注视点；且
所述至少一用户界面对象被安排在所述用户的一预估可视范围内，且位于所述用户界面的所述虚拟可视范围之外。
2.如权利要求1所述的光学***，其特征在于：
所述眼动追踪仪还包含一第二处理器，用来：
接收所述第一传感器模块所捕捉的所述一个或多个眼睛影像；以及
依据所述一个或多个眼睛影像来计算出所述用户的所述一个或多个注视点；且
所述第一处理器还用来从所述第二处理器接收所述用户的所述一个或多个注视点。
3.如权利要求2所述的光学***，其特征在于：当所述至少一用户界面对象被所述用户的所述一个或多个注视点触发时，所述第一处理器还用来执行对应所述至少一用户界面对象的一预定动作。
4.如权利要求1所述的光学***，其特征在于，所述第一处理器还用来：
接收所述第一传感器模块所捕捉的所述一个或多个眼睛影像；以及
依据所述一个或多个眼睛影像来计算出所述用户的所述一个或多个注视点。
5.如权利要求4所述的光学***，其特征在于：
当所述至少一用户界面对象被所述用户的所述一个或多个注视点触发时，所述第一处理器还用来执行对应所述至少一用户界面对象的一预定动作。
6.如权利要求1所述的光学***，其特征在于，所述第一处理器还用来：
求出所述显示屏幕的一可视范围和所述用户的所述预估可视范围之间的关系；以及
依据所述显示屏幕的所述可视范围和所述用户的所述预估可视范围之间的关系来提供所述用户界面。
7.如权利要求6所述的光学***，其特征在于：
所述显示屏幕的所述可视范围和所述用户的所述预估可视范围之间的关系包含所述显示屏幕的所述可视范围和所述用户的所述预估可视范围之间的一面积比。
8.如权利要求6所述的光学***，其特征在于：
所述显示屏幕的所述可视范围和所述用户的所述预估可视范围之间的关系包含所述显示屏幕对应所述用户的所述预估可视范围的一相对位置。
9.如权利要求6所述的光学***，其特征在于：
所述用户的所述预估可视范围为所述用户正视前方时的可视范围；以及
所述用户的所述预估可视范围是依据所述光学***的一物理规格和所述用户的标准人体测量数据来计算出的。
10.如权利要求1所述的光学***，其特征在于：
所述第一传感器模块包含一个或多个影像传感器，用来捕捉所述用户的所述一个或多个眼睛影像；且
所述头戴式显示器还包含一第二传感器模块，所述第二传感器模块包含：
至少一场景传感器，用来捕捉一个或多个场景影像，所述一个或多个场景影像相关于所述用户的一目前可视范围；以及
至少一动作传感器，用来侦测所述用户的一动作。
11.如权利要求1所述的光学***，其特征在于：
所述头戴式显示器还包含至少一输入/输出装置，用来接收至少一用户指令；且
所述眼动追踪仪还包含一照明模块，用来照亮所述用户的一眼睛。
12.一种提供精准眼动追踪的方法，其特征在于，包含：
捕捉一用户的一个或多个眼睛影像；
依据所述一个或多个眼睛影像来计算出所述用户的一个或多个注视点；以及
提供一用户界面，其中：
所述用户界面包含一虚拟可视范围和至少一用户界面对象；且
所述至少一用户界面对象被安排在所述用户的一预估可视范围内，且位于所述用户界面的所述虚拟可视范围之外。
13.如权利要求12所述的方法，其特征在于，还包含：
求出一显示屏幕的一可视范围和所述用户的所述预估可视范围之间的关系；以及
依据所述显示屏幕的所述可视范围和所述用户的所述预估可视范围之间的关系来提供所述用户界面；以及
在所述显示屏幕上呈现所述用户界面。
14.如权利要求13所述的方法，其特征在于：
所述显示屏幕的所述可视范围和所述用户的所述预估可视范围之间的关系包含所述显示屏幕的所述可视范围和所述用户的所述预估可视范围之间的一面积比。
15.如权利要求13所述的方法，其特征在于：
所述显示屏幕的所述可视范围和所述用户的所述预估可视范围之间的关系包含所述显示屏幕对应所述用户的所述预估可视范围的一相对位置。
16.如权利要求13所述的方法，其特征在于：
所述用户的所述预估可视范围为所述用户正视前方时的可视范围；以及
所述用户的所述预估可视范围依据所述光学***的一物理规格和所述用户的标准人体测量数据来计算出。
17.如权利要求12所述的方法，其特征在于，还包含：
当所述至少一用户界面对象被所述用户的所述一个或多个注视点触发时，执行对应所述至少一用户界面对象的一预定动作。
18.如权利要求17所述的方法，其还包含：
在满足一触发条件时，判定所述至少一用户界面对象被所述用户的所述一个或多个注视点触发，其中所述触发条件包含下列至少一条件：
所述用户的所述一个或多个注视点位于所述至少一用户界面对象的一命中框内超过一预定凝视时段；
在所述用户的所述一个或多个注视点位于所述至少一用户界面对象的所述命中框内后的一预定时间间隔内，侦测到所述用户的一自主性眼动；以及
包含所述用户的所述一个或多个注视点的一注视轨迹通过所述至少一用户界面对象的所述命中框的一反应边界。
19.如权利要求17所述的方法，其特征在于，所述预定动作相关于内容选择、往前一页、往后一页、设定、关闭页面、返回、回主页、显示通知信息或屏幕锁定。
20.如权利要求12所述的方法，其特征在于，所述至少一用户界面对象位于所述用户界面的所述虚拟可视范围之外的一预定区域，且所述预定区域位于所述用户界面的所述虚拟可视范围的一上方、一下方、一左上方、一左下方、一右上方或一右下方。
CN202210739311.4A 2021-06-28 2022-06-28 提供精准眼动追踪的光学***和相关方法 Pending CN115598831A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163215984P 2021-06-28 2021-06-28
US63/215,984 2021-06-28

Publications (1)

Publication Number Publication Date
CN115598831A true CN115598831A (zh) 2023-01-13

Family

ID=84540961

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202210745087.XA Pending CN115598842A (zh) 2021-06-28 2022-06-28 提升用户体验和注视互动准确度的光学***和相关方法
CN202210739311.4A Pending CN115598831A (zh) 2021-06-28 2022-06-28 提供精准眼动追踪的光学***和相关方法
CN202210744988.7A Pending CN115598832A (zh) 2021-06-28 2022-06-28 提升用户体验和注视互动准确度的光学***和相关方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202210745087.XA Pending CN115598842A (zh) 2021-06-28 2022-06-28 提升用户体验和注视互动准确度的光学***和相关方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210744988.7A Pending CN115598832A (zh) 2021-06-28 2022-06-28 提升用户体验和注视互动准确度的光学***和相关方法

Country Status (3)

Country Link
US (3) US20220413606A1 (zh)
CN (3) CN115598842A (zh)
TW (3) TW202301083A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117755076A (zh) * 2023-12-26 2024-03-26 广州车全影电子科技有限公司 汽车仪表盘控制方法、装置、存储介质及电子设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11720380B1 (en) * 2022-05-18 2023-08-08 Bank Of America Corporation System and method for updating augmented reality navigation instructions based on a detected error
US20230418438A1 (en) * 2022-06-24 2023-12-28 Google Llc List navigation with eye tracking
US20240221038A1 (en) * 2023-01-04 2024-07-04 Microsoft Technology Licensing, Llc Mechanisms for measuring and minimizing the impact of software experiences on human context-switching
CN117632330B (zh) * 2023-10-12 2024-07-16 浙江大学 一种虚拟环境下眼控界面的交互目标布局方法和***

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080106218A (ko) 2006-02-01 2008-12-04 토비 테크놀로지 에이비 컴퓨터 시스템에서 그래픽 피드백의 생성
CN101943982B (zh) * 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
TWI419077B (zh) 2010-09-10 2013-12-11 Oriental Inst Technology 立體視覺資訊補償系統及方法
US20120327116A1 (en) 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
KR101919009B1 (ko) 2012-03-06 2018-11-16 삼성전자주식회사 안구 동작에 의한 제어 방법 및 이를 위한 디바이스
KR101919010B1 (ko) 2012-03-08 2018-11-16 삼성전자주식회사 안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스
US10895909B2 (en) * 2013-03-04 2021-01-19 Tobii Ab Gaze and saccade based graphical manipulation
US11714487B2 (en) * 2013-03-04 2023-08-01 Tobii Ab Gaze and smooth pursuit based continuous foveal adjustment
US10025378B2 (en) * 2013-06-25 2018-07-17 Microsoft Technology Licensing, Llc Selecting user interface elements via position signal
US10089786B2 (en) 2013-08-19 2018-10-02 Qualcomm Incorporated Automatic customization of graphical user interface for optical see-through head mounted display with user interaction tracking
GB201322873D0 (en) * 2013-12-23 2014-02-12 Tobii Technology Ab Eye gaze determination
JP2015153195A (ja) * 2014-02-14 2015-08-24 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
US10607401B2 (en) * 2015-06-03 2020-03-31 Tobii Ab Multi line trace gaze to object mapping for determining gaze focus targets
KR101904889B1 (ko) * 2016-04-21 2018-10-05 주식회사 비주얼캠프 표시 장치와 이를 이용한 입력 처리 방법 및 시스템
JP6604271B2 (ja) * 2016-06-06 2019-11-13 富士通株式会社 注視位置検出装置、注視位置検出方法及び注視位置検出用コンピュータプログラム
US10981061B2 (en) * 2016-06-13 2021-04-20 Sony Interactive Entertainment LLC Method and system for directing user attention to a location based game play companion application
CN105979224A (zh) 2016-06-23 2016-09-28 青岛歌尔声学科技有限公司 一种头戴显示器、视频输出设备和视频处理方法、***
US10845595B1 (en) * 2017-12-28 2020-11-24 Facebook Technologies, Llc Display and manipulation of content items in head-mounted display
WO2019202355A1 (en) 2018-04-18 2019-10-24 Flex Ltd. System and method for using gaze control to control electronic switches and machinery
US10969865B2 (en) 2018-11-25 2021-04-06 Htc Corporation Method for transmission of eye tracking information, head mounted display and computer device
US11144052B2 (en) 2018-12-07 2021-10-12 Toyota Research Institute, Inc. Readiness and identification by gaze and/or gesture pattern detection
US11042259B2 (en) * 2019-08-18 2021-06-22 International Business Machines Corporation Visual hierarchy design governed user interface modification via augmented reality
US11922581B2 (en) 2020-05-08 2024-03-05 Coviden Lp Systems and methods of controlling an operating room display using an augmented reality headset
US11606529B2 (en) 2020-10-16 2023-03-14 Google Llc Channel layering of video content for augmented reality (AR) or control-based separation
US11423569B1 (en) 2021-04-09 2022-08-23 Varjo Technologies Oy Gaze-tracking system and method employing selective glints

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117755076A (zh) * 2023-12-26 2024-03-26 广州车全影电子科技有限公司 汽车仪表盘控制方法、装置、存储介质及电子设备
CN117755076B (zh) * 2023-12-26 2024-05-31 广州车全影电子科技有限公司 汽车仪表盘控制方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
US20220413605A1 (en) 2022-12-29
TW202301872A (zh) 2023-01-01
US11726564B2 (en) 2023-08-15
TW202301083A (zh) 2023-01-01
US20220413607A1 (en) 2022-12-29
CN115598832A (zh) 2023-01-13
TWI801276B (zh) 2023-05-01
US20220413606A1 (en) 2022-12-29
CN115598842A (zh) 2023-01-13
TW202301871A (zh) 2023-01-01
TWI802456B (zh) 2023-05-11

Similar Documents

Publication Publication Date Title
US10712901B2 (en) Gesture-based content sharing in artificial reality environments
US9829989B2 (en) Three-dimensional user input
CN115598831A (zh) 提供精准眼动追踪的光学***和相关方法
US11625103B2 (en) Integration of artificial reality interaction modes
JP2022535316A (ja) スライドメニューを有する人工現実システム
CN117032519A (zh) 用于与三维环境进行交互的设备、方法和图形用户界面
KR20160071404A (ko) 사용자 인터페이스 프로그래밍적 스케일링
US11656689B2 (en) Single-handed microgesture inputs
US11720171B2 (en) Methods for navigating user interfaces
KR20220018562A (ko) 인공 현실 시스템을 위한 모서리-식별 제스처-구동 사용자 인터페이스 요소 게이팅
KR20180094875A (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
US20240103712A1 (en) Devices, Methods, and Graphical User Interfaces For Interacting with Three-Dimensional Environments
US20240103629A1 (en) Control device and control method
JP2016126687A (ja) ヘッドマウントディスプレイ、操作受付方法および操作受付プログラム
JP2023168746A (ja) 情報処理装置、情報処理システム、情報処理方法、プログラム
WO2024064231A1 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
WO2024064180A1 (en) User interfaces that include representations of the environment
CN113220110A (zh) 显示***及方法
CN118302737A (zh) 用于与电子设备交互的方法
CN117957581A (zh) 用于与三维环境交互的设备、方法和图形用户界面

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination