CN114077061A - 头戴式显示设备以及眼球追踪装置 - Google Patents

Abstract

本发明提供一种头戴式显示设备以及眼球追踪装置。眼球追踪装置包括第一透镜组、分光组件、显示器、影像传感器、第二透镜组以及多个光源。分光组件接收第一光束并产生第二光束，使第二光束传送至第一透镜组。显示器透过分光组件以及第一透镜组投射参考标志至目标区。影像传感器透过第一透镜组、分光组件以及第二透镜组以撷取目标区上的检测影像。第二透镜组设置在分光组件与影像传感器间。多个光源设置在影像传感器的周围，透过第一透镜组、分光组件以及第二透镜组以分别投射多个光束至目标区。

Description

头戴式显示设备以及眼球追踪装置

技术领域

本发明涉及一种头戴式显示设备以及眼球追踪装置，特别是涉及一种可以提升视觉舒适度的头戴式显示设备以及眼球追踪装置。

背景技术

晕眩和视觉不舒适问题是具有扩增实境(Augmented Reality，AR)或虚拟现实(Virtual Reality，VR)的头戴式显示设备(Head Mounted Display，HMD)或智慧眼镜(smart eyewear)等光学产品中目前所面临到的一大瓶颈，目前市售的扩增实境与虚拟现实技术，鲜少能针对特定使用者的头型、视力条件、穿戴姿势给予最佳的设计配置或提供有效指导，不适配的穿戴不仅可能造成使用者生理上的不舒适，更严重影响使用者的沉浸感和所接收到的信息及影像质量(影像模糊、影像扭曲不自然)等，导致容易让消费者在第一次接触扩增实境/虚拟现实时就退避三舍。

发明内容

本发明是针对一种头戴式显示设备以及眼球追踪装置，可以有效追踪眼球，以减缓晕眩和视觉不舒适等问题，进而提升视觉舒适度。

根据本发明的实施例，眼球追踪装置包括第一透镜组、分光组件、显示器、影像传感器、第二透镜组以及多个光源。第一透镜组具有朝向目标区的第一表面，并具有与第一表面相对的第二表面。分光组件接收第一光束并产生第二光束，使第二光束传送至第一透镜组的第二表面。显示器投射参考标志至目标区。影像传感器透过第一透镜组、分光组件以及第二透镜组以撷取目标区上的检测影像。第二透镜组设置在分光组件与影像传感器间。多个光源配置于影像传感器的周围，透过第一透镜组、分光组件以及第二透镜组以分别投射多个光束至目标区。

根据本发明的实施例，头戴式显示设备包括处理器以及如上所述的眼球追踪装置。处理器耦接于影像传感器，接收检测影像。

根据上述，本发明提出的头戴式显示设备透过设置第一透镜组、分光组件、影像传感器、第二透镜组、多个光源以及显示器的搭配，经由配置于影像传感器的周围的多个光源透过第一透镜组、分光组件与第二透镜组以分别投射多个光束至目标区，以及显示器投射参考标志至目标区，再经由影像传感器透过第一透镜组、分光组件与第二透镜组以撷取目标区上的检测影像，可以有效追踪眼球，以减缓晕眩和视觉不舒适等问题，进而提升视觉舒适度。

附图说明

包含附图以便进一步理解本发明，且附图并入本说明书中并构成本说明书的一部分。附图说明本发明的实施例，并与描述一起用于解释本发明的原理。

图1A、1B出示本发明一实施例的眼球追踪装置的示意图；

图2A、2B分别出示本发明不同实施例的多个光源与影像传感器的配置方式的示意图；

图3出示本发明一实施例的头戴式显示设备的示意图；

图4出示本发明实施例的不同实施方式的偏移检定动作的示意图；

图5出示本发明一实施例的偏移检定动作的示意图；

图6出示本发明实施例的不同实施方式的偏移检定动作的示意图。

附图标号说明

100：眼球追踪装置；

110、120、310、320：透镜组；

130、330：分光组件；

140、340、540_L、540_R：显示器；

150、251、252、350、550_L、550_R：影像传感器；

160、160_1、160_2、260_1～260_16、360、360_1、360_2：光源；

300：头戴式显示设备；

370：处理器；

A：发送角度；

B1_1、B1_2、B2_1、B2_2、B3_1、B3_2、B4_1、B4_2：光束；

EYEL、EYER：眼球；

LI、LI’：光点影像；

r1、r2：距离；

RG：参考范围；

RI、RI’：参考标志的影像；

RI_L、RI_R：参考标志；

SF1、SF2、SF3、SF4：表面；

TG1、TG2：目标区；

TI1、TI1’、TI2、TI2’：检测影像；

VI：参考标志的虚拟成像。

具体实施方式

现将详细地参考本发明的示范性实施例，示范性实施例的实例说明于附图中。只要有可能，相同元件符号在图式和描述中用来表示相同或相似部分。

图1A、1B出示本发明一实施例的眼球追踪装置的示意图。图1A与图1B具有相同硬件架构，差别在于，图1A还出示了多个光源投射的光路径，图1B还出示了撷取检测影像的光路径。在图1A中，眼球追踪装置100包括透镜组110、120、分光组件130、显示器140、影像传感器150以及光源160。其中，透镜组110具有第一表面SF1与第二表面SF2。透镜组110的第一表面SF1朝向目标区TG1。透镜组110的第二表面SF2则与透镜组110的第一表面SF1相对。显示器140用以透过分光组件130与透镜组110投射参考标志至目标区TG1。透镜组120设置在分光组件130与影像传感器150间。光源160可区分为两个部份的光源160-1、160-2，并分别配置在影像传感器150的周围。光源160-1、160-2并用以分别投射光束B1-1、B1-2。

关于本发明图1A实施例的眼球追踪装置的动作细节。在图1A中，光源160_1、160_2分别投射光束B1_1、B1_2至透镜组120并穿过透镜组120以射向分光组件130。分光组件130接收光束B1_1、B1_2并产生光束B2_1、B2_2，分光组件130使光束B2_1、B2_2传送至透镜组110并穿过透镜组110以射向目标区TG1。在此，分光组件130用以反射光束B1_1、B1_2来产生光束B2_1、B2_2。透镜组110可以由一个或多个透镜所构成，没有固定的限制。

在本实施例中，目标区TG1可以为用户眼球的所在位置，透镜组120可以为可调焦透镜组(zoom lens)，可使光源160_1、160_2产生的光束B1_1、B1_2通过透镜组120后，经分光组件130产生的光束B2_1、B2_2再经由透镜组110分布于眼球表面，以在眼球的瞳孔周围产生多个光点影像。透镜组120并可用于使眼球表面上的检测影像聚焦于影像传感器150。

接着请参照图1B，影像传感器150透过透镜组120、分光组件130以及透镜组110撷取目标区TG1上的检测影像，以使眼球追踪装置可以根据检测影像执行眼球追踪动作。

在另一方面，光源160_1、160_2的每一可以由一个或多个发光二极管所构成。在本实施例中，上述的发光二极管可以为红外线发光二极管。影像传感器150可以为具接收红外线功能的红外线传感器。分光组件130可以针对光源160_1、160_2所发送的红外线光束进行反射。关于分光组件130的材质，可应用本领域具通常知识者所熟知的任意分光组件，本发明实施例并没有别的限制。

在本实施例中，眼球追踪装置100另可以解析目标区TG1上包含对应光束B2_1、B2_2的光点影像，以及显示器140投射的参考标志的检测影像，并利用上述多个影像的位置关系来检测用户的眼球的偏移信息。一般来说，偏移包含了穿戴所造成的偏移，或称为左右眼瞳距偏移(interpupillary distance，IPD)，另一种偏移为斜视所造成的偏移。进一步而言，穿戴偏移可以透过用户的眼球与影像传感器150的位置关系来判断，在本实施例中，影像传感器150配置于多个光源160的中央，因此可以根据多个光源160投射的多个光点影像与眼球的位置关系来判断。斜视偏移则需依赖观察使用者的注视角度，并透过显示器140根据多个发送角度投射多个测试图像，以根据多个发送角度与用户的视角信息来判断。

关于偏移信息的计算方式，在后续的实施方式中会有详细的说明。

在此请特别注意，基于本发明实施例的光源160_1、160_2设置在影像传感器150的周围，影像传感器150撷取的检测影像中，光源160_1、160_2所产生的光点影像，可以更均匀的分布在眼球的瞳孔周围，有效提升眼球追踪动作的准确度。此外，如此一来，本发明的眼球追踪装置100应用的头戴式显示设备，可进一步检测头戴式显示设备与使用者的眼球是否有发生偏移或斜视的情况。透过适度给予警示或引导，可帮助使用者调整头戴式显示设备到较佳的立体视觉显示位置，大幅改善消费者在使用扩增实境或虚拟现实上容易遇到的晕眩和视觉不舒适等问题，进而提升视觉舒适度。

图2A、2B分别出示本发明不同实施例的多个光源与影像传感器的配置方式的示意图。在图2A中，在影像传感器251的周围可具有光源260_1～260_8，且光源260_1～260_8与影像传感器251间的多个距离可以皆相同。当然，图2A中光源260_1～260_8的数量仅只是一种说明用的实施范例，不用以限制本发明的范畴。在本发明其他实施例中，光源的数量最少可为三个。

在图2B的另一实施例中，在影像传感器252的周围可具有光源260_9～260_16，且光源260_9～260_16与影像传感器252分别具有多个距离，其中至少两个光源与影像传感器252间的距离不相同。例如，光源260_9与影像传感器252相距一距离r1，光源260_11与影像传感器252相距另一距离r2，其中距离r1不等于距离r2(r1>r2)。附带一提的，当光源260_9与影像传感器252具有相对大的距离r1，且光源260_11与影像传感器252具有相对小的距离r2时，光源260_9的功率可以大于光源260_11的功率。当然，图2B中光源260_9～260_16的数量仅只是一种说明用的实施范例，不用以限制本发明的范畴。

附带一提的，在本发明其他实施方式中，光源未必需要以环型的方式排列在影像传感器的周围。光源亦可以其他形状的方式排列在影像传感器的周围。

图3出示本发明一实施例的头戴式显示设备的示意图。在本实施例中，头戴式显示设备300包括透镜组310、320、分光组件330、显示器340、影像传感器350、光源360以及处理器370。与图1A、1B的实施例不同的，本实施例另设置处理器370，并用以执行关于眼球追踪以及关于眼球的偏移检定的相关动作。

处理器370可以为具运算能力的处理器。或者，处理器370可以是透过硬件描述语言(Hardware Description Language,HDL)或是其他任意本领域具通常知识者所熟知的数字电路的设计方式来进行设计，并透过现场可程序逻辑门数组(Field Programmable GateArray,FPGA)、复杂可程序逻辑装置(Complex Programmable Logic Device,CPLD)或是特殊应用集成电路(Application-specific Integrated Circuit,ASIC)的方式来实现的硬件电路。

图4出示本发明实施例的不同实施方式的偏移检定动作的示意图。请参照图3与图4，头戴式显示设备300可透过处理器370进行穿戴偏移检定模式。在图4中的检测影像TI1中，检测影像TI1对应在目标区TG2上由光源360投射的多个光点影像LI与默认的参考范围RG重合，代表头戴式显示设备300没有发生穿戴偏移的情况。

相对的，在检测影像TI1’中，检测影像TI1’对应在目标区TG2上由光源360投射的多个光点影像LI’与默认的参考范围RG不重合，代表头戴式显示设备300有发生穿戴偏移的情况。

在另一方面，头戴式显示设备300可以透过处理器370以根据光点影像LI或LI’与预设的参考范围RG的位置关系来判断偏移信息，再将偏移信息回馈给用户，以引导使用者将左、右眼的左、右眼瞳距和穿戴姿势往正确的方向进行调整。

在本发明另一实施例中，处理器370还可以先判断显示器340投射至目标区TG2的参考标志的影像是否位于目标区TG2上默认的参考范围RG达预定时间，再进行上述的偏移信息的判断，即预先进行对焦的动作。例如，在本实施例中，目标区TG2为用户眼睛的所在位置，显示器340可以投射一个标志(例如为星芒图腾，或是其他任意形式的标志)至用户的眼球，以供使用者进行对焦。在此同时，使用者可直视上述的标志达预定时间(例如1～2秒)，以稳定使用者的眼球运动，并使其眼球尽量维持静止状态。其中，眼球的小范围震动可再由处理器370进行后续的图像处理来消除，以使本实施方式的偏移检定模式的判断更精确。当然，上述预定时间1～2秒的时间仅只是一种说明用的实施范例，不用以限制本发明的范畴。

图5出示本发明一实施例的偏移检定动作的示意图，图6出示本发明实施例的不同实施方式的偏移检定动作的示意图。请参照图5与图6，本实施例的头戴式显示设备中的处理器，可以在进行图4的穿戴偏移检定模式之后，再进行斜视偏移检定模式。图5中出示了对应左、右眼EYEL与EYER的显示器540_L、540_R，以及影像传感器550_L以及550_R。显示器540_L、540_R可以同时(或分时)对两个眼球EYEL、EYER分别根据发送角度A投射两个参考标志(例如为星芒图腾或是其他任意形式的标志)RI_L、RI_R，眼球EYEL、EYER分别注视参考标志RI_L、RI_R形成参考标志的虚拟成像VI的光路径，影像传感器550_L、550_R可以同时(或分时)撷取眼球EYEL、EYER上的检测影像。其中发送角度A可以为0度或依序递增的多个角度(10度→20度......等等)以反复测试(多个测试图像)和记录。

若使用者有斜视偏移的问题，使用者的眼球会转向一个不等于发送角度A的角度，头戴式显示设备可以再透过显示器540_L、540_R进一步以两眼交替单眼显示的方法，并透过处理器解析眼球EYEL、EYER的检测影像以获得用户的视角信息，再根据视角信息与发送角度A来判断使用者的眼球EYEL、EYER是否移动，进而确定使用者是否有斜视偏移的问题，以使本实施方式的偏移检定模式的判断更精确。

图6中出示本发明实施例的不同实施方式的偏移检定动作的示意图。在图6中的检测影像TI2中，检测影像TI2对应在目标区上的参考标志的影像RI与默认的参考范围RG重合，代表头戴式显示设备的使用者没有发生斜视偏移的情况。

相对的，在检测影像TI2’中，检测影像TI2’对应在目标区上的参考标志的影像RI’与默认的参考范围RG不重合，代表头戴式显示设备的使用者有发生斜视偏移的情况。

在另一方面，头戴式显示设备可以透过处理器以根据参考标志的影像RI或RI’与预设的参考范围RG的位置关系来判断斜视程度，再将斜视程度回馈给使用者。

根据上述，本发明实施例的多个光源设置在影像传感器的周围，影像传感器撷取的检测影像中，多个光源所产生的光点影像，可以更均匀的分布在眼球的瞳孔周围，有效提升眼球追踪动作的准确度。此外，如此一来，本发明应用眼球追踪装置的头戴式显示设备，可以透过处理器进行穿戴偏移检定模式与斜视偏移检定模式。不仅可以检测头戴式显示设备的穿戴是否不正、左右眼瞳距位置是否调整正确，并引导使用者调整头戴式显示设备的穿戴，更能检测使用者是否有斜视的情况，未来更可结合医疗资源给予协助，或进一步调整显示内容。透过适度给予警示或引导，可帮助使用者调整到较佳的立体视觉显示位置，大幅改善消费者在使用扩增实境或虚拟现实上容易遇到的晕眩和视觉不舒适等问题，进而提升视觉舒适度。

虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视后附的申请专利范围所界定者为准。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (11)

1.一种眼球追踪装置，包括：

第一透镜组，具有朝向目标区的第一表面，并具有与所述第一表面相对的第二表面；

分光组件，接收第一光束并产生第二光束，使所述第二光束传送至所述第一透镜组的第二表面；

显示器，透过所述分光组件以及所述第一透镜组投射参考标志至所述目标区；

影像传感器，透过所述第一透镜组、所述分光组件以及第二透镜组以撷取所述目标区上的检测影像，所述第二透镜组设置在所述分光组件与所述影像传感器间；以及

多个光源，设置在所述影像传感器的周围，透过所述第一透镜组、所述分光组件以及所述第二透镜组以分别投射多个光束至所述目标区。

2.根据权利要求1所述的眼球追踪装置，其中所述多个光源的数量至少三个，所述多个光源与所述影像传感器的距离相同。

3.根据权利要求1所述的眼球追踪装置，其中所述多个光源与所述影像传感器分别具有多个距离，其中所述多个距离的至少其中之二不相同。

4.根据权利要求3所述的眼球追踪装置，其中当第一距离大于第二距离时，第一距离对应的第一光源的功率大于第二距离对应的第二光源的功率。

5.根据权利要求1所述的眼球追踪装置，更包括：

处理器，耦接于所述影像传感器，用以进行眼球追踪动作。

6.根据权利要求5所述的眼球追踪装置，其中所述处理器更用以接收所述检测影像，解析所述检测影像中的所述参考标志的影像、所述多个光束分别对应的多个光点影像以及所述目标区上默认的参考范围的位置关系来判断偏移信息。

7.一种头戴式显示设备，包括：

如申请专利范围第1项所述的眼球追踪装置；以及

处理器，耦接于所述影像传感器，接收所述检测影像。

8.根据权利要求7所述的头戴式显示设备，其中在第一偏移检定模式中，所述处理器用以：

解析所述检测影像中的所述参考标志的影像以及多个光点影像，所述多个光点影像分别对应所述多个光束；以及

根据所述多个光点影像与所述目标区上默认的参考范围的位置关系来判断偏移信息。

9.根据权利要求8所述的头戴式显示设备，其中所述处理器更用以：

先判断所述参考标志的影像位于所述参考范围达预定时间，再根据所述多个光点影像与所述参考范围的位置关系来判断所述偏移信息。

10.根据权利要求8所述的头戴式显示设备，其中在所述第一偏移检定模式之后，进行第二偏移检定模式，其中所述处理器更用以：

根据所述参考标志的影像与所述参考范围的位置关系来判断斜视程度。

11.根据权利要求10所述的头戴式显示设备，其中

所述处理器根据所述参考标志的影像与所述参考范围的位置关系来判断所述斜视程度，包括：

所述显示器用以根据多个发送角度以依序投射多个测试图像至所述目标区；以及

所述处理器解析所述检测影像以获得用户的视角信息，并根据所述视角信息以及各所述发送角度来判断所述使用者的斜视程度。

Images