CN108399001A - 一种vr/ar中双目立体视觉眼动分析方法及装置 - Google Patents

Abstract

本发明公开一种VR/AR中双目立体视觉眼动分析方法：kappa角标定，眼睛注视标定点，各分配给左右眼的2个摄像机与至少2个光源确定眼睛的kappa角；实时确定左右眼的光轴；根据kappa角和左右眼的光轴确定左右眼的视轴区域；确定用户注视的区域。还提供使用上述方法的装置，用于头戴式VR或AR设备，对于一个用户只需标定一次kappa角，克服用户多次佩戴时头部位置移动的误差，减少繁琐的反复校准程序；该方法使用一种高效的光源组，在用户角膜上形成多个角膜反光点，自动筛选可靠角膜反光点进行眼动分析。当用户使用头戴式VR或AR设备时，实现覆盖用户全部眼动点位置或全视角，使得用户扫视时眼动点位置检测平滑，捕获的眼睛图像亮度均匀，后续图像处理方便。

Description

一种VR/AR中双目立体视觉眼动分析方法及装置

技术领域

本发明属于眼球追踪领域，尤其涉及一种VR/AR中双目立体视觉眼动分析方法及装置。

背景技术

Kappa角是眼球的视轴和光轴之间的夹角，当角膜映光向鼻侧偏位时，为正kappa角，用户眼睛看起来像外斜视；向颞侧偏位时，为负kappa角，又称阴性kappa角，用户眼睛看起来像内斜视。正常人kappa角为0～5°以内的正kappa角，负kappa角与大于5°的正kappa角均是病理性的，易误诊为斜视。

头戴式虚拟现实设备(又称VR眼镜，或者VR头盔)和头戴式增强现实设备(又称AR眼镜，或AR头盔)是目前正在快速发展和普及的虚拟现实和增强现实产品。其中，眼球追踪技术是基于图像处理技术提取眼球特征点，实时计算并记录眼睛所看位置的技术。

现有技术中，头戴式虚拟现实或增强现实装备主要基于暗瞳技术，并以角膜角膜反光点作为参考点计算瞳孔-角膜角膜反光点矢量，存在以下问题：

一、光源数量较少，在用户眼睛转动幅度较大、瞳孔偏转较大的时候，红外光源的角膜反光点可能落于角膜区域之外，无法被红外摄像机捕获，导致覆盖视角小，无法检测某些视角。

二、红外光源数量较少或分布不均匀，红外光源无法均匀照明眼睛，导致红外摄像机捕获的眼睛图像亮度不均匀，成像质量较差，影响眼球追踪数据精度。

三、不考虑用户正常kappa角，造成检测误差。

四、由于用户每次使用头戴式VR设备时，设备相对于用户的眼睛都有不同程度的相对移动，因而对同一用户再次使用头戴式VR设备时需要重新校准眼睛，使用麻烦。

发明内容

本发明提供了一种VR中双目立体视觉眼动分析方法及装置，以解决上述技术问题。

一种VR/AR中双目立体视觉眼动分析方法，包括步骤：

Kappa角标定，眼睛注视标定点，各分配给左右眼的2个摄像机与均匀分布的若干个光源中的至少2个光源确定至少一只眼睛的kappa角；

实时确定左右眼的光轴；

确定左右眼的视轴区域；

确定用户的注视区域。

优选地，各分配给左右眼的是均匀分布的8个光源。

优选地，所述确定一只眼睛的kappa角的步骤包括：

所述2个摄像机拍摄所述一只眼睛的包括所述至少2个光源的角膜反光点的图像，所述2个摄像机分别与所述角膜反光点确定的相应数个平面的相交线的交点是角膜球中心，所述眼睛的图像确定所述一只眼睛的瞳孔中心，所述角膜球中心与所述瞳孔中心连线确定所述一只眼睛的光轴；

所述标定点与所述角膜球中心连线确定眼睛的视轴；

所述光轴与所述视轴的夹角是kappa角。

优选地，所述实时确定左右眼的光轴包括：

所述2个摄像机拍摄所述左右眼的分别包括至少2个角膜反光点的图像，所述2个摄像机分别与至少2个角膜反光点确定的至少2个平面的相交线的交点是角膜球中心，所述眼睛的图像确定所述左右眼的的瞳孔中心；

所述角膜球中心与所述瞳孔中心连线是所述左右眼的光轴。

优选地，所述用户注视的区域是所述左右眼的视轴区域相交的区域或者是左右眼的视轴区域的中点位置。

优选地，所述用户注视的区域是所述左眼的视轴区域或右眼的视轴区域。

一种VR/AR中双目立体视觉眼动装置，其特点是：包括眼球追踪模块，以进行眼球追踪，该眼球追踪模块包括分配给各眼的2个摄像机、固定位置的若干个光源；

所述固定位置的若干个光源至少在角膜上产生2个角膜反光点。

优选地，所述光源的数量有8个

所述2个摄像机朝向眼睛设置，且位于8个光源的下方。

优选地，所述光源为红外光源，所述摄像机为红外摄像机。

优选地，还包括镜杯，镜杯包括镜杯支架和透镜，所述镜杯支架包括支架底座和支架侧壁。

本发明具有有益效果：通过提供一种高效的光源组及kappa角检测方法，对于一个用户只需标定一次kappa角，从而克服头戴式虚拟现实或增强现实设备相对于用户头部移动带来的误差，无需额外设置校准设备；并使用一种高效的红外光源组，在角膜上均可以选择数量合理的角膜反光点以检测眼动点位置，当用户使用头戴式虚拟现实或增强现实设备时，实现覆盖用户的全部眼动点位置或全视角，从而检测到平滑的用户扫视眼动点位置，同时，使红外摄像机捕获的眼睛图像亮度均匀，方便后续图像处理。

附图说明

图1是用户正视时的眼睛图像。

图2中图2a～图2h是用户不同视角的眼睛图像。

图3是图1的标定眼睛图像示意图。

图4是图2a的示意图。

图5是VR/AR中双目立体视觉眼动分析方法流程示意图。

图6是本发明一个实施例中的VR/AR中双目立体视觉眼动装置的正视图。

图7是图6中装置沿A-A’的剖面图。

图8是图7中装置工作示意图。

图9是选取有效的2个光源的角膜反光点以及kappa角的示意图。

图10是单摄像机单光源确定经过角膜球中心和摄像机光心平面的示意图。

图11是单摄像机双光源确定经过角膜球中心和摄像机光心连线的示意图。

图12是瞳孔折射虚像以及确定瞳孔中心的示意图。

具体实施方式

下面结合附图给出本发明较佳实施例，以详细说明本发明的技术方案。

由于正常人kappa角在0～5度范围内属于正常现象，参考图9，眼睛400观看目标物体(或标定点)600时，眼睛400的光轴502是指通过瞳孔中心402、角膜401的角膜球中心4010(角膜401近似呈一圆球形的部分，该角膜球中心4010为该圆球的圆心)和眼睛400的转动中心403的一条直线，一般不检测转动中心403，只需根据瞳孔中心402和角膜球中心4010的连线即可确定眼睛400的光轴502；眼睛400的视轴501是指通过角膜球中心4010和视网膜中央凹404中心的直线；视轴501与光轴502的夹角即为眼睛400的kappa角。一般认为人的左右眼的kappa角相近。在现有技术中，一般将检测光轴502所代表的瞳孔中心位置作为眼球追踪的技术，显然光轴502并不能准确指向用户所观看的目标600，因而在没有考虑用户眼睛可能存在的kappa角时，眼球追踪结果不准确。且由于kappa角存在一定范围，现有技术如果需要准确地确定用户注视区域，用户每次重新使用时均需要校准，该校准一般采用注视标定点的方法进行。

因而，本发明在虚拟现实或增强现实设备中采取一种VR中双目立体视觉眼动分析方法：

步骤一：标定Kappa角，眼睛注视标定点，各分配给左右眼的2个摄像机与均匀分布的若干个光源中的至少2个光源确定至少一只眼睛的kappa角；

步骤二：确定用户的注视区域：

实时确定左右眼的光轴；

确定左右眼的视轴区域；

确定用户的注视区域。

下面介绍步骤一：

标定Kappa角：眼睛注视标定点，各分配给左右眼的2个摄像机与均匀分布的6个以上光源中的至少2个光源确定至少一只眼睛的kappa角。

本步骤的关键点在于，精确确定用户眼睛的kappa角。

根据上述介绍，确定视轴和光轴。由于视轴是由角膜球中心和视网膜中央凹连线确定的空间向量，视网膜中央凹在正常头戴式虚拟现实和增强现实设备中较难获得，因而本发明采取以标定点和角膜球中心连线确定的空间向量作为用户眼睛的视轴，由于标定时标定点为注视目标，且标定点的位置是精确的， 因而视轴的确定更为精确。参考图5，下面介绍确定眼睛的角膜球中心：

本发明通过球面反射原理获得角膜球中心点的空间位置。参考图10，一个摄像机(摄像机的光心O)和一个光源L，由球面反射定理可知入射光线、反射光线和法线处于同一平面上。这说明了当点光源在角膜表面发生反射的时候，光源L、角膜球中心C(4010)、摄像机光心O与光源L在摄像机传感器上成像G处于同一平面上。

参考图10，由光源L发射出的光线106A经过角膜表面反射，摄像机传感器上形成像点G。由于光源L、角膜球中心C、摄像机光心O与光源L在摄像机传感器上成像G分别处于入射光线106A、法线与出射光线106B之上，所以这四个点同处于一张平面Π_L上。平面Π_L空间位置可以由摄像机光心O、像点G和光源L的空间位置计算获得，其中光源L的位置由通过在标定中确定，像点G通过角膜反光点确定。所以一个摄像机与一个产生角膜反光点的光源可以确定一张通过角膜球中心的平面。

由此可知，参考图11，当2个有效光源L1和L2与一个摄像机的情况下，检测过程会获得2张经过角膜球中心C的平面Π₁和Π₂，其中，有效光源的定义是摄像机能够在角膜上捕获其产生的角膜反光点的光源，从而可以确定像点G1和G2。由于平面Π₁和Π₂均经过该一个摄像机的光心O与角膜球中心C，所以这些平面的相交线是CO，即只能确定一条经过角膜球中心C的直线，不能确定角膜球中心的空间位置。

因此，本发明使用2个摄像机，即可获得两条均经过角膜球中心C而分别经过2个摄像机光心的直线，即，该两条直线的交点是角膜球中心C，从而可以计算得到用户眼睛的角膜球中心C。

但是用户在使用头戴式虚拟现实和增强现实设备时，视角的变化幅度较大，如图2a～图2h所示，这时如何在各个视角上都能捕获上述至少2个角膜反光点至关重要。

由此，本发明在此介绍一种VR/AR中双目立体视觉眼动装置，在各个视角上都能捕获至少2个角膜反光点。该装置包括眼球追踪模块，以进行眼球追踪，该眼球追踪模块包括2个摄像机、固定位置的若干个光源，若干个光源至少在角膜上产生2个角膜反光点。

在另外一个实施例中，固定位置的光源106有8个，8个红外光源106的固定位置有多种，成均匀分布或近似均匀分布，使摄像机102可以在各个视角上都能捕获至少2个角膜反光点。

较佳地，为方便实施，发明人在本实施例中光源采用较为规则的固定位置，参考图6，用户正视时8个光源106围绕眼睛中心均匀分布或近似均匀分布，摄像机102可以在各个视角上都能捕获至少2个角膜反光点；2个摄像机102朝向眼睛设置于8个光源下方。图8是图7中摄像机102工作示意图，头戴式虚拟现实或增强现实设备中的显示屏200显示标定点、目标物或图像。

图1是8个光源106围绕眼睛中心均匀分布或近似均匀分布，用户正视时拍摄的眼睛图像，可见在角膜401上明显有8个角膜反光点。图3是图1的示意图，8个光源从12点方向顺时针依次为1061、1062、1063、1064、1065、1066、1067、1068，与8个光源对应的角膜反光点依次为：角膜反光点一11、角膜反光点二12、角膜反光点三13、角膜反光点四14、角膜反光点五15、角膜反光点六16、角膜反光点七17、角膜反光点八18。图4是图2a的示意图，明显可见该视角下可在角膜上检测到光源1067、1068、1061、1062的角膜反光点17、18、11、12。

优选地，光源为红外光源，摄像机为红外摄像机。

较佳地，本装置还包括镜杯，所述镜杯包括透镜105和透镜支架，如图6～图7所示，透镜支架包括支架侧壁103和支架底座104，透镜支架以透镜105的中轴线为轴对称设计或不对称设计，以充分露出透镜105的工作部分为准，即支架底座104采取中空设计，如圆环或方孔设计，在104在紧固透镜105的同时，露出透镜105的工作部分。其中，透镜105安装在透镜支架底座104内侧；该装置是头戴式虚拟现实或增强现实设备中的装置，由于是头戴式设备，采用固定位置的8个红外光源106照射用户眼睛400，进而红外摄像机102捕获8个红外光源106在角膜(基本上覆盖虹膜2和瞳孔3区域)上的8个角膜反光点：角膜反光点一11、角膜反光点二12、角膜反光点三13、角膜反光点四14、角膜反光点五15、角膜反光点六16、角膜反光点七17、角膜反光点八18，步骤一和步骤二状态下，由于头戴式虚拟现实设备与头部相对静止，即固定位置的8个红外光源106与用户头部相对静止，从而上述角膜反光点相对于 眼球中心的位置绝对不变。

优选地，8个红外光源106设置于支架底座104外侧，将8个红外光源106设置于支撑透镜105的支架底座104表面。

优选地，上述红外光源106使用红外LED光源，为了让红外摄像机102拍摄到清晰的人眼图像，优选地，选择波长为940nm的红外LED光源。

优选地，本装置在工作时，摄像机拍摄图像容易受到显示屏发射的可见光干扰，通过在摄像机的镜头前设置一滤光片以解决上述问题。

需要说明的是，上述透镜105类型可以有多种，如透镜105可以为图1中所示的平凸透镜，也可以是对称或不对称的双凸透镜，也可以凹凸透镜，本发明对透镜105的类型不做限制。

需要说明的是，发明人设计了8个红外光源106在步骤一和步骤二中可检测到至少2个角膜反光点，从而使得用户扫视时眼动点位置检测平滑，且可均匀地照射眼睛，从而红外摄像机102接收到的眼睛图像亮度均匀，更容易判定眼睛角膜上的角膜反光点，使得后续处理更加容易。

上述各种VR/AR中双目立体视觉眼动装置均可保证在任何视角下在角膜上显示测量角膜球中心所需的至少2个角膜反光点。

需要说明的是，本实施例中采用显示屏上的几何规则位置作为标定点，其的好处在于，角膜中心切面相对于显示屏呈近乎平行，使得标定时可测面积最大。在其他实施例中也可以采用显示屏上特定位置或任意位置作为标定点，本发明对此不做限制。

参考图9，以标定点600与所确定的角膜球中心4010的连线为视轴501。

参考图5、图9，由于光轴502通过角膜球中心4010和瞳孔中心402，角膜球中心4010确定后，确定光轴只需再确定瞳孔中心402即可，以下介绍一种确定瞳孔中心402的方法：

在获得了角膜球中心之后，利用双摄像机102拍摄的瞳孔图像重建人眼光轴的空间位置。由于角膜球表面的折射作用，虽然通过双相机重建出的瞳孔位置并非是瞳孔的真实空间位置，即折射形成的瞳孔虚像与真实的瞳孔图像存在差异，但是两个图形的中心与摄像机光心O和角膜球中心C处于同一平面上。

参考图12，P与P’点分别表示瞳孔中心与瞳孔经角膜折射形成虚像的中心。 由折射定理可知，折射虚像、原像与折射法线处于同一平面内。同样，瞳孔的中心也符合这一规律，也即图中瞳孔中心P、瞳孔虚像中心P’和折射法线CO处于同一平面内。通过直线CO与瞳孔虚像中心P’的空间位置获得一张经过瞳孔中心P点的平面，这一关系可以由下式进行表示：

P﹒(e_ocXe_op’)＝0

当2个摄像机同时采集到瞳孔中心虚像时，可通过一个摄像机光心，瞳孔中心与角膜球中心所在的平面和另一个摄像机光心、瞳孔中心与角膜球中心所在的平面的交线即是通过瞳孔中心和角膜球中心的直线，即眼睛光轴的空间向量。

进而，光轴502和视轴501的夹角即为用户眼睛的kappa角。

需要说明的是，本发明可以在标定时确定一只眼睛的kappa角，也可以同时确定双眼各自的kappa角。确定双眼各自的kappa角时，在步骤二中可使用双眼各自的kappa角配合双眼各自的光轴确定双眼各自的视轴范围，并根据该双眼各自的视轴范围确定用户的注视区域，即单眼确定用户注视区域；也可以使用上述双眼的视轴范围共同确定用户的注视区域，本发明对此不做限制。

下面介绍步骤二：

实时确定左右眼的光轴；根据所述kappa角和所述左右眼的光轴确定左右眼的视轴区域；根据所述左右眼的视轴确定用户注视的区域。

本步骤的关键点在于实时确定左右眼的光轴。

根据上述，光轴通过角膜球中心和瞳孔中心。

参考图5，2个摄像机拍摄左右眼的分别包括至少2个角膜反光点的图像，所述2个摄像机分别与至少2个角膜反光点确定的至少4个平面的相交线的交点是角膜球中心。确定角膜球中心的方法与步骤一中的方法相同，发明人在此不做赘述。

根据2个摄像机拍摄的眼睛的图像确定左右眼的瞳孔中心。确定瞳孔中心的方法与步骤一中的方法相同，发明人在此不做赘述。

较佳地，在获取至少2个角膜反光点后，2个摄像机分别与至少2个角膜反光点中两两相邻的光源的2个角膜反光点确定的2个平面的相交线的交点是角膜球中心。

角膜球中心与所述瞳孔中心连线是所述左右眼的光轴。

根据步骤一中得到的kappa角和上述左右眼的光轴确定左右眼的视轴区域。该左右眼的视轴区域是以左右眼光轴为中轴、以角膜球中心为顶点、顶角为2倍kappa角度的延伸至显示屏的2个类锥形区域。

较佳地，以上述左眼的视轴区域对应的显示屏区域为用户的注视区域。或以上述右眼的视轴区域对应的显示屏区域为用户的注视区域。即单眼视轴区域确定用户的注视区域。

考虑到视轴501相对于光轴502偏离kappa角存在一定范围，瞳孔中心402和角膜球中心4010可准确测定，进而准确确定光轴502，根据光轴502和kappa角确定视轴501存在的一个范围，因而根据两只眼睛的立体视觉原理，两只眼睛视轴的范围之间的重合区域或其他有效区域可以准确确定用户的注视区域，且发明人发现该用户的注视区域可以有效排除头戴式VR或AR设备相对用户头部移动带来的误差，即采用kappa角确定视轴的本双目立体视觉眼动分析方法具有自校准而排除上述误差的作用；因而对于一个用户只需标定一次kappa角，从而克服头戴式虚拟设备相对于用户头部移动带来的误差，无需额外设置校准装置。较佳地，根据上述左右眼的视轴区域确定用户的注视区域。根据左右眼的视轴区域的特征，存在两种可能性：

一种是左右眼的视轴区域存在相交的区域，即非病理性眼睛具有正常kappa角时均应具有交集，则该相交的区域为用户注视的区域。采用kappa角确定视轴的本双目立体视觉眼动分析方法具有自校准而排除上述误差的作用；因而对于一个用户只需标定一次kappa角，从而克服头戴式虚拟设备相对于用户头部移动带来的误差，无需额外设置校准装置。

一种是左右眼的视轴区域不存在相交的区域，所述用户注视的区域是左右眼视轴区域的中点位置。采用kappa角确定视轴的本双目立体视觉眼动分析方法具有自校准而排除上述误差的作用；因而从而对于一个用户只需标定一次kappa角，从而克服头戴式虚拟设备相对于用户头部移动带来的误差，无需额外设置校准装置。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易 想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围以权利要求的保护范围为准。

Claims (10)

1.一种VR/AR中双目立体视觉眼动分析方法，包括步骤：

Kappa角标定，眼睛注视标定点，各分配给左右眼的2个摄像机与均匀分布的若干个光源中的至少2个光源确定至少一只眼睛的kappa角；

实时确定左右眼的光轴；

确定左右眼的视轴区域；

确定用户的注视区域。

2.根据权利要求1中所述的VR/AR中双目立体视觉眼动分析方法，其特征在于：各分配给左右眼的是均匀分布的8个光源。

3.根据权利要求2中所述的VR/AR中双目立体视觉眼动分析方法，其特征在于：所述确定一只眼睛的kappa角的步骤包括：

所述2个摄像机拍摄所述一只眼睛的包括所述至少2个光源的角膜反光点的图像，所述2个摄像机分别与所述角膜反光点确定的相应数个平面的相交线的交点是角膜球中心，所述眼睛的图像确定所述一只眼睛的瞳孔中心，所述角膜球中心与所述瞳孔中心连线确定所述一只眼睛的光轴；

所述标定点与所述角膜球中心连线确定眼睛的视轴；

所述光轴与所述视轴的夹角是kappa角。

4.根据权利要求3中所述的VR/AR中双目立体视觉眼动分析方法，其特征在于：所述实时确定左右眼的光轴包括：

所述2个摄像机拍摄所述左右眼的分别包括至少2个角膜反光点的图像，所述2个摄像机分别与至少2个角膜反光点确定的至少2个平面的相交线的交点是角膜球中心，所述眼睛的图像确定所述左右眼的的瞳孔中心；

所述角膜球中心与所述瞳孔中心连线是所述左右眼的光轴。

5.根据权利要求1中所述的VR/AR中双目立体视觉眼动分析方法，其特征在于：所述用户注视的区域是所述左右眼的视轴区域相交的区域或者是左右眼的视轴区域的中点位置。

6.根据权利要求1中所述的VR/AR中双目立体视觉眼动分析方法，其特征在于：所述用户注视的区域是所述左眼的视轴区域或右眼的视轴区域。

7.一种VR/AR中双目立体视觉眼动装置，其特征在于：包括眼球追踪模块，以进行眼球追踪，该眼球追踪模块包括分配给各眼的2个摄像机、固定位置的若干个光源；

所述固定位置的若干个光源至少在角膜上产生2个角膜反光点。

8.根据权利要求7中所述的VR/AR中双目立体视觉眼动装置，其特征在于：所述光源的数量有8个

所述2个摄像机朝向眼睛设置，且位于8个光源的下方。

9.根据权利要求7～8中任一所述的VR/AR中双目立体视觉眼动装置，其特征在于：所述光源为红外光源，所述摄像机为红外摄像机。

10.根据权利要求7中所述的VR/AR中双目立体视觉眼动装置，其特征在于：还包括镜杯，镜杯包括镜杯支架和透镜，所述镜杯支架包括支架底座和支架侧壁。