CN106168853B - 一种自由空间头戴式视线跟踪*** - Google Patents

Abstract

本发明公开了一种头戴式视频采集装置，同时采集4路近红外眼部视频和1路场景视频，所述4路近红外眼部视频包括来自佩戴该头戴式视频采集装置的穿戴者的左眼和右眼的各2路近红外眼部视频；立体视觉估算双眼光轴单元，通过立体视觉的方法直接估算双眼瞳孔和角膜球心坐标，计算双眼光轴直线方程；以及双眼视线及凝视点估算单元，根据眼球Kappa角和双眼光轴直线方程估算双眼视轴直线方程，进而计算出凝视点坐标，映射出凝视点在场景视频中的位置并进行标注，所述Kappa角是每个眼球的光轴和视轴之间的固定夹角。

Description

一种自由空间头戴式视线跟踪***

技术领域

本发明涉及视线跟踪领域，尤其涉及一种自由空间头戴式视线跟踪***。

背景技术

视线跟踪技术主要是利用眼动测量设备记录眼球的运动情况，从而判断出人的视线方向，达到跟踪人视线的目的。视觉是人们获取信息的主要方式，由于视线具有直接性、自然性和双向性等特点，使得视线跟踪技术在人机交互、心理及行为分析等领域有着广阔的应用前景。

目前的视线跟踪***主要基于图像处理和计算机视觉的方法，大致可以分为远距离桌面式设备视线跟踪方法和头戴式设备视线跟踪方法。远距离桌面式视线跟踪***由于距离眼部较远，对摄像头的分辨率等性能有较高的要求，对头部姿态和运动范围的限制较大。头戴式视线跟踪***的眼部视频采集设备固定在头上，实时采集眼部图像，同时利用场景摄像头拍摄场景图像，利用算法从拍摄的眼部图像中提取瞳孔中心等位置信息，进而计算出注视点在场景图像中的位置。现有的头戴式视线跟踪***常采用二维视线跟踪模型，最常见的就是以瞳孔中心或者瞳孔-角膜反射向量作为视线特征量，再通过事先设定的标定过程建立眼动信息和凝视点之间的关系。这类方法的标定方式较为复杂，穿戴者头部难以自由移动，使用过程中设备在穿戴者头部不能移动，难以在实际应用中使用。

发明内容

本发明的目的是提供一种自由空间头戴式视线跟踪***，其可以跟踪计算穿戴者在三维自由空间中视线凝视区域的三维坐标，拍摄穿戴者面前的场景视频，并在场景视频中标注出穿戴者的凝视区域。本***无需繁琐的训练和标定，穿戴者戴上即可使用；穿戴者头部可以自由活动，使用过程中设备在穿戴者头部的可以自由移动；经过简单的标定之后，可以获得高精度的视线跟踪效果。

本发明的目的是通过以下技术方案实现的：

一种自由空间头戴式视线跟踪***，包括：

头戴式视频采集装置，同时采集4路近红外眼部视频和1路场景视频，所述4路近红外眼部视频包括来自佩戴该头戴式视频采集装置的穿戴者的左眼和右眼的各2路近红外眼部视频；

立体视觉估算双眼光轴单元，通过立体视觉的方法直接估算双眼瞳孔和角膜球心坐标，计算双眼光轴直线方程；以及

双眼视线及凝视点估算单元，根据眼球Kappa角和双眼光轴直线方程估算双眼视轴直线方程，进而计算出凝视点坐标，映射出凝视点在场景视频中的位置并进行标注，所述Kappa角是每个眼球的光轴和视轴之间的固定夹角

可选地，所述头戴式视频采集装置包括：

固定装置，主要包括2个镜框和中间连接的鼻梁；

眼部视频采集装置，包括在每个镜框上放置的2个用于采集眼部视频的近红外微距摄像头，两个镜框上共计放置4个近红外微距摄像头，其中：所述每个镜框处的2个近红外微距摄像头平行放置在镜框的下方；穿戴者戴上该头戴式视频采集装置后，近红外微距摄像头拍摄到穿戴者的眼睛的全部区域；

近红外光源照明装置，包括在每个镜框周边放置的2个以上的近红外光源，所述近红外光源的形状和彼此之间的距离使眼部近红外光照强度均匀适度，并且使摄像头采集到的眼部视频能看到清晰的瞳孔和每个近红外光源在角膜表面反射形成的光斑；

场景视频采集装置，包括在固定装置的鼻梁上方放置的1个广角可见光摄像头，用于拍摄场景视频。

可选地，所述固定装置固定在眼镜或其他头戴式设备上。

可选地，所述近红外微距摄像头镜头上镀上近红外滤光膜或者镜头前面覆盖近红外滤光片。

可选地，所述立体视觉估算双眼光轴单元包括：

眼部视频中瞳孔和光斑中心提取单元，基于头戴式视频采集装置采集到的4路眼部视频，提取各路视频中瞳孔和光斑中心的位置，其中，在眼部摄像头采集到的眼部视频中，在近红外光照射下，瞳孔部分和周围灰度值差别巨大且为椭圆形；近红外光源在角膜表面反射形成的光斑也有明显的灰度特征，根据瞳孔和光斑的灰度及形状特征提取瞳孔和光斑中心的位置坐标；

立体视觉估算瞳孔和光斑中心三维坐标单元，先标定每个摄像头的内参数，然后再标定出每个眼睛处2个摄像头之间的旋转平移矩阵，在每个眼睛处，根据2个摄像头之间的旋转平移矩阵和检测到的瞳孔和光斑在图像中的位置，通过立体视觉的方法，以其中任意选定的一个摄像头的坐标系为基准，计算出瞳孔和每个光斑中心的三维坐标；以及

双眼角膜球心三维坐标及光轴估算单元，根据人体眼球模型，近红外光源在眼球角膜表面反射形成的光斑为球面反射成像，立体视觉计算得到的光斑三维坐标为近红外光源在角膜球面反射形成的虚像位置坐标，真实的近红外光源与其虚像的连线经过角膜球心，根据两个红外LED及其对应虚像的三维坐标，计算出角膜球心的三维坐标，每个眼球角膜球心和瞳孔中心连线即为眼球光轴，通过立体视觉的方式获得角膜球心和瞳孔中心的三维坐标后，计算出每个眼球光轴的直线方程。

可选地，自由空间头戴式视线跟踪***还包括双眼Kappa角校正单元，通过穿戴者凝视外部近红外光源校正双眼Kappa角，进一步提高视线跟踪精度，其中，当穿戴者凝视外部近红外光源时，外部近红外光源会在双眼眼球角膜表面反射形成虚像，每个眼球处，该外部近红外光源与虚像连线经过眼球角膜球心，为该眼球此时的视轴，通过立体视觉求得该虚像的三维坐标，获得双眼视轴的直线方程，结合双眼光轴直线方程，进而算出每个眼球的Kappa角。

可选地，所述双眼视线及凝视点估算单元执行以下操作：

根据双眼光轴直线方程及Kappa角的经验值或标定后的精确值，获得视轴的直线方程；

标定左右双眼处前面选取的基准摄像头坐标系之间的旋转平移矩阵，以其中一个摄像头的坐标系为基准世界坐标系，根据左右双眼的视轴直线方程和旋转平移矩阵，计算其穿戴者关注的区域位置三维坐标；

标定场景摄像头坐标系与基准世界坐标系之间的旋转平移矩阵，根据该旋转平移矩阵和场景摄像头投影矩阵，计算凝视点在场景视频中的位置，并将其标出。

本发明通过头戴式视频采集装置采集4路眼部视频和1路场景视频，采用立体视觉的方法直接估算穿戴者双眼眼球瞳孔和角膜球心的三维坐标，计算出双眼光轴直线方程，结合双眼Kappa角的经验值或标定后的精确值，即可获得双眼视轴直线方程，进而估算出凝视点的三维坐标并在场景视频中标出。通过穿戴者凝视近红外灯，可以精确标定双眼Kappa角，进一步提高跟踪精度。本发明能跟踪穿戴者在三维自由空间中双目视线凝视点三维坐标，并在场景视频中标出；无需繁琐的训练和标定，穿戴者戴上即可使用，用户体验好；穿戴者头部可以自由活动，使用过程中设备在穿戴者头部的可以自由移动；经过简单的标定之后，可以获得高精度的视线跟踪效果。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，而不对本发明的保护范围构成限制。

图1为本发明实施例提供的自由空间视线跟踪光路图。

图2为本发明实施例提供的自由空间头戴式视线跟踪***框图。

图3为本发明实施例提供的头戴式视频采集装置结构示意图。

图4为本发明实施例提供的近红外LED光源在角膜球面反射成像示意图。

图5为本发明实施例提供的近红外LED光源与虚像连接交于球心示意图。

图6为本发明实施例提供的凝视外部近红外光源校正Kappa角示意图。

具体实施方式

下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提供一种自由空间头戴式视线跟踪***的实现方法，其可以跟踪穿戴者在三维自由空间中双目视线凝视点三维坐标，并在场景视频中标出；无需繁琐的训练和标定，穿戴者戴上即可使用，用户体验好；用户头部可以自由活动，使用过程中设备在穿戴者头部的可以自由移动；经过简单的标定之后，可以获得高精度的视线跟踪效果。

如图1所示为自由空间视线跟踪光路图。根据人眼的真实结构，考虑了眼球巩膜和角膜曲率的不同，整个眼球形状类似与两个不同大小的球体嵌套而成。人双眼视线的交点即为关注的凝视点，视轴即是凝视点和视网膜黄斑中心点之间的连线，该连线经过角膜球心。光轴为连接瞳孔中心和角膜球心的直线，视轴和光轴存在一定的夹角被称为Kappa角。每个人眼球的Kappa角都是固定的，一般在5°左右。根据该光路图，本发明先算得双眼瞳孔和角膜球心三维坐标，求出双眼光轴直线方程，结合Kappa角的经验值或校正后的精确值，即可求得双眼视轴直线方程，进而算出凝视点。

如图2所示为自由空间头戴式视线跟踪***框图。本发明主要包括：头戴式视频采集装置10，眼部视频中瞳孔和光斑中心提取单元20，立体视觉估算瞳孔和光斑中心三维坐标单元30，双眼角膜球心三维坐标及光轴估算单元40，双眼Kappa角校正单元50，双眼视线及凝视点估算单元60。

头戴式视频采集装置10包括：固定装置，眼部视频采集装置、近红外光源照明装置和场景视频采集装置。如图3所示为头戴式视频采集装置示意图。如图3所示，固定装置主要包括2个镜框和中间连接的鼻梁，可以固定在眼镜或其他头戴式设备上。眼部视频采集装置具体是通过在每个镜框上放置2个近红外微距摄像头采集眼部视频，两个眼睛共计4个近红外摄像头。根据本发明的实施例，所述每个镜框处的2个近红外微距摄像头尽量平行放置在镜框的下方，间距1cm左右，能排除眼部睫毛等的干扰。穿戴者戴上该装置后，近红外微距摄像头拍摄到穿戴者的眼睛的全部区域。摄像头镜头上镀上近红外滤光膜或者镜头前面覆盖近红外滤光片，能滤除可见光，排除环境光照对眼部视频采集的影响。近红外光源照明装置可以包括在每个镜框周边放置的2个以上的近红外光源，近红外光源形状和布局应当使眼部近红外光照强度均匀适度，摄像头采集到的眼部视频能看到清晰的瞳孔和每个近红外光源在角膜表面反射形成的光斑。根据本发明的实施例，可以在每个镜框的上边缘和下边缘分别放置两个近红外光源。场景视频采集装置是在固定装置鼻梁上方放置1个广角可见光摄像头，拍摄场景视频。

眼部视频中瞳孔和光斑中心提取单元20，基于头戴式视频采集装置采集到的4路眼部视频，提取各路视频中瞳孔和光斑中心的位置。在眼部摄像头采集到的眼部视频中，在近红外光照射下，瞳孔部分和周围灰度值差别巨大且为椭圆形；近红外光源在角膜表面反射形成的光斑也有明显的灰度特征，且基本为圆形或椭圆形。根据瞳孔和光斑的灰度及形状特征可以提取其中心位置坐标。对于瞳孔中心坐标检测，其基本步骤如下：先根据边缘或灰度信息粗定位瞳孔中心坐标；再通过星射线法等精确检测瞳孔边缘；最后通过椭圆拟合及迭代筛选去噪精确定位瞳孔中心坐标。对于耀斑中心的检测，由于红外LED相对于摄像头的位置确定，摄像头拍摄到的每个LED在角膜上形成的耀斑位置变化很小，特别是各LED形成的耀斑相对位置不会变化。基于位置可以将多个耀斑简单分割开，并对应到相应的LED。由于耀斑亮度明显高于图像其他部分，且为椭圆形。提取耀斑中心的算法与提取瞳孔中心基本一致。

立体视觉估算瞳孔和光斑中心三维坐标单元30，计算机立体视觉估算瞳孔和耀斑中心三维坐标的基础是完成多个摄像机标定。摄像机进行标定后，不仅能够得到准确的各个摄像机内外参数，而且还能够得到多个摄像机之间的位置关系，即各摄像头坐标系之间的旋转矩阵R和平移矢量T。

摄像机最基本的成像模型就是针孔模型，针孔模型是基于共线性原理，即将现实空间中的物体点通过投影中心投影到成像平面上，通常把摄像机坐标系的原点作为投影中心。考虑摄像机内部参数，整个投影矩阵如式1所示。

这里(X,Y,Z)是一个点的世界坐标，(x,y)是点投影在图像平面的坐标，以像素为单位。s为尺度因子。如式2所示，M为摄像机内参数矩阵，(Cx,Cy)是基准点(通常在图像的中心)，fx、fy是以像素为单位的焦距。内参数矩阵不依赖场景的视图，一旦计算出，可以被重复使用(只要焦距固定)。如式3所示，旋转－平移矩阵W＝[R|t]被称作外参数矩阵，它用来描述摄像机坐标系相对于固定的世界坐标系的旋转和平移变换。也就是[R|t]将世界坐标系中点(X,Y,Z)的坐标变换到摄像机坐标系中的坐标。

通过已知在世界坐标系中位置的标定靶，如棋盘格标定靶，利用OpenCV中的单摄像机标定算法，如张正友标定法，我们可以较为精确地获得各摄像机的尺度因子、摄像机内部参数矩阵M，以及摄像机坐标系相对于世界坐标系的旋转-平移矩阵W。通过两个摄像头同时拍摄到的多幅标定靶照片，结合已经标定得到的每个摄像头的内参数矩阵，使用OpenCV中的双目摄像头标定算法，可以获得各摄像机坐标系之间的旋转-平移矩阵。

以双目摄像头某一摄像头坐标系为基准，根据标定好的双目摄像头的内参数矩阵M1、M2，旋转-平移矩阵W1、W2，以及双目摄像头拍摄图像中对应的[x1,y1]，[x2,y2]图像平面坐标，可以获得式4、5。联立两式，采用最小二乘法可以解得三维空间中坐标[X,Y,Z]。根据从双目摄像头拍摄到的眼部视频图像中检测到的瞳孔中心和耀斑中心的位置，即可算出眼球瞳孔中心和耀斑中心的三维坐标。

双眼角膜球心三维坐标及光轴估算单元40。如图4所示，单个近红外LED灯在角膜表面反射形成的耀斑，是球面镜反射成像。根据球面镜反射成像规律，通过双目摄像头计算得到的耀斑三维坐标为该LED灯球面反射形成的虚像位置坐标。如图5所示，根据球面镜反射成像规律，真实的红外LED灯与其虚像的连线经过角膜球心，根据两个红外LED及其对应虚像的三维坐标，即可以计算出角膜球心的三维坐标。通过双目视觉的方式获得角膜球心和瞳孔中心的三维坐标后，即可算出每个眼球光轴的直线方程。

双眼Kappa角校正单元50，通过凝视外部近红外LED灯的方式进行Kappa角的校正。如图6所示，当穿戴者凝视外部的近红外LED灯S时，灯S同时也会在双眼角膜表面球面反射形成虚像s1、s2。灯S与眼球1处形成的虚像s1的连线Ss1经过角膜球心c1，为眼球1的视轴直线；灯S与眼球2处形成的虚像s2的连线Ss2经过角膜球心c2，为眼球2的视轴直线。从眼球1处的双目摄像头O11和O12拍摄到的眼部视频中提取红外LED灯S形成的耀斑，通过立体视觉的方法算出虚像s1的三维坐标，结合前面求得的眼球1角膜球心c1的三维坐标即可求得眼球1的视轴直线方程；从眼球2处的双目摄像头O21和O22拍摄到的眼部视频中提取红外LED灯S形成的耀斑，通过立体视觉的方法算出虚像s2的三维坐标，结合前面求得的眼球2角膜球心c2的三维坐标即可求得眼球2的视轴直线方程。再结合前面求得的双眼光轴直线方程，可以算出穿戴者双眼视轴和光轴的夹角Kappa角。

双眼视线及凝视点估算单元60，估算双眼视轴直线方程，进而计算出凝视点坐标，映射出其在场景视频中的位置并进行标注。如图2所示，根据Kappa角的经验值或标定校正后的精确值，结合两眼处获得的光轴直线方程，可以估算出双眼的视轴直线方程。根据标定得到的左右双眼处选取的基准摄像头坐标系之间的旋转平移矩阵，以其中一个摄像头的坐标系为基准世界坐标系，根据左右双眼的视轴直线方程，计算其穿戴者关注的区域位置三维坐标。根据得到的场景摄像头坐标系与基准世界坐标系之间的旋转平移矩阵和场景摄像头投影矩阵，已知凝视点在世界坐标系中的3维坐标，经过旋转平移变换即可获得该凝视点在场景摄像头坐标系中的坐标，结合通过针孔成像模型中的投影矩阵，可以获得其在场景摄像头图像中的位置，进而进行标记。本发明能跟踪穿戴者在三维自由空间中双目视线凝视点三维坐标，并在场景视频中标出；无需繁琐的训练和标定，穿戴者戴上即可使用，用户体验好；穿戴者头部可以自由活动，使用过程中设备在穿戴者头部的可以自由移动；经过简单的标定之后，可以获得高精度的视线跟踪效果。

尽管已经参照本发明的特定示例性实施例示出并描述了本发明，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本发明的精神和范围的情况下，可以对本发明进行形式和细节上的多种改变。因此，本发明的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

Claims (7)

1.一种头戴式自由空间视线跟踪***，其特征在于，包括：

头戴式视频采集装置，同时采集4路近红外眼部视频和1路场景视频，所述4路近红外眼部视频包括来自佩戴该头戴式视频采集装置的穿戴者的左眼和右眼的各2路近红外眼部视频；

立体视觉估算双眼光轴单元，通过立体视觉的方法直接估算双眼瞳孔和角膜球心坐标，计算双眼光轴直线方程，包括：首先，提取4路近红外眼部视频中瞳孔的位置坐标和光斑中心的位置坐标，然后，以任意一个红外摄像头的坐标系为基准，基于标定的每个眼睛处2个近红外微距摄像头之间的旋转平移矩阵、所述瞳孔的位置坐标和所述光斑中心的位置坐标，通过立体视觉的方法计算出瞳孔的三维坐标和每个光斑中心的三维坐标，接着，根据所述每个光斑中心的三维坐标及对应的近红外光源的三维坐标的连线的交点计算出角膜球心的三维坐标，根据所述瞳孔的三维坐标和所述角膜球心的三维坐标计算出每个眼球光轴的直线方程；以及

双眼视线及凝视点估算单元，根据眼球Kappa角和双眼光轴直线方程估算双眼视轴直线方程，进而计算出凝视点坐标，映射出凝视点在场景视频中的位置并进行标注，所述Kappa角是每个眼球的光轴和视轴之间的固定夹角。

2.根据权利要求1所述的头戴式自由空间视线跟踪***，其特征在于，所述头戴式视频采集装置包括：

固定装置，主要包括2个镜框和中间连接的鼻梁；

眼部视频采集装置，包括在每个镜框上放置的2个用于采集眼部视频的近红外微距摄像头，两个镜框上共计放置4个近红外微距摄像头，其中：所述每个镜框处的2个近红外微距摄像头平行放置在镜框的下方；穿戴者戴上该头戴式视频采集装置后，近红外微距摄像头拍摄到穿戴者的眼睛的全部区域；

近红外光源照明装置，包括在每个镜框周边放置的2个以上的近红外光源，所述近红外光源的形状和彼此之间的距离使眼部近红外光照强度均匀适度，并且使摄像头采集到的眼部视频能看到清晰的瞳孔和每个近红外光源在角膜表面反射形成的光斑；

场景视频采集装置，包括在固定装置的鼻梁上方放置的1个广角可见光摄像头，用于拍摄场景视频。

3.根据权利要求2所述的头戴式自由空间视线跟踪***，其特征在于，所述固定装置固定在眼镜或其他头戴式设备上。

4.根据权利要求2所述的头戴式自由空间视线跟踪***，其特征在于，所述近红外微距摄像头镜头上镀上近红外滤光膜或者镜头前面覆盖近红外滤光片。

5.根据权利要求1所述的头戴式自由空间视线跟踪***，其特征在于，所述立体视觉估算双眼光轴单元包括：

眼部视频中瞳孔和光斑中心提取单元，基于头戴式视频采集装置采集到的4路眼部视频，提取各路视频中瞳孔和光斑中心的位置，其中，在眼部摄像头采集到的眼部视频中，在近红外光照射下，瞳孔部分和周围灰度值差别巨大且为椭圆形；近红外光源在角膜表面反射形成的光斑也有明显的灰度特征，根据瞳孔和光斑的灰度及形状特征提取瞳孔和光斑中心的位置坐标；

立体视觉估算瞳孔和光斑中心三维坐标单元，先标定每个摄像头的内参数，然后再标定出每个眼睛处2个摄像头之间的旋转平移矩阵，在每个眼睛处，根据2个摄像头之间的旋转平移矩阵和检测到的瞳孔和光斑在图像中的位置，通过立体视觉的方法，以其中任意选定的一个摄像头的坐标系为基准，计算出瞳孔和每个光斑中心的三维坐标；以及

双眼角膜球心三维坐标及光轴估算单元，根据人体眼球模型，近红外光源在眼球角膜表面反射形成的光斑为球面反射成像，立体视觉计算得到的光斑三维坐标为近红外光源在角膜球面反射形成的虚像位置坐标，真实的近红外光源与其虚像的连线经过角膜球心，根据两个红外LED及其对应虚像的三维坐标，计算出角膜球心的三维坐标，每个眼球角膜球心和瞳孔中心连线即为眼球光轴，通过立体视觉的方式获得角膜球心和瞳孔中心的三维坐标后，计算出每个眼球光轴的直线方程。

6.根据权利要求1所述的头戴式自由空间视线跟踪***，其特征在于，还包括双眼Kappa角校正单元，通过穿戴者凝视外部近红外光源校正双眼Kappa角，进一步提高视线跟踪精度，其中，当穿戴者凝视外部近红外光源时，外部近红外光源会在双眼眼球角膜表面反射形成虚像，每个眼球处，该外部近红外光源与虚像连线经过眼球角膜球心，为该眼球此时的视轴，通过立体视觉求得该虚像的三维坐标，获得双眼视轴的直线方程，结合双眼光轴直线方程，进而算出每个眼球的Kappa角。

7.根据权利要求1所述的头戴式自由空间视线跟踪***，其特征在于，所述双眼视线及凝视点估算单元执行以下操作：

根据双眼光轴直线方程及Kappa角的经验值或标定后的精确值，获得视轴的直线方程；

标定左右双眼处前面选取的基准摄像头坐标系之间的旋转平移矩阵，以其中一个摄像头的坐标系为基准世界坐标系，根据左右双眼的视轴直线方程和旋转平移矩阵，计算其穿戴者关注的区域位置三维坐标；

标定场景摄像头坐标系与基准世界坐标系之间的旋转平移矩阵，根据该旋转平移矩阵和场景摄像头投影矩阵，计算凝视点在场景视频中的位置，并将其标出。