CN106598221B - 基于眼部关键点检测的3d视线方向估计方法 - Google Patents

Abstract

本发明公开了一种基于眼部关键点检测的3D视线方向估计方法，采用人脸检测及头部姿态估计装置进行人脸区域检测和头部姿态估计，在眼球中心标定环节目标人员注视屏幕上某个已知坐标点，在标定过程中首先提取得到眼部关键点和虹膜中心在人脸图像中的坐标，利用眼部关键点与眼球中心的固定距离来对眼球中心进行约束，求解出眼球中心在人脸检测及头部姿态估计装置坐标系下的坐标，再通过坐标变换得到头部坐标系下眼球中心的坐标；在以后的图像中，即可基于头部坐标系下眼球中心的坐标、头部坐标系原点、虹膜中心和头部姿态来对当前帧的视线方向进行估计。本发明通过引入眼部关键点信息，对眼球中心进行约束，从而能够更好地适应不同用户之间的差异。

Description

基于眼部关键点检测的3D视线方向估计方法

技术领域

本发明属于视线估计技术领域，更为具体地讲，涉及一种基于眼部关键点检测的3D视线方向估计方法。

背景技术

视觉作为人类了解周围的重要手段，机器通过捕获用户的注视位置，可以有利于对用户的许多行为进行解释分析，从而更好的理解用户的意图，进而提高用户的人机交互体验。

目前的视线估计方法大致可以分为以下几种：appearance-based、2Dregression-based、3D model-based。appearance-based的方法主要是通过学习的方式，根据图像提取眼部特征，然后学习得到特征到视线方向的映射方式，从而估计出视线方向。2Dregression-based中最具代表性的方法是PCCR(pupil center and cornealreflection)，PCCR主要通过用IR摄像机分别检测出瞳孔中心与角膜反射点的坐标，然后估计瞳孔-角膜反射的相对位置关系，从而估计出视线方向。3D model-based方法通过建立3D眼球模型，根据该模型的三维几何关系建立求解方程组，求解眼球中心和虹膜(瞳孔)中心的坐标，从而估计用户视线方向。目前的许多3D model-based方法建立的眼球模型过于简单，对于人与人之间的差异鲁棒性不佳。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于眼部关键点检测的3D视线方向估计方法，引入了眼部关键点信息，对眼球中心进行约束，从而更好地适应不同用户之间的差异。

为实现上述发明目的，本发明基于眼部关键点检测的3D视线方向估计方法包括以下步骤：

S1：在人脸前方设置人脸检测及头部姿态估计装置，用于获取人脸图像，从中检测得到人脸区域并对头部姿态进行估计，将头部姿态以该人脸检测及头部姿态估计装置坐标系下的旋转四元数[w,x,y,z]表示，其中w代表旋转量，x,y,z代表旋转轴；在眼球中心标定环节，目标人员注视屏幕上某个已知坐标点G₀，在视线估计环节，目标人员注视屏幕上任意点G；

S2：采用眼球中心标定环节所获取的人脸图像序列，对该目标人员进行眼球中心标定，得到眼球中心在头部坐标系中的坐标眼球中心标定的具体步骤包括：

S2.1：根据人脸检测及头部姿态估计装置所获取的人脸区域图像，检测得到眼部区域图像，提取得到各个眼部关键点在人脸图像中的坐标p_i，i＝1,2,…,M，M表示眼部关键点数量；

S2.2：根据步骤S2.1中得到的眼部区域图像，检测得到虹膜中心在人脸图像中的坐标p₀；

S2.3：采用眼球中心标定环节所获取的人脸图像序列每帧图像中的眼部关键点和虹膜中心的数据对以下方程组进行迭代求解，得到眼球中心在人脸检测及头部姿态估计装置坐标系下的坐标O_e：

其中，分别表示视轴单位向量N_g在人脸检测及头部姿态估计装置坐标系下的x、y轴分量，分别表示光轴单位向量N_e在人脸检测及头部姿态估计装置坐标系下的x、y轴分量；表示M个眼部关键点和虹膜中心在人脸检测及头部姿态估计装置坐标系下的坐标，j＝0,1,…,M，其计算公式为：

其中，f表示人脸检测及头部姿态估计装置中摄像机的焦距，o表示人脸检测及头部姿态估计装置中摄像机的主点图像坐标，分别表示点p_j在人脸检测及头部姿态估计装置坐标系下对应坐标的x、y、z轴分量；

在得到眼球中心在人脸检测及头部姿态估计装置坐标系下的坐标O_e之后，经过坐标转换即可得到头部坐标系下眼球中心的坐标其转换公式为：

其中，表示作为头部坐标系原点的第i^*个眼部关键点在人脸检测及头部姿态估计装置坐标系下的坐标，R表示旋转矩阵，其计算公式为：

S3：对于眼球中心标定环节完成之后的每帧人脸图像，根据步骤S2得到的眼球中心在头部坐标系中的坐标对当前帧目标人物的视线方向进行估计，视线估计的具体步骤包括：

S3.1：根据人脸检测及头部姿态估计装置所获取的人脸区域图像，检测得到眼部区域图像，提取得到作为头部坐标系原点的第i^*个眼部关键点在人脸图像中的坐标

S3.2：根据步骤S3.1中得到的眼部区域图像，检测得到虹膜中心在人脸图像中的坐标p₀；

S3.3：将头部坐标系原点坐标和虹膜中心坐标p₀转换到人脸检测及头部姿态估计装置坐标系下，其转换公式为：

S3.4：根据当前帧人脸图像的旋转四元数[w,x,y,z]，计算得到旋转矩阵R：

S3.5：根据当前帧对应的头部坐标系原点坐标旋转矩阵R对步骤S2得到的头部坐标系下眼球中心的坐标进行坐标系变换，得到当前帧人脸检测及头部姿态估计装置坐标系下眼球中心坐标O_e，其转换公式为：

S3.6：根据当前帧人脸检测及头部姿态估计装置坐标系下眼球中心坐标O_e和虹膜中心坐标计算光轴单位向量N_e：

S3.7：求解以下方程组得到视轴单位向量N_g作为视线方向，完成视线方向估计：

本发明基于眼部关键点检测的3D视线方向估计方法，采用人脸检测及头部姿态估计装置进行人脸区域检测和头部姿态估计，在眼球中心标定环节目标人员注视屏幕上某个已知坐标点，在标定过程中首先提取得到眼部关键点和虹膜中心在人脸图像中的坐标，利用眼部关键点与眼球中心的固定距离来对眼球中心进行约束，求解出眼球中心在人脸检测及头部姿态估计装置坐标系下的坐标，再通过坐标变换得到头部坐标系下眼球中心的坐标；在以后的图像中，即可基于头部坐标系下眼球中心的坐标、头部坐标系原点、虹膜中心和头部姿态来对当前帧的视线方向进行估计。本发明通过引入眼部关键点信息，对眼球中心进行约束，从而能够更好地适应不同用户之间的差异。

附图说明

图1是本发明所采用的眼球模型示意图；

图2是本发明基于眼部关键点检测的3D视线方向估计方法的具体实施方法流程图；

图3是本发明中眼球中心标定的流程图；

图4是基于参数化虹膜模型的虹膜中心检测方法的具体实施方法流程图；

图5是参数化虹膜模型示意图；

图6是虹膜中心检测过程的示例图；

图7是人脸检测及头部姿态估计装置坐标系与头部坐标系的关系示例图；

图8是本发明中视线方向估计的流程图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

为了更好地说明本发明的技术方案，首先对本发明所采用的眼球模型进行说明。图1是本发明所采用的眼球模型示意图。如图1所示，本发明中，记眼球中心为O_e，虹膜中心为p₀，注视点坐标为G。由于人眼球的生理结构特征，视线分为光轴N_e与视轴N_g，N_e和N_g之间存在固定夹角Kappa角，记其水平和竖直分量分别为α和β。光轴为眼球中心O_e与虹膜中心的连线，视轴为虹膜中心与注视点的连线，即实际的注视方向，本发明最终就是通过估计视轴方向，从而获取用户的注视方向的。

图2是本发明基于眼部关键点检测的3D视线方向估计方法的具体实施方法流程图。如图2所示，本发明基于眼部关键点检测的3D视线方向估计方法包括以下步骤：

S201：人脸检测及头部姿态估计：

在屏幕上设置人脸检测及头部姿态估计装置，用于获取人脸图像，从中检测得到人脸区域并对头部姿态进行估计，将头部姿态以该传感器坐标系下的旋转四元数[w,x,y,z]表示，其中w代表旋转量，x,y,z代表旋转轴。在眼球中心标定环节，需要目标人员注视屏幕上某个已知坐标点G₀，在视线估计环节，目标人员注视屏幕上任意点G。

在现有的人脸检测及头部姿态估计装置中，由于Kinect SDK在室内环境的各种情况对人脸检测以及头部姿态估计具有较好的鲁棒性，因此本实施例中采用Kinect v2传感器进行人脸检测及头部姿态估计。

S202：眼球中心标定：

眼球中心的标定是3D视线估计方法中的核心的部分，要先标定得到眼球中心，才能在后续过程中根据眼球中心和虹膜中心连线来估计视线方向。因为眼球中心位于眼睛内部，所以在图像中无法直接检测眼球中心，因此本发明建立了如图1的参数化的眼球模型用于标定眼球相关参数(眼球中心位置，kappa角)。本发明中采用眼球中心标定环节所获取的人脸图像序列，对该目标人员进行眼球中心标定，得到眼球中心在头部坐标系中的坐标图3是本发明中眼球中心标定的流程图。如图3所示，本发明中眼球中心标定的具体步骤包括：

S301：眼部关键点检测：

本发明使用3D model-based视线估计方法，需要对虹膜中心和眼球中心的三维坐标进行检测，检测过程需要眼部的其他关键点的信息用于辅助计算。因此首先需要根据人脸检测及头部姿态估计装置所获取的人脸区域图像，检测得到眼部区域图像，提取得到各个眼部关键点在人脸图像中的坐标p_i，i＝1,2,…,M，M表示眼部关键点数量。

目前眼部关键点检测的方法有很多，本实施例中采用基于CLM(Constrainedlocal model，约束局部模型)的眼部关键点检测方法，该方法是基于CLM方法的人脸特征点检测库，在检测到人脸区域之后，通过调用其内部API可实时的对人脸区域关键点进行检测。在选取眼部关键点时，应当选择与虹膜中心几何关系较为固定的特征点。本实施例中采用4个眼部关键点，分别为眼睛内、外眼角点以及上眼睑左右两点，记其在人脸图像中的二维坐标分别为p₁、p₂、p₃和p₄。

S302：虹膜中心检测：

根据步骤S301中得到的眼部区域图像，检测得到虹膜中心在人脸图像中的坐标p₀。

由于眼部区域图像较小并且光照的影响也会使图像中虹膜与其他位置的区分度不足，传统的基于虹膜-巩膜边缘提取的算法效果一般，本实施例中提出了一种基于参数化虹膜模型的虹膜中心检测方法。图4是基于参数化虹膜模型的虹膜中心检测方法的具体实施方法流程图。如图4所示，本实施例中基于参数化虹膜模型的虹膜中心检测方法包括以下步骤：

S401：眼部区域图像预处理：

首先对眼部区域图像进行灰度化，由于原始眼部区域图像受光照以及其他噪声影响有可能导致虹膜与巩膜的区分度不足，所以需要对眼部区域灰度图像进行预处理，预处理方法包括对比度增强和去噪，本实施例中采用直方图均衡化方法进行对比度增强，然后使用中值滤波去除图像噪点。

S402：眼部区域图像二值化处理：

对预处理完成的眼部区域灰度图像进行二值化处理，将低灰度值像素点的灰度值赋为255(白色)，其余像素点的灰度值赋为0(黑色)，根据虹膜区域灰度值较其他区域较高的特性，从而分离出虹膜所在大致区域。二值化处理可以直接采用预设灰度阈值的方法，根据实验统计发现二值化的阈值T＝25具有较好的提取效果，还可以使用自适应阈值二值化方法来处理。

S403：虹膜轮廓搜索和虹膜中心标定：

图5是参数化虹膜模型示意图。如图5所示，本实施例方法中设置了一个滑动窗口，边长设置为2s+1，以坐标(i,j)表示当前滑动窗口的中心，r表示虹膜半径，通过滑动窗口搜索，来确定最终的虹膜中心(i^*,j^*)和虹膜半径r^*。

通过参数化虹膜模型来搜索虹膜轮廓和标定虹膜中心的具体方法为：采用边长为2s+1的滑动窗口对眼部区域二值化图像进行搜索，对于每个滑动窗口，通过改变虹膜半径的值，在当前滑动窗口内搜索得到代价函数值最小的虹膜半径，代价函数F的计算公式为：

其中，I_mn为像素点(m,n)的灰度值，I_f和I_b分别表示虹膜部分(前景)和非虹膜部分(背景)的灰度阈值，显然两个灰度阈值的取值范围为0＜I_f,I_b＜255。

如果当前滑动窗口内搜索得到的最小代价函数值小于眼部区域二值化图像的历史最小代价函数值，则更新当前滑动窗口内搜索得到的最小代价函数值为历史最小代价函数值，记录其对应的滑动窗口中心坐标和虹膜半径。对整个眼部区域二值化图像搜索完毕后，以历史最小代价函数值所对应滑动窗口中心作为虹膜中心p₀，对应的虹膜半径即为搜索得到的虹膜半径。

根据以上过程可知，本方法是采用代价函数来判定虹膜区域的。由于步骤S402已经对眼部区域灰度化图像进行了二值化处理，并且将可能为虹膜部分的像素点的灰度值置为了0，在滑动窗口搜索时，应当是将包含虹膜像像素点的区域搜索出来，也就是说，在滑动窗口搜索时，应当搜索出包含灰度值为0的像素点的数量应当尽可能地多。对于代价函数而言，存在最多的前景点的灰度值小于I_f，且背景点的灰度值大于时其对应代价函数取到最小值。即在最终的虹膜中心(i^*,j^*)和虹膜半径r^*所对应的区域中，将包含最多的低灰度值点，其余位置则包含最多的高灰度值点，从而在眼部区域图像中检测出虹膜轮廓。此时虹膜中心的二维坐标p₀＝(i^*,j^*)。

图6是虹膜中心检测过程的示例图。如图6所示，首先对原始的眼部区域图像采用直方图均衡化和中值滤波进行预处理，然后对预处理后的图像进行二值化，最后采用基于参数化虹膜模型的虹膜中心检测方法检测得到虹膜中心。根据该示例可见，采用基于参数化虹膜模型的虹膜中心检测方法其检测结果是较为准确的。

S303：眼球中心标定：

步骤S301和步骤S302中获取了M个眼部关键点和虹膜中心在人脸图像中的坐标，接下来需要基于这些M+1个关键点来进行眼球中心标定。与其他基于3D模型的视线估计算法相比，本发明所采用的眼球中心标定方法引入了眼部关键点的信息，使用这些关键点与眼球中心固有的几何关系，最终能更准确的标定出眼球中心的位置。

根据以上描述可知，本发明中已经存在了两个坐标系：人脸检测及头部姿态估计装置坐标系和人脸图像坐标系。本发明的眼球中心标定是在人脸检测及头部姿态估计装置坐标系下进行的，因此需要将人脸图像中M+1个关键点的坐标转换到人脸检测及头部姿态估计装置坐标系。由于标定得到的眼球中心在人脸检测及头部姿态估计装置坐标系下是动态变化的，需要确定眼球中心的静态参数才能更方便地进行视线方向估计，因此引入了头部坐标系。在头部坐标系中，采用M个眼部关键点中的一个特征点作为头部原点，由于眼部关键点与眼球中心存在固定几何关系，因此眼球中心在头部坐标系中相对于头部原点的位置是固定不变的，在头部坐标系下眼球中心的坐标值即为固定值。本实施例中采用内眼角点作为头部原点。

图7是人脸检测及头部姿态估计装置坐标系与头部坐标系的关系示例图。本实施例中，人脸检测及头部姿态估计装置采用Kinect v2传感器。如图7所示，一般而言人脸检测及头部姿态估计装置坐标系是以该装置的摄像头中心为坐标原点的三维坐标系，本实施例中头部坐标系是以内眼角点为坐标原点，在人正对人脸检测及头部姿态估计装置时，坐标轴方向与人脸检测及头部姿态估计装置坐标系方向一致，但在头部动作时，会根据头部进行同步的旋转和平移，这也是为什么要在步骤S101中进行头部姿态估计的原因。人脸图像坐标系与常规图像坐标系一致，本实施例中以图像左上角为坐标原点，自左向右为x轴正方向，自上而下为y轴正方向。

接下来对在人脸检测及头部姿态估计装置坐标系下进行眼球中心标定的具体方法进行详细说明。

记M个眼部关键点和虹膜中心在人脸检测及头部姿态估计装置坐标系下的坐标分别为j＝0,1,…,M。显然可以通过各个点在人脸图像中的坐标p_j转换得到，其转换关系可以表示为：

其中，f表示人脸检测及头部姿态估计装置中摄像机的焦距，o表示人脸检测及头部姿态估计装置中摄像机的主点图像坐标，分别表示点p_j在人脸检测及头部姿态估计装置坐标系下对应坐标的x、y、z轴分量。

现有的许多基于3D眼球模型的视线估计方法是将眼球中心到虹膜中心(或瞳孔中心)的距离作为已知条件，用于标定眼球中心，但实际上每个人都存在差别，这也约束了这类方法的视线估计精度。本发明中，将眼球中心到M个眼部关键点距离均为固定值，加入该条件约束眼球中心的求解。记人脸检测及头部姿态估计装置坐标系下眼球中心的坐标为O_e，那么眼球中心到M个眼部关键点的距离L_i有如下公式：

其中，|| ||表示求二范数。

由于真实的注视位置与视线方向存在一个大小固定的角度误差：Kappa角，且每个人的Kappa角大小都存在差异，因此存在视轴(visual axis)与光轴(optical axis)的概念。其中视轴为注视点G与眼球中心O_e的连线方向，那么视轴单位向量N_g的计算公式为：

光轴为眼球中心O_e与虹膜中心的连线方向，获取光轴单位向量N_e的计算公式为：

由于在眼球中心标定环节，注视点G是已知变量G₀，可以通过检测得到，所以以上表示视轴单位向量N_g与光轴单位向量N_e都可以由眼球中心的多项式表示。视轴与光轴之间的转换可使用Kappa角的水平分量α与竖直分量β确定的，其中

其中，分别表示视轴单位向量N_g在人脸检测及头部姿态估计装置坐标系下的x、y轴分量，分别表示光轴单位向量N_e在人脸检测及头部姿态估计装置坐标系下的x、y轴分量。

根据以上分析得到由公式(4)至公式(7)构建的方程组：

可见，以上方程组中包含以下未知数：眼球中心O_e、α、β以及M个L_i。因此采用眼球中心标定环节所获取的人脸图像序列每帧图像中的眼部关键点和虹膜中心的数据进行迭代求解，即可得到眼球中心在人脸检测及头部姿态估计装置坐标系下的坐标O_e。迭代求解的具体算法可以根据实际情况选用。显然，眼球中心标定环节所获取的人脸图像序列的图像帧数是根据未知数的数量以及迭代求解算法来确定的。本实施例中有4个眼部关键点，采用Levenberg-Marquardt算法进行迭代求解，那么需要5帧数据即可求得O_e。

在得到眼球中心在人脸检测及头部姿态估计装置坐标系下的坐标O_e之后，经过坐标转换即可得到头部坐标系下眼球中心的坐标其转换公式为：

其中，表示作为头部坐标系原点的第i^*个眼部关键点在人脸检测及头部姿态估计装置坐标系下的坐标，R表示旋转矩阵，根据头部姿态四元数计算得到，计算公式为：

S203：视线方向估计：

在标定出眼球中心过后，对于眼球中心标定环节完成之后的人脸图像，就可以根据当前帧人脸图像得到的头部姿态、眼部关键点与虹膜中心信息，来计算得到光轴单位向量N_e，再通过Kappa角获取真正的视线方向。图8是本发明中视线方向估计的流程图。如图8所示，本发明中视线方向估计的具体步骤包括：

S801：眼部关键点检测：

与步骤S301一样，根据人脸检测及头部姿态估计装置所获取的人脸区域图像，检测得到眼部区域图像，提取得到眼部关键点在人脸图像中的坐标。与步骤S302不同的是，此时只需要得到作为头部坐标系原点的第i^*个眼部关键点在人脸图像中的坐标即可。

S802：虹膜中心检测：

与步骤S302一样，根据步骤S801中得到的眼部区域图像，检测得到虹膜中心在人脸图像中的坐标p₀。

S803：关键点和虹膜中心坐标系转换：

将头部坐标系原点坐标和虹膜中心坐标p₀转换到人脸检测及头部姿态估计装置坐标系下，其转换公式为：

其中，分别表示点在人脸检测及头部姿态估计装置坐标系下对应坐标的x、y、z轴分量，分别表示点p₀在人脸检测及头部姿态估计装置坐标系下对应坐标的x、y、z轴分量。

S804：计算旋转矩阵：

采用公式(9)根据当前帧人脸图像的旋转四元数[w,x,y,z]，计算得到旋转矩阵R。

S805：眼球中心坐标系变换：

根据当前帧对应的头部坐标系原点坐标旋转矩阵R，采用公式(8)对步骤S202得到的头部坐标系下眼球中心的坐标进行坐标系变换，得到当前帧人脸检测及头部姿态估计装置坐标系下眼球中心坐标O_e。

S806：计算光轴单位向量：

根据当前帧人脸检测及头部姿态估计装置坐标系下眼球中心坐标O_e和虹膜中心坐标采用公式(6)计算得到光轴单位向量N_e。

S807：计算视轴单位向量：

求解以下方程组得到视轴单位向量N_g作为视线方向，完成视线方向估计：

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (4)

1.一种基于眼部关键点检测的3D视线方向估计方法，其特征在于，包括以下步骤：

S1：在人脸前方设置人脸检测及头部姿态估计装置，用于获取人脸图像，从中检测得到人脸区域并对头部姿态进行估计，将头部姿态以该人脸检测及头部姿态估计装置坐标系下的旋转四元数[w,x,y,z]表示，其中w代表旋转量，x,y,z代表旋转轴；在眼球中心标定环节，目标人员注视屏幕上某个已知坐标点G₀，在视线估计环节，目标人员注视屏幕上任意点G；

S2：采用眼球中心标定环节所获取的人脸图像序列，对该目标人员进行眼球中心标定，得到眼球中心在头部坐标系中的坐标眼球中心标定的具体步骤包括：

S2.1：根据人脸检测及头部姿态估计装置所获取的人脸区域图像，检测得到眼部区域图像，提取得到各个眼部关键点在人脸图像中的坐标p_i，i＝1,2,…,M，M表示眼部关键点数量；

S2.2：根据步骤S2.1中得到的眼部区域图像，检测得到虹膜中心在人脸图像中的坐标p₀；

S2.3：采用眼球中心标定环节所获取的人脸图像序列每帧图像中的眼部关键点和虹膜中心的数据对以下方程组进行迭代求解，得到眼球中心在人脸检测及头部姿态估计装置坐标系下的坐标O_e：

其中，L_i表示眼球中心到M个眼部关键点的距离，α和β分别表示光轴单位向量N_e与视轴单位向量N_g之间固定夹角Kappa角的水平和竖直分量，分别表示视轴单位向量N_g在人脸检测及头部姿态估计装置坐标系下的x、y轴分量，分别表示光轴单位向量N_e在人脸检测及头部姿态估计装置坐标系下的x、y轴分量；表示M个眼部关键点在人脸检测及头部姿态估计装置坐标系下的坐标，表示虹膜中心在人脸检测及头部姿态估计装置坐标系下的坐标，的计算公式为：

其中，j＝0,1,…,M，f表示人脸检测及头部姿态估计装置中摄像机的焦距，o表示人脸检测及头部姿态估计装置中摄像机的主点图像坐标，分别表示点p_j在人脸检测及头部姿态估计装置坐标系下对应坐标的x、y、z轴分量；

在得到眼球中心在人脸检测及头部姿态估计装置坐标系下的坐标O_e之后，经过坐标转换即可得到头部坐标系下眼球中心的坐标其转换公式为：

其中，表示作为头部坐标系原点的第i^*个眼部关键点在人脸检测及头部姿态估计装置坐标系下的坐标，R表示旋转矩阵，其计算公式为：

S3：对于眼球中心标定环节完成之后的每帧人脸图像，根据步骤S2得到的眼球中心在头部坐标系中的坐标对当前帧目标人物的视线方向进行估计，视线估计的具体步骤包括：

S3.1：根据人脸检测及头部姿态估计装置所获取的人脸区域图像，检测得到眼部区域图像，提取得到作为头部坐标系原点的第i^*个眼部关键点在人脸图像中的坐标

S3.2：根据步骤S3.1中得到的眼部区域图像，检测得到虹膜中心在人脸图像中的坐标p₀；

S3.3：将头部坐标系原点坐标和虹膜中心坐标p₀转换到人脸检测及头部姿态估计装置坐标系下，其转换公式为：

其中，分别表示点在人脸检测及头部姿态估计装置坐标系下对应坐标的x、y、z轴分量，分别表示点p₀在人脸检测及头部姿态估计装置坐标系下对应坐标的x、y、z轴分量；

S3.4：根据当前帧人脸图像的旋转四元数[w,x,y,z]，计算得到旋转矩阵R：

S3.5：根据当前帧对应的头部坐标系原点坐标旋转矩阵R对步骤S2得到的头部坐标系下眼球中心的坐标进行坐标系变换，得到当前帧人脸检测及头部姿态估计装置坐标系下眼球中心坐标O_e，其转换公式为：

S3.6：根据当前帧人脸检测及头部姿态估计装置坐标系下眼球中心坐标O_e和虹膜中心坐标计算光轴单位向量N_e：

S3.7：求解以下方程组得到视轴单位向量N_g作为视线方向，完成视线方向估计：

2.根据权利要求1所述的3D视线方向估计方法，其特征在于，所述步骤S1中人脸检测及头部姿态估计装置为Kinect v2传感器。

3.根据权利要求1所述的3D视线方向估计方法，其特征在于，所述步骤S2.1和步骤S3.1中眼部关键点包括眼睛内、外眼角点以及上眼睑左右两点。

4.根据权利要求1所述的3D视线方向估计方法，其特征在于，所述步骤S2.2和步骤S3.2中虹膜中心的检测方法为：

S201：对眼部区域图像进行灰度化，对眼部区域灰度图像进行预处理，包括对比度增强和去噪；

S202：对预处理完成的眼部区域灰度图像进行二值化处理，将低灰度值像素点的灰度值赋为255(白色)，其余像素点的灰度值赋为0(黑色)；

S203：采用边长为2s+1的滑动窗口对眼部区域二值化图像进行搜索，对于每个滑动窗口，通过改变虹膜半径的值，在当前滑动窗口内搜索得到代价函数值最小的虹膜半径，代价函数F的计算公式为：

其中，(i,j)表示当前滑动窗口的中心，r表示虹膜半径，I_mn为像素点(m,n)的灰度值，I_f和I_b分别表示虹膜部分(前景)和非虹膜部分(背景)的灰度阈值；

如果当前滑动窗口内搜索得到的最小代价函数值小于眼部区域二值化图像的历史最小代价函数值，则更新当前滑动窗口内搜索得到的最小代价函数值为历史最小代价函数值，记录其对应的滑动窗口中心坐标和虹膜半径；对整个眼部区域二值化图像搜索完毕后，以历史最小代价函数值所对应滑动窗口中心作为虹膜中心p₀。