CN114373217B - 一种高鲁棒性瞳孔定位方法 - Google Patents

Abstract

本发明公开了一种高鲁棒性瞳孔定位方法，包括：眼睛区域原始图像的旋转、滤波、搜寻标记点、计算映射坐标等操作方法，得到标记点映射坐标簇，计算质心坐标，并通过坐标转换得到瞳孔坐标；本发明优点在于所述高鲁棒性瞳孔定位方法能够灵活调整预设角度的疏密程度，有效权衡精度和实时性之间的关系，满足不同场景的多样化需求；像素标记点搜寻方法与旋转策略相结合，获得标记点映射坐标簇，较好地实现了对瞳孔边缘的定位，同时具备高鲁棒性；滤波操作能够有效地减弱图像噪声和普尔钦斑等的干扰，在保证精度的同时，进一步提升了鲁棒性；本方法通过计算机编程能够实现模块化应用，便于推广应用在各类视线追踪模型和嵌入式***等场合。

Description

一种高鲁棒性瞳孔定位方法

技术领域

本发明属于人机交互技术领域，涉及视线追踪技术，具体是一种高鲁棒性瞳孔定位方法。

背景技术

元宇宙集5G、VR、AR、物联网、云计算、大数据、区块链、人工智能等前沿数字技术之大成，正在推动“全真互联网”时代的到来。元宇宙有8个要素：身份、朋友、沉浸感、低延迟、多元化、随地、经济***、文明。为了实现舒适的沉浸感，低延迟和多元化的人机交互是元宇宙的基础技术之一；其中，视线追踪是人机交互领域的一项关键技术。

眼睛具有传递信息的重要功能，人的眼睛和视线包含了丰富的情感和意图信息。视线追踪主要是以眼睛图像或人脸图像作为处理对象，进而计算人眼的视线方向或注视点位置，在人机交互、汽车安全驾驶、市场研究等领域具有重要的理论意义和应用价值。

在人的眼睛中，瞳孔是一个非常重要的结构，瞳孔在眼睛中所处的位置则是影响视线方位的重要因素之一；鲁棒性高、实时性好、精度可靠的瞳孔定位方法对于视线追踪技术具有重要意义。

目前，瞳孔定位方法一般分为两类：基于特征提取的方法和基于统计学习的方法。基于特征提取的方法主要是利用瞳孔区域的灰度特征来检测瞳孔中心，例如，Hough变换检测圆方法、椭圆拟合方法、灰度投影方法、梯度方法和星射线方法等；基于统计学习的方法是将包含眼睛区域的图像作为输入数据，训练神经网络模型进行瞳孔位置检测。但是，这些方法往往在一些方面存在问题，比如：计算量大，实时性不好；要求较高的图像质量；仅能适用于红外光成像，而对于可见光场景下的人脸图像，检测精度不够、鲁棒性差；无法消除普尔钦斑的干扰。这些问题，限制了瞳孔定位方法在视线追踪***中的应用。

发明内容

本发明目的在于解决现有技术中存在的上述不足，提出一种高鲁棒性瞳孔定位方法，有效权衡精度和实时性之间的关系，满足不同场景的多样化需求；较好实现对瞳孔边缘的定位，同时具备高鲁棒性；减弱图像噪声和普尔钦斑等的干扰，在保证精度的同时，进一步提升鲁棒性；通过计算机编程实现模块化应用，便于推广应用在各类视线追踪模型和嵌入式***等场合。

实现本发明目的的技术方案为：

一种高鲁棒性瞳孔定位方法，其特征在于，包括：

从待测图像中获取人物面部的眼睛特征点坐标，根据所述眼睛特征点坐标截取得到眼睛区域原始图像；

所述眼睛区域原始图像进行旋转操作得到旋转图像，所述旋转操作根据预设角度确定旋转角度和旋转方向；

所述旋转图像通过滤波操作得到旋转滤波图像；

在旋转滤波图像中基于遍历规则搜寻一个像素值最小的标记点，得到最小像素标记点坐标；

通过旋转映射公式计算所述旋转滤波图像中的最小像素标记点坐标映射回到眼睛区域原始图像中的标记点映射坐标；

所述眼睛区域原始图像通过遍历预设角度中的每个角度，完成旋转、滤波、搜寻标记点、计算映射坐标等操作，从而得到多个标记点映射坐标；

所述多个标记点映射坐标围合组成一个标记点映射坐标簇，计算标记点映射坐标簇所围合区域的质心坐标，通过坐标转换得到所述待测图像中的瞳孔坐标。

作为本发明的进一步改进，所述N个眼睛特征点坐标分别用于标记左侧眼睛区域和右侧眼睛区域；标记左侧眼睛区域的N/2个眼睛特征点坐标记为(XLn,YLn)(n＝1,2,3,…,N/2)，左侧眼睛区域的左上角坐标(x1,y1)，右下角坐标(x2,y2)，x1＝min(XLn)，y1＝min(YLn)–UL，x2＝max(XLn)，y2＝max(YLn)+DL，其中，DL＝(max(YLn)-min(YLn))/6，UL＝1.5×DL；标记右侧眼睛区域的N/2个眼睛特征点坐标记为(XRn,YRn)(n＝1,2,3,…,N/2)，右侧眼睛区域的左上角坐标(x3,y3)，右下角坐标(x4,y4)，x3＝min(XRn)，y3＝min(YRn)-UR，x4＝max(XRn)，y4＝max(YRn)+DR，其中，DR＝(max(YRn)-min(YRn))/6，UR＝1.5×DR。

作为本发明的进一步改进，所述旋转操作的预设角度设置4个或者4个以上数量的角度，预设角度的数量可以根据检测要求灵活设置，角度数值在0～360度之间均匀分布；所述旋转操作是以所述眼睛区域原始图像的中心为旋转中心点进行旋转，图像旋转之后产生扩展区域，扩展区域用白颜色进行填充。

作为本发明的进一步改进，所述滤波操作采用中值滤波；滤波参数的基准值为F，F＝H/3+Q，其中，H表示所述眼睛区域原始图像的高度，Q是一个用于调节滤波参数的常数，若H/3为偶数，Q为大于0的奇数，若H/3为奇数，Q为大于等于0的偶数，Q的具体大小可以根据检测要求灵活设置；以基准值F为基准进行前后扩展得到一个滤波参数范围区间，遍历所述范围区间中的滤波参数，比较每个滤波参数对应的质心坐标与眼睛区域原始图像几何中心的欧几里得距离，选取所述欧几里得距离最小的一个质心坐标作为最终的瞳孔坐标。

作为本发明的进一步改进，所述最小像素标记点坐标的搜寻规则是从所述旋转滤波图像的左上角开始，行优先，从左向右遍历完第一行的所有像素之后，再遍历第二行的像素，获取第一个出现的像素值最小的点的坐标，得到所述旋转滤波图像的最小像素标记点坐标。

作为本发明的进一步改进，所述旋转映射公式用于计算所述旋转滤波图像中的最小像素标记点坐标(Xrm,Yrm)映射回到眼睛区域原始图像中的标记点映射坐标(Xom,Yom)；所述旋转映射公式为：

Xom＝(Xrm-Xrc)cosα+(Yrm-Yrc)sinα+Xoc

Yom＝(Yrm-Yrc)cosα(Xrm-Xrc)sinα+Yoc

其中，(Xrc,Yrc)为旋转滤波图像的中心点坐标，(Xoc,Yoc)为眼睛区域原始图像的中心点坐标，α为旋转角度。

本发明与现有技术相比，优点在于：所述一种高鲁棒性瞳孔定位方法，能够灵活调整旋转操作的预设角度的疏密程度，从而获取不同数量的最小像素标记点，有效权衡精度和实时性之间的关系，满足不同场景的多样化需求；通过本发明提出的最小像素标记点搜寻方法，结合旋转策略，获得标记点映射坐标簇，较好地实现了对瞳孔边缘的定位，同时具备高鲁棒性；通过本发明提出的滤波操作，能够有效地减弱图像噪声和普尔钦斑等的干扰，在保证精度的同时，进一步提升了瞳孔定位的鲁棒性；本发明提出的一种高鲁棒性瞳孔定位方法，无需学习训练过程，通过计算机编程能够实现模块化应用，便于推广应用在各类视线追踪模型和嵌入式***等场合，具有重要的实际应用价值和社会经济意义。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明提供的高鲁棒性瞳孔定位方法的实施例的流程示意图；

图2是本发明提供的高鲁棒性瞳孔定位方法的实施例涉及的Dlib库的人脸68个特征点示意图；

图3是本发明提供的高鲁棒性瞳孔定位方法的实施例的眼睛区域原始图像的示意图逆时针旋转315度之后的旋转图像的示意图；

图4A是本发明提供的高鲁棒性瞳孔定位方法的实施例的逆时针旋转0度所得旋转图像示意图的寻点过程示意图；

图4B是本发明提供的高鲁棒性瞳孔定位方法的实施例的逆时针旋转315度所得旋转图像示意图的寻点过程示意图；

图5A是本发明提供的高鲁棒性瞳孔定位方法的实施例的包含36个标记点的标记点映射坐标簇的示意图；

图5B是本发明提供的高鲁棒性瞳孔定位方法的实施例的包含6个标记点的标记点映射坐标簇的示意图；

图5C是本发明提供的高鲁棒性瞳孔定位方法的实施例的包含4个标记点的标记点映射坐标簇的示意图；

图6是本发明提供的高鲁棒性瞳孔定位方法的实施例的实际人物照片中的眼睛区域的标记点映射坐标簇和预测的瞳孔位置示意图。

具体实施方式

下面结合具体附图和实施例对本发明作进一步说明。

如附图1所示，本发明提供了一种高鲁棒性瞳孔定位方法，该方法包括从待测图像中获取人物面部的眼睛特征点坐标，根据所述眼睛特征点坐标截取得到眼睛区域原始图像；所述眼睛区域原始图像进行旋转操作得到旋转图像，所述旋转操作根据预设角度确定旋转角度和旋转方向；所述旋转图像通过滤波操作得到旋转滤波图像；在旋转滤波图像中基于遍历规则搜寻一个像素值最小的标记点，得到最小像素标记点坐标；通过旋转映射公式计算所述旋转滤波图像中的最小像素标记点坐标映射回到眼睛区域原始图像中的标记点映射坐标；所述眼睛区域原始图像通过遍历预设角度中的每个角度，完成旋转、滤波、搜寻标记点、计算映射坐标等操作，从而得到多个标记点映射坐标；所述多个标记点映射坐标围合组成一个标记点映射坐标簇，计算标记点映射坐标簇所围合区域的质心坐标，通过坐标转换得到所述待测图像中的瞳孔坐标。

所述眼睛区域原始图像根据N个眼睛特征点坐标进行截取，所述N个眼睛特征点坐标分别用于标记左侧眼睛区域和右侧眼睛区域；标记左侧眼睛区域的N/2个眼睛特征点坐标记为(XLn,YLn)(n＝1,2,3,…,N/2)，左侧眼睛区域的左上角坐标(x1,y1)，右下角坐标(x2,y2)，x1＝min(XLn)，y1＝min(YLn)–UL，x2＝max(XLn)，y2＝max(YLn)+DL，其中，DL＝(max(YLn)-min(YLn))/6，UL＝1.5×DL；标记右侧眼睛区域的N/2个眼睛特征点坐标记为(XRn,YRn)(n＝1,2,3,…,N/2)，右侧眼睛区域的左上角坐标(x3,y3)，右下角坐标(x4,y4)，x3＝min(XRn)，y3＝min(YRn)-UR，x4＝max(XRn)，y4＝max(YRn)+DR，其中，DR＝(max(YRn)-min(YRn))/6，UR＝1.5×DR。

结合具体示例，对前述眼睛区域原始图像截取的方法做进一步说明：

如附图2所示，从Dlib库的人脸68个特征点中选取标号为37～48的12个特征点作为眼睛特征点坐标，所述12个眼睛特征点坐标分别用于标记左侧眼睛区域和右侧眼睛区域；其中，用于标记左侧眼睛区域的特征点标号为37～42，用于标记右侧眼睛区域的特征点标号为43～48；以左侧眼睛区域为例，左侧眼睛区域的左上角坐标(x1,y1)，则计算公式x1＝min(XLn)中的min(XLn)即为标号37～42的眼睛特征点坐标中所有x坐标的最小值，计算公式y1＝min(YLn)–UL中的min(YLn)即为标号37～42的眼睛特征点坐标中所有y坐标的最小值，计算公式x2＝max(XLn)中的max(XLn)即为标号37～42的眼睛特征点坐标中所有x坐标的最大值，计算公式y2＝max(YLn)+DL中的max(YLn)即为标号37～42的眼睛特征点坐标中所有y坐标的最大值；同理可得右侧眼睛区域的计算方法。

所述旋转操作的预设角度设置4个或者4个以上数量的角度，预设角度的数量可以根据检测要求灵活设置，角度数值在0～360度之间均匀分布；所述旋转操作是以所述眼睛区域原始图像的中心为旋转中心点进行旋转，图像旋转之后产生扩展区域，扩展区域用白颜色进行填充。

结合具体示例，对前述旋转操作的方法做进一步说明：

如附图3所示，眼睛区域原始图像的示意图进行逆时针旋转315度得到旋转图像的示意图，由于图像旋转之后产生了填充RGB＝(255,255,255)颜色的扩展区域，旋转图像的实际面积大于眼睛区域原始图像，从而实现了对眼睛区域原始图像中所有内容元素的完整保留。

为了减弱图像噪声和普尔钦斑等的干扰，对旋转图像进行滤波操作；所述滤波操作采用中值滤波；滤波参数的基准值为F，F＝H/3+Q，其中，H表示所述眼睛区域原始图像的高度，Q是一个用于调节滤波参数的常数，若H/3为偶数，Q为大于0的奇数，若H/3为奇数，Q为大于等于0的偶数，Q的具体大小可以根据检测要求灵活设置。

旋转图像完成滤波之后，得到旋转滤波图像；所述最小像素标记点坐标的搜寻规则是从所述旋转滤波图像的左上角开始，行优先，从左向右遍历完第一行的所有像素之后，再遍历第二行的像素，获取第一个出现的像素值最小的点的坐标，得到所述旋转滤波图像的最小像素标记点坐标。

结合具体示例，对前述最小像素标记点坐标的搜寻规则做进一步说明：

附图4A所示为眼睛区域原始图像的示意图经过逆时针旋转0度得到的旋转图像的寻点过程示意图，所述最小像素标记点坐标的搜寻规则是从图像的左上角开始，行优先，从左向右遍历完第一行的所有像素之后，再遍历第二行的像素，示意图中的虚线表示搜寻路径，第一个出现的像素值最小的点的位置如图中的白色矩形标志所示，最小像素标记点处在瞳孔的左上方边缘位置。

附图4B所示为眼睛区域原始图像的示意图经过逆时针旋转315度得到的旋转图像的寻点过程示意图，所述最小像素标记点坐标的搜寻规则是从图像的左上角开始，行优先，从左向右遍历完第一行的所有像素之后，再遍历第二行的像素，示意图中的虚线表示搜寻路径，第一个出现的像素值最小的点的位置如图中的白色矩形标志所示，最小像素标记点同样处在旋转之后图像中的瞳孔的左上方边缘位置。

所述旋转映射公式用于计算所述旋转滤波图像中的最小像素标记点坐标(Xrm,Yrm)映射回到眼睛区域原始图像中的标记点映射坐标(Xom,Yom)；所述旋转映射公式为：

Xom＝(Xrm-Xrc)cosα+(Yrm-Yrc)sinα+Xoc

Yom＝(Yrm-Yrc)cosα-(Xrm-Xrc)sinα+Yoc

其中，(Xrc,Yrc)为旋转滤波图像的中心点坐标，(Xoc,Yoc)为眼睛区域原始图像的中心点坐标，α为旋转角度。

所述眼睛区域原始图像通过遍历预设角度中的每个角度，完成旋转、滤波、搜寻标记点、计算映射坐标等操作，从而得到多个标记点映射坐标；所述多个标记点映射坐标围合组成一个标记点映射坐标簇，例如，附图5A所示为包含36个标记点的标记点映射坐标簇的示意图，附图5B所示为包含6个标记点的标记点映射坐标簇的示意图，附图5C所示为包含4个标记点的标记点映射坐标簇的示意图；计算标记点映射坐标簇所围合区域的质心坐标。

作为进一步优化，对于所述滤波操作采用的滤波参数，以基准值F为基准进行前后扩展得到一个滤波参数范围区间，遍历所述范围区间中的滤波参数，比较每个滤波参数对应的质心坐标与眼睛区域原始图像几何中心的欧几里得距离，选取所述欧几里得距离最小的一个质心坐标，通过坐标转换得到所述待测图像中的瞳孔坐标。

在实际应用中，附图6所示为实际人物照片中的眼睛区域的标记点映射坐标簇和预测的瞳孔位置示意图，图中所述预测的瞳孔位置周围的6个小点表示标记点映射坐标簇，可见在实际应用中，标记点映射坐标簇可以灵活布局、呈不规则分布，具有高鲁棒性。

本发明提出的一种高鲁棒性瞳孔定位方法，能够灵活调整旋转操作的预设角度的疏密程度，从而获取不同数量的最小像素标记点，有效权衡精度和实时性之间的关系，满足不同场景的多样化需求；通过本发明提出的最小像素标记点搜寻方法，结合旋转策略，获得标记点映射坐标簇，较好地实现了对瞳孔边缘的定位，同时具备高鲁棒性；通过本发明提出的滤波操作，能够有效地减弱图像噪声和普尔钦斑等的干扰，在保证精度的同时，进一步提升了瞳孔定位的鲁棒性；本发明提出的一种高鲁棒性瞳孔定位方法，无需学习训练过程，通过计算机编程能够实现模块化应用，便于推广应用在各类视线追踪模型和嵌入式***等场合。

以上所述的仅是本发明的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。

Claims (3)

1.一种高鲁棒性瞳孔定位方法，其特征在于，包括：

从待测图像中获取人物面部的眼睛特征点坐标，根据所述眼睛特征点坐标截取得到眼睛区域原始图像，所述眼睛区域原始图像根据N个眼睛特征点坐标进行截取，所述N个眼睛特征点坐标分别用于标记左侧眼睛区域和右侧眼睛区域，标记左侧眼睛区域的N/2个眼睛特征点坐标记为(XLn，YLn)(n＝1，2，3，...，N/2)，左侧眼睛区域的左上角坐标(x1，y1)，右下角坐标(x2，y2)，x1＝min(XLn)，y1＝min(YLn)-UL，x2＝max(XLn)，y2＝max(YLn)+DL，其中，DL＝(max(YLn)-min(YLn))/6，UL＝1.5×DL，标记右侧眼睛区域的N/2个眼睛特征点坐标记为(XRn，YRn)(n＝1，2，3，...，N/2)，右侧眼睛区域的左上角坐标(x3，y3)，右下角坐标(x4，y4)，x3＝min(XRn)，y3＝min(YRn)-UR，x4＝max(XRn)，y4＝max(YRn)+DR，其中，DR＝(max(YRn)-min(YRn))/6，UR＝1.5×DR；

所述眼睛区域原始图像进行旋转操作得到旋转图像，所述旋转操作根据预设角度确定旋转角度和旋转方向；

所述旋转图像通过滤波操作得到旋转滤波图像，所述滤波操作采用中值滤波，滤波参数的基准值为F，F＝H/3+Q，其中，H表示所述眼睛区域原始图像的高度，Q是一个用于调节滤波参数的常数，若H/3为偶数，Q为大于0的奇数，若H/3为奇数，Q为大于等于0的偶数，Q的具体大小可以根据检测要求灵活设置，以基准值F为基准进行前后扩展得到一个滤波参数范围区间，遍历所述范围区间中的滤波参数，比较每个滤波参数对应的质心坐标与眼睛区域原始图像几何中心的欧几里得距离，选取所述欧几里得距离最小的一个质心坐标作为最终的瞳孔坐标；

在所述旋转滤波图像中基于遍历规则搜寻一个像素值最小的标记点，得到最小像素标记点坐标；

通过旋转映射公式计算所述旋转滤波图像中的最小像素标记点坐标映射回到眼睛区域原始图像中的标记点映射坐标，所述旋转映射公式用于计算所述旋转滤波图像中的最小像素标记点坐标(Xrm，Yrm)映射回到眼睛区域原始图像中的标记点映射坐标(Xom，Yom)，所述旋转映射公式为：

Xom＝(Xrm-Xrc)cosα+(Yrm-Yrc)sinα+Xoc

Yom＝(Yrm-Yrc)cosα-(Xrm-Xrc)sinα+Yoc

其中，(Xrc，Yrc)为旋转滤波图像的中心点坐标，(Xoc，Yoc)为眼睛区域原始图像的中心点坐标，α为旋转角度；

所述眼睛区域原始图像通过遍历预设角度中的每个角度，完成旋转、滤波、搜寻标记点、计算映射坐标等操作，从而得到多个标记点映射坐标；

所述多个标记点映射坐标围合组成一个标记点映射坐标簇，计算所述标记点映射坐标簇所围合区域的质心坐标，通过坐标转换得到所述待测图像中的瞳孔坐标。

2.根据权利要求1所述的高鲁棒性瞳孔定位方法，其特征在于：所述旋转操作的预设角度设置4个或者4个以上数量的角度，预设角度的数量可以根据检测要求灵活设置，角度数值在0～360度之间均匀分布；所述旋转操作是以所述眼睛区域原始图像的中心为旋转中心点进行旋转，图像旋转之后产生扩展区域，扩展区域用白颜色进行填充。

3.根据权利要求1所述的高鲁棒性瞳孔定位方法，其特征在于：所述最小像素标记点坐标的搜寻规则是从所述旋转滤波图像的左上角开始，行优先，从左向右遍历完第一行的所有像素之后，再遍历第二行的像素，获取第一个出现的像素值最小的点的坐标，得到所述旋转滤波图像的最小像素标记点坐标。