CN116051631A - 光斑标注方法及*** - Google Patents

Abstract

本发明公开了一种光斑标注方法及***，所述光斑标注方法包括：获取包含人眼的原始图像；检测所述原始图像中人眼的瞳孔椭圆参数；基于所述瞳孔椭圆参数，通过预设的光斑估计模型，确定各光斑的编号，并估计各编号光斑的粗位置，所述光斑估计模型为用于输出光斑位置坐标的全连接神经网络模型；通过图像处理过程判断各个编号的光斑的存在性，所述图像处理过程至少包括剪裁、阈值分割操作、腐蚀操作、找轮廓操作；对于确实存在的光斑，根据粗位置计算其光斑中心坐标。本发明能够解决现有技术中光斑存在性的判断不够客观、难以准确对光斑编号、标注精确性不足、效率低的问题。

Description

光斑标注方法及***

技术领域

本发明涉及虚拟现实技术领域，特别是涉及一种光斑标注方法及***。

背景技术

眼动追踪(也称眼球追踪)不仅被广泛用于心理学、交通、神经科学等科研领域，同时也在游戏、工业仿真、医学辅助治疗等领域发挥着重要作用。随着虚拟现实技术的快速发展，眼动追踪逐渐成为虚拟现实里交互和注视点渲染的核心技术之一，眼动追踪通过眼动追踪设备实现。

依赖于光斑信息的眼球追踪算法根据相机拍摄到的眼球图像，进行特征检测(包含光斑位置及编号信息)，然后估计注视点在屏幕上的坐标或视线方向。

现有技术主要采用手动标注的方式获取光斑位置及编号信息，这种方式存在以下问题：

1)光斑存在性的判断不够客观；候选“光斑”的大小、形态、明暗各异，若由标注人判断候选“光斑”是否存在，则存在主观偏差，尤其是不同的标注人员对同一批光斑图像进行标注时，很难以绝对统一的标准对光斑存在性进行判断；

2)由于不同编号光源的发光属性无差异，所以光斑的大小、形态、明暗特征等无法用于光斑的区分；另外，编号相近的光斑在图像的位置变化范围存在交集。因此标注人员仅通过观察图像上光斑特点及其位置，难以准确对光斑编号；

3)人工标注是由人的眼、手协调进行光斑标注，标注精确性不足，且效率低。

发明内容

为此，本发明的一个实施例提出一种光斑标注方法，以解决现有技术中光斑存在性的判断不够客观、难以准确对光斑编号、标注精确性不足、效率低的问题。

根据本发明一实施例的光斑标注方法，包括：

获取包含人眼的原始图像；

检测所述原始图像中人眼的瞳孔椭圆参数；

基于所述瞳孔椭圆参数，通过预设的光斑估计模型，确定各光斑的编号，并估计各编号光斑的粗位置，所述光斑估计模型为用于输出光斑位置坐标的全连接神经网络模型；

通过图像处理过程判断各个编号的光斑的存在性，所述图像处理过程至少包括剪裁、阈值分割操作、腐蚀操作、找轮廓操作；

对于确实存在的光斑，根据粗位置计算其光斑中心坐标。

根据本发明实施例的光斑标注方法，基于瞳孔椭圆参数，通过预设的光斑估计模型，确定各光斑的编号，同时估计各编号光斑的粗位置，再判断各个编号的光斑的存在性，即通过图像处理技术实现光斑存在性的判断，排除了人的主观性干扰，且标注效率更高，通过光斑估计模型还能够准确确定光斑的编号，最后对于确实存在的光斑，根据粗位置计算其光斑中心坐标，能够提升标注的精确性。

另外，根据本发明上述实施例的光斑标注方法，还可以具有如下附加的技术特征：

进一步地，所述光斑估计模型通过以下步骤建立得到：

获取瞳孔椭圆样本数据和对应的光斑位置样本数据，并根据所述瞳孔椭圆样本数据和所述光斑位置样本数据制作数据集；

基于所述数据集，训练光斑估计模型，所述光斑估计模型为全连接神经网络模型，输入数据为向量[center,a_b,angle]，输出数据为向量[x,y]，其中，center为瞳孔椭圆的中心坐标，a_b为瞳孔椭圆的半轴长，angle为瞳孔椭圆短轴相对坐标系x轴方向逆时针旋转的角度，[x,y]为光斑位置坐标。

进一步地，通过图像处理过程判断各个编号的光斑的存在性具体包括：

对于目标编号的目标光斑，以所述目标光斑的粗位置为中心，从所述原始图像中剪裁出具有第一预设尺寸的矩形图像；

对所述矩形图像执行阈值分割操作，得到第一图像；

对所述第一图像执行腐蚀操作，得到第二图像；

对所述第二图像执行找轮廓操作，得到轮廓集合；

若所述轮廓集合不为空集，且所述轮廓集合中面积最大的轮廓的面积大于阈值，则判定所述目标光斑确实存在；否则，判定所述目标光斑不存在。

进一步地，对于确实存在的光斑，根据粗位置计算其光斑中心坐标具体包括：

对于确实存在的目标光斑，将所述轮廓集合中面积最大的轮廓绘制到具有第二预设尺寸的、像素值均为0的纯黑背景图像上，以得到中间图像；

计算所述中间图像的质心坐标；

根据所述质心坐标和粗位置，计算所述原始图像的坐标系下的光斑中心坐标。

进一步地，采用下式计算所述中间图像的质心坐标：

其中，x_c、y_c为所述中间图像的质心坐标，i为中间图像x轴像素坐标，j为中间图像y轴像素坐标，I_ij为像素坐标(i，j)对应的像素值，m_min、m_max分别为x轴方向求和计算的起始与终止坐标，n_min、n_max分别为y轴方向求和计算的起始与终止坐标；

采用下式计算所述原始图像的坐标系下的光斑中心坐标：

x_p＝x_r+x_c-w/2

y_p＝y_r+y_c-h/2

其中，x_p、y_p为所述原始图像的坐标系下的光斑中心坐标，x_r、y_r为所述目标光斑的粗位置的坐标，w、h分别为所述纯黑背景图像的宽和高。

本发明的另一个实施例提出一种光斑标注***，以解决现有技术中光斑存在性的判断不够客观、难以准确对光斑编号、标注精确性不足、效率低的问题。

根据本发明一实施例的光斑标注***，包括：

获取模块，用于获取包含人眼的原始图像；

检测模块，用于检测所述原始图像中人眼的瞳孔椭圆参数；

估计模块，用于基于所述瞳孔椭圆参数，通过预设的光斑估计模型，确定各光斑的编号，并估计各编号光斑的粗位置，所述光斑估计模型为用于输出光斑位置坐标的全连接神经网络模型；

判断模块，用于通过图像处理过程判断各个编号的光斑的存在性，所述图像处理过程至少包括剪裁、阈值分割操作、腐蚀操作、找轮廓操作；

计算模块，用于对于确实存在的光斑，根据粗位置计算其光斑中心坐标。

根据本发明实施例的光斑标注***，基于瞳孔椭圆参数，通过预设的光斑估计模型，确定各光斑的编号，同时估计各编号光斑的粗位置，再判断各个编号的光斑的存在性，即通过图像处理技术实现光斑存在性的判断，排除了人的主观性干扰，且标注效率更高，通过光斑估计模型还能够准确确定光斑的编号，最后对于确实存在的光斑，根据粗位置计算其光斑中心坐标，能够提升标注的精确性。

另外，根据本发明上述实施例的光斑标注***，还可以具有如下附加的技术特征：

进一步地，所述光斑估计模型通过以下步骤建立得到：

获取瞳孔椭圆样本数据和对应的光斑位置样本数据，并根据所述瞳孔椭圆样本数据和所述光斑位置样本数据制作数据集；

基于所述数据集，训练光斑估计模型，所述光斑估计模型为全连接神经网络模型，输入数据为向量[center,a_b,angle]，输出数据为向量[x,y]，其中，center为瞳孔椭圆的中心坐标，a_b为瞳孔椭圆的半轴长，angle为瞳孔椭圆短轴相对坐标系x轴方向逆时针旋转的角度，[x,y]为光斑位置坐标。

进一步地，所述判断模块具体用于：

对于目标编号的目标光斑，以所述目标光斑的粗位置为中心，从所述原始图像中剪裁出具有第一预设尺寸的矩形图像；

对所述矩形图像执行阈值分割操作，得到第一图像；

对所述第一图像执行腐蚀操作，得到第二图像；

对所述第二图像执行找轮廓操作，得到轮廓集合；

若所述轮廓集合不为空集，且所述轮廓集合中面积最大的轮廓的面积大于阈值，则判定所述目标光斑确实存在；否则，判定所述目标光斑不存在。

进一步地，所述计算模块具体用于：

对于确实存在的目标光斑，将所述轮廓集合中面积最大的轮廓绘制到具有第二预设尺寸的、像素值均为0的纯黑背景图像上，以得到中间图像；

计算所述中间图像的质心坐标；

根据所述质心坐标和粗位置，计算所述原始图像的坐标系下的光斑中心坐标。

进一步地，所述计算模块具体用于采用下式计算所述中间图像的质心坐标：

其中，x_c、y_c为所述中间图像的质心坐标，i为中间图像x轴像素坐标，j为中间图像y轴像素坐标，I_ij为像素坐标(i，j)对应的像素值，m_min、m_max分别为x轴方向求和计算的起始与终止坐标，n_min、n_max分别为y轴方向求和计算的起始与终止坐标；

采用下式计算所述原始图像的坐标系下的光斑中心坐标：

x_p＝x_r+x_c-w/2

y_p＝y_r+y_c-h/2

其中，x_p、y_p为所述原始图像的坐标系下的光斑中心坐标，x_r、y_r为所述目标光斑的粗位置的坐标，w、h分别为所述纯黑背景图像的宽和高。

附图说明

本发明实施例的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明一实施例的光斑标注方法的流程图；

图2是一示例性的原始图像；

图3是一示例性的估计出的光斑粗位置示意图；

图4是一示例性的光斑标注最终结果图；

图5是根据本发明另一实施例的光斑标注***的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明一实施例提出的光斑标注方法，所述方法包括步骤S101～S105：

S101，获取包含人眼的原始图像。

其中，可以通过拍照或者人工输入的方式获取包含人眼的原始图像M0，拍照时，人眼应处于睁眼状态，瞳孔未被眼睑遮挡。一示例性的原始图像M0如图2所示。

S102，检测所述原始图像中人眼的瞳孔椭圆参数。

其中，瞳孔椭圆参数具体可以包括中心坐标、半轴长、旋转角。具体检测方法可以是基于传统图像处理的方法，也可以是基于深度学习的瞳孔定位方法。

基于传统图像处理的方法检测所述原始图像中人眼的瞳孔椭圆参数具体包括：对瞳孔进行粗定位，然后依次经过剪裁、阈值分割、开运算、找轮廓、轮廓合并、凸包操作、椭圆拟合的步骤，最终得到椭圆参数信息。

基于深度学习的瞳孔定位方法检测所述原始图像中人眼的瞳孔椭圆参数具体包括：获取眼图，标注瞳孔位置信息，制作瞳孔定位数据集，训练瞳孔定位神经网络，最后利用训练完成的瞳孔定位神经网络对新的眼图进行瞳孔定位。

S103，基于所述瞳孔椭圆参数，通过预设的光斑估计模型，确定各光斑的编号，并估计各编号光斑的粗位置，所述光斑估计模型为用于输出光斑位置坐标的全连接神经网络模型。

其中，基于瞳孔椭圆参数，估计各编号光斑的粗位置(此时默认光斑均存在)。光斑编号及光斑的粗位置估计由光斑估计模型实现，模型输入为瞳孔椭圆参数，输出为各编号光斑的粗位置坐标[(x1,y1),(x2,y2),...,(xn,yn)]。其中，(x1,y1)、(x2,y2)、(xn,yn)分别为编号为1、2、n的光斑在原始图像M0中的归一化坐标。一示例性的估计出的光斑粗位置如图3所示，图3中一共有编号1-8个光斑。

光斑估计模型的建立步骤包括：

获取瞳孔椭圆样本数据和对应的光斑位置样本数据，并根据所述瞳孔椭圆样本数据和所述光斑位置样本数据制作数据集，其中，瞳孔椭圆样本数据和对应的光斑位置样本数据可以采用{瞳孔椭圆样本数据，光斑位置样本数据}进行表示，可以通过仿真方式获得，方法为：建立眼球、相机、光源模型；调整眼球位置与姿态，获取不同眼球位姿的瞳孔轮廓数据与光斑位置数据。具体的，基于光源位置、相机位置及感应器参数和眼球参数，构建3D眼球模型。在3D眼球模型中，设定眼球与角膜为球面，眼球机械中心固定。在正向3D眼球模型当中，忽略kappa角，认为光轴即视轴。根据采图设备屏幕上的N个注视点与默认的眼球机械中心位置可以求得N个光轴数据，再结合已经建立的3D眼球模型，通过光的反射、折射定律，即可求得光斑、瞳孔椭圆关键点在相机中的成像位置。

基于所述数据集，训练光斑估计模型，所述光斑估计模型为全连接神经网络模型，输入数据为向量[center,a_b,angle]，输出数据为向量[x,y]，其中，center为瞳孔椭圆的中心坐标，a_b为瞳孔椭圆的半轴长，angle为瞳孔椭圆短轴相对坐标系x轴方向逆时针旋转的角度，[x,y]为光斑位置坐标。

光斑估计模型通过大量{瞳孔椭圆样本数据，光斑位置样本数据}进行训练，针对每一张图都能给出与该图对应的光斑粗位置及编号。

S104，通过图像处理过程判断各个编号的光斑的存在性，所述图像处理过程至少包括剪裁、阈值分割操作、腐蚀操作、找轮廓操作。

具体的，对于目标编号的目标光斑，以所述目标光斑的粗位置为中心，从所述原始图像中剪裁出具有第一预设尺寸的矩形图像，例如宽40像素、高40像素的矩形图像；

对所述矩形图像执行阈值分割操作，得到第一图像，具体实施时，阈值分割具体的流程为：将属于光斑的像素点的像素值置为255，其它像素点的像素值置为0。采用动态阈值分割方法，具体步骤包括：采用21x21的均值滤波器对原始图像进行处理得到参考图像；原始图像中的每个像素的值g与参考图像中对应的每个像素的值r进行比较，若g-r>40，那么将原始图像中的该像素值置为255，否则置为0；

对所述第一图像执行腐蚀操作，得到第二图像，通过腐蚀操作将图像中的杂点消除；

对所述第二图像执行找轮廓操作，得到轮廓集合；

若所述轮廓集合不为空集，且所述轮廓集合中面积最大的轮廓的面积大于阈值，则判定所述目标光斑确实存在；否则，判定所述目标光斑不存在。

由此，可以判断各个编号的光斑的存在性。

S105，对于确实存在的光斑，根据粗位置计算其光斑中心坐标。

具体的，对于确实存在的目标光斑，将所述轮廓集合中面积最大的轮廓绘制到具有第二预设尺寸的、像素值均为0的纯黑背景图像上，以得到中间图像；

计算所述中间图像的质心坐标；

本实施例中，具体采用下式计算所述中间图像的质心坐标：

其中，x_c、y_c为所述中间图像的质心坐标，具体是指中间图像坐标系下的光斑中心坐标；i为中间图像x轴像素坐标，j为中间图像y轴像素坐标，I_ij为像素坐标(i，j)对应的像素值，m_min、m_max分别为x轴方向求和计算的起始与终止坐标，n_min、n_max分别为y轴方向求和计算的起始与终止坐标；

根据所述质心坐标和粗位置，计算所述原始图像的坐标系下的光斑中心坐标。

本实施例中，具体采用下式计算所述原始图像的坐标系下的光斑中心坐标：

x_p＝x_r+x_c-w/2

y_p＝y_r+y_c-h/2

其中，x_p、y_p为所述原始图像的坐标系下的光斑中心坐标，x_r、y_r为所述目标光斑的粗位置的坐标，w、h分别为所述纯黑背景图像的宽和高。

一示例性的光斑标注最终结果图如图4所示，与图3相比，图4中编码1、6、7、8号光斑实际是不存在。

综上，根据本实施例的光斑标注方法，基于瞳孔椭圆参数，通过预设的光斑估计模型，确定各光斑的编号，同时估计各编号光斑的粗位置，再判断各个编号的光斑的存在性，即通过图像处理技术实现光斑存在性的判断，排除了人的主观性干扰，且标注效率更高，通过光斑估计模型还能够准确确定光斑的编号，最后对于确实存在的光斑，根据粗位置计算其光斑中心坐标，能够提升标注的精确性。

请参阅图5，本发明另一实施例提出的光斑标注***，所述***包括：

获取模块，用于获取包含人眼的原始图像；

检测模块，用于检测所述原始图像中人眼的瞳孔椭圆参数；

估计模块，用于基于所述瞳孔椭圆参数，通过预设的光斑估计模型，确定各光斑的编号，并估计各编号光斑的粗位置，所述光斑估计模型为用于输出光斑位置坐标的全连接神经网络模型；

判断模块，用于通过图像处理过程判断各个编号的光斑的存在性，所述图像处理过程至少包括剪裁、阈值分割操作、腐蚀操作、找轮廓操作；

计算模块，用于对于确实存在的光斑，根据粗位置计算其光斑中心坐标。

本实施例中，所述光斑估计模型通过以下步骤建立得到：

获取瞳孔椭圆样本数据和对应的光斑位置样本数据，并根据所述瞳孔椭圆样本数据和所述光斑位置样本数据制作数据集；

基于所述数据集，训练光斑估计模型，所述光斑估计模型为全连接神经网络模型，输入数据为向量[center,a_b,angle]，输出数据为向量[x,y]，其中，center为瞳孔椭圆的中心坐标，a_b为瞳孔椭圆的半轴长，angle为瞳孔椭圆短轴相对坐标系x轴方向逆时针旋转的角度，[x,y]为光斑位置坐标。

本实施例中，所述判断模块具体用于：

对于目标编号的目标光斑，以所述目标光斑的粗位置为中心，从所述原始图像中剪裁出具有第一预设尺寸的矩形图像；

对所述矩形图像执行阈值分割操作，得到第一图像；

对所述第一图像执行腐蚀操作，得到第二图像；

对所述第二图像执行找轮廓操作，得到轮廓集合；

若所述轮廓集合不为空集，且所述轮廓集合中面积最大的轮廓的面积大于阈值，则判定所述目标光斑确实存在；否则，判定所述目标光斑不存在。

本实施例中，所述计算模块具体用于：

对于确实存在的目标光斑，将所述轮廓集合中面积最大的轮廓绘制到具有第二预设尺寸的、像素值均为0的纯黑背景图像上，以得到中间图像；

计算所述中间图像的质心坐标；

根据所述质心坐标和粗位置，计算所述原始图像的坐标系下的光斑中心坐标。

本实施例中，所述计算模块具体用于采用下式计算所述中间图像的质心坐标：

其中，x_c、y_c为所述中间图像的质心坐标，i为中间图像x轴像素坐标，j为中间图像y轴像素坐标，I_ij为像素坐标(i，j)对应的像素值，m_min、m_max分别为x轴方向求和计算的起始与终止坐标，n_min、n_max分别为y轴方向求和计算的起始与终止坐标；

采用下式计算所述原始图像的坐标系下的光斑中心坐标：

x_p＝x_r+x_c-w/2

y_p＝y_r+y_c-h/2

其中，x_p、y_p为所述原始图像的坐标系下的光斑中心坐标，x_r、y_r为所述目标光斑的粗位置的坐标，w、h分别为所述纯黑背景图像的宽和高。

根据本实施例的光斑标注***，基于瞳孔椭圆参数，通过预设的光斑估计模型，确定各光斑的编号，同时估计各编号光斑的粗位置，再判断各个编号的光斑的存在性，即通过图像处理技术实现光斑存在性的判断，排除了人的主观性干扰，且标注效率更高，通过光斑估计模型还能够准确确定光斑的编号，最后对于确实存在的光斑，根据粗位置计算其光斑中心坐标，能够提升标注的精确性。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通讯、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种光斑标注方法，其特征在于，所述方法包括：

获取包含人眼的原始图像；

检测所述原始图像中人眼的瞳孔椭圆参数；

基于所述瞳孔椭圆参数，通过预设的光斑估计模型，确定各光斑的编号，并估计各编号光斑的粗位置，所述光斑估计模型为用于输出光斑位置坐标的全连接神经网络模型；

通过图像处理过程判断各个编号的光斑的存在性，所述图像处理过程至少包括剪裁、阈值分割操作、腐蚀操作、找轮廓操作；

对于确实存在的光斑，根据粗位置计算其光斑中心坐标。

2.根据权利要求1所述的光斑标注方法，其特征在于，所述光斑估计模型通过以下步骤建立得到：

获取瞳孔椭圆样本数据和对应的光斑位置样本数据，并根据所述瞳孔椭圆样本数据和所述光斑位置样本数据制作数据集；

基于所述数据集，训练光斑估计模型，所述光斑估计模型为全连接神经网络模型，输入数据为向量[center,a_b,angle]，输出数据为向量[x,y]，其中，center为瞳孔椭圆的中心坐标，a_b为瞳孔椭圆的半轴长，angle为瞳孔椭圆短轴相对坐标系x轴方向逆时针旋转的角度，[x,y]为光斑位置坐标。

3.根据权利要求1所述的光斑标注方法，其特征在于，通过图像处理过程判断各个编号的光斑的存在性具体包括：

对于目标编号的目标光斑，以所述目标光斑的粗位置为中心，从所述原始图像中剪裁出具有第一预设尺寸的矩形图像；

对所述矩形图像执行阈值分割操作，得到第一图像；

对所述第一图像执行腐蚀操作，得到第二图像；

对所述第二图像执行找轮廓操作，得到轮廓集合；

若所述轮廓集合不为空集，且所述轮廓集合中面积最大的轮廓的面积大于阈值，则判定所述目标光斑确实存在；否则，判定所述目标光斑不存在。

4.根据权利要求3所述的光斑标注方法，其特征在于，对于确实存在的光斑，根据粗位置计算其光斑中心坐标具体包括：

对于确实存在的目标光斑，将所述轮廓集合中面积最大的轮廓绘制到具有第二预设尺寸的、像素值均为0的纯黑背景图像上，以得到中间图像；

计算所述中间图像的质心坐标；

根据所述质心坐标和粗位置，计算所述原始图像的坐标系下的光斑中心坐标。

5.根据权利要求4所述的光斑标注方法，其特征在于，，采用下式计算所述中间图像的质心坐标：

其中，x_c、y_c为所述中间图像的质心坐标，i为中间图像x轴像素坐标，j为中间图像y轴像素坐标，I_ij为像素坐标(i，j)对应的像素值，m_min、m_max分别为x轴方向求和计算的起始与终止坐标，n_min、n_max分别为y轴方向求和计算的起始与终止坐标；

采用下式计算所述原始图像的坐标系下的光斑中心坐标：

x_p＝x_r+x_c-w/2

y_p＝y_r+y_c-h/2

其中，x_p、y_p为所述原始图像的坐标系下的光斑中心坐标，x_r、y_r为所述目标光斑的粗位置的坐标，w、h分别为所述纯黑背景图像的宽和高。

6.一种光斑标注***，其特征在于，所述***包括：

获取模块，用于获取包含人眼的原始图像；

检测模块，用于检测所述原始图像中人眼的瞳孔椭圆参数；

估计模块，用于基于所述瞳孔椭圆参数，通过预设的光斑估计模型，确定各光斑的编号，并估计各编号光斑的粗位置，所述光斑估计模型为用于输出光斑位置坐标的全连接神经网络模型；

判断模块，用于通过图像处理过程判断各个编号的光斑的存在性，所述图像处理过程至少包括剪裁、阈值分割操作、腐蚀操作、找轮廓操作；

计算模块，用于对于确实存在的光斑，根据粗位置计算其光斑中心坐标。

7.根据权利要求6所述的光斑标注***，其特征在于，所述光斑估计模型通过以下步骤建立得到：

获取瞳孔椭圆样本数据和对应的光斑位置样本数据，并根据所述瞳孔椭圆样本数据和所述光斑位置样本数据制作数据集；

基于所述数据集，训练光斑估计模型，所述光斑估计模型为全连接神经网络模型，输入数据为向量[center,a_b,angle]，输出数据为向量[x,y]，其中，center为瞳孔椭圆的中心坐标，a_b为瞳孔椭圆的半轴长，angle为瞳孔椭圆短轴相对坐标系x轴方向逆时针旋转的角度，[x,y]为光斑位置坐标。

8.根据权利要求7所述的光斑标注***，其特征在于，所述判断模块具体用于：

对于目标编号的目标光斑，以所述目标光斑的粗位置为中心，从所述原始图像中剪裁出具有第一预设尺寸的矩形图像；

对所述矩形图像执行阈值分割操作，得到第一图像；

对所述第一图像执行腐蚀操作，得到第二图像；

对所述第二图像执行找轮廓操作，得到轮廓集合；

若所述轮廓集合不为空集，且所述轮廓集合中面积最大的轮廓的面积大于阈值，则判定所述目标光斑确实存在；否则，判定所述目标光斑不存在。

9.根据权利要求8所述的光斑标注***，其特征在于，所述计算模块具体用于：

对于确实存在的目标光斑，将所述轮廓集合中面积最大的轮廓绘制到具有第二预设尺寸的、像素值均为0的纯黑背景图像上，以得到中间图像；

计算所述中间图像的质心坐标；

根据所述质心坐标和粗位置，计算所述原始图像的坐标系下的光斑中心坐标。

10.根据权利要求9所述的光斑标注***，其特征在于，所述计算模块具体用于采用下式计算所述中间图像的质心坐标：

其中，x_c、y_c为所述中间图像的质心坐标，i为中间图像x轴像素坐标，j为中间图像y轴像素坐标，I_ij为像素坐标(i，j)对应的像素值，m_min、m_max分别为x轴方向求和计算的起始与终止坐标，n_min、n_max分别为y轴方向求和计算的起始与终止坐标；

采用下式计算所述原始图像的坐标系下的光斑中心坐标：

x_p＝x_r+x_c-w/2

y_p＝y_r+y_c-h/2

其中，x_p、y_p为所述原始图像的坐标系下的光斑中心坐标，x_r、y_r为所述目标光斑的粗位置的坐标，w、h分别为所述纯黑背景图像的宽和高。

Images