CN117496584B - 一种基于深度学习眼球追踪光斑检测方法及装置 - Google Patents
一种基于深度学习眼球追踪光斑检测方法及装置 Download PDFInfo
- Publication number
- CN117496584B CN117496584B CN202410003661.3A CN202410003661A CN117496584B CN 117496584 B CN117496584 B CN 117496584B CN 202410003661 A CN202410003661 A CN 202410003661A CN 117496584 B CN117496584 B CN 117496584B
- Authority
- CN
- China
- Prior art keywords
- image
- channel
- eyeball
- neural network
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000005252 bulbus oculi Anatomy 0.000 title claims abstract description 97
- 238000013135 deep learning Methods 0.000 title claims abstract description 22
- 238000001514 detection method Methods 0.000 title claims abstract description 15
- 238000003062 neural network model Methods 0.000 claims abstract description 44
- 210000001508 eye Anatomy 0.000 claims abstract description 31
- 230000006870 function Effects 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 16
- 230000011218 segmentation Effects 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims description 22
- 230000000007 visual effect Effects 0.000 claims description 16
- 238000010606 normalization Methods 0.000 claims description 5
- 230000004424 eye movement Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 241000083513 Punctum Species 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- FWMNVWWHGCHHJJ-SKKKGAJSSA-N 4-amino-1-[(2r)-6-amino-2-[[(2r)-2-[[(2r)-2-[[(2r)-2-amino-3-phenylpropanoyl]amino]-3-phenylpropanoyl]amino]-4-methylpentanoyl]amino]hexanoyl]piperidine-4-carboxylic acid Chemical compound C([C@H](C(=O)N[C@H](CC(C)C)C(=O)N[C@H](CCCCN)C(=O)N1CCC(N)(CC1)C(O)=O)NC(=O)[C@H](N)CC=1C=CC=CC=1)C1=CC=CC=C1 FWMNVWWHGCHHJJ-SKKKGAJSSA-N 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本申请提供了一种基于深度学习眼球追踪光斑检测方法及装置，该方法通过将带有光斑的单通道样本眼球图像的数据组进行处理后存储在txt文件中；并生成所述单通道样本眼球图像的第一多通道标签图像；通过初级神经网络模型对所述单通道样本眼球图像对应的数据组进行语义分割输出第二多通道标签图像；根据所述第一多通道标签图像与第二多通道标签图像确定损失函数；通过所述损失函数迭代优化所述初级神经网络模型，得到最终神经网络模型；通过所述最终神经网络模型对单通道待测眼球图像进行处理，并推理得到所述单通道待测眼球图像的光斑中心和光斑排序，通过本申请可精确的进行眼球光斑检测以确认光斑序号。
Description
技术领域
本申请属深度学习技术领域，尤其涉及一种基于深度学习眼球追踪光斑检测方法及装置。
背景技术
随着科技的发展，眼动追踪技术已然成为研究的热点，眼动追踪是一种用于研究人眼睛在视觉任务中的运动轨迹的技术。它可以记录人眼在观看视觉信息时的注视点位置和持续时间，并进一步推断人眼在视觉任务中的感知、认知和决策过程，帮助科学家了解人类视觉信息处理的机制。眼动追踪可以被应用于许多领域，例如人机交互设计、心理学、神经科学、广告和营销等。在眼动追踪中，视线估计是关键，但是视觉估计需要通过眼动光斑检测确认光斑序号进行视觉估计，现有技术中的眼动光斑检测精度不高，所以需要研究一套新的方案解决现有技术中问题。
发明内容
为了解决或缓解现有技术中的问题，因此提出一种基于深度学习眼球追踪光斑检测方法及装置。
第一方面，本申请实施例提供了一种基于深度学习眼球追踪光斑检测方法，包括：
将带有光斑的单通道样本眼球图像的数据组进行处理后存储在txt文件中；
读取txt文件中单通道样本眼球图像的数据组中首位数字不为0的数据组；
使用opencv图像视觉库生成像素值全为1的浮点型图像，所述浮点型图像大小与单通道样本眼球图像大小相同；
以每个所述数据组中的末尾两个值乘以单通道样本眼球图像的宽和高得到的值为圆心，以每个所述数据组的首位数字为像素，以预设像素值为半径在浮点型图像上画圆，得到单通道样本眼球图像对应的第一多通道标签图像；
通过初级神经网络模型对所述单通道样本眼球图像对应的数据组进行语义分割输出第二多通道标签图像；
根据所述第一多通道标签图像与第二多通道标签图像确定损失函数；
通过所述损失函数迭代优化所述初级神经网络模型，得到最终神经网络模型；
通过所述最终神经网络模型对带有光斑的单通道待测眼球图像进行处理，并推理得到所述单通道待测眼球图像的光斑中心和光斑排序。
与现有技术相比，本申请实施例提供了一种基于深度学习眼球追踪光斑检测方法，将带有光斑的单通道样本眼球图像的数据组进行处理后存储在txt文件中；读取txt文件中单通道样本眼球图像的数据组中首位数字不为0的数据组；使用opencv图像视觉库生成像素值全为1的浮点型图像，所述浮点型图像大小与单通道样本眼球图像大小相同；以每个所述数据组中的末尾两个值乘以单通道样本眼球图像的宽和高得到的值为圆心，以每个所述数据组的首位数字为像素，以预设像素值为半径在浮点型图像上画圆，得到单通道样本眼球图像对应的第一多通道标签图像；通过初级神经网络模型对所述单通道样本眼球图像对应的数据组进行语义分割输出第二多通道标签图像；根据所述第一多通道标签图像与第二多通道标签图像确定损失函数；通过所述损失函数迭代优化所述初级神经网络模型，得到最终神经网络模型；通过所述最终神经网络模型对带有光斑的单通道待测眼球图像进行处理，并推理得到所述单通道待测眼球图像的光斑中心和光斑排序，通过本申请提供的技术方案可以较精确的进行眼动光斑检测以确认光斑序号。
第二方面，本申请实施例还提供了一种基于深度学习眼球追踪光斑检测装置，包括：
处理模块，用于将带有光斑的单通道样本眼球图像进行处理后存储在txt文件中；
生成模块，用于读取txt文件中的单通道样本眼球图像的数据组中首位数字不为0的数据组；使用opencv图像视觉库生成像素值全为1的浮点型图像，所述浮点型图像大小与单通道样本眼球图像大小相同；以每个所述数据组中的末尾两个值乘以单通道样本眼球图像的宽和高得到的值为圆心，以每个所述数据组的首位数字为像素，以预设像素值为半径在浮点型图像上画圆，得到单通道样本眼球图像对应的第一多通道标签图像；
语义分割模块，用于通过初级神经网络模型对所述单通道样本眼球图像对应的数据组进行语义分割输出第二多通道标签图像；
确定模块，用于根据所述第一多通道标签图像与第二多通道标签图像确定损失函数；
优化模块，用于通过所述损失函数迭代优化所述初级神经网络模型，得到最终神经网络模型；
推理模块，用于通过所述最终神经网络模型对带有光斑的单通道待测眼球图像进行处理，并推理得到所述单通道待测眼球图像的光斑中心和光斑排序。
与现有技术相比，本申请实施例提供了一种基于深度学习眼球追踪光斑检测装置的有益效果与第一方面提供的技术方案的有益效果相同，在此不再赘述。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分，本领域技术人员应该理解的是，这些附图未必是按比例绘制的，在附图中：
图1是本申请实施例提供的一种基于深度学习眼球追踪光斑检测方法的流程示意图；
图2是本申请实施例提供的一种基于深度学习眼球追踪光斑检测装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
参考图1，第一方面，本申请实施例提供了一种基于深度学习眼球追踪光斑检测方法，包括：
步骤S01，将带有光斑的单通道样本眼球图像的数据组进行处理后存储在txt文件中；
步骤S01具体包括：采集带有光斑的单通道样本眼球图像；
在采集到的单通道样本眼球图像上，按顺序标记每个单通道样本眼球图像的光斑中心，并将每个单通道样本眼球图像的光斑中心进行归一化处理；
将光斑中心进行归一化处理后的单通道样本眼球图像保存在txt文件中。
需要说明的是，使用相关设备采集带有光斑的单通道样本眼球图像（设备可以为VR头显，在设备左右眼角对应的地方安装有一圈灯光和一个摄像头，通过摄像头采集左右眼球的图像）。在采集到的单通道样本眼球图像上，按顺序人工标记出光斑中心位置，并将光斑中心位置进行归一化处理，没有拍到光斑的位置标签和坐标都为0，将光斑中心进行归一化处理后的单通道样本眼球图像保存在txt文件中。
保存在txt文件中的数据类似如下：
1 0.834609 0.384967（序号为1）；1 0.864758 0.784047 （序号为2）；1 0.7947790.567892 （序号为3）；0 0.000000 0.000000（序号为4）；1 0.694934 0.749345（序号为5）；0 0.000000 0.000000（序号为6）；0 0.000000 0.000000（序号为7）； 1 0.4799660.397679（序号为8）；
从眼角开始，左眼顺时针顺序标注，右眼逆时针顺序标注，上面每个数字第一个整数1表示有光斑，整数0 表示无光斑，后面的二个小数，表示光斑中心相对图像的中心位置，例如前三个数值：1 0.834609 0.384967，1表示眼角位置有光斑，假如此光斑中心位置像素坐标(x,y)，图像宽高分别为H，W，则x/W = 0.834609，y/H = 0.384967，而0 0.0000000.000000表示未检测到光斑，上述数据是表示共有8个光斑点，其中5个光斑点检测到光斑。
步骤S02，对存储在txt文件中的内容进行处理后，生成单通道样本眼球图像对应的第一多通道标签图像；
步骤S02具体包括：读取txt文件中单通道样本眼球图像的数据组中首位数字不为0的数据组；
使用opencv图像视觉库生成像素值全为1的浮点型图像，所述浮点型图像大小与单通道样本眼球图像大小相同；
以每个所述数据组中的末尾两个值乘以单通道样本眼球图像的宽和高得到的值为圆心，以每个所述数据组的首位数字为像素，以预设像素值为半径在浮点型图像上画圆，得到单通道样本眼球图像对应的第一多通道标签图像。
需要说明的是，读取上述txt文件中标签首位数字不为0的数据组（序号为1）10.834609 0.384967 ；（序号为2）1 0.864758 0.784047 ；（序号为3）1 0.794779 0.567892；（序号为5）1 0.694934 0.749345；（序号为8）1 0.479966 0.397679；（以每三个数据为一组），并且将标签数据改成对应的序号加1，如上述txt中数据组变为：
[[2 0.834609 0.384967] [3 0.864758 0.784047] [4 0.794779 0.567892] [60.694934 0.749345] [9 0.479966 0.397679]]
使用opencv图像视觉库生成一张像素值全为1的浮点型图像，浮点型图像的图像大小与相机采集时原图像的大小一致，浮点型图像宽高分别为H、W，然后以上述每组数据的后二个值乘以图像宽高得到的数值为中心，以首位数字为像素，以半径为R（R=4像素）在浮点型图像上以填充方式画圆（即实心圆），实心圆为具有相同像素点的区域的光斑点。
如数据组[2 0.834609 0.384967]：以为中心坐标，以数据组中第一位数2为像素，画一个半径为4像素的实心圆。
如此每个单通道样本眼球图像均生成一张名字与原图一样对应的第一多通道标签图像。
步骤S03，通过初级神经网络模型对所述单通道样本眼球图像对应的数据组进行语义分割输出第二多通道标签图像；
需要说明的是，设计初级神经网络模型输入为batch*m*W*H，所述初级神经网络模型输出为batch*n*W*H，其中，batch是每次迭代所使用所述单通道样本眼球图像对应的标签图像的张数，m和n表示通道数，W、H表示所述单通道样本眼球图像对应的标签图像的宽和高。
需要说明的是，通过神经网络语义分割后就会将单通道图像转成多通道的图像标签，在本申请实施例中，如果单通道图像上有9个像素点，单通道图像为一张灰度图，每个像素点的像素值是1~9之中的一个，然后将单通道图像转成多通道的图像标签，实际上就是将单通道图像变成9张单通道的二值图，在二值图每个像素点值为0或1。比如第一张图像标签除了像素值为1的像素点，其它区域的像素值都是0，又比如第二张图，除了单通道图像image中像素值为2的对应像素点的像素值是1，其它区域的的像素值都是0，以此类推得到9通道的图像标签。
在具体的应用中，在第一个通道中有上述所画的圆区域全部像素值是0，在第一个通道中无上述所画的圆区域则像素值是1，在第二个通道中如果在上述所画的圆中像素点的像素值为1，在第二个通道中无上述所画的圆区域则像素值为0，在第三个通道中如果在上述所画的圆中像素点的像素值为1，在第二个通道中无上述所画的圆区域则像素值为0，依次类推得到第二多通道图形标签l。
在本申请实施例中，所述初级神经网络模型为Net网络模型，Net网络模型可以为Le-Net网络模型。
在本申请实施例中，所述第一多通道标签图像和第二多通道标签图像均为多张每个像素值是0或1的二值图。
步骤S04，根据所述第一多通道标签图像与第二多通道标签图像确定损失函数；
步骤S04具体包括：获取第一多通道标签图像中的第一个通道标签图像与第二多通道标签图像中的第一个通道标签图像之间的损失值loss1，及第一多通道标签图像中的其它通道标签图像与第二多通道标签图像中的其它通道标签图像之间的损失值loss2，根据以下公式确定损失函数：其中，W1，W2分别表示损失值loss1和损失值loss2的权重值。
其中，W1，W2分别表示损失值loss1和损失值loss2的权重值。
需要说明的是，损失函数分二部分，一部分是单通道样本眼球图像的第一个第一多通道标签图像与所述初级神经网络输出的第一个第二多通道标签图像之间的损失值loss1，另外一部分是单通道样本眼球图像的其它通道标签图像与所述初级神经网络输出的其它通道标签图像之间的损失值loss2。
步骤S05，通过所述损失函数迭代优化所述初级神经网络模型，得到最终神经网络模型；
需要说明的是，使用上述损失值不断迭代优化初级神经网络模型，直到初级神经网络模型完全收敛，输出最终的神经网络模型。
步骤S06，通过所述最终神经网络模型对带有光斑的单通道待测眼球图像进行处理，并推理得到所述单通道待测眼球图像的光斑中心和光斑排序。
步骤S06具体包括：将采集到的单通道待测眼球图像，输入到所述最终神经网络模型得到单通道待测眼球图像的第三多通道标签图像；
将采集到的单通道待测眼球图像，输入到所述最终神经网络模型得到单通道待测眼球图像的第三多通道标签图像；
依次轮询单通道待测眼球图像的第三多通道标签图像以确定单通道图像，所述单通道图像上的每个像素坐标点的像素值为与第三多通道标签图像具有相同像素坐标点的最大像素值对应的通道序号；
获取与所述单通道图像中的各个像素坐标点的像素值具有相同分辨率的二值图；
通过opencv图像视觉库中findContours函数确定所述二值图的各个通道的各个连通域的中心位置，所述连通域对应于光斑序号，根据所述光斑序号得到光斑中心位置及光斑排序。
需要说明的是，采集单通道待测眼球图像，输入最终神经网络模型推理，输出第三多通道标签图像output1。
轮询第三多通道标签图像output1各个通道，获取最大像素值所在的通道以确定单通道图像output2，所述单通道图像output2中的每个像素坐标点的像素值为与第三多通道标签图像具有相同像素坐标点的最大像素值对应的通道序号；
如果有9个光斑点，第一通道为0通道，所述第三多通道标签图像output1各个通道依次为0,1,2,3,4,5,6,7,8顺序，即9个通道，比如output1在像素坐标(0,0)位置各个通道的像素值为[0.034554 0.05459 0.000000 0.000000 0.007462 0.934712 0.0000000.0034401 0.000000]，此位置最大像素值为0.934712，通道序数为5，则在单通道图像output2图像像素坐标(0,0)处的像素值为5，依次全部轮询output1，获取单通道图像output2各个像素坐标点的像素值。
根据单通道图像output2在各个像素坐标点的像素值获取一分辨率和单通道图像output2相同的二值图output3，所述二值图output3的像素值为255。
通过opencv图像视觉库中findContours函数确定二值图像output3中各个连通域的中心位置，即为通过最终神经网络模型推理出光斑中心。
所述二值图Output3连通域对应于单通道图像Output2像素值，即为光斑序号，由此即得到了光斑中心位置，又可以得到光斑的排序，为后期眼动追踪提供有效的数据。
本申请实施例通过将光斑点通过处理为一个光斑点区域，即为点到面样本标签生成方法，使得眼动光斑检测问题转向一个语义分割问题，有效快速的实现了眼动光斑检测。同时借鉴语义分割思想，应用于眼动追踪中光斑检测，因为语义分割思想可以将自然光和泪点进行去除，所以更有效的克服了眼睛中自然光、泪点干扰，并对深度学习推理后的结果进行后处理，有效提取眼动光斑并保证了光斑的序号准确性，这样可以为后续眼动追踪、眼动姿态估计提供有力保障。
参考图2，第二方面，本申请实施例还提供了一种基于深度学习眼球追踪光斑检测装置，包括：
处理模块21，用于将带有光斑的单通道样本眼球图像的数据组进行处理后存储在txt文件中；
生成模块22，用于读取txt文件中单通道样本眼球图像的数据组中首位数字不为0的数据组；使用opencv图像视觉库生成像素值全为1浮点型图像，所述浮点型图像大小与单通道样本眼球图像大小相同；以每个所述数据组中的末尾两个值乘以单通道样本眼球图像的宽和高得到的值为圆心，以每个所述数据组的首位数字为像素，以预设像素值为半径在浮点型图像上画圆，得到单通道样本眼球图像对应的第一多通道标签图像；
语义分割模块23，用于通过初级神经网络模型对所述单通道样本眼球图像对应的数据组进行语义分割输出第二多通道标签图像；
确定模块24，用于根据所述第一多通道标签图像与第二多通道标签图像确定损失函数；
优化模块25，用于通过所述损失函数迭代优化所述初级神经网络模型，得到最终神经网络模型；
推理模块26，用于通过所述最终神经网络模型对带有光斑的单通道待测眼球图像进行处理，并推理得到所述单通道待测眼球图像的光斑中心和光斑排序。
与现有技术相比，本申请实施例提供了一种基于深度学习眼球追踪光斑检测装置的有益效果与第一方面提供的技术方案的有益效果相同，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (6)
1.一种基于深度学习眼球追踪光斑检测方法，其特征在于，包括：
将带有光斑的单通道样本眼球图像的数据组进行处理后存储在txt文件中；
读取txt文件中单通道样本眼球图像的数据组中首位数字不为0的数据组；
使用opencv图像视觉库生成像素值全为1的浮点型图像，所述浮点型图像大小与单通道样本眼球图像大小相同；
以每个所述数据组中的末尾两个值乘以单通道样本眼球图像的宽和高得到的值为圆心，以每个所述数据组的首位数字为像素，以预设像素值为半径在浮点型图像上画圆，得到单通道样本眼球图像对应的第一多通道标签图像；
通过初级神经网络模型对所述单通道样本眼球图像对应的数据组进行语义分割输出第二多通道标签图像；
根据所述第一多通道标签图像与第二多通道标签图像确定损失函数；
通过所述损失函数迭代优化所述初级神经网络模型，得到最终神经网络模型；
通过所述最终神经网络模型对带有光斑的单通道待测眼球图像进行处理，并推理得到所述单通道待测眼球图像的光斑中心和光斑排序。
2.如权利要求1所述的一种基于深度学习眼球追踪光斑检测方法，其特征在于，所述将带有光斑的单通道样本眼球图像的数据组进行处理后存储在txt文件中，包括：
采集带有光斑的单通道样本眼球图像；
在采集到的单通道样本眼球图像上，按顺序标记每个单通道样本眼球图像的光斑中心，并将每个单通道样本眼球图像的光斑中心进行归一化处理；
将光斑中心进行归一化处理后的单通道样本眼球图像的数据组保存在txt文件中。
3.如权利要求1所述的一种基于深度学习眼球追踪光斑检测方法，其特征在于，所述根据所述第一多通道标签图像与第二多通道标签图像确定损失函数，包括：
获取第一多通道标签图像中的第一个通道标签图像与第二多通道标签图像中的第一个通道标签图像之间的损失值loss1，及第一多通道标签图像中的其它通道标签图像与第二多通道标签图像中的其它通道标签图像之间的损失值loss2，根据以下公式确定损失函数：
其中，W1，W2分别表示损失值loss1和损失值loss2的权重值。
4.如权利要求3所述的一种基于深度学习眼球追踪光斑检测方法，其特征在于，所述第一多通道标签图像和第二多通道标签图像均为多张每个像素值是0或1的二值图。
5.如权利要求4所述的一种基于深度学习眼球追踪光斑检测方法，其特征在于，所述通过所述最终神经网络模型对带有光斑的单通道待测眼球图像进行处理，并推理得到所述单通道待测眼球图像的光斑中心和光斑排序，包括：
将采集到的单通道待测眼球图像，输入到所述最终神经网络模型得到单通道待测眼球图像的第三多通道标签图像；
依次轮询单通道待测眼球图像的第三多通道标签图像以确定单通道图像，所述单通道图像上的每个像素坐标点的像素值为与第三多通道标签图像具有相同像素坐标点的最大像素值对应的通道序号；
获取与所述单通道图像中的各个像素坐标点的像素值具有相同分辨率的二值图；
通过opencv图像视觉库中findContours函数确定所述二值图的各个通道的各个连通域的中心位置，所述连通域对应于光斑序号，根据所述光斑序号得到光斑中心位置及光斑排序。
6.一种基于深度学习眼球追踪光斑检测装置，其特征在于，包括：
处理模块，用于将带有光斑的单通道样本眼球图像进行处理后存储在txt文件中；
生成模块，用于读取txt文件中单通道样本眼球图像的数据组中首位数字不为0的数据组；使用opencv图像视觉库生成像素值全为1的浮点型图像，所述浮点型图像大小与单通道样本眼球图像大小相同；以每个所述数据组中的末尾两个值乘以单通道样本眼球图像的宽和高得到的值为圆心，以每个所述数据组的首位数字为像素，以预设像素值为半径在浮点型图像上画圆，得到单通道样本眼球图像对应的第一多通道标签图像；
语义分割模块，用于通过初级神经网络模型对所述单通道样本眼球图像对应的数据组进行语义分割输出第二多通道标签图像；
确定模块，用于根据所述第一多通道标签图像与第二多通道标签图像确定损失函数；
优化模块，用于通过所述损失函数迭代优化所述初级神经网络模型，得到最终神经网络模型；
推理模块，用于通过所述最终神经网络模型对带有光斑的单通道待测眼球图像进行处理，并推理得到所述单通道待测眼球图像的光斑中心和光斑排序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410003661.3A CN117496584B (zh) | 2024-01-02 | 2024-01-02 | 一种基于深度学习眼球追踪光斑检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410003661.3A CN117496584B (zh) | 2024-01-02 | 2024-01-02 | 一种基于深度学习眼球追踪光斑检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117496584A CN117496584A (zh) | 2024-02-02 |
| CN117496584B true CN117496584B (zh) | 2024-04-09 |
Family
ID=89680460
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410003661.3A Active CN117496584B (zh) | 2024-01-02 | 2024-01-02 | 一种基于深度学习眼球追踪光斑检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117496584B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107506705A (zh) * | 2017-08-11 | 2017-12-22 | 西安工业大学 | 一种瞳孔‑普尔钦斑视线跟踪与注视提取方法 |
| CN109359512A (zh) * | 2018-08-28 | 2019-02-19 | 深圳壹账通智能科技有限公司 | 眼球位置追踪方法、装置、终端及计算机可读存储介质 |
| CN110599413A (zh) * | 2019-08-15 | 2019-12-20 | 江苏大学 | 基于深度学习卷积神经网络的激光光斑图像去噪的方法 |
| CN111862035A (zh) * | 2020-07-17 | 2020-10-30 | 平安科技（深圳）有限公司 | 光斑检测模型的训练方法、光斑检测方法、设备及介质 |
| CN111985303A (zh) * | 2020-07-01 | 2020-11-24 | 江西拓世智能科技有限公司 | 一种基于人脸识别和人眼光斑活体检测装置和方法 |
| CN112561982A (zh) * | 2020-12-22 | 2021-03-26 | 电子科技大学中山学院 | 一种基于vgg-16的高精度光斑中心检测方法 |
| CN115049675A (zh) * | 2022-05-23 | 2022-09-13 | 北京旷视科技有限公司 | 生成区域确定及光斑生成方法、设备、介质及程序产品 |
| CN115281825A (zh) * | 2022-08-12 | 2022-11-04 | 天津恒宇医疗科技有限公司 | 基于神经网络的可调谐激光斑块识别消蚀***及识别方法 |
| CN116051631A (zh) * | 2022-12-02 | 2023-05-02 | 南昌虚拟现实研究院股份有限公司 | 光斑标注方法及*** |
| CN116452530A (zh) * | 2023-04-07 | 2023-07-18 | 厦门大学 | 一种眼动追踪方法及眼动追踪装置 |
| CN116453232A (zh) * | 2023-04-12 | 2023-07-18 | 奥比中光科技集团股份有限公司 | 人脸活体检测方法、人脸活体检测模型的训练方法和装置 |
| CN117079339A (zh) * | 2023-08-17 | 2023-11-17 | 北京万里红科技有限公司 | 动物虹膜识别方法、预测模型训练方法、电子设备及介质 |
| CN117156113A (zh) * | 2023-10-30 | 2023-12-01 | 南昌虚拟现实研究院股份有限公司 | 一种基于深度学习散斑相机图像矫正方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201416908A (zh) * | 2012-10-23 | 2014-05-01 | Pixart Imaging Inc | 瞳孔追蹤裝置 |
-
2024
- 2024-01-02 CN CN202410003661.3A patent/CN117496584B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107506705A (zh) * | 2017-08-11 | 2017-12-22 | 西安工业大学 | 一种瞳孔‑普尔钦斑视线跟踪与注视提取方法 |
| CN109359512A (zh) * | 2018-08-28 | 2019-02-19 | 深圳壹账通智能科技有限公司 | 眼球位置追踪方法、装置、终端及计算机可读存储介质 |
| CN110599413A (zh) * | 2019-08-15 | 2019-12-20 | 江苏大学 | 基于深度学习卷积神经网络的激光光斑图像去噪的方法 |
| CN111985303A (zh) * | 2020-07-01 | 2020-11-24 | 江西拓世智能科技有限公司 | 一种基于人脸识别和人眼光斑活体检测装置和方法 |
| CN111862035A (zh) * | 2020-07-17 | 2020-10-30 | 平安科技（深圳）有限公司 | 光斑检测模型的训练方法、光斑检测方法、设备及介质 |
| CN112561982A (zh) * | 2020-12-22 | 2021-03-26 | 电子科技大学中山学院 | 一种基于vgg-16的高精度光斑中心检测方法 |
| CN115049675A (zh) * | 2022-05-23 | 2022-09-13 | 北京旷视科技有限公司 | 生成区域确定及光斑生成方法、设备、介质及程序产品 |
| CN115281825A (zh) * | 2022-08-12 | 2022-11-04 | 天津恒宇医疗科技有限公司 | 基于神经网络的可调谐激光斑块识别消蚀***及识别方法 |
| CN116051631A (zh) * | 2022-12-02 | 2023-05-02 | 南昌虚拟现实研究院股份有限公司 | 光斑标注方法及*** |
| CN116452530A (zh) * | 2023-04-07 | 2023-07-18 | 厦门大学 | 一种眼动追踪方法及眼动追踪装置 |
| CN116453232A (zh) * | 2023-04-12 | 2023-07-18 | 奥比中光科技集团股份有限公司 | 人脸活体检测方法、人脸活体检测模型的训练方法和装置 |
| CN117079339A (zh) * | 2023-08-17 | 2023-11-17 | 北京万里红科技有限公司 | 动物虹膜识别方法、预测模型训练方法、电子设备及介质 |
| CN117156113A (zh) * | 2023-10-30 | 2023-12-01 | 南昌虚拟现实研究院股份有限公司 | 一种基于深度学习散斑相机图像矫正方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| Eyeball Movement Detection Using Sector Line Distance Approach and Learning Vector Quantization;Gusti Pangestu 等;《2019 5th International Conference on Science in Information Technology》;20191231;199-204 * |
| 基于图像处理的眼球自动对焦***研究;王萌 等;《中国科技信息》;20131231;46-47 * |
| 基于角膜反射法的视线追踪***的视线落点校正研究;胡锴 等;《计量学报》;20220331;第43卷(第3期);331-337 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117496584A (zh) | 2024-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110634140B (zh) | 一种基于机器视觉的大直径管状物定位及内壁缺陷检测方法 | |
| KR20220068230A (ko) | 구강 내 측정값을 정합시키기 위한 방법, 시스템 및 컴퓨터 판독 가능 저장 매체 | |
| Thirumavalavan et al. | An improved teaching–learning based robust edge detection algorithm for noisy images | |
| CN110490924B (zh) | 一种基于多尺度Harris的光场图像特征点检测方法 | |
| CN111127417A (zh) | 一种基于sift特征匹配和改进的ssd算法的软包装卷料印刷缺陷检测方法 | |
| Finnegan et al. | Automated method for detecting and reading seven-segment digits from images of blood glucose metres and blood pressure monitors | |
| CN115439456A (zh) | 一种病理图像中对象检测识别方法及装置 | |
| CN117496584B (zh) | 一种基于深度学习眼球追踪光斑检测方法及装置 | |
| CN113409271A (zh) | 一种镜头油污的检测方法、装置及设备 | |
| CN115330603B (zh) | 基于深度学习卷积神经网络的人类染色体图像摆正方法 | |
| CN115880266A (zh) | 一种基于深度学习的肠道息肉检测***和方法 | |
| CN116433743A (zh) | 一种校准图像的方法及装置 | |
| CN113763315A (zh) | 玻片图像的信息获取方法、装置、设备及介质 | |
| CN113643263A (zh) | 一种上肢骨定位与前臂骨融合畸形的识别方法及*** | |
| CN113392844A (zh) | 一种基于深度学习的医用胶片上文字信息的识别方法 | |
| CN112489012A (zh) | 一种用于ct图像识别的神经网络架构方法 | |
| CN110781884A (zh) | 一种实现电表数据智能读取的方法 | |
| Shuai et al. | Heterogeneous iris one-to-one certification with universal sensors based on quality fuzzy inference and multi-feature fusion lightweight neural network | |
| CN112149675B (zh) | 获取图表信息数据的方法、电子设备及可读存储介质 | |
| CN117315670B (zh) | 一种基于计算机视觉的水表读数区域检测方法 | |
| CN116492082B (zh) | 基于三维模型的数据处理方法、装置、设备及介质 | |
| CN116311262B (zh) | 一种仪器仪表信息的识别方法、***、设备和存储介质 | |
| CN117574098B (zh) | 一种学习专注度分析方法以及相关装置 | |
| CN115578753B (zh) | 人体关键点检测方法、装置、电子设备及存储介质 | |
| Junhui et al. | Recognition of dot-matrix character-degraded based on affine registration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |