CN117372475A - 眼球追踪方法和电子设备 - Google Patents

眼球追踪方法和电子设备 Download PDF

Info

Publication number
CN117372475A
CN117372475A CN202311306728.2A CN202311306728A CN117372475A CN 117372475 A CN117372475 A CN 117372475A CN 202311306728 A CN202311306728 A CN 202311306728A CN 117372475 A CN117372475 A CN 117372475A
Authority
CN
China
Prior art keywords
point
determining
coordinates
pupil
eyeball
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311306728.2A
Other languages
English (en)
Inventor
刘木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202311306728.2A priority Critical patent/CN117372475A/zh
Publication of CN117372475A publication Critical patent/CN117372475A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本申请公开了一种眼球追踪方法和电子设备，属于移动终端领域。其中，该方法包括：获取目标相机采集的眼球图像中目标区域的边缘曲线，从边缘曲线上提取至少三个基准点；根据至少三个基准点在眼球图像中的位置坐标和各个基准点对应的深度信息，确定每个基准点的三维位置坐标；根据每个基准点的三维位置坐标，确定瞳孔中心坐标和瞳孔光轴，根据瞳孔中心坐标、瞳孔光轴和目标偏移量，确定眼球中心点坐标和视线轴；根据眼球中心点坐标、眼球与目标相机所对应显示屏幕之间的垂直距离，以及视线轴，确定用户在显示屏幕上的注视点。

Description

眼球追踪方法和电子设备
技术领域
本申请属于移动终端技术领域，具体涉及一种眼球追踪方法和电子设备。
背景技术
AR(Augmented Reality，增强现实)和VR(Virtual Reality，虚拟现实)两种虚拟现实相关的技术的发展，为人们提供了新的沉浸式体验和交互方式，其中的眼球追踪技术是通过实时追踪眼睛的变化，预测用户的状态和需求，并进行响应，实现用眼睛控制设备的目的。
眼球追踪的主要设备包括红外设备和图像采集设备，对于单眼***来说，通常需要一个红外相机加N个红外灯(N一般大于6)，通过红外相机拍摄到眼球图像中包含两个及以上清晰的红外反光点(即红外灯照射眼球的反光)，确定用户眼球的注视点。然而，环境光线、拍摄角度、用户佩戴眼镜、头部姿态等多种因素都会影响红外反光点的获取，在红外反光点的数量过少或者存在大量干扰反光点的情况下，很难准确地确定出用户的注视点，导致眼球追踪的效率和可靠性不高，影响用户体验。
发明内容
本申请实施例的目的是提供一种眼球追踪方法和电子设备，能够解决采用红外反光点确定用户注视点的方式眼球追踪效率和可靠性不高的问题。
第一方面，本申请实施例提供了一种眼球追踪方法，该方法包括：
获取目标相机采集的眼球图像中目标区域的边缘曲线，从所述边缘曲线上提取至少三个基准点，其中，所述目标区域包括瞳孔区域或虹膜区域；
根据所述至少三个基准点在所述眼球图像中的位置坐标和各个基准点对应的深度信息，确定每个基准点的三维位置坐标；
根据每个基准点的三维位置坐标，确定瞳孔中心坐标和瞳孔光轴，根据所述瞳孔中心坐标、瞳孔光轴和目标偏移量，确定眼球中心点坐标和视线轴；其中，所述目标偏移量为预先标定的光轴与视线轴之间的偏移量；
根据所述眼球中心点坐标、眼球与目标相机所对应显示屏幕之间的垂直距离，以及所述视线轴，确定用户在所述显示屏幕上的注视点。
第二方面，本申请实施例提供了一种眼球追踪装置，该装置包括：
基准点提取模块，用于获取目标相机采集的眼球图像中目标区域的边缘曲线，从所述边缘曲线上提取至少三个基准点，其中，所述目标区域包括瞳孔区域或虹膜区域；
位置确定模块，用于根据所述至少三个基准点在所述眼球图像中的位置坐标和各个基准点对应的深度信息，确定每个基准点在第一坐标系下的三维位置坐标；
视线轴确定模块，用于根据每个基准点的三维位置坐标，确定瞳孔中心坐标和瞳孔光轴，根据所述瞳孔中心坐标、瞳孔光轴和目标偏移量，确定眼球中心点坐标和视线轴；其中，所述目标偏移量为预先标定的光轴与视线轴之间的偏移量；
注视点确定模块，用于根据所述眼球中心点坐标、眼球与目标相机所对应显示屏幕之间的垂直距离，以及所述视线轴，确定用户在所述显示屏幕上的注视点。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
在本申请实施例中，获取目标相机采集的眼球图像中目标区域的边缘曲线，从边缘曲线上提取至少三个基准点；根据至少三个基准点在眼球图像中的位置坐标和各个基准点对应的深度信息，确定每个基准点的三维位置坐标；根据每个基准点的三维位置坐标，确定瞳孔中心坐标和瞳孔光轴，根据瞳孔中心坐标、瞳孔光轴和目标偏移量，确定眼球中心点坐标和视线轴；根据眼球中心点坐标、眼球与目标相机所对应显示屏幕之间的垂直距离，以及视线轴，确定用户在显示屏幕上的注视点。
由于本申请实施例提供的方案无需获取反光点信息，只需要图像中包含瞳孔区域的边缘信息即可求解出用户在显示屏幕上的注视点，因此在某些特殊的场景下，例如，拍摄到的红外反光点的数量过少、甚至没有高亮反光点、佩戴眼镜镜片反光产生干扰反光点等，仍然能够准确地确定出用户在显示屏幕上的注视点，这样，相对于采用红外反光点确定用户注视点的方式，采用本申请实施例提供的方案，可以提高眼球追踪的效率和可靠性，提升用户的体验感。
附图说明
图1是本申请实施例提供的眼球追踪方法的流程示意图之一；
图2a和图2b是本申请实施例提供的边缘曲线上提取基准点的示例图；
图3是本申请实施例提供的显示屏幕坐标归一化处理的示例图；
图4是本申请实施例提供的眼球追踪方法的流程示意图之二；
图5是本申请实施例提供的眼球跟踪装置的结构示意图；
图6是本申请实施例提供的电子设备结构示意图；
图7为实现本申请实施例的一种电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的眼球追踪方法进行详细地说明。
眼球追踪主要是研究眼球运动信息的获取、建模和模拟，获取眼球运动信息的设备除了红外设备之外，还可以是图像采集设备，甚至是电脑或手机上的摄像头，其在软件的支持下可以实现眼球跟踪。目前，常见的眼球追踪方法是部署红外相机和多个红外灯，通过红外相机拍摄眼球图像中包含两个及以上清晰的红外反光点，以确定用户的关注点。
然而，当红外反光点的数量过少时，例如，***布置了8个红外灯，拍摄到的眼球图像只有3个反光点，此时很难准确的找到这3个反光点对应的红外灯，进而无法确定出用户的关注点。另外在某些极端的场景下，当拍摄到的图像没有高亮反光点时，只能丢弃当前帧图像，算法不做处理；而在佩戴眼镜的情况下，镜片反光可能会产生大量的干扰反光点，此时更加难以找到与这些反光点对应的红外灯。相关方案通过设计一些复杂的算法对反光点和红外灯进行强行配对，其算法复杂度增加，维护困难，并且极有可能因配对出错而影响眼球追踪的效果，或者直接丢弃当前帧图像，算法不做处理，该方式的算法鲁棒性较差，影响用户体验。
本申请实施提供了一种眼球追踪方法，用以解决采用红外反光点确定用户注视点的方式眼球追踪效率和可靠性不高的问题，如图1和图2a所示，该方法具体包括以下步骤：
S101：获取目标相机采集的眼球图像200中目标区域210的边缘曲线，从所述边缘曲线上提取至少三个基准点220。
其中，所述目标区域为瞳孔区域或虹膜区域。
本申请实施例可以应用在包括目标相机的电子设备中，该电子设备可以是智能手机、平板电脑、触屏笔记本电脑、AR眼镜、VR设备、MR设备等终端。通过目标相机采集眼球图像200，识别该眼球图像200中的目标区域210，该目标区域210可以是瞳孔区域，也可以是虹膜区域；提取该目标区域210的边缘曲线。具体地，可以使用Hog或者Harr检测算子，检测该眼球图像200中人眼的位置，提取出目标区域210；使用canny边缘检测方法提取瞳孔区域的特征边缘，最后利用霍夫圆检测方法检测瞳孔圆或者椭圆边界，得到目标区域210的边缘曲线。
进而，从检测的边缘曲线上提取至少三个基准点220，为了准确地确定出用户的注视点，本申请实施例还对基准点220的清晰度和深度信息的准确度进行判断。在一种可能的实施方式中，上述步骤S101中，从所述边缘曲线上提取至少三个基准点220，包括：
从所述边缘曲线上提取至少三个第一候选点；在所述至少三个第一候选点中的各个第一候选点的清晰度参数和深度信息满足预设条件的情况下，将所述至少三个第一候选点确定为基准点。
其中，清晰度参数可以包括对比度、亮度、锐度、饱和度等参数。第一候选点对应的深度信息可以采用结构光、飞行时间(Time of flight，TOF)3D成像法、双摄像头等方式计算得到。
本申请实施例中，首先从边缘曲线上提取至少三个第一候选点，如图2b所示，以提取三个第一候选点为例，为了提高眼球追踪的准确性和该方法的稳定性，此处提取的任两个第一候选点之间间隔的距离基本相等。如果提取的三个第一候选点的清晰度参数和深度信息都满足预设条件，将三个第一候选点确定为基准点220。其中，预设条件可以是清晰度参数大于预设清晰度阈值，也可以是深度信息的准确度高于预设准确度阈值，具体可以通过与第一候选点临近的多个候选点，验证该第一候选点所对应深度信息的准确度。
如果三个第一候选点中任一个第一候选点的清晰度参数和深度信息无法满足上述预设条件，重新选取候选点进行清晰度参数和深度信息的判断。为了提高基准点220的选取效率，可选地，在所述至少三个第一候选点中任一个第一候选点的清晰度参数和深度信息无法满足所述预设条件的情况下，以目标区域的质心坐标点230为中心，按照设定角度将每个第一候选点进行旋转得到第二候选点，若所述第二候选点的清晰度参数和深度信息满足所述预设条件，则将所述第二候选点确定为基准点220。
具体地，在提取的三个第一候选点中任一个第一候选点的清晰度参数和深度信息无法满足预设条件时，顺时针旋转2～3°得到第二候选点，重复上述条件的判断过程，直到满足预设条件为止。若顺时针旋转360°仍没有满足预设条件的候选点则直接退出，获取下一帧眼球图像。
S102：根据所述至少三个基准点220在所述眼球图像200中的位置坐标和各个基准点220对应的深度信息，确定每个基准点220的三维位置坐标。
本申请实施例中，以提取三个基准点为例，三个基准点分别为基准点1、基准点2和基准点3，假设以眼球图像200的左上角坐标为坐标原点，沿着眼球图像的长度方向为横轴，沿着眼球图像的宽度方向为纵轴建立坐标系，得到三个基准点在眼球图像中的位置坐标为(l1，n1)、(l2，n2)和(l3，n3)，对应的深度值分别为d1、d2、d3，通过标定得到目标相机的光心的三维位置坐标为(x0，y0，z0)。则，以三个基准点中的基准点1为例，其相对于光心的方向向量为(x0-x1，y0-y1，z0-z1)，经归一化后的方向为其中，
基准点1的x轴世界坐标x＝à*d1；基准点1的y轴世界坐标y＝β*d1；基准点1的z轴世界坐标通过该方式，可以得到基准点2和基准点3的三维位置坐标。
S103：根据每个基准点的三维位置坐标，确定瞳孔中心坐标和瞳孔光轴，根据所述瞳孔中心坐标、瞳孔光轴和目标偏移量，确定眼球中心点坐标和视线轴。
其中，上述的目标偏移量为预先标定的光轴与视线轴之间的偏移量；
本申请实施例中，通过上述确定的每个基准点的三维位置坐标，确定瞳孔中心坐标和瞳孔光轴。可选地，可以通过以下方式确定瞳孔中心坐标：
将依次经过各个基准点的圆弧所在圆的中心点坐标确定为所述瞳孔中心坐标。
具体地，在各个基准点之间为非等间隔设置时，确定依次经过各个基准点的圆弧所在圆的中心点坐标，将该中心点坐标确定为瞳孔中心坐标。特别地，在各个基准点之间为等间隔的情况下，可以将各个基准点依次连接所形成图形的几何中心点坐标确定为瞳孔中心坐标，设定三个基准点的三维位置坐标分别为P1(x1，y1，z1)，P2(x2，y2，z2)和P3(x3，y3，z3)，则瞳孔中心坐标为Ps＝((x1+x2+x3)/3，(y1+y2+y3)/3，(z1+z2+z3)/3)。
进而，可以通过以下方式确定瞳孔光轴：
根据各个基准点的三维位置坐标，确定所述眼球图像中瞳孔的平面方程；根据所述平面方程的法向量，确定所述瞳孔光轴。同样地，设定三个基准点的三维位置坐标分别为P1(x1，y1，z1)，P2(x2，y2，z2)和P3(x3，y3，z3)，平面方程为Ax+By+Cz+D＝0，其中，
A＝(y3-y1)*(z3-z1)-(z2-z1)*(y3-y1)；
B＝(x3-x1)*(z2-z1)-(x2-x1)*(z3-z1)；
C＝(x2-x1)*(y3-y1)-(x3-x1)*(y2-y1)；
D＝-(A*x1+B*y1+C*z1)；
根据平面方程的法向量(A、B、C)，确定瞳孔光轴。
进而，根据瞳孔中心坐标、瞳孔光轴和目标偏移量，确定眼球中心点坐标和视线轴，具体为：
获取预先标定的光轴与视线轴之间的目标偏移量，以及瞳孔与眼球中心点之间的间隔距离；根据所述瞳孔中心坐标和间隔距离，确定眼球中心点坐标；根据所述眼球中心点坐标、瞳孔光轴和目标偏移量，确定所述视线轴。
本申请实施例中，可以通过预先标定多个注视点，先验求解出用户眼球的光轴与视线轴之间的偏移量M，瞳孔与眼球中心点之间的间隔距离k。
设定偏移量为
眼球中心点坐标Es的计算过程如下：
设定瞳孔中心坐标Ps(x1、y1、z1)，光轴方向为(A、B、C)，假设已归一化，则眼球中心点的位置坐标为：
眼球中心点的横坐标x0＝x1-k*A；
眼球中心点的纵坐标y0＝y1-k*B；
眼球中心点的竖坐标z0＝z1-k*C；
则眼球的视线轴方向为：(xs、ys、zs)＝M*(A、B、C)，其中，
xs＝a0*A+a1*B+a2*C；
ys＝b0*A+b1*B+b2*C；
zs＝c0*A+c1*B+c2*C。
S104：根据所述眼球中心点坐标、眼球与目标相机所对应显示屏幕之间的垂直距离，以及所述视线轴，确定用户在所述显示屏幕上的注视点。
本申请实施例中，设定注视点方向(即视线轴)为(xs、ys、zs)，屏幕坐标系为z＝d，其中，d为眼球与目标相机所对应显示屏幕之间的垂直距离，眼球中心坐标为(x0、y0、z0)，则可以求解出眼球与显示屏幕上注视点之间的距离为：t＝(d-z0)/zs。以显示屏幕中指定位置为原点，沿着显示屏幕的长度方向为横轴，沿着显示屏幕的宽度方向为纵轴，显示屏幕的垂直方向为竖轴建立的坐标系，在该坐标系下，水平注视距离分量xt＝xs*t+x0；垂直注视距离分量yt＝ys*t+y0。
为了避免屏幕图像分辨率的影响，本申请实施例对上述求得的注视点的位置坐标进行归一化处理。具体地，按照尺寸信息对水平注视距离分量和垂直注视距离分量进行归一化处理，得到用户在显示屏幕上的注视点。如图3所示，设定左上角的坐标为(0，0)，右下角的坐标为(1，1)，显示屏幕横轴方向的物理长度width＝w，显示屏幕纵轴方向的物理长度hight＝h；屏幕左上角的物理坐标为(xs、ys，d)，归一化后注视点的横坐标x＝(xt-xs)/w，归一化后注视点的纵坐标y＝(yt-ys)/h，最终输出结果为(x，y)。
下面以AR眼镜为例，对本申请实施例所提供的眼球追踪方法进行介绍，如图4所示，可以包括以下步骤：
S401：获取一帧眼球图像，定位瞳孔圆或椭圆边界；
S402：在圆形边界上选取三个基准点，三个基准点等间隔设置，判断三个基准点是否满足预设条件，即边缘是否清晰，各点对应的深度信息是否准确；
S403：根据选取三个基准点的深度信息和二维图像坐标，计算出三维位置坐标；
S404：利用S403求出的三个基准点三维位置坐标，计算经过这三个基准点的平面方程；
S405：根据S404中计算的平面方程，求出该平面方程的法线方向(即光轴)；
S406：利用S403求解出的三个基准点的三维位置坐标，计算三个基准点的几何中心点的三维位置坐标(即瞳孔中心坐标)；
S407：利用校准过程求出的光轴与视线轴的偏移量，以及S405、S406得到的光轴和瞳孔中心坐标，计算出视线轴；
S408：利用S407中的视线轴和屏幕平面坐标，输出最终注视点。
通过上述步骤，无需获取反光点信息，只需要图像中包含瞳孔区域的边缘信息即可求解出用户在显示屏幕上的注视点，因此在某些特殊的场景下，例如，拍摄到的红外反光点的数量过少、甚至没有高亮反光点、佩戴眼镜镜片反光产生干扰反光点等，仍然能够准确地确定出用户在显示屏幕上的注视点，这样，相对于采用红外反光点确定用户注视点的方式，采用本申请实施例提供的方案，可以提高眼球追踪的效率和可靠性，提升用户的体验感。
另外，采用红外反光点确定用户注视点的方式，单眼部署的红外灯的数量通常超过8颗，头戴式设备visionPro的红外灯数量更是达到了单眼17颗，部署如此多的红外灯，在增加成本的同时，也增大了使用功耗。采用本申请实施例所提供的方案，通过瞳孔区域的边缘曲线上的至少三个基准点和对应的深度信息，确定至少三个基准点的平面方程，通过平面法向量和几何中心点获取到光轴方向、视线轴方向，进而求解出用户在显示屏幕上的注视点，而无需设置大量的红外灯，因而可以降低成本和使用功耗，同时布局简洁，便于设备的维护。
本申请实施例提供的眼球追踪方法，执行主体可以为眼球追踪装置。本申请实施例中以眼球追踪装置执行眼球追踪方法为例，说明本申请实施例提供的眼球追踪装置。
图5是本申请实施例提供的眼球跟踪装置的结构示意图，如图5所示，该眼球跟踪装置500包括：
基准点提取模块510，用于获取目标相机采集的眼球图像中目标区域的边缘曲线，从所述边缘曲线上提取至少三个基准点，其中，所述目标区域包括瞳孔区域或虹膜区域；
位置确定模块520，用于根据所述至少三个基准点在所述眼球图像中的位置坐标和各个基准点对应的深度信息，确定每个基准点在第一坐标系下的三维位置坐标；
视线轴确定模块530，用于根据每个基准点的三维位置坐标，确定瞳孔中心坐标和瞳孔光轴，根据所述瞳孔中心坐标、瞳孔光轴和目标偏移量，确定眼球中心点坐标和视线轴；其中，所述目标偏移量为预先标定的光轴与视线轴之间的偏移量；
注视点确定模块540，用于根据所述眼球中心点坐标、眼球与目标相机所对应显示屏幕之间的垂直距离，以及所述视线轴，确定用户在所述显示屏幕上的注视点。
可选地，基准点提取模块510在用于从所述边缘曲线上提取至少三个基准点时，具体用于：
从所述边缘曲线上提取至少三个第一候选点；
在所述至少三个第一候选点中的各个第一候选点的清晰度参数和深度信息满足预设条件的情况下，将所述至少三个第一候选点确定为基准点。
可选地，基准点提取模块510用于在所述从所述边缘曲线上提取至少三个第一候选点之后，还用于：
在所述至少三个第一候选点中任一个第一候选点的清晰度参数和深度信息无法满足所述预设条件的情况下，以所述目标区域的质心坐标点为中心，按照设定角度将每个第一候选点进行旋转得到第二候选点，若所述第二候选点的清晰度参数和深度信息满足所述预设条件，则将所述第二候选点确定为基准点。
可选地，视线轴确定模块530在用于根据每个基准点的三维位置坐标，确定瞳孔中心坐标和瞳孔光轴时，具体用于：
将依次经过各个基准点的圆弧所在圆的中心点坐标确定为所述瞳孔中心坐标；
根据各个基准点的三维位置坐标，确定所述眼球图像中瞳孔的平面方程；
根据所述平面方程的法向量，确定所述瞳孔光轴。
可选地，视线轴确定模块530在用于根据所述瞳孔中心坐标、瞳孔光轴和目标偏移量，确定眼球中心点坐标和视线轴，具体用于：
获取预先标定的光轴与视线轴之间的目标偏移量，以及瞳孔与眼球中心点之间的间隔距离；
根据所述瞳孔中心坐标和间隔距离，确定眼球中心点坐标；
根据所述眼球中心点坐标、瞳孔光轴和目标偏移量，确定所述视线轴。
可选地，注视点确定模块540在用于根据所述眼球中心点坐标、眼球与目标相机所对应显示屏幕之间的垂直距离，以及所述视线轴，确定用户在所述显示屏幕上的注视点时，具体用于：
获取所述显示屏幕的尺寸信息；
根据所述眼球中心点坐标、垂直距离和所述视线轴，确定眼球中心点与屏幕注视点之间的注视距离；
确定所述注视距离在预设坐标系下的水平注视距离分量和垂直注视距离分量，其中，所述预设坐标系是以所述显示屏幕中指定位置为原点，沿着所述显示屏幕的长度方向为横轴，沿着所述显示屏幕的宽度方向为纵轴，所述显示屏幕的垂直方向为竖轴所建立的坐标系；
按照所述尺寸信息对所述水平注视距离分量和垂直注视距离分量进行归一化处理，得到用户在所述显示屏幕上的注视点。
本申请实施例提供的眼球追踪装置，包括基准点提取模块、位置确定模块、视线轴确定模块和注视点确定模块，通过基准点提取模块获取目标相机采集的眼球图像中瞳孔区域的边缘曲线，从所述边缘曲线上提取至少三个基准点；位置确定模块根据至少三个基准点在眼球图像中的位置坐标和各个基准点对应的深度信息，确定每个基准点在第一坐标系下的三维位置坐标；根据每个基准点的三维位置坐标，通过视线轴确定模块确定瞳孔中心坐标和瞳孔光轴，根据瞳孔中心坐标、瞳孔光轴和预先标定的光轴与视线轴之间的偏移量，确定眼球中心点坐标和视线轴；进而，注视点确定模块根据眼球中心点坐标、眼球与目标相机所对应显示屏幕之间的垂直距离，以及视线轴，确定用户在显示屏幕上的注视点。这样，无需获取反光点信息，只需要图像中包含瞳孔区域的边缘信息即可求解出用户在显示屏幕上的注视点，因此在某些特殊的场景下，例如，拍摄到的红外反光点的数量过少、甚至没有高亮反光点、佩戴眼镜镜片反光产生干扰反光点等，仍然能够准确地确定出用户在显示屏幕上的注视点，从而可以提高眼球追踪的效率和可靠性，提升用户的体验感。
本申请实施例中的眼球追踪装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personalcomputer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的眼球追踪装置可以为具有操作***的装置。该操作***可以为安卓(Android)操作***，可以为ios操作***，还可以为其他可能的操作***，本申请实施例不作具体限定。
本申请实施例提供的眼球追踪装置能够实现图1至图4的方法实施例实现的各个过程，为避免重复，这里不再赘述。
可选地，如图6所示，本申请实施例还提供一种电子设备600，包括处理器601和存储器602，存储器602上存储有可在所述处理器601上运行的程序或指令，该程序或指令被处理器601执行时实现上述眼球追踪方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图7为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备700包括但不限于：射频单元701、网络模块702、音频输出单元703、输入单元704、传感器705、显示单元706、用户输入单元707、接口单元708、存储器709、以及处理器710等部件。
本领域技术人员可以理解，电子设备700还可以包括给各个部件供电的电源711(比如电池)，电源711可以通过电源管理***与处理器710逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。图7中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，处理器710，用于获取目标相机采集的眼球图像中瞳孔区域的边缘曲线，从所述边缘曲线上提取至少三个基准点，其中，各个所述基准点之间等间隔设置；
根据所述至少三个基准点在所述眼球图像中的位置坐标和各个基准点对应的深度信息，确定每个基准点的三维位置坐标；
根据每个基准点的三维位置坐标，确定瞳孔中心坐标和瞳孔光轴，根据所述瞳孔中心坐标、瞳孔光轴和预先标定的光轴与视线轴之间的偏移量，确定眼球中心点坐标和视线轴；
根据所述眼球中心点坐标、眼球与目标相机所对应显示屏幕之间的垂直距离，以及所述视线轴，确定用户在所述显示屏幕上的注视点。
在本申请实施例中，由于无需获取反光点信息，只需要图像中包含瞳孔区域的边缘信息即可求解出用户在显示屏幕上的注视点，因此在某些特殊的场景下，例如，拍摄到的红外反光点的数量过少、甚至没有高亮反光点、佩戴眼镜镜片反光产生干扰反光点等，仍然能够准确地确定出用户在显示屏幕上的注视点，这样，相对于采用红外反光点确定用户注视点的方式，采用本申请实施例提供的方案，可以提高眼球追踪的效率和可靠性，提升用户的体验感。
本申请实施例提供的电子设备700还可以实现上述眼球追踪方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解的是，本申请实施例中，输入单元704可以包括图形处理器(GraphicsProcessing Unit，GPU)1041和麦克风7042，图形处理器7041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元706可包括显示面板7061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板7061。用户输入单元707包括触控面板7071以及其他输入设备7072中的至少一种。触控面板7071，也称为触摸屏。触控面板7071可包括触摸检测装置和触摸控制器两个部分。其他输入设备7072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
存储器709可用于存储软件程序以及各种数据。存储器709可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作***、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器709可以包括易失性存储器或非易失性存储器，或者，存储器709可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器709包括但不限于这些和任意其它适合类型的存储器。
处理器710可包括一个或多个处理单元；可选的，处理器710集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作***、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器710中。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述眼球追踪方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述眼球追踪方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为***级芯片、***芯片、芯片***或片上***芯片等。
本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述眼球追踪方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (14)

1.一种眼球追踪方法，其特征在于，所述方法包括：
获取目标相机采集的眼球图像中目标区域的边缘曲线，从所述边缘曲线上提取至少三个基准点；其中，所述目标区域包括瞳孔区域或虹膜区域；
根据所述至少三个基准点在所述眼球图像中的位置坐标和各个基准点对应的深度信息，确定每个基准点的三维位置坐标；
根据每个基准点的三维位置坐标，确定瞳孔中心坐标和瞳孔光轴，根据所述瞳孔中心坐标、瞳孔光轴和目标偏移量，确定眼球中心点坐标和视线轴；其中，所述目标偏移量为预先标定的光轴与视线轴之间的偏移量；
根据所述眼球中心点坐标、眼球与目标相机所对应显示屏幕之间的垂直距离，以及所述视线轴，确定用户在所述显示屏幕上的注视点。
2.根据权利要求1所述的方法，其特征在于，所述从所述边缘曲线上提取至少三个基准点，包括：
从所述边缘曲线上提取至少三个第一候选点；
在所述至少三个第一候选点中的各个第一候选点的清晰度参数和深度信息满足预设条件的情况下，将所述至少三个第一候选点确定为基准点。
3.根据权利要求2所述的方法，其特征在于，在所述从所述边缘曲线上提取至少三个第一候选点之后，还包括：
在所述至少三个第一候选点中任一个第一候选点的清晰度参数和深度信息无法满足所述预设条件的情况下，以所述目标区域的质心坐标点为中心，按照设定角度将每个第一候选点进行旋转得到第二候选点，若所述第二候选点的清晰度参数和深度信息满足所述预设条件，则将所述第二候选点确定为基准点。
4.根据权利要求1所述的方法，其特征在于，所述根据每个基准点的三维位置坐标，确定瞳孔中心坐标和瞳孔光轴，包括：
将依次经过各个基准点的圆弧所在圆的中心点坐标确定为所述瞳孔中心坐标；
根据各个基准点的三维位置坐标，确定所述眼球图像中瞳孔的平面方程；
根据所述平面方程的法向量，确定所述瞳孔光轴。
5.根据权利要求1所述的方法，其特征在于，所述根据所述瞳孔中心坐标、瞳孔光轴和目标偏移量，确定眼球中心点坐标和视线轴，包括：
获取预先标定的光轴与视线轴之间的目标偏移量，以及瞳孔与眼球中心点之间的间隔距离；
根据所述瞳孔中心坐标和间隔距离，确定眼球中心点坐标；
根据所述眼球中心点坐标、瞳孔光轴和目标偏移量，确定所述视线轴。
6.根据权利要求1所述的方法，其特征在于，所述根据所述眼球中心点坐标、眼球与目标相机所对应显示屏幕之间的垂直距离，以及所述视线轴，确定用户在所述显示屏幕上的注视点，包括：
获取所述显示屏幕的尺寸信息；
根据所述眼球中心点坐标、垂直距离和所述视线轴，确定眼球中心点与屏幕注视点之间的注视距离；
确定所述注视距离在预设坐标系下的水平注视距离分量和垂直注视距离分量，其中，所述预设坐标系是以所述显示屏幕中指定位置为原点，沿着所述显示屏幕的长度方向为横轴，沿着所述显示屏幕的宽度方向为纵轴，所述显示屏幕的垂直方向为竖轴所建立的坐标系；
按照所述尺寸信息对所述水平注视距离分量和垂直注视距离分量进行归一化处理，得到用户在所述显示屏幕上的注视点。
7.一种眼球追踪装置，其特征在于，所述装置包括：
基准点提取模块，用于获取目标相机采集的眼球图像中目标区域的边缘曲线，从所述边缘曲线上提取至少三个基准点，其中，所述目标区域包括瞳孔区域或虹膜区域；
位置确定模块，用于根据所述至少三个基准点在所述眼球图像中的位置坐标和各个基准点对应的深度信息，确定每个基准点在第一坐标系下的三维位置坐标；
视线轴确定模块，用于根据每个基准点的三维位置坐标，确定瞳孔中心坐标和瞳孔光轴，根据所述瞳孔中心坐标、瞳孔光轴和目标偏移量，确定眼球中心点坐标和视线轴；其中，所述目标偏移量为预先标定的光轴与视线轴之间的偏移量；
注视点确定模块，用于根据所述眼球中心点坐标、眼球与目标相机所对应显示屏幕之间的垂直距离，以及所述视线轴，确定用户在所述显示屏幕上的注视点。
8.根据权利要求7所述的装置，其特征在于，所述基准点提取模块在用于从所述边缘曲线上提取至少三个基准点时，具体用于：
从所述边缘曲线上提取至少三个第一候选点；
在所述至少三个第一候选点中的各个第一候选点的清晰度参数和深度信息满足预设条件的情况下，将所述至少三个第一候选点确定为基准点。
9.根据权利要求8所述的装置，其特征在于，所述基准点提取模块用于在所述从所述边缘曲线上提取至少三个第一候选点之后，还用于：
在所述至少三个第一候选点中任一个第一候选点的清晰度参数和深度信息无法满足所述预设条件的情况下，以所述目标区域的质心坐标点为中心，按照设定角度将每个第一候选点进行旋转得到第二候选点，若所述第二候选点的清晰度参数和深度信息满足所述预设条件，则将所述第二候选点确定为基准点。
10.根据权利要求7所述的装置，其特征在于，所述视线轴确定模块在用于根据每个基准点的三维位置坐标，确定瞳孔中心坐标和瞳孔光轴时，具体用于：
将依次经过各个基准点所连接图形的几何中心点坐标确定为所述瞳孔中心坐标；
根据各个基准点的三维位置坐标，确定所述眼球图像中瞳孔的平面方程；
根据所述平面方程的法向量，确定所述瞳孔光轴。
11.根据权利要求7所述的装置，其特征在于，所述视线轴确定模块在用于根据所述瞳孔中心坐标、瞳孔光轴和目标偏移量，确定眼球中心点坐标和视线轴，具体用于：
获取预先标定的光轴与视线轴之间的目标偏移量，以及瞳孔与眼球中心点之间的间隔距离；
根据所述瞳孔中心坐标和间隔距离，确定眼球中心点坐标；
根据所述眼球中心点坐标、瞳孔光轴和目标偏移量，确定所述视线轴。
12.根据权利要求7所述的装置，其特征在于，所述注视点确定模块在用于根据所述眼球中心点坐标、眼球与目标相机所对应显示屏幕之间的垂直距离，以及所述视线轴，确定用户在所述显示屏幕上的注视点时，具体用于：
获取所述显示屏幕的尺寸信息；
根据所述眼球中心点坐标、垂直距离和所述视线轴，确定眼球中心点与屏幕注视点之间的注视距离；
确定所述注视距离在预设坐标系下的水平注视距离分量和垂直注视距离分量，其中，所述预设坐标系是以所述显示屏幕中指定位置为原点，沿着所述显示屏幕的长度方向为横轴，沿着所述显示屏幕的宽度方向为纵轴，所述显示屏幕的垂直方向为竖轴所建立的坐标系；
按照所述尺寸信息对所述水平注视距离分量和垂直注视距离分量进行归一化处理，得到用户在所述显示屏幕上的注视点。
13.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-6任一项所述的方法的步骤。
14.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-6任一项所述的方法的步骤。
CN202311306728.2A 2023-10-10 2023-10-10 眼球追踪方法和电子设备 Pending CN117372475A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311306728.2A CN117372475A (zh) 2023-10-10 2023-10-10 眼球追踪方法和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311306728.2A CN117372475A (zh) 2023-10-10 2023-10-10 眼球追踪方法和电子设备

Publications (1)

Publication Number Publication Date
CN117372475A true CN117372475A (zh) 2024-01-09

Family

ID=89397548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311306728.2A Pending CN117372475A (zh) 2023-10-10 2023-10-10 眼球追踪方法和电子设备

Country Status (1)

Country Link
CN (1) CN117372475A (zh)

Similar Documents

Publication Publication Date Title
EP3362946B1 (en) Eye pose identification using eye features
EP3608755B1 (en) Electronic apparatus operated by head movement and operation method thereof
EP3195595B1 (en) Technologies for adjusting a perspective of a captured image for display
CN106662917B (zh) 眼睛跟踪校准***和方法
CN110320999B (zh) 用于三维(3d)注视预测的深度学习的方法和***
US9779512B2 (en) Automatic generation of virtual materials from real-world materials
CN104380338B (zh) 信息处理器以及信息处理方法
CN110362193B (zh) 用手或眼睛跟踪辅助的目标跟踪方法及***
CN112805659A (zh) 通过用户分类为多深度平面显示***选择深度平面
CN112102389A (zh) 确定实物至少一部分的3d重构件的空间坐标的方法和***
KR20160108388A (ko) 복수의 광원들과 센서들을 사용한 눈 시선 검출
KR20170095834A (ko) 몰입식 및 대화식 멀티미디어 생성을 위한 시스템 및 방법
EP4383193A1 (en) Line-of-sight direction tracking method and apparatus
US20140313308A1 (en) Apparatus and method for tracking gaze based on camera array
CN110363061B (zh) 计算机可读介质、训练对象检测算法的方法及显示装置
WO2015026645A1 (en) Automatic calibration of scene camera for optical see-through head mounted display
JP2013054661A (ja) 情報表示システム、情報表示方法、及び情報表示用プログラム
KR20140104661A (ko) 시선 인식을 이용한 사용자 인터페이스 방법 및 장치
US20170090203A1 (en) Visual indicator for transparent display alignment
CN110706283B (zh) 用于视线追踪的标定方法、装置、移动终端及存储介质
KR102450236B1 (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
JP6870474B2 (ja) 視線検出用コンピュータプログラム、視線検出装置及び視線検出方法
JP2015152938A (ja) 情報処理装置、情報処理方法、及びプログラム
CN108629799B (zh) 一种实现增强现实的方法及设备
US20180107287A1 (en) Visual-field information collection method and system for executing the visual-field information collection method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination