CN107767421B

CN107767421B - 视线追踪设备中光斑光源匹配方法和装置

Info

Publication number: CN107767421B
Application number: CN201710783732.6A
Authority: CN
Inventors: 刘伟; 聂凤梅; 宫小虎; 任冬淳; 杨孟
Original assignee: Beijing 7Invensun Technology Co Ltd
Current assignee: Beijing 7Invensun Technology Co Ltd
Priority date: 2017-09-01
Filing date: 2017-09-01
Publication date: 2020-03-27
Anticipated expiration: 2037-09-01
Also published as: CN107767421A

Abstract

本发明公开了一种视线追踪设备中光斑光源匹配方法和装置。其中，视线追踪设备包括第一相机和第二相机，该方法包括：获取多个光源的坐标、第一相机中的所有光斑的坐标以及第二相机中所有光斑的坐标，其中，多个光源经过角膜反射后在第一相机和第二相机上投影得到光斑；遍历光源的坐标和光斑的坐标，在预设的第一公式满足预设条件时，确定光源和第一相机中光斑和/或第二相机中光斑的匹配关系。本发明解决了现有技术中视线追踪设备使用中光斑光源匹配困难的技术问题。

Description

视线追踪设备中光斑光源匹配方法和装置

技术领域

本发明涉及视线追踪设备领域，具体而言，涉及一种视线追踪设备中光斑光源匹配方法和装置。

背景技术

现有技术中在使用视线追踪设备时，基于眼球的3D近似圆球模型，VR设备根据瞳孔中心坐标和角膜反射，对注视点的远距离设备进行视线估计，当VR设备使用多相机多光源时，只需要单点校正过程就可以估计视线，上述VR设备在实际使用中，因为光源和相机的相对位置不同，某些位置相机捕获不到图像，或者捕获到的图像不佳，在这种情况下，由于光源常常不具有特异性，因此无法完成光源光斑的匹配。

针对上述现有技术中视线追踪设备使用中光斑光源匹配困难的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种视线追踪设备中光斑光源匹配方法和装置，以至少解决现有技术中视线追踪设备使用中光斑光源匹配困难的技术问题。

根据本发明实施例的一个方面，提供了一种视线追踪设备中光斑光源匹配方法，视线追踪设备包括第一相机和第二相机，方法包括：获取多个光源的坐标、第一相机中的所有光斑的坐标以及第二相机中所有光斑的坐标，其中，多个光源经过角膜反射后在第一相机和第二相机上投影得到光斑；遍历光源的坐标和光斑的坐标，在预设的第一公式满足预设条件时，确定光源和第一相机中光斑和/或第二相机中光斑的匹配关系，其中，第一公式至少包括第二公式，第二公式为：(A1×B1)×(A2×B2)-(A3×B3)×(A4×B4)，A1、A2、A3和A4为任意一个光源的坐标，B1、B2、B3和B4为第一相机或第二相机中任意一个光斑的坐标，且满足A1≠A3,A2≠A4，B1≠B3,B2≠B4或A1≠A4,A2≠A3，B1≠B4,B2≠B3，预设条件为预设第一公式值最小。

进一步的，第一公式为第二公式和第三公式的和，第三公式为：λ(A5×B5)·C，其中，λ表示预设经验值，A5为任意一个光源的坐标，B5为第一相机或第二相机中任意一个光斑的坐标，C表示角膜的曲率中心坐标。

进一步的，获取多个光源的坐标、第一相机中的所有光斑的坐标以及第二相机中所有光斑的坐标之后，方法还包括：遍历光源的坐标和光斑的坐标，在第一公式满足预设条件时，确定角膜的曲率中心坐标。

进一步的，确定光源和第一相机中光斑和/或第二相机中光斑的匹配关系包括：在第一公式满足预设条件时，确定A1和B1相匹配、A2和B2相匹配、A3和B3相匹配、A4和B4相匹配以及A5和B5相匹配。

进一步的，遍历光源的坐标和光斑的坐标包括：通过最优化搜索算法遍历光源的坐标和光斑的坐标。

根据本发明实施例的另一方面，还提供了一种视线追踪设备中光斑光源匹配装置，视线追踪设备包括第一相机和第二相机，装置包括：获取模块，用于获取多个光源的坐标、第一相机中的所有光斑的坐标以及第二相机中所有光斑的坐标，其中，多个光源经过角膜反射后在第一相机和第二相机上投影得到光斑；第一确定模块，用于遍历光源的坐标和光斑的坐标，在预设的第一公式满足预设条件时，确定光源和第一相机中光斑和/或第二相机中光斑的匹配关系，其中，第一公式至少包括第二公式，第二公式为：(A1×B1)×(A2×B2)-(A3×B3)×(A4×B4)，A1、A2、A3和A4为任意一个光源的坐标，B1、B2、B3和B4为第一相机或第二相机中任意一个光斑的坐标，且满足A1≠A3,A2≠A4，B1≠B3,B2≠B4或A1≠A4,A2≠A3，B1≠B4,B2≠B3，预设条件为预设第一公式值最小。

根据本发明实施例的另一方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述视线追踪设备中光斑光源匹配方法。

根据本发明实施例的另一方面，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述视线追踪设备中光斑光源匹配方法。

根据本发明实施例的另一方面，还提供了一种终端，包括视线追踪设备，视线追踪设备包括第一相机和第二相机，终端还包括：获取模块，用于获取多个光源的坐标、第一相机中的所有光斑的坐标以及第二相机中所有光斑的坐标，其中，多个光源经过角膜反射后在第一相机和第二相机上投影得到光斑；第一确定模块，用于遍历光源的坐标和光斑的坐标，在预设的第一公式满足预设条件时，确定光源和第一相机中光斑和/或第二相机中光斑的匹配关系，其中，第一公式至少包括第二公式，第二公式为：(A1×B1)×(A2×B2)-(A3×B3)×(A4×B4)，A1、A2、A3和A4为任意一个光源的坐标，B1、B2、B3和B4为第一相机或第二相机中任意一个光斑的坐标，且满足A1≠A3,A2≠A4，B1≠B3,B2≠B4或A1≠A4,A2≠A3，B1≠B4,B2≠B3，预设条件为预设第一公式值最小；处理器，处理器运行程序，其中，程序运行时对于从获取模块和第一确定模块输出的数据执行上述视线追踪设备中光斑光源匹配方法。

根据本发明实施例的另一方面，还提供了一种终端，包括视线追踪设备，视线追踪设备包括第一相机和第二相机，终端还包括：获取模块，用于获取多个光源的坐标、第一相机中的所有光斑的坐标以及第二相机中所有光斑的坐标，其中，多个光源经过角膜反射后在第一相机和第二相机上投影得到光斑；第一确定模块，用于遍历光源的坐标和光斑的坐标，在预设的第一公式满足预设条件时，确定光源和第一相机中光斑和/或第二相机中光斑的匹配关系，其中，第一公式至少包括第二公式，第二公式为：(A1×B1)×(A2×B2)-(A3×B3)×(A4×B4)，A1、A2、A3和A4为任意一个光源的坐标，B1、B2、B3和B4为第一相机或第二相机中任意一个光斑的坐标，且满足A1≠A3,A2≠A4，B1≠B3,B2≠B4或A1≠A4,A2≠A3，B1≠B4,B2≠B3，预设条件为预设第一公式值最小；存储介质，用于存储程序，其中，程序在运行时对于从获取模块和第一确定模块输出的数据执行上述视线追踪设备中光斑光源匹配方法。

在本发明实施例中，针对包括第一相机和第二相机视线追踪设备，通过获取多个光源的坐标、第一相机中的所有光斑的坐标以及第二相机中所有光斑的坐标，其中，多个光源经过角膜反射后在第一相机和第二相机上投影得到光斑；遍历光源的坐标和光斑的坐标，在预设的第一公式满足预设条件时，确定光源和第一相机中光斑和/或第二相机中光斑的匹配关系，其中，第一公式至少包括第二公式，第二公式为：(A1×B1)×(A2×B2)-(A3×B3)×(A4×B4)，A1、A2、A3和A4为任意一个光源的坐标，B1、B2、B3和B4为第一相机或第二相机中任意一个光斑的坐标，且满足A1≠A3,A2≠A4，B1≠B3,B2≠B4或A1≠A4,A2≠A3，B1≠B4,B2≠B3，预设条件为预设第一公式值最小，达到了对光斑和光源进行匹配的目的，从而实现了即使是在相机捕获不到图像或者捕获到的图像不佳的条件下也能够完成光斑光源匹配的技术效果，进而解决了现有技术中视线追踪设备使用中光斑光源匹配困难的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种视线追踪设备中光斑光源匹配方法的示意图；

图2是根据本发明实施例的一种视线追踪设备中光斑光源匹配方法的示意图；以及

图3是根据本发明实施例的一种视线追踪设备中光斑光源匹配装置的示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

根据本发明实施例，提供了一种视线追踪设备中光斑光源匹配方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的视线追踪设备中光斑光源匹配方法，其中，视线追踪设备包括第一相机和第二相机，如图1所示，该方法包括如下步骤：

步骤S102，获取多个光源的坐标、第一相机中的所有光斑的坐标以及第二相机中所有光斑的坐标，其中，多个光源经过角膜反射后在第一相机和第二相机上投影得到光斑。

可选的，本发明所有实施例中的视线追踪设备包括但不限于虚拟现实设备、可以进行视线追踪的智能终端，例如，手机、电脑、可穿戴设备等。

具体的，如图2所示，图2为眼球、光源和相机的示意图，其中，图2中的左相机或右相机可以是第一相机，对应的，右相机或左相机可以是第二相机，O1表示左相机的坐标，O2表示右相机的坐标，第一相机的坐标O1和第二相机的坐标O2可以通过标定已知，图2中的I1和I2分别表示光源1和光源2的坐标，图2中只给出了两个光源，此处需要说明的是，本发明中对光源的数目并不做限定，光源经过眼球的角膜反射后，会在第一相机的像平面上投影得到光斑，以及在第二相机的像平面上投影得到光斑，其中，光源的坐标是已知的，在具体的实施例中，可以用Ii表示，i表示光源的标号，i＝1,2，…，N，N表示光源的总个数，第一相机捕获得到的图像中光斑的坐标和第二相机捕获得到的图像中的光斑的坐标也可以获取到，具体可以根据光源在角膜上的反射点的坐标经过相机内参数矩阵变换过程获得，在具体的实施例中，光斑的坐标可以用u_ij表示，j表示相机标号，j＝1时表示第一相机，j＝2时表示第二相机。

步骤S104，遍历光源的坐标和光斑的坐标，在预设的第一公式满足预设条件时，确定光源和第一相机中光斑和/或第二相机中光斑的匹配关系，其中，第一公式至少包括第二公式，第二公式为：(A1×B1)×(A2×B2)-(A3×B3)×(A4×B4)，A1、A2、A3和A4为任意一个光源的坐标，B1、B2、B3和B4为第一相机或第二相机中任意一个光斑的坐标，且满足A1≠A3,A2≠A4，B1≠B3,B2≠B4或A1≠A4,A2≠A3，B1≠B4,B2≠B3，预设条件为预设第一公式值最小。

具体的，第一公式的构建过程为：

首先，根据反射过程共面约束，可以得到以下矩阵等式关系(1)：

上式(1)中，c表示角膜的曲率中心坐标，假设O1为(0,0,0)，即设定第一相机为坐标原点，则上式(1)可以变化为如下式(2)：

以奇数行求解，可以将上式(2)变化为如下式(3)：

上式(3)满足的前提是第一相机的光斑u₁₁与光源I1是匹配的，第一相机的光斑u₂₁与光源I2是匹配的，一直到第一相机的光斑u₁₁与光源I1是匹配的，但是实际中并不知道光源和光斑的匹配关系，因此根据上式(3)，可以使用如下式(4)来求解光斑和光源的匹配关系：

上式(4)中，u_m1，…，u_n1为第一相机的光斑中的任意一个光斑，以光源I1和光斑u_m1为例，将I1与光斑u_m1组合起来，如果dm为0或者最接近0，则说明光斑u_m1是与光源I1匹配的光斑。

为了更精确的得到光斑和光源的匹配关系，可以构建上述第二公式，在第二公式值最小的时候，可以得到光斑光源的对应关系，在一种具体的实施例中，在满足下式(5)的情况下，可以得到光斑光源的匹配关系：

其中，I_i对应A1，

对应A2和A4，

对应A3，u_j1对应B1，

对应B2和B4，

对应B3，上式(5)中是第二公式中A2和A4相同，B2和B4相同的情况，上式(5)的意义为：任意选取三个光源坐标和三个光斑，将其中一个光源坐标和其中一个光斑坐标作为一对并做叉乘，例如上式(5)中，I_i和u_j1做叉乘得到I_i×u_j1，

和

做叉乘得到

和

做叉乘得到

将三个叉乘结果中的任意两个再做叉乘并相减，即将I_i×u_j1、

和

中任意两个做叉乘并计算差值，如果I_i和u_j1匹配，

和

匹配，

和

匹配，则

会为0或者无限趋近于0，因此可以遍历所有光源坐标和所有光斑坐标，找出满足上式(5)的光源坐标和光斑坐标，即得到光源和光斑的匹配关系，因此，预设条件可以进一步限定为第一公式值为0或趋近于0。

在一种可选的实施例中，第一公式为第二公式和第三公式的和，第三公式为：λ(A5×B5)·C，其中，λ表示预设经验值，A5为任意一个光源的坐标，B5为第一相机或第二相机中任意一个光斑的坐标，C表示角膜的曲率中心坐标。

具体的，第一公式还可以包括第三公式，在这种情况下，在具体的实施例中，在满足下式(6)的情况下，可以得到光斑光源的匹配关系：

上式(6)中，I_i对应A5，u_j1对应B5，也就是说A1和A5相同，B1和B5相同，上式(6)中，

是为了保证c是唯一的稳定点，λ(I_i×u_j1)·c是为了保证式(4)中dm至dn的值为0或趋近于0。

在一种可选的实施例中，步骤S102中获取多个光源的坐标、第一相机中的所有光斑的坐标以及第二相机中所有光斑的坐标之后，方法还包括：步骤S202，遍历光源的坐标和光斑的坐标，在第一公式满足预设条件时，确定角膜的曲率中心坐标。

具体的，在具体的实施例中，通过式(6)，可以求得c值，即角膜的曲率中心坐标。

在一种可选的实施例中，步骤S104中确定光源和第一相机中光斑和/或第二相机中光斑的匹配关系包括：步骤S302，在第一公式满足预设条件时，确定A1和B1相匹配、A2和B2相匹配、A3和B3相匹配、A4和B4相匹配以及A5和B5相匹配。

在一种可选的实施例中，步骤S104中遍历光源的坐标和光斑的坐标包括：步骤S402，通过最优化搜索算法遍历光源的坐标和光斑的坐标。

具体的，使用最优化搜素算法遍历光源的坐标和光斑的坐标能够快速、准确的找出使第一公式满足预设条件的光源坐标和光斑坐标。

实施例2

根据本发明实施例，提供了一种视线追踪设备中光斑光源匹配装置的产品实施例，图3是根据本发明实施例的视线追踪设备中光斑光源匹配装置，其中，视线追踪设备包括第一相机和第二相机，如图3所示，该装置包括获取模块和第一确定模块，其中，获取模块，用于获取多个光源的坐标、第一相机中的所有光斑的坐标以及第二相机中所有光斑的坐标，其中，多个光源经过角膜反射后在第一相机和第二相机上投影得到光斑；第一确定模块，用于遍历光源的坐标和光斑的坐标，在预设的第一公式满足预设条件时，确定光源和第一相机中光斑和/或第二相机中光斑的匹配关系，其中，第一公式至少包括第二公式，第二公式为：(A1×B1)×(A2×B2)-(A3×B3)×(A4×B4)，A1、A2、A3和A4为任意一个光源的坐标，B1、B2、B3和B4为第一相机或第二相机中任意一个光斑的坐标，且满足A1≠A3,A2≠A4，B1≠B3,B2≠B4或A1≠A4,A2≠A3，B1≠B4,B2≠B3，预设条件为预设第一公式值最小。

在本发明实施例中，针对包括第一相机和第二相机视线追踪设备，通过获取模块获取多个光源的坐标、第一相机中的所有光斑的坐标以及第二相机中所有光斑的坐标，其中，多个光源经过角膜反射后在第一相机和第二相机上投影得到光斑；第一确定模块遍历光源的坐标和光斑的坐标，在预设的第一公式满足预设条件时，确定光源和第一相机中光斑和/或第二相机中光斑的匹配关系，其中，第一公式至少包括第二公式，第二公式为：(A1×B1)×(A2×B2)-(A3×B3)×(A4×B4)，A1、A2、A3和A4为任意一个光源的坐标，B1、B2、B3和B4为第一相机或第二相机中任意一个光斑的坐标，且满足A1≠A3,A2≠A4，B1≠B3,B2≠B4或A1≠A4,A2≠A3，B1≠B4,B2≠B3，预设条件为预设第一公式值最小，达到了对光斑和光源进行匹配的目的，从而实现了即使是在相机捕获不到图像或者捕获到的图像不佳的条件下也能够完成光斑光源匹配的技术效果，进而解决了现有技术中视线追踪设备使用中光斑光源匹配困难的技术问题。

此处需要说明的是，上述获取模块和第一确定模块对应于实施例1中的步骤S102至步骤S104，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机***中执行。

在一种可选的实施例中，装置还包括第二确定模块，用于在获取模块获取多个光源的坐标、第一相机中的所有光斑的坐标以及第二相机中所有光斑的坐标之后，遍历光源的坐标和光斑的坐标，在第一公式满足预设条件时，确定角膜的曲率中心坐标。

此处需要说明的是，上述第二确定模块对应于实施例1中的步骤S202，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机***中执行。

在一种可选的实施例中，第一确定模块包括第三确定模块，用于在第一公式满足预设条件时，确定A1和B1相匹配、A2和B2相匹配、A3和B3相匹配、A4和B4相匹配以及A5和B5相匹配。

此处需要说明的是，上述第三确定模块对应于实施例1中的步骤S302，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机***中执行。

在一种可选的实施例中，第一确定模块包括遍历模块，用于通过最优化搜索算法遍历光源的坐标和光斑的坐标。

此处需要说明的是，上述遍历模块对应于实施例1中的步骤S402，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机***中执行。

实施例3

根据本发明实施例，提供了一种存储介质的产品实施例，该存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述视线追踪设备中光斑光源匹配方法。

实施例4

根据本发明实施例，提供了一种处理器的产品实施例，该处理器用于运行程序，其中，程序运行时执行上述视线追踪设备中光斑光源匹配方法。

实施例5

根据本发明实施例，提供了一种终端的产品实施例，该终端包括视线追踪设备，视线追踪设备包括第一相机和第二相机，终端还包括获取模块、第一确定模块和处理器，其中，获取模块，用于获取多个光源的坐标、第一相机中的所有光斑的坐标以及第二相机中所有光斑的坐标，其中，多个光源经过角膜反射后在第一相机和第二相机上投影得到光斑；第一确定模块，用于遍历光源的坐标和光斑的坐标，在预设的第一公式满足预设条件时，确定光源和第一相机中光斑和/或第二相机中光斑的匹配关系，其中，第一公式至少包括第二公式，第二公式为：(A1×B1)×(A2×B2)-(A3×B3)×(A4×B4)，A1、A2、A3和A4为任意一个光源的坐标，B1、B2、B3和B4为第一相机或第二相机中任意一个光斑的坐标，且满足A1≠A3,A2≠A4，B1≠B3,B2≠B4或A1≠A4,A2≠A3，B1≠B4,B2≠B3，预设条件为预设第一公式值最小；处理器，处理器运行程序，其中，程序运行时对于从获取模块和第一确定模块输出的数据执行上述视线追踪设备中光斑光源匹配方法。

实施例6

根据本发明实施例，提供了一种终端的产品实施例，该终端包括视线追踪设备，视线追踪设备包括第一相机和第二相机，终端还包括获取模块、第一确定模块和存储介质，其中，获取模块，用于获取多个光源的坐标、第一相机中的所有光斑的坐标以及第二相机中所有光斑的坐标，其中，多个光源经过角膜反射后在第一相机和第二相机上投影得到光斑；第一确定模块，用于遍历光源的坐标和光斑的坐标，在预设的第一公式满足预设条件时，确定光源和第一相机中光斑和/或第二相机中光斑的匹配关系，其中，第一公式至少包括第二公式，第二公式为：(A1×B1)×(A2×B2)-(A3×B3)×(A4×B4)，A1、A2、A3和A4为任意一个光源的坐标，B1、B2、B3和B4为第一相机或第二相机中任意一个光斑的坐标，且满足A1≠A3,A2≠A4，B1≠B3,B2≠B4或A1≠A4,A2≠A3，B1≠B4,B2≠B3，预设条件为预设第一公式值最小；存储介质，用于存储程序，其中，程序在运行时对于从获取模块和第一确定模块输出的数据执行上述视线追踪设备中光斑光源匹配方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种视线追踪设备中光斑光源匹配方法，其特征在于，所述视线追踪设备包括第一相机和第二相机，所述方法包括：

获取多个光源的坐标、所述第一相机中的所有光斑的坐标以及所述第二相机中所有光斑的坐标，其中，多个所述光源经过角膜反射后在所述第一相机和所述第二相机上投影得到所述光斑；

遍历所述光源的坐标和所述光斑的坐标，在预设第一公式满足预设条件时，确定所述光源和所述第一相机中所述光斑和/或所述第二相机中所述光斑的匹配关系，其中，所述预设第一公式至少包括第二公式，所述第二公式为：(A1×B1)×(A2×B2)-(A3×B3)×(A4×B4)，A1、A2、A3和A4为任意一个所述光源的坐标，B1、B2、B3和B4为所述第一相机或所述第二相机中任意一个所述光斑的坐标，且满足A1≠A3,A2≠A4，B1≠B3,B2≠B4或A1≠A4,A2≠A3，B1≠B4,B2≠B3，所述预设条件为所述预设第一公式值最小，在满足所述预设第一公式值最小的情况下，A1与B1相匹配，A2与B2相匹配，A3与B3相匹配，A4与B4相匹配。

2.根据权利要求1所述的方法，其特征在于，所述预设第一公式为所述第二公式和第三公式的和，所述第三公式为：λ(A5×B5)·C，其中，λ表示预设经验值，A5为任意一个所述光源的坐标，B5为所述第一相机或所述第二相机中任意一个所述光斑的坐标，C表示所述角膜的曲率中心坐标。

3.根据权利要求2所述的方法，其特征在于，获取多个光源的坐标、所述第一相机中的所有光斑的坐标以及所述第二相机中所有光斑的坐标之后，所述方法还包括：

遍历所述光源的坐标和所述光斑的坐标，在所述预设第一公式满足所述预设条件时，确定所述角膜的曲率中心坐标。

4.根据权利要求2或3所述的方法，其特征在于，确定所述光源和所述第一相机中所述光斑和/或所述第二相机中所述光斑的匹配关系包括：

在所述预设第一公式满足所述预设条件时，确定A1和B1相匹配、A2和B2相匹配、A3和B3相匹配、A4和B4相匹配以及A5和B5相匹配。

5.根据权利要求1-3中任意一项所述的方法，其特征在于，遍历所述光源的坐标和所述光斑的坐标包括：

通过最优化搜索算法遍历所述光源的坐标和所述光斑的坐标。

6.一种视线追踪设备中光斑光源匹配装置，其特征在于，所述视线追踪设备包括第一相机和第二相机，所述装置包括：

获取模块，用于获取多个光源的坐标、所述第一相机中的所有光斑的坐标以及所述第二相机中所有光斑的坐标，其中，多个所述光源经过角膜反射后在所述第一相机和所述第二相机上投影得到所述光斑；

第一确定模块，用于遍历所述光源的坐标和所述光斑的坐标，在预设第一公式满足预设条件时，确定所述光源和所述第一相机中所述光斑和/或所述第二相机中所述光斑的匹配关系，其中，所述预设第一公式至少包括第二公式，所述第二公式为：(A1×B1)×(A2×B2)-(A3×B3)×(A4×B4)，A1、A2、A3和A4为任意一个所述光源的坐标，B1、B2、B3和B4为所述第一相机或所述第二相机中任意一个所述光斑的坐标，且满足A1≠A3,A2≠A4，B1≠B3,B2≠B4或A1≠A4,A2≠A3，B1≠B4,B2≠B3，所述预设条件为所述预设第一公式值最小。

7.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至5中任意一项所述的视线追踪设备中光斑光源匹配方法。

8.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至5中任意一项所述的视线追踪设备中光斑光源匹配方法。

9.一种终端，其特征在于，包括视线追踪设备，所述视线追踪设备包括第一相机和第二相机，所述终端还包括：

第一确定模块，用于遍历所述光源的坐标和所述光斑的坐标，在预设第一公式满足预设条件时，确定所述光源和所述第一相机中所述光斑和/或所述第二相机中所述光斑的匹配关系，其中，所述预设第一公式至少包括第二公式，所述第二公式为：(A1×B1)×(A2×B2)-(A3×B3)×(A4×B4)，A1、A2、A3和A4为任意一个所述光源的坐标，B1、B2、B3和B4为所述第一相机或所述第二相机中任意一个所述光斑的坐标，且满足A1≠A3,A2≠A4，B1≠B3,B2≠B4或A1≠A4,A2≠A3，B1≠B4,B2≠B3，所述预设条件为所述预设第一公式值最小；

处理器，所述处理器运行程序，其中，所述程序运行时对于从所述获取模块和所述第一确定模块输出的数据执行权利要求1至5中任意一项所述的视线追踪设备中光斑光源匹配方法。

10.一种终端，其特征在于，包括视线追踪设备，所述视线追踪设备包括第一相机和第二相机，所述终端还包括：

第一确定模块，用于遍历所述光源的坐标和所述光斑的坐标，在预设预设第一公式满足预设条件时，确定所述光源和所述第一相机中所述光斑和/或所述第二相机中所述光斑的匹配关系，其中，所述预设第一公式至少包括第二公式，所述第二公式为：(A1×B1)×(A2×B2)-(A3×B3)×(A4×B4)，A1、A2、A3和A4为任意一个所述光源的坐标，B1、B2、B3和B4为所述第一相机或所述第二相机中任意一个所述光斑的坐标，且满足A1≠A3,A2≠A4，B1≠B3,B2≠B4或A1≠A4,A2≠A3，B1≠B4,B2≠B3，所述预设条件为所述预设第一公式值最小；

存储介质，用于存储程序，其中，所述程序在运行时对于从所述获取模块和所述第一确定模块输出的数据执行权利要求1至5中任意一项所述的视线追踪设备中光斑光源匹配方法。