CN114428398A - 一种光斑与光源的匹配方法、装置、设备及存储介质 - Google Patents
一种光斑与光源的匹配方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114428398A CN114428398A CN202011186109.0A CN202011186109A CN114428398A CN 114428398 A CN114428398 A CN 114428398A CN 202011186109 A CN202011186109 A CN 202011186109A CN 114428398 A CN114428398 A CN 114428398A
- Authority
- CN
- China
- Prior art keywords
- matching
- light
- light source
- coordinates
- spot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 239000013598 vector Substances 0.000 claims description 17
- 210000001747 pupil Anatomy 0.000 claims description 10
- 210000005252 bulbus oculi Anatomy 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 2
- 210000001508 eye Anatomy 0.000 abstract description 20
- 230000000694 effects Effects 0.000 abstract description 8
- 210000000554 iris Anatomy 0.000 abstract description 8
- 210000003786 sclera Anatomy 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 23
- 238000004364 calculation method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明公开了一种光斑与光源的匹配方法、装置、设备及存储介质。该方法包括:确定各光源的光源坐标以及各光斑的光斑坐标;将各所述光斑分别与不同的光源进行匹配,获得多组匹配序列;每组匹配序列中光斑与光源一一对应;根据各所述光源坐标和各所述光斑坐标确定每组匹配序列的匹配分值;将匹配分值最高的匹配序列确定为目标匹配序列。本发明解决了现有光斑光源匹配方法通过预设的比对方式和预设公式对光斑光源坐标进行推导,由人眼虹膜巩膜曲率不同以及人眼在注视角度不同,导致适用范围小,匹配效果较差的问题,实现了可以对任意数量不同角度的光斑和不同分布形态的光源进行匹配,提高光斑光源匹配准确性和普适性的效果。
Description
技术领域
本发明实施例涉及电子技术领域,尤其涉及一种光斑与光源的匹配方法、装置、设备及存储介质。
背景技术
视线追踪设备的使用过程中,光斑和光源是否成功匹配对视线追踪准确率的影响很大。
现有的光斑光源匹配方法,是在获取到光斑、光源以及瞳孔中心的坐标后,通过预设的比对方式进行坐标的比对,或是通过预设公式对坐标进行推导。那么预设的推理能否适应多种形式的光源分布以及在眼球上反射的光斑分布,就显得十分重要。视线追踪设备在不同人使用的过程中,人眼虹膜巩膜曲率不同,人眼在注视各个方向时的角度也不同,此时光斑的分布可能是较差的,预设的单一推理,并不能满足所有的光斑分布情况或光源分布情况,导致光斑与光源匹配效果较差。另一种通过两个相机来拍摄光斑分布情况的方法,增加了设备的成本和复杂度,降低了视线追踪设备的处理能力和计算速度。
发明内容
本发明提供一种光斑与光源的匹配方法、装置、设备及存储介质,以实现对任意数量不同角度的光斑和不同分布形态的光源进行准确匹配的效果。
第一方面,本发明实施例提供了一种光斑与光源的匹配方法,该方法包括:
确定各光源的光源坐标以及各光斑的光斑坐标;
将各所述光斑分别与不同的光源进行匹配,获得多组匹配序列;每组匹配序列中光斑与光源一一对应;
根据各所述光源坐标和各所述光斑坐标确定每组匹配序列的匹配分值;
将匹配分值最高的匹配序列确定为目标匹配序列。
第二方面,本发明实施例还提供了一种光斑与光源的匹配装置,该装置包括:
光源光斑坐标确定模块,用于确定各光源的光源坐标以及各光斑的光斑坐标;
匹配序列确定模块,用于将各所述光斑分别与不同的光源进行匹配,获得多组匹配序列;每组匹配序列中光斑与光源一一对应;
匹配分值确定模块,用于根据各所述光源坐标和各所述光斑坐标确定每组匹配序列的匹配分值;
目标匹配序列确定模块,用于将匹配分值最高的匹配序列确定为目标匹配序列。
第三方面,本发明实施例还提供了一种视线追踪设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如本发明任意实施例所述的光斑与光源的匹配方法。
第四方面,本发明实施例还提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如本发明任意实施例所述的光斑与光源的匹配方法。
本发明通过将各光斑分别与不同的光源进行匹配,获得多组匹配序列,根据各光源坐标和各光斑坐标确定每组匹配序列的匹配分值,选择匹配分值最高的匹配序列作为最佳的匹配方式,解决了现有光斑光源匹配方法通过预设的比对方式和预设公式对光斑光源坐标进行推导,由人眼虹膜巩膜曲率不同以及人眼在注视角度不同,导致适用范围小,匹配效果较差的问题,实现了可以对任意数量不同角度的光斑和不同分布形态的光源进行匹配,提高光斑与光源匹配准确性和普适性的效果。
附图说明
图1是本发明实施例一提供的一种光斑与光源的匹配方法的流程图;
图2是本发明实施例一提供的一种光斑与光源的匹配方法的示意图;
图3是本发明实施例一提供的一种光斑与光源的匹配方法中光源光斑匹配向量最大夹角确定过程的示意图;
图4是本发明实施例一提供的一种光斑与光源的匹配方法中光源与光斑边长比确定过程的示意图;
图5是本发明实施例一提供的一种光斑与光源的匹配方法中多边形内角误差确定过程的示意图;
图6是本发明实施例一提供的一种光斑与光源的匹配方法中直线交点与光源光斑距离比确定过程的示意图;
图7是本发明实施例一提供的一种光斑与光源的匹配方法中直线交点误差确定过程的示意图;
图8是本发明实施例一提供的一种光斑与光源的匹配方法中直线交点与光斑光源连线夹角确定过程的示意图;
图9是本发明实施例一提供的一种光斑与光源的匹配方法中拟合圆半径确定过程的示意图;
图10是本发明实施例二提供的一种光斑与光源的匹配装置的结构框图;
图11是本发明实施例三提供的一种视线追踪设备的结构框图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构,此外,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
实施例一
图1为本发明实施例一提供的一种光斑与光源的匹配方法的流程图,本实施例可适用于视线追踪设备使用过程中进行光斑与光源匹配的情况,该方法可以由光斑与光源的匹配装置来执行,该装置可以通过软件和/或硬件实现。
如图1所示,该方法具体包括如下步骤:
步骤110、确定各光源的光源坐标以及各光斑的光斑坐标。
其中,光源坐标可以理解为记录视线追踪设备中光源位置的数据,视线追踪设备可以存在多个光源,每个光源都对应有一个光源坐标。光源发出的光经过人眼球反射后在视线追踪设备中的相机上投影得到光斑,每个光斑都对应一个光斑坐标。
具体的,视线追踪设备中会设置多个光源和若干相机,在视线追踪设备的使用过程中,相机采集光源经过人眼反射所形成的图像,通过对各个光源和光斑进行匹配,进而对人眼视线进行追踪。本实施例中,视线追踪设备可以只设置一个相机,即可完成光斑和光源的匹配。在视线追踪的过程中,可以通过视线追踪设备中各光源和相机的设置参数,将各光源和各光斑在同一坐标系中进行标注,得到各光源的光源坐标以及各光斑的光斑坐标,方便光斑光源的匹配计算,也可以提高匹配的准确率。
可选的,确定各光源的光源坐标以及各光斑的光斑坐标的方式可以是:获取各光源的光源分布坐标和各光斑的光斑分布坐标,光源分布坐标为视线追踪设备中光源的空间位置坐标,光斑分布坐标为相机拍摄到的眼球图像中光斑的位置坐标;根据相机标定参数将各光源分布坐标和各光斑分布坐标映射到同一平面,得到各光源的光源坐标和各光斑的光斑坐标。
其中,同一平面可以是光源平面或者相机平面。具体的,由于光源和相机都设置在视线追踪设备上,光斑是由相机拍摄得到的,因此在获取了各光源的光源分布坐标和各光斑的光斑分布坐标后,可以利用各光源和相机的相对关系和相机的相机标定参数,将各光源分布坐标和各光斑分布坐标映射到同一平面,光源在该平面的坐标可以称作光源坐标,光斑在该平面的坐标可以称作光斑坐标,同时,还可以将人眼瞳孔的坐标进行标注。在视线追踪设备中各光源同时设置在一个平面上时,可以将各光斑的光斑分布坐标映射到光源平面,映射方法可以是通过已知的相机标定参数,如相机角度和相机镜头光心坐标等参数,计算出瞳孔和光斑在相机传感器上的坐标位置A,将A坐标与相机光心坐标进行连线,此时该直线与光源平面形成交点,此交点就是瞳孔或光斑在光源平面上映射的坐标。
示例性的,图2是本发明实施例一提供的一种光斑与光源的匹配方法的示意图,视线追踪设备上设置有8个光源,相机采集到8个光斑,将各光源的光源分布坐标和各光斑的光斑分布坐标映射到同一平面后,如图2所示,该示意图平面上Light0~Light7,8个点分别代表8个光源,每个光源在该平面的坐标系中都对应一个光源坐标;该示意图平面上g0~g7,8个点分别代表8个光斑,每个光斑在该平面的坐标系中都对应一个光斑坐标。
步骤120、将各光斑分别与不同的光源进行匹配,获得多组匹配序列;每组匹配序列中光斑与光源一一对应。
其中,匹配序列可以理解为光斑与光源相映射的关系数据,一组匹配序列中包括所有光斑与各不同光源的匹配关系,不同的匹配序列中必然存在至少一组不同的光斑与光源的匹配关系。
具体的,可以将各光斑随机匹配不同的光源,在匹配过程中,每个光斑都需要匹配到一个光源,两个光斑不能同时匹配同一光源,将所有的光斑都匹配光源后,即可得到一组匹配序列,遍历不同的光斑与光源的匹配组合,即可获得多组匹配序列。在实际使用视线追踪设备时,由于不同人的眼球虹膜巩膜的曲率存在差异,人眼注视各个方向时眼球转动的角度也不同,因此并不是所有光源发出的光经过眼球反射后都可以在相机上成像,也就是说,实际采集到的光斑数量可能小于光源数量。当光斑数量小于光源数量时,在对光斑与光源进行匹配时,只需将所有光斑都匹配一个不同的光源即可,每组匹配序列中光斑与光源的匹配关系数量与光斑数量相同。例如,视线追踪设备中有8个光源,当采集到3个光斑时,得到的每组匹配序列中就有3个光斑与光源的匹配关系,一共可以得到8×7×6组匹配序列。
示例性的,视线追踪设备上设置有8个光源,相机采集到8个光斑,图2示出了8个光斑与8个光源的一种匹配方式,光斑g0与光源Light0进行匹配,建立匹配关系L0,光斑g1与光源Light1匹配建立匹配关系L1,光斑g2与光源Light2匹配建立匹配关系L2,光斑g3与光源Light3匹配建立匹配关系L3,光斑g4与光源Light4匹配建立匹配关系L4,光斑g5与光源Light5匹配建立匹配关系L5,光斑g6与光源Light6匹配建立匹配关系L6,光斑g7与光源Light7匹配建立匹配关系L7,(L0,L1,L2,L3,L4,L5,L6,L7)则为一组匹配序列。
可选的,将各光斑分别与不同的光源进行匹配,获得多组匹配序列的方式可以是:将每个光斑匹配一个光源,得到一组匹配序列;每次至少改变一个光斑和光源的匹配关系,得到一组新的匹配序列,直至各光斑与任意光源都建立匹配关系,获得多组匹配序列。
具体的,可以随机将各光斑匹配不同的光源,得到第一组匹配序列,在此基础上,改变第一组匹配序列中至少一个光斑和光源的匹配关系,得到第二组匹配序列,在第二组匹配序列的基础上,再改变至少一个光斑和光源的匹配关系,得到第三组匹配序列,可以理解的是,第三组匹配序列与第一组匹配序列中至少存在一个不相同的光斑和光源的匹配关系,以此类推,每次改变至少一个光斑和光源的匹配关系得到一组新的匹配序列,且新的匹配序列与之前所有匹配序列都不完全相同,直至每个光斑都与任意光源建立过匹配关系,此时就得到了所有的匹配序列。
步骤130、根据各光源坐标和各光斑坐标确定每组匹配序列的匹配分值。
其中,匹配分值可以理解为对匹配序列中各光斑光源匹配正确性的评估值。
具体的,一组匹配序列中记载有各光斑与各光源的匹配关系,每个光斑和光源都有对应的坐标,那么就可以将各光斑的光斑坐标与相应的光源坐标进行匹配,可以根据预设的评估规则,对各坐标值进行计算,得到该组匹配序列的匹配分值。将每组匹配序列都进行同样的估值计算,可以分别得到每组匹配序列的匹配分值。
可选的,根据各光源坐标和各光斑坐标确定每组匹配序列的匹配分值的方式可以是:针对每组匹配序列,根据各光源坐标和各光斑坐标,确定匹配序列对应的至少一个匹配参数;将各匹配参数均落入预设参数范围的匹配序列确定为候选匹配序列;针对每组候选匹配序列,根据预设参数范围对各匹配参数进行分值评估,得到各匹配参数的参数得分;将各参数得分根据预设加权系数进行加权求和,得到候选匹配序列对应的匹配分值。
其中,匹配参数可以包括光源光斑匹配向量最大夹角、光源与光斑边长比、多边形内角误差、直线交点与光源光斑距离比、直线交点误差、直线交点与光斑光源连线夹角、拟合圆半径、拟合圆半径误差、瞳孔坐标与直线交点参考点连线夹角和/或直线交点坐标。
图3是本发明实施例一提供的一种光斑与光源的匹配方法中光源光斑匹配向量最大夹角确定过程的示意图。计算两个光斑坐标形成的向量,以及对应匹配的两个光源坐标形成的向量,两个光斑坐标形成的向量和对应两个光源坐标形成的向量之间的夹角可以确定为光源光斑匹配向量夹角。如图3所示,在一组匹配序列中,光斑g0与光源Light0匹配,光斑g1与光源Light1匹配,光斑g1和g0对应的光源光斑匹配向量夹角为光斑g1的光斑坐标指向光斑g0的光斑坐标形成的向量,与光源Light1的光源坐标指向光源Light0的光源坐标形成的向量的夹角。遍历光斑坐标,分别计算出一组匹配序列中任意两个光斑对应的光源光斑匹配向量夹角,各光源光斑匹配向量夹角中取值最大的可以记为该匹配序列的光源光斑匹配向量最大夹角。
图4是本发明实施例一提供的一种光斑与光源的匹配方法中光源与光斑边长比确定过程的示意图。计算两个光斑坐标连线的线段长度,以及对应匹配的两个光源坐标连线的线段长度,两个光源坐标连线的线段长度和对应两个光斑坐标连线的线段长度之比可以确定为光源与光斑边长比。如图4所示,在一组匹配序列中,光斑g0与光源Light0匹配,光斑g5与光源Light5匹配,光斑g0和g5对应的光源与光斑边长比为光源Light5的光源坐标与光源Light0的光源坐标连线的线段长度,与光斑g5的光斑坐标与光斑g0的光斑坐标连线的线段长度之比。遍历光斑坐标,分别计算出一组匹配序列中任意两个光斑对应的光源与光斑边长比,一组匹配序列可以包括多个光源与光斑边长比,在实际应用中,也可以只记录和对比多个光源与光斑边长比中的最大值和最小值。
图5是本发明实施例一提供的一种光斑与光源的匹配方法中多边形内角误差确定过程的示意图。计算三个光斑坐标连线形成的内角的角度,以及对应匹配的三个光源坐标连线形成的内角的角度,即使在正确的匹配序列中,由于人眼虹膜的畸变,光斑形成的内角角度一般都会与光源形成的内角角度产生一定误差,用光源形成的内角角度减去光斑形成的内角角度可以记为绝对内角误差,用这个绝对内角误差,减去光源形成的内角角度的余角,则可以记为相对内角误差。如图5所示,在一组匹配序列中,光斑g4与光源Light4匹配,光斑g5与光源Light5匹配,光斑g6与光源Light6匹配,将光斑g4的光斑坐标与光斑g5的光斑坐标连线,光斑g5的光斑坐标与光斑g6的光斑坐标连线,形成光斑对应的内角∠A,将光源Light4的光源坐标与光源Light5的光源坐标连线,将光源Light5的光源坐标与光源Light6的光源坐标连线,形成光源对应的内角∠B,∠B的余角为∠C。光斑g4、g5和g6对应的绝对内角误差为∠B-∠A,光斑g4、g5和g6对应的相对内角误差为∠B-∠A-∠C。光斑对应的多边形内角误差可以包括绝对内角误差和相对内角误差,或者二者中的其中一个。遍历光斑坐标,分别计算出一组匹配序列中任意三个光斑对应的多边形内角误差,一组匹配序列可以包括多个多边形内角误差,在实际应用中,也可以只记录和对比多边形内角误差中的最大值和最小值。
图6是本发明实施例一提供的一种光斑与光源的匹配方法中直线交点与光源光斑距离比确定过程的示意图。图7是本发明实施例一提供的一种光斑与光源的匹配方法中直线交点误差确定过程的示意图。图8是本发明实施例一提供的一种光斑与光源的匹配方法中直线交点与光斑光源连线夹角确定过程的示意图。在正确的匹配序列中,光斑坐标与匹配的光源坐标必然存在一定的关系,由于光斑坐标和光源坐标都是通过相机光心连线映射在同一平面的,那么光源坐标与匹配的光斑坐标在映射平面的连线,理想状态下能相交于一点,可以将其称为直线交点。当然在实际操作过程中,相机、光源以及人眼虹膜的差异等因素,也会存在一定误差,此时光斑光源连线可能不会完美的交于一点,但是根据直线相交情况,可以取一个到各个直线的距离都相对较短的最优坐标,将该最优坐标作为直线交点。图7所示为直线相交区域的示意图,点A为到各个直线的距离都相对较短的最优坐标,可以将点A作为直线交点,点A的坐标即为直线交点坐标,直线交点A到各个直线的垂直距离,可以记为直线交点误差。在实际应用中,也可以只记录和对比一组匹配序列中直线交点误差的最大值和最小值。其次,可以将直线交点与光斑坐标连线,以及直线交点与该光斑坐标对应匹配的光源坐标连线,两条连线的夹角可以记为直线交点与光斑光源连线夹角。如图8所示,光斑gliht与光源Light匹配,直线交点A分别与光斑gliht和光源Light连接后,可以得到直线交点与光斑光源连线夹角α,同理可得到该匹配序列中其他光斑对应的直线交点与光斑光源连线夹角。在实际应用中,也可以只记录和对比匹配序列中直线交点与光斑光源连线夹角的最大值和最小值。另外,可以计算直线交点与光斑坐标连线的线段长度,以及直线交点与该光斑坐标对应匹配的光源坐标连线的线段长度,直线交点与光源坐标连线的线段长度与直线交点与光斑坐标连线的线段长度之比可以确定为直线交点与光源光斑距离比。如图6所示,在一组匹配序列中,光斑g0与光源Light0匹配,光斑g1与光源Light1匹配,光斑g2与光源Light2匹配,光斑g3与光源Light3匹配,光斑g4与光源Light4匹配,光斑g5与光源Light5匹配,光斑g6与光源Light6匹配,光斑g7与光源Light7匹配,匹配的光斑光源的连线相交于A点,点A即为该匹配序列的直线交点,点A与光源Light0的光源坐标连线与点A与光斑g0的光斑坐标连线之比就是该匹配序列的1个直线交点与光源光斑距离比,同理可得到该匹配序列的8个直线交点与光源光斑距离比。在实际应用中,也可以只记录和对比匹配序列中直线交点与光源光斑距离比的最大值和最小值。
图9是本发明实施例一提供的一种光斑与光源的匹配方法中拟合圆半径确定过程的示意图。针对一些设备,由于光源分布形态可以近似拟合出一个圆,此时光斑的分布也可以近似拟合出一个圆形,拟合出的圆形的边需要尽可能与各光斑坐标的距离都较小,根据各光斑坐标拟合出的圆形的半径可以记为拟合圆半径。如图9所示,点C为拟合圆的圆心,R为拟合圆半径。参考图9可以看出,拟合圆圆心C到各光斑坐标连线的线段长度不一定为拟合圆半径R,可以将拟合圆圆心C到各光斑坐标连线的线段长度与拟合圆半径R的差值记为拟合圆半径误差。在实际应用中,也可以只记录和对比拟合圆半径误差中的最大值和最小值。
另外,在将各光斑与各光源的坐标都映射在一个平面上时,还可以在该平面上标记瞳孔坐标。可以在该平面上选取一个参考点,例如坐标原点,将瞳孔坐标与参考点的坐标连线,瞳孔坐标与直线交点坐标连线,两条连线相交产生的夹角,可以记为瞳孔坐标与直线交点参考点连线夹角。
具体的,在本实施例的匹配方法使用之前,还可以采集一定数量的光斑光源图像样本,并进行人为的匹配标注,按照上述各匹配参数确定方法,计算出每个样本对应的各匹配参数,根据所有的样本对应的各匹配参数可以确定出每种匹配参数对应的参数范围。针对每组匹配序列,都可以根据各光源坐标和各光斑坐标,按照上述各匹配参数确定方法,计算出该匹配序列对应的至少一个匹配参数,对比匹配参数与预先确定的参数范围,当该匹配序列对应的所有匹配参数都在对应的参数范围内时,可以将该匹配序列确定为候选匹配序列。对于候选匹配序列,可以对其匹配参数都进行分值评估,得到各匹配参数的参数得分,再根据预设的加权系数将各参数得分进行加权求和,得到候选匹配序列对应的匹配分值。
可选的,在将各参数得分根据预设加权系数进行加权求和,得到候选匹配序列对应的匹配分值之后,还可以包括:根据各光源坐标和各光斑坐标确定匹配序列修正参数;根据匹配序列修正参数对匹配分值进行修正。
具体的,可以选择候选匹配序列对应的直线交点误差中的最小值作为直线交点误差惩罚分数。将所有光源的光源坐标中横坐标值相加后取平均值,将所有光源的光源坐标中纵坐标值相加后取平均值,将横坐标平均值与纵坐标平均值在平面上进行标注,得到默认最佳交点坐标,计算直线交点坐标与默认最佳交点坐标的距离并乘以预设的得分系数,该得分系数可以预设为0.01,得到最佳交点距离惩罚分数。针对每个候选匹配序列,可以将之前确定的匹配分值减去该候选匹配序列对应的直线交点误差惩罚分数和最佳交点距离惩罚分数,得到该候选匹配序列修订后的匹配分值。
步骤140、将匹配分值最高的匹配序列确定为目标匹配序列。
其中,目标匹配序列可以理解为经过本实施例的匹配方法确定出的光斑光源最佳的匹配结果。
具体的,匹配序列的匹配分值越高,就可以认为该匹配序列中光斑与光源匹配正确的概率越大,因此,可以选择匹配分值最高的匹配序列确定为目标匹配序列,也就是光斑光源的匹配结果。
可选的,在步骤140之后还可以包括:将目标匹配序列与人为标注结果进行比对;其中,人为标注结果为人工标注的光斑与光源的匹配序列;若比对结果为不相同,则根据人为标注结果对预设参数范围和预设加权系数进行调整。
具体的,当发现上述步骤确定的匹配序列不是正确的光斑光源匹配结果时,可以接受人为标注的正确的匹配序列,并根据正确的匹配序列计算各匹配参数和加权系数,对预设参数范围和预设加权系数进行调整,使正确的匹配序列对应的匹配分值最高。
本实施例的技术方案,通过将各光斑分别与不同的光源进行匹配,获得多组匹配序列,根据各光源坐标和各光斑坐标确定每组匹配序列的匹配分值,选择匹配分值最高的匹配序列作为最佳的匹配方式,解决了现有光斑光源匹配方法通过预设的比对方式和预设公式对光斑光源坐标进行推导,由人眼虹膜巩膜曲率不同以及人眼在注视角度不同,导致适用范围小,匹配效果较差的问题,实现了可以对任意数量不同角度的光斑和不同分布形态的光源进行匹配,提高光斑光源匹配准确性和普适性的效果。
实施例二
本发明实施例所提供的光斑与光源的匹配装置可执行本发明任意实施例所提供的光斑与光源的匹配方法,具备执行方法相应的功能模块和有益效果。图10是本发明实施例二提供的一种光斑与光源的匹配装置的结构框图,如图10所示,该装置包括:光源光斑坐标确定模块210、匹配序列确定模块220、匹配分值确定模块230和目标匹配序列确定模块240。
光源光斑坐标确定模块210,用于确定各光源的光源坐标以及各光斑的光斑坐标。
匹配序列确定模块220,用于将各所述光斑分别与不同的光源进行匹配,获得多组匹配序列;每组匹配序列中光斑与光源一一对应。
匹配分值确定模块230,用于根据各所述光源坐标和各所述光斑坐标确定每组匹配序列的匹配分值。
目标匹配序列确定模块240,用于将匹配分值最高的匹配序列确定为目标匹配序列。
本实施例的技术方案,通过将各光斑分别与不同的光源进行匹配,获得多组匹配序列,根据各光源坐标和各光斑坐标确定每组匹配序列的匹配分值,选择匹配分值最高的匹配序列作为最佳的匹配方式,解决了现有光斑光源匹配方法通过预设的比对方式和预设公式对光斑光源坐标进行推导,由人眼虹膜巩膜曲率不同以及人眼在注视角度不同,导致适用范围小,匹配效果较差的问题,实现了可以对任意数量不同角度的光斑和不同分布形态的光源进行匹配,提高光斑光源匹配准确性和普适性的效果。
可选的,所述光源光斑坐标确定模块210,具体用于:
获取各光源的光源分布坐标和各光斑的光斑分布坐标,所述光源分布坐标为视线追踪设备中所述光源的空间位置坐标,所述光斑分布坐标为相机拍摄到的眼球图像中光斑的位置坐标;
根据相机标定参数将各所述光源分布坐标和各所述光斑分布坐标映射到同一平面,得到各所述光源的光源坐标和各所述光斑的光斑坐标。
可选的,所述匹配序列确定模块220,具体用于:
将每个光斑匹配一个光源,得到一组匹配序列;
每次至少改变一个光斑和光源的匹配关系,得到一组新的匹配序列,直至各所述光斑与任意光源都建立匹配关系,获得多组匹配序列。
可选的,所述匹配分值确定模块230,具体用于:
针对每组匹配序列,根据各所述光源坐标和各所述光斑坐标,确定所述匹配序列对应的至少一个匹配参数;
将各匹配参数均落入预设参数范围的匹配序列确定为候选匹配序列;
针对每组候选匹配序列,根据所述预设参数范围对各所述匹配参数进行分值评估,得到各所述匹配参数的参数得分;
将各所述参数得分根据预设加权系数进行加权求和,得到所述候选匹配序列对应的匹配分值。
可选的,所述装置还包括匹配分值修正模块250,所述匹配分值修正模块250用于:
根据各所述光源坐标和各所述光斑坐标确定匹配序列修正参数;
根据所述匹配序列修正参数对所述匹配分值进行修正。
可选的,所述匹配参数包括光源光斑匹配向量最大夹角、光源与光斑边长比、多边形内角误差、直线交点与光源光斑距离比、直线交点误差、直线交点与光斑光源连线夹角、拟合圆半径、拟合圆半径误差、瞳孔坐标与直线交点参考点连线夹角和/或直线交点坐标。
可选的,所述装置还包括匹配调试模块260,所述匹配调试模块260用于:
将所述目标匹配序列与人为标注结果进行比对;其中,人为标注结果为人工标注的光斑与光源的匹配序列;
若比对结果为不相同,则根据所述人为标注结果对所述预设参数范围和所述预设加权系数进行调整。
本实施例的技术方案,通过将各光斑分别与不同的光源进行匹配,获得多组匹配序列,根据各光源坐标和各光斑坐标确定每组匹配序列的匹配分值,选择匹配分值最高的匹配序列作为最佳的匹配方式,解决了现有光斑光源匹配方法通过预设的比对方式和预设公式对光斑光源坐标进行推导,由人眼虹膜巩膜曲率不同以及人眼在注视角度不同,导致适用范围小,匹配效果较差的问题,实现了可以对任意数量不同角度的光斑和不同分布形态的光源进行匹配,同时,对每组匹配序列都计算对应的匹配参数,以及对应的匹配得分,通过数值得分量化每组匹配序列匹配正确的可能性,当与人为标注结果不一致时,可以根据人为的匹配序列对参数范围和加权系数进行调整,有效提高匹配准确性。
实施例三
图11为本发明实施例三提供的一种视线追踪设备的结构框图,如图11所示,该视线追踪设备包括处理器310、存储器320、输入装置330和输出装置340;视线追踪设备中处理器310的数量可以是一个或多个,图11中以一个处理器310为例;视线追踪设备中的处理器310、存储器320、输入装置330和输出装置340可以通过总线或其他方式连接,图11中以通过总线连接为例。
存储器320作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的光斑与光源的匹配方法对应的程序指令/模块(例如,光斑与光源的匹配装置中的光源光斑坐标确定模块210、匹配序列确定模块220、匹配分值确定模块230和目标匹配序列确定模块240)。处理器310通过运行存储在存储器320中的软件程序、指令以及模块,从而执行视线追踪设备的各种功能应用以及数据处理,即实现上述的光斑与光源的匹配方法。
存储器320可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器320可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器320可进一步包括相对于处理器310远程设置的存储器,这些远程存储器可以通过网络连接至视线追踪设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置330可用于接收输入的数字或字符信息,以及产生与视线追踪设备的用户设置以及功能控制有关的键信号输入。输出装置340可包括显示屏等显示设备。
实施例四
本发明实施例四还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种光斑与光源的匹配方法,该方法包括:
确定各光源的光源坐标以及各光斑的光斑坐标;
将各所述光斑分别与不同的光源进行匹配,获得多组匹配序列;每组匹配序列中光斑与光源一一对应;
根据各所述光源坐标和各所述光斑坐标确定每组匹配序列的匹配分值;
将匹配分值最高的匹配序列确定为目标匹配序列。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的光斑与光源的匹配方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是,上述光斑与光源的匹配装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种光斑与光源的匹配方法,其特征在于,包括:
确定各光源的光源坐标以及各光斑的光斑坐标;
将各所述光斑分别与不同的光源进行匹配,获得多组匹配序列;每组匹配序列中光斑与光源一一对应;
根据各所述光源坐标和各所述光斑坐标确定每组匹配序列的匹配分值;
将匹配分值最高的匹配序列确定为目标匹配序列。
2.根据权利要求1所述的方法,其特征在于,确定各光源的光源坐标以及各光斑的光斑坐标,包括:
获取各光源的光源分布坐标和各光斑的光斑分布坐标,所述光源分布坐标为视线追踪设备中所述光源的空间位置坐标,所述光斑分布坐标为相机拍摄到的眼球图像中光斑的位置坐标;
根据相机标定参数将各所述光源分布坐标和各所述光斑分布坐标映射到同一平面,得到各所述光源的光源坐标和各所述光斑的光斑坐标。
3.根据权利要求1所述的方法,其特征在于,将各所述光斑分别与不同的光源进行匹配,获得多组匹配序列,包括:
将每个光斑匹配一个光源,得到一组匹配序列;
每次至少改变一个光斑和光源的匹配关系,得到一组新的匹配序列,直至各所述光斑与任意光源都建立匹配关系,获得多组匹配序列。
4.根据权利要求1所述的方法,其特征在于,所述根据各所述光源坐标和各所述光斑坐标确定每组匹配序列对应的匹配分值,包括:
针对每组匹配序列,根据各所述光源坐标和各所述光斑坐标,确定所述匹配序列对应的至少一个匹配参数;
将各匹配参数均落入预设参数范围的匹配序列确定为候选匹配序列;
针对每组候选匹配序列,根据所述预设参数范围对各所述匹配参数进行分值评估,得到各所述匹配参数的参数得分;
将各所述参数得分根据预设加权系数进行加权求和,得到所述候选匹配序列对应的匹配分值。
5.根据权利要求4所述的方法,在将各所述参数得分根据预设加权系数进行加权求和,得到所述候选匹配序列对应的匹配分值之后,还包括:
根据各所述光源坐标和各所述光斑坐标确定匹配序列修正参数;
根据所述匹配序列修正参数对所述匹配分值进行修正。
6.根据权利要求4所述的方法,其特征在于,所述匹配参数包括光源光斑匹配向量最大夹角、光源与光斑边长比、多边形内角误差、直线交点与光源光斑距离比、直线交点误差、直线交点与光斑光源连线夹角、拟合圆半径、拟合圆半径误差、瞳孔坐标与直线交点参考点连线夹角和/或直线交点坐标。
7.根据权利要求4所述的方法,其特征在于,在将匹配分值最高的匹配序列确定为目标匹配序列之后,还包括:
将所述目标匹配序列与人为标注结果进行比对;其中,人为标注结果为人工标注的光斑与光源的匹配序列;
若比对结果为不相同,则根据所述人为标注结果对所述预设参数范围和所述预设加权系数进行调整。
8.一种光斑与光源的匹配装置,其特征在于,包括:
光源光斑坐标确定模块,用于确定各光源的光源坐标以及各光斑的光斑坐标;
匹配序列确定模块,用于将各所述光斑分别与不同的光源进行匹配,获得多组匹配序列;每组匹配序列中光斑与光源一一对应;
匹配分值确定模块,用于根据各所述光源坐标和各所述光斑坐标确定每组匹配序列的匹配分值;
目标匹配序列确定模块,用于将匹配分值最高的匹配序列确定为目标匹配序列。
9.一种视线追踪设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-7中任一所述的光斑与光源的匹配方法。
10.一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的光斑与光源的匹配方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011186109.0A CN114428398B (zh) | 2020-10-29 | 2020-10-29 | 一种光斑与光源的匹配方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011186109.0A CN114428398B (zh) | 2020-10-29 | 2020-10-29 | 一种光斑与光源的匹配方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114428398A true CN114428398A (zh) | 2022-05-03 |
CN114428398B CN114428398B (zh) | 2023-12-26 |
Family
ID=81308870
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011186109.0A Active CN114428398B (zh) | 2020-10-29 | 2020-10-29 | 一种光斑与光源的匹配方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114428398B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040100567A1 (en) * | 2002-11-25 | 2004-05-27 | Eastman Kodak Company | Camera system with eye monitoring |
US20050213109A1 (en) * | 2004-03-29 | 2005-09-29 | Evolution Robotics, Inc. | Sensing device and method for measuring position and orientation relative to multiple light sources |
US20100007739A1 (en) * | 2008-07-05 | 2010-01-14 | Hitoshi Otani | Surveying device and automatic tracking method |
JP2010244156A (ja) * | 2009-04-02 | 2010-10-28 | Toyota Motor Corp | 画像特徴量検出装置及びこれを用いた視線方向検出装置 |
TW201120687A (en) * | 2009-12-03 | 2011-06-16 | Chung Shan Inst Of Science | Method and system for positioning by using optical speckle |
CN103679180A (zh) * | 2012-09-19 | 2014-03-26 | 武汉元宝创意科技有限公司 | 一种基于单摄像头单光源的视线追踪方法 |
CN107358217A (zh) * | 2017-07-21 | 2017-11-17 | 北京七鑫易维信息技术有限公司 | 一种视线估计方法及装置 |
CN107767421A (zh) * | 2017-09-01 | 2018-03-06 | 北京七鑫易维信息技术有限公司 | 视线追踪设备中光斑光源匹配方法和装置 |
CN108257112A (zh) * | 2017-12-27 | 2018-07-06 | 北京七鑫易维信息技术有限公司 | 过滤光斑的方法和装置 |
CN109034108A (zh) * | 2018-08-16 | 2018-12-18 | 北京七鑫易维信息技术有限公司 | 一种视线估计的方法、装置和*** |
US10698481B1 (en) * | 2017-09-28 | 2020-06-30 | Apple Inc. | Glint-assisted gaze tracker |
-
2020
- 2020-10-29 CN CN202011186109.0A patent/CN114428398B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040100567A1 (en) * | 2002-11-25 | 2004-05-27 | Eastman Kodak Company | Camera system with eye monitoring |
US20050213109A1 (en) * | 2004-03-29 | 2005-09-29 | Evolution Robotics, Inc. | Sensing device and method for measuring position and orientation relative to multiple light sources |
US20100007739A1 (en) * | 2008-07-05 | 2010-01-14 | Hitoshi Otani | Surveying device and automatic tracking method |
JP2010244156A (ja) * | 2009-04-02 | 2010-10-28 | Toyota Motor Corp | 画像特徴量検出装置及びこれを用いた視線方向検出装置 |
TW201120687A (en) * | 2009-12-03 | 2011-06-16 | Chung Shan Inst Of Science | Method and system for positioning by using optical speckle |
CN103679180A (zh) * | 2012-09-19 | 2014-03-26 | 武汉元宝创意科技有限公司 | 一种基于单摄像头单光源的视线追踪方法 |
CN107358217A (zh) * | 2017-07-21 | 2017-11-17 | 北京七鑫易维信息技术有限公司 | 一种视线估计方法及装置 |
CN107767421A (zh) * | 2017-09-01 | 2018-03-06 | 北京七鑫易维信息技术有限公司 | 视线追踪设备中光斑光源匹配方法和装置 |
US10698481B1 (en) * | 2017-09-28 | 2020-06-30 | Apple Inc. | Glint-assisted gaze tracker |
CN108257112A (zh) * | 2017-12-27 | 2018-07-06 | 北京七鑫易维信息技术有限公司 | 过滤光斑的方法和装置 |
CN109034108A (zh) * | 2018-08-16 | 2018-12-18 | 北京七鑫易维信息技术有限公司 | 一种视线估计的方法、装置和*** |
Also Published As
Publication number | Publication date |
---|---|
CN114428398B (zh) | 2023-12-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109857254B (zh) | 瞳孔定位方法和装置、vr/ar设备以及计算机可读介质 | |
CN111046717B (zh) | 眼底图像黄斑中心定位方法、装置、电子设备及存储介质 | |
CN109558012B (zh) | 一种眼球追踪方法及装置 | |
WO2023011339A1 (zh) | 视线方向追踪方法和装置 | |
CN108038884B (zh) | 校准方法、装置、存储介质和处理器 | |
US11281939B2 (en) | Method and apparatus for training an object identification neural network, and computer device | |
JPWO2015190204A1 (ja) | 瞳孔検出システム、視線検出システム、瞳孔検出方法、および瞳孔検出プログラム | |
WO2019128676A1 (zh) | 过滤光斑的方法和装置 | |
CN106133649A (zh) | 使用双目注视约束的眼睛凝视跟踪 | |
CN115840502B (zh) | 三维视线追踪方法、装置、设备及存储介质 | |
CN114494347A (zh) | 一种单摄像头多模式视线追踪方法和装置、电子设备 | |
CN110969061A (zh) | 神经网络训练、视线检测方法和装置及电子设备 | |
CN112561986A (zh) | 巡检机器人云台的二次对准方法、装置、设备和存储介质 | |
CN114360043B (zh) | 模型参数标定方法、视线追踪方法、装置、介质及设备 | |
CN108510542B (zh) | 匹配光源与光斑的方法和装置 | |
CN107767421B (zh) | 视线追踪设备中光斑光源匹配方法和装置 | |
CN110059621A (zh) | 手柄光球颜色的控制方法、装置及设备 | |
CN114428398B (zh) | 一种光斑与光源的匹配方法、装置、设备及存储介质 | |
KR102319328B1 (ko) | 비대면 학습자의 영상 이미지를 이용하는 학습 태도 평가 방법 및 이에 사용되는 관리 서버 | |
CN111586389B (zh) | 图像处理方法及相关装置 | |
CN115937959A (zh) | 注视信息的确定方法、装置、眼动追踪设备 | |
CN112419399A (zh) | 一种图像测距方法、装置、设备和存储介质 | |
CN112132755A (zh) | 校正标定瞳孔位置的方法、装置、***及计算机可读介质 | |
CN109284002B (zh) | 一种用户距离估算方法、装置、设备及存储介质 | |
JP2009059165A (ja) | 輪郭検出装置、それを用いた視線検出装置、偽の輪郭データの除去をコンピュータに実行させるためのプログラム、視線方向の検出をコンピュータに実行させるためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |