CN112132755A - 校正标定瞳孔位置的方法、装置、***及计算机可读介质 - Google Patents

校正标定瞳孔位置的方法、装置、***及计算机可读介质 Download PDF

Info

Publication number
CN112132755A
CN112132755A CN201910555541.3A CN201910555541A CN112132755A CN 112132755 A CN112132755 A CN 112132755A CN 201910555541 A CN201910555541 A CN 201910555541A CN 112132755 A CN112132755 A CN 112132755A
Authority
CN
China
Prior art keywords
calibration
pupil
calibrated
pupils
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910555541.3A
Other languages
English (en)
Inventor
薛亚冲
陈丽莉
张�浩
孙建康
李纲
何惠东
张硕
彭项君
吕耀宇
赵晨曦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910555541.3A priority Critical patent/CN112132755A/zh
Publication of CN112132755A publication Critical patent/CN112132755A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种校正标定瞳孔位置的方法、装置、***及计算机可读介质，具体通过获取目标屏幕上多个按预设规则排列的标定点的第一坐标，以及人眼在注视各标定点时的标定瞳孔的第二坐标，根据标定点的第一坐标和标定瞳孔的第二坐标，分别确定各标定点之间的距离和各标定瞳孔之间的距离；根据任意两个标定点的距离和任意两个标定点对应的两个标定瞳孔的距离之间的关系，确定位置异常的标定瞳孔的第二坐标；根据位置异常的标定瞳孔的第二坐标，以及位置正常的标定瞳孔之间的相对位置关系，对位置异常的标定瞳孔的第二坐标进行校正。通过上述方法对标定瞳孔的位置进行校正，可以避免用户重新进行标定，减少了标定的时间提高了VR的使用体验。

Description

校正标定瞳孔位置的方法、装置、***及计算机可读介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种校正标定瞳孔位置的方法、装置、***及计算机可读介质。
背景技术
VR(Virtual Reality，虚拟现实)技术是一种可以创建和体验虚拟世界的计算机技术，其在视线追踪领域得到了广泛的应用。
在实际应用中，VR设备可根据基于眼球的3D近似圆球模型中的瞳孔中心坐标和角膜反射，对注视点的远距离设备进行视线估计。目前对瞳孔中心进行定位可以采用非线性视线映射模型，在非线性视线映射模型计算前，需要先进行标定过程，获得瞳孔位置和目标屏幕之间的映射关系，从而根据用户观察屏幕上任意点时获得的瞳孔中心位置，计算用户在目标屏幕上的注视点坐标。
但是，在标定的过程中标定瞳孔的位置出现异常的偏差就会导致求出的映射模型不能正确的计算视线落点，需要重新进行标定，这会极大降低VR的体验效果。
因此，如何对位置异常的标定瞳孔进行校正，从而免去用户进行重新标定，提高VR使用体验，是本领域技术人员亟待解决的问题。
发明内容
本发明提供了一种校正标定瞳孔位置的方法、装置、***及计算机可读介质，用以解决标定瞳孔位置异常导致不能正确计算视线落点的问题。
第一方面，在本发明实施例提供的一种校正标定瞳孔位置的方法，包括：
获取目标屏幕上多个按预设规则排列的标定点的第一坐标，以及人眼在注视各所述标定点时的标定瞳孔的第二坐标，其中，所述第一坐标是指在所述目标屏幕上建立的坐标系中每个所述标定点的坐标，所述第二坐标是指在所获取人眼图像中建立的坐标系中与每个所述标定点对应的标定瞳孔的坐标；
根据所述标定点的第一坐标和所述标定瞳孔的第二坐标，分别确定各所述标定点之间的距离和各所述标定瞳孔之间的距离；
根据任意两个所述标定点的距离和所述任意两个所述标定点对应的两个所述标定瞳孔的距离之间的关系，确定位置异常的标定瞳孔的第二坐标；
根据位置异常的标定瞳孔的第二坐标，以及位置正常的标定瞳孔之间的相对位置关系，对位置异常的标定瞳孔的第二坐标进行校正。
在一种可能的实施方式中，在本发明实施例提供的校正标定瞳孔位置的方法中，所述根据任意两个所述标定点的距离和所述任意两个所述标定点对应的两个所述标定瞳孔的距离之间的关系，确定位置异常的标定瞳孔的第二坐标，具体包括：
针对每个所述标定瞳孔均执行以下步骤：
计算当前标定瞳孔对应的标定点与其他标定点之间的距离，计算当前标定瞳孔与其他标定瞳孔之间的距离，并分别计算当前标定瞳孔对应的标定点与其他标定点之间的各个距离和当前标定瞳孔与其他标定瞳孔之间的各个距离的所有第一比值；
判断所述第一比值是否在预设阈值范围内；
当所有所述第一比值在所述预设阈值范围内时，确定当前标定瞳孔的位置正常；
当存在所述第一比值超出所述预设阈值范围时，分别计算与当前标瞳孔之间的第一比值超出阈值范围的标定瞳孔和其余标定瞳孔对应的所有第二比值，其中，所述第二比值表示超出与当前标定瞳孔之间的第一比值超出阈值范围的标定瞳孔对应的标定点与其余标定瞳孔对应的标定点之间的各个距离和与当前标定瞳孔之间的第一比值超出阈值范围的标定瞳孔与其余标定瞳孔之间的各个距离的比值；
判断所述第二比值是在所述预设阈值范围内；
当所有所述第二比值在所述预设阈值范围内时，确定当前标定瞳孔的位置异常，其他所述标定瞳孔的位置均正常；
当存在所述第二比值超出所述预设阈值范围时，确定与超出所述预设阈值的所述第二比值对应的其他所述标定瞳孔为当前标定瞳孔；
循环执行上述步骤，直至完成第二坐标的确定或确定标定失败为止。
在一种可能的实施方式中，在本发明实施例提供的校正标定瞳孔位置的方法中，所述根据位置异常的标定瞳孔的第二坐标，以及位置正常的标定瞳孔之间的相对位置关系，对位置异常的标定瞳孔的第二坐标进行校正，具体包括：
根据位置正常的标定瞳孔的第二坐标，以及各标定点之间的相对位置关系，确定位置异常标定瞳孔的预估坐标；
根据所述预估坐标以及当前的第二坐标，确定位置异常标定瞳孔校正后的坐标。
在一种可能的实施方式中，在本发明实施例提供的校正标定瞳孔位置的方法中，所述根据位置正常的标定瞳孔的第二坐标，以及各标定点之间的相对位置关系，确定位置异常标定瞳孔的预估坐标，具体包括：
计算位置正常的相邻标定瞳孔之间的距离的平均值；
根据标定点的排列规则，确定所述位置异常标定瞳孔与其相邻的标定瞳孔之间的相对位置关系；
根据所述距离的平均值以及所述相对位置关系，确定所述异常标定瞳孔的预估坐标。
在一种可能的实施方式中，在本发明实施例提供的校正标定瞳孔位置的方法中，根据所述预估坐标以及当前的第二坐标，确定位置异常标定瞳孔校正后的坐标，具体包括：
通过以下公式确定位置异常的标定瞳孔校正后的坐标：
(Xadjust，Yadjust)＝a×(Xestimate，Yestimate)+(1-a)(xj，yj)；
其中，(Xadjust，Yadjust)为异常的标定瞳孔校正后的坐标，(Xestimate，Yestimate)为异常的标定瞳孔预估坐标，(xj，yj)为异常的标定瞳孔的异常坐标，a为权值，其值小于等于1。
在一种可能的实施方式中，在本发明实施例提供的校正标定瞳孔位置的方法中，在所述根据任意两个所述标定点的距离和所述任意两个所述标定点对应的两个所述标定瞳孔的距离之间的关系，确定位置异常的标定瞳孔的第二坐标，之后，所述方法还包括：
当位置异常的标定瞳孔的个数大于预设个数时，确定校正失败，重新获取目标屏幕上多个按预设规则排列的标定点的第一坐标，以及人眼在注视各所述标定点时的标定瞳孔的第二坐标并重新校正。
第二方面，在本发明实施例提供的标定瞳孔校正装置中，包括：
坐标获取模块，用于获取目标屏幕上多个按预设规则排列的标定点的第一坐标，以及人眼在注视各所述标定点时的标定瞳孔的第二坐标，其中，所述第一坐标是指在所述目标屏幕上建立的坐标系中每个所述标定点的坐标，所述第二坐标是指在所获取人眼图像中建立的坐标系中与每个所述标定点对应的标定瞳孔的坐标；
距离确定模块，用于根据所述标定点的第一坐标和所述标定瞳孔的第二坐标，分别确定各所述标定点之间的距离和各所述标定瞳孔之间的距离；
异常判定模块，用于根据任意两个所述标定点的距离和所述任意两个所述标定点对应的两个所述标定瞳孔的距离之间的关系，确定位置异常的标定瞳孔的第二坐标；
根据位置异常的标定瞳孔的第二坐标，以及位置正常的标定瞳孔之间的相对位置关系，对位置异常的标定瞳孔的第二坐标进行校正。
在一种可能的实施方式中，在本发明实施例提供的标定瞳孔校正装置中，所述异常判定模块具体用于：
针对每个所述标定瞳孔均执行以下步骤：
计算当前标定瞳孔对应的标定点与其他标定点之间的距离，计算当前标定瞳孔与其他标定瞳孔之间的距离，并分别计算当前标定瞳孔对应的标定点与其他标定点之间的各个距离和当前标定瞳孔与其他标定瞳孔之间的各个距离的所有第一比值；
判断所述第一比值是否在预设阈值范围内；
当所有所述第一比值在所述预设阈值范围内时，确定当前标定瞳孔的位置正常；
当存在所述第一比值超出所述预设阈值范围时，分别计算与当前标瞳孔之间的第一比值超出阈值范围的标定瞳孔和其余标定瞳孔对应的所有第二比值，其中，所述第二比值表示超出与当前标定瞳孔之间的第一比值超出阈值范围的标定瞳孔对应的标定点与其余标定瞳孔对应的标定点之间的各个距离和与当前标定瞳孔之间的第一比值超出阈值范围的标定瞳孔与其余标定瞳孔之间的各个距离的比值；
判断所述第二比值是在所述预设阈值范围内；
当所有所述第二比值在所述预设阈值范围内时，确定当前标定瞳孔的位置异常，其他所述标定瞳孔的位置均正常；
当存在所述第二比值超出所述预设阈值范围时，确定与超出所述预设阈值的所述第二比值对应的其他所述标定瞳孔为当前标定瞳孔；
循环执行上述步骤，直至完成第二坐标的确定或确定标定失败为止。
在一种可能的实施方式中，在本发明实施例提供的标定瞳孔校正装置中，所述校正坐标确定模块具体用于：
根据位置正常的标定瞳孔的第二坐标，以及各标定点之间的相对位置关系，确定位置异常标定瞳孔的预估坐标；
根据所述预估坐标以及当前的第二坐标，确定位置异常标定瞳孔校正后的坐标。
在一种可能的实施方式中，在本发明实施例提供的标定瞳孔校正装置中，所述校正坐标确定模块还用于：
计算位置正常的相邻标定瞳孔之间的距离的平均值；
根据标定点的排列规则，确定所述位置异常标定瞳孔与其相邻的标定瞳孔之间的相对位置关系；
根据所述距离的平均值以及所述相对位置关系，确定所述异常标定瞳孔的预估坐标。
在一种可能的实施方式中，在本发明实施例提供的标定瞳孔校正装置中，所述校正坐标确定模块还用于：
通过以下公式确定位置异常的标定瞳孔校正后的坐标：
(Xadjust，Yadjust)＝a×(Xestimate，Yestimate)+(1-a)(xj，yj)；
其中，(Xadjust，Yadjust)为异常的标定瞳孔校正后的坐标，(Xestimate，Yestimate)为异常的标定瞳孔预估坐标，(xj，yj)为异常的标定瞳孔的异常坐标，a为权值，其值小于等于1。
在一种可能的实施方式中，在本发明实施例提供的标定瞳孔校正装置中，还包括：
异常标定瞳孔结果确定模块，用于当位置异常的标定瞳孔的个数大于预设个数时，确定校正失败，重新获取目标屏幕上多个按预设规则排列的标定点的第一坐标，以及人眼在注视各所述标定点时的标定瞳孔的第二坐标并重新校正。
第三方面，本发明实施例还提供了一种计算机可读介质，包括程序代码，当所述程序代码在计算设备上运行时，所述程序代码用于使所述计算设备执行如第一方面任一实施例提供的所述校正标定瞳孔位置的方法的步骤。
第四方面，本发明实施例提供了一种非线性视线映射***，包括第二方面实施例提供的标定瞳孔校正装置、图像采集装置、瞳孔定位装置、视线映射标定装置和视线计算装置；
所述图像采集装置用于获取人眼区域的图像；
所述瞳孔定位装置用于对所述人眼区域的图像进行处理，计算出瞳孔的中心，并以瞳孔的中心为参考点建立人眼区域的图像的坐标系；
所述视线映射标定装置用于根据预设规则确定瞳孔注视目标屏幕上各标定点时，在人眼区域的图像的坐标系中对应的标定瞳孔的第二坐标；
所述视线计算装置用于根据校正后的各标定瞳孔的坐标以及非线性映射函数，确定非线性映射模型，并根据人眼注视屏幕上任意点时获得的瞳孔中心位置，计算人眼在目标屏幕上的注视点坐标。
本发明有益效果如下：
本发明实施例提供了一种校正标定瞳孔位置的方法、装置、***及计算机可读介质，该校正标定瞳孔位置的方法通过获取目标屏幕上多个按预设规则排列的标定点的第一坐标，以及人眼在注视各所述标定点时的标定瞳孔的第二坐标，根据所述标定点的第一坐标和所述标定瞳孔的第二坐标，分别确定各所述标定点之间的距离和各所述标定瞳孔之间的距离；根据任意两个所述标定点的距离和所述任意两个所述标定点对应的两个所述标定瞳孔的距离之间的关系，确定位置异常的标定瞳孔的第二坐标；根据位置异常的标定瞳孔的第二坐标，以及位置正常的标定瞳孔之间的相对位置关系，对位置异常的标定瞳孔的第二坐标进行校正。通过上述方法对标定瞳孔的位置进行校正，可以避免用户重新进行标定，减少了标定的时间提高了VR的使用体验。
附图说明
图1为本发明实施例提供的校正标定瞳孔位置的方法的流程图；
图2为本发明实施例提供的目标屏幕上标定点的排列示意图；
图3为本发明实施例提供的标定瞳孔的排列示意图；
图4为本发明实施例提供的非线性视线映射***的结构示意图；
图5为本发明实施例提供的图像采集装置的结构示意图。
具体实施方式
随着VR人工智能技术的迅速发展，用户迫切需要一种方便、准确、鲁棒性好的交互***，因此，非侵入式视线追踪技术成为了这一领域的研究热点。目前，在视线追踪***中普遍采用的是非线性映射模型的方法，该模型函数如下：
Figure BDA0002106763680000081
在计算该模型前，需要获得瞳孔中心与目标屏幕之间的映射关系，该过程称为标定过程，标定过程中一般采取9点标定的方法(当然也可以采用其他规则的标定点方法，其原理相同，仅排列规则不同)，获得9组映射关系，代入上式中，可求出映射模型。但是这种方法存在一个缺陷：如果9个标定点中有标定瞳孔出现异常的偏差，就会导致求出的映射模型不能正确的计算视线落点，需要重新进行标定，这会极大降低VR的体验效果。
针对上述问题，本发明提供了一种校正标定瞳孔位置的方法、装置、***及计算机可读介质。为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
附图中各部件的形状和大小不反应真实比例，目的只是示意说明本发明内容。
本发明提供了一种校正标定瞳孔位置的方法，如图1所示，包括：
S101、获取目标屏幕上多个按预设规则排列的标定点的第一坐标，以及人眼在注视各标定点时的标定瞳孔的第二坐标，其中，第一坐标是指在目标屏幕上建立的坐标系中每个标定点的坐标，第二坐标是指在所获取人眼图像中建立的坐标系中与每个标定点对应的标定瞳孔的坐标；
S102、根据标定点的第一坐标和标定瞳孔的第二坐标，分别确定各标定点之间的距离和各标定瞳孔之间的距离；
S103、根据任意两个标定点的距离和任意两个标定点对应的两个标定瞳孔的距离之间的关系，确定位置异常的标定瞳孔的第二坐标；
S104、根据位置异常的标定瞳孔的第二坐标，以及位置正常的标定瞳孔之间的相对位置关系，对位置异常的标定瞳孔的第二坐标进行校正。
其中，目标屏幕上标定点的预设规则，可以是按矩阵方式排列，使各相邻的标定点之间的距离均相等，也可以按照一个标定点在圆心，其他标定点在圆上，使其他标定点到圆心处的标定点的距离相同，同时在圆上的各标定点之间的距离相等，当然还可以是其他规则排列的图形，只要保证各标定点之间存在对应的位置关系即可，以方便在确定标定瞳孔时，根据各标定瞳孔之间的相对位置关系，对异常的标定瞳孔进行校正。
需要说明的是，第一坐标中标定点的排列规则和第二坐标中标定瞳孔的排列规则是相同的，所有标定点形成的图案的形状与所有标定瞳孔形成的图案的形状是相同的，但是所有标定点形成的图案与所有标定瞳孔形成的图案之间的比例会存在差异。
具体地，在本发明实施例提供的校正标定瞳孔位置的方法中，通过获取目标屏幕上多个按预设规则排列的标定点的第一坐标，以及人眼在注视各标定点时的标定瞳孔的第二坐标，根据标定点的第一坐标和标定瞳孔的第二坐标，分别确定各标定点之间的距离和各标定瞳孔之间的距离；根据任意两个标定点的距离和任意两个标定点对应的两个标定瞳孔的距离之间的关系，确定位置异常的标定瞳孔的第二坐标；根据位置异常的标定瞳孔的第二坐标，以及位置正常的标定瞳孔之间的相对位置关系，对位置异常的标定瞳孔的第二坐标进行校正。通过上述方法对标定瞳孔的位置进行校正，可以避免用户重新进行标定，减少了标定的时间提高了VR的使用体验。
如图2所示，以目标屏幕上的标定点是3×3矩阵为例，对上述方法进行具体说明：
获取目标屏幕上9个标定点的坐标(m1，n1)、(m2，n2)、…、(m9，n9)以及9个标定瞳孔的位置坐标(x1，y1)、(x2,y2)、…、(x9,y9)；
其中，9个标定瞳孔的位置坐标，在标定开始后，用户按照1-2-3-4-5-6-7-8-9的顺序依次注视9个标定点，每注视一个标定点时，记录下对应的标定瞳孔位置；
需要说明的是，在注视标定点时，需要按一定顺序依次进行注视，如按照1-2-3-4-5-6-7-8-9的顺序依次注视9个标定点，其中，注视顺序可以改，如可以修改为9-8-7-6-5-4-3-2-1，设定注视顺序的设置，是为了和当前程序中的标定点记录顺序相匹配，如果把程序中的记录顺序更改，相应的注视顺序也会发生变化。
可选地，在本发明实施例提供的校正标定瞳孔位置的方法中，根据标定点的第一坐标和标定瞳孔的第二坐标，分别确定各标定点之间的第一距离和各标定瞳孔之间的第二距离，具体包括：
根据两个标定点的第一坐标，确定各标定点之间的第一距离；
根据两个标定瞳孔的第二坐标，确定各标定瞳孔之间的第二距离。
具体为，如图2所示，9个标定点中，4个位于正方形的4个顶点，4个位于正方形的4条边的中心，剩余1个位于正方形中心，设定正方形边长为2L，因此，可求得各标定点间距离；相应的根据计算9个对应的标定瞳孔之间的距离。以第一个标定点为例，分别计算出第一标点(m1,n1)到其他标定点(m2,n2)、…、(m9,n9)的第一距离，得到L1_1,2、L1_1,3、L1_1,4、L1_1,5、L1_1,6，L1_1,7、L1_1,8和L1_1,9；再分别计算出第一个标定瞳孔(x1,y1)到其他标定瞳孔(x2,y2)、…、(x9,y9)的第二距离，得到L2_1,2，L2_1,3，L2_1,4，L2_1,5，L2_1,6，L2_1,7，L2_1,8和L2_1,9；以上为计算第一标定点/第一标定瞳孔到其他标定点/其他标定瞳孔的距离，对其他标定点/其他标定瞳孔的计算与上述相同，在此不再赘述。
可选地，在本发明实施例提供的校正标定瞳孔位置的方法中，根据任意两个标定点的距离和任意两个标定点对应的两个标定瞳孔的距离之间的关系，确定位置异常的标定瞳孔的第二坐标，具体包括：
针对每个标定瞳孔均执行以下步骤：
计算当前标定瞳孔对应的标定点与其他标定点之间的距离，计算当前标定瞳孔与其他标定瞳孔之间的距离，并分别计算当前标定瞳孔对应的标定点与其他标定点之间的各个距离和当前标定瞳孔与其他标定瞳孔之间的各个距离的所有第一比值；
判断所述第一比值是否在预设阈值范围内；
当所有所述第一比值在所述预设阈值范围内时，确定当前标定瞳孔的位置正常；
当存在所述第一比值超出所述预设阈值范围时，分别计算与当前标瞳孔之间的第一比值超出阈值范围的标定瞳孔和其余标定瞳孔对应的所有第二比值，其中，所述第二比值表示超出与当前标定瞳孔之间的第一比值超出阈值范围的标定瞳孔对应的标定点与其余标定瞳孔对应的标定点之间的各个距离和与当前标定瞳孔之间的第一比值超出阈值范围的标定瞳孔与其余标定瞳孔之间的各个距离的比值；
判断所述第二比值是在所述预设阈值范围内；
当所有所述第二比值在所述预设阈值范围内时，确定当前标定瞳孔的位置异常，其他所述标定瞳孔的位置均正常；
当存在所述第二比值超出所述预设阈值范围时，确定与超出所述预设阈值的所述第二比值对应的其他所述标定瞳孔为当前标定瞳孔；
循环执行上述步骤，直至完成第二坐标的确定或确定标定失败为止。
具体地，在本发明实施例提供的校正标定瞳孔位置的方法中，计算第一距离L1与第二距离L2的比值，即分别计算L1_1,2与L2_1,2，L1_1,3与L2_1,3，L1_1,4与L2_1,4，L1_1,5与L2_1,5，L1_1,6与L2_1,6，L1_1,7与L2_1,7，L1_1,8与L2_1,8，L1_1,9与L2_1,9的比值，即第一比值K12，K13，K14，K15，K16，K17，K18和K19；分别判断各第一比值是否大于预设阈值；当全部第一比值小于或等于预设阈值时，确定第一个标定瞳孔的位置正常。
当存在第一比值大于预设阈值时，假设为K12，则提示出现异常标定瞳孔，计算第二个标定瞳孔(x2,y2)与其他标定瞳孔(x3，y3)…(x9，y9)之间的第二距离，以及与第二标定瞳孔对应的第二标定点(m2，n2)到其他标定点(m3，n3)…(m9，n9)之间的第一距离，计算第一距离与第二距离之间的第二比值K23，K24，K25，K26，K27，K28和K29，若第二比值不存在大于预设阈值的情况，则确定第一个标定瞳孔的位置异常(如图3所示)，其他标定瞳孔的位置正常；若存在第二比值大于预设阈值时，假如为K23，则计算第三个标定瞳孔(x3,y3)与其他标定瞳孔(x4，y4)…(x9，y9)之间的第二距离，以及与第三标定瞳孔对应的第三标定点(m3，n3)到其他标定点(m4，n4)…(m9，n9)之间的第一距离，并计算出第三比值，对比值进行判断，直至确定所存在位置异常标定瞳孔的坐标或标定失败为止。
需要说明的是，若仍存在第三比值大于预设阈值，则说明至少存在3个标定瞳孔的位置异常，则提示此次异常标定瞳孔过多，标定失败，需重新标定。
可选地，在本发明实施例提供的校正标定瞳孔位置的方法中，根据位置异常的标定瞳孔的第二坐标，以及位置正常的标定瞳孔之间的相对位置关系，对位置异常的标定瞳孔的第二坐标进行校正，具体包括：
根据位置正常的标定瞳孔的第二坐标，以及各标定点之间的相对位置关系，确定位置异常标定瞳孔的预估坐标；
根据预估坐标以及当前的第二坐标，确定位置异常标定瞳孔校正后的坐标。
具体地，在本发明实施例提供的校正标定瞳孔位置的方法中，根据位置正常的标定瞳孔的第二坐标，以及各标定点之间的相对位置关系，确定位置异常标定瞳孔的预估坐标，具体包括：
计算位置正常的相邻标定瞳孔之间的距离的平均值；
根据标定点的排列规则，确定位置异常标定瞳孔与其相邻的标定瞳孔之间的相对位置关系；
根据距离的平均值以及相对位置关系，确定异常标定瞳孔的预估坐标。
可选地，在本发明实施例提供的校正标定瞳孔位置的方法中，根据预估坐标以及当前的第二坐标，确定位置异常标定瞳孔校正后的坐标，具体包括：
通过以下公式确定位置异常的标定瞳孔校正后的坐标：
(Xadjust，Yadjust)＝a×(Xestimate，Yestimate)+(1-a)(xj，yj)；
其中，(Xadjust，Yadjust)为异常的标定瞳孔校正后的坐标，(Xestimate，Yestimate)为异常的标定瞳孔预估坐标，(xj，yj)为异常的标定瞳孔的异常坐标，a为权值，其值小于等于1。
可选地，在本发明实施例提供的校正标定瞳孔位置的方法中，在根据任意两个标定点的距离和任意两个标定点对应的两个标定瞳孔的距离之间的关系，确定位置异常的标定瞳孔的第二坐标之后，方法还包括：
当位置异常的标定瞳孔的个数大于预设个数时，确定校正失败，重新获取目标屏幕上多个按预设规则排列的标定点的第一坐标，以及人眼在注视各标定点时的标定瞳孔的第二坐标并重新校正。
可选地，在本发明实施例提供的校正标定瞳孔位置的方法中，标定点在目标屏幕上呈阵列排布。
基于同一发明构思，本发明实施例还提供了一种标定瞳孔校正装置，包括：
坐标获取模块，用于获取目标屏幕上多个按预设规则排列的标定点的第一坐标，以及人眼在注视各标定点时的标定瞳孔的第二坐标，其中，第一坐标是指在目标屏幕上建立的坐标系中每个标定点的坐标，第二坐标是指在所获取人眼图像中建立的坐标系中与每个标定点对应的标定瞳孔的坐标；
距离确定模块，用于根据标定点的第一坐标和标定瞳孔的第二坐标，分别确定各标定点之间的距离和各标定瞳孔之间的距离；
异常判定模块，用于根据任意两个标定点的距离和任意两个标定点对应的两个标定瞳孔的距离之间的关系，确定位置异常的标定瞳孔的第二坐标；
校正坐标确定模块，用于根据位置异常的标定瞳孔的第二坐标，以及位置正常的标定瞳孔之间的相对位置关系，对位置异常的标定瞳孔的第二坐标进行校正。
可选地，在本发明实施例提供的标定瞳孔校正装置中，异常判定模块具体用于：
针对每个标定瞳孔均执行以下步骤：
计算当前标定瞳孔对应的标定点与其他标定点之间的距离，计算当前标定瞳孔与其他标定瞳孔之间的距离，并分别计算当前标定瞳孔对应的标定点与其他标定点之间的各个距离和当前标定瞳孔与其他标定瞳孔之间的各个距离的所有第一比值；
判断所述第一比值是否在预设阈值范围内；
当所有所述第一比值在所述预设阈值范围内时，确定当前标定瞳孔的位置正常；
当存在所述第一比值超出所述预设阈值范围时，分别计算与当前标瞳孔之间的第一比值超出阈值范围的标定瞳孔和其余标定瞳孔对应的所有第二比值，其中，所述第二比值表示超出与当前标定瞳孔之间的第一比值超出阈值范围的标定瞳孔对应的标定点与其余标定瞳孔对应的标定点之间的各个距离和与当前标定瞳孔之间的第一比值超出阈值范围的标定瞳孔与其余标定瞳孔之间的各个距离的比值；
判断所述第二比值是在所述预设阈值范围内；
当所有所述第二比值在所述预设阈值范围内时，确定当前标定瞳孔的位置异常，其他所述标定瞳孔的位置均正常；
当存在所述第二比值超出所述预设阈值范围时，确定与超出所述预设阈值的所述第二比值对应的其他所述标定瞳孔为当前标定瞳孔；
循环执行上述步骤，直至完成第二坐标的确定或确定标定失败为止。
可选地，在本发明实施例提供的标定瞳孔校正装置中，校正坐标确定模块具体用于：
根据位置正常的标定瞳孔的第二坐标，以及各标定点之间的相对位置关系，确定位置异常标定瞳孔的预估坐标；
根据预估坐标以及当前的第二坐标，确定位置异常标定瞳孔校正后的坐标。
可选地，在本发明实施例提供的标定瞳孔校正装置中，校正坐标确定模块还用于：
计算位置正常的相邻标定瞳孔之间的距离的平均值；
根据标定点的排列规则，确定位置异常标定瞳孔与其相邻的标定瞳孔之间的相对位置关系；
根据距离的平均值以及相对位置关系，确定异常标定瞳孔的预估坐标。
可选地，在本发明实施例提供的标定瞳孔校正装置中，校正坐标确定模块还用于：
通过以下公式确定位置异常的标定瞳孔校正后的坐标：
(Xadjust，Yadjust)＝a×（Xestimate，Yestimate）+（1-a）（xj，yj)；
其中，(Xadjust，Yadjust)为异常的标定瞳孔校正后的坐标，(Xestimate，Yestimate)为异常的标定瞳孔预估坐标，(xj，yj)为异常的标定瞳孔的异常坐标，a为权值，其值小于等于1。
可选地，在本发明实施例提供的标定瞳孔校正装置中，还包括：
异常标定瞳孔结果确定模块，用于当位置异常的标定瞳孔的个数大于预设个数时，确定校正失败，重新获取目标屏幕上多个按预设规则排列的标定点的第一坐标，以及人眼在注视各标定点时的标定瞳孔的第二坐标并重新校正。
可选地，在本发明实施例提供的标定瞳孔校正装置中，标定点在目标屏幕上呈阵列排布。
基于同一发明构思，本发明实施例还提供了一种非线性视线映射***，如图4所示，包括上述实施例提供的标定瞳孔校正装置4、图像采集装置1、瞳孔定位装置2、视线映射标定装置3和视线计算装置5；
图像采集装置1用于获取人眼区域的图像；
瞳孔定位装置2用于对人眼区域的图像进行处理，计算出瞳孔的中心，并以瞳孔的中心为参考点建立人眼区域的图像的坐标系；
视线映射标定装置3用于根据预设规则确定瞳孔注视目标屏幕上各标定点时，在人眼区域的图像的坐标系中对应的标定瞳孔的第二坐标；
视线计算装置5用于根据校正后的各标定瞳孔的坐标以及非线性映射函数，确定非线性映射模型，并根据人眼注视屏幕上任意点时获得的瞳孔中心位置，计算人眼在目标屏幕上的注视点坐标。
具体地，在本发明实施例提供的非线性视线映射***中，图像采集装置用于获取用户佩戴VR眼镜时，在红外LED灯照射下的人眼区域图像；如图5所示，图像采集装置包括一个高速红外相机11，两个菲涅尔透镜12和13，六个红外光源(红外光源14、红外光源15、红外光源16、红外光源17、红外光源18、红外光源19)，一个VR壳体；高速红外相机11，位置设置于菲涅尔透镜13正下方，相机中心轴线指向人眼区域中心位置，相机采样频率为100Hz；六个红外光源以正六边形的形状位于菲涅尔透镜13周围，红外光源波长为850nm，红外光源为眼部提供均匀的补光，利于将瞳孔从虹膜区域分割出来，获得较为清晰的瞳孔图像。
具体地，在本发明实施例提供的非线性视线映射***中，瞳孔定位装置主要用于初步确定瞳孔的位置坐标，具体实施方法为：
1、对图像采集模块中采集到的人眼图像进行预处理，预处理方法为：首先将原始图像转化为灰度图像，之后对图像进行高斯滤波，滤除图像噪声；
2、对图像进行二值化，二值化时选取的阈值为经验值，获得的二值化图像中瞳孔部分灰度值为0，之后对二值化图像采取开运算，去除瞳孔中的白色空洞；
3、对瞳孔区域计算轮廓，并剔除非瞳孔轮廓(通过轮廓的大小及形状进行判断)，最后使用质心法求出瞳孔的中心坐标，实现瞳孔中心的定位。
具体地，在本发明实施例提供的非线性视线映射***中，视线映射模型标定装置的具体作用为：在目标屏幕上设定了9个标定点，9个标定点的分布如图2所示，标定开始后，用户按照1-2-3-4-5-6-7-8-9的顺序依次注视9个标定点，每注视一个标定点时，记录下对应的瞳孔位置。
具体地，在本发明实施例提供的非线性视线映射***中，视线计算装置用于根据校正后的各标定瞳孔的坐标以及非线性映射函数，确定非线性映射模型，并根据人眼注视屏幕上任意点时获得的瞳孔中心位置，计算人眼在目标屏幕上的注视点坐标。
其中，标定瞳孔校正装置的作用已经在上述实施例中进行了详细的阐述，可参见上述实施例进行实施，在此不再赘述。
基于同一发明构思，本发明实施例还提供了一种计算机可读介质，包括程序代码，当所述程序代码在计算设备上运行时，所述程序代码用于使所述计算设备执行上述任一实施例提供的校正标定瞳孔位置的方法的步骤。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
根据本发明的实施方式的用于显示产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在服务器设备上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被信息传输、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由周期网络动作***、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等，或者上述的任意合适的组合。
可以采用一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备，或者，可以连接到外部计算设备。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明实施例可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本发明实施例的技术方案可以采用软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
本领域技术人员可以理解附图只是一个优选实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
综上，本发明实施例提供了一种校正标定瞳孔位置的方法、装置、***及计算机可读介质，该校正标定瞳孔位置的方法通过获取目标屏幕上多个按预设规则排列的标定点的第一坐标，以及人眼在注视各所述标定点时的标定瞳孔的第二坐标，根据所述标定点的第一坐标和所述标定瞳孔的第二坐标，分别确定各所述标定点之间的距离和各所述标定瞳孔之间的距离；根据任意两个所述标定点的距离和所述任意两个所述标定点对应的两个所述标定瞳孔的距离之间的关系，确定位置异常的标定瞳孔的第二坐标；根据位置异常的标定瞳孔的第二坐标，以及位置正常的标定瞳孔之间的相对位置关系，对位置异常的标定瞳孔的第二坐标进行校正。通过上述方法对标定瞳孔的位置进行校正，可以避免用户重新进行标定，减少了标定的时间提高了VR的使用体验。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (15)

1.一种校正标定瞳孔位置的方法，其特征在于，包括：
获取目标屏幕上多个按预设规则排列的标定点的第一坐标，以及人眼在注视各所述标定点时的标定瞳孔的第二坐标，其中，所述第一坐标是指在所述目标屏幕上建立的坐标系中每个所述标定点的坐标，所述第二坐标是指在所获取人眼图像中建立的坐标系中与每个所述标定点对应的标定瞳孔的坐标；
根据所述标定点的第一坐标和所述标定瞳孔的第二坐标，分别确定各所述标定点之间的距离和各所述标定瞳孔之间的距离；
根据任意两个所述标定点的距离和所述任意两个所述标定点对应的两个所述标定瞳孔的距离之间的关系，确定位置异常的标定瞳孔的第二坐标；
根据位置异常的标定瞳孔的第二坐标，以及位置正常的标定瞳孔之间的相对位置关系，对位置异常的标定瞳孔的第二坐标进行校正。
2.如权利要求1所述的校正标定瞳孔位置的方法，其特征在于，所述根据任意两个所述标定点的距离和所述任意两个所述标定点对应的两个所述标定瞳孔的距离之间的关系，确定位置异常的标定瞳孔的第二坐标，具体包括：
针对每个所述标定瞳孔均执行以下步骤：
计算当前标定瞳孔对应的标定点与其他标定点之间的距离，计算当前标定瞳孔与其他标定瞳孔之间的距离，并分别计算当前标定瞳孔对应的标定点与其他标定点之间的各个距离和当前标定瞳孔与其他标定瞳孔之间的各个距离的所有第一比值；
判断所述第一比值是否在预设阈值范围内；
当所有所述第一比值在所述预设阈值范围内时，确定当前标定瞳孔的位置正常；
当存在所述第一比值超出所述预设阈值范围时，分别计算与当前标瞳孔之间的第一比值超出阈值范围的标定瞳孔和其余标定瞳孔对应的所有第二比值，其中，所述第二比值表示超出与当前标定瞳孔之间的第一比值超出阈值范围的标定瞳孔对应的标定点与其余标定瞳孔对应的标定点之间的各个距离和与当前标定瞳孔之间的第一比值超出阈值范围的标定瞳孔与其余标定瞳孔之间的各个距离的比值；
判断所述第二比值是在所述预设阈值范围内；
当所有所述第二比值在所述预设阈值范围内时，确定当前标定瞳孔的位置异常，其他所述标定瞳孔的位置均正常；
当存在所述第二比值超出所述预设阈值范围时，确定与超出所述预设阈值的所述第二比值对应的其他所述标定瞳孔为当前标定瞳孔；
循环执行上述步骤，直至完成第二坐标的确定或确定标定失败为止。
3.如权利要求1所述的校正标定瞳孔位置的方法，其特征在于，所述根据位置异常的标定瞳孔的第二坐标，以及位置正常的标定瞳孔之间的相对位置关系，对位置异常的标定瞳孔的第二坐标进行校正，具体包括：
根据位置正常的标定瞳孔的第二坐标，以及各标定点之间的相对位置关系，确定位置异常标定瞳孔的预估坐标；
根据所述预估坐标以及当前的第二坐标，确定位置异常标定瞳孔校正后的坐标。
4.如权利要求3所述的校正标定瞳孔位置的方法，其特征在于，所述根据位置正常的标定瞳孔的第二坐标，以及各标定点之间的相对位置关系，确定位置异常标定瞳孔的预估坐标，具体包括：
计算位置正常的相邻标定瞳孔之间的距离的平均值；
根据标定点的排列规则，确定所述位置异常标定瞳孔与其相邻的标定瞳孔之间的相对位置关系；
根据所述距离的平均值以及所述相对位置关系，确定所述异常标定瞳孔的预估坐标。
5.如权利要求3所述的校正标定瞳孔位置的方法，其特征在于，根据所述预估坐标以及当前的第二坐标，确定位置异常标定瞳孔校正后的坐标，具体包括：
通过以下公式确定位置异常的标定瞳孔校正后的坐标：
(Xadjust，Yadjust)＝a×(Xestimate，Yestimate)+(1-a)(xj，yj)；
其中，(Xadjust，Yadjust)为异常的标定瞳孔校正后的坐标，(Xestimate，Yestimate)为异常的标定瞳孔预估坐标，(xj，yj)为异常的标定瞳孔的异常坐标，a为权值，其值小于等于1。
6.如权利要求1-5任一项所述的校正标定瞳孔位置的方法，其特征在于，在所述根据任意两个所述标定点的距离和所述任意两个所述标定点对应的两个所述标定瞳孔的距离之间的关系，确定位置异常的标定瞳孔的第二坐标之后，所述方法还包括：
当位置异常的标定瞳孔的个数大于预设个数时，确定校正失败，重新获取目标屏幕上多个按预设规则排列的标定点的第一坐标，以及人眼在注视各所述标定点时的标定瞳孔的第二坐标并重新校正。
7.如权利要求1-5任一项所述的校正标定瞳孔位置的方法，其特征在于，所述标定点在所述目标屏幕上呈阵列排布。
8.一种标定瞳孔校正装置，其特征在于，包括：
坐标获取模块，用于获取目标屏幕上多个按预设规则排列的标定点的第一坐标，以及人眼在注视各所述标定点时的标定瞳孔的第二坐标，其中，所述第一坐标是指在所述目标屏幕上建立的坐标系中每个所述标定点的坐标，所述第二坐标是指在所获取人眼图像中建立的坐标系中与每个所述标定点对应的标定瞳孔的坐标；
距离确定模块，用于根据所述标定点的第一坐标和所述标定瞳孔的第二坐标，分别确定各所述标定点之间的距离和各所述标定瞳孔之间的距离；
异常判定模块，用于根据任意两个所述标定点的距离和所述任意两个所述标定点对应的两个所述标定瞳孔的距离之间的关系，确定位置异常的标定瞳孔的第二坐标；
校正坐标确定模块，用于根据位置异常的标定瞳孔的第二坐标，以及位置正常的标定瞳孔之间的相对位置关系，对位置异常的标定瞳孔的第二坐标进行校正。
9.如权利要求8所述的标定瞳孔校正装置，其特征在于，所述异常判定模块具体用于：
针对每个所述标定瞳孔均执行以下步骤：
计算当前标定瞳孔对应的标定点与其他标定点之间的距离，计算当前标定瞳孔与其他标定瞳孔之间的距离，并分别计算当前标定瞳孔对应的标定点与其他标定点之间的各个距离和当前标定瞳孔与其他标定瞳孔之间的各个距离的所有第一比值；
判断所述第一比值是否在预设阈值范围内；
当所有所述第一比值在所述预设阈值范围内时，确定当前标定瞳孔的位置正常；
当存在所述第一比值超出所述预设阈值范围时，分别计算与当前标瞳孔之间的第一比值超出阈值范围的标定瞳孔和其余标定瞳孔对应的所有第二比值，其中，所述第二比值表示超出与当前标定瞳孔之间的第一比值超出阈值范围的标定瞳孔对应的标定点与其余标定瞳孔对应的标定点之间的各个距离和与当前标定瞳孔之间的第一比值超出阈值范围的标定瞳孔与其余标定瞳孔之间的各个距离的比值；
判断所述第二比值是在所述预设阈值范围内；
当所有所述第二比值在所述预设阈值范围内时，确定当前标定瞳孔的位置异常，其他所述标定瞳孔的位置均正常；
当存在所述第二比值超出所述预设阈值范围时，确定与超出所述预设阈值的所述第二比值对应的其他所述标定瞳孔为当前标定瞳孔；
循环执行上述步骤，直至完成第二坐标的确定或确定标定失败为止。
10.如权利要求8所述的标定瞳孔校正装置，其特征在于，所述校正坐标确定模块具体用于：
根据位置正常的标定瞳孔的第二坐标，以及各标定点之间的相对位置关系，确定位置异常标定瞳孔的预估坐标；
根据所述预估坐标以及当前的第二坐标，确定位置异常标定瞳孔校正后的坐标。
11.如权利要求10所述的标定瞳孔校正装置，其特征在于，所述校正坐标确定模块还用于：
计算位置正常的相邻标定瞳孔之间的距离的平均值；
根据标定点的排列规则，确定所述位置异常标定瞳孔与其相邻的标定瞳孔之间的相对位置关系；
根据所述距离的平均值以及所述相对位置关系，确定所述异常标定瞳孔的预估坐标。
12.如权利要求10所述的标定瞳孔校正装置，其特征在于，所述校正坐标确定模块还用于：
通过以下公式确定位置异常的标定瞳孔校正后的坐标：
(Xadjust，Yadjust)＝a×(Xestimate，Yestimate)+(1-a)(xj，yj)；
其中，(Xadjust，Yadjust)为异常的标定瞳孔校正后的坐标，(Xestimate，Yestimate)为异常的标定瞳孔预估坐标，(xj，yj)为异常的标定瞳孔的异常坐标，a为权值，其值小于等于1。
13.如权利要求8-12任一项所述的标定瞳孔校正装置，其特征在于，还包括：
异常标定瞳孔结果确定模块，用于当位置异常的标定瞳孔的个数大于预设个数时，确定校正失败，重新获取目标屏幕上多个按预设规则排列的标定点的第一坐标，以及人眼在注视各所述标定点时的标定瞳孔的第二坐标并重新校正。
14.一种计算机可读介质，其特征在于，包括程序代码，当所述程序代码在计算设备上运行时，所述程序代码用于使所述计算设备执行权利要求1-7任一项所述校正标定瞳孔位置的方法的步骤。
15.一种包括如权利要求8-13任一项所述的标定瞳孔校正装置的非线性视线映射***，其特征在于，还包括图像采集装置、瞳孔定位装置、视线映射标定装置和视线计算装置；
所述图像采集装置用于获取人眼区域的图像；
所述瞳孔定位装置用于对所述人眼区域的图像进行处理，计算出瞳孔的中心，并以瞳孔的中心为参考点建立人眼区域的图像的坐标系；
所述视线映射标定装置用于根据预设规则确定瞳孔注视目标屏幕上各标定点时，在人眼区域的图像的坐标系中对应的标定瞳孔的第二坐标；
所述视线计算装置用于根据校正后的各标定瞳孔的坐标以及非线性映射函数，确定非线性映射模型，并根据人眼注视屏幕上任意点时获得的瞳孔中心位置，计算人眼在目标屏幕上的注视点坐标。
CN201910555541.3A 2019-06-25 2019-06-25 校正标定瞳孔位置的方法、装置、***及计算机可读介质 Pending CN112132755A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910555541.3A CN112132755A (zh) 2019-06-25 2019-06-25 校正标定瞳孔位置的方法、装置、***及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910555541.3A CN112132755A (zh) 2019-06-25 2019-06-25 校正标定瞳孔位置的方法、装置、***及计算机可读介质

Publications (1)

Publication Number Publication Date
CN112132755A true CN112132755A (zh) 2020-12-25

Family

ID=73849158

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910555541.3A Pending CN112132755A (zh) 2019-06-25 2019-06-25 校正标定瞳孔位置的方法、装置、***及计算机可读介质

Country Status (1)

Country Link
CN (1) CN112132755A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022225734A1 (en) * 2021-04-19 2022-10-27 Microsoft Technology Licensing, Llc Systems and methods of capturing eye-gaze data
US11619993B2 (en) 2021-04-19 2023-04-04 Microsoft Technology Licensing, Llc Systems and methods for gaze-tracking

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102012742A (zh) * 2010-11-24 2011-04-13 广东威创视讯科技股份有限公司 一种眼睛鼠标的校正方法及其装置
CN102043952A (zh) * 2010-12-31 2011-05-04 山东大学 一种基于双光源的视线跟踪方法
CN103366381A (zh) * 2013-08-06 2013-10-23 山东大学 基于空间位置的视线跟踪校正方法
CN106056092A (zh) * 2016-06-08 2016-10-26 华南理工大学 基于虹膜与瞳孔的用于头戴式设备的视线估计方法
CN106066696A (zh) * 2016-06-08 2016-11-02 华南理工大学 自然光下基于投影映射校正和注视点补偿的视线跟踪方法
CN107633240A (zh) * 2017-10-19 2018-01-26 京东方科技集团股份有限公司 视线追踪方法和装置、智能眼镜
CN108491072A (zh) * 2018-03-05 2018-09-04 京东方科技集团股份有限公司 一种虚拟现实交互方法及装置
CN108968907A (zh) * 2018-07-05 2018-12-11 四川大学 眼动数据的校正方法及装置
CN109696954A (zh) * 2017-10-20 2019-04-30 中国科学院计算技术研究所 视线追踪方法、装置、设备和存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102012742A (zh) * 2010-11-24 2011-04-13 广东威创视讯科技股份有限公司 一种眼睛鼠标的校正方法及其装置
CN102043952A (zh) * 2010-12-31 2011-05-04 山东大学 一种基于双光源的视线跟踪方法
CN103366381A (zh) * 2013-08-06 2013-10-23 山东大学 基于空间位置的视线跟踪校正方法
CN106056092A (zh) * 2016-06-08 2016-10-26 华南理工大学 基于虹膜与瞳孔的用于头戴式设备的视线估计方法
CN106066696A (zh) * 2016-06-08 2016-11-02 华南理工大学 自然光下基于投影映射校正和注视点补偿的视线跟踪方法
CN107633240A (zh) * 2017-10-19 2018-01-26 京东方科技集团股份有限公司 视线追踪方法和装置、智能眼镜
CN109696954A (zh) * 2017-10-20 2019-04-30 中国科学院计算技术研究所 视线追踪方法、装置、设备和存储介质
CN108491072A (zh) * 2018-03-05 2018-09-04 京东方科技集团股份有限公司 一种虚拟现实交互方法及装置
CN108968907A (zh) * 2018-07-05 2018-12-11 四川大学 眼动数据的校正方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022225734A1 (en) * 2021-04-19 2022-10-27 Microsoft Technology Licensing, Llc Systems and methods of capturing eye-gaze data
US11619993B2 (en) 2021-04-19 2023-04-04 Microsoft Technology Licensing, Llc Systems and methods for gaze-tracking
US11998335B2 (en) 2021-04-19 2024-06-04 Microsoft Technology Licensing, Llc Systems and methods of capturing eye-gaze data

Similar Documents

Publication Publication Date Title
US10955678B2 (en) Field of view enhancement via dynamic display portions
US10389989B2 (en) Vision defect determination and enhancement using a prediction model
US11067805B2 (en) Systems and methods for operating a display system based on user perceptibility
US20220066553A1 (en) Eye image selection
EP3427185B1 (en) Blue light adjustment for biometric security
US20180357475A1 (en) Authentication device and authentication method
US10409071B2 (en) Visual enhancement for dynamic vision defects
CN107358217B (zh) 一种视线估计方法及装置
US8913789B1 (en) Input methods and systems for eye positioning using plural glints
CN109656373B (zh) 一种注视点定位方法及定位装置、显示设备和存储介质
US20140152956A1 (en) System for the measurement of the interpupillary distance using a device equipped with a display and a camera
US20220005587A1 (en) System, method, and non-transitory computer-readable storage media related to correction of vision defects using a visual display
CN106774929B (zh) 一种虚拟现实终端的显示处理方法和虚拟现实终端
CN112132755A (zh) 校正标定瞳孔位置的方法、装置、***及计算机可读介质
CN112099622B (zh) 一种视线追踪方法及装置
CN107422844B (zh) 一种信息处理方法及电子设备
CN112926521B (zh) 基于光源亮灭的眼球追踪方法、***
US11307654B1 (en) Ambient light eye illumination for eye-tracking in near-eye display
CN114973392A (zh) 一种人眼运动追踪***及方法
CN108510542B (zh) 匹配光源与光斑的方法和装置
US10108259B2 (en) Interaction method, interaction apparatus and user equipment
CN115100728A (zh) 视力状态的检测方法、装置、存储介质和程序产品
WO2022205770A1 (zh) 基于光场感知的眼球追踪***、方法
WO2022205789A1 (zh) 基于虚拟现实的眼球追踪方法、***
CN112130326B (zh) 一种提高vr眼镜护目性能的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination