CN110427101A - 眼球追踪的校准方法、装置、设备和存储介质 - Google Patents
眼球追踪的校准方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN110427101A CN110427101A CN201910612124.8A CN201910612124A CN110427101A CN 110427101 A CN110427101 A CN 110427101A CN 201910612124 A CN201910612124 A CN 201910612124A CN 110427101 A CN110427101 A CN 110427101A
- Authority
- CN
- China
- Prior art keywords
- calibration
- eye
- target position
- position information
- mark
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000005252 bulbus oculi Anatomy 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims abstract description 49
- 210000001508 eye Anatomy 0.000 claims abstract description 153
- 238000004422 calculation algorithm Methods 0.000 claims description 30
- 230000003287 optical effect Effects 0.000 claims description 30
- 238000009434 installation Methods 0.000 claims description 17
- 239000000284 extract Substances 0.000 claims description 6
- 210000001742 aqueous humor Anatomy 0.000 claims description 5
- 210000004087 cornea Anatomy 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 description 30
- 238000010586 diagram Methods 0.000 description 10
- 238000005457 optimization Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 6
- 210000001747 pupil Anatomy 0.000 description 6
- 230000005291 magnetic effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 210000002189 macula lutea Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明实施例公开了一种眼球追踪的校准方法、装置、设备和存储介质，其中该方法包括：按照预设的目标位置信息投射校准光，形成校准标识；获取用户注视校准标识时的眼部图像；根据眼部图像及目标位置信息确定目标校准系数。本发明实施例通过预设位置处的校准标识对实现眼球跟踪的眼球模型中的校准系数进行校准，该校准标识的位置不局限于显示器，因此不用依赖于显示器等外部设备即可实现校准，更加便捷地实现了眼球跟踪设备的校准，进而提高了校准的效率。
Description
技术领域
本发明实施例涉及眼睛控制技术领域，尤其涉及一种眼球追踪的校准方法、 装置、设备和存储介质。
背景技术
眼球追踪，也可称为视线追踪，是通过测量眼睛运动情况来估计眼睛的视 线和/或注视点的技术。随着智能终端的发展，通过眼球追踪设备可以实现一种 非接触式的人机互动。
眼球追踪设备中通过内置红外光源、光学传感器、图像处理器以及视点计 算核心来实现注视点估计，具体的工作原理如下：获取用户的眼部图像，从获 取到的眼部图像中提取眼部特征，根据眼部特征进行注视点估计。现有的眼球 追踪设备需要通过校准来对注视点估计的结果进行调整，但是一般是要求用户 使用一套校准程序，在显示器上显示校准图像等完成校准，即，现有的校准方 式至少要求与显示器一起工作，需要外部设备参与，无法满足用户的便捷性的 需求。
发明内容
本发明实施例提供了一种眼球追踪的校准方法、装置、设备和存储介质， 可以解决现有技术中校准方法便捷性不足的技术问题。
第一方面，本发明实施例提供了一种眼球追踪的校准方法，包括：
按照预设的目标位置信息投射校准光，形成校准标识；
获取用户注视所述校准标识时的眼部图像；
根据所述眼部图像及所述目标位置信息确定目标校准系数。
第二方面，本发明实施例还提供了一种眼球追踪的校准装置，该装置包括：
校准标识模块，用于按照预设的目标位置信息投射校准光，形成校准标识；
图像模块，用于获取用户注视所述校准标识时的眼部图像；
校准模块，用于根据所述眼部图像及所述目标位置信息确定目标校准系数。
进一步的，所述图像模块具体用于：
通过图像采集模块采集用户注视所述校准标识的用户图像；
提取所述用户图像中的眼部图像。
进一步的，所述图像模块具体用于：
基于预设语音提示获取用户注视所述校准标识时的眼部图像。
进一步的，所述目标校准系数包括角膜曲率半径、角膜房水折射率、眼部 光轴与视轴的夹角以及角膜曲率中心到瞳孔中心位置的距离的至少之一。
进一步的，所述校准模块包括：
特征提取单元，用于提取所述眼部图像中的眼部特征信息；
校准系数单元，用于基于所述眼部特征信息、所述目标位置信息及初始化 的校准系数，确定目标校准系数。
进一步的，所述校准系数单元具体用于：
基于所述眼部特征信息、所述目标位置信息、初始化的校准系数及设定校 准算法，确定视线误差；
根据所述视线误差确定目标校准系数。
进一步的，该装置还包括：
校准光控制模块，用于通过校准光控制指令控制所述校准光，所述校准光 控制指令包括关闭指令或开启指令，所述关闭指令用于在形成校准标识的设定 时间后关闭所述校准光。
第三方面，本发明实施例还提供了一种设备，所述设备包括：
一个或多个处理器；
投影模块，用于投射校准光；
图像采集模块，用于采集用户图像；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多 个处理器实现如上所述的眼球追踪的校准方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有 计算机程序，该程序被处理器执行时实现如上所述的眼球追踪的校准方法。
本发明实施例按照预设的目标位置信息投射校准光，形成校准标识，获取 用户注视校准标识时的眼部图像，并根据眼部图像及目标位置信息确定目标校 准系数。本发明实施例通过预设位置处的校准标识对实现眼球跟踪的眼球模型 中的校准系数进行校准，该校准标识的位置不局限于显示器，因此不用依赖于 显示器等外部设备即可实现校准，更加便捷地实现了眼球跟踪设备的校准，进 而提高了校准的效率。
附图说明
图1为本发明实施例一中的眼球追踪的校准方法的流程图；
图2为本发明实施例一中的眼球追踪的校准方法的示意图；
图3为本发明实施例二中的眼球追踪的校准方法的流程图；
图4为本发明实施例二中的校准标识的示意图；
图5为本发明实施例三中的眼球追踪的校准装置的结构示意图；
图6为本发明实施例四中的设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此 处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需 要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结 构。
实施例一
图1为本发明实施例一中的眼球追踪的校准方法的流程图，本实施例可适 用于对眼球追踪设备的眼球模型实现校准的情况，该方法可以由眼球追踪的校 准装置执行，该装置可以采用软件和/或硬件的方式实现，该装置可配置于设备 中，例如该设备可以包括智能手机、电脑和平板电脑等等。
图2为本发明实施例一中的眼球追踪的校准方法的示意图，图2中的示意 图仅为一种示例。本实施例中的眼球追踪的校准装置可以配置于图中的眼球追 踪设备11中以实现眼球追踪的校准方法。图中该眼球追踪设备11放置于水平 桌面12上，A点为眼球追踪的校准装置投射在水平桌面12上的校准标识，通 过对用户眼球14与A点的方向向量与用户眼球14的实际视线方向向量之间的 误差进行最小化，进而实现校准系数的校准。图中方框13为眼球追踪的校准装 置的图像采集区域。
如图1所示，该方法具体可以包括：
S110、按照预设的目标位置信息投射校准光，形成校准标识。
其中，校准光可以为内置在眼球追踪的校准装置中的光源模块提供的可见 光，优选可以为可见激光。可见激光由于波长分布范围非常窄，因此颜色极纯， 单色性好，本实施例中可以采用532nm的绿色激光或650nm的红色激光等可见 激光作为校准光，以提高用户的视觉影响。由于可见光中的红光较为容易引起 眼睛的视觉，因此，本实施例中可以采用红光作为校准光，其他满足条件的光 源也适用。目标位置信息设置为目标平面上的位置信息，该目标平面可以为任 意平面物体的表面，例如图2中的水平桌面，由于平面上的几何关系容易确定， 不需要人工介入即可确定空间关系，因此，本实施例中的目标位置设定于平面 上。若眼球追踪的校准装置与目标位置的空间关系预先确定时，该目标位置不 局限于平面上。
具体的，通过内置于眼球追踪的校准装置中的投影模块可以按照预设的目 标位置信息投射校准光，形成校准标识。校准标识的数量可以为多个，校准标 识不限于一个标识点，也可以是一个起到标识作用的校准影像和校准画面。例 如，本实施例中的校准标识的形状可以为圆形、方形、线形和其他不规则形状 等等，具体形状可以根据实际情况进行设定。该目标位置基于眼球追踪的校准 装置的局部坐标系的空间坐标可以确定。
S120、获取用户注视校准标识时的眼部图像。
具体的，基于预设语音提示获取用户注视校准标识时的眼部图像。眼球追 踪的校准装置中可以设置声音模块，当校准标识形成之后，通过声音模块播放 预设语音提示，该预设语音提示用于提示用户注视该校准标识。同时通过眼球 追踪的校准装置中的图像采集模块采集用户注视校准标识时的眼部图像。可以 理解的是，校准标识的数量为多个时，该预设语音提示可以播放多次，直到完 成校准过程。
S130、根据眼部图像及目标位置信息确定目标校准系数。
其中，校准系数可以为用于进行视线估计的眼球跟踪模型中需要确定的参 数，本实施例中的目标校准系数可以包括角膜曲率半径、角膜房水折射率、眼 部光轴与视轴的夹角以及角膜曲率中心到瞳孔中心位置的距离等参数的至少之 一。初始化的校准系数为根据先验知识确定的校准系数，该校准系数针对不同 的用户而不同，因此需要进行校准。
具体的，根据眼部图像及目标位置信息确定目标校准系数，可以包括：提 取眼部图像中的眼部特征信息；基于眼部特征信息、目标位置信息及初始化的 校准系数，确定目标校准系数。其中，眼部特征信息可以包括瞳孔中心位置、 瞳孔形状、虹膜位置、虹膜形状、眼皮位置、眼角位置、光斑(也称为普尔钦 斑)位置等，本实施例中以瞳孔中心位置和光斑位置为例进行说明。
进一步的，基于眼部特征信息、目标位置信息及初始化的校准系数，确定 目标校准系数，可以包括：基于眼部特征信息、目标位置信息、初始化的校准 系数及设定校准算法，确定视线误差；根据视线误差确定目标校准系数。
视线误差可以为用户眼球真实视线与用户眼部到校准标识几何视线之间的 角度差。其中，设定校准算法可以根据实际情况进行设定，本实施例中以角膜 反射校准算法为例进行说明。基于眼部特征信息、目标位置信息、初始化的校 准系数及设定校准算法，确定视线误差，可以包括：基于眼部特征信息、目标 位置信息及初始化的校准系数，得到眼部视轴方向向量和眼部到校准标识的方 向向量；基于角度误差公式、眼部视轴方向向量和眼部到校准标识的方向向量， 得到眼部视轴方向的误差，将眼部视轴方向的误差确定为视线误差。其中眼部 视轴方向向量为用户眼球的真实视线的方向向量。参见图2，其中用户眼球14至B点的视线为用户眼球的真实视线，用户眼球14至校准标识A点的几何视 线与户眼球的真实视线之间存在角度差，即视线误差。
进一步的，眼部特征信息包括瞳孔中心位置和光斑位置；基于眼部特征信 息、目标位置信息及初始化的校准系数，得到眼部视轴方向向量和眼部到校准 标识的方向向量，可以包括：根据光斑位置和初始化的校准系数中的角膜曲率 半径，得到角膜曲率中心；根据瞳孔中心位置、角膜曲率中心和初始化的校准 系数中的眼部光轴与视轴的夹角，得到眼部视轴方向向量；根据目标位置和角 膜曲率中心，得到眼部到校准标识的方向向量。其中，眼部光轴为瞳孔中心位 置到达视网膜中心的连线，眼部视轴为由眼外注视点通过结点与黄斑的连线， 眼部光轴与眼部视轴之间形成4°至5°的夹角。根据瞳孔中心位置和角膜曲率中心可以得到眼部光轴方向向量，根据初始化的校准系数中的眼部光轴与视轴 的夹角和眼部光轴方向向量可以得到眼部视轴方向向量。
进一步的，根据视线误差确定目标校准系数，可以包括：基于预设的误差 优化算法确定视线误差的最小误差；将最小误差对应的校准系数确定为校准后 的目标校准系数。其中误差优化算法为计算误差最小的算法，本实施例中对具 体的误差优化算法不作限定，例如误差优化算法可以为序列二次规划(Sequence Quadratic Program，SQP)算法，序列二次规划算法是求解中小规划约束最优化 问题的一类有效算法。
此外，根据眼部图像及目标位置信息确定目标校准系数，还可以包括：提 取眼部图像中的眼部特征信息；基于眼部特征信息确定视线轨迹，眼部特征信 息包括瞳孔中心位置和光斑位置；基于视线轨迹、目标位置信息及初始化的校 准系数，确定目标校准系数。其中目标位置信息可以包括预定运动轨迹中各点 的位置信息。进一步的，基于眼部特征信息确定视线轨迹，可以包括：将瞳孔 中心位置和光斑位置通过视线计算公式得出视线的多个注视点的位置；计算多 个注视点的位置的平均值和标准差；选取距平均值小于三个标准差的多个注视 点作为第一参考点；根据第一参考点的位置确定视线轨迹。进一步的，通过对初始化的校准系数进行调整，使视线轨迹与校准标识的预定运动轨迹匹配，则 可以确定能够使用户的视线轨迹与校准标识的预定运动轨迹匹配的校准系数即 为校准后的目标校准系数，从而完成校准。
本实施例的技术方案，按照预设的目标位置信息投射校准光，形成校准标 识，获取用户注视校准标识时的眼部图像，并根据眼部图像及目标位置信息确 定目标校准系数。本实施例通过预设位置处的校准标识对实现眼球跟踪的眼球 模型中的校准系数进行校准，该校准标识的位置不局限于显示器，因此不用依 赖于显示器等外部设备即可实现校准，更加便捷地实现了眼球跟踪设备的校准， 进而提高了校准的效率。
实施例二
图3为本发明实施例二中的眼球追踪的校准方法的流程图。本实施例在上 述实施例的基础上，对上述眼球追踪的校准方法进行了进一步的具体化。相应 的，如图3所示，本实施例的方法具体包括：
S210、按照预设的目标位置信息投射校准光，形成校准标识。
其中，目标位置信息设置为目标平面上的位置信息，该目标平面可以为任 意平面物体的表面。
目标位置信息可以设定于目标平面上，该目标平面可以为任意平面物体的 表面。校准标识的数量可以为多个，校准标识不限于一个标识点，也可以是一 个起到标识作用的校准影像和校准画面。参见图4，图4为本发明实施例二中 的校准标识的示意图，图中包括多个校准图案。
可选地，按照预设的目标位置信息投射校准光，形成校准标识之后，还可 以包括：通过校准光控制指令控制校准光，校准光控制指令包括关闭指令或开 启指令，关闭指令用于在形成校准标识的设定时间后关闭校准光。其中，检测 到用户对设定按键的触发操作时，可以表示接收到校准光控制指令；或者，接 收到用户的设定手势时，可以表示接收到校准光控制指令；或者，满足设定条 件时，可以表示接收到校准光控制指令，设定条件可以包括形成校准标识的设 定时间等等。通过控制校准光的关闭，可以减少校准模块的功耗，节省能源。
S220、通过图像采集模块采集用户注视校准标识的用户图像。
其中，用户图像可以为包括人脸的图像以及不包括人脸的图像。
眼球追踪的校准装置中可以设置声音模块，当校准标识形成之后，通过声 音模块播放预设语音提示，该预设语音提示用于提示用户注视该校准标识。同 时通过眼球追踪的校准装置中的图像采集模块采集用户注视校准标识时的用户 图像。
S230、提取用户图像中的眼部图像。
采集到用户注视校准标识的用户图像之后，在用户图像中进行人脸查找， 若在用户图像中未查找到人脸，则返回重新获取用户图像，直至获取的用户图 像中可以查找到人脸。本实施例中对人脸查找的方法不作限定，例如通过 haar-like人脸检测器算法检测人脸或者通过人脸特征(例如肤色或者鼻子等) 对用户图像进行人脸检测，根据用户图像中的人脸特征与标准特征的匹配值确 定用户图像中是否包括人脸。
进一步的，通过眼部检测算法提取用户图像中的眼部图像，其中对眼部检 测算法也不作限定，例如眼部检测算法可以包括基于模板匹配的方法或基于统 计的方法等等。本实施例中通过基于统计的方法为例进行说明，通过对大量包 括眼部图像的样本和不包括眼睛图像的样本进行训练学习得到一组模型参数， 然后基于模型构建分类器或者滤波器来检测用户图像中的眼部图像。在用户图 像中检测出眼部图像之后，提取该眼部图像。
S240、提取眼部图像中的眼部特征信息。
其中，眼部特征信息可以包括瞳孔中心位置、瞳孔形状、虹膜位置、虹膜 形状、眼皮位置、眼角位置、光斑(也称为普尔钦斑)位置等，本实施例中以 图像中瞳孔中心位置和光斑位置为例进行说明。
具体的，本步骤可以对眼部图像进行处理得到在设定方向上的灰度的梯度 值，可以将该灰度的梯度最大值所处位置确定为该眼部图像的瞳孔边缘特征， 然后可以对瞳孔边缘特征进行拟合，确定出拟合图像的中心位置，并可以将该 中心位置确定为图像中瞳孔中心位置。可以理解的是，此处并不对确定瞳孔中 心位置的手段进行限定。进一步的，可以对眼部图像进行处理之后的灰度图像 可以通过斑点识别算法获取灰度值较高的区域为普尔钦斑，获取该普尔钦斑的 位置即为光斑位置。
S250、基于眼部特征信息、目标位置信息、初始化的校准系数及设定校准 算法，确定视线误差。
视线误差可以为用户眼球真实视线与用户眼部到校准标识几何视线之间的 角度差。其中，设定校准算法可以根据实际情况进行设定，本实施例中以角膜 反射校准算法为例进行说明。基于眼部特征信息、目标位置信息、初始化的校 准系数及设定校准算法，确定视线误差，可以包括：基于眼部特征信息、目标 位置信息及初始化的校准系数，得到眼部视轴方向向量和眼部到校准标识的方 向向量；基于角度误差公式、眼部视轴方向向量和眼部到校准标识的方向向量， 得到眼部视轴方向的误差，将眼部视轴方向的误差确定为视线误差。
进一步的，眼部特征信息包括瞳孔中心位置和光斑位置；基于眼部特征信 息、目标位置信息及初始化的校准系数，得到眼部视轴方向向量和眼部到校准 标识的方向向量，可以包括：根据光斑位置和初始化的校准系数中的角膜曲率 半径，得到角膜曲率中心；根据瞳孔中心位置、角膜曲率中心和初始化的校准 系数中的眼部光轴与视轴的夹角，得到眼部视轴方向向量；根据目标位置和角 膜曲率中心，得到眼部到校准标识的方向向量。其中瞳孔中心位置为眼部瞳孔 中心。
其中，角膜曲率中心可以采用C表示，瞳孔中心位置可以采用P表示，眼 部视轴方向向量可以采用VS表示，眼部到校准标识的方向向量可以采用Vt表 示，视线误差可以采用e表示。角膜曲率中心可以通过C＝f1(gi,Li,R)确定，其中 gi表示光斑位置，该光斑位置可以为多个红外光线对应的多个光斑位置，Li表 示眼球追踪的校准装置中光源的坐标，R表示角膜曲率半径。瞳孔中心位置可 以通过P＝f2(p,C,K,n)确定，其中p表示眼部图像中瞳孔中心位置坐标，K表示 角膜曲率中心到瞳孔中心位置距离，n表示角膜房水折射率。
眼部光轴方向向量可以通过确定，其中表示眼部 光轴方向单位向量的球面坐标表示。眼部视轴方向向量可以通过确定，其中(α,β)表示眼部光轴与视轴夹角。眼部到校 准标识的方向向量可以通过确定，其中T＝(Tx,Ty,Tz)表示校准标识的目 标位置坐标。确定VS和Vt之后，视线误差可以通过e＝arccosθ(VS·Vt)计算两个方 向向量的夹角。当校准标识的数量为N时，每个校准标识采用的校准图像的数 量为M，则视线误差通过确定。
S260、根据视线误差确定目标校准系数。
具体的，基于预设的误差优化算法确定视线误差的最小误差，将最小误差 对应的校准系数确定为校准后的目标校准系数。其中误差优化算法为计算误差 最小的算法，本实施例中对具体的误差优化算法不作限定，例如误差优化算法 可以为序列二次规划(Sequence Quadratic Program，SQP)算法，序列二次规划 算法是求解中小规划约束最优化问题的一类有效算法。
校准系数可以通过确定，其中E表示视线误差，表示计算E最小时的R,K,n,α,β。
本实施例的技术方案，按照预设的目标位置信息投射校准光，通过图像采 集模块采集用户注视校准标识的用户图像，提取用户图像中的眼部图像，提取 眼部图像中的眼部特征信息，基于眼部特征信息、目标位置信息、初始化的校 准系数及设定校准算法，确定视线误差，根据视线误差确定目标校准系数。本 实施例通过预设位置处的校准标识对实现眼球跟踪的眼球模型中的校准系数进 行校准，该校准标识的位置不局限于显示器，因此不用依赖于显示器等外部设 备即可实现校准，更加便捷地实现了眼球跟踪设备的校准，进而提高了校准的 效率。
实施例三
图5为本发明实施例三中的眼球追踪的校准装置的结构示意图，本实施例 可适用于对眼球追踪设备的眼球模型实现校准的情况。本发明实施例所提供的 眼球追踪的校准装置可执行本发明任意实施例所提供的眼球追踪的校准，具备 执行方法相应的功能模块和有益效果。该装置具体包括校准标识模块310、图 像模块320和校准模块330，其中：
校准标识模块310，用于按照预设的目标位置信息投射校准光，形成校准 标识；
图像模块320，用于获取用户注视校准标识时的眼部图像；
校准模块330，用于根据眼部图像及目标位置信息确定目标校准系数。
本发明实施例按照预设的目标位置信息投射校准光，形成校准标识，获取 用户注视校准标识时的眼部图像，并根据眼部图像及目标位置信息确定目标校 准系数。本发明实施例通过预设位置处的校准标识对实现眼球跟踪的眼球模型 中的校准系数进行校准，该校准标识的位置不局限于显示器，因此不用依赖于 显示器等外部设备即可实现校准，更加便捷地实现了眼球跟踪设备的校准，进 而提高了校准的效率。
进一步的，图像模块320具体用于：
通过图像采集模块采集用户注视校准标识的用户图像；
提取用户图像中的眼部图像。
进一步的，图像模块320具体用于：
基于预设语音提示获取用户注视校准标识时的眼部图像。
进一步的，目标校准系数包括角膜曲率半径、角膜房水折射率、眼部光轴 与视轴的夹角以及角膜曲率中心到瞳孔中心位置的距离的至少之一。
进一步的，校准模块330包括：
特征提取单元，用于提取眼部图像中的眼部特征信息；
校准系数单元，用于基于眼部特征信息、目标位置信息及初始化的校准系 数，确定目标校准系数。
进一步的，校准系数单元具体用于：
基于眼部特征信息、目标位置信息、初始化的校准系数及设定校准算法， 确定视线误差；
根据视线误差确定目标校准系数。
进一步的，该装置还包括：
校准光控制模块，用于通过校准光控制指令控制校准光，校准光控制指令 包括关闭指令或开启指令，关闭指令用于在形成校准标识的设定时间后关闭校 准光。
本发明实施例所提供的眼球追踪的校准装置可执行本发明任意实施例所提 供的眼球追踪的校准方法，具备执行方法相应的功能模块和有益效果。
实施例四
图6为本发明实施例四中的设备的结构示意图。图6示出了适于用来实现 本发明实施方式的示例性设备412的框图。图6显示的设备412仅仅是一个示 例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，设备412以通用设备的形式表现。设备412的组件可以包括 但不限于：一个或者多个处理器416，存储装置428，连接不同***组件(包括 存储装置428和处理器416)的总线418。
总线418表示几类总线结构中的一种或多种，包括存储装置总线或者存储 装置控制器，***总线，图形加速端口，处理器或者使用多种总线结构中的任 意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系 结构(Industry SubversiveAlliance，ISA)总线，微通道体系结构(Micro Channel Architecture，MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及***组件互连(Peripheral Component Interconnect，PCI)总线。
设备412典型地包括多种计算机***可读介质。这些介质可以是任何能够 被设备412访问的可用介质，包括易失性和非易失性介质，可移动的和不可移 动的介质。
存储装置428可以包括易失性存储器形式的计算机***可读介质，例如随 机存取存储器(Random Access Memory，RAM)430和/或高速缓存存储器432。 设备412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机*** 存储介质。仅作为举例，存储***434可以用于读写不可移动的、非易失性磁 介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供 用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动 非易失性光盘，例如只读光盘(Compact Disc Read-Only Memory，CD-ROM), 数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介 质接口与总线418相连。存储装置428可以包括至少一个程序产品，该程序产 品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各 实施例的功能。
具有一组(至少一个)程序模块442的程序/实用工具440，可以存储在例 如存储装置428中，这样的程序模块442包括但不限于操作***、一个或者多 个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中 可能包括网络环境的实现。程序模块442通常执行本发明所描述的实施例中的 功能和/或方法。
设备412也可以与一个或多个外部设备414(例如键盘、指向终端、显示 器424等)通信，还可与一个或者多个使得用户能与该设备412交互的终端通 信，和/或与使得该设备412能与一个或多个其它计算终端进行通信的任何终端 (例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口 422进行。并且，设备412还可以通过网络适配器420与一个或者多个网络(例 如局域网(Local Area Network，LAN)，广域网(Wide AreaNetwork，WAN) 和/或公共网络，例如因特网)通信。如图6所示，网络适配器420通过总线418与设备412的其它模块通信。应当明白，尽管图中未示出，可以结合设备412 使用其它硬件和/或软件模块，包括但不限于：微代码、终端驱动器、冗余处理 器、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID) ***、磁带驱动器以及数据备份存储***等。
处理器416通过运行存储在存储装置428中的程序，从而执行各种功能应 用以及数据处理，例如实现本发明实施例所提供的眼球追踪的校准方法，该方 法包括：
按照预设的目标位置信息投射校准光，形成校准标识；
获取用户注视校准标识时的眼部图像；
根据眼部图像及目标位置信息确定目标校准系数。
实施例五
本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程 序，该程序被处理器执行时实现如本发明实施例所提供的眼球追踪的校准方法， 该方法包括：
按照预设的目标位置信息投射校准光，形成校准标识；
获取用户注视校准标识时的眼部图像；
根据眼部图像及目标位置信息确定目标校准系数。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质 的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储 介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、 红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存 储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、 便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可 擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件 中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以 被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据 信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种 形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读 的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算 机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用 或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括—— 但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计 算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、 Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的 程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算 机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算 机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中， 远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)— 连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供 商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员 会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进 行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽 然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以 上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例， 而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种眼球追踪的校准方法，其特征在于，包括：
按照预设的目标位置信息投射校准光，形成校准标识；
获取用户注视所述校准标识时的眼部图像；
根据所述眼部图像及所述目标位置信息确定目标校准系数。
2.根据权利要求1所述的方法，其特征在于，获取用户注视所述校准标识时的眼部图像，包括：
通过图像采集模块采集用户注视所述校准标识的用户图像；
提取所述用户图像中的眼部图像。
3.根据权利要求1或2所述的方法，其特征在于，获取用户注视所述校准标识时的眼部图像，包括：
基于预设语音提示获取用户注视所述校准标识时的眼部图像。
4.根据权利要求1或2所述的方法，其特征在于，所述目标校准系数包括角膜曲率半径、角膜房水折射率、眼部光轴与视轴的夹角以及角膜曲率中心到瞳孔中心位置的距离的至少之一。
5.根据权利要求1所述的方法，其特征在于，根据所述眼部图像及所述目标位置信息确定目标校准系数，包括：
提取所述眼部图像中的眼部特征信息；
基于所述眼部特征信息、所述目标位置信息及初始化的校准系数，确定目标校准系数。
6.根据权利要求5所述的方法，其特征在于，基于所述眼部特征信息、所述目标位置信息及初始化的校准系数，确定目标校准系数，包括：
基于所述眼部特征信息、所述目标位置信息、初始化的校准系数及设定校准算法，确定视线误差；
根据所述视线误差确定目标校准系数。
7.根据权利要求1所述方法，其特征在于，按照预设的目标位置信息投射校准光，形成校准标识之后，还包括：
通过校准光控制指令控制所述校准光，所述校准光控制指令包括关闭指令或开启指令，所述关闭指令用于在形成校准标识的设定时间后关闭所述校准光。
8.一种眼球追踪的校准装置，其特征在于，包括：
校准标识模块，用于按照预设的目标位置信息投射校准光，形成校准标识；
图像模块，用于获取用户注视所述校准标识时的眼部图像；
校准模块，用于根据所述眼部图像及所述目标位置信息确定目标校准系数。
9.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
投影模块，用于投射校准光；
图像采集模块，用于采集用户图像；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的眼球追踪的校准方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的眼球追踪的校准方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910612124.8A CN110427101A (zh) | 2019-07-08 | 2019-07-08 | 眼球追踪的校准方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910612124.8A CN110427101A (zh) | 2019-07-08 | 2019-07-08 | 眼球追踪的校准方法、装置、设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110427101A true CN110427101A (zh) | 2019-11-08 |
Family
ID=68409020
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910612124.8A Pending CN110427101A (zh) | 2019-07-08 | 2019-07-08 | 眼球追踪的校准方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110427101A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111857333A (zh) * | 2020-06-29 | 2020-10-30 | 维沃移动通信有限公司 | 眼动追踪方法、装置及电子设备 |
| CN112232255A (zh) * | 2020-10-26 | 2021-01-15 | 上海鹰瞳医疗科技有限公司 | 基于多模态数据的身份认证方法及设备 |
| CN112987910A (zh) * | 2019-12-17 | 2021-06-18 | 七鑫易维(深圳)科技有限公司 | 眼球追踪设备的测试方法、装置、设备及存储介质 |
| CN113035355A (zh) * | 2021-05-27 | 2021-06-25 | 上海志听医疗科技有限公司 | 视频头脉冲试验传感器后校正方法、***、电子设备及存储介质 |
| CN113491502A (zh) * | 2020-04-03 | 2021-10-12 | 北京七鑫易维信息技术有限公司 | 一种眼球追踪校准检验方法、装置、设备及存储介质 |
| CN113495613A (zh) * | 2020-03-18 | 2021-10-12 | 北京七鑫易维信息技术有限公司 | 眼球追踪校准方法及装置 |
| CN113534945A (zh) * | 2020-04-17 | 2021-10-22 | 北京七鑫易维信息技术有限公司 | 眼球追踪校准系数的确定方法、装置、设备及存储介质 |
| CN115546884A (zh) * | 2022-12-01 | 2022-12-30 | 广州视景医疗软件有限公司 | 一种眼球震颤识别方法、装置及设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102496005A (zh) * | 2011-12-03 | 2012-06-13 | 辽宁科锐科技有限公司 | 基于眼球特征的审讯辅助研判分析*** |
| CN107358217A (zh) * | 2017-07-21 | 2017-11-17 | 北京七鑫易维信息技术有限公司 | 一种视线估计方法及装置 |
| CN108369744A (zh) * | 2018-02-12 | 2018-08-03 | 香港应用科技研究院有限公司 | 通过双目单应性映射的3d注视点检测 |
| CN109558012A (zh) * | 2018-12-26 | 2019-04-02 | 北京七鑫易维信息技术有限公司 | 一种眼球追踪方法及装置 |
| CN109696954A (zh) * | 2017-10-20 | 2019-04-30 | 中国科学院计算技术研究所 | 视线追踪方法、装置、设备和存储介质 |
| CN109885169A (zh) * | 2019-02-25 | 2019-06-14 | 清华大学 | 基于三维眼球模型的眼球参数标定和视线方向跟踪方法 |
-
2019
- 2019-07-08 CN CN201910612124.8A patent/CN110427101A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102496005A (zh) * | 2011-12-03 | 2012-06-13 | 辽宁科锐科技有限公司 | 基于眼球特征的审讯辅助研判分析*** |
| CN107358217A (zh) * | 2017-07-21 | 2017-11-17 | 北京七鑫易维信息技术有限公司 | 一种视线估计方法及装置 |
| CN109696954A (zh) * | 2017-10-20 | 2019-04-30 | 中国科学院计算技术研究所 | 视线追踪方法、装置、设备和存储介质 |
| CN108369744A (zh) * | 2018-02-12 | 2018-08-03 | 香港应用科技研究院有限公司 | 通过双目单应性映射的3d注视点检测 |
| CN109558012A (zh) * | 2018-12-26 | 2019-04-02 | 北京七鑫易维信息技术有限公司 | 一种眼球追踪方法及装置 |
| CN109885169A (zh) * | 2019-02-25 | 2019-06-14 | 清华大学 | 基于三维眼球模型的眼球参数标定和视线方向跟踪方法 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112987910A (zh) * | 2019-12-17 | 2021-06-18 | 七鑫易维(深圳)科技有限公司 | 眼球追踪设备的测试方法、装置、设备及存储介质 |
| CN112987910B (zh) * | 2019-12-17 | 2023-04-07 | 七鑫易维(深圳)科技有限公司 | 眼球追踪设备的测试方法、装置、设备及存储介质 |
| CN113495613A (zh) * | 2020-03-18 | 2021-10-12 | 北京七鑫易维信息技术有限公司 | 眼球追踪校准方法及装置 |
| CN113495613B (zh) * | 2020-03-18 | 2023-11-21 | 北京七鑫易维信息技术有限公司 | 眼球追踪校准方法及装置 |
| CN113491502A (zh) * | 2020-04-03 | 2021-10-12 | 北京七鑫易维信息技术有限公司 | 一种眼球追踪校准检验方法、装置、设备及存储介质 |
| CN113534945A (zh) * | 2020-04-17 | 2021-10-22 | 北京七鑫易维信息技术有限公司 | 眼球追踪校准系数的确定方法、装置、设备及存储介质 |
| CN111857333A (zh) * | 2020-06-29 | 2020-10-30 | 维沃移动通信有限公司 | 眼动追踪方法、装置及电子设备 |
| CN111857333B (zh) * | 2020-06-29 | 2022-09-13 | 维沃移动通信有限公司 | 眼动追踪方法、装置及电子设备 |
| CN112232255A (zh) * | 2020-10-26 | 2021-01-15 | 上海鹰瞳医疗科技有限公司 | 基于多模态数据的身份认证方法及设备 |
| CN112232255B (zh) * | 2020-10-26 | 2022-11-01 | 北京鹰瞳科技发展股份有限公司 | 基于多模态数据的身份认证方法及设备 |
| CN113035355A (zh) * | 2021-05-27 | 2021-06-25 | 上海志听医疗科技有限公司 | 视频头脉冲试验传感器后校正方法、***、电子设备及存储介质 |
| CN115546884A (zh) * | 2022-12-01 | 2022-12-30 | 广州视景医疗软件有限公司 | 一种眼球震颤识别方法、装置及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110427101A (zh) | 眼球追踪的校准方法、装置、设备和存储介质 | |
| CN107748869B (zh) | 3d人脸身份认证方法与装置 | |
| CN107633165B (zh) | 3d人脸身份认证方法与装置 | |
| CN106133649B (zh) | 使用双目注视约束的眼睛凝视跟踪 | |
| CN103106401B (zh) | 一种具有人机交互机制的移动终端虹膜识别装置 | |
| WO2020125499A1 (zh) | 一种操作提示方法及眼镜 | |
| CN102547123B (zh) | 基于人脸识别技术的自适应视线跟踪***及其跟踪方法 | |
| Lai et al. | Hybrid method for 3-D gaze tracking using glint and contour features | |
| CN110647865A (zh) | 人脸姿态的识别方法、装置、设备及存储介质 | |
| US11693475B2 (en) | User recognition and gaze tracking in a video system | |
| US11163995B2 (en) | User recognition and gaze tracking in a video system | |
| US20030169907A1 (en) | Facial image processing system | |
| CN109241910A (zh) | 一种基于深度多特征融合级联回归的人脸关键点定位方法 | |
| JPH11175246A (ja) | 視線検出装置及びその方法 | |
| CN106407772A (zh) | 适于虚拟现实设备的人机交互与身份认证装置及其方法 | |
| TW200422971A (en) | Statistical facial feature extraction method | |
| TWI533234B (zh) | 基於眼部動作的控制方法及其應用之裝置 | |
| CN109933193A (zh) | 基于运动员眼动信息实时捕捉的智能辅助训练*** | |
| Schnieders et al. | Reconstruction of display and eyes from a single image | |
| CN112446322B (zh) | 眼球特征检测方法、装置、设备及计算机可读存储介质 | |
| CN110555426A (zh) | 视线检测方法、装置、设备及存储介质 | |
| CN110341617A (zh) | 眼球追踪方法、装置、车辆和存储介质 | |
| CN110503068A (zh) | 视线估计方法、终端及存储介质 | |
| CN110516548A (zh) | 一种基于三维眼球模型和Snakuscule的虹膜中心定位方法 | |
| Perra et al. | Adaptive eye-camera calibration for head-worn devices |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191108 |
|
| RJ01 | Rejection of invention patent application after publication |