CN112949551A - 一种眼部关键信息确定方法、装置、设备及存储介质 - Google Patents

一种眼部关键信息确定方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112949551A
CN112949551A CN202110297147.1A CN202110297147A CN112949551A CN 112949551 A CN112949551 A CN 112949551A CN 202110297147 A CN202110297147 A CN 202110297147A CN 112949551 A CN112949551 A CN 112949551A
Authority
CN
China
Prior art keywords
dimensional
eye
eyeball
information
mapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110297147.1A
Other languages
English (en)
Inventor
章继东
吴子扬
竺博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iFlytek Co Ltd
Original Assignee
iFlytek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by iFlytek Co Ltd filed Critical iFlytek Co Ltd
Priority to CN202110297147.1A priority Critical patent/CN112949551A/zh
Publication of CN112949551A publication Critical patent/CN112949551A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请提供了一种眼部关键信息确定方法、装置、设备及存储介质，其中，方法包括：获取三维眼部信息和三维眼部信息对应的二维眼部图像；根据三维眼部信息和三维眼部信息对应的二维眼部图像，构建三维眼球与二维眼球的映射关系；根据三维眼球与二维眼球的映射关系，将二维眼部图像中眼球指定部位的关键点映射到三维空间，得到能够表征眼球指定部位在三维空间中所处位置的映射结果。本申请提供的眼部关键信息确定方法可根据三维眼部信息和三维眼部信息对应的二维眼部图像确定出眼球指定部位在三维空间中所处位置。

Description

一种眼部关键信息确定方法、装置、设备及存储介质
技术领域
本申请涉及数据处理技术领域，尤其涉及一种眼部关键信息确定方法、装置、设备及存储介质。
背景技术
在某些应用场景中，需要根据指定对象的眼部信息确定出眼球指定部位(比如瞳孔、角膜等)在三维空间中的位置，比如，在一些需要进行视线估计的应用场景中，往往需要根据指定对象的眼部信息确定出瞳孔在三维空间中的位置，进而根据瞳孔在三维空间中的位置进行视线方向的计算，而如何根据指定对象的眼部信息确定出眼球指定部位在三维空间中的位置是目前亟需解决的问题。
发明内容
有鉴于此，本申请提供了一种眼部关键信息确定方法、装置、设备及存储介质，用以根据指定对应的眼部信息确定出眼球指定部位在三维空间中的位置，其技术方案如下：
一种眼部关键信息确定方法，包括：
获取三维眼部信息和所述三维眼部信息对应的二维眼部图像；
根据所述三维眼部信息和所述三维眼部信息对应的二维眼部图像，构建三维眼球与二维眼球的映射关系；
根据所述三维眼球与二维眼球的映射关系，将所述二维眼部图像中眼球指定部位的关键点映射到三维空间，得到能够表征眼球指定部位在三维空间中所处位置的映射结果。
可选的，所述根据所述三维眼部信息和所述三维眼部信息对应的二维眼部图像，构建三维眼球与二维眼球的映射关系，包括：
根据所述三维眼部信息，构建三维眼球模型；
根据所述三维眼部信息、所述二维眼部图像和所述三维眼球模型，确定三维眼球与二维眼球的映射关系。
可选的，所述根据所述三维眼部信息，构建三维眼球模型，包括：
根据所述三维眼部信息，采用椭圆拟合的方法，拟合出眼球的三维形状以及眼球的中心点，得到三维眼球模型。
可选的，所述根据所述三维眼部信息、所述二维眼部图像和所述三维眼球模型，确定三维眼球与二维眼球的映射关系，包括：
根据所述三维眼部信息和所述三维眼球模型获取三维包络线，其中，所述三维包络线能够表征三维空间中的眼眶；
根据所述二维眼部图像获取二维包络线，其中，所述二维包络线能够表征二维空间中的眼眶；
根据所述三维包络线和所述二维包络线，确定三维眼球与二维眼球的映射关系。
可选的，所述根据所述三维包络线和所述二维包络线，确定三维眼球与二维眼球的映射关系，包括：
获取初始的映射关系，作为目标映射关系；
根据目标映射关系生成多个候选映射关系；
基于所述三维包络线和所述二维包络线，从所述多个候选映射关系中选取最优的候选映射关系；
若所述最优的候选映射关系满足预设条件，则将所述最优的候选映射关系确定为所述三维眼球与二维眼球的映射关系；
若所述最优的候选映射关系不满足预设条件，则将所述最优的候选映射关系作为新的目标映射关系，然后执行所述根据所述目标映射关系，生成多个候选映射关系。
可选的，所述根据目标映射关系生成多个候选映射关系，包括：
根据所述目标映射关系和预设的寻优参数，确定映射关系寻优范围；
根据所述映射关系寻优范围，生成多个候选映射关系。
可选的，所述获取三维眼部信息和所述三维眼部信息对应的二维眼部图像，包括：
获取三维人脸信息和所述三维人脸信息对应的二维人脸图像；
从所述三维人脸信息中提取出眼部信息，作为三维眼部信息；
从所述三维人脸信息对应的二维人脸图像中提取出眼部图像，作为所述三维眼部信息对应的二维眼部图像；
所述获取初始的映射关系，包括：
根据所述三维人脸信息和所述二维人脸图像，确定三维人脸与二维人脸的映射关系，作为所述初始的映射关系。
可选的，所述获取初始的映射关系，包括：
随机生成一个映射关系，作为所述初始的映射关系。
或者，
随机生成多个映射关系，基于所述三维包络线和所述二维包络线从随机生成的多个映射关系中确定最优的映射关系，作为所述初始的映射关系；
可选的，所述基于所述三维包络线和所述二维包络线，从所述多个候选映射关系中选取最优的候选映射关系，包括：
对于每个候选映射关系：
采用该候选映射关系将所述三维包络线映射到二维空间，得到映射后包络线；
确定所述映射后包络线与所述二维包络线的重合度，以得到对应于该候选映射关系的重合度；
在获得分别对应于各个候选映射关系的重合度后，将最高重合度对应的候选映射关系确定为最优的候选映射关系。
可选的，所述确定映射后包络线与所述二维包络线的重合度，包括：
按预设的采样规则，从所述映射后包络线上采样若干个点；
计算采样得到的每个点与所述二维包络线上对应点的距离；
将计算得到的所有距离求和，用求和后距离表征所述映射后包络线与所述二维包络线的重合度。
一种眼部关键信息确定装置，包括：眼部信息获取模块、映射关系构建模块和眼部关键信息确定模块；
所述眼部信息获取模块，用于获取三维眼部信息和所述三维眼部信息对应的二维眼部图像；
所述映射关系构建模块，用于根据所述三维眼部信息和所述三维眼部信息对应的二维眼部图像，构建三维眼球与二维眼球的映射关系；
所述眼部关键信息确定模块，用于根据所述三维眼球与二维眼球的映射关系，将所述二维眼部图像中眼球指定部位的关键点映射到三维空间，得到能够表征眼球指定部位在三维空间中所处位置的映射结果。
一种眼部关键信息确定设备，包括：存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现上述任一项所述的眼部关键信息确定方法的各个步骤。
一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述任一项所述的眼部关键信息确定方法的各个步骤。
经由上述方案可知，本申请提供的眼部关键信息确定方法、装置、设备及存储介质，首先获取三维眼部信息和三维眼部信息对应的二维眼部图像，然后根据三维眼部信息和三维眼部信息对应的二维眼部图像，构建三维眼球与二维眼球的映射关系，最后根据三维眼球与二维眼球的映射关系，将二维眼部图像中眼球指定部位的关键点映射到三维空间，从而得到能够表征眼球指定部位在三维空间中所处位置的映射结果。本申请提供的眼部关键信息确定方法可根据三维眼部信息和三维眼部信息对应的二维眼部图像确定出眼球指定部位在三维空间中所处位置。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的眼部关键信息确定方法的流程示意图；
图2为本申请实施例提供的根据三维眼部信息和三维眼部信息对应的二维眼部图像，构建三维眼球与二维眼球的映射关系的流程示意图；
图3为本申请实施例提供的根据三维眼部信息、二维眼部图像和三维眼球模型，确定三维眼球与二维眼球的映射关系的流程示意图；
图4为本申请实施例提供的根据三维包络线和二维包络线，确定三维眼球与二维眼球的映射关系的流程示意图；
图5为本申请实施例提供的眼部关键信息确定装置的结构示意图；
图6为本申请实施例提供的眼部关键信息确定设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了能够确定出眼球指定部位在三维空间中的位置，本案发明人进行了深入研究，通过研究，最终提出了一种眼部关键信息确定方法，该方法可根据三维眼部信息和三维眼部信息对应的二维眼部图像，确定出眼球指定部位在三维空间中的位置，该眼部关键信息确定方法可应用于具有处理能力的电子设备，该电子设备可以为网络侧的服务器，也可以为用户侧使用的终端，比如PC、笔记本、智能手机、车载终端、智能家居设备等，网络侧的服务器或用户侧使用的终端可按本申请提供的眼部关键信息确定方法确定出眼球指定部位在三维空间中的位置。接下来通过下述实施例对本申请提供的眼部关键信息确定方法进行介绍。
第一实施例
请参阅图1，示出了本申请实施例提供的眼部关键信息确定方法的流程示意图，该方法可以包括：
步骤S101：获取三维眼部信息和三维眼部信息对应的二维眼部图像。
获取三维眼部信息和三维眼部信息对应的二维眼部图像的实现方式有多种，本实施例提供如下两种可选的实现方式：
第一种实现方式：获取三维信息采集设备和二维图像采集设备同时针对指定对象的眼部采集的数据，以得到三维眼部信息三维眼部信息。
第二种实现方式：首先获取三维信息采集设备和二维图像采集设备同时针对指定对象的面部采集的数据，以得到三维人脸信息和三维人脸信息对应的二维人脸图像，然后从三维人脸信息中获取眼部信息，以得到三维眼部信息，并从三维人脸信息对应的二维人脸图像中获取眼部区域，以得到三维眼部信息对应的二维眼部图像。
步骤S102：根据三维眼部信息和三维眼部信息对应的二维眼部图像，构建三维眼球与二维眼球的映射关系。
其中，三维眼球与二维眼球的映射关系为三维眼球到二维眼球的映射关系，即经由步骤S102构建出的映射关系为三维空间到二维空间的映射关系。
本实施例中的映射关系可通过空间旋转投影矩阵和对齐平移投影矩阵表征，假设三维眼球与二维眼球的映射关系用Feye表示，空间旋转投影矩阵用Reye表示，对齐平移投影矩阵用Teye表示，则三维眼球与二维眼球的映射关系可表示为：
Feye＝{Reye，Teye}
步骤S103：根据三维眼球与二维眼球的映射关系，将二维眼部图像中眼球指定部位的关键点映射到三维空间，得到能够表征眼球指定部位在三维空间中所处位置的映射结果。
其中，眼球指定部位可以但不限定为瞳孔、角膜等，二维眼部图像中眼球指定部位的关键点可通过现有的关键点检测方案对二维眼部图像进行关键点检测得到。
由于三维眼球与二维眼球的映射关系为三维空间到二维空间的映射关系，因此，在构建出三维眼球与二维眼球的映射关系后，需要基于该映射关系对二维眼部图像中眼球指定部位的关键点进行二维空间到三维空间的反映射，以得到三维空间中眼球指定部位的关键点。
本申请实施例提供的眼部关键信息确定方法，首先获取三维眼部信息和三维眼部信息对应的二维眼部图像，然后根据三维眼部信息和三维眼部信息对应的二维眼部图像，构建三维眼球与二维眼球的映射关系，最后根据三维眼球与二维眼球的映射关系，将二维眼部图像中眼球指定部位的关键点映射到三维空间，从而得到能够表征眼球指定部位在三维空间中所处位置的映射结果。本申请实施例提供的眼部关键信息确定方法可根据三维眼部信息和三维眼部信息对应的二维眼部图像确定出眼球指定部位在三维空间中的位置。
第二实施例
本实施例重点对上述实施例中的“步骤S102：根据三维眼部信息和三维眼部信息对应的二维眼部图像，构建三维眼球与二维眼球的映射关系”的具体实现过程进行介绍。
请参阅图2，示出了根据三维眼部信息和三维眼部信息对应的二维眼部图像，构建三维眼球与二维眼球的映射关系的流程示意图，可以包括：
步骤S201：根据三维眼部信息，构建三维眼球模型。
三维空间中真实眼球的形状可近似等价于球体或椭球体，以椭球体为例，其坐标方程可表达为
Figure BDA0002984770470000071
其中，a、b和c分别为坐标系x、y和z轴下的半径，决定椭球的形状，三维眼部信息为空间点云P3xD，D为点数量，每个点均包含(x，y，z)三维坐标信息，有鉴于此，本实施例可根据三维眼部信息，采用椭圆拟合的方法，拟合出眼球的三维形状以及眼球的中心点，以得到三维眼球模型。
步骤S202：根据三维眼部信息、二维眼部图像和三维眼球模型，确定三维眼球与二维眼球的映射关系。
请参阅图3，示出了根据三维眼部信息、二维眼部图像和三维眼球模型，确定三维眼球与二维眼球的映射关系的流程示意图，可以包括：
步骤S301：根据三维眼部信息和三维眼球模型获取三维包络线。
其中，三维包络线能够表征三维空间中的眼眶，需要说明的是，三维包络线本质上表征的是三维空间中的眼球可见区域。
具体的，根据三维眼部信息和三维眼球模型获取三维包络线的过程可以包括：根据三维眼部信息从三维眼球模型上获取眼眶对应的空间点，以得到点集B3D，将点集B3D作为三维包络线。
步骤S302：根据二维眼部图像获取二维包络线。
其中，二维包络线能够表征二维空间中的眼眶，需要说明的是，二维包络线本质上表征的是二维空间中的眼球可见区域。
具体的，根据二维眼部图像获取二维包络线的过程可以包括：采用二维图像的边缘关键点检测方法从二维眼部图像中确定眼眶周围关键点，以得到点集B2D，将点集B2D作为二维包络线。
步骤S303：根据三维包络线和二维包络线，确定三维眼球与二维眼球的映射关系。
请参阅图4，示出了根据三维包络线和二维包络线，确定三维眼球与二维眼球的映射关系的流程示意图，可以包括：
步骤S401：获取初始的映射关系，作为目标映射关系。
获取初始的映射关系的实现方式有多种，本实施例提供如下三种可选的实现方式：
第一种实现方式：随机生成一个映射关系(即随机生成一个空间旋转投影矩阵，并随机生成一个对齐平移投影矩阵)，作为初始的映射关系。
第二种实现方式：随机生成多个映射关系，基于三维包络线和二维包络线从随机生成的多个映射关系中确定最优的映射关系，将随机生成的多个映射关系中最优的映射关系作为初始的映射关系。
第三种实现方式：根据三维人脸信息I3D以及三维人脸信息I3D对应的二维人脸图像I2D，确定三维人脸与二维人脸的映射关系，作为初始的映射关系。需要说明的是，三维人脸信息I3D以及三维人脸信息I3D对应的二维人脸图像I2D为采用三维信息采集设备和二维图像采集设备同时针对指定对象的面部采集的数据。
考虑到以三维人脸与二维人脸的映射关系为初始的映射关系，能够更快的确定出三维眼球与二维眼球的映射关系，本申请优选为采用上述的第三种实现方式获取初始的映射关系。
步骤S402：根据目标映射关系生成多个候选映射关系。
具体的，根据目标映射关系生成多个候选映射关系包括：根据预设的范围参数和目标映射关系确定映射关系的寻优范围，根据确定出的寻优范围内生成多个候选映射关系。需要说明的是，多个候选映射关系位于确定出的寻优范围内。
上述实施例提到，映射关系可通过空间旋转投影矩阵R和对齐平移投影矩阵T表征，假设目标映射关系为：F目标＝{R目标，T目标}，可预设范围参数a和b，其中，a与R目标对应，b与T目标对应，基于范围参数a和b可确定如下寻优范围[R目标-a，R目标+a]、[T目标-b，T目标+b]，在确定寻优范围后，在[R目标-a，R目标+a]这一范围内生成候选空间旋转投影矩阵，在[T目标-b，T目标+b]内生成候选对齐平移投影矩阵，由生成的候选空间旋转投影矩阵和候选对齐平移投影矩阵组成候选映射关系。
可选的，上述的范围参数a的取值可以为15°，b的取值可以为
Figure BDA0002984770470000091
dist(Reye,Leye)为指定对象左眼与右眼之间的距离。前述a和b的取值仅为一示例，本申请并不限定于此。
步骤S403：基于三维包络线和二维包络线，从多个候选映射关系中选取最优的候选映射关系。
具体的，基于三维包络线和二维包络线，从多个候选映射关系中选取最优的候选映射关系的过程可以包括：
步骤S4031：对于每个候选映射关系，执行：
步骤S4031-1：采用该候选映射关系将三维包络线映射到二维空间，得到映射后包络线。
步骤S4031-2：确定映射后包络线与二维包络线的重合度，以得到对应于该候选映射关系的重合度。
确定映射后包络线与二维包络线的重合度的实现方式有多种，本实施例提供如下两种实现方式：
第一种实现方式：计算映射后包络线上每个点与二维包络线上对应点的距离，将计算得到的所有距离求和，用求和后距离表征映射后包络线与二维包络线的重合度。示例性的，映射后包络线包括100个点，为x1～x100，二维包络线也包括100个点，为y1～y100，则计算x1与y1的距离d1，x2与y2的距离d2，…，x100与y100的距离d100，然后将d1～d100求和，用求和后距离d表征映射后包络线与二维包络线的重合度。
第二种实现方式：在映射后包络线上采样若干个点，计算采样得到的每个点与二维包络线上对应点的距离，用求和后距离表征映射后包络线与二维包络线的重合度。示例性的，映射后包络线包括100个点，为x1～x100，二维包络线也包括100个点，为y1～y100，则从映射后包络线采样50个点，比如，x1、x3、x5、…，计算x1与y1的距离d1，x3与y3的距离d3，…，最终会得到50个距离，将50个距离求和，用求和后距离作为映射后包络线与二维包络线的重合度。
上述第二种实现方式由于只对部分点进行计算，与第一种实现方式相比，运算量更小，重合度的确定效率更高。
经由步骤S4031可获得分别对应于各个候选映射关系的重合度。
需要说明的是，上述步骤S401的第二种实现方式中“基于三维包络线和二维包络线从随机生成的多个映射关系中确定最优的映射关系”的实现过程与“基于三维包络线和二维包络线，从多个候选映射关系中选取最优的候选映射关系”的实现过程类似。
步骤S4032：将最高重合度对应的候选映射关系确定为最优的候选映射关系。
步骤S404：判断最优的候选映射关系是否满足预设条件，若是，则执行步骤S405a，否则，执行步骤S405b。
具体的，判断最优的候选映射关系是否满足预设条件的过程可以包括：判断最优的候选映射关系对应的重合度是否大于预设的重合度阈值。
步骤S405a：将最优的候选映射关系确定为三维眼球与二维眼球的映射关系。
步骤S405b：将最优的候选映射关系作为新的目标映射关系，然后执行步骤S402及后续步骤。
经由上述过程可确定出三维眼球与二维眼球的映射关系，在确定出三维眼球与二维眼球的映射关系，便可根据该映射关系将二维眼部图像中眼球指定部位的关键点映射到三维空间，从而得到三维空间中眼球指定部位的关键点，进而可根据三维空间中眼球指定部位的关键点从上述的三维眼球模型中确定出眼部指定部位所在的区域。
第三实施例
本申请实施例还提供了一种眼部信息确定装置，下面对本申请实施例提供的眼部信息确定装置进行描述，下文描述的眼部信息确定装置与上文描述的眼部信息确定方法可相互对应参照。
请参阅图5，示出了本申请实施例提供的眼部信息确定装置的结构示意图，可以包括：眼部信息获取模块501、映射关系构建模块502和眼部关键信息确定模块503。
眼部信息获取模块501，用于获取三维眼部信息和所述三维眼部信息对应的二维眼部图像。
映射关系构建模块502，用于根据所述三维眼部信息和所述三维眼部信息对应的二维眼部图像，构建三维眼球与二维眼球的映射关系。
眼部关键信息确定模块503，用于根据所述三维眼球与二维眼球的映射关系，将所述二维眼部图像中眼球指定部位的关键点映射到三维空间，得到能够表征眼球指定部位在三维空间中所处位置的映射结果。
可选的，映射关系构建模块502可以包括：三维眼球模型构建模块和映射关系确定模块。
所述三维眼球模型构建模块，用于根据所述三维眼部信息，构建三维眼球模型；
所述映射关系确定模块，用于根据所述三维眼部信息、所述二维眼部图像和所述三维眼球模型，确定三维眼球与二维眼球的映射关系。
可选的，三维眼球模型构建模块，用于根据所述三维眼部信息，采用椭圆拟合的方法，拟合出眼球的三维形状以及眼球的中心点，得到三维眼球模型。
可选的，映射关系确定模块包括：三维包络线获取子模块、二维包络线获取子模块和映射关系确定子模块。
所述三维包络线获取子模块，用于根据所述三维眼部信息和所述三维眼球模型获取三维包络线，其中，所述三维包络线能够表征三维空间中的眼眶。
所述二维包络线获取子模块，用于根据所述二维眼部图像获取二维包络线，其中，所述二维包络线能够表征二维空间中的眼眶。
所述映射关系确定子模块，用于根据所述三维包络线和所述二维包络线，确定三维眼球与二维眼球的映射关系。
可选的，映射关系确定子模块，具体用于获取初始的映射关系，作为目标映射关系，根据目标映射关系生成多个候选映射关系，基于所述三维包络线和所述二维包络线，从所述多个候选映射关系中选取最优的候选映射关系，若所述最优的候选映射关系满足预设条件，则将所述最优的候选映射关系确定为所述三维眼球与二维眼球的映射关系，若所述最优的候选映射关系不满足预设条件，则将所述最优的候选映射关系作为新的目标映射关系，然后执行所述根据所述目标映射关系，生成多个候选映射关系。
可选的，映射关系确定子模块在根据目标映射关系生成多个候选映射关系时，具体用于根据所述目标映射关系和预设的寻优参数，确定映射关系寻优范围，根据所述映射关系寻优范围，生成多个候选映射关系。
可选的，眼部信息获取模块501，具体用于从所述三维人脸信息中提取出眼部信息，作为三维眼部信息，从所述三维人脸信息对应的二维人脸图像中提取出眼部图像，作为所述三维眼部信息对应的二维眼部图像。
可选的，映射关系确定子模块在获取初始的映射关系时，具体用于根据所述三维人脸信息和所述二维人脸图像，确定三维人脸与二维人脸的映射关系，作为所述初始的映射关系。
可选的，映射关系确定子模块在获取初始的映射关系时，具体用于随机生成一个映射关系，作为所述初始的映射关系。
可选的，映射关系确定子模块在获取初始的映射关系时，具体用于随机生成多个映射关系，基于所述三维包络线和所述二维包络线从随机生成的多个映射关系中确定最优的映射关系，作为所述初始的映射关系。
可选的，映射关系确定子模块在基于所述三维包络线和所述二维包络线，从所述多个候选映射关系中选取最优的候选映射关系时，具体用于对于每个候选映射关系，采用该候选映射关系将所述三维包络线映射到二维空间，得到映射后包络线，确定所述映射后包络线与所述二维包络线的重合度，以得到对应于该候选映射关系的重合度，在获得分别对应于各个候选映射关系的重合度后，将最高重合度对应的候选映射关系确定为最优的候选映射关系。
可选的，映射关系确定子模块在确定映射后包络线与所述二维包络线的重合度时，具体用于按预设的采样规则，从所述映射后包络线上采样若干个点；
计算采样得到的每个点与所述二维包络线上对应点的距离，将计算得到的所有距离求和，用求和后距离表征所述映射后包络线与所述二维包络线的重合度。
本申请实施例提供的眼部关键信息确定装置，首先获取三维眼部信息和三维眼部信息对应的二维眼部图像，然后根据三维眼部信息和三维眼部信息对应的二维眼部图像，构建三维眼球与二维眼球的映射关系，最后根据三维眼球与二维眼球的映射关系，将二维眼部图像中眼球指定部位的关键点映射到三维空间，从而得到能够表征眼球指定部位在三维空间中所处位置的映射结果。本申请实施例提供的眼部关键信息确定装置可根据三维眼部信息和三维眼部信息对应的二维眼部图像确定出眼球指定部位在三维空间中的位置。
第四实施例
本申请实施例还提供了一种眼部关键信息确定设备，请参阅图6，示出了该眼部关键信息确定设备的结构示意图，该眼部关键信息确定设备可以包括：至少一个处理器601，至少一个通信接口602，至少一个存储器603和至少一个通信总线604；
在本申请实施例中，处理器601、通信接口602、存储器603、通信总线604的数量为至少一个，且处理器601、通信接口602、存储器603通过通信总线604完成相互间的通信；
处理器601可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路等；
存储器603可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)等，例如至少一个磁盘存储器；
其中，存储器存储有程序，处理器可调用存储器存储的程序，所述程序用于：
获取三维眼部信息和所述三维眼部信息对应的二维眼部图像；
根据所述三维眼部信息和所述三维眼部信息对应的二维眼部图像，构建三维眼球与二维眼球的映射关系；
根据所述三维眼球与二维眼球的映射关系，将所述二维眼部图像中眼球指定部位的关键点映射到三维空间，得到能够表征眼球指定部位在三维空间中所处位置的映射结果。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
第五实施例
本申请实施例还提供一种可读存储介质，该可读存储介质可存储有适于处理器执行的程序，所述程序用于：
获取三维眼部信息和所述三维眼部信息对应的二维眼部图像；
根据所述三维眼部信息和所述三维眼部信息对应的二维眼部图像，构建三维眼球与二维眼球的映射关系；
根据所述三维眼球与二维眼球的映射关系，将所述二维眼部图像中眼球指定部位的关键点映射到三维空间，得到能够表征眼球指定部位在三维空间中所处位置的映射结果。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (13)

1.一种眼部关键信息确定方法，其特征在于，包括：
获取三维眼部信息和所述三维眼部信息对应的二维眼部图像；
根据所述三维眼部信息和所述三维眼部信息对应的二维眼部图像，构建三维眼球与二维眼球的映射关系；
根据所述三维眼球与二维眼球的映射关系，将所述二维眼部图像中眼球指定部位的关键点映射到三维空间，得到能够表征眼球指定部位在三维空间中所处位置的映射结果。
2.根据权利要求1所述的眼部关键信息确定方法，其特征在于，所述根据所述三维眼部信息和所述三维眼部信息对应的二维眼部图像，构建三维眼球与二维眼球的映射关系，包括：
根据所述三维眼部信息，构建三维眼球模型；
根据所述三维眼部信息、所述二维眼部图像和所述三维眼球模型，确定三维眼球与二维眼球的映射关系。
3.根据权利要求2所述的眼部关键信息确定方法，其特征在于，所述根据所述三维眼部信息，构建三维眼球模型，包括：
根据所述三维眼部信息，采用椭圆拟合的方法，拟合出眼球的三维形状以及眼球的中心点，得到三维眼球模型。
4.根据权利要求2所述的眼部关键信息确定方法，其特征在于，所述根据所述三维眼部信息、所述二维眼部图像和所述三维眼球模型，确定三维眼球与二维眼球的映射关系，包括：
根据所述三维眼部信息和所述三维眼球模型获取三维包络线，其中，所述三维包络线能够表征三维空间中的眼眶；
根据所述二维眼部图像获取二维包络线，其中，所述二维包络线能够表征二维空间中的眼眶；
根据所述三维包络线和所述二维包络线，确定三维眼球与二维眼球的映射关系。
5.根据权利要求4所述的眼部关键信息确定方法，其特征在于，所述根据所述三维包络线和所述二维包络线，确定三维眼球与二维眼球的映射关系，包括：
获取初始的映射关系，作为目标映射关系；
根据目标映射关系生成多个候选映射关系；
基于所述三维包络线和所述二维包络线，从所述多个候选映射关系中选取最优的候选映射关系；
若所述最优的候选映射关系满足预设条件，则将所述最优的候选映射关系确定为所述三维眼球与二维眼球的映射关系；
若所述最优的候选映射关系不满足预设条件，则将所述最优的候选映射关系作为新的目标映射关系，然后执行所述根据目标映射关系，生成多个候选映射关系。
6.根据权利要求5所述的眼部关键信息确定方法，其特征在于，所述根据目标映射关系生成多个候选映射关系，包括：
根据所述目标映射关系和预设的寻优参数，确定映射关系寻优范围；
根据所述映射关系寻优范围，生成多个候选映射关系。
7.根据权利要求5所述的眼部关键信息确定方法，其特征在于，所述获取三维眼部信息和所述三维眼部信息对应的二维眼部图像，包括：
获取三维人脸信息和所述三维人脸信息对应的二维人脸图像；
从所述三维人脸信息中提取出眼部信息，作为三维眼部信息；
从所述三维人脸信息对应的二维人脸图像中提取出眼部图像，作为所述三维眼部信息对应的二维眼部图像；
所述获取初始的映射关系，包括：
根据所述三维人脸信息和所述二维人脸图像，确定三维人脸与二维人脸的映射关系，作为所述初始的映射关系。
8.根据权利要求5所述的眼部关键信息确定方法，其特征在于，所述获取初始的映射关系，包括：
随机生成一个映射关系，作为所述初始的映射关系。
或者，
随机生成多个映射关系，基于所述三维包络线和所述二维包络线从随机生成的多个映射关系中确定最优的映射关系，作为所述初始的映射关系。
9.根据权利要求5所述的眼部关键信息确定方法，其特征在于，所述基于所述三维包络线和所述二维包络线，从所述多个候选映射关系中选取最优的候选映射关系，包括：
对于每个候选映射关系：
采用该候选映射关系将所述三维包络线映射到二维空间，得到映射后包络线；
确定所述映射后包络线与所述二维包络线的重合度，以得到对应于该候选映射关系的重合度；
在获得分别对应于各个候选映射关系的重合度后，将最高重合度对应的候选映射关系确定为最优的候选映射关系。
10.根据权利要求9所述的眼部关键信息确定方法，其特征在于，所述确定映射后包络线与所述二维包络线的重合度，包括：
按预设的采样规则，从所述映射后包络线上采样若干个点；
计算采样得到的每个点与所述二维包络线上对应点的距离；
将计算得到的所有距离求和，用求和后距离表征所述映射后包络线与所述二维包络线的重合度。
11.一种眼部关键信息确定装置，其特征在于，包括：眼部信息获取模块、映射关系构建模块和眼部关键信息确定模块；
所述眼部信息获取模块，用于获取三维眼部信息和所述三维眼部信息对应的二维眼部图像；
所述映射关系构建模块，用于根据所述三维眼部信息和所述三维眼部信息对应的二维眼部图像，构建三维眼球与二维眼球的映射关系；
所述眼部关键信息确定模块，用于根据所述三维眼球与二维眼球的映射关系，将所述二维眼部图像中眼球指定部位的关键点映射到三维空间，得到能够表征眼球指定部位在三维空间中所处位置的映射结果。
12.一种眼部关键信息确定设备，其特征在于，包括：存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现如权利要求1～10中任一项所述的眼部关键信息确定方法的各个步骤。
13.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1～10中任一项所述的眼部关键信息确定方法的各个步骤。
CN202110297147.1A 2021-03-19 2021-03-19 一种眼部关键信息确定方法、装置、设备及存储介质 Pending CN112949551A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110297147.1A CN112949551A (zh) 2021-03-19 2021-03-19 一种眼部关键信息确定方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110297147.1A CN112949551A (zh) 2021-03-19 2021-03-19 一种眼部关键信息确定方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112949551A true CN112949551A (zh) 2021-06-11

Family

ID=76227250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110297147.1A Pending CN112949551A (zh) 2021-03-19 2021-03-19 一种眼部关键信息确定方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112949551A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145224A (zh) * 2017-04-07 2017-09-08 清华大学 基于三维球面泰勒展开的人眼视线跟踪方法和装置
CN108182699A (zh) * 2017-12-28 2018-06-19 北京天睿空间科技股份有限公司 基于二维图像局部变形的三维配准方法
CN109389069A (zh) * 2018-09-28 2019-02-26 北京市商汤科技开发有限公司 注视点判断方法和装置、电子设备和计算机存储介质
CN109872397A (zh) * 2019-02-18 2019-06-11 北京工业大学 一种基于多目立体视觉的飞机零件的三维重建方法
CN110135453A (zh) * 2019-03-29 2019-08-16 初速度（苏州）科技有限公司 一种激光点云数据标注方法及装置
CN110136273A (zh) * 2019-03-29 2019-08-16 初速度（苏州）科技有限公司 一种用于机器学习中的样本数据标注方法及装置
US10402978B1 (en) * 2019-01-25 2019-09-03 StradVision, Inc. Method for detecting pseudo-3D bounding box based on CNN capable of converting modes according to poses of objects using instance segmentation and device using the same
WO2019218887A1 (zh) * 2018-04-27 2019-11-21 苏州新光维医疗科技有限公司 二维图像转换成三维图像的方法、装置及三维成像***
CN111161397A (zh) * 2019-12-02 2020-05-15 支付宝(杭州)信息技术有限公司 人脸三维重建方法、装置、电子设备及可读存储介质
CN111540383A (zh) * 2019-02-06 2020-08-14 丰田自动车株式会社 语音会话装置及其控制装置、控制程序以及控制方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145224A (zh) * 2017-04-07 2017-09-08 清华大学 基于三维球面泰勒展开的人眼视线跟踪方法和装置
CN108182699A (zh) * 2017-12-28 2018-06-19 北京天睿空间科技股份有限公司 基于二维图像局部变形的三维配准方法
WO2019218887A1 (zh) * 2018-04-27 2019-11-21 苏州新光维医疗科技有限公司 二维图像转换成三维图像的方法、装置及三维成像***
CN109389069A (zh) * 2018-09-28 2019-02-26 北京市商汤科技开发有限公司 注视点判断方法和装置、电子设备和计算机存储介质
US10402978B1 (en) * 2019-01-25 2019-09-03 StradVision, Inc. Method for detecting pseudo-3D bounding box based on CNN capable of converting modes according to poses of objects using instance segmentation and device using the same
CN111540383A (zh) * 2019-02-06 2020-08-14 丰田自动车株式会社 语音会话装置及其控制装置、控制程序以及控制方法
CN109872397A (zh) * 2019-02-18 2019-06-11 北京工业大学 一种基于多目立体视觉的飞机零件的三维重建方法
CN110135453A (zh) * 2019-03-29 2019-08-16 初速度（苏州）科技有限公司 一种激光点云数据标注方法及装置
CN110136273A (zh) * 2019-03-29 2019-08-16 初速度（苏州）科技有限公司 一种用于机器学习中的样本数据标注方法及装置
CN111161397A (zh) * 2019-12-02 2020-05-15 支付宝(杭州)信息技术有限公司 人脸三维重建方法、装置、电子设备及可读存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ADRIAN J. CHUNG等: "Extraction of visual features with eye tracking for saliency driven 2D/3D registration", 《IMAGE AND VISION COMPUTING》, vol. 23, no. 11, pages 999 - 1008 *
MOHSEN MANSOURYAR等: "3D Gaze Estimation from 2D Pupil Positions on Monocular Head-Mounted Eye Trackers", 《ARXIV HUMAN-COMPUTER INTERACTION》, pages 1 - 6 *
大脑技术: "瞳孔-角膜追踪技术方法（Pupil-CR）", pages 1 - 4, Retrieved from the Internet <URL:zhuanlan.zhihu.com/p/280746366> *
张云峰: "图像与三维模型匹配方法的研究及应用", 《信息科技辑》, no. 07, pages 7 - 50 *
陈骥等: "眼底图像的三维重建", 《生物医学工程学杂志》, vol. 25, no. 1, pages 177 - 181 *

Similar Documents

Publication Publication Date Title
US11270460B2 (en) Method and apparatus for determining pose of image capturing device, and storage medium
EP4002290A1 (en) Three-dimensional facial model generation method and apparatus, computer device and storage medium
WO2019079766A1 (en) SYSTEM, APPARATUS, METHOD FOR DATA PROCESSING, AND INFORMATION MEDIUM
JP2020517027A (ja) 顔画像品質を決定する方法および装置、電子機器ならびにコンピュータ記憶媒体
CN111597884A (zh) 面部动作单元识别方法、装置、电子设备及存储介质
WO2012177166A1 (en) An efficient approach to estimate disparity map
CN106952331B (zh) 一种基于三维模型的纹理映射方法和装置
CN113160420A (zh) 一种三维点云重建的方法、装置、电子设备及存储介质
CN113470112A (zh) 图像处理方法、装置、存储介质以及终端
CN109376743A (zh) 图像处理方法、装置、图像识别设备及储存介质
CN110930298A (zh) 图像处理方法及装置、图像处理设备及存储介质
US10628998B2 (en) System and method for three dimensional object reconstruction and quality monitoring
CN113256718A (zh) 定位方法和装置、设备及存储介质
CN114792355A (zh) 虚拟形象生成方法、装置、电子设备和存储介质
CN112949551A (zh) 一种眼部关键信息确定方法、装置、设备及存储介质
CN110852132B (zh) 一种二维码空间位置确认方法及装置
EP3309660B1 (en) Method for detecting input device, and detection device
CN115761123B (zh) 三维模型处理方法、装置、电子设备以及存储介质
CN115457126A (zh) 一种瞳孔定位方法、装置、电子设备和存储介质
CN114373046A (zh) 辅助机器人运行的方法、装置及存储介质
CN113706543A (zh) 一种三维位姿的构建方法、设备及存储介质
CN112991451A (zh) 图像识别方法、相关装置及计算机程序产品
CN113093907A (zh) 人机交互方法、***、设备及存储介质
CN114820908B (zh) 虚拟形象生成方法、装置、电子设备和存储介质
CN112669220B (zh) 深度图像插值方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination