CN113729616A - 一种瞳孔中心位置数据的确定方法、装置及存储介质 - Google Patents

一种瞳孔中心位置数据的确定方法、装置及存储介质 Download PDF

Info

Publication number
CN113729616A
CN113729616A CN202111023640.0A CN202111023640A CN113729616A CN 113729616 A CN113729616 A CN 113729616A CN 202111023640 A CN202111023640 A CN 202111023640A CN 113729616 A CN113729616 A CN 113729616A
Authority
CN
China
Prior art keywords
position data
candidate
pupil
determining
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111023640.0A
Other languages
English (en)
Other versions
CN113729616B (zh
Inventor
朱冬晨
李航
林敏静
车何框亿
李嘉茂
张晓林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Institute of Microsystem and Information Technology of CAS
Original Assignee
Shanghai Institute of Microsystem and Information Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Institute of Microsystem and Information Technology of CAS filed Critical Shanghai Institute of Microsystem and Information Technology of CAS
Priority to CN202111023640.0A priority Critical patent/CN113729616B/zh
Publication of CN113729616A publication Critical patent/CN113729616A/zh
Application granted granted Critical
Publication of CN113729616B publication Critical patent/CN113729616B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/112—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本申请实施例所公开的一种瞳孔中心位置数据的确定方法、装置及存储介质，包括获取眼球中心对应的眼球位置数据、瞳孔中心对应的瞳孔参考位置数据、第一瞳孔候选区域和第二瞳孔候选区域，从第一瞳孔候选区域中确定第一候选位置数据集合，从第二瞳孔候选区域中确定第二候选位置数据集合，基于眼球位置数据、瞳孔参考位置数据、第一候选位置数据集合和第二候选位置数据集合，确定瞳孔中心位置数据。本申请实施例基于双眼视线的内在关系从候选位置数据组集合中确定视线交汇的候选位置数据作为瞳孔中心位置数据，可以提升双眼视线估计精度。

Description

一种瞳孔中心位置数据的确定方法、装置及存储介质
技术领域
本发明涉及视线估计技术领域，尤其涉及一种瞳孔中心位置数据的确定方法、装置及存储介质。
背景技术
通过研究人视线变化时头部姿态和眼睛的对应变化可以进行视线估计，现有视线估计方法包括：一、在红外照明条件下，根据红外光源在受试者角膜表面形成的普尔钦斑的位置确定视线方向；二、在自然光照条件下，建立几何模型以眼球中心与瞳孔中心的连线作为视线方向。其中，瞳孔中心位置的定位对视线估计的精度至关重要。
目前，瞳孔中心检测的方法包括基于统计学习的检测方法和基于特征提取的检测方法。其中，基于统计学习的检测方法是将眼部图像作为输入数据，由训练好的模型直接输出瞳孔中心点坐标，例如基于SVM算法可以直接检测出某人戴眼镜时瞳孔中心位置。基于特征提取的检测方法是利用瞳孔区域的灰度特性检测出瞳孔中心位置，例如利用hough变换检测圆与混合投影法定位瞳孔中心位置。对于检测瞳孔中心位置，人眼区域存在眼睑遮挡、睫毛遮挡和角膜反射引起的白斑干扰等问题，仅针对眼部图像进行瞳孔中心位置检测的方法均无法实现较高的精度。
发明内容
本申请实施例提供了一种瞳孔中心位置数据的确定方法、装置及存储介质，可以基于双眼视线的内在关系从候选位置数据组集合中确定视线交汇的候选位置数据作为瞳孔中心位置数据，可以提升双眼视线估计精度。
本申请实施例提供了一种瞳孔中心位置数据的确定方法，包括：
获取眼球中心对应的眼球位置数据、瞳孔中心对应的瞳孔参考位置数据、第一瞳孔候选区域和第二瞳孔候选区域；
从第一瞳孔候选区域中确定第一候选位置数据集合；
从第二瞳孔候选区域中确定第二候选位置数据集合；
基于眼球位置数据、瞳孔参考位置数据、第一候选位置数据集合和第二候选位置数据集合，确定瞳孔中心位置数据。
进一步地，基于眼球位置数据、瞳孔参考位置数据、第一候选位置数据集合和第二候选位置数据集合，确定瞳孔中心位置数据，包括：
根据瞳孔参考位置数据、第一候选位置数据集合和第二候选位置数据集合，确定第一参数集合；
根据眼球位置数据、第一候选位置数据集合和第二候选位置数据集合，确定第二参数集合；
根据第一参数集合和第二参数集合，确定瞳孔中心位置数据。
进一步地，根据眼球位置数据、第一候选位置数据集合和第二候选位置数据集合，确定第二参数集合之后，还包括：
根据眼球位置数据、第一候选位置数据集合和第二候选位置数据集合，确定第三参数集合；
根据第一参数集合、第二参数集合和第三参数集合，确定瞳孔中心位置数据。
进一步地，根据瞳孔参考位置数据、第一候选位置数据集合和第二候选位置数据集合，确定第一参数集合，包括：
从第一候选位置数据集合和第二候选位置数据集合中，确定候选位置数据组集合；候选位置数据组集合中每个候选位置数据组包括一个第一候选位置数据和一个第二候选位置数据；
根据瞳孔参考位置数据和每个候选位置数据组，确定第一参数集合。
进一步地，根据眼球位置数据、第一候选位置数据集合和第二候选位置数据集合，确定第二参数集合，包括：
根据眼球位置数据，确定第一向量；
根据眼球位置数据和每个候选位置数据组，确定每个候选位置数据组对应的第二向量；
根据第一向量和每个候选位置数据组对应的第二向量，确定第二参数集合。
进一步地，根据第一候选位置数据集合和第二候选位置数据集合，确定第三参数集合，包括：
获取第一注视点深度数据；第一注视点深度数据为受试者注视目标点时，目标点与眼球中心所在直线的距离；
根据眼球位置数据和每个候选位置数据组，确定每个候选位置数据组对应的第二注视点深度数据；
根据第一注视点深度数据和每个候选位置数据组对应的第二注视点深度数据，确定第三参数集合。
进一步地，从第二瞳孔候选区域中确定第二候选位置数据集合，包括：
根据第一候选位置数据集合中每个第一候选位置数据，从第二瞳孔候选区域中确定目标区域；
从目标区域中确定第二候选位置数据集合。
相应地，本申请实施例还提供了一种瞳孔中心位置数据的确定方法，包括：
获取模块，用于获取眼球中心对应的眼球位置数据、瞳孔中心对应的瞳孔参考位置数据、第一瞳孔候选区域和第二瞳孔候选区域；
第一确定模块，用于从第一瞳孔候选区域中确定第一候选位置数据集合；
第二确定模块，用于从第二瞳孔候选区域中确定第二候选位置数据集合；
第三确定模块，用于基于眼球位置数据、瞳孔参考位置数据、第一候选位置数据集合和第二候选位置数据集合，确定瞳孔中心位置数据。
进一步地，第三确定模块，包括：
第一确定单元，用于根据瞳孔参考位置数据、第一候选位置数据集合和第二候选位置数据集合，确定第一参数集合；
第二确定单元，用于根据眼球位置数据、第一候选位置数据集合和第二候选位置数据集合，确定第二参数集合；
第三确定单元，用于根据第一参数集合和第二参数集合，确定瞳孔中心位置数据。
进一步地，第三确定模块，还包括：
第四确定单元，用于在根据眼球位置数据、第一候选位置数据集合和第二候选位置数据集合，确定第二参数集合之后，
根据眼球位置数据、第一候选位置数据集合和第二候选位置数据集合，确定第三参数集合；
根据第一参数集合、第二参数集合和第三参数集合，确定瞳孔中心位置数据。
进一步地，第一确定单元，包括：
第一确定子单元，用于从第一候选位置数据集合和第二候选位置数据集合中，确定候选位置数据组集合；候选位置数据组集合中每个候选位置数据组包括一个第一候选位置数据和一个第二候选位置数据；
第二确定子单元，用于根据瞳孔参考位置数据和每个候选位置数据组，确定第一参数集合。
进一步地，第二确定单元，包括：
第三确定子单元，用于根据眼球位置数据，确定第一向量；
第四确定子单元，用于根据眼球位置数据和每个候选位置数据组，确定每个候选位置数据组对应的第二向量；
第五确定子单元，用于根据第一向量和每个候选位置数据组对应的第二向量，确定第二参数集合。
进一步地，第四确定单元，包括：
获取子单元，用于获取第一注视点深度数据；第一注视点深度数据为受试者注视目标点时，目标点与眼球中心所在直线的距离；
第六确定子单元，用于根据眼球位置数据和每个候选位置数据组，确定每个候选位置数据组对应的第二注视点深度数据；
第七确定子单元，用于根据第一注视点深度数据和每个候选位置数据组对应的第二注视点深度数据，确定第三参数集合。
进一步地，第二确定模块，包括：
第五确定单元，用于根据第一候选位置数据集合中每个第一候选位置数据，从第二瞳孔候选区域中确定目标区域；
第六确定单元，用于从目标区域中确定第二候选位置数据集合。
本申请实施例具有如下有益效果：
本申请实施例所公开的一种瞳孔中心位置数据的确定方法、装置及存储介质，包括获取眼球中心对应的眼球位置数据、瞳孔中心对应的瞳孔参考位置数据、第一瞳孔候选区域和第二瞳孔候选区域，从第一瞳孔候选区域中确定第一候选位置数据集合，从第二瞳孔候选区域中确定第二候选位置数据集合，基于眼球位置数据、瞳孔参考位置数据、第一候选位置数据集合和第二候选位置数据集合，确定瞳孔中心位置数据。本申请实施例基于双眼视线的内在关系从候选位置数据组集合中确定视线交汇的候选位置数据作为瞳孔中心位置数据，可以提升双眼视线估计精度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本申请实施例所提供的一种应用环境的示意图；
图2是本申请实施例提供的一种瞳孔中心位置数据的确定方法的流程示意图；
图3是本申请实施例提供的一种确定瞳孔中心位置数据的方法的流程示意图；
图4是本申请实施例提供的另一种确定瞳孔中心位置数据的方法的流程示意图；
图5是本申请实施例提供的一种瞳孔中心位置数据的确定装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例作进一步地详细描述。显然，所描述的实施例仅仅是本申请一个实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
此处所称的“实施例”是指可包含于本申请至少一个实现方式中的特定特征、结构或特性。在本申请实施例的描述中，需要理解的是，术语“第一”、“第二”和“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”和“第三”的特征可以明示或者隐含的包括一个或者更多个该特征。而且，术语“第一”、“第二”和“第三”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请实施例能够以除了在这里图示或描述以外的顺序实施。此外，术语“包括”、“具有”和“为”以及他们的任何变形，意图在于覆盖不排他的包含。
图1是本申请实施例所提供的一种应用环境的示意图，图中包括左眼球中心位置OL、右眼球中心位置OR、初始左瞳孔中心位置PL、初始右瞳孔中心位置PR，左瞳孔中心对应的第一候选位置PL(ni)、右瞳孔中心对应的第二候选位置PR(nj)以及第一注视点深度数据Z1和第二注视点深度数据Z2，其中，i＝1,2,...N，j＝1,2,...N。
本申请实施例中，当受试者注视目标点时，若检测到双眼视线在人脸前方汇聚，服务器可以可以将左瞳孔中心对应的第一候选位置和右瞳孔中心对应的第二候选位置设置为未知参数PL(L)、PR(R)，进而根据左眼球中心位置OL、右眼球中心位置OR、初始左瞳孔中心位置PL、初始右瞳孔中心位置PR，左瞳孔中心对应的第一候选位置PL(L)、右瞳孔中心对应的第二候选位置PR(R)以及第一注视点深度数据Z1和第二注视点深度数据Z2构建位置确定模型。
在一种可选的实施方式中，可以包括根据初始左瞳孔中心位置PL、初始右瞳孔中心位置PR、第一候选位置数据和第二候选位置数据确定的约束条件1，可以根据左眼球中心位置OL、右眼球中心位置OR、第一候选位置数据和第二候选位置数据确定的约束条件2，以及可以根据第一注视点深度数据Z1和第二注视点深度数据Z2确定的约束条件3，进而构建位置确定模型：
S(PL(L),PR(R))＝λ1l+λ2d+λ3Z
其中，λ1l表示约束条件1，λ2d表示约束条件2，λ3Z表示约束条件3。
在应用时，可以使用枚举法将候选位置数据组集合中的每个候选位置数据组(PL(ni),PR(nj))输入位置确定模型，从而输出瞳孔中心位置数据。
下面介绍本申请一种瞳孔中心位置数据的确定方法的具体实施例，图2是本申请实施例提供的一种瞳孔中心位置数据的确定方法的流程示意图，本说明书提供了如实施例或流程图所示的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多执行顺序中的一种方式，不代表唯一的执行顺序，在实际执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行。具体如图2所示，该方法可以包括：
S201：获取眼球中心对应的眼球位置数据、瞳孔中心对应的瞳孔参考位置数据、第一瞳孔候选区域和第二瞳孔候选区域。
本申请实施例中，可以在屏幕上设置一个目标点，当受试者注视目标点时，若检测到双眼视线在人脸前方汇聚，可以获取眼球中心对应的眼球位置数据和瞳孔中心对应的瞳孔参考位置数据。即服务器可以获取在空间坐标系中左眼球中心对应的三维坐标数据OL(xo L,yo L,zo L)，右眼球中心对应的三维坐标数据OR(xo R,yo R,zo R)，左瞳孔中心对应的初始三维坐标数据PR(xP R,yP R,zP R)以及右瞳孔中心对应的初始三维坐标数据PR(xP R,yP R,zP R)。
本申请实施例中，若检测到双眼视线在人脸前方汇聚，可以获取双眼虹膜区域w*h，并可以从中确定第一瞳孔候选区域和第二瞳孔候选区域。也即是，可以根据目标点与受试者之间的距离，从双眼虹膜区域中可以确定左瞳孔候选区域фL和右瞳孔候选区域фR。
本申请实施例中，服务器还可以获取第一注视点深度数据，即受试者注视目标点时，目标点与眼球中心所在直线的距离Z1。
S203：从第一瞳孔候选区域中确定第一候选位置数据集合。
本申请实施例中，服务器可以从第一瞳孔候选区域中确定第一候选位置数据集合，即从左瞳孔候选区域中确定左瞳孔中心对应的多个第一候选位置数据。可选地，第一候选位置数据集合可以为{PL(0),PL(1)...PL(nL)}，每个第一候选位置数据在空间坐标系中具有对应的三维坐标数据。
S205：从第二瞳孔候选区域中确定第二候选位置数据集合。
本申请实施例中，服务器可以从第二瞳孔候选区域中确定第二候选位置数据集合，即从右瞳孔候选区域中确定右瞳孔中心对应的多个第二候选位置数据。可选地，第二候选位置数据集合可以为{PR(0),PR(1)...PR(nR)}，每个第二候选位置数据在空间坐标系中具有对应的三维坐标数据。
在一种可选的实施方式中，服务器可以根据第一候选位置数据集合中每个第一候选位置数据，从第二瞳孔候选区域中确定目标区域，进而从目标区域中确定第二候选位置数据集合。具体地，服务器可以从第一候选位置数据中选择左瞳孔对应的某一个第一候选位置数据，进而可以根据该第一候选位置数据和左眼球中心位置数据确定一个视线方向，之后从右瞳孔候选区域中选择与右眼球中心位置数据的连线与视线方向的俯仰角在预设夹角区间内的多个点，得到第二候选位置数据集合{PR(0),PR(1)...PR(nR)}，每个第二候选位置数据在空间坐标系中具有对应的三维坐标数据。
S207：基于眼球位置数据、瞳孔参考位置数据、第一候选位置数据集合和第二候选位置数据集合，确定瞳孔中心位置数据。
图3是本申请实施例提供的一种确定瞳孔中心位置数据的方法的流程示意图，在一种可选的实施方式中，可以采用如图3所示的方法步骤确定瞳孔中心位置数据，具体步骤如下：
S301：根据瞳孔参考位置数据、第一候选位置数据集合和第二候选位置数据集合，确定第一参数集合。
在一种可选的实施方式中，服务器可以从第一候选位置数据集合和第二候选位置数据集合中，确定候选位置数据组集合。其中，候选位置数据组集合中每个候选位置数据组可以包括一个第一候选位置数据和一个第二候选位置数据。可选地，服务器可以从左瞳孔中心对应的第一候选位置数据集合中任意选择一个第一候选位置数据PL(ni)，并从右瞳孔中心对应的第二候选位置数据集合中任意选择一个第二候选位置数据PR(nj)，得到一个候选位置数据组(PL(ni),PR(nj))。采用同样的方法，可以得到候选位置数据组集合。
本申请实施例中，在确定候选位置数据组集合之后，服务器可以根据瞳孔参考位置数据和每个候选位置数据组，确定第一参数集合。也即是，服务器可以根据左瞳孔中心对应的初始三维坐标数据PR(xP R,yP R,zP R)、右瞳孔中心对应的初始三维坐标数据PR(xP R,yP R,zP R)以及每个候选位置数据组(PL(ni),PR(nj))，确定每个候选位置数据组对应的第一参数，得到候选位置数据组集合对应的第一参数集合。具体可以采用如下公式确定第一参数集合：
l＝||PL(ni)-PL||+||PR(nj)-PR||
S303：根据眼球位置数据、第一候选位置数据集合和第二候选位置数据集合，确定第二参数集合。
本申请实施例中，双眼视线可以符合注视特性，即双眼视线相交时，双眼视线直线的公垂线的长度趋近于零。
本申请实施例中，服务器可以根据眼球位置数据，确定第一向量，可以根据眼球位置数据和每个候选位置数据组，确定每个候选位置数据组对应的第二向量，进而可以根据第一向量和每个候选位置数据组对应的第二向量，确定第二参数集合。
即服务器可以根据左眼球中心位置数据OL和右眼球中心位置数据OR，确定向量
Figure BDA0003241464610000101
并可以根据左眼球中心位置数据OL、右眼球中心位置数据OR以及候选位置数据组(PL(ni),PR(nj))，确定公垂线向量，该公垂线向量可以由左视线
Figure BDA0003241464610000102
和右视线
Figure BDA0003241464610000103
叉乘得到公垂线向量
Figure BDA0003241464610000104
进而可以将向量
Figure BDA0003241464610000105
在公垂线向量
Figure BDA0003241464610000106
方向的投影作为两个异面直线间的公垂线长度，即每个候选位置数据组对应的第二参数，得到第二参数集合。具体可以采用如下公式确定公垂线向量：
Figure BDA0003241464610000107
可以采用如下公知确定第二参数集合：
Figure BDA0003241464610000108
S305：根据第一参数集合和第二参数集合，确定瞳孔中心位置数据。
本申请实施例中，服务器可以根据每个候选位置数据组对应的第一参数和第二参数，从候选位置数据组集合中确定瞳孔中心位置数据。可选地，可以确定每个候选位置数据组对应的第一参数和第二参数对应的损失值，进而将最小损失值对应的候选位置数据组作为瞳孔中心位置数据。具体可以采用如下公式确定瞳孔中心位置数据：；
S(PL(ni),PR(nj))＝λ1l+λ2d
其中，S(PL(ni),PR(nj))为候选位置数据组PL(ni),PR(nj)对应的损失值，λ1、λ2均为约束权重因子。若候选位置数据组(PL(ni),PR(nj))对应的损失值为候选位置数据组集合中的最小损失值，可以将左瞳孔中心对应的第一候选位置数据作为左瞳孔中心位置数据，右瞳孔中心对应的第二候选位置数据作为右瞳孔中心位置数据，得到瞳孔中心位置数据。
本申请实施例基于人眼注视特性，通过确定每个候选位置数据组对应的第一参数和第二参数，从候选位置数据组集合中确定瞳孔中心位置数据，可以提示双眼视线估计精度。
图4是本申请实施例提供的另一种确定瞳孔中心位置数据的方法的流程示意图，在一种可选的实施方式中，可以采用如图3所示的方法步骤确定瞳孔中心位置数据，具体步骤如下：
S401:根据瞳孔参考位置数据、第一候选位置数据集合和第二候选位置数据集合，确定第一参数集合。
在一种可选的实施方式中，服务器可以从第一候选位置数据集合和第二候选位置数据集合中，确定候选位置数据组集合。其中，候选位置数据组集合中每个候选位置数据组可以包括一个第一候选位置数据和一个第二候选位置数据。可选地，服务器可以从左瞳孔中心对应的第一候选位置数据集合中任意选择一个第一候选位置数据PL(ni)，并从右瞳孔中心对应的第二候选位置数据集合中任意选择一个第二候选位置数据PR(nj)，得到一个候选位置数据组(PL(ni),PR(nj))。采用同样的方法，可以得到候选位置数据组集合。
本申请实施例中，在确定候选位置数据组集合之后，服务器可以根据瞳孔参考位置数据和每个候选位置数据组，确定第一参数集合。也即是，服务器可以根据左瞳孔中心对应的初始三维坐标数据PR(xP R,yP R,zP R)、右瞳孔中心对应的初始三维坐标数据PR(xP R,yP R,zP R)以及每个候选位置数据组(PL(ni),PR(nj))，确定每个候选位置数据组对应的第一参数，得到候选位置数据组集合对应的第一参数集合。具体可以采用如下公式确定第一参数集合：
l＝||PL(ni)-PL||+||PR(nj)-PR||
S403：根据眼球位置数据、第一候选位置数据集合和第二候选位置数据集合，确定第二参数集合。
本申请实施例中，双眼视线可以符合注视特性，即双眼视线相交时，双眼视线直线的公垂线的长度趋近于零。
本申请实施例中，服务器可以根据眼球位置数据，确定第一向量，可以根据眼球位置数据和每个候选位置数据组，确定每个候选位置数据组对应的第二向量，进而可以根据第一向量和每个候选位置数据组对应的第二向量，确定第二参数集合。
即服务器可以根据左眼球中心位置数据OL和右眼球中心位置数据OR，确定向量
Figure BDA0003241464610000121
并可以根据左眼球中心位置数据OL、右眼球中心位置数据OR以及候选位置数据组(PL(ni),PR(nj))，确定公垂线向量，该公垂线向量可以由左视线
Figure BDA0003241464610000122
和右视线
Figure BDA0003241464610000123
叉乘得到公垂线向量
Figure BDA0003241464610000124
进而可以将向量
Figure BDA0003241464610000125
在公垂线向量
Figure BDA0003241464610000126
方向的投影作为两个异面直线间的公垂线长度，即每个候选位置数据组对应的第二参数，得到第二参数集合。具体可以采用如下公式确定公垂线向量：
Figure BDA0003241464610000127
可以采用如下公知确定第二参数集合：
Figure BDA0003241464610000128
S405：根据眼球位置数据、第一候选位置数据集合和第二候选位置数据集合，确定第三参数集合。
本申请实施例中，服务器可以根据眼球位置数据，确定第一向量，可以根据眼球位置数据和每个候选位置数据组，确定每个候选位置数据组对应的第二向量，即确定每个候选位置数据组对应的公垂线向量，进而可以确定公垂线向量的中点与左、右眼球中心所在直线的距离，确定每个候选位置数据组对应的第二注视点深度数据Z2，再根据上文中描述的第一注视点深度数据，即受试者注视目标点时，目标点与眼球中心所在直线的距离Z1，确定每个候选位置数据组对应的第三参数，得到第三参数集合。具体可以采用如下公式确定第三参数集合：
Z＝|Z1-Z2|
S407：根据第一参数集合、第二参数集合和第三参数集合，确定瞳孔中心位置数据。
本申请实施例中，服务器可以根据每个候选位置数据组对应的第一参数、第二参数和第三参数，从候选位置数据组集合中确定瞳孔中心位置数据。可选地，可以确定每个候选位置数据组对应的第一参数、第二参数和第三参数对应的损失值，进而将最小损失值对应的候选位置数据组作为瞳孔中心位置数据。具体可以采用如下公式确定瞳孔中心位置数据：；
S(PL(ni),PR(nj))＝λ1l+λ2d+λ3Z
其中，S(PL(ni),PR(nj))为候选位置数据组PL(ni),PR(nj)对应的损失值，λ1、λ2和λ3均为约束权重因子。若候选位置数据组(PL(ni),PR(nj))对应的损失值为候选位置数据组集合中的最小损失值，可以将左瞳孔中心对应的第一候选位置数据作为左瞳孔中心位置数据，右瞳孔中心对应的第二候选位置数据作为右瞳孔中心位置数据，得到瞳孔中心位置数据。
本申请实施例基于人眼注视特性，通过确定每个候选位置数据组对应的第一参数、第二参数和第三参数，从候选位置数据组集合中确定瞳孔中心位置数据，可以提示双眼视线估计精度。
采用本申请实施例提供的瞳孔中心位置数据的确定方法，基于双眼视线的内在关系从候选位置数据组集合中确定视线交汇的候选位置数据作为瞳孔中心位置数据，可以提升双眼视线估计精度。
本申请实施例还提供的一种瞳孔中心位置数据的确定装置，图5是本申请实施例提供的一种瞳孔中心位置数据的确定装置的结构示意图，如图5所示，该装置可以包括：
获取模块501用于获取眼球中心对应的眼球位置数据、瞳孔中心对应的瞳孔参考位置数据、第一瞳孔候选区域和第二瞳孔候选区域；
第一确定模块503用于从第一瞳孔候选区域中确定第一候选位置数据集合；
第二确定模块505用于从第二瞳孔候选区域中确定第二候选位置数据集合；
第三确定模块507用于基于眼球位置数据、瞳孔参考位置数据、第一候选位置数据集合和第二候选位置数据集合，确定瞳孔中心位置数据。
本申请实施例中，第三确定模块507可以包括：
第一确定单元，用于根据瞳孔参考位置数据、第一候选位置数据集合和第二候选位置数据集合，确定第一参数集合；
第二确定单元，用于根据眼球位置数据、第一候选位置数据集合和第二候选位置数据集合，确定第二参数集合；
第三确定单元，用于根据第一参数集合和第二参数集合，确定瞳孔中心位置数据。
本申请实施例中，第三确定模块507还可以包括：
第四确定单元，用于在根据眼球位置数据、第一候选位置数据集合和第二候选位置数据集合，确定第二参数集合之后，
根据眼球位置数据、第一候选位置数据集合和第二候选位置数据集合，确定第三参数集合；
根据第一参数集合、第二参数集合和第三参数集合，确定瞳孔中心位置数据。
本申请实施例中，第一确定单元可以包括：
第一确定子单元，用于从第一候选位置数据集合和第二候选位置数据集合中，确定候选位置数据组集合；候选位置数据组集合中每个候选位置数据组包括一个第一候选位置数据和一个第二候选位置数据；
第二确定子单元，用于根据瞳孔参考位置数据和每个候选位置数据组，确定第一参数集合。
本申请实施例中，第二确定单元可以包括：
第三确定子单元，用于根据眼球位置数据，确定第一向量；
第四确定子单元，用于根据眼球位置数据和每个候选位置数据组，确定每个候选位置数据组对应的第二向量；
第五确定子单元，用于根据第一向量和每个候选位置数据组对应的第二向量，确定第二参数集合。
本申请实施例中，第四确定单元可以包括：
获取子单元，用于获取第一注视点深度数据；第一注视点深度数据为受试者注视目标点时，目标点与眼球中心所在直线的距离；
第六确定子单元，用于根据眼球位置数据和每个候选位置数据组，确定每个候选位置数据组对应的第二注视点深度数据；
第七确定子单元，用于根据第一注视点深度数据和每个候选位置数据组对应的第二注视点深度数据，确定第三参数集合。
本申请实施例中，第二确定模块505可以包括：
第五确定单元，用于根据第一候选位置数据集合中每个第一候选位置数据，从第二瞳孔候选区域中确定目标区域；
第六确定单元，用于从目标区域中确定第二候选位置数据集合。
本申请实施例中的装置与方法实施例基于同样的申请构思。
采用本申请实施例提供的瞳孔中心位置数据的确定装置，基于双眼视线的内在关系从候选位置数据组集合中确定视线交汇的候选位置数据作为瞳孔中心位置数据，可以提升双眼视线估计精度。
本申请实施例还提供的一种电子设备，电子设备可设置于服务器之中以保存用于实现方法实施例中的一种瞳孔中心位置数据的确定方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该存储器加载并执行以实现上述的瞳孔中心位置数据的确定方法。
本申请实施例还提供的一种存储介质，存储介质可设置于服务器之中以保存用于实现方法实施例中一种瞳孔中心位置数据的确定方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述瞳孔中心位置数据的确定方法。
可选的，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于包括：U盘、只读存储器(ROM，Read-only Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
由上述本申请提供的瞳孔中心位置数据的确定方法、装置、电子设备或存储介质的实施例可见，本申请中方法包括获取眼球中心对应的眼球位置数据、瞳孔中心对应的瞳孔参考位置数据、第一瞳孔候选区域和第二瞳孔候选区域，从第一瞳孔候选区域中确定第一候选位置数据集合，从第二瞳孔候选区域中确定第二候选位置数据集合，基于眼球位置数据、瞳孔参考位置数据、第一候选位置数据集合和第二候选位置数据集合，确定瞳孔中心位置数据。本申请实施例基于双眼视线的内在关系从候选位置数据组集合中确定视线交汇的候选位置数据作为瞳孔中心位置数据，可以提升双眼视线估计精度。
需要说明的是：上述本申请实施例的先后顺序仅仅为了描述，不代表实施例的优劣，且上述本说明书对特定的实施例进行了描述，其他实施例也在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或者步骤可以按照不同的实施例中的顺序来执行并且能够实现预期的结果。另外，在附图中描绘的过程不一定要求示出特定顺序或者而连接顺序才能够实现期望的结果，在某些实施方式中，多任务并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的均为与其他实施例的不同之处。尤其，对于结构的实施例而言，由于其基于相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种瞳孔中心位置数据的确定方法，其特征在于，包括：
获取眼球中心对应的眼球位置数据、瞳孔中心对应的瞳孔参考位置数据、第一瞳孔候选区域和第二瞳孔候选区域；
从所述第一瞳孔候选区域中确定第一候选位置数据集合；
从所述第二瞳孔候选区域中确定第二候选位置数据集合；
基于所述眼球位置数据、所述瞳孔参考位置数据、所述第一候选位置数据集合和所述第二候选位置数据集合，确定瞳孔中心位置数据。
2.根据权利要求1所述的方法，其特征在于，所述基于所述眼球位置数据、所述瞳孔参考位置数据、所述第一候选位置数据集合和所述第二候选位置数据集合，确定瞳孔中心位置数据，包括：
根据所述瞳孔参考位置数据、所述第一候选位置数据集合和所述第二候选位置数据集合，确定第一参数集合；
根据所述眼球位置数据、所述第一候选位置数据集合和所述第二候选位置数据集合，确定第二参数集合；
根据所述第一参数集合和所述第二参数集合，确定所述瞳孔中心位置数据。
3.根据权利要求2所述的方法，其特征在于，所述根据所述眼球位置数据、所述第一候选位置数据集合和所述第二候选位置数据集合，确定第二参数集合之后，还包括：
根据所述眼球位置数据、所述第一候选位置数据集合和所述第二候选位置数据集合，确定第三参数集合；
根据所述第一参数集合、所述第二参数集合和所述第三参数集合，确定所述瞳孔中心位置数据。
4.根据权利要求3所述的方法，其特征在于，所述根据所述瞳孔参考位置数据、所述第一候选位置数据集合和所述第二候选位置数据集合，确定第一参数集合，包括：
从所述第一候选位置数据集合和所述第二候选位置数据集合中，确定候选位置数据组集合；所述候选位置数据组集合中每个候选位置数据组包括一个第一候选位置数据和一个第二候选位置数据；
根据所述瞳孔参考位置数据和所述每个候选位置数据组，确定所述第一参数集合。
5.根据权利要求4所述的方法，其特征在于，所述根据所述眼球位置数据、所述第一候选位置数据集合和所述第二候选位置数据集合，确定第二参数集合，包括：
根据所述眼球位置数据，确定第一向量；
根据所述眼球位置数据和所述每个候选位置数据组，确定所述每个候选位置数据组对应的第二向量；
根据所述第一向量和所述每个候选位置数据组对应的所述第二向量，确定所述第二参数集合。
6.根据权利要求4所述的方法，其特征在于，所述根据所述第一候选位置数据集合和所述第二候选位置数据集合，确定第三参数集合，包括：
获取第一注视点深度数据；所述第一注视点深度数据为受试者注视目标点时，所述目标点与所述眼球中心所在直线的距离；
根据所述眼球位置数据和所述每个候选位置数据组，确定所述每个候选位置数据组对应的第二注视点深度数据；
根据所述第一注视点深度数据和所述每个候选位置数据组对应的所述第二注视点深度数据，确定所述第三参数集合。
7.根据权利要求6所述的方法，其特征在于，所述从所述第二瞳孔候选区域中确定第二候选位置数据集合，包括：
根据所述第一候选位置数据集合中每个第一候选位置数据，从所述第二瞳孔候选区域中确定目标区域；
从所述目标区域中确定所述第二候选位置数据集合。
8.一种瞳孔中心位置数据的确定方法，其特征在于，包括：
获取模块，用于获取眼球中心对应的眼球位置数据、瞳孔中心对应的瞳孔参考位置数据、第一瞳孔候选区域和第二瞳孔候选区域；
第一确定模块，用于从所述第一瞳孔候选区域中确定第一候选位置数据集合；
第二确定模块，用于从所述第二瞳孔候选区域中确定第二候选位置数据集合；
第三确定模块，用于基于所述眼球位置数据、所述瞳孔参考位置数据、所述第一候选位置数据集合和所述第二候选位置数据集合，确定瞳孔中心位置数据。
9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现权利要求1-7任意一项所述的瞳孔中心位置数据的确定方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现权利要求1-7任意一项所述的瞳孔中心位置数据的确定方法。
CN202111023640.0A 2021-09-01 2021-09-01 一种瞳孔中心位置数据的确定方法、装置及存储介质 Active CN113729616B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111023640.0A CN113729616B (zh) 2021-09-01 2021-09-01 一种瞳孔中心位置数据的确定方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111023640.0A CN113729616B (zh) 2021-09-01 2021-09-01 一种瞳孔中心位置数据的确定方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN113729616A true CN113729616A (zh) 2021-12-03
CN113729616B CN113729616B (zh) 2022-10-14

Family

ID=78734825

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111023640.0A Active CN113729616B (zh) 2021-09-01 2021-09-01 一种瞳孔中心位置数据的确定方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN113729616B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106575357A (zh) * 2014-07-24 2017-04-19 微软技术许可有限责任公司 瞳孔检测
CN109471523A (zh) * 2017-09-08 2019-03-15 托比股份公司 使用眼球中心位置的眼睛追踪
CN110263745A (zh) * 2019-06-26 2019-09-20 京东方科技集团股份有限公司 一种人眼瞳孔定位的方法及装置
CN112749604A (zh) * 2019-10-31 2021-05-04 Oppo广东移动通信有限公司 瞳孔定位方法及相关装置、产品

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106575357A (zh) * 2014-07-24 2017-04-19 微软技术许可有限责任公司 瞳孔检测
CN109471523A (zh) * 2017-09-08 2019-03-15 托比股份公司 使用眼球中心位置的眼睛追踪
CN110263745A (zh) * 2019-06-26 2019-09-20 京东方科技集团股份有限公司 一种人眼瞳孔定位的方法及装置
CN112749604A (zh) * 2019-10-31 2021-05-04 Oppo广东移动通信有限公司 瞳孔定位方法及相关装置、产品

Also Published As

Publication number Publication date
CN113729616B (zh) 2022-10-14

Similar Documents

Publication Publication Date Title
US12008723B2 (en) Depth plane selection for multi-depth plane display systems by user categorization
CN107358217B (zh) 一种视线估计方法及装置
US7747068B1 (en) Systems and methods for tracking the eye
US9135508B2 (en) Enhanced user eye gaze estimation
US9628697B2 (en) Method and device for measuring an interpupillary distance
JP3361980B2 (ja) 視線検出装置及びその方法
US8457352B2 (en) Methods and apparatus for estimating point-of-gaze in three dimensions
JP2022095879A5 (zh)
EP3339943A1 (en) Method and system for obtaining optometric parameters for fitting eyeglasses
US11789262B2 (en) Systems and methods for operating a head-mounted display system based on user identity
EP4383193A1 (en) Line-of-sight direction tracking method and apparatus
JP2021501385A (ja) ロバストなバイオメトリックアプリケーションのための詳細な眼形状モデル
CN112308932A (zh) 一种注视检测方法、装置、设备及存储介质
WO2019125700A1 (en) System and method of obtaining fit and fabrication measurements for eyeglasses using simultaneous localization and mapping
CN108537103B (zh) 基于瞳孔轴测量的活体人脸检测方法及其设备
CN113723293B (zh) 一种视线方向的确定方法、装置、电子设备及存储介质
CN112183160A (zh) 视线估计方法及装置
Yang et al. Wearable eye-tracking system for synchronized multimodal data acquisition
US10036902B2 (en) Method of determining at least one behavioural parameter
WO2022032911A1 (zh) 一种视线追踪方法及装置
CN113729616B (zh) 一种瞳孔中心位置数据的确定方法、装置及存储介质
CN112528714B (zh) 基于单光源的注视点估计方法、***、处理器及设备
JP7512505B2 (ja) ユーザカテゴリ化による多深度平面ディスプレイシステムのための深度平面選択
CN118279966A (zh) 一种视线追踪方法、装置、电子设备及存储介质
CN116473506A (zh) 一种三维眼动检测方法和分析***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant