CN112148119A - 用于在数字图像数据中确定眼睛位置的方法、眼睛追踪器和计算机程序 - Google Patents
用于在数字图像数据中确定眼睛位置的方法、眼睛追踪器和计算机程序 Download PDFInfo
- Publication number
- CN112148119A CN112148119A CN202010579689.3A CN202010579689A CN112148119A CN 112148119 A CN112148119 A CN 112148119A CN 202010579689 A CN202010579689 A CN 202010579689A CN 112148119 A CN112148119 A CN 112148119A
- Authority
- CN
- China
- Prior art keywords
- eye
- pupil
- light
- size range
- pupil size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 72
- 238000004590 computer program Methods 0.000 title claims description 14
- 210000001747 pupil Anatomy 0.000 claims abstract description 175
- 238000010845 search algorithm Methods 0.000 claims abstract description 29
- 230000004044 response Effects 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims description 43
- 230000000007 visual effect Effects 0.000 claims description 38
- 238000013507 mapping Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 20
- 238000005286 illumination Methods 0.000 claims description 11
- 230000008602 contraction Effects 0.000 claims description 8
- 230000003190 augmentative effect Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 9
- 238000012549 training Methods 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004424 eye movement Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000007429 general method Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 206010027646 Miosis Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
Abstract
一种眼睛追踪器获得表示主体的至少一只眼睛(E)的数字图像。眼睛追踪器接着根据搜索算法在数字图像中搜索瞳孔候选对象，并且基于所述搜索而在数字图像中确定至少一只眼睛(E)的位置。眼睛追踪器还获得光强度信息，该光强度信息表示在登记数字图像时将至少一只眼睛(E)暴露于光的光能(Q)的估计量。响应于光强度信息，眼睛追踪器确定瞳孔尺寸范围。搜索算法应用瞳孔尺寸范围，以使得所检测的瞳孔候选对象必须具有处于瞳孔尺寸范围内的尺寸才能作为主体的有效瞳孔被搜索算法接受。
Description
技术领域
本发明总的来说涉及注视数据的有效处置。明确地说，本发明涉及在眼睛追踪器中执行的方法、眼睛追踪器、头戴设备和眼睛追踪器布置，它们被配置成经由与主体物理分离的显示器而将视觉信息呈现给主体。本发明还涉及计算机程序产品和非易失性数据载体。
背景技术
眼睛/注视追踪是测量眼睛相对于头部的运动或注视点的运动的过程。眼睛追踪器是用于测量眼睛位置和眼睛移动的装置。眼睛追踪器用于许多不同应用中。存在用于测量眼睛移动的各种方法。最流行的变化使用视频图像，从所述视频图像提取眼睛位置。其它方法使用搜索线圈或基于眼动图。最初，眼睛追踪技术用于对视觉***的研究中，用于心理学中，用于心理语言学中，用于市场营销中以及用于产品设计中。今日，我们看到眼睛追踪器作为输入装置日益广泛在各种装置和设备(范围从智能电话到飞机)中用于人机互动。为了能够在消费型产品中实现处理效率高的眼睛追踪，重要的是，追踪算法能够以简单但仍可靠的方式识别主体的瞳孔。以下是已知眼睛追踪解决方案的实例。
US 2018/0300589涉及使用机器学习(即，级联回归和手工模型拟合)进行混合式眼睛中心定位以对计算机作出改进。提出了眼睛中心(虹膜)检测的***和方法，它们使用级联回归器(回归森林的级联)以及用于训练级联回归器的***和方法。眼睛是使用面部特征对准方法来检测的。通过使用先进的特征与强大的回归手段两者而提高定位的健全性。通过新增健全的圆拟合后处理步骤，定位变得更为精确。还提供一种方法，其对于眼镜中心定位使用简单手工方法来训练级联回归器而不需要手动注释的训练数据。
US 2015/0160726描述用于执行眼睛注视追踪的***和方法。所述***被配置成并且所述方法包括：针对单个同轴成像设备而优化场景的照射；在优化的照射下使用单个同轴成像设备而捕捉图像；以及处理所捕捉的图像以执行注视估计。还提供动态照射控制、眼睛候选对象检测和筛选以及注视估计技术。
US 2015/0098620公开使用机器学习(即，级联回归和手工模型拟合)进行混合式眼睛中心定位以对计算机作出改进。提出了眼睛中心(虹膜)检测的***和方法，它们使用级联回归器(回归森林的级联)以及用于训练级联回归器的***和方法。眼睛是使用面部特征对准方法来检测的。通过使用先进的特征与强大的回归手段两者而提高定位的健全性。通过新增健全的圆拟合后处理步骤，定位变得更为精确。最后，这里提供一种方法，其对于眼镜中心定位使用简单手工方法训练级联回归器而不需要手动标注的训练数据。
这些已知的解决方案可提供可靠的眼睛追踪。然而，它们全部涉及需要相对多的处理资源的高度复杂的算法。这种复杂的算法又导致能量消耗。
发明内容
因此，本发明的一个目标是提供以高效率方式进行可靠的眼睛追踪的解决方案。
根据本发明的一个方面，此目标由一种在眼睛追踪器中执行的方法实现，所述方法涉及以下步骤：获得表示主体的至少一只眼睛的数字图像；根据搜索算法在数字图像中搜索瞳孔候选对象；以及基于所述搜索而在数字图像中确定至少一只眼睛的位置。所述方法还涉及获得光强度信息，该光强度信息表示在登记数字图像时将至少一只眼睛暴露于光的光能的估计量。响应于光强度信息，确定瞳孔尺寸范围。所述范围由搜索算法应用以使得所检测的瞳孔候选对象的尺寸必须处于所述范围内，以便作为主体的有效瞳孔被搜索算法接受。
此方法是有利的，这是因为此方法有效地将可能的瞳孔候选对象限制在极小的数量，通常是每个图像帧一个或两个。结果，可在后续追踪过程中节省处理资源。
根据本发明的此方面的一个实施例，瞳孔尺寸范围的确定涉及使用基于光强度信息来定义瞳孔尺寸范围的眼睛模型。优选地，定义瞳孔尺寸范围的眼睛模型是基于至少一个参数进行的，该参数描述对将至少一只眼睛暴露于光的光能的估计量的变化作出响应的瞳孔行为。因此，可准确地预测瞳孔尺寸。
根据本发明的此方面的另一实施例，瞳孔尺寸范围的确定基于一校准过程，该校准过程在获得表示将至少一只眼睛暴露于光的光能的估计量的光强度信息之前执行。校准过程涉及用第一强度和第二强度的光选择性地照射至少一只眼睛；以及针对第一强度和第二强度中的每一强度，登记至少一只眼睛的相应瞳孔尺寸。基于此，生成映射函数和/或查找表，其中所述映射函数和/或查找表描述将至少一只眼睛暴露于光的光能的估计量与至少一只眼睛在所述光能的估计量下展现的估计瞳孔尺寸之间的关系。优选地，瞳孔尺寸范围的确定包括考虑映射函数和/或查找表。结果，在任何给定的光照条件下确定估计瞳孔尺寸都是直接明了的。
优选地，校准过程还涉及记录收缩时长，其中收缩时长表示第一时间点与第二时间点之间的时间间隔。在第一时间点，瞳孔具有初始尺寸，并且照射的强度从第一强度增大到第二强度。第二时间点是瞳孔在暴露于第二强度的照射时达到最终尺寸的时间点。
类似地，校准过程还包括记录扩张时长，其中扩张时长表示第三时间点与第四时间点之间的时间间隔。在第三时间点，瞳孔具有初始尺寸，并且照射的强度从第二强度减小到第一强度。第四时间点是瞳孔在暴露于第一强度的照射时达到最终尺寸的时间点。因此，可快速地并以对主体最少干扰的方式得到眼睛模型的关键特征。
根据本发明的此方面的又一实施例，映射函数和/或查找表的生成还涉及估计至少一只眼睛的最小瞳孔尺寸和/或最大瞳孔尺寸。这是有益的，因为这会为瞳孔尺寸范围设置固定的外部边界，并且因此限定搜索范围。
根据本发明的此方面的又一实施例，所述方法包括经由布置在至少一只眼睛附近的光传感器而获得光强度信息。例如，光传感器可整合在主体佩戴的一副眼镜中。光传感器被配置成登记将至少一只眼睛暴露于光的光能的估计量。因此，传感器可为主体的估计瞳孔尺寸提供基础。
或者，所述方法可包括经由表示至少一只眼睛的图像信号而获得光强度信息，其中所述图像信号表示在至少一只眼睛的表面中反射的光能的量。因此，此处，图像传达光传感器信息，而光传感器信息又为主体的估计瞳孔尺寸提供基础。
作为另一替代方案，所述方法包括经由表示显示器的亮度的控制信号而获得光强度信息，其中所述显示器被布置成将视觉输入呈现给至少一只眼睛。换句话说，光传感器信息是通过曝光数据而间接获得的。甚至在主体的眼睛暴露于所讨论的光之前，这数据实际上就已是可用的。当然，这对于在给定时间点确定瞳孔尺寸的适当范围是有益的。
优选考虑生成控制信号的时间点与将视觉输入呈现给至少一只眼睛的时间段之间的***延迟来确定瞳孔尺寸范围。因此，可调整瞳孔尺寸范围以使瞳孔尺寸范围与将至少一只眼睛暴露于光的光的变化在时间上协调。
根据本发明的此方面的又一实施例，控制信号是基于所记录的视频信号。此处，瞳孔尺寸范围的确定还包括确定基础时间点与将视觉输入呈现给至少一只眼睛的时间段之间的延长的***延迟。所呈现的视觉内容是在基础时间点之后的时间点生成的。换句话说，眼睛追踪器知道至少一只眼睛的未来光暴露。接着，考虑延长的***延迟来确定瞳孔尺寸范围。因此，可与将至少一只眼睛暴露于光的光的变化同步地调整瞳孔尺寸范围。
根据本发明的此方面的又一实施例，控制信号是基于计算机生成的视频信号。同样在这种情况下，瞳孔尺寸范围的确定还包括确定基础时间点与预期将估计的视觉输入呈现给至少一只眼睛的时间段之间的延长的***延迟，并且估计的视觉输入是在基础时间点之后的时间点生成的。接着，考虑延长的***延迟来确定瞳孔尺寸范围。同样，这使得可以使瞳孔尺寸范围的调整与将至少一只眼睛暴露于光的光的变化同步。
根据本发明的又一方面，所述目标由一种计算机程序产品实现，所述计算机程序产品可加载到与处理电路通信连接的非易失性数据载体中。所述计算机程序产品含有软件，所述软件被配置成当计算机程序产品在处理电路上运行时，使处理电路：获得表示主体的至少一只眼睛的数字图像；根据搜索算法在数字图像中搜索瞳孔候选对象；并且基于所述搜索而在数字图像中确定至少一只眼睛的位置。具体来说，软件被配置成使处理电路：获得表示在登记数字图像时将至少一只眼睛暴露于光的光能的估计量的光强度信息；并且响应于光强度信息，确定瞳孔尺寸范围，所述瞳孔尺寸范围将由搜索算法在所述搜索中应用以使得所检测的瞳孔候选对象的尺寸必须处于所述瞳孔尺寸范围内，以作为主体的有效瞳孔被搜索算法接受。
根据本发明的另一方面，所述目标由一种非易失性数据载体实现，其中所述数据载体含有此计算机程序。
从上文关于在眼睛追踪器中执行的方法的论述中可以清楚知道这种计算机程序产品和非易失性数据载体的优点。
根据本发明的又一方面，上述目标由一种眼睛追踪器实现，所述眼睛追踪器含有处理电路，所述处理电路被配置成：获得表示主体的至少一只眼睛的数字图像；根据搜索算法在数字图像中搜索瞳孔候选对象；并且基于所述搜索而在数字图像中确定至少一只眼睛的位置。处理电路还被配置成获得表示在登记数字图像时到达至少一只眼睛的光能的量的光强度信息。响应于光强度信息，处理电路被配置成确定瞳孔尺寸范围，所述瞳孔尺寸范围将由搜索算法在所述搜索中应用以使得所检测的瞳孔候选对象的尺寸必须处于所述瞳孔尺寸范围内，以作为主体的有效瞳孔被搜索算法接受。
根据本发明的其它方面，所述目标由一种头戴设备实现，其中所述头戴设备包括所提出的眼睛追踪器。优选地，头戴设备还含有被配置成将视觉数据呈现给主体的至少一个显示器，所述视觉数据表示增强现实数据和/或虚拟现实图形。从上文关于所提出的方法的论述中可以清楚知道这种眼睛追踪器、头戴设备和眼睛追踪器布置的优点。
将从具体实施方式和从属权利要求清楚本发明的其它优点、有利特征和应用。
附图说明
现将通过作为实例公开的优选实施例并参照附图来更贴切地解释本发明。
图1示意性地图示根据本发明的一个实施例，主体的眼睛如何暴露于光；
图2示出根据本发明的一个实施例的眼睛追踪器的框图；
图3表示主体的眼睛的数字图像，其中所述数字图像是根据本发明的一个实施例来使用的；
图4示出示范根据本发明的一个实施例的校准过程的图表，其中主体的眼睛由第一强度和第二强度的光选择性地照射；
图5示出示范显示器的亮度如何随时间变化并且示范关注显示器的主体的瞳孔尺寸因此如何改变的图表；
图6示出根据本发明的一个实施例的头戴设备；
图7示出根据本发明的另一实施例的头戴设备；
图8示出根据本发明的一个实施例的眼睛追踪器布置，其中所述眼睛追踪器布置被配置成经由与主体物理分离的显示器而将视觉信息呈现给主体；以及
图9通过流程图图示根据本发明的一般方法。
具体实施方式
图1示意性地示出主体的眼睛E，其中眼睛E位于有源光源110附近。因此，眼睛E暴露于强度Q的光，其中强度Q的光使眼睛的瞳孔达到尺寸dP，从而允许适量的光进入到眼睛E中。因为瞳孔被布置成经由瞳孔尺寸dP的调整来控制到眼睛E中的光输入，所以相对高的光强度Q通常导致相当地小的瞳孔尺寸dP，并且反之亦然。
图2示出根据本发明的一个的实施例的眼睛追踪器210的框图，并且图3示出眼睛E的数字图像Dimg。
眼睛追踪器210含有处理电路220，其中处理电路220被配置成获得表示主体的至少一只眼睛E的数字图像Dimg。通常，数字图像Dimg表示由摄像机登记(register)的图像帧。然而，根据本发明，数字图像Dimg可由任何其它成像装置(例如，静态相机)登记。
在任何情况下，处理电路220被配置成根据搜索算法在数字图像Dimg中搜索瞳孔候选对象；并且基于所述搜索，针对至少一只眼睛E中的每一只眼睛，在数字图像Dimg中确定相应位置PE。相应位置PE可由指定数字图像Dimg中的具体坐标的x值和y值表示。
处理电路220被进一步配置成获得表示在登记数字图像Dimg时到达眼睛E的光能Q的量的光强度信息DQ。
光强度信息DQ可经由布置在眼睛E附近的光传感器(例如，参见图6中的630)来获得。光传感器被配置成登记将眼睛E暴露于光的光能Q的估计量。光能Q则可源自环境光和/或源自将图像数据呈现给主体的显示器。
或者，光强度信息DQ可经由表示眼睛E的图像信号(例如，视频序列)来获得。因此，除了再现眼睛E的外观之外，图像信号例如通过再现眼睛E的图像数据中的像素值而指示在至少一只眼睛E的表面中反射的光能的量。
作为另一替代方案，光强度信息DQ可经由表示显示器650、750和/或850的亮度L的控制信号来获得，其中显示器650、750和/或850被布置成将视觉输入呈现给眼睛E(参见图6、图7和图8)。即，如果显示器650、750或850分别位于眼睛E附近，并且显示器650、750或850呈现图像数据，那么此图像数据的亮度L将很大程度地与主体的瞳孔行为相关。更精确地说，如果呈现高亮度L的图像数据，那么瞳孔尺寸dP可望相对小，并且如果呈现低亮度L的图像数据，那么瞳孔尺寸dP可望相对大。
然而，响应于光强度信息DQ，处理电路220被配置成确定瞳孔尺寸范围R-dP。瞳孔尺寸范围R-dP由搜索算法在搜索中应用以使得所检测的瞳孔候选对象的尺寸必须处于瞳孔尺寸范围R-dP内，以便作为主体的有效瞳孔被搜索算法接受。
优选地，瞳孔尺寸范围R-dP通过使用眼睛模型来确定，所述眼睛模型基于光强度信息DQ来定义瞳孔尺寸范围R-dP。例如，定义瞳孔尺寸范围R-dP的眼睛模型可以基于一个或多个参数，所述参数描述对于将眼睛E暴露于光的光能Q的估计量的变化作出响应的瞳孔行为。此处，第一参数可描述当眼睛E受到增大的量的光能Q时瞳孔直径dP收缩的过程，并且第二参数可描述当将眼睛E暴露于光的光能Q的量减小时瞳孔直径dP扩张的过程。
根据本发明的一个替代方面，所检测的瞳孔候选对象不一定必须处于瞳孔尺寸范围R-dP内才能作为主体的有效瞳孔被搜索算法接受。根据本发明的此方面，瞳孔尺寸范围R-dP改为构成一个或多个其它软决策准则中的一个软决策准则。此处，如果例如光能Q的估计量相对高，并且因此瞳孔尺寸范围R-dP定义相当地小的最大可接受瞳孔，那么如果其它软决策准则中的一个或更多个软决策准则提供用于接受大瞳孔候选对象(其尺寸在范围R-dP之外)的令人信服的依据，那么此大瞳孔候选对象仍可被接受。
图4示出示范根据本发明的一个实施例的校准过程的图表。此图表反映沿垂直轴的光强Q和沿水平轴的时间t。
在旨在识别主体的瞳孔的眼睛追踪器的稳态操作中，在确定瞳孔尺寸范围R-dP之前执行校准过程。校准过程包括选择性地分别用第一强度QL和第二强度QH的光照射主体的眼睛E。分别针对第一强度QL和第二强度QH中的每一个，登记眼睛E的瞳孔尺寸dP。基于此，生成映射函数，其中所述映射函数描述将眼睛E暴露于光的光能Q的估计量与眼睛E在光能Q的此估计量下展现的估计瞳孔尺寸之间的关系。作为附加或替代，还可以生成查找表以表示将眼睛E暴露于光的光能Q的估计量与眼睛E在光能Q的所述估计量下展现的估计瞳孔尺寸之间的关系。
图2示出存储映射函数235的第一存储器电路230和存储查找表245的第二存储器电路240。处理电路220优选被配置成经由校准过程而生成映射函数235和查找表245中的至少一个，例如，如下文所述那样。接着，在稳态操作中，处理电路220被配置成使用映射函数235和/或查找表245以得出瞳孔尺寸范围R-dP。
根据本发明的实施例，校准过程包括记录收缩时长(或收缩时延，contractivelatency)LC和/或扩张时长(或扩张时延，dilative latency)LD，即，眼睛E分别适应于增大和减小的光强度所花费的时间。
收缩时长LC表示第一时间点t1与第二时间点t1'之间的时间间隔。在第一时间点t1，瞳孔具有初始尺寸dP，其中初始尺寸dP被假定为相对大。优选地，在第一时间点t1，眼睛E暴露于第一强度QL的光，其中所述第一强度QL如此低以致于瞳孔尺寸dP至少接近其最大可能直径。在第一时间点t1，照射的强度从第一强度QL增大到第二强度QH。结果，瞳孔尺寸dP开始减小。第二时间点t1'是瞳孔已在暴露于第二强度QH的照射时达到最终尺寸的时间点。换句话说，在第二时间点t1'，眼睛E已完全适应于改变的光照条件。例如，可在瞳孔尺寸dP保持不变的探测周期ts之后得出这个结论。
类似地，扩张时长LD表示第三时间点t2与第四时间点t2'之间的时间间隔。在第三时间点t2，瞳孔具有初始尺寸dP，其中初始尺寸dP被假定为相对小。优选地，在第三时间点t2，瞳孔尺寸dP至少接近其最小可能直径。在第三时间点t2，照射的强度从第二强度QH减小到第一强度QL。结果，瞳孔尺寸dP开始增大。此过程通常比收缩过程稍慢，这在图4中象征性地反映出来。在第四时间点t2'，瞳孔已在暴露于第一强度QL的照射时达到最终尺寸。即，眼睛E已完全适应于改变的光照条件。例如，可在瞳孔尺寸dP保持不变的探测周期ts之后得出这个结论。
根据本发明的实施例，进一步生成映射函数235和/或查找表245以使得它们含有眼睛E的最小瞳孔尺寸和/或最大瞳孔尺寸的估计。优选地，这些估计基于上述校准过程，其中所述校准过程可在主体开始使用眼睛追踪器的初始阶段执行。
在稳态操作中，处理电路220优选被配置成通过考虑映射函数235和/或查找表245来确定瞳孔尺寸范围R-dP。即，因此，由于校准过程，这些资源为在光强度Q的宽范围上准确地确定瞳孔尺寸范围R-dP提供了坚实的基础。
优选地，收缩时长LC和扩张时长LD是在带有容差的情况下定义的。这意味着，在实践中，处理电路220分别接受收缩时长LC和扩张时长LD的标称值周围的一些变化。这些变化又可通过由处理电路220应用的算法的一个或两个额外参数来描述。
图5示出示范显示器的亮度L如何随时间t变化的图表。图5中的图表还图示正关注显示器的主体的瞳孔尺寸dP如何由于变化的亮度L而改变。
为了调整瞳孔尺寸范围R-dP以使其与将眼睛E暴露于光的光的强度的变化在时间上协调，在眼睛追踪器的稳态操作中，瞳孔尺寸范围R-dP优选是考虑***延迟D来确定的。***延迟D表示生成控制信号的时间点t3与将视觉输入呈现给眼睛E的时间段t4到t6之间的时间段。
在此实例中，我们假设控制信号使显示器的亮度L在t4开始增大。这种增大线性地持续直到t6。在t4与t6之间的时间点t5，眼睛E的瞳孔尺寸dP开始响应于增大的显示器亮度L而减小，并且在t6之后的更迟的时间点t7，瞳孔尺寸dP已达到直径dPb。
基于例如由映射函数235和/或查找表245捕获的关于亮度L和上述校准过程的信息，处理电路220被配置成指派包含瞳孔尺寸dPb的瞳孔尺寸范围R-dPb。因此，眼睛追踪算法将能够以直接明了的方式在图像数据Dimg中识别主体的眼睛E。
在本发明的一个实施例中，图5的控制信号基于所记录的视频信号。瞳孔尺寸范围R-dP的确定还包括确定延长的***延迟Dest。延长的***延迟Dest表示基础时间点t0与将视觉输入呈现给眼睛E的时间段t4到t6之间的时间段。此处，所呈现的视觉内容是在基础时间点t0之后的时间点t3生成的。换句话说，在基础时间点t0，尚未生成控制信号，其中视觉内容将响应于所述控制信号而被呈现。然而，因为视觉内容源自所记录的视频信号，所以有可能知道这种未来控制信号。因此，可以考虑延长的***延迟Dest来确定瞳孔尺寸范围R-dP。这意味着，处理电路220可被给予足够的时间来确定瞳孔尺寸范围R-dP，以使得可与将眼睛E暴露于光的光的变化同步地调整此范围。
在本发明的另一实施例中，图5的控制信号改为基于例如表示视频游戏环境或计算机模拟3D模型的计算机生成的视频信号。这里同样，瞳孔尺寸范围R-dP的确定还包括确定基础时间点t0与预期将估计的视觉输入呈现给至少一只眼睛E的时间段t4到t6之间的延长的***延迟Dest。类似于上述内容，估计的视觉输入也是在基础时间点t0之后的时间点t3生成的。虽然未来控制信号不可能像基于所记录的视频信号那样是准确知道的，但是此处也仍然可能考虑延长的***延迟Dest来确定瞳孔尺寸范围R-dP。即，假定当前场景在基础时间点t0由计算机生成的视频信号表示，那么由于由图形环境所设定的约束条件，可按相当高的准确度估计在时间点t3的控制信号。例如，第一人称游戏中的虚拟形象可仅在t0与t3之间将其视野移动和/或旋转过有限的量。
图6示出头戴设备600，其中头戴设备600或者没有显示器或者包含显示器650，显示器650被配置成将视觉输入呈现给主体的眼睛E。在前一种情况下，头戴设备600专门适用于追踪主体的眼睛移动和/或注视位置。在后一种情况下，头戴设备600可被配置成将表示增强现实的视觉数据呈现给主体。
在任何情况下，头戴设备600含有：照明器610a、610b、610c、610d、610e、610f和610g，被配置成在眼睛E上产生光的图案；相机620a和620b，被配置成登记表示眼睛E的图像数据Dimg；以及电池，被配置成用电能给头戴设备600供电。头戴设备600还含有所提出的眼睛追踪器210，其中眼睛追踪器210被配置成以如上所述方式确定瞳孔尺寸范围R-dP。此外，头戴设备可含有光传感器630，其中光传感器630被配置成登记将眼睛E暴露于光的光能Q的估计量。
图7示出根据本发明的一个实施例的另一头戴设备700，其中头戴设备700被配置成将虚拟现实图形呈现给主体。头戴设备700可含有：光传感器(未示出)，被配置成登记将主体的至少一只眼睛暴露于光的光能Q的估计量；以及显示器750，被配置成将视觉输入呈现给至少一只眼睛。或者，光强度信息DQ可经由表示显示器750的亮度L的控制信号来获得，其中显示器750被布置成将视觉输入呈现给眼睛E。因为显示器750位于眼睛E附近，并且显示器750和眼睛E处于没有环境光或具有少量环境光的封闭环境中，所以此图像数据的亮度L将很大程度地与主体的瞳孔行为相关。头戴设备700还含有所提出的眼睛追踪器210，其中眼睛追踪器210被配置成以如上所述方式确定瞳孔尺寸范围R-dP。
图8示出根据本发明的一个实施例的被配置成经由与主体物理分离的显示器850而将视觉信息呈现给主体的眼睛追踪器布置。
此处，光传感器830可被配置成登记将主体的至少一只眼睛暴露于光的光能Q的估计量。相机照明器单元840被配置成在主体的至少一只眼睛上产生光的图案，并且登记表示至少一只眼睛的图像数据Dimg。眼睛追踪器布置还含有眼睛追踪器210，其中眼睛追踪器210被配置成以如上所述方式确定瞳孔尺寸范围R-dP。
概括地说，并且参照图9中的流程图，现将描述根据本发明的在眼睛追踪器中执行的一般方法。
在第一步骤910中，获得数字图像，其中所述数字图像表示主体的至少一只眼睛。此后，在步骤920中，获得光强度信息，其中所述光强度信息表示在登记数字图像时将至少一只眼睛暴露于光的光能的估计量。在后续步骤930中，确定瞳孔尺寸范围。
在接着的步骤940中，搜索算法在数字图像中搜索瞳孔候选对象。搜索算法应用瞳孔尺寸范围，以使得所检测的瞳孔候选对象的尺寸必须处于瞳孔尺寸范围内，以便作为主体的有效瞳孔被搜索算法接受。
接着，在步骤950中，判断搜索算法是否已找到主体的至少一个有效瞳孔。如果是，步骤960接着进行；否则，过程循环回到步骤910。
在步骤960中，基于搜索，在数字图像中确定至少一只眼睛的相应位置。此后，过程循环回到步骤910。
上文参照图9所述的所有过程步骤以及步骤的任何子序列可通过至少一个经编程的处理器来控制。此外，虽然上文参照附图所述的本发明的实施例包括处理器以及在至少一个处理器中执行的过程，但本发明因此也延伸到适用于将本发明付诸实践的计算机程序，特别是载体上或载体中的计算机程序。程序可呈源代码、目标代码、代码中间源和目标代码(诸如，呈部分编译的形式)的形式，或呈适用于根据本发明的过程的实施的任何其它形式。程序可以是操作***的一部分或独立应用程序。载体可以是能够携载程序的任何实体或装置。例如，载体可包括：存储介质，诸如，闪速存储器、只读存储器(ROM)，例如，数字视频/多功能盘(DVD)、压缩光盘(CD)或半导体ROM、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)；或磁性记录介质，例如，软盘或硬盘。此处，载体可以是可传输载体，诸如，经由电缆或光缆或通过无线电或其它手段输送的电信号或光信号。当程序体现在可直接通过缆线或其它装置或手段输送的信号中时，载体可由此缆线或装置或手段构成。或者，载体可以是其中体现了程序的集成电路，所述集成电路适用于执行相关过程或用于执行相关过程。
下文是定义根据本发明的一个方面的眼睛追踪器的一组带编号的条款。
带编号的条款1：一种眼睛追踪器(210)，包括处理电路(220)，所述处理电路(220)被配置成：
获得表示主体的至少一只眼睛(E)的数字图像(Dimg)，
根据搜索算法在所述数字图像(Dimg)中搜索瞳孔候选对象，并且
基于所述搜索而在所述数字图像(Dimg)中确定所述至少一只眼睛(E)的位置(PE)，
其中所述处理电路(220)被进一步配置成：
获得光强度信息(DQ)，该光强度信息表示在登记所述数字图像(Dimg)时到达所述至少一只眼睛(E)的光能(Q)的量的，并且响应于所述光强度信息(DQ)，
确定瞳孔尺寸范围(R-dP)，所述瞳孔尺寸范围(R-dP)将在所述搜索中由所述搜索算法应用以使得所检测的瞳孔候选对象的所述尺寸必须处于所述瞳孔尺寸范围(R-dP)内，以作为所述主体的有效瞳孔被所述搜索算法接受。
带编号的条款2：根据带编号的条款1所述的眼睛追踪器，其中所述处理电路(220)被配置成通过使用眼睛模型来确定所述瞳孔尺寸范围(R-dP)，所述眼睛模型基于所述光强度信息(DQ)来定义所述瞳孔尺寸范围(R-dP)。
带编号的条款3：根据带编号的条款2所述的眼睛追踪器，其中定义所述瞳孔尺寸范围(R-dP)的所述眼睛模型进一步基于至少一个参数，所述参数描述对将所述至少一只眼睛(E)暴露于光的光能(Q)的所述估计量的变化作出响应的瞳孔行为。
带编号的条款4：根据带编号的条款1到3中任一项所述的眼睛追踪器(210)，其中在获得光强度信息(DQ)之前——所述光强度信息表示将所述至少一只眼睛(E)暴露于光的光能(Q)的估计量——所述处理电路(220)被配置成执行包括以下各者的校准过程：
择性地用第一强度(QL)和第二强度(QH)的光选对所述至少一只眼睛(E)进行照射，
针对所述第一强度(QL)和所述第二强度(QH)中的每一强度，登记所述至少一只眼睛(E)的瞳孔尺寸(dP)，以及基于此
生成映射函数(235)和查找表(245)中的至少一个，其中所述映射函数(235)和所述查找表(245)描述到达所述至少一只眼睛(E)的光能(Q)的估计量与所述至少一只眼睛(E)在光能(Q)的所述估计量下展现的估计瞳孔尺寸之间的关系。
带编号的条款5：根据带编号的条款4所述的眼睛追踪器(210)，其中在所述校准过程中，所述处理电路(220)被进一步配置成记录表示以下两者之间的时间间隔的收缩时长(LC)：
第一时间点(t1)，此时所述瞳孔具有初始尺寸，并且照射的强度从所述第一强度(QL)增大到所述第二强度(QH)；以及
第二时间点(t1')，此时所述瞳孔在暴露于所述第二强度(QH)的照射时已达到最终尺寸。
带编号的条款6：根据带编号的条款4或5中任一项所述的眼睛追踪器(210)，其中在所述校准过程中，所述处理电路(220)被进一步配置成记录表示以下两者之间的时间间隔的扩张时长(LD)：
第一时间点(t2)，此时所述瞳孔具有初始尺寸，并且照射的强度从所述第二强度(QH)减小到所述第一强度(QL)；以及
第二时间点(t2')，此时所述瞳孔在暴露于所述第一强度(QL)的照射时已达到最终尺寸。
带编号的条款7：根据带编号的条款2到6中任一项所述的眼睛追踪器(210)，其中所述处理电路(220)被进一步配置成当生成所述映射函数(235)和所述查找表(245)中的所述至少一个时，估计所述至少一只眼睛(E)的最小瞳孔尺寸和最大瞳孔尺寸中的至少一个。
带编号的条款8：根据带编号的条款3到7中任一项所述的眼睛追踪器(210)，其中所述处理电路(220)被配置成考虑所述映射函数(235)和所述查找表(245)中的所述至少一个而确定所述瞳孔尺寸范围(R-dP)。
带编号的条款9：根据带编号的条款1到8中任一项所述的眼睛追踪器(210)，包括：
经由布置在所述至少一只眼睛(E)附近的光传感器(630)而获得所述光强度信息(DQ)，其中所述光传感器(630)被配置成登记到达所述至少一只眼睛(E)的光能(Q)的量。
带编号的条款10：根据带编号的条款1到8中任一项所述的眼睛追踪器(210)，其中所述处理电路(220)被配置成：
经由表示所述至少一只眼睛(E)的图像信号而获得所述光强度信息(DQ)，其中所述图像信号表示在所述至少一只眼睛(E)的表面中反射的光能的量。
带编号的条款11：根据带编号的条款1到8中任一项所述的眼睛追踪器(210)，其中所述处理电路(220)被配置成：
经由表示显示器(650、750、850)的亮度(L)的控制信号来获得所述光强度信息(DQ)，其中所述显示器(650、750、850)被布置成将视觉输入呈现给所述至少一只眼睛(E)。
带编号的条款12：根据带编号的条款11所述的眼睛追踪器(210)，其中所述处理电路(220)被进一步配置成：
考虑生成所述控制信号的时间点(t3)与将所述视觉输入呈现给所述至少一只眼睛(E)的时间段(t4到t6)之间的***延迟(D)来确定所述瞳孔尺寸范围(R-dP)。
带编号的条款13：根据带编号的条款11所述的眼睛追踪器(210)，其中所述控制信号是基于所记录的视频信号，并且所述处理电路(220)被进一步配置成：
确定基础时间点(t0)与将所述视觉输入呈现给所述至少一只眼睛(E)的时间段(t4到t6)之间的延长的***延迟(Dest)，所述所呈现的视觉内容是在所述基础时间点(t0)之后的时间点(t3)生成的，并且
考虑所述延长的***延迟(Dest)来确定所述瞳孔尺寸范围(R-dP)。
带编号的条款14：根据带编号的条款11所述的眼睛追踪器(210)，其中所述控制信号是基于计算机生成的视频信号，并且所述处理电路(220)被进一步配置成：
确定基础时间点(t0)与预期将估计的视觉输入呈现给所述至少一只眼睛(E)的时间段(t4到t6)之间的延长的***延迟(Dest)，所述估计的视觉输入是在所述基础时间点(t0)之后的时间点(t3)生成的，并且
考虑所述延长的***延迟(Dest)来确定所述瞳孔尺寸范围(R-dP)。
术语“包括/由……构成”在用于本说明书中时用于指定所陈述的特征、整体、步骤或部件的存在。然而，所述术语不排除一个或更多个额外特征、整体、步骤或部件或其群组的存在或添加。
本发明不限于附图中的所描述的实施例，而是可在权利要求书的范围内自由变化。
Claims (20)
1.一种在眼睛追踪器(210)中执行的方法，所述方法包括：
获得表示主体的至少一只眼睛(E)的数字图像(Dimg)，
根据搜索算法在所述数字图像(Dimg)中搜索瞳孔候选对象，以及
基于搜索而在所述数字图像(Dimg)中确定所述至少一只眼睛(E)的位置(PE)，
其特征在于：
获得光强度信息(DQ)，所述光强度信息(DQ)表示在登记所述数字图像(Dimg)时将所述至少一只眼睛(E)暴露于光的光能(Q)的估计量，并且响应于所述光强度信息(DQ)，
确定瞳孔尺寸范围(R-dP)，所述瞳孔尺寸范围(R-dP)将由所述搜索算法在所述搜索中应用，以使得所检测的瞳孔候选对象的尺寸必须处于所述瞳孔尺寸范围(R-dP)内才能作为所述主体的有效瞳孔被所述搜索算法接受。
2.根据权利要求1所述的方法，其中所述瞳孔尺寸范围(R-dP)的确定包括使用基于所述光强度信息(DQ)来定义所述瞳孔尺寸范围(R-dP)的眼睛模型。
3.根据权利要求2所述的方法，其中定义所述瞳孔尺寸范围(R-dP)的所述眼睛模型进一步基于至少一个参数，所述至少一个参数描述对将所述至少一只眼睛(E)暴露于光的光能(Q)的所述估计量的变化作出响应的瞳孔行为。
4.根据前述权利要求中任一项所述的方法，其中所述瞳孔尺寸范围(R-dP)的确定基于校准过程，所述校准过程是在获得表示将所述至少一只眼睛(E)暴露于光的光能(Q)的估计量的所述光强度信息(DQ)之前执行的，所述校准过程包括：
用第一强度(QL)和第二强度(QH)的光选择性地照射所述至少一只眼睛(E)，
针对所述第一强度(QL)和所述第二强度(QH)中的每一强度，登记所述至少一只眼睛(E)的瞳孔尺寸(dP)，并基于此
生成映射函数(235)和查找表(245)中的至少一个，其中所述映射函数(235)和所述查找表(245)描述将所述至少一只眼睛(E)暴露于光的光能(Q)的所述估计量与所述至少一只眼睛(E)在光能(Q)的所述估计量下展现的估计瞳孔尺寸之间的关系。
5.根据权利要求4所述的方法，其中所述校准过程还包括记录表示以下两者之间的时间间隔的收缩时长(LC)：
第一时间点(t1)，在所述第一时间点(t1)，所述瞳孔具有初始尺寸，并且照射的强度从所述第一强度(QL)增大到所述第二强度(QH)；以及
第二时间点(t1')，在所述第二时间点(t1')，所述瞳孔暴露于所述第二强度(QH)的照射时已达到最终尺寸。
6.根据权利要求4或5中任一项所述的方法，其中所述校准过程还包括记录表示以下两者之间的时间间隔的扩张时长(LD)：
第三时间点(t2)，在所述第三时间点(t2)，所述瞳孔具有初始尺寸，并且照射的强度从所述第二强度(QH)减小到所述第一强度(QL)；以及
第四时间点(t2')，在所述第四时间点(t2')，所述瞳孔暴露于所述第一强度(QL)的照射时已达到最终尺寸。
7.根据权利要求4到6中任一项所述的方法，其中所述映射函数(235)和所述查找表(245)中的所述至少一个的生成还包括估计所述至少一只眼睛(E)的最小瞳孔尺寸和最大瞳孔尺寸中的至少一个。
8.根据权利要求4到7中任一项所述的方法，其中所述瞳孔尺寸范围(R-dP)的确定包括考虑所述映射函数(235)和所述查找表(245)中的至少一个。
9.根据前述权利要求中任一项所述的方法，包括：
经由布置在所述至少一只眼睛(E)附近的光传感器(630)而获得所述光强度信息(DQ)，所述光传感器(630)被配置成登记将所述至少一只眼睛(E)暴露于光的光能(Q)的所述估计量。
10.根据权利要求1到8中任一项所述的方法，包括：
经由表示所述至少一只眼睛(E)的图像信号而获得所述光强度信息(DQ)，其中所述图像信号表示在所述至少一只眼睛(E)的表面中反射的光能的量。
11.根据权利要求1到8中任一项所述的方法，包括：
经由表示显示器(650、750、850)的亮度(L)的控制信号来获得所述光强度信息(DQ)，其中所述显示器(650、750、850)被布置成将视觉输入呈现给所述至少一只眼睛(E)。
12.根据权利要求11所述的方法，还包括：
考虑生成所述控制信号的时间点(t3)与将所述视觉输入呈现给所述至少一只眼睛(E)的时间段(t4到t6)之间的***延迟(D)来确定所述瞳孔尺寸范围(R-dP)。
13.根据权利要求11所述的方法，其中所述控制信号基于所记录的视频信号，并且所述瞳孔尺寸范围(R-dP)的确定还包括：
确定基础时间点(t0)与将所述视觉输入呈现给所述至少一只眼睛(E)的时间段(t4到t6)之间的延长的***延迟(Dest)，所述所呈现的视觉内容是在所述基础时间点(t0)之后的时间点(t3)生成的，以及
考虑所述延长的***延迟(Dest)来确定所述瞳孔尺寸范围(R-dP)。
14.根据权利要求11所述的方法，其中所述控制信号基于计算机生成的视频信号，并且所述瞳孔尺寸范围(R-dP)的确定还包括：
确定基础时间点(t0)与预期将所估计的视觉输入呈现给所述至少一只眼睛(E)的时间段(t4到t6)之间的延长的***延迟(Dest)，所述所估计的视觉输入是在所述基础时间点(t0)之后的时间点(t3)生成的，并且
考虑所述延长的***延迟(Dest)来确定所述瞳孔尺寸范围(R-dP)。
15.一种计算机程序产品(255)，其可加载到通信连接到处理电路(220)的非易失性数据载体(250)中，所述计算机程序产品(255)包括软件，所述软件被配置成当所述计算机程序产品(255)在所述处理电路(220)上运行时，使所述处理电路(220)：
获得表示主体的至少一只眼睛(E)的数字图像(Dimg)，
根据搜索算法在所述数字图像(Dimg)中搜索瞳孔候选对象，并且
基于搜索而在所述数字图像(Dimg)中确定所述至少一只眼睛(E)的位置(PE)，
其特征在于，当所述计算机程序产品(255)在所述处理电路(220)上运行时，所述软件被进一步配置成使所述处理电路(220)：
获得光强度信息(DQ)，所述光强度信息(DQ)表示在登记所述数字图像(Dimg)时将所述至少一只眼睛(E)暴露于光的光能(Q)的估计量，并且响应于所述光强度信息(DQ)，
确定瞳孔尺寸范围(R-dP)，所述瞳孔尺寸范围(R-dP)将由所述搜索算法在所述搜索中应用，以使得所检测的瞳孔候选对象的尺寸必须处于所述瞳孔尺寸范围(R-dP)内才能作为所述主体的有效瞳孔被所述搜索算法接受。
16.一种非易失性数据载体(250)，含有根据权利要求15所述的计算机程序产品(255)。
17.一种眼睛追踪器(210)，包括处理电路(220)，所述处理电路(220)被配置成：
获得表示主体的至少一只眼睛(E)的数字图像(Dimg)，
根据搜索算法在所述数字图像(Dimg)中搜索瞳孔候选对象，并且
基于搜索而在所述数字图像(Dimg)中确定所述至少一只眼睛(E)的位置(PE)，
其特征在于，所述处理电路(220)被进一步配置成：
获得光强度信息(DQ)，所述光强度信息(DQ)表示在登记所述数字图像(Dimg)时到达所述至少一只眼睛(E)的光能(Q)的量，并且响应于所述光强度信息(DQ)，
确定瞳孔尺寸范围(R-dP)，所述瞳孔尺寸范围(R-dP)将由所述搜索算法在所述搜索中应用，以使得所检测的瞳孔候选对象的尺寸必须处于所述瞳孔尺寸范围(R-dP)内才能作为所述主体的有效瞳孔被所述搜索算法接受。
18.一种头戴设备(600、700)，特征在于所述头戴设备(600、700)包括根据权利要求17所述的眼睛追踪器(210)。
19.根据权利要求18所述的头戴设备(600、700)，还包括至少一个显示器(650、750)，所述至少一个显示器(650、750)被配置成将视觉数据呈现给主体，所述视觉数据表示增强现实数据和/或虚拟现实图形中的至少一个。
20.一种眼睛追踪器布置，其被配置成经由与主体物理分离的显示器(850)而将视觉信息呈现给所述主体，其特征在于，所述眼睛追踪器布置包括根据权利要求17所述的眼睛追踪器(210)。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| SE1950791 | 2019-06-26 | ||
| SE1950791-2 | 2019-06-26 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112148119A true CN112148119A (zh) | 2020-12-29 |
Family
ID=73887864
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010579689.3A Pending CN112148119A (zh) | 2019-06-26 | 2020-06-23 | 用于在数字图像数据中确定眼睛位置的方法、眼睛追踪器和计算机程序 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11054903B2 (zh) |
| CN (1) | CN112148119A (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113253463A (zh) * | 2021-06-08 | 2021-08-13 | 江苏利君智能科技有限责任公司 | 一种实时性瞳孔收缩感应装置及其使用方法 |
| CA3237333A1 (en) * | 2022-06-02 | 2023-12-07 | Thomas Johannes WAWRZINEK | Eye tracker with hardware filtering and software sorting |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170024604A1 (en) * | 2015-07-22 | 2017-01-26 | Samsung Electronics Co., Ltd. | Imaging apparatus and method of operating the same |
| CN107920733A (zh) * | 2015-08-07 | 2018-04-17 | 皇家飞利浦有限公司 | 用于监测对象的眼睛的设备和*** |
| CN108780223A (zh) * | 2016-03-11 | 2018-11-09 | 欧库勒斯虚拟现实有限责任公司 | 用于生成眼睛模型的角膜球跟踪 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7431455B2 (en) * | 2005-03-22 | 2008-10-07 | Amo Manufacturing Usa, Llc | Pupilometer for pupil center drift and pupil size measurements at differing viewing distances |
| JP2003030659A (ja) * | 2001-07-16 | 2003-01-31 | Matsushita Electric Ind Co Ltd | 虹彩認証装置及び虹彩撮像装置 |
| US20100010370A1 (en) * | 2008-07-09 | 2010-01-14 | De Lemos Jakob | System and method for calibrating and normalizing eye data in emotional testing |
| US9305298B2 (en) * | 2013-03-22 | 2016-04-05 | Nok Nok Labs, Inc. | System and method for location-based authentication |
| CN103544420B (zh) * | 2013-08-15 | 2016-05-11 | 马建 | 用于智能眼镜的防伪虹膜身份认证方法 |
| US9633626B2 (en) * | 2015-03-12 | 2017-04-25 | Visteon Global Technologies, Inc. | Adjusting an electronic display based on gaze tracking |
| WO2017216799A1 (en) * | 2016-06-16 | 2017-12-21 | Hadasit Medical Research Services And Development Ltd. | Ablation catheter tips and catheters |
-
2020
- 2020-06-23 CN CN202010579689.3A patent/CN112148119A/zh active Pending
- 2020-06-26 US US16/914,261 patent/US11054903B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170024604A1 (en) * | 2015-07-22 | 2017-01-26 | Samsung Electronics Co., Ltd. | Imaging apparatus and method of operating the same |
| CN107920733A (zh) * | 2015-08-07 | 2018-04-17 | 皇家飞利浦有限公司 | 用于监测对象的眼睛的设备和*** |
| CN108780223A (zh) * | 2016-03-11 | 2018-11-09 | 欧库勒斯虚拟现实有限责任公司 | 用于生成眼睛模型的角膜球跟踪 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20210011551A1 (en) | 2021-01-14 |
| US11054903B2 (en) | 2021-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8066375B2 (en) | Eye tracker having an extended span of operating distances | |
| CN108700933B (zh) | 能够进行眼睛追踪的可穿戴设备 | |
| US9733703B2 (en) | System and method for on-axis eye gaze tracking | |
| JP4756660B2 (ja) | 画像処理装置および画像処理方法 | |
| US9164583B2 (en) | Method and apparatus for gaze point mapping | |
| JP6515086B2 (ja) | 経時的な確率的オブジェクト追跡のためのシステムおよび方法 | |
| CN109451240B (zh) | 对焦方法、装置、计算机设备和可读存储介质 | |
| JP5001930B2 (ja) | 動作認識装置及び方法 | |
| CN111726518A (zh) | 用于捕获图像的***和相机设备 | |
| US11163994B2 (en) | Method and device for determining iris recognition image, terminal apparatus, and storage medium | |
| CN112148119A (zh) | 用于在数字图像数据中确定眼睛位置的方法、眼睛追踪器和计算机程序 | |
| CN110051319A (zh) | 眼球追踪传感器的调节方法、装置、设备及存储介质 | |
| CN110516662A (zh) | 眼球追踪装置及其光源控制方法 | |
| KR20160046399A (ko) | 텍스쳐 맵 생성 방법 및 장치와 데이터 베이스 생성 방법 | |
| CN112099615B (zh) | 注视信息确定方法、装置、眼球追踪设备及存储介质 | |
| CN114898447B (zh) | 一种基于自注意力机制的个性化注视点检测方法及装置 | |
| JP2004157778A (ja) | 鼻位置の抽出方法、およびコンピュータに当該鼻位置の抽出方法を実行させるためのプログラムならびに鼻位置抽出装置 | |
| JP2001111882A (ja) | 被写体検出装置、画像処理装置、画像処理システム、被写体検出方法、画像処理方法、及び記憶媒体 | |
| KR102305880B1 (ko) | 사용자의 시선 추적 방법 및 사용자의 시선 추적 방법을 실행시키는 프로그램이 기록된 기록 매체 | |
| CN109766012B (zh) | 视线计算方法及装置 | |
| CN108919957A (zh) | 一种图像传输方法、装置、终端设备及存储介质 | |
| JP2001092971A (ja) | 画像処理装置および方法、並びに記録媒体 | |
| JP2019197295A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| Bazanov et al. | Gaze estimation for near-eye display based on fusion of starburst algorithm and fern natural features | |
| JP2000156775A (ja) | 撮影機と画像生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |