CN111522431A - 使用眼睛跟踪***对闪光进行分类 - Google Patents

使用眼睛跟踪***对闪光进行分类 Download PDF

Info

Publication number
CN111522431A
CN111522431A CN201911325884.7A CN201911325884A CN111522431A CN 111522431 A CN111522431 A CN 111522431A CN 201911325884 A CN201911325884 A CN 201911325884A CN 111522431 A CN111522431 A CN 111522431A
Authority
CN
China
Prior art keywords
image
pixel
flash
sub
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911325884.7A
Other languages
English (en)
Other versions
CN111522431B (zh
Inventor
约翰内斯·克朗
西蒙·约翰森
米凯尔·罗塞尔
玛卡雷娜·加西亚罗梅罗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tobii AB
Original Assignee
Tobii AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tobii AB filed Critical Tobii AB
Priority to CN202110931881.9A priority Critical patent/CN113608620A/zh
Publication of CN111522431A publication Critical patent/CN111522431A/zh
Application granted granted Critical
Publication of CN111522431B publication Critical patent/CN111522431B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Quality & Reliability (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

提供了一种用于使用头戴式设备的眼睛跟踪***通过以下方式步骤对闪光进行分类的方法、***以及非暂时性计算机可读存储介质：获得第一眼睛的当前图像(图像t+1)中存在的任何闪光的位置；获得数据集，该数据集指示在第一眼睛的一个或多个先前所捕获的图像中所检测到的至少一个闪光的相应位置；以及针对当前图像(图像t+1)中存在的每个闪光，确定闪光的位置是否对应于数据集中的闪光的位置；以及如果这些位置相对应，则将闪光分类为静态闪光。静态闪光可以从眼睛跟踪***中的进一步处理中被排除。如果头戴式设备的用户的眼睛已经移动，则实施例可以进一步包括基于当前图像(图像t+1)来更新数据集。

Description

使用眼睛跟踪***对闪光进行分类
技术领域
本公开总体上涉及在头戴式设备中在通过眼睛跟踪所识别的闪光之中、对这些闪光进行分类。本公开还涉及对应的方法、***和存储介质。
背景技术
许多现有的眼睛跟踪和视线跟踪解决方案采用闪光检测作为跟踪的一部分。例如，角膜反射眼睛或视线跟踪***的主要部件可以包括对近红外(NIR)光敏感的视频摄像头、通常安装用于沿摄像头的光轴发射光的NIR照明器(通常是发光二极管)以及用于分析由摄像头捕获的图像的处理电路。通常采用NIR光，因为用户不能看到这种光，因此不被它分散注意力。角膜反射眼睛或视线跟踪***通常将来自照明器的光朝向用户的眼睛投射并监视在瞳孔位置与光束反射之间的角度差。从眼睛中反射的光包括“闪光”，闪光是照明器从角膜(通常是眼睛的角膜凸出部的前表面)反射的非常小且非常明亮的虚拟图像。在已经捕获被照射的眼睛的图像之后，处理电路被通常配置用于执行图像处理(例如包括强度阈值确定和边缘检测)以从由摄像头捕获图像中识别闪光和瞳孔。使用图像处理的信息，然后可以执行眼睛跟踪和/或视线跟踪。
如果没有准确地检测到闪光，则这将在眼睛跟踪和/或视线跟踪结果中引入误差。闪光检测中一个常见问题是：当眼睛跟踪或视线跟踪***的用户正在戴着眼镜时，眼镜会提供反射表面，来自照明器的光从该反射表面被朝向摄像头反射。由此，附加的闪光被引入到所捕获的图像中，这些附加的闪光不是由来自用户的眼睛的角膜的反射引起的。由来自眼镜或存在于摄像头与用户的眼睛之间的任何其他反射表面的光的反射引起的闪光在下文中可以被称为“假闪光”。由来自用户的眼睛的角膜的反射引起的闪光在下文中可以被称为“真闪光”。
假闪光可以引起严重的眼睛跟踪或视线跟踪问题，从而影响眼睛跟踪或视线跟踪***的准确性和精度。
需要为一个或多个已发现的问题提供解决方案。
发明内容
提供具有独立权利要求中所限定的特征的方法、***以及计算机可读存储介质，用于解决或至少改善一个或多个所发现的问题。在从属权利要求中限定优选的实施例。
具体地，本文中所呈现的实施例旨在为用户实现优化的视觉体验、并且旨在实现眼睛跟踪或注视跟踪的性能的可能的最佳先决条件。本文中所使用的术语“眼睛跟踪”可以被理解为包括：在现实世界中、在眼睛的3D模型中、在描绘眼睛的2D图像中跟踪或观察眼睛的真实部分；或确定眼睛正在跟踪或注视着的对象。确定眼睛正在跟踪或注视着的对象也可以被称为视线跟踪。如果仅使用这个术语，则术语“眼睛跟踪”因此可以被理解为包括视线跟踪。
这些目的通过以下方式来实现：提供用于对闪光进行分类、具体地对用户的眼睛图像中呈现的静态闪光(即，即使眼睛移动也不会从一个所捕获的图像帧移动到下一个图像帧的闪光)进行分类的解决方案。如本文所述，静态闪光是一种特殊类型的假闪光，即不是由用户眼睛的角膜或眼睛的任何其他部分的反射引起的闪光。换句话说，所有的静态闪光都是假闪光，但是并非所有的假闪光都是静态闪光。
使用包括在眼睛跟踪或视线跟踪***中的任何类型的成像传感器、成像设备、摄像头等来捕获用户的眼睛的图像。下文中，将使用术语“摄像头”，但是应理解，在本公开的背景下，术语“摄像头”可以指被配置用于基于入射光生成图像的任何类型的成像传感器、成像设备等。在一个或多个实施例中，眼睛跟踪或视线跟踪***被包括在头戴式设备中。
在第一方面，提供了用于使用头戴式设备的眼睛跟踪***对闪光进行分类的方法的实施例，该方法包括：
-使用处理电路获得头戴式设备的用户的、正被一个或多个照明器照射的第一眼睛的当前图像中存在的任何闪光的相应位置，其中，该当前图像是在后继时刻捕获的；
-使用该处理电路获得数据集，该数据集指示在被一个或多个照明器照射的第一眼睛的一个或多个先前所捕获的图像中所检测到的至少一个闪光的相应位置；
其中，针对当前图像中存在的每个所获得的闪光，该方法进一步包括：
-使用处理电路确定当前图像中的闪光的位置是否对应于数据集中的所检测到的闪光中的任何闪光的位置；以及
-如果该当前图像中的闪光的位置对应于数据集中的所检测到的闪光的任何闪光的位置，则使用处理电路将闪光分类为静态闪光。
在一些实施例中，该方法可以进一步包括：在使用处理电路确定当前图像中的闪光的位置是否对应于数据集中的任何所检测到的闪光的位置之前，使用处理电路执行眼睛跟踪以确定在先前时刻与后继时刻之间头戴式设备的用户的第一眼睛是否已经移动；如果确定在先前时刻与后继时刻之间第一眼睛已经移动，则使用处理电路来基于当前图像中存在的任何闪光的相应位置更新数据集。
该方法可以进一步包括使用处理电路排除任何静态闪光，用于在眼睛跟踪***中进一步处理。
根据第二方面，提供了用于对闪光进行分类的头戴式设备的眼睛跟踪***的实施例，该***包括处理电路，该处理电路被配置用于：
-获得该头戴式设备的用户的、正被一个或多个照明器照射的第一眼睛的当前图像中存在的任何闪光的相应位置，其中，该当前图像是在后继时刻捕获的；
-获得数据集，该数据集指示在被一个或多个照明器照射的第一眼睛的一个或多个先前所捕获的图像中检测到的至少一个闪光的相应位置，
其中，针对当前图像中存在的所获得的至少一个闪光中的每个闪光，该处理电路被进一步配置用于：
-确定当前图像中的闪光的位置是否对应于数据集中的所检测到的闪光中的任何闪光的位置；以及
-如果当前图像中闪光的位置对应于数据集中所检测到的闪光中的任何闪光的位置，则将该闪光分类为静态闪光。
在一些实施例中，处理电路可以进一步被配置用于：如果当前图像中的闪光的位置对应于数据集中的所检测到的闪光中的任何闪光的位置，则执行眼睛跟踪以确定在先前时刻与后继时刻之间头戴式设备的用户的第一眼睛是否已经移动；如果确定在先前时刻与后继时刻之间第一眼睛已经移动，则基于当前图像中存在的任何闪光的相应位置来更新数据集。
处理电路可以进一步被配置用于排除任何静态闪光，用于在眼睛跟踪***中进一步处理。
在第三方面，提供了一种头戴式设备，该头戴式设备包括根据本文所给出的任何实施例的眼睛跟踪***。
根据第四方面，提供了一种非暂时性计算机可读存储介质，该非暂时性计算机可读存储介质存储指令，当这些指令被***的处理电路执行时使***：
-使用处理电路获得头戴式设备的用户的、正被一个或多个照明器照射的第一眼睛的当前图像中存在的任何闪光的相应位置，其中，该当前图像是在后继时刻捕获的；
-使用处理电路获得数据集，该数据集指示在被一个或多个照明器照射的第一眼睛的一个或多个先前所捕获的图像中检测到的至少一个闪光的相应位置，
其中，非暂时性计算机可读存储介质进一步存储指令，当这些指令被***(200)的处理电路(210)执行时，针对当前图像中存在的每个所获得的闪光使***：
-使用处理电路确定当前图像中的闪光的位置是否对应于数据集中的所检测到的闪光中的任何闪光的位置；以及
-如果当前图像中的闪光的位置对应于数据集中的所检测到的闪光中的任何闪光的位置，则使用处理电路将闪光分类为静态闪光。
非暂时性计算机可读存储介质可以进一步存储指令，当这些指令被***的处理电路执行时使***：如果当前图像中的闪光的位置对应于数据集中的所检测到的闪光中的任何闪光的位置，则执行眼睛跟踪以确定在先前时刻与后继时刻之间头戴式设备的用户的第一眼睛是否已经移动；如果确定在先前时刻与后继时刻之间第一眼睛已经移动，则基于当前图像中存在的任何闪光的相应位置来更新数据集。
非暂时性计算机可读存储介质可以进一步存储指令，当这些指令被***的处理电路执行时使***排除任何静态闪光，用于在眼睛跟踪***中进一步处理。
在本公开中针对根据第一方面的方法的实施例所呈现的效果和/或优点也可以适用于根据第三方面的非暂时性计算机可读存储介质的对应实施例。
应注意的是，本公开的实施例涉及权利要求中所引述的特征的所有可能的组合。
附图说明
在下文中，将参考附图更详细地描述示例实施例，其中：
图1示出了用户的眼睛的图像；
图2是根据一个或多个实施例的用于对闪光进行分类的眼睛跟踪***的示意性概略图；
图3是根据一个或多个实施例的用于对闪光进行分类的方法的流程图；
图4a示出了戴着头戴式设备的用户的示意性图示；
图4b示出了根据一个或多个实施例的头戴式设备的示意性图示；
图5示出了用户的眼睛、反射表面(例如其代表是用户佩戴的眼镜)以及包括眼睛跟踪装备的头戴式设备的部件的示意性概略图；
图6示出了在用户的眼睛的图像中所捕获的真闪光和假闪光的示例；
图7示出了根据一个或多个实施例的静态闪光图像、当前图像以及更新后的静态闪光图像；以及
图8示出了根据一个或多个实施例的当前静态闪光图像的调整。
所有的图都是示意性的，不一定按比例绘制，并且总体上仅示出了为了阐明各实施例所必需的部分，而其他部分可以被省略或仅被暗示地表示。除非另外指出，否则在多个附图中出现的任何附图标记在所有附图中均指相同的对象或特征。
具体实施方式
引言
在整个本公开中，术语“头戴式设备”是指适于佩戴在用户的头部上的设备。本发明的头戴式设备具有眼睛跟踪***。通常，头戴式设备被配置为要布置在用户的头部上，使得头戴式设备的眼睛跟踪***的一个或多个摄像头中的每一个摄像头都被定位在用户的面部的前方、并朝向用户的一只或两只眼睛，使得一个或多个摄像头能够捕获包括用户的一只或两只眼睛的图像。
假定头戴式设备在使用期间固定地安装在用户的头部上，这意味着头戴式设备不被配置为或不打算在使用期间相对于用户的头部移动。由此，在头戴式设备的眼睛跟踪***的至少一个摄像头与戴着头戴式设备的用户的任何眼镜之间提供了一种已知的固定关系。在一个或多个实施例中，可以在头戴式设备的眼睛跟踪***的至少一个摄像头、头戴式设备的眼睛跟踪***的至少一个照明器以及戴着头戴式设备的用户的任何眼镜之间提供一种已知的固定关系。在一些实施例中，头戴式设备可以是一副眼镜，这副眼镜被配置用于允许用户的任何私人眼镜被佩戴在头戴式设备之下。在本文的所有实施例中，假设由头戴式设备的用户佩戴的任何私人眼镜在使用期间将被定位在用户的眼睛与头戴式设备的眼睛跟踪***的一个或多个摄像头之间。因此，如果用于XR的头戴式设备的用户在使用头戴式设备时戴着眼镜，则可能出现在背景技术中所描述的问题，因为来自眼镜的光反射可能使假闪光被头戴式设备的眼睛跟踪或视线跟踪***检测到。
只要用户的头部保持静止并且角膜球体绕固定点旋转，闪光位置就在观察者的像域中保持相对固定。然而，如果用户的头部不保持静止或者由于用户移动双眼或视线而角膜球体不围绕固定点旋转，则闪光位置在观察者的像域中将不再保持相对静止。然而，发明人已经认识到：由于佩戴头戴式设备的用户的眼镜相对于被包括在头戴式设备的眼睛跟踪或视线跟踪***中的任何摄像头是静止的，由来自被包括在头戴式设备的眼睛跟踪或视线跟踪***中的所指定的照明器的光在用户的眼镜中被反射而引起的任何闪光将在由眼睛跟踪或视线跟踪***的指定摄像头捕获的任何图像中位于相同的位置，即使用户的眼睛或视线移动也是如此。具有以下闪光位置的闪光在下文中被称为“静态”闪光：即使用户的眼睛或视线移动，该闪光位置在观察者的像域中也保持相对静止。由此，根据本发明的静态闪光是一种“假”闪光，即不是由来自眼睛的反射引起的闪光，因此该静态闪光不应该为了眼睛跟踪和/或视线跟踪目的而被包括在对所捕获的图像的处理中。
发明人已经进一步认识到：如果首先确定在先前时刻到后续时刻之间用户的眼睛或视线已经存在移动，则在后续时刻所捕获的图像中的、也在先前时刻所捕获的图像中的相同对应位置中所发现的任何检测到的闪光可以被分类为由眼镜引起的静态闪光、并因此不是由用户的眼睛引起的静态闪光。
现有的用于检测假闪光的解决方案通常是复杂的，因为这些解决方案可能需要一个或多个被配置用于在交替的时刻发光的照明器和一个或多个被配置用于在相同的交替的时刻捕获图像的摄像头、再加上将比如眼睛模型、摄像头模型、视线方向和/或光线模型等参数考虑在内的计算量大的图像处理。接通或断开单个或多个LED以识别假闪光有时被称为使用LED逻辑。现有技术公开的、使用LED逻辑的解决方案的示例可以例如在专利文件US 9338382 A1中被找到。
根据本文中所给出的实施例的解决方案的优点是不需要使用LED逻辑来识别静态闪光。根据本文中所给出的任一实施例，通过将由用户的眼镜引起的闪光分类为静态闪光，由此获得了一种检测假闪光的可靠解决方案，与用于检测假闪光的现存解决方案相比，该解决方案有利地计算量显著更少、时间消耗更少并且复杂性更低。
本公开的实施例进一步目的是解决或至少改善以下问题：在头戴式设备的眼睛跟踪或视线跟踪***中将假闪光(本文中由静态闪光代表)作为真闪光处理，由此负面地影响了眼睛或视线跟踪的结果。这是通过从头戴式设备的眼睛跟踪或视线跟踪***中的进一步处理中排除被分类为静态的闪光来实现的。
因此，识别静态闪光并从进一步处理中将静态闪光排除的一个明显优点是：眼睛跟踪或视线跟踪结果变得更加准确。
另一优点是：如果眼睛跟踪或视线跟踪结果变得更加准确，则视觉结果和用户体验得到改善。
再一个优点是：包括闪光检测结果的图像处理和/或计算变得计算量更少、更快和更高效，因为处理电路将不必考虑静态闪光。
在一些实施例中，其中头戴式设备的光学器件包括菲涅耳透镜，在这些实施例中，可能额外地由菲涅耳透镜的凹入部中的反射引起二次反射，这导致来自眼镜的每次光反射都可能在所捕获的图像中引起多个假闪光。这种由来自眼镜的反射引起的附加多个假闪光也由本公开的实施例所解决。
本文中所给出的实施例在以下环境中最佳地执行：在由眼睛跟踪或视线跟踪***的一个或多个摄像头所捕获的图像中不存在由任何外部光源引起的假闪光，因为这种假闪光不能被主动地分类为根据本文中所呈现的实施例中的静态或非静态闪光。这种优选条件例如在以下头戴式设备中被实现：该头戴式设备被配置用于不让任何外部光源的光进入，例如通过包括被设计用于不让外部光源的光进入的外壳。这种头戴设备在下文中被称为“封闭的”头戴设备。然而，相同的优选条件也可以在至少部分“开放的”的头戴设备(一定程度上允许来自外部光源的光进入)中获得或在其他***配置(其中如果在一种环境下使用***——在这种环境中不存在以可能在由眼睛跟踪或注视跟踪***中的任何摄像头所捕获的图像中引起假闪光的方式发射光的外部光源——在用户的眼镜与正使用的眼睛跟踪或视线跟踪***的一个或多个摄像头之间存在固定关系)中获得。
针对采用眼睛跟踪或视线跟踪或者甚至可能是远程眼睛跟踪或视线跟踪***的“开放”头戴式设备(该设备一定程度上允许来自外部光源的光进入)，本文中的实施例也可以非常好地工作。在这些情况中，根据本文中的定义是静态的假闪光(即由来自眼睛跟踪或视线跟踪***的照明器的、在用户的眼镜中被反射的光引起)仍将被去除，由此改善了眼睛跟踪或视线跟踪结果、并使包括闪光检测结果的图像处理和/或计算变得计算量更少、更快和更高效。
在一些实施例中，头戴式设备可以被配置用于扩展现实(XR)应用。下文中，当使用术语“XR”时，这应被解释为包括被称为VR、AR以及MR的至少这些技术的选择。如今，眼睛跟踪和视线跟踪解决方案越来越常见地被用在用于虚拟现实(VR)、增强现实(AR)、混合现实(MR)或其他扩展现实(XR)体验的头戴式设备中。
本文中所使用的术语“眼睛跟踪”可以被理解为包括：在现实世界中、在眼睛的3D模型中、在描绘眼睛的2D图像中跟踪或观察眼睛的真实部分；或确定眼睛正在跟踪或注视着的对象。确定眼睛正在跟踪或注视着的对象也可以被称为视线跟踪。
当然，本文中被描述为涉及用户的一只眼睛(例如第一眼睛)的任何实施例均同样适用于用户的任何眼睛，并且还可以针对用户的两只眼睛被并行地或相继地执行。
在整个本公开中，术语“获得信息”可以被理解为以推送方式接收信息和/或以取引方式检索信息。
下面将参考图1至图8描述用于使用头戴式设备(260)的眼睛跟踪***(200)对闪光进行分类的方法、***以及相关联的存储介质。首先，将参考图1描述眼睛的某些特征。
图1是眼睛100的正视图。图5包括从眼睛100的旁侧观察到的眼睛100的截面视图。虽然图5差不多示出了整只眼睛100，但图1中所呈现的正视图仅示出了眼睛100的、通常从人脸的前方可见的那些部分。眼睛100具有角膜101以及带有瞳孔中心103与瞳孔边缘104的瞳孔102。在图1中，示出了闪光105，在这种情况中是由来自眼睛100的反射引起的“真实的”或“非静态”闪光106。
***架构
现在将参考图2、图4a、图4b和图5描述***实施例。
图2是根据一个或多个实施例的用于对闪光105进行分类的头戴式设备260的眼睛跟踪***200的示意性概略图。在图4a中，示意性地图示了戴着头戴式设备260的用户270。在图4b中示意性地图示了根据本文中的实施例的头戴式设备260。根据本文中所给出的任何实施例的***200可以被纳入到或者被通信地连接到这种头戴式设备260。图5示出了用户270的眼睛100、反射表面108(例如代表用户佩戴的眼镜)、包括眼睛跟踪装备220的头戴式设备260的部件、以及处理电路210的示意性概略图。首先参照图2和图4b，***200包括处理电路210，该处理电路被配置用于获得头戴式设备260的用户270的第一眼睛100的当前图像imaget+1中存在的任何闪光105的相应位置，第一眼睛100在捕获时正被一个或多个照明器112、113照射，其中所述当前图像(图像t+1)在后继时刻t+1被捕获。
处理电路210被进一步配置用于：获得数据集，该数据集指示在被一个或多个照明器112、113照射的第一眼睛100的一个或多个先前所捕获的图像中检测到的至少一个闪光105的相应位置；并针对当前图像(图像t+1)中存在的所获得的至少一个闪光105中的每一个闪光，确定当前图像(图像t+1)中的闪光105的位置是否对应于数据集中的所检测到的闪光105中的任何闪光的位置。如果当前图像(图像t+1)中的闪光的位置对应于数据集中的所检测到的闪光105中的任何闪光的位置，则处理电路210被配置用于将闪光105分类为静态闪光107。
根据本文中所描述的任何实施例，为了始终在用于对当前图像(图像t+1)中的闪光进行分类的数据集中呈现最近可用的信息，处理电路210可以进一步有利地被配置用于在针对当前图像(图像t+1)中存在的所获得的至少一个闪光105中的每一个闪光确定当前图像(图像t+1)中的闪光105的位置是否对应于数据集中的所检测到的闪光105中的任何闪光的位置之前：执行眼睛跟踪以确定在先前时刻t与后继时刻t+1之间头戴式设备260的用户270的第一眼睛100是否已经移动，并且如果确定在先前时刻t与后继时刻t+1之间第一眼睛100已经存在移动，则基于当前图像(图像t+1)中存在的闪光105的相应位置来更新数据集。
在一个或多个实施例中，其中眼睛跟踪***200被配置用于基于所检测到的闪光来执行眼睛跟踪以跟踪用户270的眼睛或视线，处理电路210可以进一步被配置用于从眼睛跟踪***200中的进一步处理中排除任何静态闪光107，即被分类为静态的任何闪光105。换句话说，在这些实施例中，被分类为静态的任何闪光将不被用在基于所检测到的闪光执行眼睛跟踪以跟踪用户270的眼睛或视线的过程中。
如本文中所描述的，图4a、图4b以及图5中图示的头戴式设备260可以包括或替代地被通信地连接到根据本文中所呈现的任一实施例配置的处理电路210。头戴式设备260可以包括显示光学器件。显示光学器件应被理解为包括任何适合于生成和/或显示2D图像数据、3D图像数据、图形数据、全息数据或可以呈现给头戴式设备的用户/佩戴者以给予VR、AR、MR或其他XR体验的其他内容的光学器件。显示光学器件可以包括一个或多个显示器111，例如被定位在用户270的眼睛的前方的单个显示器111、或被定位在用户270的第一眼睛100的前方的一个显示器111和被定位在用户270的第二眼睛的前方的第二显示器。在一些实施例中，显示光学器件可以包括透镜109。如本文中所述，如果透镜是菲涅耳透镜，则可能额外地由菲涅耳透镜的凹入部中的反射引起二次反射，这导致来自眼镜或其他反射表面108的每次光反射都可能在所捕获的图像中引起多个假闪光。这种由来自眼镜的反射引起的附加的多个假闪光也由本公开的实施例所解决。除了实际显示光学器件外，头戴式设备通常还包括其他部件。这些其他部件可以例如包括用于为头戴式设备供电的电路、用于检测头戴式设备的运动的传感器、眼睛或视线跟踪装备、或用于保护头戴式设备的部件的壳体。换句话说，术语“头戴式设备”可以、但不一定解释为仅是指打算被布置在用户的眼睛的前方或用户的双眼的前方的实际显示光学器件。
如图4b和图5所示，在一些非限制性实施例中，处理电路210可以包括或被通信地连接到眼睛跟踪装备220，该眼睛跟踪装备例如是一个或多个用于照射用户270的眼睛100的照明器112、113的形式和一个或多个用于在眼睛100看着/注视着显示器111或沿另一方向看着/注视着显示器111时捕获眼睛100的图像的摄像头110、或者是本领域已知的任何其他合适的眼睛跟踪装备。处理电路210可以例如经由有线或无线连接被通信地连接到眼睛跟踪装备220。照明器112、113可以例如是红外或近红外照明器，例如是发光二极管(LED)的形式。然而，也可以设想其他类型的照明器。一个或多个摄像头110可以例如是电荷耦合器件(CCD)摄像头或互补金属氧化物半导体(CMOS)摄像头。然而，也可以设想其他类型的摄像头。
***200可以进一步包括显示器111，或者被通信地连接到该显示器111。显示器111可以例如是液晶显示器(LCD)或LED显示器。然而，也可以设想其他类型的显示器。显示器可以例如是平面显示器或曲面显示器。显示器111可以例如被放置在用户的一只眼睛的前方。对于本文中的任何实施例或全部实施例而言，针对左眼和右眼可以替代地采用单独的显示器111。类似地，针对左眼和右眼可以例如采用单独的眼睛跟踪装备220(比如照明器和摄像头)。
处理电路210可以用于双眼的眼睛跟踪，或者针对左眼和右眼可以存在单独的处理电路210。***200可以例如执行眼睛跟踪以确定左眼和右眼中的至少一只眼睛或双眼的移动，然后可以对包括已经检测到移动的至少一只眼睛的图像中的闪光进行检测和分类。
处理电路210可以例如包括一个或多个处理器。处理器例如可以是被配置用于执行特定的眼睛跟踪和位置确定方法的专用集成电路(ASIC)。替代性地，处理器可以被配置用于执行存储在一个或多个存储器240中的指令(例如，是计算机程序的形式)。这种存储器240可以例如被包括在***200中、或者可以是在***200的外部(例如，位于远离***200的位置)。存储器240可以存储用于使***200执行根据结合图3所给出的任一实施例的方法的指令。
在一个或多个实施例中，处理电路210可以被配置用于执行结合图3所描述的任一或全部的方法实施例。
将理解的是，上文参考图2至图4b所描述的***200被提供作为示例，并且可以设想许多其他***。例如，***200可以仅由处理电路210构成。显示器111可以例如被包括在***200中，或者可以被认为与***200是分开的。
由比如图2中***200等***执行的眼睛跟踪通常采用一种眼睛模型。这种眼睛模型根据各个用户的一只眼睛或双眼的特性进行校准。
图6示出了在用户270的眼睛100的图像中所捕获的真闪光和静态闪光的示例。在图6中，这由分别在时刻t和t+1所捕获的先前图像(图像t)和当前图像(图像t+1)图示。先前图像(图像t)和当前图像(图像t+1)中的每一个图像包括用户270的眼睛100的角膜101的至少一部分。在先前图像(图像t)和当前图像(图像t+1)中的角膜101的位置用虚线轮廓指示。这些位置出于说明的目的被指示，不需要由本文中所给出的方法和***实施例确定。如从图6中可以看出的，先前图像(图像t)包括两个闪光105和105'，并且当前图像(图像t+1)包括两个闪光105”和105”'。如从图6中进一步看出的，闪光105和105”'是从用户270的眼睛100的角膜101中反射的，因此是真闪光106，而闪光105'和105”不是由来自用户270的眼睛100的角膜101的反射引起的，因此是假闪光107，应从眼睛跟踪***200的进一步处理中将假闪光排除以便提高准确性、节省时间以及节省眼睛跟踪***200的计算功率。有利地，根据本文中所描述的实施例，闪光105'和105”将被分类为静态闪光107(代表在先前图像(图像t)和当前图像(图像t+1)两者中相同的静态闪光)。在本文中所给出的一些实施例中，闪光105和105”'可以进一步被分类为非静态闪光。
方法实施例
在下文中，将结合图3、图7以及图8描述方法实施例。
图3示出了用于使用头戴式设备260的眼睛跟踪***200对闪光进行分类的方法的实施例，该方法包括：
在步骤310：使用处理电路210获得头戴式设备260的用户270的正被一个或多个照明器112、113照射的第一眼睛100的当前图像(图像t+1)中存在的任何闪光105的相应位置，其中该当前图像(图像t+1)是在后继时刻t+1捕获的。
当前图像(图像t+1)可以是、但不一定是与第二图像(图像2)相同的图像。
在一个或多个实施例中，闪光105的位置可以被定义为一个像素坐标或子像素坐标Pi,j，代表所检测到的闪光105的近似中心。可选地，如果所检测到的闪光105被近似为圆或椭圆，代表闪光105的位置的信息可以进一步包括一个或多个半径参数。在其他实施例中，闪光105的位置可以被定义为具有任何合适的形状和大小的一组彼此连接的像素。
在一些实施例中，获得当前图像(图像t+1)中存在的任何闪光105的相应位置包括：使用处理电路210、以本领域中已知的任何方式执行眼睛跟踪以检测当前图像(图像t+1)中存在的任何闪光105。在这些实施例中，如果闪光位置被定义为一个以上的像素或子像素坐标(例如，在圆形、椭圆形或其他形状的一组彼此连接的像素的情况下)，该方法步骤可以进一步包括：比较两个所检测到的闪光之间的距离，如果该距离小于预设阈值TEQUAL，则确定所检测到的闪光105是同一闪光105的一部分，并在接下来的方法步骤中将其作为单个闪光105处理。
在其他实施例中，获得当前图像图像t+1中存在的任何闪光105的相应位置包括：在处理电路210中从存储器(例如存储器240)中检索或接收当前图像(图像t+1)中存在的任何闪光105的所检测到的相应位置。
在一些实施例中，第一眼睛100的当前图像(图像t+1)可以是与在步骤330的实施例中所描述的第二图像(图像2)相同的图像。
在步骤320：使用处理电路210获得数据集，该数据集指示在被一个或多个照明器112、113照射的第一眼睛100的一个或多个先前所捕获的图像中所检测到的至少一个闪光105的相应位置。
在一个或多个实施例中，被一个或多个照明器112、113照射的第一眼睛100的一个或多个先前所捕获的图像中的每一个图像在后继时刻t+1之前发生的相应时刻被捕获。
在步骤330的一个或多个实施例中，使用处理电路210获得数据集可以被理解为从存储器(例如从存储器240)中接收或检索数据集，该数据集指示在被一个或多个照明器112、113照射的第一眼睛100的一个或多个先前所捕获的图像中所检测到的至少一个闪光105的相应位置。
在一些非限制性实施例中，使用处理电路210获得数据集(该数据集指示在被一个或多个照明器112、113照射的第一眼睛100的一个或多个先前捕获图像中所检测到的至少一个闪光105的相应位置)可以包括：使用处理电路210、基于被一个或多个照明器112、113照射的第一眼睛100的一个或多个先前所捕获的图像生成数据集，该数据集指示在被一个或多个照明器112、113照射的第一眼睛100的一个或多个先前所捕获的图像中所检测到的至少一个闪光105的相应位置。
在一个或多个实施例中，指示在第一眼睛100的一个或多个先前捕获图像中所检测到的至少一个闪光105的数据集是静态闪光图像(图像静态)，其中与静态闪光图像(图像静态)中的每个相应像素或子像素坐标Pi,j相关联的亮度值I'i,j对应于在一个或多个先前所捕获的图像中的像素或子像素坐标Pi,j的亮度值中的最小亮度值。
当然，静态闪光图像(图像静态)不需要与当前图像(图像t+1)具有相同的大小和/或分辨率，而是可以替代性地具有不同的大小和/或分辨率。在非限制性示例中，静态闪光图像(图像静态)可以小于当前图像(图像t+1)，并且包括当前图像(图像t+1)的子集，比如用户270的眼睛100或用户270的眼睛100的一部分，而当前图像(图像t+1)包括眼睛100或眼睛100的一部分以及用户270的脸的、在眼睛100周围的更多部分。在此类实施例中，在一方面当前图像(图像t+1)的像素或子像素坐标Pi,j与另一方面静态闪光图像(图像静态)的像素或子像素坐标之间的映射函数、映射关系等可以被预先定义或计算。在一些实施例中，该方法可以包括：基于这种映射函数、映射关系等确定静态闪光图像(图像静态)的哪些像素或子像素坐标与当前图像(图像t+1)的指定像素或子像素坐标Pi,j相关联。
在其他实施例中，指示在第一眼睛100的一个或多个先前捕获图像中所检测到的至少一个闪光105的数据集可以是一列表，该列表包括与第一眼睛100的一个或多个先前所捕获的图像中的每一个图像的相应所检测到的每个闪光105相关联的一个或多个像素或子像素坐标Pi,j。一个或多个先前所捕获的图像可以包括先前所捕获的图像中的一个、全部或选择。可以基于预设标准进行选择。在非限制性示例中，最后X个捕获帧(X是适当选择的大于0的整数)被包含在数据集中，其中用于生成数据集的先前所捕获的图像以先进先出(FIFO)的方式被缓存所捕获的图像。
在可选步骤330中：使用处理电路210执行眼睛跟踪以确定在先前时刻t与后继时刻t+1之间头戴式设备260的用户270的第一眼睛100是否已经移动。
使用处理电路210执行眼睛跟踪以确定第一眼睛100是否已经移动可以以本领域中任何已知的方式完成。
确定眼睛是否已经移动可以包括通过以下方式确定在二维空间(2D)中的移动：执行眼睛跟踪以分别在先前时刻t所捕获的图像和在后继时刻t+1所捕获的图像中估计所识别的眼睛特征(例如，眼球中心、角膜、角膜中心、瞳孔、瞳孔中心、瞳孔边缘等)的2D位置；并且比较在先前时刻t所捕获的图像以及后继时刻t+1所捕获的图像中所识别的眼睛特征的位置。
在非限制性示例中，使用处理电路210确定在先前时刻t与后继时刻t+1之间第一眼睛100是否已经移动可以包括：使用处理电路210获得头戴式设备260的用户270的第一眼睛100的第一图像(图像1)，其中该第一图像(图像1)是在先前时刻t捕获的，并且使用处理电路210获得第一眼睛100的第二图像(图像2)，其中该第二图像(图像2)是在后继时刻t+1捕获的。此后，该方法可以包括：使用处理电路210、基于第一图像(图像1)和第二图像(图像2)确定在先前时刻t和当前时刻t+1之间第一眼睛100是否已经移动。
在本文中所描述的任何实施例中，获得图像可以包括：从眼睛跟踪***200的摄像头110或存储器240中或从外部存储器中接收或检索图像，或使用眼睛跟踪***200的摄像头110捕获图像。
在不同时刻所捕获的图像之间的移动可以以任何已知的方式来确定，例如通过确定图像中所检测到的眼睛特征的位置之间的像素距离并将该像素距离与预定阈值T距离进行比较。替代性地或结合上述选项，确定眼睛是否已经移动可以包括：基于在时刻t使用眼睛跟踪***200的摄像头所捕获的眼睛的图像和在时刻t+1使用同一摄像头所捕获的眼睛的图像来确定从时刻t到时刻t+1图像内容是否已经改变。在一些实施例中，确定图像内容是否已经改变可以包括：比较两个所捕获的图像中的对应像素坐标的像素值，可选地包括基于两个所捕获的图像生成差异图像。基于比较或基于差异图像，确定从时刻t到时刻t+1图像内容是否已经改变可以包括：针对每个像素或预定数量的像素，确定两个所捕获的图像中的对应像素的像素值之间是否存在差异。在一些实施例中，该确定进一步包括：如果对于多个像素坐标在两个所捕获的图像的像素值之间存在超过预定阈值的差异，则确定从时刻t到时刻t+1眼睛已经移动。
替代性地或结合上述选项中的任一个或两者，确定眼睛是否已经移动可以包括：基于分别在时刻t和t+1眼睛特征(例如眼球中心、角膜、角膜中心、瞳孔、瞳孔中心、瞳孔边缘等)的估计位置的比较，确定眼睛在三维空间内的移动。
处理电路210可以相应地被配置用于通过执行结合步骤320所描述的所有方法实施例中的任何方法实施例来确定在先前时刻t与后继时刻t+1之间第一眼睛100是否已经移动。
如果确定在先前时刻t与后继时刻t+1之间第一眼睛100已经移动，则该方法以可选方法步骤331继续。
在可选步骤331中：使用处理电路(210)、基于当前图像(图像t+1)中存在的任何闪光(105)的相应位置来更新数据集。
执行检查眼睛移动的可选方法步骤330以及如果检测到眼睛移动则执行用当前图像(图像t+1)中存在的任何闪光105的位置更新数据集的步骤331的优点是：这些步骤的执行确保了在用于对当前图像(图像t+1)中的闪光进行分类的数据集中存在最新的可用信息。由此，进一步改善了分类。
在数据集是静态闪光图像(图像静态)的实施例中，基于当前图像(图像t+1)中存在的任何闪光105的相应位置来更新数据集可以包括：使用处理电路210、通过将与静态闪光图像(图像静态)中的每个像素或子像素坐标Pi,j相关联的相应亮度值I'i,j根据以下方程设置来更新静态闪光图像(图像静态)：
Figure BDA0002328363340000161
其中
Figure BDA0002328363340000162
是在更新后的静态闪光图像(图像静态')中具有像素或子像素坐标Pi,j的像素或子像素的更新后的当前亮度值；
Figure BDA0002328363340000163
是在时刻t时静态闪光图像(图像静态)中具有像素或子像素坐标Pi,j的像素或子像素的亮度值；以及
Figure BDA0002328363340000164
是在当前图像(图像t+1)中具有像素或子像素坐标Pi,j的像素或子像素的亮度值。在这些实施例中，处理电路210可以被配置用于在获得数据集之后基于静态闪光图像(图像静态)、通过根据方程1设置与当前静态闪光图像(图像'静态)中的每个像素或子像素坐标Pi,j相关联的相应亮度值I'i,j来生成当前静态闪光图像(图像'静态)。
由此，代表在所有捕获的图像中存在的闪光的任何像素或子像素，即都已经被处理以生成静态闪光图像(图像静态)和当前图像(图像t+1)的像素，将是明亮的，即具有较高的亮度值，而所有其他像素将暗很多，即具有较低的亮度值。这在图7中被图示。图7示出了静态闪光图像(图像静态)、当前图像(图像t+1)以及更新后的静态闪光图像(图像静态')，为便于说明，它们在图中均具有相同的分辨率。高强度像素在图7中被图示为白色像素。在静态闪光图像(图像静态)和当前图像(图像t+1)两者中的对应像素位置上具有高亮度值的像素，在这个示例中是由于图像尺寸相同而具有相同像素位置的像素，也将在更新后的静态闪光图像(图像静态')中获得较高的亮度值。例如，在图7的图示中具有像素或子像素坐标P4,2的像素或子像素就是这种情况。在另一方面，在静态闪光图像(图像静态)和当前图像(图像t+1)中具有对应像素位置、但是仅在那些图像之一中具有高亮度值(图中示出为白色)的像素将是暗的，因为在更新后的静态闪光图像(图像静态')中它被赋予了两个像素亮度值中的较低亮度值。例如，在图7的图示中，具有像素或子像素坐标P1,1的像素或子像素就是这种情况。
在步骤320之后或者在可选步骤330和331之后，该方法进一步包括：使用处理电路210、根据下述方法步骤340、350以及还有可选步骤360对当前图像(图像t+1)中存在的所获得的至少一个闪光105中的每一个闪光进行分类。
在数据集是列表的实施例中，基于当前图像(图像t+1)中存在的任何闪光105的相应位置来更新数据集可以包括：添加与当前图像(图像t+1)中存在的所获得的至少一个闪光105中的每一个闪光相关联的一个或多个像素或子像素坐标Pi,j有关的信息。
在一些实施例中，与当前图像(图像t+1)有关的闪光信息的添加可能导致删除最老图像(该图像中存在的任何闪光105的相应位置目前存储在列表中)的闪光信息。由此，列表的可管理大小得以维持。
在步骤340：确定当前图像(图像t+1)中的闪光105的位置是否对应于数据集中的所检测到的闪光105中的任何闪光的位置。
在一些实施例中，当前图像(图像t+1)和一个或多个先前所捕获的图像分别包括i*j个像素，其中闪光105的位置被定义为与相应的所检测到的闪光105中的每个闪光相关联的一个或多个像素或子像素坐标Pi,j，其中数据集包括与当前图像(图像t+1)中存在的相应的所获得的至少一个闪光105中的每个闪光相关联的一个或多个像素或子像素坐标Pi,j中的每个像素或子像素坐标的亮度值Ii,j。在一些实施例中，被包括在数据集中的、与当前图像(图像t+1)中存在的相应的所获得的至少一个闪光105中的每个闪光相关联的一个或多个像素或子像素坐标Pi,j中的每个像素或子像素坐标的亮度值Ii,j可以包括捕获先前图像的每个时刻的像素或子像素坐标的单独亮度值Ii,j。当数据集是列表时，通常就是这种情况。在其他实施例中，被包括在数据集中的、与当前图像(图像t+1)中存在的相应的所获得的至少一个闪光105中的每个闪光相关联的一个或多个像素或子像素坐标Pi,j中的每个像素或子像素坐标的亮度值Ii,j可以包括像素或子像素坐标的单个亮度值Ii,j。单个亮度值Ii,j可以根据预先定义的一组规则基于在先前所捕获的图像中那个像素或子像素坐标的亮度值，例如作为在先前所捕获的图像中那个像素或子像素坐标的亮度值的最小值。当数据集是静态闪光图像时，通常就是这种情况。
在一个或多个实施例中，针对当前图像(图像t+1)中的每个闪光105，确定当前图像(图像t+1)中的闪光105的位置是否对应于数据集中的所检测到的闪光105中的任何闪光的位置包括：
·针对与闪光105相关联的一个或多个像素或子像素坐标Pi,j中的每个像素或子像素坐标：
o确定在当前图像(图像t+1)中具有一个或多个像素或子像素坐标Pi,j的像素或子像素的亮度值Ii,j与数据集中具有像素或子像素坐标Pi,j的像素或子像素的亮度值Ii,j之间的差值I差。
如果差值I差低于预定阈值T，则确定当前图像(图像t+1)中的闪光105的位置对应于数据集中的对比闪光105的位置。
在这些实施例中，处理电路210可以相应地被配置用于针对当前图像(图像t+1)中存在的每一个所获得的闪光105，通过以下方式确定当前图像(图像t+1)中存在的任何所获得的闪光105的位置是否对应于数据集中的所检测到的闪光105中的任何闪光的位置：针对与闪光105相关联的一个或多个像素或子像素坐标Pi,j中的每个像素或子像素坐标，确定在当前图像(图像t+1)中具有像素或子像素坐标Pi,j的像素或子像素的亮度值Ii,j与数据集中的与像素或子像素坐标Pi,j相关联的亮度值I’i,j之间的差值I差。如果差值I差低于预定阈值T，则在这些实施例中，处理电路210被配置用于将闪光105分类为静态闪光107。
作为数据集基础的、被一个或多个照明器112、113照射的第一眼睛100的先前所捕获的图像的数量可以变化，这取决于是否需要保持计算负荷尽可能小并由此使用较小数量的先前所捕获的图像、或者具有最高可能的质量和准确性是否重要并由此要使用较大数量的先前所捕获的图像。在一些实施例中，用于生成数据集的先前所捕获的图像是以先进先出(FIFO)的方式缓存的，以在获得最近的闪光检测信息和存储数据集的存储器(例如存储器240)的存储容量这两方面都是优化的。
众所周知，图像像素或子像素的强度可以以许多不同的方式表示，这取决于例如图像格式、选定的色彩空间以及有多少个用于描述每个像素或子像素的像素值的信息通道或信息位。本文中所给出的实施例不取决于如何表示或获得亮度值。
在数据集是列表的实施例中，使用处理电路210确定当前图像(图像t+1)中的闪光105的位置是否对应于数据集中的所检测到的闪光105中的任何闪光的位置包括：针对当前图像(图像t+1)中的相应所检测到的闪光105中的每个闪光，基于该列表来确定与当前图像(图像t+1)中的闪光105关联的一个或多个像素或子像素坐标Pi,j中的至少一个像素或子像素坐标是否也与第一眼睛100的一个或多个先前所捕获的图像中的每个图像中的闪光105相关联。
如果与当前图像(图像t+1)中的闪光105关联的一个或多个像素或子像素坐标Pi,j中的至少一个像素或子像素坐标也是与第一眼睛100的一个或多个先前所捕获的图像中的每个图像中的闪光105相关联的，则该方法包括使用处理电路210确定当前图像(图像t+1)中的闪光105的位置对应于数据集中的所检测到的闪光105的位置。换句话说，如果闪光105出现在所有先前帧中的相同的位置或像素/子像素坐标Pi,j中、并且也出现在当前图像图像t+1中的相同的位置或像素/子像素坐标Pi,j中，则确定为相同的闪光105。否则，如果与当前图像(图像t+1)中的闪光105关联的一个或多个像素或子像素坐标Pi,j中的至少一个像素或子像素坐标没有任何一个与第一眼睛100的一个或多个先前所捕获的图像中的每个图像中的闪光105相关联，则该方法包括使用处理电路210确定当前图像(图像t+1)中的闪光105的位置不对应于数据集中的所检测到的闪光105中的任何闪光的位置。处理电路210可以相应地被配置用于通过执行这些方法步骤中的任何或所有方法步骤来确定当前图像(图像t+1)中的闪光105的位置是否对应于数据集中的所检测到的闪光105中的任何闪光的位置。当然，第一眼睛100的一个或多个先前所捕获的图像中的每个图像不需要具有与当前图像(图像t+1)相同的尺寸和/或分辨率，而是可以替代地具有不同的尺寸和/或分辨率。在此类实施例中，在一方面当前图像(图像t+1)的像素或子像素坐标Pi,j与另一方面第一眼睛100的先前所捕获的图像的像素或子像素坐标之间的映射函数、映射关系等可以被预先定义或计算。在一些实施例中，该方法可以包括基于这种映射函数、映射关系等确定第一眼睛100的先前所捕获的图像的哪些像素或子像素坐标是与当前图像(图像t+1)的指定像素或子像素坐标Pi,j相关联的。
如果确定当前图像(图像t+1)中的闪光的位置对应于数据集中的所检测到的闪光105中的任何闪光的位置，则该方法在步骤350继续。
在一些实施例中，如果确定当前图像(图像t+1)中的闪光的位置不对应于数据集中所检测到的闪光105中的任何闪光的位置，则该方法以可选步骤360继续。
在步骤350：将闪光105分类为静态闪光107。
在可选步骤360中：将闪光105分类为非静态闪光。
在图3中，进一步示出了判决步骤370用于更容易地说明以下事实：该方法包括对当前图像(图像t+1)中存在的所获得的至少一个闪光105中的每个闪光进行分类。然而，步骤370的包含显然可以被认为是由说明书的上述方法描述隐含公开的，也就是该方法包括对当前图像(图像t+1)中存在的所获得的至少一个闪光105中的每个闪光进行分类。
步骤370(作为可选独立步骤或被先前的方法步骤隐含公开)包括检查在当前图像(图像t+1)中存在的所获得的至少一个闪光105中是否还有更多的闪光105要处理或分类，并且如果在当前图像(图像t+1)中存在的所获得的至少一个闪光105中还有更多的闪光105要处理或分类：则返回步骤340，用于对下一个闪光105进行处理或分类；或者如果在当前图像(图像t+1)中存在的所获得的至少一个闪光105中不再有闪光105要处理或分类：则结束该方法。
结合本文中所给出的用于对闪光进行分类的任何实施例，该方法可以进一步包括从眼睛跟踪***200中的进一步处理中排除任何静态闪光107，即根据本文中所描述的方法实施例被分类为静态的闪光。换句话说，静态闪光形式的假闪光将不会影响由***200执行的任何后续眼睛跟踪或视线跟踪的结果。
如果在使用过程中头戴式设备260相对于用户270的眼睛或眼镜移动(例如通过在用户270移动时头戴式设备260的滑动、或者如果用户调整眼镜的位置)，则这可能暂时负面地影响眼睛跟踪功能的准确性，因为关于先前所分类的静态闪光107的信息可能不再适用。例如，在数据集是静态闪光图像(图像静态)的实施例中，静态闪光图像(图像静态)中的所有静态闪光107的信息可能丢失，因为像素或子像素坐标Pi,j仍然包括较高的亮度值/是明亮的将很可能不再是真的。即使仍然是明亮的，它也不能代表相同的闪光，这同样是信息的丢失。并且，由于根据这些实施例每个像素或子像素坐标Pi,j的像素值被设置为在静态闪光图像(图像静态)中和在当前图像(图像t+1)中所述像素或子像素坐标Pi,j的亮度值Ii,j的最小值(即，其基于可用像素值信息的历史最低值)，因此当像素实际上代表静态闪光107时已经错误地接收较低亮度值的像素将不能够恢复其正确的、更明亮的亮度值。
在数据集是静态闪光图像(图像静态)的实施例中，为了改善这个问题，该方法可以进一步包括：使用处理电路210、通过调整当前静态闪光图像(图像'静态)中的每个像素或子像素坐标Pi,j的亮度值
Figure BDA0002328363340000211
来补偿由于滑动等导致的可能的信息丢失，由此获得调整后的静态闪光图像(图像'静态_经调整的)。
在一个或多个实施例中，该方法包括：使用处理电路210、通过将当前静态闪光图像(图像'静态)中的每个像素或子像素坐标Pi,j的亮度值I'i,j根据以下方程进行设置为来调整当前静态闪光图像(图像'静态)：
Figure BDA0002328363340000212
其中
Figure BDA0002328363340000213
是在调整后的静态闪光图像(图像'静态_经调整的)中具有像素或子像素坐标Pi,j的像素或子像素的亮度值；
Figure BDA0002328363340000214
是在当前静态闪光图像(图像'静态)中具有像素或子像素坐标Pi,j的像素或子像素的亮度值；Imax是可以分配给像素或子像素的最大亮度值；以及α是加权值。在这些实施例中，处理电路210可以被配置用于通过根据等式2设置当前静态闪光图像(图像'静态)中的每个像素或子像素坐标Pi,j的亮度值I'i,j来调整当前静态闪光图像(图像'静态)。
在图8中图示了对当前静态闪光图像(图像'静态)的调整，以补偿由于头戴式设备260在使用期间相对于用户270的眼睛或眼镜的移动而导致的可能的静态闪光信息丢失。图8示出了在调整之前的图7中的示例当前静态闪光图像(图像静态')、以及在调整之后得到的更明亮的调整后的静态闪光图像(图像静态_经调整的')。图8的当前静态闪光图像(图像'静态)以及调整后的静态闪光图像(图像'静态_经调整的)各自包括两个像素坐标P2,3、P2,3，这些像素坐标与根据本文中所呈现的实施例已被分类为静态闪光107的相应闪光相关联。
加权值α可以以整数值或浮点值的形式被表征。在两个非限制性示例中，加权值α可以是区间0＜α＜1或区间0＜α＜255内的值。当然，以什么形式表征加权值α取决于有多少信息位被专门于其表征，并且还取决于摄像头传感器像素或子像素的灵敏度。结合方程2所描述的调整可以在确定当前图像(图像t+1)中的闪光105的位置是否对应于数据集中的所检测到的闪光105中的任何闪光的位置的步骤340之前、之后执行或与该步骤并行地执行。
上文结合方程2所描述的调整将有利地使闪光分类解决方案更强健，因为补偿导致静态闪光图像(图像静态)的所有像素或子像素随时间流逝变得更亮以及因为由于头戴式设备260相对于用户的眼镜的移动而丢失的这个静态闪光信息将不会导致静态闪光信息无法挽回地丢失。当然，静态闪光图像(图像静态)中的、不代表静态闪光107的任何像素或子像素坐标Pi,j将针对每一个所捕获和所处理的图像帧再次变暗，在该每一个所捕获和所处理的图像帧中，像素或子像素坐标Pi,j的亮度值低于静态闪光图像(图像静态)中的像素或子像素坐标Pi,j的目前亮度值，由此显示出静态闪光107的静态图像(图像静态)被恢复。在不同的实施例中，根据***设置，针对每x个帧，可以每当捕获图像帧时或者以设置的时间间隔执行这种亮度值的调整。
在根据本文中所给出的任何实施例的分类之后，该方法可以进一步包括从眼睛跟踪***200中的进一步处理中排除任何静态闪光107。
另外的实施例
在一个或多个实施例中，提供了一种存储指令的非暂时性计算机可读存储介质，当这些指令由***200的处理电路210执行时，这些指令使***200执行如本文中(换句话说，在权利要求、发明内容或具体实施方式中)所公开的任何方法中所限定的方法。
非暂时性计算机可读存储介质可以存储指令，当被***200的处理电路210执行时，这些指令使***200：使用处理电路210获得在头戴式设备260的用户270的、正被一个或多个照明器112、113照射的第一眼睛100的当前图像(图像t+1)中存在的任何闪光105的相应位置，其中所述当前图像(图像t+1)是在后继时刻t+1捕获的；使用处理电路210获得数据集，该数据集指示在被一个或多个照明器112、113照射的第一眼睛100的一个或多个先前所捕获的图像中检测到的至少一个闪光105的相应位置；针对当前图像(图像t+1)中存在的每个所获得的闪光105，使用处理电路210确定当前图像(图像t+1)中的闪光105的位置是否对应于数据集中的所检测到的闪光105中的任何闪光的位置；以及如果当前图像(图像t+1)中的闪光的位置对应于数据集中的所检测到的闪光105中的任何闪光的位置，则使用处理电路210将闪光105分类为静态闪光107。
在一个或多个实施例中，非暂时性计算机可读存储介质可以进一步存储指令，当被***200的处理电路210执行时，这些指令使***200：使用处理电路210执行眼睛跟踪以确定在先前时刻t与后继时刻t+1之间头戴式设备260的用户270的第一眼睛100是否已经移动；如果确定在先前时刻t与后继时刻t+1之间第一眼睛100已经移动，则使用处理电路(210)、基于当前图像(图像t+1)中存在的任何闪光(105)的相应位置来更新数据集。
非暂时性计算机可读存储介质可以例如设置在计算机程序产品中。换句话说，计算机程序产品可以例如包括存储指令的非暂时性计算机可读存储介质，当被***200的处理电路210执行时，这些指令使***200执行如任何方法实施例中所限定的方法。
如上文参考图2所描述的，存储介质不一定被包括在***200中。
本领域技术人员意识到本发明决不限于上文所描述的优选实施例。相反，在所附权利要求的范围内可以进行许多修改和变化。例如，如本文中所解释的，上文参考图3所描述的实施例可以被组合以形成另外的实施例。进一步地，应该理解，图2中所示的***200仅旨在作为示例，其他***也可以执行上文参考图3所描述的方法。
应该理解，处理电路210(或处理器)可以包括以下的一个或多个的组合：微处理器、控制器、微控制器、中央处理单元、数字信号处理器、专用集成电路、现场可编程门阵列或任何其他合适的、能操作以单独地或与其他计算机部件(比如存储器或存储介质)结合地提供计算机功能的计算设备、资源或者硬件、软件和/或编码逻辑的组合。
还应当理解，存储器或存储介质(或计算机可读介质)可以包括任何形式的易失性或非易失性计算机可读存储器，包括但不限于持久存储器、固态存储器、远程安装存储器、磁性介质、光学介质、随机存取存储器(RAM)、只读存储器(ROM)、大容量存储介质(例如，硬盘)、可移动存储介质(例如，闪存驱动器、致密盘(CD)或数字视频磁盘(DVD))和/或任何其他易失性或非易失性、非暂时性装置可读和/或计算机可执行存储装置，这些存储装置存储处理器或处理电路***可以使用的信息、数据和/或指令。
此文，从对附图、本公开和所附权利要求的研究中，本领域技术人员在实施所要求保护的本发明时可以理解和实现所公开的实施例的其他变化。在权利要求中，词语“包括”并不排除其他的要素或步骤，并且不定冠词“一(a，an)”并不排除复数。在权利要求中，词语“或”不被解释为互斥或(有时被称为“异或”)。相反，除非另有说明，否则比如“A或B”等表述涵盖所有情况“A和非B”、“B和非A”以及“A和B”。在相互不同的从属权利要求中引用某些措施的纯粹事实并不表明这些措施的组合不能被有利地使用。权利要求中的任何附图标记不应被解释为限制范围。

Claims (20)

1.一种用于使用头戴式设备(260)中的眼睛跟踪***(200)对闪光(105)进行分类的方法，所述方法包括：
-使用处理电路(210)获得所述头戴式设备(260)的用户(270)的、正被一个或多个照明器(112，113)照射的第一眼睛(100)的当前图像(图像t+1)中存在的任何闪光(105)的相应位置，其中，所述当前图像(图像t+1)是在后继时刻(t+1)捕获的，以及
-使用所述处理电路(210)获得数据集，所述数据集指示在被一个或多个照明器(112，113)照射的所述第一眼睛(100)的一个或多个先前所捕获的图像中所检测到的至少一个闪光(105)的相应位置；
其中，针对所述当前图像(图像t+1)中存在的每个所获得的闪光(105)，所述方法进一步包括：
-使用所述处理电路(210)确定所述当前图像(图像t+1)中的所述闪光(105)的位置是否对应于所述数据集中的所检测到的闪光(105)中的任何闪光的位置；以及
-如果所述当前图像(图像t+1)中的闪光的位置对应于所述数据集中的所检测到的闪光(105)中的任何闪光的位置，则使用所述处理电路(210)将所述闪光(105)分类为静态闪光(107)。
2.如权利要求1所述的方法，在确定所述当前图像(图像t+1)中的闪光(105)的位置是否对应于所述数据集中的所检测到的闪光(105)中的任何闪光的位置之前，所述方法进一步包括：
-使用处理电路(210)执行眼睛跟踪以确定在先前时刻(t)与所述后继时刻(t+1)之间所述头戴式设备(260)的所述用户(270)的第一眼睛(100)是否已经移动，以及
-如果确定在所述先前时刻(t)与所述后继时刻(t+1)之间所述第一眼睛(100)已经移动，则使用所述处理电路(210)来基于所述当前图像(图像t+1)中存在的任何闪光(105)的相应位置更新所述数据集。
3.如权利要求1或2所述的方法，其中，所述当前图像(图像t+1)包括i*j个像素，其中，所述当前图像(图像t+1)中存在的所获得的闪光(105)中的每个闪光的位置被定义为一个或多个像素或子像素坐标(Pi,j)，其中，所述当前图像(图像t+1)进一步包括与所述当前图像(图像t+1)中存在的相应所获得的至少一个闪光(105)的所述一个或多个像素或子像素坐标(Pi,j)中的每一个像素或子像素坐标相关联的亮度值(Ii,j)，其中，所述数据集包括与所述当前图像(图像t+1)中存在的相应所获得的至少一个闪光(105)中的每个闪光相关联的所述一个或多个像素或子像素坐标(Pi,j)中的每一个像素或子像素坐标的亮度值(I’i,j)，
其中，针对所述当前图像(图像t+1)中存在的每个所获得的闪光(105)，使用所述处理电路210确定所述当前图像(图像t+1)中存在的任何所获得的闪光(105)的位置是否对应于所述数据集中的所检测到的闪光(105)中的任何闪光的位置，所述确定包括：
-针对与所述闪光(105)相关联的所述一个或多个像素或子像素坐标(Pi,j)中的每个像素或子像素坐标，确定所述当前图像(图像t+1)中具有所述像素或子像素坐标(Pi,j)的像素或子像素的亮度值(Ii,j)与所述数据集中的与所述像素或子像素坐标(Pi,j)相关联的亮度值(I’i,j)之间的差值(I差)；以及
-如果所述差值(I差)低于预定阈值(T)，则将所述闪光(105)分类为静态闪光(107)。
4.如权利要求3所述的方法，其中，指示在所述第一眼睛(100)的一个或多个先前所捕获的图像中所检测到的至少一个闪光(105)的所述数据集是静态闪光图像(图像静态)，其中，与所述静态闪光图像(图像静态)中的每一个相应像素或子像素坐标(Pi,j)相关联的像素或子像素亮度值(I'i,j)对应于所述一个或多个先前所捕获的图像中的像素或子像素坐标(Pi,j)的亮度值中的最小亮度值，其中，所述方法包括，在获得所述数据集的方法步骤之后：
-使用所述处理电路(210)来基于所述静态闪光图像(图像静态)生成当前静态闪光图像(图像'静态)，这是通过如下步骤实现的：将与所述当前静态闪光图像(图像'静态)中的每个像素或子像素坐标(Pi,j)相关联的相应亮度值(I'i,j)根据以下方程设置：
Figure FDA0002328363330000031
其中，
Figure FDA0002328363330000032
是所述当前静态闪光图像(图像'静态)中具有所述像素或子像素坐标(Pi,j)的像素或子像素的亮度值；
Figure FDA0002328363330000033
是在时刻t时所述静态闪光图像(图像静态)中具有像素或子像素坐标(Pi,j)的像素或子像素的亮度值；以及
Figure FDA0002328363330000034
是所述当前图像(图像t+1)中具有像素或子像素坐标(Pi,j)的像素或子像素的亮度值。
5.如权利要求4所述的方法，进一步包括使用所述处理电路(210)来通过根据以下方程进行设置所述当前静态闪光图像(图像'静态)中的每个像素或子像素坐标(Pi,j)的亮度值(I'i,j)而调整所述当前静态闪光图像(图像'静态)：
Figure FDA0002328363330000035
其中
Figure FDA0002328363330000036
是调整后的静态闪光图像(图像'静态_经调整的)中具有像素或子像素坐标Pi,j的像素或子像素的亮度值；
Figure FDA0002328363330000037
是所述当前静态闪光图像(图像'静态)中具有像素或子像素坐标Pi,j的像素或子像素的亮度值；Imax是像素或子像素能够被赋予的最大亮度值；以及α是加权值。
6.如权利要求1或2所述的方法，其中，指示在所述第一眼睛(100)的一个或多个先前所捕获的图像中所检测到的至少一个闪光(105)的所述数据集是列表，所述列表包括与所述第一眼睛(100)的一个或多个先前所捕获的图像中的每个图像的相应所检测到的闪光(105)中的每个闪光相关联的一个或多个像素或子像素坐标(Pi,j)，其中，针对所述当前图像(图像t+1)中的相应所检测到的闪光(105)中的每个闪光，使用所述处理电路(210)确定所述当前图像(图像t+1)中的闪光(105)的位置是否对应于所述数据集中的所检测到的闪光(105)中的任何闪光的位置，所述确定包括：
-基于所述列表来确定与所述当前图像(图像t+1)中的闪光(105)相关联的所述一个或多个像素或子像素坐标(Pi,j)中的至少一个像素或子像素坐标是否也与所述第一眼睛(100)的所述一个或多个先前所捕获的图像中的每一个图像中的闪光(105)相关联；以及
-如果与所述当前图像(图像t+1)中的闪光(105)相关联的所述一个或多个像素或子像素坐标(Pi,j)中的至少一个像素或子像素坐标也是与所述第一眼睛(100)的一个或多个先前所捕获的图像中的每一个图像中的闪光(105)相关联的，则确定所述当前图像(图像t+1)中的闪光(105)的位置对应于所述数据集中的所检测到的闪光(105)的位置。
7.如前述权利要求中任一项所述的方法，其中，使用所述处理电路(210)确定在所述先前时刻(t)与所述后继时刻(t+1)之间所述第一眼睛(100)是否已经移动包括：
-使用所述处理电路(210)获得所述头戴式设备(260)的所述用户(270)的所述第一眼睛(100)的第一图像(图像1)，其中，所述第一图像(图像1)是在所述先前时刻(t)捕获的；
-使用所述处理电路(210)获得所述第一眼睛(100)的第二图像(图像2)，其中，所述第二图像(图像2)是在所述后继时刻(t+1)捕获的；以及
-使用所述处理电路(210)来基于所述第一图像(图像1)和所述第二图像(图像2)确定在所述先前时刻(t)与所述当前时刻(t+1)之间所述第一眼睛(100)是否已经移动。
8.如前述权利要求中任一项所述的方法，进一步包括从所述眼睛跟踪***(200)中的进一步处理中排除任何静态闪光(107)。
9.一种用于对闪光(105)进行分类的头戴式设备(260)的眼睛跟踪***(200)，所述***包括处理电路(210)，所述处理电路被配置用于：
-获得所述头戴式设备(260)的用户(270)的、正被一个或多个照明器(112，113)照射的第一眼睛(100)的当前图像(图像t+1)中存在的任何闪光(105)的相应位置，其中，所述当前图像(图像t+1)是在后继时刻(t+1)捕获的，以及
-获得数据集，所述数据集指示在被所述一个或多个照明器(112，113)照射的所述第一眼睛(100)的一个或多个先前所捕获的图像中所检测到的至少一个闪光(105)的相应位置；
其中，针对所述当前图像(图像t+1)中存在的所获得的至少一个闪光(105)中的每个闪光，所述处理电路(210)被进一步配置用于：
-确定所述当前图像(图像t+1)中的闪光(105)的位置是否对应于所述数据集中的所检测到的闪光(105)中的任何闪光的位置；以及
-如果所述当前图像(图像t+1)中的闪光的位置对应于所述数据集中的所检测到的闪光(105)中的任何闪光的位置，则将所述闪光(105)分类为静态闪光(107)。
10.如权利要求8所述的眼睛跟踪***(200)，其中，所述处理电路(210)被进一步配置用于在确定所述当前图像(图像t+1)中的闪光(105)的位置是否对应于所述数据集中的所检测到的闪光(105)中的任何闪光的位置之前，执行以下操作；
-执行眼睛跟踪以确定在先前时刻(t)与所述后继时刻(t+1)之间所述头戴式设备(260)的所述用户(270)的所述第一眼睛(100)是否已经移动，以及
-如果确定在所述先前时刻(t)与所述后继时刻(t+1)之间所述第一眼睛(100)已经移动，则基于所述当前图像(图像t+1)中存在的任何闪光(105)的相应位置来更新所述数据集。
11.如权利要求9或10所述的眼睛跟踪***(200)，其中，所述当前图像(图像t+1)包括i*j个像素，其中，所述当前图像(图像t+1)中存在的所获得的闪光(105)中的每个闪光的位置被定义为一个或多个像素或子像素坐标(Pi,j)，其中，所述当前图像(图像t+1)进一步包括与所述当前图像(图像t+1)中存在的相应所获得的至少一个闪光(105)的所述一个或多个像素或子像素坐标(Pi,j)中的每一个像素或子像素坐标相关联的亮度值(Ii,j)，其中，所述数据集进一步包括与所述当前图像(图像t+1)中存在的相应所获得的至少一个闪光(105)中的每个闪光相关联的所述一个或多个像素或子像素坐标(Pi,j)中的每一个像素或子像素坐标的亮度值(I’i,j)，
其中，所述处理电路(210)被进一步配置用于针对所述当前图像(图像t+1)中存在的每个所获得的闪光(105)，通过以下方式确定所述当前图像(图像t+1)中存在的任何所获得的闪光(105)的位置是否对应于所述数据集中的所检测到的闪光(105)中的任何闪光的位置：
-针对与所述闪光(105)相关联的所述一个或多个像素或子像素坐标(Pi,j)中的每一个像素或子像素坐标，确定所述当前图像(图像t+1)中具有所述像素或子像素坐标(Pi,j)的像素或子像素的亮度值(Ii,j)与所述数据集中的与所述像素或子像素坐标(Pi,j)相关联的亮度值(I'i,j)之间的差值(I差)；以及
-如果所述差值(I差)低于预定阈值(T)，则将所述闪光(105)分类为静态闪光(107)。
12.如权利要求11所述的眼睛跟踪***(200)，其中，所述数据集是静态闪光图像(图像静态)，其中，与所述静态闪光图像(图像静态)中的每一个相应像素或子像素坐标(Pi,j)相关联的像素或子像素亮度值(I'i,j)对应于所述一个或多个先前所捕获的图像中的像素或子像素坐标(Pi,j)的亮度值中的最小亮度值，其中，所述处理电路(210)进一步被配置用于，在获得所述数据集之后：
-基于所述静态闪光图像(图像静态)生成当前静态闪光图像(图像'静态)，这是通过下列步骤实现的：将与所述当前静态闪光图像(图像'静态)中的每个像素或子像素坐标(Pi,j)相关联的相应亮度值(I'i,j)根据以下方程设置：
Figure FDA0002328363330000061
其中
Figure FDA0002328363330000062
是所述当前静态闪光图像(图像'静态)中具有像素或子像素坐标(Pi,j)的像素或子像素的亮度值；
Figure FDA0002328363330000063
是在时刻t时所述静态闪光图像(图像静态)中具有像素或子像素坐标(Pi,j)的像素或子像素的亮度值；以及
Figure FDA0002328363330000064
是所述当前图像(图像t+1)中具有像素或子像素坐标(Pi,j)的像素或子像素的亮度值。
13.如权利要求12所述的眼睛跟踪***(200)，其中，所述处理电路(210)进一步被配置用于通过根据以下方程设置所述当前静态闪光图像(图像'静态)中的每个像素或子像素坐标(Pi,j)的亮度值(I'i,j)来调整所述当前静态闪光图像(图像'静态)：
Figure FDA0002328363330000071
其中
Figure FDA0002328363330000072
为在调整后的静态闪光图像(图像'静态_经调整的)中具有像素或子像素坐标Pi,j的像素或子像素的亮度值；
Figure FDA0002328363330000073
是在所述当前静态闪光图像(图像'静态)中具有像素或子像素坐标Pi,j的像素或子像素的亮度值；Imax是像素或子像素能够被赋予的最大亮度值；以及α是加权值。
14.如权利要求9或10所述的眼睛跟踪***(200)，其中，指示在所述第一眼睛(100)的一个或多个先前所捕获的图像中所检测到的至少一个闪光(105)的所述数据集是列表，所述列表包括与所述第一眼睛(100)的一个或多个先前所捕获的图像中的每个图像的相应所检测到的闪光(105)中的每个闪光相关联的一个或多个像素或子像素坐标(Pi,j)，其中，针对所述当前图像(图像t+1)中的相应所检测到的闪光(105)中的每个闪光，所述处理电路(210)被配置用于通过以下步骤确定所述当前图像(图像t+1)中的闪光(105)的位置是否对应于所述数据集中的所检测到的闪光(105)中的任何闪光的位置：
-基于所述列表来确定与所述当前图像(图像t+1)中的闪光(105)相关联的所述一个或多个像素或子像素坐标(Pi,j)中的至少一个像素或子像素坐标是否也与所述第一眼睛(100)的一个或多个先前所捕获的图像中的每一个图像中的闪光(105)相关联；以及
-如果与所述当前图像(图像t+1)中的闪光(105)相关联的所述一个或多个像素或子像素坐标(Pi,j)中的至少一个像素或子像素坐标也是与所述第一眼睛(100)的一个或多个先前所捕获的图像中的每一个图像中的闪光(105)相关联的，则确定所述当前图像(图像t+1)中的闪光(105)的位置对应于所述数据集中的所检测到的闪光(105)的位置；或
-如果与所述当前图像(图像t+1)中的闪光(105)相关联的所述一个或多个像素或子像素坐标(Pi,j)中的至少一个像素或子像素坐标全都不与所述第一眼睛(100)的一个或多个先前所捕获的图像中的每一个图像中的闪光(105)相关联，则确定所述当前图像(图像t+1)中的闪光(105)的位置不对应于所述数据集中的所检测到的闪光(105)中的任何闪光的位置。
15.如权利要求9至14中任一项所述的眼睛跟踪***(200)，其中，所述处理电路(210)被配置用于通过以下方式确定在所述先前时刻(t)与所述后继时刻(t+1)之间所述第一眼睛(100)是否已经移动：
-获得所述头戴式设备(260)的所述用户(270)的所述第一眼睛(100)的第一图像(图像1)，其中，所述第一图像(图像1)是在所述先前时刻(t)捕获的；
-获得所述第一眼睛(100)的第二图像(图像2)，其中，所述第二图像(图像2)是在所述后继时刻(t+1)捕获的；以及
-基于所述第一图像(图像1)和所述第二图像(图像2)确定在所述先前时刻(t)与所述当前时刻(t+1)之间所述第一眼睛(100)是否已经移动。
16.如权利要求9至15中任一项所述的眼睛跟踪***(200)，其中，所述处理电路(210)被进一步配置用于从所述眼睛跟踪***(200)中的进一步处理中排除被分类为静态闪光(107)的任何闪光(105)。
17.一种头戴式设备(260)，所述头戴式设备(260)包括如权利要求9至15中任一项所述的眼睛跟踪***(200)。
18.如权利要求17所述的头戴式设备(260)，其中，所述头戴式设备(260)被配置为不让来自任何周围光源的光进入。
19.一种非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质存储指令，当所述指令由***(200)的处理电路(210)执行时，使***：
-使用所述处理电路(210)获得所述头戴式设备(260)的用户(270)的、正被一个或多个照明器(112，113)照射的第一眼睛(100)的当前图像(图像t+1)中存在的任何闪光(105)的相应位置，其中，所述当前图像(图像t+1)是在后继时刻(t+1)捕获的；以及
-使用所述处理电路(210)获得数据集，所述数据集指示在被所述一个或多个照明器(112，113)照射的所述第一眼睛(100)的一个或多个先前所捕获的图像中所检测到的至少一个闪光(105)的相应位置；
其中，所述非暂时性计算机可读存储介质进一步存储指令，当所述指令被***(200)的处理电路(210)执行时使所述***针对所述当前图像(图像t+1)中存在的每个所获得的闪光(105)进行以下操作：
-使用所述处理电路(210)确定所述当前图像(图像t+1)中的闪光(105)的位置是否对应于所述数据集中的所检测到的闪光(105)中的任何闪光的位置；以及
-如果所述当前图像(图像t+1)中的闪光的位置对应于所述数据集中的所检测到的闪光(105)中的任何闪光的位置，则使用所述处理电路(210)将所述闪光(105)分类为静态闪光(107)。
20.如权利要求19所述的非暂时性计算机可读存储介质，进一步存储指令，当所述指令被***(200)的处理电路(210)执行时使所述***执行如权利要求2至8中任一项所述的方法步骤。
CN201911325884.7A 2018-12-21 2019-12-20 使用眼睛跟踪***对闪光进行分类 Active CN111522431B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110931881.9A CN113608620A (zh) 2018-12-21 2019-12-20 使用眼睛跟踪***对闪光进行分类

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
SE1851659-1 2018-12-21
SE1851659A SE543240C2 (en) 2018-12-21 2018-12-21 Classification of glints using an eye tracking system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110931881.9A Division CN113608620A (zh) 2018-12-21 2019-12-20 使用眼睛跟踪***对闪光进行分类

Publications (2)

Publication Number Publication Date
CN111522431A true CN111522431A (zh) 2020-08-11
CN111522431B CN111522431B (zh) 2021-08-20

Family

ID=68848141

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201911325884.7A Active CN111522431B (zh) 2018-12-21 2019-12-20 使用眼睛跟踪***对闪光进行分类
CN202110931881.9A Pending CN113608620A (zh) 2018-12-21 2019-12-20 使用眼睛跟踪***对闪光进行分类

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110931881.9A Pending CN113608620A (zh) 2018-12-21 2019-12-20 使用眼睛跟踪***对闪光进行分类

Country Status (4)

Country Link
US (1) US11619990B2 (zh)
EP (1) EP3671541B1 (zh)
CN (2) CN111522431B (zh)
SE (1) SE543240C2 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11659266B2 (en) 2020-10-21 2023-05-23 Qualcomm Incorporated Power control based at least in part on user eye movement
SE2051433A1 (en) 2020-12-08 2022-06-09 Tobii Ab Method and system for glint classification

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015027289A1 (en) * 2013-09-02 2015-03-05 Seeing Machines Limited Method and apparatus for eye detection from glints
US20150098620A1 (en) * 2012-01-06 2015-04-09 Google Inc. Position Estimation
US20150310253A1 (en) * 2014-04-29 2015-10-29 Mudit Agrawal Handling glare in eye tracking
CN105828700A (zh) * 2013-12-09 2016-08-03 传感运动器具创新传感技术有限公司 操作眼睛跟踪装置的方法和提供主动照明控制用于改进的眼睛跟踪稳定性的眼睛跟踪装置
CN106339087A (zh) * 2016-08-29 2017-01-18 上海青研科技有限公司 一种基于多维坐标的眼球追踪方法及其装置
EP3185211A1 (en) * 2014-08-22 2017-06-28 National University Corporation Shizuoka University Corneal reflection position estimation system, corneal reflection position estimation method, corneal reflection position estimation program, pupil detection system, pupil detection method, pupil detection program, gaze detection system, gaze detection method, gaze detection program, face orientation detection system, face orientation detection method, and face orientation detection program
EP3207861A2 (en) * 2016-02-22 2017-08-23 Fujitsu Limited Detection system and detection method
CN107533362A (zh) * 2015-05-08 2018-01-02 Smi创新传感技术有限公司 眼睛跟踪设备和用于操作眼睛跟踪设备的方法
WO2018000020A1 (en) * 2016-06-29 2018-01-04 Seeing Machines Limited Systems and methods for performing eye gaze tracking
CN107577341A (zh) * 2011-07-08 2018-01-12 托比公司 眼睛追踪器照明
EP3284395A1 (en) * 2016-08-10 2018-02-21 Fujitsu Limited Line-of-sight detection device, line-of-sight detection method, and line-of-sight detection program
CN108780223A (zh) * 2016-03-11 2018-11-09 欧库勒斯虚拟现实有限责任公司 用于生成眼睛模型的角膜球跟踪

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2016102317A (ru) 2010-05-29 2018-11-21 Вэньюй ЦЗЯН Системы, способы и аппарат для создания и использования очков с адаптивной линзой на основе определения расстояния наблюдения и отслеживания взгляда в условиях низкого энергопотребления
JP5776323B2 (ja) * 2011-05-17 2015-09-09 富士通株式会社 角膜反射判定プログラム、角膜反射判定装置および角膜反射判定方法
US8929589B2 (en) * 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
US8860660B2 (en) * 2011-12-29 2014-10-14 Grinbath, Llc System and method of determining pupil center position
US11490809B2 (en) * 2013-01-25 2022-11-08 Wesley W. O. Krueger Ocular parameter-based head impact measurement using a face shield
US20160025971A1 (en) * 2014-07-25 2016-01-28 William M. Crow Eyelid movement as user input
US9940518B1 (en) * 2017-09-11 2018-04-10 Tobii Ab Reliability of gaze tracking data for left and right eye
US11442539B2 (en) * 2018-01-24 2022-09-13 Apple Inc. Event camera-based gaze tracking using neural networks

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107577341A (zh) * 2011-07-08 2018-01-12 托比公司 眼睛追踪器照明
US20150098620A1 (en) * 2012-01-06 2015-04-09 Google Inc. Position Estimation
WO2015027289A1 (en) * 2013-09-02 2015-03-05 Seeing Machines Limited Method and apparatus for eye detection from glints
CN105828700A (zh) * 2013-12-09 2016-08-03 传感运动器具创新传感技术有限公司 操作眼睛跟踪装置的方法和提供主动照明控制用于改进的眼睛跟踪稳定性的眼睛跟踪装置
US20150310253A1 (en) * 2014-04-29 2015-10-29 Mudit Agrawal Handling glare in eye tracking
EP3185211A1 (en) * 2014-08-22 2017-06-28 National University Corporation Shizuoka University Corneal reflection position estimation system, corneal reflection position estimation method, corneal reflection position estimation program, pupil detection system, pupil detection method, pupil detection program, gaze detection system, gaze detection method, gaze detection program, face orientation detection system, face orientation detection method, and face orientation detection program
CN107533362A (zh) * 2015-05-08 2018-01-02 Smi创新传感技术有限公司 眼睛跟踪设备和用于操作眼睛跟踪设备的方法
EP3207861A2 (en) * 2016-02-22 2017-08-23 Fujitsu Limited Detection system and detection method
CN108780223A (zh) * 2016-03-11 2018-11-09 欧库勒斯虚拟现实有限责任公司 用于生成眼睛模型的角膜球跟踪
WO2018000020A1 (en) * 2016-06-29 2018-01-04 Seeing Machines Limited Systems and methods for performing eye gaze tracking
EP3284395A1 (en) * 2016-08-10 2018-02-21 Fujitsu Limited Line-of-sight detection device, line-of-sight detection method, and line-of-sight detection program
CN106339087A (zh) * 2016-08-29 2017-01-18 上海青研科技有限公司 一种基于多维坐标的眼球追踪方法及其装置

Also Published As

Publication number Publication date
US20200257358A1 (en) 2020-08-13
EP3671541B1 (en) 2024-03-20
EP3671541A1 (en) 2020-06-24
SE1851659A1 (en) 2020-06-22
SE543240C2 (en) 2020-10-27
CN113608620A (zh) 2021-11-05
CN111522431B (zh) 2021-08-20
US11619990B2 (en) 2023-04-04

Similar Documents

Publication Publication Date Title
CN113729611B (zh) 使用眼球中心位置的眼睛追踪
CN107533362B (zh) 眼睛跟踪设备和用于操作眼睛跟踪设备的方法
US10698482B2 (en) Gaze tracking using non-circular lights
EP3671313B1 (en) Gaze tracking using mapping of pupil center position
TWI694809B (zh) 檢測眼球運動的方法、其程式、該程式的記憶媒體以及檢測眼球運動的裝置
WO2011105004A1 (ja) 瞳孔検出装置及び瞳孔検出方法
JP3450801B2 (ja) 瞳孔位置検出装置及び方法、視点位置検出装置及び方法、並びに立体画像表示システム
CN111522431B (zh) 使用眼睛跟踪***对闪光进行分类
CN112153363B (zh) 用于3d角膜位置估计的方法和***
EP3158921A1 (en) Line of sight detection system and method
US20200187774A1 (en) Method and system for controlling illuminators
US20210011549A1 (en) Updating a cornea model
US10748301B2 (en) Corneal reflex position detection device, eye-gaze tracking device, and corneal reflex position detection method
JP2016028669A (ja) 瞳孔検出装置、および瞳孔検出方法
JP2005296382A (ja) 視線検出装置
CN111317438B (zh) 通过追踪光路来进行注视跟踪
JP6687195B2 (ja) 眼部画像処理装置
WO2017154370A1 (ja) 視線検出装置および視線検出方法
US11156831B2 (en) Eye-tracking system and method for pupil detection, associated systems and computer programs
US11003936B2 (en) Method and system for controlling an eye tracking system
US20240029395A1 (en) Systems and methods for detection of a surface material on optical components
SE2251233A1 (en) Eye tracking
CN115039147A (zh) 眼睛检测方法、眼睛检测装置以及眼睛检测程序
CN113519154A (zh) 检测眼睛跟踪校准误差

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant