CN106462236B - 在眼睛追踪中处理眩光 - Google Patents
在眼睛追踪中处理眩光 Download PDFInfo
- Publication number
- CN106462236B CN106462236B CN201580023544.2A CN201580023544A CN106462236B CN 106462236 B CN106462236 B CN 106462236B CN 201580023544 A CN201580023544 A CN 201580023544A CN 106462236 B CN106462236 B CN 106462236B
- Authority
- CN
- China
- Prior art keywords
- light
- light source
- eye
- dazzle
- saturation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000001508 eye Anatomy 0.000 claims abstract description 125
- 238000000034 method Methods 0.000 claims abstract description 60
- 230000003287 optical effect Effects 0.000 claims abstract description 11
- 229920006395 saturated elastomer Polymers 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 210000003128 head Anatomy 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 238000000465 moulding Methods 0.000 claims 2
- 239000011521 glass Substances 0.000 description 14
- 230000008569 process Effects 0.000 description 12
- 210000001747 pupil Anatomy 0.000 description 11
- 230000000903 blocking effect Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000004438 eyesight Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 210000005252 bulbus oculi Anatomy 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 101710161408 Folylpolyglutamate synthase Proteins 0.000 description 1
- 101710200122 Folylpolyglutamate synthase, mitochondrial Proteins 0.000 description 1
- 102100035067 Folylpolyglutamate synthase, mitochondrial Human genes 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 101710155795 Probable folylpolyglutamate synthase Proteins 0.000 description 1
- 101710151871 Putative folylpolyglutamate synthase Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 208000024754 bloodshot eye Diseases 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 201000005111 ocular hyperemia Diseases 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000001179 pupillary effect Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F21—LIGHTING
- F21Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES F21K, F21L, F21S and F21V, RELATING TO THE FORM OR THE KIND OF THE LIGHT SOURCES OR OF THE COLOUR OF THE LIGHT EMITTED
- F21Y2115/00—Light-generating elements of semiconductor light sources
- F21Y2115/10—Light-emitting diodes [LED]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Image Analysis (AREA)
- Eye Examination Apparatus (AREA)
- User Interface Of Digital Computer (AREA)
- Studio Devices (AREA)
- Image Input (AREA)
- Position Input By Displaying (AREA)
Abstract
本发明公开了用于眼睛追踪***和方法的实施例。示例眼睛追踪***包括多个光源以及被配置为捕获来自光源的从眼睛反射的光的图像的相机。眼睛追踪***还包括逻辑设备和存储设备，所述存储设备存储可以由逻辑设备执行以通过以下方式来获得眼睛追踪数据的帧的指令：迭代地投射来自多个光源的光源的不同组合的光，并且在每个组合的投射期间捕获眼睛的图像。所述指令可以进一步可执行以基于对在图像中所检测到的遮挡的确定来选择用于眼睛追踪的经选择的光源的组合，并且经由用于眼睛追踪的经选择的光源的组合来投射光，其中所述遮挡是由位于眼睛和相机之间的透明或半透明的光学结构而产生的。
Description
技术领域
概括地说，本公开内容涉及视线追踪技术，而更具体而言，涉及在存在眩光源的情况下执行眼睛视线追踪。
背景技术
用户可以使用多种输入机制来与计算***接合。例如，可以利用眼睛视线(gaze)追踪来与图形用户界面进行交互，其中，用户视线与图形用户界面相交的所确定的位置可以用作位置信号以用于与用户界面进行交互。视线追踪技术可以采用一个或多个光源来将光投射到眼睛上，并且采用一个或多个相机来捕获从眼睛反射的所投射的光的闪光的图像。可以利用图像中的闪光和/或瞳孔的位置来确定指示视线方向的瞳孔位置。
US6714665描述了获得和分析场景中的至少一个对象的图像的识别***，该识别***包括用于捕获场景图像并且用于定位对象的宽视场(WFOV)成像器以及响应于由WFOV成像器所提供的位置信息并且用于捕获对象的图像的窄视场(NFOV)成像器。
US2007189606描述了用于在所公开的图像中检测大的和小的非红眼闪烁缺陷的技术。该方法包括选择具有高于阈值的亮度的图像像素，并且将所选择的像素周围标记为明亮区域。
US6152563公开了针对眼睛视线方向检测的***，该***使用与光轴同轴安装并且位于用于远程记录计算机操作者的眼睛的图像的红外感应摄像机的成像镜头前面的红外发光二极管。
US2012229681公开了针对自动图像眩光移除的***和方法。可能同步地从至少两个不同的位置获得图像，并且从一个或多个相机获得图像，并且如果需要的话将图像数字化。通常通过对完全暴露的区域或者已知的测试眩光图案的识别来识别眩光图案。对图像进行处理以通过从至少一个图像中减去眩光图案并且用没有相同地受到影响的有关的图像来替换对应的数据从而移除眩光图案。
US2012105486公开了眼睛追踪的***和方法，其包括诸如显示设备、至少一个图像捕获设备、以及处理设备之类的示例性特征。所述显示设备显示包括至用户的一个或多个界面元素的用户界面。所述至少一个图像捕获设备检测用户视线相对于所述显示设备的位置。所述处理设备电子地分析用户界面内的用户元素相对于用户的视线位置的位置，并且动态地确定是否启动对缩放窗口的显示。
US2013285901公开用于远距离追踪视线的***和方法。远程视线追踪***可以包括红外照明单元，该红外照明单元包括：多个红外照明设备、视线追踪模块、以及处理器。所述红外照明设备用于朝着用户发射红外光；所述视线追踪模块用于追踪用户的脸的位置，并且从所追踪的脸的位置收集眼睛图像，所述眼睛图像包括透镜反射光和多个角膜反射光中的至少一个反射光，所述角膜反射光是由所发射红外光从角膜反射的，所述透镜反射光是从眼镜的透镜反射的；并且所述处理器用于将透镜反射光的量级与所收集的眼睛图像中的阈值进行比较，并且当所述透镜反射光的量级等于或小于所述阈值时，检测多个角膜反射光中的每个反射光的中心坐标并且计算视线位置。
EP1655687公开了用于主动地照亮并监测诸如车辆的驾驶员之类的对象的***和方法。所述***包括面向成生成对象眼睛的图像的视频成像相机。所述***还包括第一光源和第二光源，并且相互补偿(offset)并且可操作以照亮对象。所述***还包括控制器，其用于控制第一光源和第二光源的照明以使得当成像相机检测到足够的眩光时，控制器控制第一光源和第二光源以最小化眩光。这是通过关闭导致眩光的照明源来实现的。
发明内容
公开了有关在存在眩光源的情况下执行眼睛视线追踪的实施例，所述眩光源例如位于眼睛追踪相机与被追踪的眼睛之间的眼镜。例如，在一个实施例中，示例眼睛追踪***包括多个光源以及被配置为捕获从眼睛反射的来自光源的光的图像的相机。眼睛追踪***还包括逻辑设备和存储设备，所述存储设备存储可以由逻辑设备执行以通过以下方式来获得眼睛追踪数据的帧的指令：迭代地投射来自多个光源的光源的不同组合的光，并且在对每个组合的投射期间捕获眼睛的图像。所述指令可以进一步可执行以基于对在图像中所检测到的遮挡(occlusion)的确定来选择用于眼睛追踪的经选择的光源的组合，并且经由用于眼睛追踪的所选择的光源的组合来投射光，其中所述遮挡是由位于眼睛和相机之间的透明或半透明的光学结构而产生的。
提供了该发明内容以用简化的形式介绍在以下的具体实施方式中所进一步描述的概念的选择。本发明内容不旨在标识所要求保护的主题的关键特征或本质特征，也不旨在用来限制所要求保护的主题的范围。此外，所要求保护的主题不限于解决了在该公开的任何部分中所述的任何或全部缺点的实现。
附图说明
图1示出了示例眼睛追踪环境的实施例。
图2是描绘了对眼睛追踪***中的光源进行排序的方法的实施例的流程图。
图3是描绘了对来自眼睛追踪***的图像中的反射进行分类的方法的实施例的流程图。
图4示出了根据本公开的实施例的由眼睛追踪***所捕获的示例图像。
图5示出了根据本公开的实施例的由眼睛追踪***所捕获的图像的示例，其中该图像被处理以识别图像的饱和区域。
图6A和6B示出了根据本公开的实施例的针对眼睛追踪***的示例光源布置的两个视图。
图7是计算***的实施例的框图。
图8示出了根据本公开的实施例的光源的示例序列。
具体实施方式
在眼睛追踪***中，相机和/或光源可以位于与用户的眼睛和/或头部分隔的位置。因此，在相机/光源与眼睛之间可以存在诸如眼镜之类的对象，该对象可能产生对由光源投射的光的额外的反射。这些反射可能在图像中表现为眩光，并且可能遮挡闪光和/或瞳孔中的一个或多个。因此，这样的眩光可能干扰眼睛追踪。
由于这样的眩光和其他伪反射对眼睛追踪闪光的遮挡可以随着用户相对于闪光光源和相机的位置和/或朝向而变化，因此不同的光源配置以及不同类型和/或厚度的眼镜可以产生不同的眩光位置。因此，公开了有关投射不同配置的光源以帮助识别这样一种光源配置的实施例，该光源配置允许执行眼睛追踪而没有来自由眼镜等引起的眩光的对眼睛闪光的不可接受的遮挡。
图1示出了示例眼睛追踪环境100，其中，用户在戴眼镜106的同时查看计算设备104。计算设备104被描绘为平板计算机，但应当理解的是，任何其他合适的计算设备都可以利用眼睛追踪。示例包括但不限于：智能电话、膝上型计算机、个人计算机、电视、以及可穿戴计算设备(例如，头戴式显示设备)。
计算设备104包括眼睛追踪***，该眼睛追踪***包括多个光源108以及相机110。光源108可以包括例如多个发光二极管(LEDS)、和/或其他合适的发光设备。在一些实施例中，光源108可以发射红外光、可见光、或者可见光与红外光的组合(例如，光源108的一个子集可以投射红外光，而光源108的另一个子集可以投射可见光)。相机110可以包括任何合适的成像设备，包括但不限于深度相机、RGB(彩色成像)相机、灰度相机、立体相机对、和/或任何其他合适的相机或相机的组合。应当理解的是，可以将光源、相机、和/或眼睛追踪***的任何其他元件中的一个或多个元件集成在单个计算设备内、与计算设备分离地封装、或者以任何其组合来布置。
如在图1中由虚线所示，每个光源108都可以朝着用户102的眼睛发出光。相机110可以捕获用户102的眼睛的图像，该图像包括从光源108投射的光从眼睛的反射。可以基于来自相机110的图像中的所投射的光的反射相对于用户的眼睛的瞳孔(或者虹膜或其他合适的眼睛结构)的位置来确定视线的方向。这可以允许从眼睛投射视线，以使得可以确定所投射的视线与用户界面或真实世界对象相交的位置。这可以允许用户经由视线与计算设备进行交互。此外，视线位置随着时间的变化可以用作针对计算设备的手势输入。
图2示出了描绘了用于追踪眼睛移动的方法200的实施例的流程图，当在用户的眼睛与光源/相机之间存在眼镜或其它这样的结构时，该方法可以有助于实现鲁棒的眼睛追踪性能。可以由计算设备(例如，图1中的计算设备104)中的眼睛追踪***来执行方法200。
在202处，方法200包括获取眼睛追踪数据。如上所述，可以通过朝着用户的眼睛发出光(例如，红外光)并捕获从用户眼睛反射的光的图像来执行眼睛追踪。然而，由于光也可以从眼镜或者光源与用户的眼睛之间的其他透明或半透明光学结构反射，因此可能会出现遮挡来自用户眼睛的光的反射的眩光。
因此，如在204处所指示的，方法200可以包括迭代地投射来自光源的不同组合的光，并且在206处，在光源的每个不同组合的投射期间捕获眼睛的图像，如在206处所指示的。这些过程可以包含，例如，投射来自在不同组合中的不同数量的光源的光、和/或投射来自具有不同位置/朝向的光源的光。作为更加具体的示例，图8示意性地示出了包括四个光源802a-802d的眼睛追踪***，其中照明光源由表示光源的框内的斜线示出。迭代地投射来自光源的不同组合的光可以包括投射来自所有光源的光(如在时间T1处所示)；并且接着投射来自三个光源的不同组合的光(如在时间T2、T3、T4、和T5处所示)；并且接着投射来自两个光源的不同组合的光(如在时间T6和T7处所示)或者投射仅仅一个光源的光(未在图中示出)。应当理解的是，可以以任何合适的顺序来执行光源投射的这样的循环。例如，在需要最精确的视线追踪的情况下，可以在尝试具有更少数量的光源的组合之前尝试具有更多数量的照明光源的组合，而在需要省电的情况下、或者在玻璃表面趋向于产生更多的眩光的情况下，可以在尝试具有更多数量的光源的组合之前尝试那些具有更少数量的光源的组合。
此外，在一些实施例中，可以基于头部/HMD位置和/或光源的朝向/位置而可选地选择进行投射光源的组合的顺序。例如，可以知道当头部位于给定的角度时，特定数量和/或图案(pattern)的光源可以产生较少的遮挡。通过基于上述信息来选择下一组合(208)，可以以智能的方式来迭代地循环光源的不同组合，以增加可以在早期的迭代中利用的光源的合适的组合的可能性，从而减少对光源的不同组合进行循环所花费的时间量。通过该方式，眼睛追踪***可以估计光源的哪个组合将产生最低量的遮挡，并且以基于该估计的顺序来迭代地投射来自光源的不同组合的光。应当理解的是，在其他实施例中，可以基于图像中的遮挡的量来选择光源的组合，如在下文中所描述的。
在210处，方法200包括针对每个经测试的光源来确定在图像中是否存在不可接受的遮挡，以及在212处选择光源的组合以用于执行眼睛追踪。如在214处所指示的，可以基于在图像中所检测到的遮挡的量来选择光源的组合。在一些实施例中，在识别并选择了合适的组合之后，可以停止对每个组合的迭代测试，而在其他实施例中，在选择一个组合之前可能测试了一整组组合。作为对每个组合进行测试的一部分，对于给定的光源配置，眩光可以与它们的对应的闪光相匹配，或者可以获得眩光与瞳孔或闪光之间的遮挡度量。在高遮挡(例如，遮挡超过阈值)的情况下，可以从序列中选择下一个光源配置。接着可以重复该过程直到获得具有高置信度分数的未遮挡或部分遮挡的瞳孔闪光。接着可以跨未来的帧而利用该配置直到检测到下一个遮挡为止，此时再次循环通过这些配置直到再次确定合适的光源配置为止。
方法200还包括：在216处，经由光源的经选择的组合来投射光，以及在218处，通过检测来自光源的从眼睛反射的光来追踪一个或多个眼睛的视线位置。此外，在220处，方法200包括响应于眼睛追踪而执行动作。可以使用眼睛追踪来执行任何合适的动作。例如，可以利用眼睛追踪来检测眼睛姿态以检测针对图形用户界面的位置信号等。
以任何合适的方式来确定对由眩光造成的眼睛闪光反射的不可接受的遮挡的量。图3示出了描绘了方法300的示例实施例的流程图，该方法300用于对由眼睛追踪***的相机所捕获的图像中的反射和/或眩光或其他干扰进行分类。应当理解的是，可以由被配置为处理眼睛追踪***中的图像的计算设备(例如，图1的计算设备104)来执行方法300。
在302处，方法300包括从相机接收图像数据。相机可以被集成在计算设备中或者相对于计算设备外部地/远程地放置。在304处，方法300还包括在所接收的图像中检测饱和区域。例如，可以分析图像以确定图像中具有高于阈值的饱和度值的像素。
由于眩光可以是由来自眼镜或其他平滑结构的镜面反射所引起的，因此眩光可以具有类似于光源本身的强度分布的高度饱和的核心。因此，由从在眼睛追踪***中所使用的光源投射的光所形成的眩光可以在中心处具有高强度的图案，其在远离中心时该图案突然消失(dissipate)，这有时会导致闪耀(flare)的出现。根据这样的特性，由从光源投射的反射所形成的眩光可以区别于从用户的眼睛的光的反射并且区别于由于环境中的其他IR源的存在而引起的其他漫反射。
图4示出了对由眼睛追踪***的相机所捕获的图像400的示例描绘，并且示出了佩戴眼镜404的用户402的视图。可以由眼镜404以及用户402的眼睛406的瞳孔来反射眼睛追踪***的光源(以及环境光源)的光。来自眼镜404的这种反射可以产生眩光408，而来自眼睛的反射可以产生闪光410，所述闪光由眼睛406的瞳孔区域中的4个均匀间隔的点所示出。当闪光410表现为小的、大体为圆形的点时，眩光408可以具有喇叭形(flared)、星形的形状。
回到图3，方法300可以包括识别并选择图像的饱和的像素，以及如在306处所指示的执行对图像的饱和像素的前景距离变换，以使得前景距离变换后的像素强度是到反射的边界的距离的函数。这可以有助于基于饱和区域的大小和/或该饱和区域的轮廓来提供对眩光候选者的轮廓的指示。例如，大于阈值大小的饱和区域可以被认为是眩光候选者，而小于阈值大小的饱和区域可以不被认为是眩光候选者。
在308处，方法300包括例如通过移除具有低于距离阈值的距离值的轮廓来移除图像中的噪声。通过该方式，可以对眩光/眩光候选者的喇叭形轮廓进行平滑。此外，在310处，方法300包括确定每个剩余的饱和区域的边界框(例如，在308处所确定的眩光/眩光候选者的核心)。如在312处所指示的，边界框的大小可以被选择为具有使得该框能够包括饱和像素的阈值百分比。例如，可以在眩光/眩光候选者的核心周围形成边界框，并且可以增加该边界框的大小直到边界框中的饱和像素百分比超过某一阈值为止。该重新设置大小可以有助于确保将框置于每个饱和区域周围。在眩光的情况下，框包括饱和的中心，而在假阳性(例如，不反光)的情况下，饱和像素在整个框中随机扩展。短暂地转到图5，示出了图4的图像400的经处理的版本，其中饱和区域502(例如，眩光候选者)由边界框504包围。
回到图3，在314处，方法300包括将统计分布拟合至第一饱和区域。例如，可以将高斯模型或其他统计分布模型拟合至所检测的眩光中心，以形成眩光候选者区域中的饱和像素的标准化分布。接着，可以将每个饱和区域/眩光候选者的统计分布的拟合的参数与阈值条件进行比较。例如，可以针对拟合至该饱和区域的高斯模型来确定高斯模型误差，并且在316处可以确定该误差与阈值误差的比较。如果参数满足阈值(例如，如果模型误差低于阈值)，则在318处可以确定该区域是眩光，并且方法可以前进至320，在320处确定是否已经分析了所有饱和区域。例如，由于展示眩光类特征(例如，中心区域的饱和像素的集中度以及在周期性间隔的***区域处突出的眩光)的相关联的框内的饱和像素的分布，可以将图5中的眩光候选者506a、506b、506c、506d、和506e分类为眩光。在在316处确定的参数不满足阈值的情况下，方法可以前进至320而不将饱和区域分类为眩光(例如，由于缺少饱和核心和/或不存在其他眩光特征，可以不将眩光候选者506f、506g、506h、506i、506j、和506k分类为眩光)。
在320处，如果确定还没有分析所有的饱和区域(例如，在320处为“否”)，则方法300包括迭代地执行过程316、318和320直到已经分析了所有饱和区域为止。如果已经分析了所有饱和区域(例如，在320处为“是”)，则方法300包括，在324处，基于被分类为眩光的饱和区域的数量和/或位置来确定遮挡等级。例如，遮挡等级可以基于眩光的大小、眩光的数量、和/或眩光多接近眼睛的瞳孔/从眼睛的瞳孔反射的闪光。
在上文中关于方法300所描述的各种阈值(例如，308处的距离阈值、312处的阈值百分比、和316处的阈值条件)可以是预先确定的和/或是基于统计数据来选择的。在额外的或可替代的实施例中，可以经由学习算法(例如，利用分类器)来确定阈值中的一个或多个阈值。例如，经由学习算法来确定阈值可以包括基于针对特定的用户、环境、照明布置、和/或其他合适的条件所测量/记录的数据来随着时间动态地改变阈值。在使用分类器确定了阈值之后，可以添加多个其他功能(例如，二次拟合误差、相对于眼角的位置、消失梯度等)来优化已分析的图像中的眩光与非眩光之间的分隔。
图6A和6B示出了眼睛追踪***的示例光源布置600的不同的视图。在前视图6A中，个体光源602被示出为布置在外壳结构604周围。在一些实施例中，外壳结构604可以包括眼睛追踪***的相机、集成在眼睛追踪***的相机内部、和/或安装到眼睛追踪***的相机上。在其他实施例中，外壳结构604可以配置为安装到其他元件上。如图所示，每个光源602都可以相对于其他光源而位于不同的位置。通过该方式，从每个光源602投射的光可以被引导至不同的位置和/或以与从光源装置600中的其他光源投射的光不同的角度到达特定的位置。这可以允许使用光源的不同组合来形成从眼睛的反射以避免如在上文中所描述的来自眩光的遮挡。
此外，如在图6B中所示出的光源布置600的斜视图中所示，光源602中的一个或多个光源可以与布置中的其他光源不同地朝向。虚线箭头指示从每个光源602所发出的光的方向。通过该方式，从每个光源602投射的光可以被引导至不同的位置和/或以与从光源装置600的其他光源投射的光不同的角度到达特定的位置。
眼睛追踪图像中的瞳孔闪光的遮挡可以基于根据光学结构的特征，例如位置、大小、强度分布、以及到光源的映射而对光学结构上的反射进行的分类。通过提供包括引导来自不同位置/角度的光的光源在内的光源布置，光源可以迭代地打开/关闭以在眼睛追踪***中生成光源投射的不同组合。对在光的投射期间从不同光源的每个组合所捕获的图像进行分析可以识别眩光(例如，确定眩光相对于眼睛的位置)和/或将眩光与特定的光源/光源的组合进行匹配。从而，可以选择产生所获得的具有高置信度分数的未遮挡的瞳孔闪光的光源的组合、具有对眼睛/从眼睛反射的闪光的最小数量的遮挡的光源的组合、和/或以其他方式产生合适的眼睛追踪图像的光源的组合以用于执行眼睛追踪。针对给定的用户/环境来选择特定的光源组合可以使得***能够在更宽泛的范围的条件下操作，所述条件包括在眼睛追踪相机/光源与正在被追踪的眼睛之间存在诸如眼镜之类的光学结构的条件。
在一些实施例中，在本文中所描述的方法和过程可以与一个或多个计算设备的计算***相联系。特别地，可以将这样的方法和步骤实现为计算机应用程序或服务、应用程序接口(API)、库、和/或其他计算机程序产品。
图7示意性地示出了可以实现在上文中所描述的方法和过程中的一个或多个方法和过程的计算***700的非限制性实施例。以简化形式示出了计算***700。计算***可以采取一个或多个个人计算机、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如，智能电话)、可穿戴计算设备、和/或其他计算设备的形式。例如，计算***700可以是图1的计算设备104的示例和/或可以执行在图2和图3中所描述的方法。
计算***700包括逻辑设备702和存储设备704。计算***700可以可选地包括显示子***706、输入子***708、通信子***710、和/或未在图7中示出的其他组件。
逻辑设备702包括被配置为执行指令的一个或多个物理设备。例如，逻辑设备可以被配置为执行作为一个或多个应用程序、服务、程序、例程、库、对象、组件、数据结构、或其他逻辑构件的一部分的指令。可以实现这样的指令来执行任务、实现数据类型、转换一个或多个组件的状态、实现技术效果、或者以其他方式达到所期望的结果。
逻辑设备702可以包括被配置为执行软件指令的一个或多个处理器。额外地或可替代地，逻辑设备可以包括被配置为执行硬件或固件指令的一个或多个硬件或固件逻辑设备。逻辑设备的处理器可以是单核的或多核的，并且在其上执行的指令可以针对顺序、并行、和/或分布式处理而被配置。逻辑设备的个体组件可以可选地分布在两个或多个分离的设备之间，所述两个或多个分离的设备可以远程定位和/或针对协同处理而被配置。逻辑设备的各种方面可以被虚拟化并且由在云计算配置中所配置的远程可访问的、联网的计算设备来执行。
存储设备704包括一个或多个物理设备，其被配置为保存可以由逻辑设备执行以实现在本文中所描述的方法和过程的指令。当现实了这样的方法和过程时，可以转换存储设备704的状态以例如保存不同的数据。
存储设备704可以包括可移动的和/或内置的设备。存储设备704可以包括光学存储器(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器(例如，RAM、EPROM、EEPROM等)和/或磁存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等。存储设备704可以包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、和/或内容可寻址的设备。
应当理解的是，存储设备704包括一个或多个物理设备。然而，可以可选地由通信介质(例如，电磁信号、光学信号等)来传播在本文中所描述的没有由物理设备保存了有限的持续时间的指令的方面。
可以将逻辑设备702和存储设备704的方面一起集成到一个或多个硬件逻辑组件中。这样的硬件逻辑组件可以包括例如现场可编程门阵列(FPGS)、程序和应用专用集成电路(PASIC/ASICs)、程序和应用专用标准产品(PSSP/ASSPs)、片上***(SOC)、以及复杂可编程逻辑设备(CPLDs)。
术语“模块”、“程序”和“引擎”可以用来对被实现为执行特定功能的计算***700的方面进行描述。在一些情况下，模块、程序、或引擎可以经由执行由存储设备704所保存的指令的逻辑设备702而被实例化。应当理解的是，不同的模块、程序、和/或引擎可以由相同的应用、服务、代码块、对象、库、例程、API、函数等来实例化。同样，相同的模块、程序、和/或引擎可以由不同的应用、服务、代码块、对象、库、例程、API、函数等来实例化。术语“模块”、“程序”、和“引擎”可以包含可执行文件、数据文件、库、驱动程序、脚本、数据库记录等的个体或分组。
应当理解的是，如在本文中所使用的“服务”是跨多个用户会话可执行的应用程序。服务可以对一个或多个***组件、程序、和/或其他服务是可用的。在一些实现中，服务可以在一个或多个服务器-计算设备上运行。
当被包括时，显示子***706可以用来呈现由存储设备704所保存的数据的视觉表示。该视觉表示可以采用图形用户界面(GUI)的形式。由于在本文中所描述的方法和过程改变了由存储设备所保存的数据，并且因此转换了存储设备的状态，因此同样可以转换显示子***706的状态来视觉地表示底层数据的改变。显示子***706可以包括几乎利用了任何类型的技术的一个或多个显示设备。这样的显示设备可以在共享的封装中与逻辑设备702和/或存储设备704相结合，或者这样的显示设备可以是***显示设备。
输入子***708可以包括诸如眼睛追踪***(例如，图1中的计算设备104的眼睛追踪***)、键盘、鼠标、触摸屏、手写指向设备、或游戏控制器之类的一个或多个用户输入设备或者与所述一个或多个用户输入接合。在一些实施例中，输入子***可以包括所选择的自然用户输入(NUI)组件或者与所选择的NUI组件接合。这样的组件可以是集成的或者是***的，并且输入动作的转换和/或过程可以在板上或板外处理。示例NUI组件可以包括用于话音和/或语音识别的麦克风；用于机器视觉和/或手势识别的红外的、彩色的、立体的、和/或深度相机；头部追踪器，眼睛追踪器，加速度计、和/或用于运动检测和/或意图识别的陀螺仪；以及用于评估大脑活动的电场感应组件。例如，输入子***可以包括眼睛追踪***和/或用于执行图2和3的方法200和/或300的眼睛追踪***的一部分。
当被包括时，通信子***710可以被配置为将计算***700与一个或多个其他计算设备通信地进行耦合。通信子***710可以包括与一个或多个不同的通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子***可以针对经由无线电话网络、或者有线或无线局域网或广域网的通信而被配置。在一些实施例中，通信子***可以允许计算***700经由网络(例如，互联网)向其他设备发送消息和/或从其它设备中接收消息。
应当理解的是，在本文中所描述的配置和/或方法本质上是示例性的，并且这些具体实施例和/或示例不应该被理解为限制性意义，这是因为多种变型是可能的。在本文中所描述的具体例程或方法可以表示任意数量的处理策略中的一个或多个处理策略。因此，所示出和/或描述的各种行为可以以所示出和/或描述的顺序来执行、以其他顺序来执行、并行地执行、或者被省略。同样，可以改变上述过程的顺序。
本公开的主题包括各种过程、***、和配置的全部新颖的和非显而易见的组合和子组合、以及在本文中所公开的其他特征、功能、行为、和/或属性、及其任何和全部等价物。
Claims (10)
1.一种眼睛追踪***，包括：
多个光源(108)；
相机(110)，所述相机被配置为捕获来自光源的从眼睛反射的光的图像；
逻辑设备(702)；以及
存储设备(704)，所述存储设备存储能够由所述逻辑设备(702)执行以执行以下操作的指令：
通过迭代地投射(204)来自所述多个光源(108)的光源(108)的不同组合的光并且在每个组合的投射期间捕获(206)所述眼睛的图像来获得(202)眼睛追踪数据的帧；
检测(304)所述图像中的饱和区域；
确定(310)针对所述饱和区域的每个核心的边界框；
将统计分布拟合(314)至每个边界框内的每个饱和区域；
如果拟合至所述饱和区域的所述统计分布的参数满足阈值统计分布拟合条件，则将边界框内的饱和区域分类(318)为眩光；
基于眩光的数量和/或位置来确定遮挡的等级；
基于对在所述图像中所检测到的遮挡的确定来选择(212)用于眼睛追踪的经选择的光源(108)的组合，所述遮挡是由于位于所述眼睛与所述相机(110)之间的透明的或半透明的光学结构而产生的；以及
经由用于眼睛追踪的所选择的光源(108)的组合来投射(216)光。
2.根据权利要求1所述的眼睛追踪***，其中，迭代地投射来自光源(108)的不同组合的光包括：以基于针对一个或多个组合中的每个组合所预测的遮挡的顺序来迭代地投射来自光源(108)的所述不同组合的光。
3.根据权利要求2所述的眼睛追踪***，还包括：检测头部姿势，以及基于所述头部姿势来确定(208)对光源(108)的哪种组合将产生最低量的遮挡的估计。
4.根据权利要求1所述的眼睛追踪***，还包括：将图像中的饱和点指定为眩光，以及将所述眩光与在光源(108)的第一组合中所选择的光源(108)进行匹配，所述匹配基于对在下一图像中是否存在所述眩光的确定，所述下一图像是在不包括所述所选择的光源(108)的光源(108)的第二、不同的组合的投射期间所捕获的。
5.根据权利要求1所述的眼睛追踪***，其中，迭代地投射来自光源(108)的不同组合的光包括：在第一次迭代期间投射来自所述多个光源(108)中的所有光源的光，以及在一个或多个其他迭代期间投射来自所述多个光源(108)中的一个或多个子集的光。
6.根据权利要求1所述的眼睛追踪***，其中，所述多个光源(108)中的一个或多个光源彼此不同地朝向，并且其中，迭代地投射来自光源(108)的不同组合的光包括迭代地投射来自具有朝向的不同组合的光源(108)的不同组合的光。
7.一种眼睛追踪的方法，包括：
迭代地投射(204)来自多个光源(108)的光源(108)的不同组合的光；
在每个组合的投射期间捕获(206)所述眼睛的图像；
检测(304)所述图像中的饱和区域；
确定(310)针对所述饱和区域的每个核心的边界框；
将统计分布拟合(314)至每个边界框内的每个饱和区域；以及
如果拟合至所述饱和区域的所述统计分布的参数满足阈值统计分布拟合条件，则将边界框内的饱和区域分类(318)为眩光；
基于眩光的数量和/或位置来确定遮挡的等级；
基于对在所述图像中所检测到的遮挡的确定来选择(212)用于眼睛追踪的经选择的光源的组合，所述遮挡是由于位于所述眼睛与相机(110)之间的透明的或半透明的光学结构而产生的；以及
经由用于眼睛追踪的所选择的光源(108)的组合来投射(216)光。
8.根据权利要求7所述的方法，其中，确定(310)每个饱和区域的边界框包括增加(312)所述边界框的大小直到所述边界框中的饱和像素的百分比满足阈值边界框条件。
9.根据权利要求8所述的方法，还包括对所述图像执行(306)前景距离变换，以及移除(308)具有小于距离阈值的距离值的所述图像中的轮廓以检测所述饱和区域的核心。
10.根据权利要求9所述的方法，其中，经由学习算法来确定所述距离阈值、所述阈值边界框条件、以及所述阈值统计分布拟合条件中的一个或多个。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910413521.2A CN110266916B (zh) | 2014-04-29 | 2015-04-23 | 用于在眼睛追踪中处理眩光的方法和*** |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/264,952 US9454699B2 (en) | 2014-04-29 | 2014-04-29 | Handling glare in eye tracking |
| US14/264,952 | 2014-04-29 | ||
| PCT/US2015/027185 WO2015167906A1 (en) | 2014-04-29 | 2015-04-23 | Handling glare in eye tracking |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910413521.2A Division CN110266916B (zh) | 2014-04-29 | 2015-04-23 | 用于在眼睛追踪中处理眩光的方法和*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106462236A CN106462236A (zh) | 2017-02-22 |
| CN106462236B true CN106462236B (zh) | 2019-06-04 |
Family
ID=53059471
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201580023544.2A Active CN106462236B (zh) | 2014-04-29 | 2015-04-23 | 在眼睛追踪中处理眩光 |
| CN201910413521.2A Active CN110266916B (zh) | 2014-04-29 | 2015-04-23 | 用于在眼睛追踪中处理眩光的方法和*** |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910413521.2A Active CN110266916B (zh) | 2014-04-29 | 2015-04-23 | 用于在眼睛追踪中处理眩光的方法和*** |
Country Status (18)
| Country | Link |
|---|---|
| US (2) | US9454699B2 (zh) |
| EP (1) | EP3137973B1 (zh) |
| JP (2) | JP6592000B2 (zh) |
| KR (1) | KR102358936B1 (zh) |
| CN (2) | CN106462236B (zh) |
| AU (1) | AU2015253554B2 (zh) |
| BR (1) | BR112016024889B1 (zh) |
| CA (1) | CA2943426C (zh) |
| CL (1) | CL2016002668A1 (zh) |
| IL (1) | IL247738B (zh) |
| MX (1) | MX366780B (zh) |
| MY (1) | MY184112A (zh) |
| NZ (1) | NZ724321A (zh) |
| PH (1) | PH12016501886B1 (zh) |
| RU (1) | RU2678478C2 (zh) |
| SG (1) | SG11201608289YA (zh) |
| TW (1) | TW201541284A (zh) |
| WO (1) | WO2015167906A1 (zh) |
Families Citing this family (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9454699B2 (en) * | 2014-04-29 | 2016-09-27 | Microsoft Technology Licensing, Llc | Handling glare in eye tracking |
| US9946339B2 (en) * | 2014-10-08 | 2018-04-17 | Microsoft Technology Licensing, Llc | Gaze tracking through eyewear |
| US10444972B2 (en) | 2015-11-28 | 2019-10-15 | International Business Machines Corporation | Assisting a user with efficient navigation between a selection of entries with elements of interest to the user within a stream of entries |
| EP3479293A4 (en) * | 2016-06-29 | 2020-03-04 | Seeing Machines Limited | SYSTEMS AND METHODS FOR PERFORMING LOOK TRACKING |
| WO2018009568A1 (en) * | 2016-07-05 | 2018-01-11 | Wu Yecheng | Spoofing attack detection during live image capture |
| US10496163B2 (en) | 2016-09-22 | 2019-12-03 | Apple Inc. | Eye and head tracking |
| US10120442B2 (en) * | 2016-12-21 | 2018-11-06 | Oculus Vr, Llc | Eye tracking using a light field camera on a head-mounted display |
| CN106874895B (zh) | 2017-03-31 | 2019-02-05 | 北京七鑫易维信息技术有限公司 | 一种视线追踪装置及头戴式显示设备 |
| US10657401B2 (en) * | 2017-06-06 | 2020-05-19 | Microsoft Technology Licensing, Llc | Biometric object spoof detection based on image intensity variations |
| CN108605081B (zh) * | 2017-07-18 | 2020-09-01 | 杭州他若信息科技有限公司 | 智能目标追踪 |
| US10474231B2 (en) | 2017-08-16 | 2019-11-12 | Industrial Technology Research Institute | Eye tracking apparatus and method thereof |
| US11567318B1 (en) * | 2017-09-25 | 2023-01-31 | Meta Platforms Technologies, Llc | Determining features of a user's eye from depth mapping of the user's eye via indirect time of flight |
| KR102410834B1 (ko) * | 2017-10-27 | 2022-06-20 | 삼성전자주식회사 | 반사 영역을 제거하는 방법, 사용자의 눈을 추적하는 방법 및 그 장치 |
| JP7138168B2 (ja) | 2017-10-31 | 2022-09-15 | シーイング マシーンズ リミテッド | 低照明光条件下での物体追跡における信号対雑音比を向上させるためのシステム及び方法 |
| US20190129174A1 (en) * | 2017-10-31 | 2019-05-02 | Google Llc | Multi-perspective eye-tracking for vr/ar systems |
| KR102476757B1 (ko) | 2017-12-21 | 2022-12-09 | 삼성전자주식회사 | 반사를 검출하는 장치 및 방법 |
| TWI647472B (zh) * | 2018-01-22 | 2019-01-11 | 國立臺灣大學 | 雙模式視線追蹤方法與系統 |
| CN108510542B (zh) * | 2018-02-12 | 2020-09-11 | 北京七鑫易维信息技术有限公司 | 匹配光源与光斑的方法和装置 |
| US10863812B2 (en) * | 2018-07-18 | 2020-12-15 | L'oreal | Makeup compact with eye tracking for guidance of makeup application |
| WO2020047140A1 (en) * | 2018-08-29 | 2020-03-05 | Intuitive Surgical Operations, Inc. | Dynamic illumination for eye-tracking |
| AU2019345058A1 (en) * | 2018-09-19 | 2021-04-15 | Avedro, Inc. | Systems and methods for eye tracking during eye treatment |
| DE102018010099B4 (de) * | 2018-12-21 | 2021-12-02 | Diehl Aerospace Gmbh | Vermeiden der Blendung von Personen durch eine Lichtquelle |
| SE543240C2 (en) * | 2018-12-21 | 2020-10-27 | Tobii Ab | Classification of glints using an eye tracking system |
| US10877268B2 (en) * | 2019-04-16 | 2020-12-29 | Facebook Technologies, Llc | Active control of in-field light sources of a head mounted display |
| US10948729B2 (en) | 2019-04-16 | 2021-03-16 | Facebook Technologies, Llc | Keep-out zone for in-field light sources of a head mounted display |
| US11516374B2 (en) | 2019-06-05 | 2022-11-29 | Synaptics Incorporated | Under-display image sensor |
| IT201900011403A1 (it) * | 2019-07-10 | 2021-01-10 | Ambarella Int Lp | Detecting illegal use of phone to prevent the driver from getting a fine |
| EP3779561A1 (en) * | 2019-08-13 | 2021-02-17 | HTC Corporation | Head-mounted display |
| US11153513B2 (en) | 2019-08-19 | 2021-10-19 | Synaptics Incorporated | Light source for camera |
| CN112578556B (zh) * | 2019-09-27 | 2023-02-21 | 托比股份公司 | 用于减少来自光学装置的不合需的反射的眼睛跟踪*** |
| US11076080B2 (en) | 2019-12-05 | 2021-07-27 | Synaptics Incorporated | Under-display image sensor for eye tracking |
| US11340701B2 (en) * | 2019-12-16 | 2022-05-24 | Nvidia Corporation | Gaze determination using glare as input |
| WO2021125992A1 (ru) * | 2019-12-16 | 2021-06-24 | федеральное государственное автономное образовательное учреждение высшего образования "Московский физико-технический институт (национальный исследовательский университет)" | Устройство определения направления взгляда |
| WO2021125993A1 (ru) * | 2019-12-16 | 2021-06-24 | Федеральное Государственное Автономное Образовательное Учреждение Высшего Образования "Московский Физико-Технический Инстиут (Национальный Исследовательский Университет)" | Способ определения направления взгляда |
| CN111772575A (zh) * | 2020-06-02 | 2020-10-16 | 岭南师范学院 | 基于led光学无损特殊儿童检测仪及检测方法 |
| CN112198965B (zh) * | 2020-12-04 | 2021-03-09 | 宁波圻亿科技有限公司 | 一种ar眼镜护目自动控制方法及装置 |
| JP6956985B1 (ja) * | 2020-12-22 | 2021-11-02 | 株式会社スワローインキュベート | 目検出方法、目検出装置及び目検出プログラム |
| US11972042B2 (en) * | 2021-06-15 | 2024-04-30 | Microsoft Technology Licensing, Llc | Variable intensity distributions for gaze detection assembly |
| JP2023041097A (ja) * | 2021-09-13 | 2023-03-24 | 矢崎総業株式会社 | 検出システム |
| GB2618078A (en) * | 2022-04-25 | 2023-11-01 | Continental Automotive Tech Gmbh | An image processing method for removal of glare spots and system for the same |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6152563A (en) * | 1998-02-20 | 2000-11-28 | Hutchinson; Thomas E. | Eye gaze direction tracker |
| EP1655687A2 (en) * | 2004-10-27 | 2006-05-10 | Delphi Technologies, Inc. | Illumination and imaging system and method |
| CN101336089A (zh) * | 2006-01-26 | 2008-12-31 | 诺基亚公司 | 眼睛***设备 |
Family Cites Families (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6714665B1 (en) | 1994-09-02 | 2004-03-30 | Sarnoff Corporation | Fully automated iris recognition system utilizing wide and narrow fields of view |
| US7336821B2 (en) | 2006-02-14 | 2008-02-26 | Fotonation Vision Limited | Automatic detection and correction of non-red eye flash defects |
| JP4250506B2 (ja) * | 2003-10-31 | 2009-04-08 | キヤノン株式会社 | 画像処理方法、画像処理装置、画像処理プログラムおよび撮像システム |
| JP2006318374A (ja) * | 2005-05-16 | 2006-11-24 | Matsushita Electric Ind Co Ltd | 眼鏡判別装置および認証装置ならびに眼鏡判別方法 |
| EP1977374A4 (en) * | 2005-11-30 | 2012-09-05 | Seeing Machines Pty Ltd | VISUAL TRACKING OF GLASSES IN VISUAL HEAD AND EYE TRACKING SYSTEMS |
| US7630002B2 (en) | 2007-01-05 | 2009-12-08 | Microsoft Corporation | Specular reflection reduction using multiple cameras |
| CN101008982A (zh) * | 2006-01-27 | 2007-08-01 | 侯雨石 | 消除眼镜干扰的虹膜采集方法和装置 |
| CN101499127B (zh) * | 2008-02-03 | 2012-07-18 | 上海银晨智能识别科技有限公司 | 防止眼镜镜片反光干扰而导致无法识别人脸的方法 |
| US20100079508A1 (en) | 2008-09-30 | 2010-04-01 | Andrew Hodge | Electronic devices with gaze detection capabilities |
| WO2010118292A1 (en) | 2009-04-09 | 2010-10-14 | Dynavox Systems, Llc | Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods |
| US8324602B2 (en) | 2009-04-14 | 2012-12-04 | Intersil Americas Inc. | Optical sensors that reduce specular reflections |
| CN101545588A (zh) * | 2009-04-30 | 2009-09-30 | 清华大学 | 一种防止眼镜反光的机器视觉照明*** |
| US8333475B2 (en) * | 2009-11-12 | 2012-12-18 | Panasonic Corporation | Electro-oculography measuring device, ophthalmological diagnosis device, eye-gaze tracking device, wearable camera, head-mounted display, electronic eyeglasses, electro-oculography measuring method, and recording medium |
| EP2339534A1 (en) | 2009-11-18 | 2011-06-29 | Panasonic Corporation | Specular reflection compensation |
| RU93553U1 (ru) * | 2009-11-19 | 2010-04-27 | Общество с ограниченной ответственностью "Системы позиционирования - оптические технологии" | Компьютерный манипулятор, использующий углы поворота глаз и направление взгляда человека для позиционирования курсора на экране компьютера |
| US20110170060A1 (en) | 2010-01-08 | 2011-07-14 | Gordon Gary B | Gaze Tracking Using Polarized Light |
| CN102939557B (zh) | 2010-05-29 | 2014-07-30 | 蒋文宇 | 用于制造和使用具有通过凝视距离和低功率视线跟踪驱动的自适应透镜的眼镜的***、方法和设备 |
| EP2486441B1 (en) | 2010-10-07 | 2018-02-21 | Sony Interactive Entertainment Inc. | 3-d glasses with camera based head tracking |
| US8730356B2 (en) | 2011-03-07 | 2014-05-20 | Sony Corporation | System and method for automatic flash removal from images |
| EP2724292A4 (en) | 2011-06-18 | 2015-05-06 | Identix Inc | SYSTEMS AND METHOD FOR RECOGNIZING A MIRROR REFLECTION MODEL FOR BIOMETRIC ANALYZES |
| US8929589B2 (en) | 2011-11-07 | 2015-01-06 | Eyefluence, Inc. | Systems and methods for high-resolution gaze tracking |
| US8878749B1 (en) * | 2012-01-06 | 2014-11-04 | Google Inc. | Systems and methods for position estimation |
| KR20130121303A (ko) | 2012-04-27 | 2013-11-06 | 한국전자통신연구원 | 원거리 시선 추적 시스템 및 방법 |
| US9192305B2 (en) * | 2012-09-28 | 2015-11-24 | Align Technology, Inc. | Estimating a surface texture of a tooth |
| US9829971B2 (en) * | 2013-01-21 | 2017-11-28 | Facebook, Inc. | Systems and methods of eye tracking control |
| US20140375541A1 (en) * | 2013-06-25 | 2014-12-25 | David Nister | Eye tracking via depth camera |
| CN106132284B (zh) * | 2013-11-09 | 2019-03-22 | 深圳市汇顶科技股份有限公司 | 光学眼动追踪 |
| US9454699B2 (en) * | 2014-04-29 | 2016-09-27 | Microsoft Technology Licensing, Llc | Handling glare in eye tracking |
-
2014
- 2014-04-29 US US14/264,952 patent/US9454699B2/en active Active
-
2015
- 2015-03-19 TW TW104108831A patent/TW201541284A/zh unknown
- 2015-04-23 CA CA2943426A patent/CA2943426C/en active Active
- 2015-04-23 NZ NZ724321A patent/NZ724321A/en unknown
- 2015-04-23 CN CN201580023544.2A patent/CN106462236B/zh active Active
- 2015-04-23 MY MYPI2016703663A patent/MY184112A/en unknown
- 2015-04-23 KR KR1020167032098A patent/KR102358936B1/ko active IP Right Grant
- 2015-04-23 JP JP2016559253A patent/JP6592000B2/ja active Active
- 2015-04-23 WO PCT/US2015/027185 patent/WO2015167906A1/en active Application Filing
- 2015-04-23 EP EP15721447.9A patent/EP3137973B1/en active Active
- 2015-04-23 MX MX2016014094A patent/MX366780B/es active IP Right Grant
- 2015-04-23 AU AU2015253554A patent/AU2015253554B2/en active Active
- 2015-04-23 RU RU2016142286A patent/RU2678478C2/ru active
- 2015-04-23 CN CN201910413521.2A patent/CN110266916B/zh active Active
- 2015-04-23 BR BR112016024889-9A patent/BR112016024889B1/pt active IP Right Grant
- 2015-04-23 SG SG11201608289YA patent/SG11201608289YA/en unknown
-
2016
- 2016-08-22 US US15/243,544 patent/US9916502B2/en active Active
- 2016-09-11 IL IL247738A patent/IL247738B/en active IP Right Grant
- 2016-09-23 PH PH12016501886A patent/PH12016501886B1/en unknown
- 2016-10-20 CL CL2016002668A patent/CL2016002668A1/es unknown
-
2019
- 2019-09-19 JP JP2019170087A patent/JP6845295B2/ja active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6152563A (en) * | 1998-02-20 | 2000-11-28 | Hutchinson; Thomas E. | Eye gaze direction tracker |
| EP1655687A2 (en) * | 2004-10-27 | 2006-05-10 | Delphi Technologies, Inc. | Illumination and imaging system and method |
| CN101336089A (zh) * | 2006-01-26 | 2008-12-31 | 诺基亚公司 | 眼睛***设备 |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106462236B (zh) | 在眼睛追踪中处理眩光 | |
| EP3284011B1 (en) | Two-dimensional infrared depth sensing | |
| KR102456046B1 (ko) | 동공 검출 | |
| US8477996B2 (en) | Method and device for finding and tracking pairs of eyes | |
| US10061984B2 (en) | Processing an image to identify a metric associated with the image and/or to determine a value for the metric | |
| KR102455734B1 (ko) | 안경류를 통한 시선 추적 시스템 및 그 방법 | |
| KR102502310B1 (ko) | 적외선 이미징을 사용한 색상 식별 | |
| CN105407791A (zh) | 经由深度相机的眼睛追踪 | |
| CN104769644A (zh) | 利用可变场照明设备的对象检测和跟踪 | |
| CN105659200A (zh) | 用于显示图形用户界面的方法、设备和*** | |
| KR20120006819A (ko) | 시선 추적 방법 및 이를 적용하는 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1234172 Country of ref document: HK |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |