CN106778602A - 利用gpu的眼动跟踪 - Google Patents

利用gpu的眼动跟踪 Download PDF

Info

Publication number
CN106778602A
CN106778602A CN201611145804.6A CN201611145804A CN106778602A CN 106778602 A CN106778602 A CN 106778602A CN 201611145804 A CN201611145804 A CN 201611145804A CN 106778602 A CN106778602 A CN 106778602A
Authority
CN
China
Prior art keywords
image
graphics card
eyes
tracking system
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611145804.6A
Other languages
English (en)
Inventor
P·布利斯特
A·赫格隆德
M·科别茨基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toby Joint-Stock Co
Original Assignee
Toby Joint-Stock Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toby Joint-Stock Co filed Critical Toby Joint-Stock Co
Publication of CN106778602A publication Critical patent/CN106778602A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/16—Special procedures for taking photographs; Apparatus therefor for photographing the track of moving objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Optics & Photonics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明提供一种确定看着可用显示信号控制的可视显示器的眼睛的凝视点的方法。该方法包括利用图形卡产生显示信号以使可视显示器产生屏幕图案；接收对包括屏幕图案的角巩膜反射的眼睛的图像进行编码的信号；部分地基于反射的几何形状确定眼睛的凝视点，其中凝视点的确定包括将图形卡作为并行处理器使用。可在图形卡处直接接收眼睛的图像。图形卡可从眼睛的图像中提取图像特征。可使用参考照明装置，且所述屏幕图案可与独特参考图案交错。还提供适于确定观看者的凝视点的视线跟踪***以及个人计算机***。

Description

利用GPU的眼动跟踪
本申请是申请日为2010年9月30日，申请号为201010503531.4，题为“利用GPU的眼动跟踪”的发明专利申请的分案申请。
技术领域
在此公开的本发明一般地涉及利用计算机***的眼动跟踪(凝视点或凝视角的确定)。具体地，本发明提供用于确定观看构成便携式或者固定个人计算机***或者手机等具有成像和计算能力的通信设备的一部分的可视显示器的眼睛的凝视点的数据输入、数据输出以及数据处理的有效实现方式。
背景技术
监视或者跟踪眼动以及确定人的凝视点可用于多种不同的环境中。在分析人的行为和意识时，眼动跟踪数据可作为重要的信息源。眼动跟踪数据可用于评估人正看着的物体以及评估相应的人。凝视点检测的多种用途包括：关于软件和不同类型界面的可用性的研究；对网页、广告宣传、广告的评估；提供用于在模拟环境中训练飞行员和培训安全攸关角色的监视人员的手段；以及对心理学、行为科学和人类感知的研究。最近几年来吸引了越来越多兴趣的领域是对广告宣传以及其他销售渠道的评估。
眼动跟踪技术还可用于交互：用户通过仅看着计算机就可控制它。眼控可作为唯一的交互技术或者可与键盘、鼠标、物理按钮和声音结合。眼控用于残疾人士的通信设备以及各种产业和医疗应用中。
虽然眼动跟踪***在越来越多的应用范围中使用，但它们还未足够灵活到属于新型膝上型计算机和台式计算机的标准设备，不过网络照相机却属于上述计算机的标准设备。具有几百万像素的分辨率的多数标准型网络照相机可为眼动跟踪用途提供足够的光学质量。若需要，在显示屏的周围或后面提供可作为可分离单元的辅助发光装置是容易的(参照申请人的共同待审的欧洲专利申请EP 09 157 104和EP 09 157 106，上述专利通过引用整体地纳入于此)。然而，眼动跟踪的计算复杂度可能足以阻止计算机厂商引入此类功能，因为一些眼动跟踪实现方式在个人计算机上实时运行时，占据输入/输出容量、存储器资源和中央处理单元(CPU)的数据处理能力的很大一部分。这种占据不利于计算机的其他功能，它会使其他程序的执行显著地变慢以及增加它们的等待时间。因此，需要眼动跟踪的改进的计算机实现方式。
发明内容
本发明的目的是提供对看着可视显示器的眼睛的视线跟踪的改进的、更有效的计算机实现方式。本发明的另一个目的是提供与现有实现方式相比与同一计算机上执行的同时进程干扰更小的工具。
本发明更进一步的目的是提供视线跟踪***，在该***中传输、存储和处理资源被有效使用。
本发明的又一个目的是提供可集成到个人计算机***(例如，台式计算机或膝上型计算机、笔记本计算机、上网本计算机、智能电话、个人数字助理、手机照相机以及具有图形卡或专用图形处理装备的其他设备)中而不干扰计算机上执行的其他任务的视线跟踪***。更进一步的目的是提供适合实时运算的视线跟踪***。
通过如独立权利要求中所陈述的方法、计算机可读介质、视线跟踪***以及个人计算机***可实现这些目的中的至少一个目的。从属权利要求定义本发明的实施例。
本申请的上下文中，‘几何形状’(例如，角巩膜反射的几何形状)这一术语所指的是尺寸、位置和形状，因此所指的是屏幕图案在反射时经历的整体几何变化。CPU是默认的数据处理资源，且通用串行总线(USB)是成像设备的默认接口。图形卡(又称为视频卡、视频适配器、视频板、视频控制器、显示适配器和图形加速器)是生成向计算机显示器发送的视频信号的集成电路。这种卡通常置于计算机母板上或者是独立的电路板，但是有时会构建到计算机显示单元中。它包括数模转换模块，以及存储显示数据的存储器芯片。图形卡以多种商标制造并销售，如FireGLTM、FireProTM、FlipperTM、GeForceTM、HollywoodTM、MobilityFireGLTM、NvidiaTM、QuadroTM、RadeonTM、RageTM、Reality SynthesizerTM、TeslaTM、XenosTM以及XGPUTM等。
本发明的第一个方面中，提供确定看着可视显示器的眼睛的凝视点的方法，该可视显示器可由显示信号控制。该方法包括：
·利用图形卡生成显示信号以便可视显示器产生屏幕图案；
·接收对包括屏幕图案的角巩膜反射的眼睛的图像进行编码的信号；以及
·部分地基于所述屏幕图案的角巩膜反射的几何形状确定眼睛的凝视点。
其中所述凝视点的确定包括将图形卡作为并行处理器使用。
上述方法涉及眼动跟踪中涉及的特定数据处理任务和/或特定输入/输出数据流的分配。具体而言，接下来详细说明的处理任务是从CPU重新分配到图形卡，更确切地，分配到图形卡的图形处理单元(GPU)中的。这解除CPU的负荷并释放资源用于其他进程的使用。此外，如果GPU相比于CPU在特定处理任务上执行得更好，则这种任务的重新分配可能改进整个计算机***的性能。这在矩阵运算、图像处理、图像的压缩和解压缩以及其他由并行计算装备执行时易受影响的算法中通常如此。众所周知，GPU的特征一般在于算术性能优秀和高存储器带宽。更确切地说，它们的流水线结构以相对大的等待时间为代价实现高吞吐量，然而该等待时间比肉眼视觉***工作的毫秒时间尺度小几个数量级，从而在眼动跟踪环境中不会导致任何困难。从更通常的观点来看，还有设备适合解除CPU负荷，尤其是称作物理模块或者物理卡的设备，它们的主要用途是帮助根据自然法则的模拟***所涉及的繁重运算。因此本发明的实施例可包括与图形卡扮演的角色相同的经过适当匹配的物理卡。
此外，根据本发明，在图形卡处接收对所要跟踪的眼睛的图像进行编码的信号。由于多个初步处理步骤因此由图形卡执行，通过过滤不相关图像片断、预处理图像数据、提取图像特征的坐标等，到达CPU的数据量可明显减少。此外，由于在图形卡处接收该图像信号并对其进行处理，输入数据流的路径可被缩短，否则输入数据流要通过USB接口、内部总线和图形端口或母板设备的其他连接链传输。输入数据流的有效路由构成本发明的另一个优点。
本发明的第二个方面中，提供用于执行上述方法的计算机程序产品。本发明的第三和第四个方面中，提供视线跟踪***和集成了该视线跟踪***的个人计算机***(如上面所示理解此术语)。该视线跟踪***包括可视显示器、照相机、图形卡以及凝视点确定模块。在此，可能是软件模块的凝视点确定模块有权分配***中的资源，该模块可用于使得***根据如上所述的方法运行。本发明的第五个方面涉及将图形卡用于执行与看着可视显示器的眼睛的视线跟踪相关联的特定任务。
根据本发明的一个实施例，图形卡从屏幕图案的角巩膜反射中提取一个或多个图像特征。然后图形卡从显示信号中推出屏幕图案中的一个或更多图像特征的相应位置，该显示信号由图形卡本身向可视显示器提供。角膜反射之前和之后的图像特征坐标用于确定眼睛的位置。作为替换方式，显示信号可作为考虑到形变、反光等的屏幕图案的起始点以及区域——可在反射中被搜索。在一些实施例中，还可从这些坐标中推出眼睛的方向。
在另一个实施例中，由适于发射用于在眼睛角巩膜表面上产生闪烁的、小的、清晰明亮的反射的不可见光的至少一个参考照明装置照亮眼睛。从眼睛图像推出的闪烁的位置用于确定眼睛的凝视点。红外(IR)和近红外(NIR)范围内的波长适合产生闪烁。在认为适当时，可分别采用用于产生亮瞳和暗瞳眼图像的同轴或非同轴照明装置。参考照明装置可集成于可视显示器中或以可分离的方式置于可视显示器上。有利地，参考照明装置是设置在装配装置中的发光二极管(LED)，这些装配装置具有钩子、夹子、吸杯或将发光二极管(LED)固定至可视显示器的相似装置。作为替换方式，如EP 09 157106中描述，参考照明装置可设置于屏幕后方，并且与该屏幕中所提供的合适的部分孔径对准。
在另一的实施例中，利用与可视显示器同步的成像设备接收眼睛的图像。若该可视显示器实时响应于显示信号，例如零延时或无延时地绘出图像，则显示信号可用作成像设备的触发信号。作为替换方式，可向这两个设备提供专用触发信号。同步有利于图像质量，因为通过在与显示图像更新频率相同的频率下取样可避免失真相关的赝象。这些赝象中有(平均)图像强度的时间振荡，以及亮和暗水平条的固定或移动图案。具体而言，成像设备和可视显示器间的同步化可用于将独特参考图案与规则屏幕图案交错。有利地，人类观看者所察觉的规则屏幕图案占据周期的最大一部分，而该参考图案以人眼看不到的短时隙显示。参考图案可包括可容易提取的图像特征或者设计成便于测量反射造成的几何形变的图像特征。具体而言，参考图案可包括不可视光，例如可视显示器或参考照明装置发射的NIR光等。
作为替换方式，成像设备替代地与至少一个参考照明装置同步。因此，作为第一选项，参考照明装置的照明可以在明确限定的时隙提供，从而实现参考照明装置的能量经济操作。作为第二选项，通过减去在参考照明装置的光照下和无光照下分别的眼图像可获得高对比度。
在另一个可选实施例中，成像设备、可视显示器以及一个或多个参考照明装置均被同步。与上述独特参考屏幕图案的交错类似，可视显示器和参考照明装置可以以交替方式操作，从而减少整体能量消耗并获取分别的眼图像，其中一个利用屏幕的反射而一个利用参考照明装置的反射。
在本部分的两个或更多实施例中讨论的特征可便利地结合，除非它们是明显互补的。同样，在不同权利要求中叙述两个或更多特征的事实不排除它们的结合以产生良好效果。
附图简述
现在将参考附图对发明的实施例进行描述，其中：
图1是示例性计算机母板和与其连接的图形卡的示意图；
图2是产生包括在观看者的眼角膜上反射、此后由成像设备记录的图像特征的屏幕图案的可视显示器的示意图；以及
图3示出若干屏幕图案和相应的角膜反射。
实施例的详细描述
现在将参考图1描述典型个人计算机中的母板的结构。计算机的芯片组或者核心逻辑包括北桥101或(集成)存储器控制器，以及南桥102或输入/输出控制器中枢。北桥(NB)101和南桥(SB)102通过内部总线150通信地连接。南桥102通常用作数据传输率低于北桥101的设备的接口。因此，在此示例中，南桥102连接至基本输入/输出***(BIOS)130、集成驱动电子(IDE)总线131、以及工业标准体系结构(ISA)总线132、用于提供向后兼容性的传统(Legacy)接口133、***部件互联(PCI)总线134以及USB接口135。通常处理高速设备的北桥101经由前端总线152连接至CPU110，且经由存储器总线153连接至随机存取存储器单元(RAM)120。因此，例如，在USB接口135处接收并旨在流向CPU的数据流将经由内部总线150和前侧总线152路由至CPU 110。
在图1中，还示出经由诸如通常使用的图形加速端口(AGP)或PCI高速(PCIe)总线等图形端口151连接至北桥芯片101的图形卡140。图形卡140的核心组件是GPU。母板接口142连接至图形端口151。视频BIOS144、视频存储器145，以及若需要由图形卡140驱动的模拟可视显示器，则还有随机存取存储器数模转换器146构成图形卡140的一部分。图形卡140可包括如根据自然法则进行过程模拟的物理模块等媒体处理器。外部接口143允许可视显示器以及可能的其他设备连接至图形卡140。
图2示出视线跟踪测量的光学情形。可视显示器210产生包括图像特征212的屏幕图案。特征212被成像为观众眼睛220的角膜222或者巩膜224上的角膜反射226。优选是数码照相机或者网络照相机的成像设备230然后将角膜反射226光学地映射到图像点234。在如图所示的简化模型中，照相机230的成像由(背面)节点232和像面236确定。为了附图的清楚起见，仅示出从图像特征212a、212b、以及212d发出的光线。附图没有按照比例绘制，在实际情形中，在400mm观看距离处的17英寸屏幕给出高约4mm的屏幕虚拟图像。
根据图像点234的位置可计算出眼睛220的位置。通过查明眼睛220的图像中的瞳孔中心位置，可利用瞳孔中心角膜反射理论确定视线的方向(例如，参考E.D.Guetrin和M.Eizenmann的IEEE Transactions on Biomedical Engineering,vol.53,no.6(June2006)(IEEE生物医学工程学报第53卷，第6号(2006年6月)的文献，该文献作为参考纳入于此)。作为替换方式，根据人类角膜的非旋转对称性，如果计算基于更精确的非球面角膜模型，只要可提取足够数量的成对图像点234以及图像特征212，查明视线的方向就是可能的(参考EP 09 157106)。除了该几何映射方法，用于查明凝视角的有用方法包括特定神经网络中的统计模型以及学习算法——支持向量机(SVM)方法以及维奥拉-琼斯(Viola-Jones)算法。
可使用任意一种可视显示器210，只要该可视显示器的亮度允许成像设备230以足够好的图像质量记录屏幕图案反射。如已经提到地，可在可视显示器210屏幕表面的背面或周围设置可能发射不可见波长范围的光的参考照明装置。
至于成像设备230，可使用集成和可分离设备。该设备的敏感波长范围根据显示器210是否装配有辅助参考照明装置而适配。优选地，为了实现输入数据流的有效路由，将成像设备230直接连接至图形卡140的外部接口143，该图形卡140也连接至可视显示器210。或者，成像设备230通过USB(2.0或3.0版本)端口、IEEE1394接口(火线)或CameraLink接口连接。
现在将描述集成于膝上型个人计算机的眼动跟踪***的优选实施例。如已经提到地，用户可使用经与眼动跟踪应用仔细匹配的标准可视显示器210以及成像设备230。在优选实施例中，成像设备230是安排在计算机的可视显示器上方的照相机。照相机的敏感度延伸至NIR范围，且NIR光源(未示出)与照相机同轴地设置，从而可提供亮瞳眼图像。照相机与可视显示器与NIR光源进行同步，该同步诸如通过向这三个设备转发GPU的时钟信号(可能经放大)来实现。当该可视显示器210以60Hz的刷新率工作时，每第30个周期用于显示独特参考图案，以及用于使用照相机获得眼图像。由于视网膜的积分时间长于1/60秒，至少在正常的室内照明条件下，观看者将不会觉察到参考图案。然而，重要的是照相机的积分时间不超过一个周期。参数值的这种选择显然是为了保证每秒取样两个眼图像。取样率可提高，但是可能要冒屏幕图像闪烁的风险。使用更快的成像设备和具有更高刷新率的显示器可减轻这些问题。
参考图案可以是容易提取的图像特征的任意的高对比度排列。例如参考图3，从规则屏幕图案310开始，亮框321(用几毫米的线宽)可覆盖在屏幕320的周边处，且保持屏幕图案的内部部分322完整。穿过瞳孔390和虹膜391的角膜上呈现的被覆盖屏幕图案的反射330中，所反射的亮框331比所反射的屏幕的内部部分332更容易被检测到。作为替换方式，具有交叉点的垂直和水平线的栅格340，该栅格提供独特控制点且在栅格的反射350中容易取回。栅格340提供关于图像的局部变形的附加信息，由此提供角巩膜表面390、391、392的位置和方向的信息。
作为另一种替换方式，可能是标准薄膜晶体管液晶显示器的可视显示器360被部分361包围，该部分361中安排了了多个发光二极管(LED)362。优选地，LED 362适于发射NIR，并被相对于NIR透明而对可视波长范围的光不透明的板覆盖。因此，LED 362对于显示器360的观看者是隐藏的。如上面指出地，可与照相机同步工作的LED 362会在角巩膜表面390、391、392中引起独特反射372。
在优选实施例中，照相机直接连接至图形卡140，该照相机从外部接口143处接收图像信号.图像信号不直接转发至CPU，而是由GPU 141进行预处理。
作为第一预处理步骤，用GPU 141的内建例程对为了在照相机-计算机链路中节约带宽而以压缩格式提供的图像信号进行解压缩。
第二预处理步骤有关于减法，并且仅在亮瞳成像中实现。用于进一步处理的图像根据同轴NIR光源激活所获取的亮瞳眼图像以及时间上靠近光源关闭时所获取的暗瞳眼图像中得到。为了提高对比度，从亮瞳图像逐像素地减去暗瞳图像，从而显著地突出穿过瞳孔的视网膜反射中NIR的贡献。由于图形卡140包含用于存储完整图像的足够的存储空间，在图形卡140处执行图像减法的任务是有利的。
在第三预处理步骤中，角巩膜反射中的图像特征被提取，并根据当前由图形卡140向可视显示器提供的显示信号与屏幕图案中的相应坐标进行配对。(由于弯曲的角膜表面上的反射可使屏幕图案严重变形，动作的这一顺序对于从屏幕图案中抽取特征并在反射中取回特征是优选的。)图像特征的提取可使用Sobel滤波器之类的边缘检测滤波器以及所连接组件、或者Canny滤波器、或者分类算法、尤其是基于熵的图像片断算法之类的统计方法，它们具有可并行的特性因此良好地适于由GPU 141执行。物体识别可根据Brooks/Cole出版公司1999年出版的M.Sonka、V.Hlavac和R.Boyle所著的《Image processing analysis,andmachine vision(图像处理分析以及机器视觉)》中的第7章的原理执行。而且，提取可通过(Sobel)微分、一些适当的卷积或相关联操作或基于柱状图的亮度矫正的调节步骤进行，它们都是具有较高可并行性的操作。在亮瞳图像中，类似地取回瞳孔中心坐标。注意到，若提供了参考照明装置，则在此步骤以及后续步骤中，它们的角巩膜闪烁也可包括于以与图像特征类似方式的数据处理中。
图像特征的坐标对以及它们的反射用于计算视线方向，即，眼睛的视觉轴的实际方向。计算还可考虑瞳孔中心坐标。与几何映射方法相关联的计算任务在Guestrin和Eizenman的著作的第二部分有描述，并且包括标量和矩阵的运算。角膜位置以及角膜方向的估计包括求解线性方程的***，尤其是超定***。
可以是硬件模块但优选为由CPU 110执行的软件程序的凝视点确定模块111是由计算机的操作***授权以在眼动跟踪中分配数据处理和存储任务，并路由输入/输出数据流。作为实际GPU需要采用的一般规则，CPU 110更有效地处理临时标量运算，而经常能够避免迭代处理的GPU 141最佳地执行矩阵计算以及其他数字线性代数运算。要注意到一些可用的GPU对于正方或具有特定尺寸的矩阵最优地执行，因此通过用零填补数据条目则可以以期望的形式提供矩阵。对于GPU中的线性代数例程的可能实现，参考2003年7月的ACMTrans.Graph第22卷第3号的J.Krüger和R.Westermann所作的“用于数值算法的GPU实现方式的线性代数算子(Linear algebra operators for GPU implementation of numericalalgorithms)”、以及2005年11月的Proc.ACM/IEEE Conf.Supercomput中的N.Galoppo等人所作的“LU-GPU：用于解决图形硬件上的密集线性***的有效算法(LU-GPU:Efficientalgorithms for solving dense linear systems on graphics hardware)”，两者的全部内容通过引用纳入于此。
作为替换方式，用GPU 141中内建的光线跟踪例程查明角膜的位置和方向。实际上，通过要求连接图像特征212和成像设备230的像平面236中的相应点的光线经由反射传递到角膜222上，一旦知道足够多数量的图像特征212，则角膜222的位置和方向就被明确确定。查明角膜可作为迭代过程进行，其中位置和方向的参数连续被优化，直到在期望容限范围内图像特征和反射相互匹配。许多可用的GPU提供非常快的硬连线或软连线光线跟踪路径，其暗示可在有限时间内达到高精度。
至于计算凝视角的其他方法，优选的是以适合并行计算的形式表示计算，诸如流编程等。作为示例，Viola–Jones(维奥拉－琼斯)算法的并行化在2008年的IEEE声学、语音和信号处理国际会议(International Conference on Acoustics,Speech,and SignalProcessing)中，在O.Mateo Lozano和K.Otsuka的通过基于GPU的流处理对视频中的多个人脸进行同时和快速的3D跟踪(Simultaneous and fast 3D tracking of multiple facesin video by GPU-based stream processing)中进行了讨论。
眼睛的视觉轴可能在瞳孔中心的位置辅助下从角膜的位置和方向导出，且凝视点是视觉轴与显示屏表面的交点。
在根据优选实施例的眼动跟踪***的稳态操作中，为每个眼图像重复或者甚至以流方式执行最后几个段落中描述的过程。眼动跟踪***的特性是CPU 110执行计算的相对小部分，此外，眼动跟踪进程仅对经过北桥101的图形卡140与CPU 110之间的数据流作出有限的贡献。
已在附图和上文的描述中对本发明详细说明和描述，这些说明和描述旨在被认为是说明性的或者示例性的，而非限制性的；本发明不限于所公开的实施例。例如，本发明的实施例还可包括双成像设备，以实现提高图像对比度或者利用光源同轴以及非同轴地同步地成像。通过在成像设备处提供波长滤波器，不同波长范围内的角巩膜反射可有效地被分离。同样，视线跟踪计算的处理任务可在CPU和图形卡间以与本文所公开的方式不同的方式分配，该不同方式取决于特定应用中的这些设备的特性。
通过对附图、公开内容以及所附权利要求的研究，本领域普通技术人员在实施所要求保护的发明时可理解和实现所公开实施例的其他变型。在权利要求中，‘包括’一词不排除其他要素或者步骤，并且不定冠词‘a’或‘an’不排除复数形式。单个处理器或其他单元可履行权利要求中容纳的若干项目的功能。在相互不同的从属权利要求中描述了特定措施的事实并不意味着这些措施的组合不能用于产生良好效果。计算机程序可存储于或者在合适的介质上分发，如与其他硬件一起或者作为其他硬件的一部分提供的光学存储介质或者的固态介质等，但也可以以其他形式分发，如通过因特网或者其他有线或者无线通信***。权利要求中的任何附图标记都不应解释为范围的限制。

Claims (7)

1.一种视线跟踪***，包括：
能够由显示信号控制的可视显示器(210)；
图形卡(140)，所述图形卡通信地直接耦合到成像设备，并适于生成显示信号以使所述可视显示器产生屏幕图案(310；320；340)；其中所述成像设备(230)和所述显示信号同步；以及
凝视点确定模块(111)，其适于使用所述图形卡作为并行处理器以利用包括所述屏幕图案的角巩膜反射(330；350)的观看者眼睛的图像，来部分地基于所述屏幕图案的所述角巩膜反射的几何形状来确定所述观看者的眼睛的凝视点，所述图像是直接从所述成像设备传输给所述图形卡的，
其中所述图形卡还适于：
提取所述屏幕图案的所述角巩膜反射中的图像特征；以及
将所述图像特征和所述显示信号进行比较以取回所述屏幕图案中的这些图像特征。
2.如权利要求1所述的视线跟踪***，还包括一个或多个参考照明装置(362)，每个参考照明装置适于发射不可视光以在观看者眼睛上产生闪烁(372)，
其中所述凝视跟踪***适于进一步基于所述闪烁的位置确定所述观看者的眼睛的凝视点。
3.如权利要求2所述的视线跟踪***，其中所述一个或多个参考照明装置中的至少一个是和所述成像装置同轴地布置的，并且其中所述凝视点确定模块能够操作用于使得所述图形卡：
接收编码所述眼睛的暗瞳图像的信号，所述暗瞳图像是由所述成像设备在所述至少一个参考照明装置关闭时获得的；以及
在确定所述凝视点之前，从包括所述闪烁的图像中逐象素地减去所述暗瞳图像。
4.如权利要求2所述的视线跟踪***，其中所述一个或多个参考照明装置是可分离的。
5.如前述权利要求中任一条所述的视线跟踪***，其中所述成像设备和所述可视显示器和/或参考照明装置同步。
6.如权利要求5所述的视线跟踪***，其中所述图形卡适于重复地将所述可视显示器的屏幕图案和参考图案(340)交错。
7.一种个人计算机***，包括根据权利要求1到4中任一项所述的视线跟踪***。
CN201611145804.6A 2009-10-08 2010-09-30 利用gpu的眼动跟踪 Pending CN106778602A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP09172535.8A EP2309307B1 (en) 2009-10-08 2009-10-08 Eye tracking using a GPU
EP09172535.8 2009-10-08
CN2010105035314A CN102034088A (zh) 2009-10-08 2010-09-30 利用gpu的眼动跟踪

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN2010105035314A Division CN102034088A (zh) 2009-10-08 2010-09-30 利用gpu的眼动跟踪

Publications (1)

Publication Number Publication Date
CN106778602A true CN106778602A (zh) 2017-05-31

Family

ID=41319803

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201611145804.6A Pending CN106778602A (zh) 2009-10-08 2010-09-30 利用gpu的眼动跟踪
CN2010105035314A Pending CN102034088A (zh) 2009-10-08 2010-09-30 利用gpu的眼动跟踪

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2010105035314A Pending CN102034088A (zh) 2009-10-08 2010-09-30 利用gpu的眼动跟踪

Country Status (5)

Country Link
US (1) US8342687B2 (zh)
EP (1) EP2309307B1 (zh)
JP (1) JP2011081807A (zh)
KR (2) KR20110038588A (zh)
CN (2) CN106778602A (zh)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10039445B1 (en) 2004-04-01 2018-08-07 Google Llc Biosensors, communicators, and controllers monitoring eye movement and methods for using them
EP2236074B1 (en) * 2009-04-01 2021-05-26 Tobii AB Visual display with illuminators for gaze tracking
US8625847B2 (en) 2011-03-21 2014-01-07 Blackberry Limited Login method based on direction of gaze
US8911087B2 (en) 2011-05-20 2014-12-16 Eyefluence, Inc. Systems and methods for measuring reactions of head, eyes, eyelids and pupils
US8885877B2 (en) 2011-05-20 2014-11-11 Eyefluence, Inc. Systems and methods for identifying gaze tracking scene reference locations
US9503713B2 (en) 2011-11-02 2016-11-22 Intuitive Surgical Operations, Inc. Method and system for stereo gaze tracking
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
CN104115503A (zh) * 2011-12-29 2014-10-22 英特尔公司 使用化身的通信
US9910490B2 (en) 2011-12-29 2018-03-06 Eyeguide, Inc. System and method of cursor position control based on the vestibulo-ocular reflex
US8860660B2 (en) 2011-12-29 2014-10-14 Grinbath, Llc System and method of determining pupil center position
US9386268B2 (en) 2012-04-09 2016-07-05 Intel Corporation Communication using interactive avatars
US8864310B2 (en) 2012-05-01 2014-10-21 RightEye, LLC Systems and methods for evaluating human eye tracking
US9471763B2 (en) 2012-05-04 2016-10-18 Sony Interactive Entertainment America Llc User input processing with eye tracking
JP5689850B2 (ja) * 2012-05-25 2015-03-25 株式会社ソニー・コンピュータエンタテインメント 映像解析装置、映像解析方法、および注視点表示システム
CN103514594A (zh) * 2012-06-28 2014-01-15 和信超媒体股份有限公司 加速角点检测的方法及执行该方法的移动装置
US9292086B2 (en) 2012-09-26 2016-03-22 Grinbath, Llc Correlating pupil position to gaze location within a scene
US9612656B2 (en) 2012-11-27 2017-04-04 Facebook, Inc. Systems and methods of eye tracking control on mobile device
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
KR102093198B1 (ko) * 2013-02-21 2020-03-25 삼성전자주식회사 시선 인식을 이용한 사용자 인터페이스 방법 및 장치
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
CA2882413C (en) 2013-03-18 2016-10-25 Mirametrix Inc. System and method for on-axis eye gaze tracking
WO2014153689A1 (en) 2013-03-29 2014-10-02 Intel Corporation Avatar animation, social networking and touch screen applications
US10007336B2 (en) 2013-09-10 2018-06-26 The Board Of Regents Of The University Of Texas System Apparatus, system, and method for mobile, low-cost headset for 3D point of gaze estimation
CN103557859B (zh) * 2013-10-10 2015-12-23 北京智谷睿拓技术服务有限公司 图像采集定位方法及图像采集定位***
WO2015094276A1 (en) * 2013-12-19 2015-06-25 Intel Corporation Multi-user eye tracking using multiple displays
EP3105916A1 (en) * 2014-02-13 2016-12-21 Sony Corporation Method and system for adjusting camera settings using corneal reflection
DE102015202846B4 (de) 2014-02-19 2020-06-25 Magna Electronics, Inc. Fahrzeugsichtsystem mit Anzeige
CN111616666A (zh) * 2014-03-19 2020-09-04 直观外科手术操作公司 使用眼球凝视跟踪的医疗装置、***和方法
EP3119343A4 (en) 2014-03-19 2017-12-20 Intuitive Surgical Operations, Inc. Medical devices, systems, and methods integrating eye gaze tracking for stereo viewer
EP3134893A4 (en) * 2014-04-25 2017-04-19 Telefonaktiebolaget LM Ericsson (publ) Adjusting brightness of display
WO2015167471A1 (en) 2014-04-29 2015-11-05 Hewlett-Packard Development Company, L.P. Gaze detector using reference frames in media
US9678567B2 (en) 2014-07-16 2017-06-13 Avaya Inc. Indication of eye tracking information during real-time communications
EP3182881B1 (en) * 2014-08-20 2023-11-29 California Baptist University Systems for monitoring eye health
US9405120B2 (en) 2014-11-19 2016-08-02 Magna Electronics Solutions Gmbh Head-up display and vehicle using the same
EP3230825B1 (en) * 2014-12-10 2019-05-29 Telefonaktiebolaget LM Ericsson (publ) Device for and method of corneal imaging
WO2016101131A1 (en) 2014-12-23 2016-06-30 Intel Corporation Augmented facial animation
DK179537B1 (en) * 2015-02-04 2019-02-08 Itu Business Development A/S Tin traces and eye tracking methods
CN105068646B (zh) * 2015-08-05 2017-11-10 广东欧珀移动通信有限公司 终端的控制方法和***
CA3000417A1 (en) 2015-10-01 2017-04-06 Amo Wavefront Sciences, Llc Optical measurement systems and methods with custom chromatic aberration adjustments
US10324297B2 (en) 2015-11-30 2019-06-18 Magna Electronics Inc. Heads up display system for vehicle
WO2017101094A1 (en) 2015-12-18 2017-06-22 Intel Corporation Avatar animation system
US10401621B2 (en) 2016-04-19 2019-09-03 Magna Electronics Inc. Display unit for vehicle head-up display system
DE102016210288A1 (de) * 2016-06-10 2017-12-14 Volkswagen Aktiengesellschaft Bedienvorrichtung mit Eyetrackereinheit und Verfahren zum Kalibrieren einer Eyetrackereinheit einer Bedienvorrichtung
US10373592B2 (en) * 2016-08-01 2019-08-06 Facebook Technologies, Llc Adaptive parameters in image regions based on eye tracking information
US10643741B2 (en) 2016-11-03 2020-05-05 RightEye, LLC Systems and methods for a web platform hosting multiple assessments of human visual performance
CN106688016A (zh) * 2016-11-30 2017-05-17 深圳市大疆创新科技有限公司 处理视频流的方法和终端
US10485420B2 (en) * 2017-02-17 2019-11-26 Analog Devices Global Unlimited Company Eye gaze tracking
US11194161B2 (en) 2018-02-09 2021-12-07 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
WO2019154511A1 (en) 2018-02-09 2019-08-15 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters using a neural network
US11393251B2 (en) 2018-02-09 2022-07-19 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US10699663B2 (en) * 2018-02-27 2020-06-30 Tobii Ab Providing an image with a scaler chip in direct communication with an eye tracking device
TWI704501B (zh) * 2018-08-09 2020-09-11 宏碁股份有限公司 可由頭部操控的電子裝置與其操作方法
KR102574995B1 (ko) * 2018-09-21 2023-09-06 돌비 레버러토리즈 라이쎈싱 코오포레이션 헤드마운트 디바이스의 광학 스택 내로 구성요소 통합
BR112021006439A2 (pt) * 2018-10-09 2021-07-06 Essilor Int método para adaptação de equipamento oftálmico de acordo com uma estratégia de exploração visual do portador
EP3912013A1 (en) 2019-01-16 2021-11-24 Pupil Labs GmbH Methods for generating calibration data for head-wearable devices and eye tracking system
WO2020201999A2 (en) 2019-04-01 2020-10-08 Evolution Optiks Limited Pupil tracking system and method, and digital display device and digital image rendering system and method using same
US11644897B2 (en) 2019-04-01 2023-05-09 Evolution Optiks Limited User tracking system using user feature location and method, and digital display device and digital image rendering system and method using same
EP3979896A1 (en) 2019-06-05 2022-04-13 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters
CN113645894A (zh) 2019-07-26 2021-11-12 谷歌有限责任公司 用于自动瞳孔检测的方法和***
IL299775A (en) * 2020-07-15 2023-03-01 Magic Leap Inc Eye tracking using an aspheric cornea model
EP4252409A2 (en) * 2020-11-29 2023-10-04 Appario Global Solutions (AGS) AG Method and system for capturing images
US11503998B1 (en) 2021-05-05 2022-11-22 Innodem Neurosciences Method and a system for detection of eye gaze-pattern abnormalities and related neurological diseases
CN114236851B (zh) * 2021-12-31 2023-10-20 深圳纳德光学有限公司 头戴显示器光机电协作控制***、控制方法及头戴显示器
CN114489348A (zh) * 2022-04-07 2022-05-13 南昌虚拟现实研究院股份有限公司 眼球追踪的数据处理模组、眼球追踪***及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030123027A1 (en) * 2001-12-28 2003-07-03 International Business Machines Corporation System and method for eye gaze tracking using corneal image mapping

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19950790A1 (de) * 1999-10-21 2001-06-21 Technolas Gmbh Spezifische Hornhautmodellierung
US7872635B2 (en) * 2003-05-15 2011-01-18 Optimetrics, Inc. Foveated display eye-tracking system and method
ES2373056T3 (es) * 2005-07-29 2012-01-31 Alcon Refractivehorizons, Inc. Sistema de posicionamiento de dispositivo oftálmico y métodos asociados.
KR20080106218A (ko) * 2006-02-01 2008-12-04 토비 테크놀로지 에이비 컴퓨터 시스템에서 그래픽 피드백의 생성
US7986816B1 (en) * 2006-09-27 2011-07-26 University Of Alaska Methods and systems for multiple factor authentication using gaze tracking and iris scanning

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030123027A1 (en) * 2001-12-28 2003-07-03 International Business Machines Corporation System and method for eye gaze tracking using corneal image mapping

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孔燚: "基于CPU+GPU+I/O卡的非线性编辑***", 《中国有线电视》 *

Also Published As

Publication number Publication date
EP2309307A1 (en) 2011-04-13
JP2011081807A (ja) 2011-04-21
US8342687B2 (en) 2013-01-01
KR20160110340A (ko) 2016-09-21
KR20110038588A (ko) 2011-04-14
EP2309307B1 (en) 2020-12-09
US20110085139A1 (en) 2011-04-14
CN102034088A (zh) 2011-04-27

Similar Documents

Publication Publication Date Title
CN106778602A (zh) 利用gpu的眼动跟踪
US8610768B2 (en) Eye detection unit using sequential data flow
WO2021139471A1 (zh) 一种健康状态检测方法、设备和计算机存储介质
CN102591016B (zh) 用于扩展现实显示的优化聚焦区
Mehrubeoglu et al. Real-time eye tracking using a smart camera
CN108694693A (zh) 基于面部表情来调整图形渲染
CN105992965A (zh) 响应于焦点移位的立体显示
CN105425967A (zh) 视线追踪及人眼感兴趣区域定位***
Stütz et al. Can mobile augmented reality systems assist in portion estimation? A user study
EP3270098B2 (en) Measurement system for eyeglasses-wearing parameter, measurement program, measurement method therefor, and manufacturing method for eyeglasses lens
US11321865B1 (en) Synthetic infrared image generation for machine learning of gaze estimation
CN106526857B (zh) 调焦方法和装置
Huang et al. An intelligent diagnostic system for thyroid-associated ophthalmopathy based on facial images
WO2022197825A1 (en) Generating and modifying representations of dynamic objects in an artificial reality environment
Jabbireddy et al. Foveated rendering: Motivation, taxonomy, and research directions
Luo et al. Automated brain extraction and immersive exploration of its layers in virtual reality for the rhesus macaque MRI data sets
CN112926523B (zh) 基于虚拟现实的眼球追踪方法、***
Mania et al. Gaze-aware displays and interaction
US12008711B2 (en) Determining display gazability and placement of virtual try-on glasses using optometric measurements
Du Plessis Graphical processing unit assisted image processing for accelerated eye tracking
Hamilton-Fletcher et al. Accuracy and Usability of Smartphone-Based Distance Estimation Approaches for Visual Assistive Technology Development
Yang et al. Spatialgaze: towards spatial gaze tracking for extended reality
Hachaj et al. Augmented reality approaches in intelligent health technologies and brain lesion detection
US20230118522A1 (en) Maintaining neighboring contextual awareness with zoom
CN106821363A (zh) 一种光学相干断层成像***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170531

RJ01 Rejection of invention patent application after publication