CN105407791A - 经由深度相机的眼睛追踪 - Google Patents

Abstract

公开了涉及基于用户眼睛的飞行时间深度图像数据来追踪用户眼睛的实施例。例如，一个所公开的实施例提供一种眼睛追踪***，包括光源、配置成使用具有不受约束的基线距离的深度传感器来获取用户眼睛的二维图像和用户眼睛的深度数据的感测子***、以及逻辑子***，其配置成控制光源发射光、控制感测子***获得用户眼睛的二维图像而同时点亮光源、控制感测子***获得用户眼睛的深度数据、从二维图像确定用户眼睛的凝视方向、基于凝视方向和深度数据确定凝视方向与显示器相交的显示器上的地点、以及输出所述地点。

Description

经由深度相机的眼睛追踪

背景技术

实时眼睛追踪可以用于估计用户的凝视方向并将其映射到显示设备上的坐标。例如，用户的凝视方向与显示器相交的显示器上的地点可以用作用于与显示器上所显示的用户界面对象交互的机制。可以使用各种眼睛追踪方法。例如，在一些方案中，来自一个或多个光源的光（例如，在红外范围或任何其它适当的频率中）可以朝向用户眼睛定向，并且相机可以用于捕获用户眼睛的图像数据。用户眼睛上的光的反射地点以及眼睛瞳孔的位置可以在图像数据中检测以确定用户凝视的方向。凝视方向信息可以与关于从用户眼睛到显示器的距离的信息组合地使用以确定用户眼睛凝视方向与显示器相交的显示器上的地点。

发明内容

公开了涉及利用用户眼睛的飞行时间深度图像数据的眼睛追踪的实施例。例如，一个所公开的实施例提供眼睛追踪***，包括光源、配置成获取用户眼睛的二维图像和用户眼睛的深度数据的感测子***、以及逻辑子***，以控制光源发射光，控制感测子***在从光源发射光时获得用户眼睛的二维图像，控制感测子***获得用户眼睛的深度数据，从二维图像确定用户眼睛的凝视方向，基于从深度数据所获取的用户眼睛的深度和凝视方向来确定用户凝视与显示器相交的显示器上的地点，并且输出该地点。

提供本发明内容来以简化形式引入以下在具体实施方式中进一步描述的概念的选择。本发明内容不意图标识所要求保护的主题的关键特征或必要特征，也不意图用于限制所要求保护的主题的范围。此外，所要求保护的主题不限于解决本公开内容的任何部分中所指出的任何或全部缺点的实现方案。

附图说明

图1A-4示出了示例眼睛追踪场景。

图5示出了依照本公开内容的眼睛追踪模块的实施例。

图6图示了依照本公开内容的实施例的基于飞行时间深度图像数据的眼睛追踪的示例。

图7示出了用于基于飞行时间深度图像数据追踪用户眼睛的方法的实施例。

图8示意性地示出了计算***的实施例。

具体实施方式

如以上描述的，眼睛追踪可以用于基于所估计的凝视与显示设备相交的地点而将用户的凝视映射到显示在显示设备上的用户界面。用户的凝视方向与显示设备相交的地点因而可以充当用于用户界面的用户输入机构。图1A-2A和1B-2B示意性地描绘了其中用户104凝视在显示设备120的不同地点处的示例场景（分别从顶视图和正视图）。显示设备120可以示意性地表示任何适当的显示设备，包括但不限于计算机监视器、移动设备、电视、平板计算机、近眼显示器和可穿戴计算机。用户104包括头部106、具有第一瞳孔110的第一眼睛108、以及具有第二瞳孔116的第二眼睛114，如图1A中所示。第一眼睛凝视方向112指示其中第一眼睛108所凝视的方向，并且第二眼睛凝视方向118指示其中第二眼睛114所凝视的方向。

图1A和2A示出了在显示设备120上的第一聚焦地点122处会聚的第一眼睛凝视方向112和第二眼睛凝视方向118。图2A还示出了在第一聚焦地点122处与第一眼睛凝视方向112和第二眼睛凝视方向118相交的第一用户界面对象206。接下来，图1B和2B示出了由于眼睛114和108从朝向显示设备120的左侧的方向到朝向显示设备120的右侧的反向的旋转而在第二聚焦地点124处会聚的第一眼睛凝视方向112和第二眼睛凝视方向118。图2B还示出了在第二聚焦地点124处与第一眼睛凝视方向112和第二眼睛凝视方向118相交的第二用户界面对象208。因而，通过追踪用户的凝视，可以基于用户的凝视与显示设备相交的地点而生成作为用户界面输入的位置信号，由此允许用户至少部分地通过凝视与第一用户界面对象204和第二用户界面对象208交互。

眼睛追踪可以以各种方式执行。例如，如上文描述的，从用户眼睛反射的来自经校准光源的闪光连同检测到或估计到的用户眼睛的瞳孔地点一起可以用于确定用户的凝视方向。然后可以估计或检测从用户眼睛到显示设备的距离以确定用户的凝视方向与显示器相交的显示器上的地点。作为一个示例，具有到显示器的固定的或以其它方式已知的关系的立体相机可以用于确定从用户眼睛到显示器的距离。然而，如下文描述的，立体相机可能强加使得其难以在一些环境中使用的几何约束。

眼睛追踪可以在各种不同的硬件环境中使用。例如，图3示出了穿戴有被描绘为头部安装式增强现实显示设备的可穿戴计算设备304并且凝视在环境302中的对象306处的用户104。在该示例中，设备304可以包括集成式眼睛追踪***以追踪用户的凝视并且检测与显示在设备304上的虚拟对象的交互，以及与通过可穿戴计算设备304可观看的背景中的真实世界对象的交互。图4描绘了眼睛追踪硬件环境的另一示例，其中眼睛追踪用于检测用户所凝视的计算机监视器404上的地点。

在这些和/或其它硬件设置中，眼睛追踪***的准确性和稳定性可以取决于从相机平面获取眼睛的距离的准确估计。当前的眼睛追踪***可以通过使用立体相机对以使用计算机视觉算法估计三维眼睛位置来解决该问题。图4图示了如包括通过基线距离412分离的第一相机406和第二相机408的立体相机配置。图4还图示了可以被点亮而发射光414以用于从眼睛114反射的光源410。用户眼睛的图像（不管是由立体相机图像传感器获得还是由其它（多个）图像传感器获得）可以用于确定来自眼睛114的反射相对于眼睛的瞳孔116的地点以确定眼睛114的凝视方向。另外，来自第一相机406和第二相机408的眼睛的图像可以用于估计眼睛114距显示器402的距离，使得可以确定用户的凝视与显示器相交的地点。

然而，第一相机406与第二相机408之间的基线距离412可以在几何上受约束为大于用于用户眼睛114与显示器402之间的距离的准确确定（三角测量）的阈值距离（例如大于10cm）。这可能限制减小这样的眼睛追踪单元的大小的能力，并且可能难以与一些硬件配置一同使用，诸如头部安装式显示器或其它紧凑的显示设备。

确定用户眼睛与显示器之间的距离的其它方案可能依赖于单个相机***并且利用眼睛距离的微弱估计。然而，这样的方案可能导致实际凝视地点与屏幕坐标之间的非稳定映射。

相应地，本文公开了涉及在眼睛追踪***中使用具有不受约束基线距离（即，没有最小基线距离，与立体相机布置相对）的深度传感器以获取关于用户眼睛的地点和位置的信息的实施例。这样的深度传感器的一个示例是飞行时间深度相机。飞行时间深度相机利用配置成发射光脉冲的光源，以及配置成快门式的（shuttered）以捕获相对于对应光脉冲定时的时间顺序图像帧的序列的一个或多个图像传感器。深度相机中的图像传感器的每一个像素处的深度，即来自光源的、通过对象反射的光从对象到图像传感器的该像素所行进的有效距离，可以基于每一个顺序图像中的光强度而确定，这是由于从不同深度处的对象所反射的光被捕获在不同顺序图像帧中。

因为飞行时间深度相机可以从单个地点获得图像数据而不是像图像传感器的立体对那样从两个地点获得，所以利用飞行时间深度相机的眼睛追踪***可以不具有如关于立体相机配置所发现的最小基线维度约束。这可以允许眼睛追踪***在诸如头部安装式显示器、智能电话、平板计算机以及其中用于立体相机眼睛追踪***的充足空间可能不可用的其它小设备之类的硬件配置中更为容易地利用。具有不受约束基线距离的深度传感器的其它示例可以包括但不限于LIDAR（光检测和测距）以及基于声音传播的方法。

图5示出了利用飞行时间深度相机进行眼睛追踪的示例眼睛追踪模块500。所描绘的眼睛追踪模块500可以包括包含或以其它方式支持以下描述的所有组件的主体502，由此形成模块化***。由于飞行时间深度相机504的使用，主体502的大小相比于相当的立体相机眼睛追踪***可以极大地减小。在一些示例中，眼睛追踪模块500可以与诸如例如移动计算设备或可穿戴计算设备的显示设备集成。在这样的示例中，眼睛追踪模块500和/或其组件可以由显示设备主体支持。在其它示例中，眼睛追踪模块可以在它向其提供输入的计算设备的外部和/或在它针对其提供位置信号的显示设备的外部。在这样的示例中，主体502可以围封和/或支持眼睛追踪***的组件以形成可以容易地安装到其它设备中和/或用作独立式设备的模块化组件。

眼睛追踪模块500包括配置成获取用户眼睛的二维图像以及还有用户眼睛的深度数据的感测子***506。例如，感测子***506可以包括飞行时间深度相机504，其中飞行时间深度相机504包括光源510和一个或多个图像传感器512。如上文描述的，光源510可以配置成发射光脉冲，并且一个或多个图像传感器可以配置成快门式的以捕获相对于对应光脉冲定时的时间顺序图像帧的序列。每一个像素处的深度，即来自光源的、由对象反射的光从对象行进到图像传感器的该像素的有效距离，可以基于每一个顺序图像中的光强度而确定，这是由于从不同深度处的对象反射的光被捕获在不同顺序图像帧中。将领会的是，在其它实施例中可以作为飞行时间深度相机504的替代或附加地使用具有不受约束的基线距离的任何其它深度传感器。

在一些示例中，除深度数据之外，包括在深度相机504中的（多个）图像传感器512也可以用于获得二维图像数据（即作为图像传感器的视场中的水平和竖直位置的函数的强度数据，而不是深度）以确定用户眼睛的瞳孔和反射的地点。例如，用于深度测量的所有顺序图像可以被求和以确定每一个像素处的总光强度。在其它实施例中，一个或多个分离的图像传感器可以用于检测用户瞳孔的图像以及来自用户眼睛的光源光的反射，如通过（多个）二维相机514所示出的。

在一些实施例中，可以连同飞行时间深度相机一起使用单个二维相机514。在其它实施例中，除飞行时间深度相机之外，感测子***506可以利用多于一个的二维相机。例如，感测子***506可以利用第一二维相机来获取相对较宽视场的图像以帮助定位用户的眼睛位置。这可以帮助寻找和追踪用户的眼窝，使得可以标识包含用户眼睛的用户区。另外，可以使用第二二维相机来捕获定向在所标识的用户眼睛的区处的较窄视场的较高分辨率图像以获得眼睛追踪数据。通过以这种方式粗糙地标识眼睛地点，被分析以用于瞳孔和角膜模式检测的空间区可以在较高分辨率图像中减小，因为如从较低分辨率图像数据所确定的非眼睛区可以在分析较高分辨率图像数据时被忽略。

在一些实施例中，深度相机可以在红外范围中操作并且附加相机514可以在可见范围中操作。例如，眼睛追踪模块可以包括深度相机和可见范围高分辨率相机（例如平板上的前置相机）。

在一些实施例中，眼睛追踪模块500还可以包括提供用于生成角膜反射的光的光源518，其与深度相机504的光源510不同。可以使用任何适合的光源作为光源518。例如，光源518可以包括相对于向前凝视的用户的光轴线定位在任何适当的位置处的一个或多个红外发光二极管（LED）。可以使用光源的任何适当的组合，并且光源可以以任何适当的时间模式被点亮。在其它实施例中，飞行时间深度相机504的光源510可以配置成用作用于从用户眼睛反射光的光源。将理解到，这些实施例出于示例的目的而被描述，并且它们不意图以任何方式而是限制性的。

眼睛追踪模块500还包括逻辑子***520和包括存储在其上的指令的存储子***522，该指令是由逻辑子***可执行的以施行各种任务，包括但不限于涉及眼睛追踪和利用眼睛追踪的用户界面交互的任务。关于计算***硬件的更多细节在下文描述。

图6示出了经由眼睛追踪模块500基于飞行时间深度图像数据的眼睛追踪的示意性描绘。如所描绘的，深度相机504、二维相机514和光源518是集成模块的部分，但是可以采取任何其它适当的形式。在一些示例中，眼睛追踪模块500可以与诸如移动设备、平板计算机、电视机或头部安装式显示设备的显示设备120集成。在其它示例中，眼睛追踪模块500可以在显示设备120的外部。

图6还图示了凝视方向118与显示设备120相交的地点的确定的示例。（多个）光源518，例如定位在轴线上或轴线外的红外LED，可以被点亮使得从（多个）光源所发射的光604在用户眼睛114上创建反射。（多个）光源还可以用于创建用户眼睛114中的明亮瞳孔响应使得可以定位瞳孔，其中术语“明亮瞳孔响应”是指检测到来自光源510或者从用户眼睛的眼底（内表面）反射的光源518的光（例如摄像中的“红眼”效应）。在其它示例中，可以在不使用明亮瞳孔响应的情况下定位瞳孔。另外，在一些示例中，可以使用不同类型的光照、光学器件和/或相机来辅助区分明亮瞳孔响应的顶上反射。例如，从光源发射的不同波长的光可以用于优化光源反射响应和明亮瞳孔响应。

为了确定用户眼睛114的旋转，每一个反射提供基准，瞳孔可以与该基准比较以确定眼睛旋转方向。照此，二维相机514可以获得如从用户眼睛所反射606的反射的二维图像数据。用户眼睛114的瞳孔116的地点和光反射地点可以从二维图像数据确定。凝视方向118然后可以从瞳孔的地点和反射的地点来确定。

另外，深度相机504可以经由通过深度相机光源发射的光脉冲609引起的、从眼睛反射608的光而获得飞行时间深度图像。深度相机然后可以用于检测用户眼睛距显示器的距离。深度相机504相对于显示器120的角度或定位可以是固定的或以其它方式已知的（例如经由校准过程）。因而，二维图像数据和深度数据可以用于确定和输出凝视方向与显示器相交的地点。

图7示出了描绘出用于执行利用飞行时间深度图像数据的眼睛追踪的方法700的示例实施例的流程图。将理解到，方法700可以以任何适当的方式实现。例如，方法700可以表示由眼睛追踪模块执行的连续操作，并且在一些示例中，方法700的一个或多个步骤可以由眼睛追踪模块的不同组件并行地执行。方法700可以可选地包括在702处经由图像数据确定用户眼睛的地点，例如经由模式识别或（多个）其它适当的方法。例如，可以使用宽视场相机来操纵窄视场相机以得到眼睛区的更详细图像。

在704处，方法700包括点亮光源以从光源发射光。可以使用任何适当的光源。例如，光源可以包括定位在轴线上或轴线外的一个或多个红外发光二极管（LED）。可以使用轴线上和轴线外光源的任何适当的组合，并且光源可以以任何适当的时间模式被点亮。另外，在一些示例中，光源可以包括并入在飞行时间深度相机中的光源。将理解到，出于示例的目的而描述这些实施例，并且其不意图以任何方式进行限制。

方法700还包括在706处获得眼睛的图像而同时从光源发射光。例如，眼睛的二维图像可以经由专用二维相机获取，或者可以跨用于深度测量的所有顺序的快门图像而对飞行时间深度数据求和。另外，在708处，方法700包括获得眼睛的飞行时间图像，例如经由飞行时间深度相机，或者以其它方式经由具有不受约束的基线距离的适当深度传感器而获得眼睛的深度数据。

在710处，方法700包括从二维数据检测眼睛瞳孔的地点。可以使用任何适当的光学和/或图像处理方法来检测眼睛瞳孔的地点。例如，在一些实施例中，可以产生明亮瞳孔效应以帮助检测眼睛瞳孔的位置。在其它实施例中，可以在不使用明亮瞳孔效应的情况下定位瞳孔。在712处，方法700还包括从二维图像数据检测来自眼睛的一个或多个反射的地点。将理解到，可以使用各种技术来区分源自眼睛追踪光源的反射和源自环境源的反射。例如，仅外界的图像可以在所有光源关断的情况下获得，并且仅外界的图像可以从光源接通时的图像减去以从图像移除环境反射。

方法700还包括在714处从瞳孔的地点和源自光源的用户眼睛上的反射的地点来确定眼睛的凝视方向。一个或多个反射提供一个或多个基准，瞳孔可以与该基准比较以用于确定眼睛所凝视的方向。

在716处，方法700包括确定从眼睛到显示器的距离。例如，可以使用眼睛的飞行时间图像数据来确定从眼睛到深度相机中的图像传感器的距离。从眼睛到图像传感器的距离然后可以用于确定沿着到显示器的眼睛凝视方向的距离。从该信息，在718处，方法700包括确定和输出凝视方向与显示器相交的显示器上的地点。

因而，所公开的实施例可以允许稳定且准确的眼睛追踪***而不使用立体相机，并且因而不使用可以在立体相机***发现的大的最小基线约束。这可以允许产生可以并入到任何适当设备中的紧凑型模块化眼睛追踪***。

图8示意性地示出了可以制定以上描述的方法和过程中的一个或多个的计算***800的非限制性实施例。眼睛追踪模块500和显示设备120可以是计算***800的非限制性示例。计算***800以简化形式示出。将理解到，实质上可以使用任何计算机架构而不脱离本公开内容的范围。在不同实施例中，计算***800可以采取显示设备、可穿戴计算设备（例如头部安装式显示设备）、大型计算机、服务器计算机、桌上型计算机、膝上型计算机、平板计算机、家用娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备（例如智能电话）、模块化眼睛追踪设备等的形式。

计算***800包括逻辑子***802和存储子***804。计算***800可以可选地包括输出子***806、输入子***808、通信子***810和/或图8中未示出的其它组件。

逻辑子***802包括配置成执行指令的一个或多个物理设备。例如，逻辑子***可以配置成执行作为一个或多个应用、服务、程序、例程、库、对象、组价、数据结构或其它逻辑构造的部分的指令。这样的指令可以实现为执行任务、实现数据类型、变换一个或多个组件的状态或者以其它方式达到期望结果。

逻辑子***可以包括配置成执行软件指令的一个或多个处理器。附加地或可替换地，逻辑子***可以包括配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子***的处理器可以是单核或多核的，并且在其上执行的程序可以配置用于串行、并行或分布式处理。在一些示例中，逻辑子***可以包括图形处理单元（GPU）。逻辑子***可以可选地包括分布在两个或更多设备之中的个体组件，其可以远程地定位和/或配置用于协调处理。逻辑子***的方面可以通过配置在云计算配置中的远程可访问的、联网计算设备而虚拟化和执行。

存储子***804包括配置成保持由逻辑子***可执行的数据和/或指令以实现本文描述的方法和过程的一个或多个物理设备。当实现这样的方法和过程时，存储子***804的状态可以变换——例如变换成保持不同数据。

存储子***804可以包括可移除计算机可读介质和/或内置式计算机可读介质设备。存储子***804可以包括光学存储器设备（例如CD、DVD、HD-DVD、蓝光盘等）、半导体存储器设备（例如RAM、EPROM、EEPROM等）和/或磁性存储器设备（例如硬盘驱动、软盘驱动、带驱动、MRAM等）以及其它。存储子***804可以包括易失性、非易失性、动态、静态、读/写、只读、随机存取、序列存取、位置可寻址、文件可寻址和/或内容可寻址设备。

将领会到，存储子***804包括一个或多个物理设备并且排除传播信号本身。然而，在一些实施例中，本文描述的指令的方面可以通过纯信号（例如电磁信号、光学信号等）而经由通信介质传播，如与存储在包括计算机可读存储介质的存储设备上相对。此外，与本公开内容有关的数据和/或其它形式信息可以通过纯信号传播。

在一些实施例中，逻辑子***802和存储子***804的方面可以一起集成到通过其可以制定本文描述的功能性的一个或多个硬件逻辑组件中。例如，这样的硬件逻辑组件可以包括现场可编程门阵列（FPGA）、程序和应用专用集成电路（PASIC/ASIC）、程序和应用专用标准产品（PSSP/ASSP）、片上***（SOC）***以及复杂可编程逻辑器件（CPLD）。

当包括时，输出***806可以用于呈现由存储子***804保持的数据的视觉表示。该视觉表示可以采取图形用户界面（GUI）的形式。当本文描述的方法和过程改变由存储子***保持的数据，并且因而转换存储子***的状态时，输出子***806的状态可以同样地变换成在视觉上表示底层数据中的改变。输出子***806可以包括实质上利用任何类型技术的一个或多个显示设备。这样的显示设备可以与逻辑子***802和/或存储子***804组合在共享外壳中，或者这样的显示设备可以是***显示设备。

当包括时，输入子***808可以包括诸如键盘、鼠标、触摸屏或游戏控制器之类的一个或多个用户输入设备或者与其对接。在一些实施例中，输入子***可以包括所选自然用户输入（NUI）元件部分或者与其对接。这样的元件部分可以是集成的或***的，并且输入动作的换能和/或处理可以在板上或板外处置。示例NUI元件部分可以包括用于话音和/或语音识别的麦克风；用于机器视力和/或手势识别的红外、彩色、立体和/或深度相机；用于运动检测和/或意图识别的头部追踪器、眼睛追踪器、加速度计和/或陀螺仪；以及用于评估脑部活动的电场感测元件部分。

当包括时，通信子***810可以配置成在通信上将计算***800与一个或多个其它计算设备耦合。通信子***810可以包括与一个或多个不同通信协议相容的有线和/或无线通信设备。作为非限制性示例，通信子***可以配置用于经由无线电话网络或者有线或无线局域网或广域网的通信。在一些实施例中，通信子***可以允许计算***800经由诸如互联网之类的网络将消息发送给其它设备和/或从其它设备接收消息。

将理解到，本文描述的配置和/或方案在本性上是示例性的，并且这些具体实施例或示例不以限制性意义来考虑，因为众多变形是可能的。本文描述的具体例程或方法可以表示任何数目的处理策略中的一个或多个。因此，所图示和/或描述的各种动作可以以所图示和/或描述的顺序执行、以其它顺序执行、并行地执行或者被省略。同样地，以上描述的过程的次序可以改变。

本公开内容的主题包括本文公开的各种过程、***和配置与其它特征、功能、动作和/或性质的全部新颖且非显而易见的组合和子组合，以及其任何和全部等同物。

Claims (10)

1.一种眼睛追踪***，包括：

光源；

配置成获取用户眼睛的二维图像以及包含用户眼睛的区的飞行时间深度图像数据的图像感测子***；

逻辑子***，配置成：

　　控制光源发射光；

　　控制图像感测子***获得用户眼睛的二维图像而同时经由光源发射光；

　　控制图像感测子***获得用户眼睛的飞行时间深度图像；

　　从二维图像确定用户眼睛的凝视方向；

　　基于凝视地点确定凝视方向与显示器相交的地点；以及

　　输出所述地点。

2.如权利要求1所述的***，其中图像感测子***包括飞行时间深度相机和二维图像传感器。

3.如权利要求1所述的***，其中图像感测子***包括飞行时间深度相机，并且其中指令可被执行以从飞行时间深度相机所获得的图像数据检测用户眼睛的瞳孔地点以确定用户眼睛的凝视方向。

4.如权利要求1所述的***，其中该***还包括显示器。

5.如权利要求1所述的***，其中图像感测子***包括飞行时间深度相机并且光源包括飞行时间深度相机的光源。

6.如权利要求1所述的***，其中指令可被执行以从飞行时间深度图像检测沿着凝视方向从用户眼睛到显示器的距离以确定凝视方向与显示器相交的显示器上的地点。

7.如权利要求1所述的***，其中二维图像是第一二维图像，并且其中指令还可执行成：

控制图像感测子***获得第二二维图像，第二二维图像具有比第一二维图像更宽的视场，以及

在从第一二维图像确定用户眼睛的凝视方向之前，经由第二二维图像确定用户眼睛的地点。

8.如权利要求7所述的***，其中图像感测子***包括飞行时间深度相机、较高分辨率的二维图像传感器以及较低分辨率的二维图像传感器，并且其中经由较低分辨率的二维图像传感器获得第二二维图像并且经由较高分辨率的二维图像传感器获得第一二维图像。

9.在移动计算设备上，一种用于相对于显示器上所显示的用户界面而追踪用户的眼睛的方法，所述方法包括：

点亮光源；

在点亮光源时获得包括眼睛的图像的图像数据；

经由具有不受约束的基线距离的深度传感器获得眼睛的深度数据；

从图像数据检测眼睛的瞳孔地点以及来自光源的光的反射地点；

从瞳孔地点和反射地点确定眼睛的凝视方向；

从深度数据检测沿着凝视方向从眼睛到显示器的距离；以及

输出凝视方向与显示器相交的地点。

10.如权利要求9所述的方法，其中深度传感器包括飞行时间深度相机，并且其中经由来自飞行时间深度相机的图像数据检测瞳孔地点和反射地点。