CN111201502B

CN111201502B - 用于校准眼睛跟踪的和方法

Info

Publication number: CN111201502B
Application number: CN201880066026.2A
Authority: CN
Inventors: 聂小春
Original assignee: Individual
Current assignee: Individual
Priority date: 2017-10-10
Filing date: 2018-10-09
Publication date: 2024-05-31
Anticipated expiration: 2038-10-09
Also published as: US11573630B2; US20200264700A1; WO2019074868A1; EP3710774A4; US20230152887A1; CN111201502A; EP3710774A1

Abstract

本文公开了校准成像传感器与空间方位传感器之间的相对方位以及成像传感器之间的相对方位的各种方法。

Description

用于校准眼睛跟踪***的***和方法

相关申请交叉引用

本公开与申请号为62/557786和62/570161的美国专利申请以及申请号为PCT/US2016/065141的PCT申请相关，上述申请的公开内容全部通过引用合并于此。

技术领域

本公开涉及用于校准眼睛跟踪***的***和方法。

背景技术

人与计算机交互(HCI)，或者一般地，人机交互，专注于计算机技术以及用户和计算机之间的接口的设计和使用。HCI依赖于对人输入动作的灵敏、直观和准确的测量。鼠标、键盘和触摸屏是传统的输入设备，需要用户手动控制。有些输入设备，如Microsoft能够在没有任何物理接触的情况下跟踪用户的身体或手的姿势。在本公开中，“用户”一词和“人”一词可以互换使用。

虚拟现实(VR)技术的最新进展将VR护目镜带入了消费市场。VR护目镜可以为用户创造身临其境的三维(3D)体验。用户可以通过旋转头部在虚拟世界环顾四周，就像在现实世界中环顾四周一样。

增强现实(AR)是另一个发展迅速的领域。AR和VR之间的一个主要区别是AR在真实世界场景中实时操作，与此相对，VR中仅仅在由计算机创建或记录的场景中操作。在VR和AR中，了解用户在看什么位置，以及用户想对期望目标采取什么行动都是非常有用的。有效、可靠的眼睛跟踪将能够在这种情况下实现广泛的应用。

如今，自动驾驶车辆也处于前沿阶段。存在这种情形，由于道路或交通状况的更新或者驾驶模式的改变，处于自动驾驶模式的汽车可能需要驾驶员的注意。因此，持续地监视驾驶员正在看哪里是很有用的。

机器学习和人工智能(AI)可以按照学习、建模和预测的循环工作。在此循环中，快速、直观地跟踪用户的关注点以进行数据采集和确认可以发挥重要的作用。

发明内容

本文公开了一种方法，所述方法包括：基于正在注视三维空间中一点的人的眼睛相对于第一成像传感器的第一相对方位和所述眼睛的瞳孔或边缘相对于所述第一成像传感器的第一相对位置，获得通过所述眼睛的中心的第一三维(3D)线；获得通过所述眼睛的中心的第二3D线；以及基于所述第一3D线和所述第二3D线，确定所述眼睛的中心相对于所述第一成像传感器的相对位置。

根据实施例，所述方法还包括基于通过所述第一成像传感器所获得的所述瞳孔或边缘的图像，获得所述瞳孔或边缘相对于所述第一成像传感器的所述第一相对位置。

根据实施例，所述方法还包括基于所述眼睛相对于第二成像传感器的第二相对方位和所述第一成像传感器相对于所述第二成像传感器的相对方位，获得所述眼睛相对于所述第一成像传感器的所述第一相对方位。

根据实施例，所述方法还包括基于通过所述第二成像传感器获得的所述点的图像，获得所述眼睛相对于所述第二成像传感器的所述第二相对方位。

本文公开了一种方法，所述方法包括：通过第一成像传感器获得人的眼睛的瞳孔或边缘的图像；基于所述图像确定所述眼睛相对于所述第一成像传感器的第一相对方位；基于所述第一相对方位和所述第一成像传感器与第二成像传感器之间的关系，确定所述眼睛相对于所述第二成像传感器的第二相对方位。

根据实施例，所述方法还包括：基于所述眼睛的至少三对相对方位，确定所述关系，其中，每对相对方位包括由通过所述第一成像传感器获得的所述眼睛的瞳孔或者边缘的图像获得的所述眼睛相对于所述第一成像传感器的第三相对方位，并且，每对相对方位还包括由通过第二成像传感器获得的所述眼睛正在注视的一点的图像获得的所述眼睛相对于所述第二成像传感器的第四相对方位。

根据实施例，还基于所述眼睛的中心相对于所述第一成像传感器的相对位置确定第一相对方位。

根据实施例，所述方法还包括基于所述第二相对方位，在通过所述第二成像传感器获得的图像中，确定所述眼睛正在注视的点的位置。

本文公开了一种方法，所述方法包括：通过成像传感器获得人的眼睛的瞳孔或边缘的图像；基于所述图像确定所述眼睛相对于所述成像传感器的相对方位；基于校准结果，调整所述眼睛相对于所述第一成像传感器的所述相对方位。

根据实施例，所述方法还包括基于所述眼睛的至少三对相对方位，获得校准结果，其中，每对相对方位包括由通过所述第一成像传感器获得的所述眼睛的瞳孔或者边缘的图像获得的所述眼睛相对于所述第一成像传感器的第一相对方位，并且还包括由通过所述第二成像传感器获得的所述眼睛正在注视的一点的图像获得的所述眼睛相对于所述第一成像传感器的第二相对方位。

根据实施例，还基于所述眼睛的中心相对于所述成像传感器的相对位置来确定所述相对方位。

本文公开了一种方法，所述方法包括：当人的头部处于第一方位并且该人的眼睛正在注视三维空间中的一点时，获得所述眼睛相对于所述第一成像传感器的第一相对方位，并且通过第二成像传感器获得所述三维空间中的第一对点的第一组图像；当所述头部处于从所述第一方位旋转偏移得到的第二方位并且所述眼睛正在注视所述点时，获得所述眼睛相对于所述第一成像传感器的第二相对方位，并且通过所述第二成像传感器获得所述第一对点的第二组图像，并通过所述第二成像传感器获得所述三维空间中第二对点的第一组图像；当所述头部处于围绕沿着所述眼睛的第二相对方位的轴从所述第二方位旋转偏移得到的第三方位并且所述眼睛正在注视所述点时，通过所述第二成像传感器获得所述第二对点的第二组图像；基于所述眼睛相对于所述第一成像传感器的所述第一相对方位、所述眼睛相对于所述第一成像传感器的所述第二相对方位、所述第一对点的所述第一组图像、所述第一对点的所述第二组图像、所述第二对点的所述第一组图像以及所述第二对点的所述第二组图像，确定所述第一成像传感器和所述第二成像传感器的相对方位。

根据实施例，基于通过所述第一成像传感器获得的所述眼睛的瞳孔或边缘的图像，获得所述眼睛相对于所述第一成像传感器的所述第一相对方位或者所述眼睛相对于所述第一成像传感器的所述第二相对方位。

根据实施例，所述第三方位是围绕沿着表示所述眼睛的第二相对方位的向量的轴从所述第二方位旋转偏移得到。

根据实施例，所述第一对点与所述第二对点相同。

本文公开了一种方法，所述方法包括：当人的头部处于第一方位并且该人的眼睛正在注视三维空间中的一点时，获得所述眼睛相对于成像传感器的第一相对方位，并且获得空间方位传感器的第一输出；当所述头部处于从所述第一方位旋转偏移得到的第二方位并且所述眼睛正在注视所述点时，获得所述眼睛相对于所述成像传感器的第二相对方位，并且获得所述空间方位传感器的第二输出；当所述头部处于围绕沿着表示所述眼睛的第二相对方位的向量的轴从所述第二方位旋转偏移得到的第三方位并且所述眼睛正在注视所述点时，获得所述空间方位传感器的第三输出；以及基于所述眼睛相对于所述成像传感器的所述第一相对方位、所述眼睛相对于所述成像传感器的所述第二相对方位、所述空间方位传感器的所述第一输出、所述空间方位传感器的所述第二输出、所述空间方位传感器的所述第三输出，确定所述成像传感器相对于所述空间方位传感器的相对方位。

根据实施例，基于通过所述成像传感器获得的所述眼睛的瞳孔或边缘的图像，获得所述眼睛相对于所述成像传感器的所述第一相对方位或所述第二相对方位。

本文公开了一种方法，所述方法包括：当人的头部处于第一方位并且该人的眼睛正在注视三维空间中的第一点时，获得所述眼睛相对于第一成像传感器的第一相对方位，并且通过第二成像传感器获得所述三维空间中的第一对点的第一组图像；当所述头部处于从所述第一方位旋转偏移得到的第二方位并且所述眼睛正在注视所述第一点时，获得所述眼睛相对于所述第一成像传感器的第二相对方位，并且通过所述第二成像传感器获得所述第一对点的第二组图像；当所述头部处于第三方位并且所述眼睛正在注视所述三维空间中的第二点时，获得所述眼睛相对于所述第一成像传感器的第三相对方位，并且通过所述第二成像传感器获得所述三维空间中的第二对点的第一组图像；当所述头部处于从所述第三方位旋转偏移得到的第四方位并且所述眼睛正在注视所述第二点时，获得所述眼睛相对于所述第一成像传感器的第四相对方位，并且通过所述第二成像传感器获得所述第二对点的第二组图像；基于所述眼睛相对于所述第一成像传感器的所述第一相对方位、所述眼睛相对于所述第一成像传感器的所述第二相对方位、所述眼睛相对于所述第一成像传感器的所述第三相对方位、所述眼睛相对于所述第一成像传感器的所述第四相对方位、所述第一对点的所述第一组图像、所述第一对点的所述第二组图像、所述第二对点的所述第一组图像以及所述第二对点的所述第二组图像，确定所述第一成像传感器相对于所述第二成像传感器的相对方位。

根据实施例，基于通过所述第一成像传感器获得的所述眼睛的瞳孔或边缘的图像，获得所述眼睛相对于所述第一成像传感器的所述第一相对方位、所述第二相对方位、所述第三相对方位或所述第四相对方位。

根据实施例，所述第三方位是从所述第二方位旋转偏移得到。

根据实施例，所述第三方位和所述第二方位相同。

根据实施例，所述第一对点与所述第二对点相同。

根据实施例，所述第一点与所述第二点相同。

本文公开了一种方法，所述包括：当人的头部处于第一方位并且该人的眼睛正在注视三维空间中的第一点时，获得所述眼睛相对于成像传感器的第一相对方位，并且获得空间方位传感器的第一输出；当所述头部处于从所述第一方位旋转偏移得到的第二方位并且所述眼睛正在注视所述第一点时，获得所述眼睛相对于所述成像传感器的第二相对方位，并且获得所述空间方位传感器的第二输出；当所述头部处于第三方位并且所述眼睛正在注视所述三维空间中的第二点时，获得所述眼睛相对于所述成像传感器的第三相对方位，并且获得所述空间方位传感器的第三输出；当所述头部处于从所述第三方位旋转偏移得到的第四方位并且所述眼睛正在注视第二点时，获得所述眼睛相对于所述成像传感器的第四相对方位，并且获得所述空间方位传感器的第四输出；基于所述眼睛相对于所述成像传感器的所述第一相对方位、所述眼睛相对于所述成像传感器的所述第二相对方位、所述眼睛相对于所述成像传感器的所述第三相对方位、所述眼睛相对于所述成像传感器的所述第四相对方位、所述空间方位传感器的所述第一输出、所述空间方位传感器的所述第二输出、所述空间方位传感器的所述第三输出、所述空间方位传感器的所述第四输出，确定所述成像传感器相对于所述空间方位传感器的相对方位。

根据实施例，基于通过所述成像传感器获得的所述眼睛的瞳孔或边缘的图像，获得所述眼睛相对于所述成像传感器的所述第一相对方位、所述第二相对方位、所述第三相对方位或所述第四相对方位。

根据实施例，所述第三方位和第二方位相同。

根据实施例，所述第一点与所述第二点相同。

本文公开了一种计算机程序产品，所述计算机程序产品包括非暂时性计算机可读介质，所述介质上记录有指令，当被计算机执行时，所述指令实现上述任何一种方法。

附图说明

图1示出了二维(2D)坐标系。

图2示出了三维坐标系。

图3示出了本文提到的几种三维坐标系。

图4示出了眼睛相机和视场相机被附接到用户佩戴的综框(harnessframe)上。

图5示意性地示出了根据一实施例的方法的流程图。

图6示意性地示出了根据一实施例的方法的流程图。

图7示意性地示出了根据一实施例的方法的流程图。

图8示意性地示出了根据一实施例的方法的流程图。

图9示意性地示出了根据一实施例的方法的流程图。

图10示意性地示出了根据一实施例的方法的流程图。

图11示意性地示出了根据一实施例的方法的流程图。

具体实施方式

附录部分A1.1部分定义了使用右手定则的三维坐标系。附录部分A1.2部分中定义了相机图像帧中的二维坐标系。

本公开中使用的数学效用函数列于附录部分的A2部分。这里讨论了四元数、向量和矩阵数学。四元数在本公开中被广泛使用。使用四元数的函数也可以使用矩阵、欧拉角或其它合适的数学表达来表示。

在本公开中使用的“A_B_C”形式的缩写中：A表示类型(type)；B表示特指(specific)；C表示情境(context)。例如，缩写“q_c_h”是指：表示相机“c”在头部坐标系“h.”中的方位的四元数“q”。又例如，“q_cf_ce”是指：表示视场相机“cf”在眼睛相机坐标系“ce.”中的方位的四元数“q”。参见附录部分的A2部分。

本公开涉及用于校准眼睛跟踪***的***和方法，该眼睛跟踪***包括眼睛相机和视场相机。从视场相机捕获的注视点图像中获得的确定的注视向量可用于计算相对于眼睛相机的眼睛中心位置，并且可用于校正从眼睛相机测得的注视向量。眼睛坐标系和参考坐标系的方位可以通过校准过程获得，以确定眼睛和视场相机之间的相对方位以及眼睛相机和空间方位传感器之间的相对方位。空间方位传感器是在三维空间中测量其自身方位的设备。

在一个实施例中，有两个相机，眼眼相机CE和视场相机CF。它们之间的相对方位不变。它们相对于用户头部的方位也不变。不需要视场相机CF坐标系与眼睛相机CE坐标系的相对方位可用。如图4所示，眼睛相机CE正面向用户眼睛，视场相机CF背对用户眼睛。眼睛相机CE拍摄用户眼睛的图像。视场相机CF拍摄用户前方的场景的图像。假设可以获得在眼睛相机CE坐标系中测量的注视向量。可能已知视场相机CF坐标系相对于眼睛相机CE坐标系的相对方位。

在一个实施例中，有眼睛相机CE和空间方位传感器G。它们之间的相对方位不变。它们相对于用户头部的方位也不变。不需要眼睛相机CE坐标系与空间方位传感器G坐标系的相对方位可用。眼睛相机CE正面向用户眼睛，并拍摄用户眼睛的图像。空间方位传感器G在世界坐标系中测量其自身的方位。

注视向量是从用户眼睛的中心指向用户正在看的那个点的向量。注视向量表示眼睛的方位。注视点是用户正在看的世界中的那个点。从眼睛相机捕获的瞳孔中心或角膜缘中心的图像中获得测量的注视向量。从视场相机捕获的注视点图像中获得确定的注视向量。

在获得从视场相机CF变换到眼睛相机CE的确定的向量的校准过程中，用户看着视场相机CF前方的一对象作为注视点。视场相机CF坐标系中确定的注视向量可以从视场相机CF图像平面上的注视点图像点中获得。注视点图像点可以由用户手动选取或通过超出本公开范围的自动机器视觉方法获得。

假设视场相机CF相对于眼睛相机CE的方位已知，则将视场相机CF坐标系中确定的注视向量进一步转换为眼睛相机CE坐标系中确定的注视向量(参见方法部分的C1部分)。

在校准过程中,用户看着视场相机CF前方的一对象作为注视点。已知视场相机CF图像平面上确定的注视点图像点及其对应的眼睛相机CE图像平面上的瞳孔中心图像或角膜缘中心图像，则可以获得眼睛相机CE坐标系中的通过眼球中心的一条直线。

已知在眼睛相机CE坐标系中通过眼球中心的两条或更多条直线，则可以获得眼球中心的位置。

已知眼睛相机CE坐标系中的眼球中心，以及眼睛相机CE图像平面上的瞳孔中心图像点或角膜缘中心图像点，则可以获得眼睛相机坐标系中的注视向量。

本公开涉及如下坐标系，如图3所示。它们的定义如下：

眼睛相机CE坐标系Xce-Yce-Zce-Oce，简称CS-CE

视场相机CF坐标系Xcf-Ycf-Zcf-Ocf，简称CS-CF

空间方位传感器坐标系Xg-Yg-Zg-Og，简称CS-CG

眼睛坐标系Xe-Ye-Ze-Oe，简称CS-CE

参考坐标系Xr-Yr-Zr-Or，简称CS-CR

世界坐标系Xw-Yw-Zw-Ow，简称CS-W

***硬件、软件和配置

成像传感器测量亮度，包括光的亮度和颜色。相机是一种成像传感器。其他类型的成像传感器也可以在这里以类似的方式使用。相机可以是彩色的、灰度的、红外的或非红外的等等。相机的参数包括它的物理尺寸、分辨率和安装的镜头的焦距等。为相机输出定义二维相机图像帧坐标系。参见附录部分A1.2部分。

头部装置，用于将相机和其他传感器固定在用户头部的装置。该头部装置可以是眼镜框架、头带或头盔等，这取决于应用。

计算机，计算机处理传感单元的输出并计算运动/姿势的跟踪结果。它可以是嵌入式***，也可以是桌面***。

软件，计算机软件实现了算法以及工作流程。

配置，在一个实施例中，如图4所示，作为眼睛跟踪和注视点记录***，眼睛相机和视场相机被附接在用户佩戴的综框上。两个相机之间的相对方位不变。两个相机相对于用户头部的方位也不变。

下面描述从视场相机CF图像平面上的确定的注视点图像点获得眼睛相机CE坐标系CS-E中确定的注视向量。

在校准过程中，用户看着视场相机CF前方的一对象作为注视点，可以获得视场相机CF图像平面上的确定的注视点图像点。可以由视场相机CF图像平面上的该确定的注视点图像点获得视场相机CF坐标系中的确定的注视向量。

假设已知视场相机CF坐标系相对于眼睛相机CE坐标系的相对方位，则可以将视场相机CF坐标系中确定的注视向量进一步转换为眼睛相机CE坐标系中确定的注视向量(参见方法部分的C1部分)。

下面描述从视场相机CF图像平面上的确定的注视点图像点及其对应的眼睛相机CE图像平面上的瞳孔中心图像点或角膜缘中心图像点获得眼睛相机CE坐标系中的通过眼球中心的一条直线。

当视场相机CF坐标系相对于眼睛相机CE坐标系的相对方位可能已知时，用户看着视场相机前方的一对象作为注视点，可以获得视场相机CF图像平面上的确定的注视点图像点。还可以获得眼睛相机CE图像平面上的瞳孔中心图像点或角膜缘中心图像点。

已知视场相机CF图像平面上的确定的注视点图像点和眼睛相机CE图像平面上的瞳孔中心图像点或角膜缘中心图像点，则可以获得眼睛相机CE坐标系中的通过眼球中心的一条直线(参见方法部分的C2部分)。

下面描述由两对或更多对的视场相机CF图像平面上的确定的注视点图像点及其对应的眼睛相机CE图像平面上的瞳孔中心图像点或角膜缘中心图像点，获得眼睛相机坐标系中的眼球中心。

通过进行至少两次上述过程，可以获得至少两条在眼睛相机CE坐标系中通过眼球中心的直线。使用这些直线，可以获得眼睛相机CE坐标系CS-CE中的眼球中心(参见方法部分的第C3部分)。眼睛相机CE坐标系中的眼球中心(即眼睛坐标系CS-E中的原点)可以用于使用申请号为PCT/US2016/065141的PCT专利申请中的算法部分的C1部分的方法，由眼睛相机CE图像平面上的瞳孔中心图像或角膜缘中心图像点获得注视向量。

下面描述从三对注视向量获得校正矩阵，每对注视向量包括视场相机CF坐标系中确定的注视向量及其对应的眼睛相机CE坐标系中测得的注视向量。

用户看着视场相机前方的一对象作为注视点，可以获得视场相机CF图像平面上的确定的注视向量。还可以获得在眼睛相机CE坐标系中的对应的测得的注视向量。

通过重复该过程三次，可以获得三对视场相机CF坐标系中确定的注视向量及其对应的眼睛相机CE坐标系中的测得的注视向量。可以获得校正矩阵(参见方法部分的C4部分)。

该校正矩阵表示在跟踪模式下，眼睛相机CE坐标系中的测得的注视向量与视场相机CF坐标系中的确定的注视向量之间的联系。

下面描述从三对注视向量获得校正矩阵，每对注视向量包括眼睛相机CE坐标系中的确定的注视向量及其对应的眼睛相机CE坐标系中的测量的注视向量。

假设可以获得眼睛相机CE坐标系中的测量的注视向量，并且已知视场相机CF坐标系相对于眼睛相机CE坐标系的相对方位，则用户看着视场相机前方的一对象作为注视点，可以获得视场相机CF坐标系中的确定的注视向量。视场相机CF坐标系中的确定的注视向量可以被转换为眼睛相机CE坐标系中的确定的注视向量。还可以获得眼睛相机CE坐标系中的测量的注视向量。

通过重复该过程三次，获得三对眼睛相机CE坐标系中的确定的注视向量及其对应的眼睛相机CE坐标系中的测量的注视向量。可以获得校正矩阵(参见方法部分中的C4部分)。

该校正矩阵表示在跟踪模式下，眼睛相机CE坐标系中的测得的注视向量与眼睛相机CE坐标系中的确定的注视向量之间的联系。

下面描述从测得的注视向量和校正矩阵获得校正后的注视向量。

假设可以获得眼睛相机CE坐标系中的测量的注视向量，则在跟踪模式下也可以获得眼睛相机CE坐标系中的测量的注视向量。已知将眼睛相机CE坐标系中的测量的注视向量与视场相机CF坐标系中的确定的注视向量相联系的校正矩阵，则可以获得视场相机CF坐标系中的校正后的注视向量(参见方法部分的C5部分)。由于注视向量表示用户眼睛指向的方向，所以校正后的注视向量提供了关于在校正了测量误差并考虑了眼睛相机CE与视场相机CF的相对方位的情况下用户在视场相机CF坐标系中所看到的方向。

假设可以获得眼睛相机CE坐标系中的测量的注视向量，并且已知视场相机CF坐标系相对于眼睛相机CE坐标系的相对方位，则在跟踪模式下，也可以获得眼睛相机坐标系中的测量的注视向量。已知将眼睛相机CE坐标系中的测量的注视向量与眼睛相机CE坐标系中的确定的注视向量相联系的校正矩阵，可以获得眼睛相机坐标系中的校正后的注视向量(参见方法部分的C5部分)。由于注视向量表示用户眼睛指向的方向，所以校正后的注视向量提供了关于在校正了测量误差的情况下用户在眼睛相机坐标系中所看到的方向。

下面描述从***的三个方位变化获得眼睛相机CE坐标系CS-CE在视场相机CF坐标系CS-CF中的方位。

假设可以获得眼睛相机CE坐标系中的测量的注视向量，则可以识别视场相机的视野中的四个物理点PA、PB、PC和PD，其中，PC和PD作为一对，可以与另一对点PA、PB相同或者不同。

在确定CS-CF中CS-CE方位的校准过程中：

第一步，用户选取世界中的一对象作为注视点，获得CS-CE中的第一注视向量v_gaze_ce_1。获得视场相机CF坐标系中的点PA和点PB的图像为p_a_i_1、p_b_i_1。

第二步，在不丢失同一注视点的情况下，用户将头部旋转到第二位置，获得CS-CE中的第二注视向量v_gaze_ce_2中。获得视场相机CF坐标系中的点PA和点PB的图像为p_a_i_2、p_b_i_2。获得视场相机CF坐标系中的点PC和点PD的图像为p_c_i_1、p_d_i_1。

第三步，在不丢失同一注视点的情况下，用户将头部围绕注视向量v_gaze_ce_2旋转，获得视场相机CF坐标系中的点PC和点PD的图像为p_c_i_2、p_d_i_2。

已知v_gaze_ce_1和v_gaze_ce_2，则可以获得表示眼睛坐标系CS-E在眼睛相机CE坐标系CS-CE中的方位的四元数q_eye_ce(参见方法部分的C6部分)。

同时，已知p_a_i_1、p_b_i_1、p_a_i_2、p_b_i_2、p_c_i_1、p_d_i_1以及p_c_i_2、p_d_i_2，则可以获得表示参考坐标系CS-R在视场相机CF坐标系CS-CF中的方位的四元数q_ref_cf(参见方法部分的C8部分)。

用于确定CS-E在CS-CE中的方位的方法部分的C6部分中使用的method_index应该与用于确定CS-R在CS-CF中的方位的方法部分的C8部分中使用的method_index相同。

已知q_eye_ce和q_ref_cf，则可以获得表示眼睛相机CE坐标系CS-CE在视场相机CF坐标系CS-CF中的方位的四元数(参见方法部分的C12部分)。

下面描述从***的四个方位变化获得眼睛相机CE坐标系CS-CE在视场相机CF方位传感器坐标系CS-CF中的方位。

假设可以获得眼睛相机CE坐标系中的测得的注视向量，则可以识别视场相机的视野中的四个物理点PA、PB、PC和PD，其中，PC和PD作为一对,可以与另一对点PA、PB相同或者不同。

在确定CS-CF中CS-CE方位的校准过程中：

第一步，当用户的头部处于第一位置，并且用户注视一注视点时，获得CS-CE中的第一注视向量v_gaze_ce_1，并且获得视场相机CF坐标系中点PA和点PB的图像为p_a_i_1、p_b_i_1。

第二步，在不丢失同一注视点的情况下，用户将头部旋转到第二位置；在旋转结束时，获得CS-CE中的第二注视向量v_gaze_ce_2。获得视场相机CF坐标系中的点PA和点PB的图像为p_a_i_2、p_b_i_2。

第三步，用户在注视同一注视点或新的注视点时，将头部旋转到第三位置，获得CS-CE中的第三注视向量v_gaze_ce_3。在CF坐标系中，获得视场相机CF坐标系中的点PC和点PD的图像为p_c_i_1、p_d_i_1。

第四步，在不丢失第三步使用的同一注视点的情况下，用户将头部旋转到第四位置，获得CS-CE中的第四注视向量v_gaze_ce_4。获得视场相机CF坐标系中的点PC和点PD的图像为p_c_i_2、p_d_i_2。

已知v_gaze_ce_1、v_gaze_ce_2、v_gaze_ce_3和v_gaze_ce_4，则可以获得表示眼睛相机CE坐标系CS-CE中眼睛坐标系CS-E的方位的四元数q_eye_ce(参见方法部分的C7部分)。

已知p_a_i_1、p_b_i_1、p_a_i_2、p_b_i_2、p_c_i_1、p_d_i_1以及p_c_i_2、p_d_i_2，则可以获得表示视场相机CF坐标系CS-CF中参考坐标系CS-R的方位的四元数q_ref_cf(参见方法部分的C9部分)。

用于确定CS-CE中CS-E的方位的方法部分的C7部分中使用的method_index应该与用于确定CS-CF中CS-R的方位的方法部分的C9部分中使用的method_index相同。

在一个实施例中，用户头部的四个位置相对于起始位置为上、下、左、右。

下面描述从***的三种方位变化获得空间方位传感器G方位传感器坐标系CS-G中眼睛相机CE坐标系CS-CE的方位。

假设可以获得眼睛相机CE坐标系中的测得的注视向量，则可以在如下过程中确定CS-CF中CS-CE的方位：

第一步，用户选取世界中的一对象作为注视点，获得CS-CE中的第一注视向量v_gaze_ce_1。获得空间方位传感器G的输出为q_g_w_1。

第二步，在不丢失同一注视点的情况下，用户将头部旋转到第二位置，获得CS-CE中的第二注视向量v_gaze_ce_2。获得空间方位传感器G的输出为q_g_w_2，并且将q_g_w_3设置为与q_g_w_2相同。

第三步，在不丢失同一注视点的情况下，用户围绕注视向量v_gaze_ce_2旋转头部。旋转后，获得空间方位传感器G的输出为q_g_w_4。

已知v_gaze_ce_1和v_gaze_ce_2，则可以获得表示眼睛相机CE坐标系CS-E中眼睛坐标系CS-E的方位的四元数q_eye_ce(参见方法部分的C6部分)。

已知q_g_w_1、q_g_w_2、q_g_w_3和q_g_w_4，则可以获得表示空间方位传感器G坐标系CS-G中参考坐标系CS-R的方位的四元数q_ref_g(参见方法部分的C10部分)。

用于确定CS-CE中CS-E的方位的方法部分的C6部分中使用的method_index应该与用于确定CS-G中CS-R的方位的方法部分的C10部分中使用的method_index相同。

已知q_eye_ce和q_ref_g，则可以获得表示眼睛相机CE坐标系CS-CE在空间方位传感器G坐标系CS-G中的方位的四元数(参见方法部分的C13部分)。

下面描述从***的四个方位变化获得空间方位传感器G方位传感器坐标系CS-G中眼睛相机CE坐标系CS-CE的方位。

假设可以获得眼睛相机CE坐标系中的测得的注视向量，则用户选取一对象作为注视点。可以识别视场相机的视野中的四个物理点PA、PB、PC和PD，其中PC和PD作为一对，可以与另一对点PA和PB相同或不同。

可以在以下过程中确定CS-CE在CS-CF中的方位：

第一步，当用户的头部处于第一位置并且用户注视一注视点时，获得CS-CE中的第一注视向量v_gaze_ce_1，并且，获得空间方位传感器G的输出为q_g_w_1。

第二步，在不丢失同一注视点的情况下，用户将头部旋转到第二位置，并且获得CS-CE中的第二注视向量v_gaze_ce_2。获得空间方位传感器G的输出为q_g_w_2。

第三步，用户在注视同一注视点或新的注视点时，将头部旋转到第三位置，并且获得CS-CE中的第三注视向量v_gaze_ce_3。获得空间方位传感器G的输出为q_g_w_3。

第四步，在不丢失第三步中使用的同一注视点的情况下，用户将头部旋转到第四位置，并且获得CS-CE中的第四注视向量v_gaze_ce_4。获得空间方位传感器G的输出为q_g_w_4。

已知v_gaze_ce_1、v_gaze_ce_2、v_gaze_ce_3和v_gaze_ce_4，则可以获得表示眼睛相机CE坐标系CS-CE中的眼睛坐标系CS-E的方位的四元数q_eye_ce(参见方法部分的C7部分)。

已知q_g_w_1、q_g_w_2、q_g_w_3和q_g_w_4，则可以获得表示空间方位传感器G坐标系CS-G中的参考坐标系CS-R的四元数q_ref_g(参见方法部分的C11部分)。

用于确定CS-CE中CS-E的方位的方法部分的C7部分中使用的method_index应该与用于确定CS-G中CS-R的方位的方法部分的C11部分中使用的method_index相同。

在一个实施例中，用户头部的四个位置相对于起始位置为上、下、左和右。

已知q_eye_ce和q_ref_g，则可以获得表示空间方位传感器G坐标系CS-G中眼睛相机CE坐标系CS-CE的方位的四元数(参见方法部分的C13部分)。

在一个实施例中，第三位置可以与第二位置相同或从第二位置旋转偏移得到。

图5示意性地示出了根据一个实施例的方法的流程图。在步骤540，基于注视三维空间中一点的人的眼睛相对于第一成像传感器的第一相对方位521和眼睛的瞳孔或边缘相对于第一成像传感器的第一相对位置531，获得通过该眼睛的中心的第一3D线541。在步骤550，获得通过眼睛中心的第二3D线551。在步骤560，基于第一3D线541和第二3D线551，确定眼睛中心相对于第一成像传感器的相对位置561。该方法还可以包括可选的步骤530，在步骤530，基于通过第一成像传感器所获得的瞳孔或边缘的图像502，获得瞳孔或边缘相对于第一成像传感器的第一相对位置531。该方法还可以包括可选的步骤520，在步骤520，基于眼睛相对于第二成像传感器的第二相对方位511和第一成像传感器相对于第二成像传感器的相对方位512，获得眼睛相对于第一成像传感器的第一相对方位521。该方法还可以包括可选的步骤510，在步骤510，基于通过第二成像传感器获得的点的图像501，获得眼睛相对于第二成像传感器的第二相对方位511。

图6示意性地示出了根据一个实施例的方法的流程图。在步骤610，通过第一成像传感器获得人的眼睛的瞳孔或边缘的图像611。在步骤620，基于图像611和另外可选的眼睛中心相对于第一成像传感器的相对位置613，确定眼睛相对于第一成像传感器的第一相对方位621。在步骤640，基于第一相对方位621和第一成像传感器与第二成像传感器之间的关系631，确定眼睛相对于第二成像传感器的第二相对方位641。该方法还可以包括可选的步骤630，在步骤630，基于眼睛的至少三对相对方位612，确定关系631，其中，每对相对方位包括由第一成像传感器获得的眼睛的瞳孔或者边缘的图像获得的眼睛相对于第一成像传感器的第三相对方位，并且每对相对方位还包括由第二成像传感器获得的眼睛正在注视的点的图像获得的眼睛相对于第二成像传感器的第四相对方位。该方法还可以包括可选的步骤650，在步骤650，基于第二相对方位641，确定在第二成像传感器获得的图像中的眼睛正在注视的点的位置651。

图7示意性地示出了根据一个实施例的方法的流程图。在步骤710，通过成像传感器获得人的眼睛的瞳孔或边缘的图像711。在步骤720，基于图像711和另外可选的眼睛中心相对于成像传感器的相对位置713，确定眼睛相对于成像传感器的相对方位721。在步骤730，基于校准结果741，调整眼睛相对于第一成像传感器的相对方位721。该方法还可以包括可选的步骤740，在步骤740，基于眼睛的至少三对相对方位712，获得校准结果741，其中，每对相对方位包括由第一成像传感器获得的眼睛的瞳孔或者边缘的图像获得的眼睛相对于第一成像传感器的第一相对方位，并且还包括由第二成像传感器获得的眼睛正在注视的点的图像获得的眼睛相对于第一成像传感器的第二相对方位。还可以基于第一成像传感器相对于第二成像传感器的相对方位来获得校准结果741。

图8示意性地示出了根据一个实施例的方法的流程图。在步骤810，当人的头部处于第一方位并且人的眼睛正在注视三维空间中的一点时，获得眼睛相对于第一成像传感器的第一相对方位811。还可以基于通过第一成像传感器获得的眼睛的瞳孔或边缘的图像801，获得眼睛相对于第一成像传感器的第一相对方位811。在步骤820，当人的头部处于第一方位并且人的眼睛正在注视三维空间中的所述点时，通过第二成像传感器获得三维空间中的第一对点的第一组图像821。在步骤830，当头部处于从第一方位旋转偏移得到的第二方位并且眼睛正在注视所述点时，获得眼睛相对于第一成像传感器的第二相对方位831。还可以基于通过第一成像传感器获得的眼睛的瞳孔或边缘的图像803，获得眼睛相对于第一成像传感器的第二相对方位831。在步骤840，当头部处于从第一方位旋转偏移得到的第二方位并且眼睛正在注视所述一点时，通过第二成像传感器获得第一对点的第二组图像841。在步骤850，当头部处于从第一方位旋转偏移得到的第二方位并且眼睛正在注视所述点时，通过第二成像传感器获得三维空间中第二对点的第一组图像851。第一对点可以与第二对点相同。在步骤860，当头部处于围绕沿着表示眼睛的第二相对方位831的向量的轴从第二方位旋转偏移得到的第三方位并且眼睛正在注视所述点时，通过第二成像传感器获得第二对点的第二组图像861。在步骤870，基于眼睛相对于第一成像传感器的第一相对方位811、眼睛相对于第一成像传感器的第二相对方位831、第一对点的第一组图像821、第一对点的第二组图像841、第二对点的第一组图像851以及第二对点的第二组图像861，确定第一成像传感器和第二成像传感器的相对方位871。第一对点可以与第二对点相同。

图9示意性地示出了根据一个实施例的方法的流程图。在步骤910，当人的头部处于第一方位并且人的眼睛正在注视三维空间中的一点时，获得眼睛相对于成像传感器的第一相对方位911。可以基于由成像传感器获得的眼睛的瞳孔或边缘的图像901，获得眼睛相对于成像传感器的第一相对方位911。在步骤920，当人的头部处于第一方位并且人的眼睛正在注视三维空间中的所述点时，获得空间方位传感器的第一输出921。在步骤930，当头部处于从第一方位旋转偏移得到的第二方位并且眼睛正在注视所述点时，获得眼睛相对于成像传感器的第二相对方位931。可以基于由成像传感器获得的眼睛的瞳孔或边缘的图像903，获得眼睛相对于成像传感器的第二相对方位931。在步骤940，当头部处于从第一方位旋转偏移得到的第二方位并且眼睛正在注视所述点时，获得空间方位传感器的第二输出941。在步骤950，当头部处于围绕沿着表示眼睛的第二相对方位931的向量的轴从第二方位旋转偏移得到的第三方位并且眼睛正在注视所述点时，获得空间方位传感器的第三输出951。在步骤960，基于眼睛相对于成像传感器的第一相对方位911、眼睛相对于成像传感器的第二相对方位931、空间方位传感器的第一输出921、空间方位传感器的第二输出941、空间方位传感器的第三输出951，确定成像传感器和空间方位传感器的相对方位961。

图10示意性地示出了根据一个实施例的方法的流程图。在步骤1010，当人的头部处于第一方位并且人的眼睛正在注视三维空间中的第一点时，获得眼睛相对于第一成像传感器的第一相对方位1011。可以基于由第一成像传感器获得的眼睛的瞳孔或边缘的图像1001，获得眼睛相对于第一成像传感器的第一相对方位1011。在步骤1020，当人的头部处于第一方位并且人的眼睛正在注视三维空间中的第一点时，通过第二成像传感器获得三维空间中的第一对点的第一组图像1021。在步骤1030，当头部处于从第一方位旋转偏移得到的第二方位并且眼睛正在注视第一点时，获得眼睛相对于第一成像传感器的第二相对方位1031。可以基于由第一成像传感器获得的眼睛的瞳孔或边缘的图像1003，获得眼睛相对于第一成像传感器的第二相对方位1031。在步骤1040，当头部处于从第一方位旋转偏移得到的第二方位并且眼睛正在注视第一点时，通过第二成像传感器获得第一对点的第二组图像1041。在步骤1050，当头部处于从第二方位旋转偏移得到的第三方位并且眼睛正在注视三维空间中的第二点时，获得眼睛相对于第一成像传感器的第三相对方位1051。可以基于由第一成像传感器获得的眼睛的瞳孔或边缘的图像1005，获得眼睛相对于第一成像传感器的第三相对方位1051。在步骤1060，当头部处于从第二方位旋转偏移得到的第三方位并且眼睛正在注视三维空间中的第二点时，通过第二成像传感器获得三维空间中的第二对点的第一组图像1061。在步骤1070，当头部处于从第三方位旋转偏移得到的第四方位并且眼睛正在注视第二点时，获得眼睛相对于第一成像传感器的第四相对方位1071。可以基于由第一成像传感器获得的眼睛的瞳孔或边缘的图像1007，获得眼睛相对于第一成像传感器的第四相对方位1071。在步骤1080，当头部处于从第三方位旋转偏移得到的第四方位并且眼睛正在注视第二点时，通过第二成像传感器获得第二对点的第二组图像1081。在步骤1090，基于眼睛相对于第一成像传感器的第一相对方位1011、眼睛相对于第一成像传感器的第二相对方位1031、眼睛相对于第一成像传感器的第三相对方位1051、眼睛相对于第一成像传感器的第四相对方位1071、第一对点的第一组图像1021、第一对点的第二组图像1041、第二对点的第一组图像1061以及第二对点的第二组图像1081，确定第一成像传感器相对于第二成像传感器的相对方位1091。

图11示意性地示出了根据一个实施例的方法的流程图。在步骤1110，当人的头部处于第一方位并且人的眼睛正在注视三维空间中的第一点时，获得眼睛相对于成像传感器的第一相对方位1111。可以基于通过成像传感器获得的眼睛的瞳孔或边缘的图像1101，获得眼睛相对于成像传感器的第一相对方位1111。在步骤1120，当人的头部处于第一方位并且人的眼睛正在注视三维空间中的第一点时，获得空间方位传感器的第一输出1121。在步骤1130，当头部处于从第一方位旋转偏移得到的第二方位并且眼睛正在注视第一点时，获得眼睛相对于成像传感器的第二相对方位1131。可以基于通过成像传感器获得的眼睛的瞳孔或边缘的图像1103，获得眼睛相对于成像传感器的第二相对方位1131。在步骤1140，当人的头部处于第二方位并且人的眼睛正在注视三维空间中的第一点时，获得空间方位传感器的第二输出1141。在步骤1150，当头部处于从第二方位旋转偏移得到的第三方位并且眼睛正在注视三维空间中的第二点时，获得眼睛相对于成像传感器的第三相对方位1151。可以基于通过成像传感器获得的眼睛的瞳孔或边缘的图像1105，获得眼睛相对于成像传感器的第三相对方位1151。在步骤1160，当头部处于从第二方位旋转偏移得到的第三方位并且眼睛正在注视三维空间中的第二点时，获得空间方位传感器的第三输出1161。在步骤1170，当头部处于从第三方位旋转偏移得到的第四方位并且眼睛正在注视第二点时，获得眼睛相对于成像传感器的第四相对方位1171。可以基于通过成像传感器获得的眼睛的瞳孔或边缘的图像1107，获得眼睛相对于成像传感器的第四相对方位1171。在步骤1180，当头部处于从第三方位旋转偏移得到的第四方位并且眼睛正在注视第二点时，获得空间方位传感器的第四输出1181。在步骤1190，基于眼睛相对于成像传感器的第一相对方位1111、眼睛相对于成像传感器的第二相对方位1131、眼睛相对于成像传感器的第三相对方位1151、眼睛相对于成像传感器的第四相对方位1171、空间方位传感器的第一输出1121、空间方位传感器的第二输出1141、空间方位传感器的第三输出1161、空间方位传感器的第四输出1181，确定成像传感器相对于空间方位传感器的相对方位1191。

方法

C1

从视场相机CF图像平面上的确定的注视点图像点p_gaze_cf获得眼睛相机CE坐标系CS-E中的确定的注视向量v_gaze_ce。

这可以描述为：

v_gaze_ce＝v_ce_frm_p_cf(q_cf_ce，p_gaze_cf，FOCAL_LEN_f)。

假设q_cf_ce是表示视场相机CF坐标系CS-CF在眼睛相机CE坐标系CS-CE中的方位的四元数，则在校准过程中，用户看着一对象作为注视点，并且可以获得视场相机CF图像平面上的确定的注视点图像点p_gaze_cf。已知p_gaze_cf，则可以获得相机CF坐标系中的确定的注视向量v_gaze_cf为：v_gaze_cf＝v_frm_p(p_gaze_cf,FOCAL_LEN_f)。参见附录部分A1.4部分。

因此：

v_gaze_ce＝qvq_trans(q_cf_ce,v_gaze_cf)；

FOCAL_LEN_f是以像素为单位的视场相机CF的焦距。

C2

从视场相机CF图像平面上的确定的注视点图像点p_gaze_cf及其对应的眼睛相机CE图像平面上的瞳孔中心图像点(或角膜缘中心图像点)p_pupil_ce获得眼睛相机CE坐标系CS-E中的通过眼球中心的一条直线l_ec_ce。

这可以描述为：

l_ec_ce＝l_frm_2p(p_gaze_cf,p_pupil_ce,FOCAL_LEN_f,FOCAL_LEN_e)

其中：

FOCAL_LEN_f是以像素为单位的视场相机CF的焦距；

FOCAL_LEN_e是以像素为单位的眼睛相机CE的焦距。

假设q_cf_ce是表示视场相机CF坐标系CS-CF在眼睛相机CE坐标系CS-CE中的方位的四元数，则在校准过程中，用户看着一对象作为注视点，并且可以获得视场相机CF图像平面上的确定的注视点图像点p_gaze_cf。同时，还可以获得眼睛相机CE图像平面上的对应的瞳孔中心图像点(或角膜缘中心图像点)p_pupil_ce。

已知p_pupil_ce和p_gaze_cf，则可以获得在眼睛相机CE坐标系CS-E中的通过眼球中心的一条直线l_ec_ce。

首先，使用下式(参见方法部分的C1部分)从视场相机CF点图像平面确定的注视点图像点p_gaze_cf获得眼睛相机CE坐标系CS-E中的确定的注视向量：

v_gaze_ce＝v_ce_frm_p_cf(q_cf_ce,p_gaze_cf,FOCAL_LEN_f)。

接下来，已知眼睛相机CE图像平面上的对应的瞳孔中心图像点(或角膜缘中心图像点)p_pupil_ce，则可以获得其在坐标系CS-CE中的三维向量：

v_pupil_e＝v_frm_p(p_pupil_e,FOCAL_LEN_e)。

然后，可以获得在眼睛相机CE坐标系CS-CE中的通过眼球中心的一条直线l_ec_ce为：

l_ec_ce＝(v_d,v_p)

其中：

v_d＝v_pupil_ce

v_p＝v_neg(v_gaze_ce)

C3

从视场相机CF图像平面上的两对或更多对的确定的注视点图像点p_gaze_cf及其对应的眼睛相机CE图像平面上的瞳孔中心图像点(或角膜缘中心图像点)p_pupil_ce，获得眼睛相机CE坐标系CS-E中的眼球中心v_ec_ce。

假设视场相机CF坐标系相对于眼睛相机CE坐标系的相对方位是已知的。用户看着一个对象作为注视点，并且可以获得视场相机CF图像平面上的确定的注视点图像点p_gaze_cf。同时，还可以获得眼睛相机CE图像平面上的对应的瞳孔中心图像点(或角膜缘中心图像点)p_pupil_ce。这样做两次或更多次，获得两对或更多对的(p_gaze_cf_n,p_pupil_ce_n，)，其中n＝1，2，…

v_ec_ce＝ln_intersect(l_ec_ce_1,…,l_ec_ce_n)，这位于l_ec_ce_1，…，l_ec_ce_n的交点处。

其中：

l_ec_ce_1＝l_frm_2p(p_gaze_cf_1,p_pupil_ce_1,FOCAL_LEN_f,FOCAL_LEN_e)，这是CS-CE中通过眼球中心的一条线，由一对点获得

…

l_ec_ce_n＝l_frm_2p(p_gaze_cf_n,p_pupil_ce_n,FOCAL_LEN_f,FOCAL_LEN_e)，这是CS-CE中通过眼球中心的一条线，由一对点获得

FOCAL_LEN_f是以单位为像素的视场相机CF的焦距

FOCAL_LEN_e是以单位为像素的眼睛相机CE的焦距

C4

从三对注视向量中获得校正矩阵m_corrrect。每对注视向量包括确定的注视向量v_gaze_confirm及其对应的测量的注视向量v_gaze_measure。

这可以描述为：

m_corrrect＝m_frm_6v(v_gaze_confirm_1,v_gaze_confirm_2,v_gaze_confirm_3,v_gaze_measure_1,v_gaze_measure_2,v_gaze_measure_3)

其中：

m_corrrect＝m_prd(m_confirm,mi_measure)(参见附录部分A2.3.1部分)

m_confirm＝m_frm_v(v_gaze_confirm_1,v_gaze_confirm_2,v_gaze_confirm_3)(参见附录部分A2.3.9部分)

mi_measure＝m_inv(m_measure)(参见附录部分A2.3.1部分)

m_measure＝m_frm_v(v_gaze_measure_1,v_gaze_measure_2,v_gaze_measure_3)

v_gaze_confirm_1和v_gaze_measure_1是第一对注视向量

v_gaze_confirm_2和v_gaze_measure_2是第二对注视向量

v_gaze_confirm_3和v_gaze_measure_3是第三对注视向量

根据***配置，确定的注视向量v_gaze_confirm既可以在视场相机CF坐标系CS-CF中，也可以在眼睛相机CE坐标系CS-CE中。

用户看着视场相机前方的一个对象为注视点。可以获得视场相机CF图像平面上的确定的注视点图像点p_gaze_confirm_cf。同时，还可以获得其对应的眼睛相机CE图像平面上的瞳孔中心图像点(或角膜缘中心图像点)p_pupil_measure_ce。

因此：

v_gaze_confirm＝v_frm_p(p_gaze_confirm_cf,FOCAL_LEN_f)

v_gaze_measure＝v_frm_p(p_gaze_measure_ce，FOCAL_LEN_e)

其中：

v_gaze_confirm是视场相机CF坐标系中的确定的注视向量

v_gaze_measure是眼睛相机CE坐标系中的测量的注视向量

FOCAL_LEN_f是视场相机的焦距

FOCAL_LEN_e是视场相机照相机的焦距

这样做三次或更多次，获得三对确定的注视向量v_gaze_confirm及其对应的测量的注视向量v_gaze_measure。

假设视场相机CF坐标系相对于眼睛相机CE坐标系的方位为q_cf_ce，则在校准过程中，用户看着视场相机前方的一个对象作为注视点。可以获得视场相机CF图像平面上的确定的注视点图像点p_gaze_confirm_cf。同时，还可以获得其对应的眼睛相机CE图像平面上的瞳孔中心图像点(或角膜缘中心图像点)p_pupil_measure_ce。

因此：

v_gaze_confirm＝qvq_trans(q_cf_ce，v_gaze_confirm_cf)

v_gaze_measure＝v_frm_p(p_gaze_measure_cf，FOCAL_LEN_e)

其中

v_gaze_confirm_cf＝v_frm_p(p_gaze_confirm_cf，FOCAL_LEN_f)

v_gaze_confirm_cf是视场相机CF坐标系中的确定的注视向量

v_gaze_confirm是眼睛相机CE坐标系中的确定的注视向量

v_gaze_measure是眼睛相机CE坐标系中的测量的注视向量

FOCAL_LEN_f是视场相机的焦距

FOCAL_LEN_e是眼睛相机的焦距

C5

从测量的注视向量v_gaze_measure和使用(C4方法)v_gaze_correct＝mv_prd(m_correct，v_gaze_measure)获得的校正矩阵m_corrrect获得校正后的注视向量v_gaze_correct。即，将校正矩阵m_corrrect与测量的注视向量v_gaze_measure相乘，获得校正后的注视向量v_gaze_correct。

C6

从CS-CE中的两个注视向量v_gaze_ce_1、v_gaze_ce_2获得表示眼睛坐标系CS-E相对于眼睛相机CE坐标系CS-CE的方位的四元数q_eye_ce。

这可以描述为：

q_eye_ce＝q_eye_frm_2v(v_gaze_ce_1，v_gaze_ce_2，method_index)

其中，

q_eye_ce＝q_frm_2v(v_r_1，v_r_2，method_index)

v_r_1＝v_cru(v_gaze_ce_i，v_gaze_ce_2)(参见附录部分A2.2.8部分)

v_r_2＝v_neg(v_qaze_ce_2)method_index表示可以在q_frm_2v中使用的许多不同方法中的一种(参见申请号为62/557786的美国专利申请的方法部分的C1部分)。

在眼睛相机CE面向用户眼睛的一个实施例中，假设可以获得眼睛相机CE坐标系CS-CE中的注视向量。在确定CS-CE中眼睛坐标系CS-E的方位的校准过程中，用户选取世界中的一对象作为注视点，获得CS-CE中的第一注视向量v_gaze_ce_1。在不丢失同一注视点的情况下，用户将头部旋转到第二位置，获得CS-CE中的第二注视向量v_gaze_ce_2。

C7

从CS-CE中的四个注视向量v_gaze_ce_1、v_gaze_ce_2、v_gaze_ce_3、v_gaze_ce_4获得表示眼睛坐标系CS-E相对于眼睛相机CE坐标系CS-CE的四元数q_eye_ce。

这可以描述为：

q_eye_ce＝q_eye_frm_4v(v_gaze_ce_1，v_gaze_ce_2，v_gaze_ce_3，v_gaze_ce_4，method_index)

其中：

q_eye_ce＝q_frm_2v(v_r_1，v_r_2，method_index)

v_r_1＝v_cru(v_gaze_ce_1，v_gaze_ce_2)

v_r_2＝v_cru(v_gaze_ce_3，v_gaze_ce_4)

method_index表示可以在q_frm_2v中使用的许多不同方法中的一种(参见申请号为62/557786的美国专利申请的方法部分的C1部分)。

在眼睛相机CE面向用户眼睛的一个实施例中，假设可以获得眼睛相机CE坐标系CS-CE中的注视向量。在确定CS-CE中眼睛坐标系CS-E的方位的校准过程中，首先，用户选取世界中的一对象作为注视点，在不丢失同一注视点的情况下，用户将头部旋转到第一位置，获得CS-CE中的第一注视向量v_gaze_ce_1。在不丢失同一注视点的情况下，用户将头部旋转到第二位置，获得CS-CE中的第二注视向量v_gaze_ce_2。接下来，用户可以选取世界中的同一对象或不同的对象作为注视点。在不丢失该注视点的情况下，用户将头部旋转到第三位置，获得CS-CE中的第三注视向量v_gaze_ce_3。在不丢失同一注视点的情况下，用户将头部旋转到第四位置，获得CS-CE中的第四注视向量v_gaze_ce_4。

C8

采用申请号为62/557786的美国专利申请的方法部分的C8部分所描述的方法，使用在相机的三个方位处的四个固定物理点PA、PB、PC、PD的图像，获得表示参考坐标系CS-R相对于视场相机CF坐标系的方位的方位q_ref_cf。

q_ref_cf＝q_frm_8p(p_a_i_2，

p_b_i_2，p_a_i_1，p_b_i_1，p_c_i_2，p_d_i_2，p_c_i_1，p_b_i_d_1，FOCAL_LEN，method_index)

其中：

4个固定物理点PA、PB、PC、PD在视场相机CF的视野中。

method_index表示可以在q_frm_8p中使用的许多不同方法中的一种(参见申请号为62/557786的美国专利申请的方法部分的C8部分)。

在视场相机位于第一方位AB1中，获得视场相机CF坐标系中的点PA和点PB的图像为p_a_i_1、p_b_i_1

接下来，将相机旋转到第二方位AB2，获得视场相机CF坐标系中的点PA和点PB的图像为p_a_i_2、p_b_i_2

接下来，在不改变相机方位的情况下，获得视场相机CF坐标系中的点PC和点PD的图像为p_c_i_1、p_d_i_1

接下来，将相机旋转到第三方位CD2，获得视场相机CF坐标系中的点PC和点PD的图像为p_c_i_2、p_d_i_2。

第一对物理点是PA和PB

第二对物理点是PC和PD

第二对物理点PC和PD可以与PA和PB相同或不同。

C9

采用申请号为62/557786的美国专利申请的方法部分的C8部分中描述的方法，使用在相机的四个方位处的四个固定物理点PA、PB、PC、PD的图像，获得参考坐标系CS-R相对于现场相机CF坐标系的方位。

q_ref_cf＝q_frm_8p(p_a_i_2，

其中：

4个固定物理点PA、PB、PC、PD都在视场相机CF的视野中。

接下来，将相机旋转到第三方位CD1，获得视场相机CF坐标系中的点PC和点PD的图像为p_c_i_1，p_d_i_1。

接下来，将相机旋转到第四方位CD2，获得视场相机CF坐标系中点PC和点PD的图像为p_c_i_2，p_d_i_2

第一对物理点是PA和PB

第二对物理点是PC和PD

第二对物理点PC和PD可以与PA和PB相同或不同。

C10

采用申请号为62/557786的美国专利申请的方法部分C4中描述的方法q_frm_4q，从空间方位传感器的三个方位输出获得表示参考坐标系CS-R相对于空间方位传感器坐标系CS-G的方位的方位四元数q_r_g。

q_r_g＝q_frm_4q(q_g_w_2，q_g_w_1，q_g_w_4，q_g_w_3，method_index)

其中：

q_g_w_1表示在第一方位中CS-G相对于CS-W的方位

q_g_w_2表示在第二方位中CS-G相对于CS-W的方位

q_g_w_3与q_g_w_2相同

q_g_w_4表示在第三方位中CS-G相对于CS-W的方位

method_index表示可以在q_frm_4q中使用的许多不同方法中的一种(参见申请号为62/557786的美国专利申请的方法部分的C4部分)。

C11

使用申请号为62/557786的美国专利申请的方法部分C4部分中描述的方法q_frm_4q，从空间方位传感器的四个方位输出获得表示参考坐标系CS-R相对于空间方位传感器坐标系CS-G的方位的方位四元数q_ref_g。

q_ref_g＝q_frm_4q(q_g_w_2，q_g_w_1，q_g_w_4，q_g_w_3，method_index)

其中：

q_g_w_1表示在第一方位中CS-G相对于CS-W的方位

q_g_w_2表示在第二方位中CS-G相对于CS-W的方位

q_g_w_3表示在第三方位中CS-G相对于CS-W的方位

q_g_w_4表示在第四方位中CS-G相对于CS-W的方位

C12

从表示眼睛坐标系CS-E相对于眼睛相机CE坐标系CS-CE的方位的方位四元数q_eye_ce和表示参考坐标系CS-R相对于视场相机CF坐标系CS-CF的方位的方位四元数q_ref_cf，获得CS-CE相对于CS-CF的方位的方位四元数q_ce_cf。

这可以描述为：

q_ce_cf＝q_prd2(q_ref_cf，q_ce_eye)(参见附录部分A2.1.6部分)

其中：

q_ce_eye＝q_cnj(q_eye_ce)(参见附录部分A2.1.3部分).

假设在校准过程中眼睛坐标系CS-E通过如下具体步骤与参考坐标系CS-R对准。该校准过程允许眼睛相机和视场相机测量眼睛和视场相机围绕其旋转的两个共同旋转轴，从而可以确定眼睛相机坐标系中眼睛坐标系的方位和视场相机坐标系中参考坐标系的方位。

C13

从表示眼睛坐标系CS-E相对于眼睛相机CE坐标系CS-CE的方位的方位四元数q_eye_ce和表示参考坐标系CS-R相对于空间方位传感器坐标系CS-G的方位的方位四元数q_ref_g，获得CS-CE相对于CS-G的方位的方位四元数q_ce_g。

这可以描述为：

q_ce_g＝q_prd2(q_ref_g，q_ce_eye)

其中：

q_ce_eye＝q_cnj(q_eye_ce)。

假设在校准过程中眼睛坐标系CS-E通过如下具体步骤与参考坐标系CS-R紧密对准。该校准过程允许眼睛相机和空间方位传感器测量眼睛和空间方位传感器围绕其旋转的两个共同旋转轴，从而可以确定眼睛相机坐标系中眼睛坐标系的方位和空间方位传感器坐标系中参考坐标系的方位。

附录

在方法部分中使用附录中列出的数学工具。

A1.坐标系

A1.1.三维坐标系有X、Y、Z三个轴，如图3所示。右手定则适用于轴的顺序和正旋转方向。

任何两个轴都可以构成一个平面。因此，有被定义为P-XY、P-YX和P-ZX的三个平面。

A1.2.如图1所示，相机图像帧的二维坐标系中有X、Y两个轴。

A1.3.将二维相机图像帧坐标系中的点转换为三维相机坐标系。

三维相机坐标系有指向右边的x轴、指向顶部的v轴和指向镜头的相反方向的z轴。

二维图像平面可以被认为是：

-与CS-C的XY平面平行

-其原点在左上角

-其图像中心位于CS-C的(0，0，-1)处

-其X轴与CS-C的X轴平行，指向同一个方向

-其Y轴与CS-C的Y轴平行，指向相反的方向

-与CS-C的单位不同。具体来说，FOCAL_LEN是相机的焦距，单位是像素数。

A1.4.可以计算从CS-C原点指向相机图像二维平面上的点p的单位向量vu：

vu＝v_frm_p(p，FOCAL_LEN)

其中：

p＝(x，y)

vu＝(vx，vy，vz)

其中

vu＝v_uni(v)

v＝(h，v，-1.0)

其中：

h＝DEFOX(x)＝(x-x_center)/FOCAL_LEN

v＝DEFOY(y)＝(y_center-y)/FOCAL_LEN

其中：

(x_center，y_center)是相机二维图像帧的中心的坐标。

A1.6.三维坐标中的点可以用三维向量v＝(x，y，z)表示。该向量是从坐标系的原点指向该点的位置。

A2.四元数、三维向量、3x3矩阵和二维向量数学

A2.1.1.四元数有4个元素

q＝(w，x，y，z)

A2.1.2.单位四元数：

q＝q_idt(q)＝(1，0，0，0)

A2.1.3.四元数的共轭：

q_cnj(q)＝(w，-x，-y，-z)

A2.1.4.四元数的长度：

q_len(q)＝sqrt(w*w+x*x+y*y+z*z)

sqrt()是浮点数的平方根。

A2.1.5.单位四元数的长度为1

归一化四元数q：

u＝q_uni(q)

其中

q＝(w，x，y，z)

u＝(uw，ux，uy，uz)

uw＝x/len

ux＝x/len

uy＝y/len

uz＝z/len

len＝q_len(q)

A2.1.6.2个四元数p和q的乘积

t＝q_prd2(q，p)＝q*p

其中

q＝(qw，qx，qy，qz)

p＝(pw，px，py，pz)

t＝(tw，tx，ty，tz)

并且

tw＝(qw*pw-qx*px-qy*py-qz*pz)

tx＝(qw*px+qx*pw+qy*pz-qz*py)

ty＝(qw*py-qx*pz+qy*pw+qz*px)

tz＝(qw*pz+qx*py-qy*px+qz*pw)

因为四元数可以用来表示旋转变换，所以如果q2是两个四元数的乘积q2＝q_Prd2(q1，q0)，则应用q2作为方位变换等效于先应用q0，然后应用q1。

A2.1.73个四元数的乘积：

q＝q_prd3(q1，q2，q3)＝q_prd2(q1，q_prd2(q2，q3))

A2.1.84个四元数的乘积：

q＝q_prd4(q1，q2，q3，q4)＝q_prd2(q1，q_prd3(q2，q3，q4))

A2.1.9两个四元数的左差：

q＝q_ldf(q1，q2)＝q_prd2(q_cnj(q1)，q2)

A2.2.1三维向量有3个元素：

v＝(x，y，z)

A2.2.2三维向量的长度：

v_len(v)＝sqrt(x*x+y*y+z*z)

A2.2.3单位三维向量的长度为1

归一化三维向量v：

u＝v_uni(v)

其中

v＝(x，y，z)

u＝(ux，uy，uz)

ux＝x/len

uy＝y/len

uz＝z/len

len＝v_len(v)

A2.2.4单位四元数可以解释为旋转向量和围绕该向量旋转的角度的组合：

q＝(w，x，y，z)

v＝(vx，vy，vz)是旋转向量

theta是旋转角度

其中

w＝cos(theta/2)

x＝vx*sin(theta/2)

y＝vy*sin(theta/2)

z＝vz*sin(theta/2)

A2.2.5两个三维向量va、vb的点积：

d＝v_dot(va，vb)＝va.vb＝ax*bx+ay*by+az*bz

其中

va＝(ax，ay，az)

vb＝(bx，by，bz)

假设theta是va和vb之间的角度：

则cos(theta)＝v_dot(va，vb)

A2.2.6两个三维向量va、vb的叉积：

vc＝v_crs(va，vb)＝va x vb

其中

va＝(ax，ay，az)

vb＝(bx，by，bz)

vc＝(cx，cy，cz)

cx＝ay*bz-az*by

cy＝az*bx-ax*bz

cz＝ax*by-ay*bx

A2.2.7由单位四元数q获得的旋转向量v

v＝v_frm_q(q)＝(x，y，z)

其中

q＝(qw，qx，qy，qz)

len＝v_len(qx，qy，qz)

x＝qx/len

y＝qy/len

z＝qz/len.

A2.2.8.两个三维向量va、vb的叉积的归一化向量

v＝v_cru(q)＝v_uni(v_crs(va，vb))·

A2.2.9.单位四元数q的旋转角度

deg＝deg_frm_q(q)

其中

q＝(qw，qx，qy，qz)

deg＝2*acos(qw)

acos()是反余弦，输出的单位为度。

A2.2.10.两个三维向量va、vb相加

v＝v_add(va，vb)＝(x，y，z)

va＝(ax，ay，az)

vb＝(bx，by，bz)

x＝ax+bx

y＝ay+by

z＝az+bz.

A2.2.11.三维向量va的反向量

v＝v_neg(va)＝(x，y，z)

va＝(ax，ay，az)

x＝-ax

y＝-ay

z＝-az.

A2.3.1.3×3矩阵

A2.3.2.单位3×3矩阵

A2.3.3.矩阵减法

A2.3.4.矩阵向量乘法

vd＝mv_prd(m，v)＝m*vs

vs＝(x，y，z)

vd＝(dx，dy，dz)

其中：

dx＝Xx*x+Yx*y+Zx*z

dy＝Xy*x+Yy*y+Zy*z

dz＝Xz*x+Yz*y+Zz*z

A2.3.5.四元数的矩阵

m＝m_frm_q(q)

q＝(qw，qx，qy，qz)

其中m是3×3矩阵

并且

Xx＝1.0f-2.0f*qy*qy-2.0f*qz*qz

Xy＝2.0f*qx*qy+2.0f*qw*qz

Xz＝2.0f*qx*qz-2.0f*qw*qy

Yx＝2.0f*qx*qy-2.0f*qw*qz

Yy＝1.0f-2.0f*qx*qx-2.0f*qz*qz

Yz＝2.0f*qy*qz+2.0f*qw*qx

Zx＝2.0f*qx*qz+2.0f*qw*qy

Zy＝2.0f*qy*qz-2.0f*qw*qx

Zz＝1.0f-2.0f*qx*qx-2.0f*qy*qy

A2.3.6.用四元数q变换三维向量v

vd＝qvq_trans(q，vs)＝mv_prd(m，vs)

其中

q是四元数

vs是源三维向量

vd是结果三维向量

m是3×3矩阵

m＝m_frm_q(q)

A2.3.7.旋转x轴的矩阵

m＝m_frm_x_axis_sc(s，c)

其中

s＝sin(theta)

c＝cos(theta)

并且

Xx＝1.0

Yx＝0.0

Zx＝0.0

Xy＝0.0

Yy＝c

Zy＝-s

Xz＝0.0

Yz＝s

Zz＝c

A2.3.8.旋转y轴的矩阵

m＝m_frm_y_axis_sc(s，c)

其中

s＝sin(theta)

c＝cos(theta)

并且

Xx＝c

Yx＝0.0

Zx＝s

Xy＝0.0

Yy＝1.0

Zy＝0.0

Xz＝-s

Yz＝0.0

Zz＝c

A2.3.9.矩阵的四元数

q＝q_frm_m(m)

其中

q＝(w，x，y，z)

并且：

/>

A2.3.10.向量的矩阵

m＝m_frm_v(vx，vy，vz)

其中

vx＝(Xx，Xy，Xz)

vy＝(Yx，Yy，Yz)

vz＝(Zx，Zy，Zz)

A2.4.1.二维空间的点也是二维向量，它有两个元素：

p＝(x，y)

A2.4.2.二维空间点pa、pb之间的距离是：

d＝p_dist(pa，pb)

＝sqrt((xa-xb)*(xa-xb)+(ya-yb)*(ya-yb))

其中

pa＝(xa，ya)

pb＝(xb，yb)

A2.4.3.二维向量的长度：

p_len(p)＝sqrt(x*x+y*y)

A2.4.4.单位二维向量的长度为1

归一化二维向量p：

u＝p_uni(p)

其中

p＝(x，y)

u＝(ux，uy)

ux＝x/len

uy＝y/len

len＝p_len(v)

A2.4.5.二维向量pa、pb的点积：

d＝p_dot(pa，pb)＝xa*xb+ya*yb

其中

pa＝(xa，ya)

pb＝(xb，yb)

向量点积具有重要的性质，

假设theta为pa和pb之间的角度：

则：cos(theta)＝p_dot(pa，pb)

A2.4.6.从三维向量到二维点：

p＝p_frm_v(v_in，p_cent，foc_len)

其中p＝(xp，yp)是二维点

v＝(xv，yv，zv)是相机坐标系CS-C中的三维向量

p_cent＝(xc，yc)是图像平面的中心点

foc_len是以像素为单位的相机的焦距

并且

xp＝xv*scale+xc；

yp＝-yv*scale+yc；

其中：scale＝foc_len/zv。

A2.5.1三维空间中的一条直线：

可以用其方向的三维向量vd和其通过的点的三维向量vp的组合表示三维空间中的直线1。

因此：

l＝(vd，vp)

其中：

vd＝(xd，yd，zd)

vp＝(xp，yp，zp)

A2.5.2三维空间中的直线上的一点：

v＝v_on_l(l，k)

其中：

l＝(vd，vp)

k是浮点数

v＝v_add(vp，v_scale(vd，k)

A2.5.3三维空间中的直线1上的点v的距离d：

d＝vl_dist(v，l)

其中：

len＝v_dist(v，vl)

vl＝v_on_l(l，k)

k是产生len的最小值的值。

A2.5.4三维空间中两条直线的相交

在三维空间中，两条直线la和lb并不总是相交。交点可以定义为与两条直线的距离之和最小的点。

vi＝l2_intersect(l0，l1)

其中

l0＝(vd0，vp0)

l1＝(vd1，vp1)

并且

d0＝vl_dist(vi，l0)

d1＝vl_dist(vi，l1)

dsum＝d0+d01

vi是三维空间中使dsum取得最小值的点。

A2.5.3三维空间中多条直线的相交

在三维空间中的多条直线l0，l0…ln，并不总是相交。交点的一种定义是，可以定义为使得与所有直线的距离的平方和最小的点。

vi＝ln_intersect(l0，l1，...，ln)

其中

l0＝(vd0，vp0)

l1＝(vd1，vp1)

…

ln＝(vdn，vpn)

并且

d0＝vl_dist(vi，l0)

d1＝vl_dist(vi，l1)

…

dn＝vl_dist(vi，ln)

dsum＝(d0*d0)+(d1*d1)+…+(dn*dn)

vi是三维空间中使dsum取得最小值的点。

虽然本文公开了各种方面和实施例，但其它方面和实施例对本领域技术人员来说是显而易见的。本文中所公开的各种方面和实施例仅供说明之用，并不意图进行限制，其真正的范围和精神由所附权利要求指示。

Claims

1.一种方法，包括：

基于正在注视三维空间中一点的人的眼睛相对于第二成像传感器的第二相对方位和第一成像传感器相对于所述第二成像传感器的相对方位，获得所述眼睛相对于所述第一成像传感器的第一相对方位；

基于所述眼睛相对于第一成像传感器的所述第一相对方位和所述眼睛的瞳孔或边缘相对于所述第一成像传感器的第一相对位置，获得通过所述眼睛的中心的第一三维(3D)线；

获得通过所述眼睛的中心的第二3D线；以及

基于所述第一3D线和所述第二3D线，确定所述眼睛的中心相对于所述第一成像传感器的相对位置。

2.根据权利要求1的方法，还包括基于通过所述第一成像传感器所获得的瞳孔或边缘的图像，获得所述瞳孔或边缘相对于所述第一成像传感器的第一相对位置。

3.根据权利要求1的方法，还包括基于通过所述第二成像传感器所获得的所述点的图像，获得所述眼睛相对于所述第二成像传感器的所述第二相对方位。

4.一种计算机程序产品，包括非暂时性计算机可读介质，所述介质上记录有指令，当被计算机执行时，所述指令实现根据权利要求1-3中任何一项所述的方法。