CN111148970A

CN111148970A - 用于校准成像和空间方位传感器的***和方法

Info

Publication number: CN111148970A
Application number: CN201880059859.6A
Authority: CN
Inventors: 聂小春
Original assignee: Individual
Current assignee: Individual
Priority date: 2017-09-13
Filing date: 2018-09-05
Publication date: 2020-05-12
Also published as: EP3682196A1; US11941851B2; US20220005225A1; WO2019055260A1; US11170531B2; EP3682196A4; US20200211225A1

Abstract

本发明公开了校准空间方位传感器之间的相对方位、成像传感器与空间方位传感器之间的相对方位以及成像传感器之间的相对方位的方法。空间方位传感器、成像传感器的相对方位是相对于参考坐标系计算的。

Description

用于校准成像和空间方位传感器的***和方法

相关申请交叉引用

通过引用，将美国临时申请No.62/557,786的公开内容全部合并于此。

技术领域

本公开涉及空间方位传感器之间的相对方位校准、成像传感器与空间方位传感器之间的相对方位校准、以及成像传感器与成像传感器之间的相对方位校准。该***可以在校准模式或跟踪模式下工作。

背景技术

人与计算机交互(HCI)，或者一般地，人机交互，专注于计算机技术以及用户和计算机之间的接口的设计和使用。HCI依赖于对人输入动作的灵敏、直观和准确的测量。鼠标、键盘和触摸屏是传统的输入设备，需要用户手动控制。有些输入设备，如Microsoft

能够在没有任何物理接触的情况下跟踪用户的身体或手的姿势。在本公开中，“用户”一词和“人”一词可以互换使用。

虚拟现实(VR)技术的最新进展将VR护目镜带入了消费市场。VR护目镜可以为用户创造身临其境的三维(3D)体验。用户可以通过旋转头部在虚拟世界环顾四周，就像在现实世界中环顾四周一样。

增强现实(AR)是另一个发展迅速的领域。AR和VR之间的一个主要区别是AR在真实世界场景中实时操作，与此相对，VR中仅仅在由计算机创建或记录的场景中操作。在VR和AR中，了解用户在看什么位置，以及用户想对期望目标采取什么行动都是非常有用的。有效、可靠的眼睛跟踪将在这种情况下实现广泛的应用。

如今，自动驾驶车辆也处于前沿阶段。存在这种情形，由于道路或交通状况的更新或者驾驶模式的改变，处于自动驾驶模式的汽车可能需要驾驶员的注意。因此，持续地监视驾驶员正在看哪里是很有用的。

机器学习和人工智能(AI)可以以学习、建模和预测的循环工作。在此循环中，快速、直观地跟踪用户的关注点以进行数据采集和确认可以发挥重要的作用。

发明内容

本文公开了一种方法，包括：获取第一空间方位传感器的第一方位和第二空间方位传感器的第一方位；获取第一空间方位传感器的第二方位和第二空间方位传感器的第二方位；获取第一空间方位传感器的第三方位和第二空间方位传感器的第三方位；获取第一空间方位传感器的第四方位和第二空间方位传感器的第四方位；基于第一空间方位传感器的第一方位、第一空间方位传感器的第二方位、第一空间方位传感器的第三方位、第一空间方位传感器的第四方位、第二空间方位传感器的第一方位、第二空间方位传感器的第二方位、第二空间方位传感器的第三方位和第二空间方位传感器的第四方位，确定第一空间方位传感器相对于第二空间方位传感器的相对方位；其中，第一空间方位传感器相对于第二空间方位传感器的相对方位是固定的。

根据实施例，第一空间方位传感器的第一方位、第一空间方位传感器的第二方位、第一空间方位传感器的第三方位、第一空间方位传感器的第四方位中至少有三个彼此互不相同；其中，第一空间方位传感器的第一方位与第一空间方位传感器的第二方位不同；其中，第一空间方位传感器的第三方位与第一空间方位传感器的第四方位不同。

根据实施例，第二空间方位传感器的第一方位、第二空间方位传感器的第二方位、第二空间方位传感器的第三方位、第二空间方位传感器的第四方位中至少有三个彼此互不相同；其中，第二空间方位传感器的第一方位与第二空间方位传感器的第二方位不同；其中，第二空间方位传感器的第三方位与第二空间方位传感器的第四方位不同。

根据实施例，确定第一空间方位传感器相对于第二空间方位传感器的相对方位包括：确定第一空间方位传感器相对于参考系的相对方位；确定第二空间方位传感器相对于参考系的相对方位；基于第一空间方位传感器相对于参考系的相对方位、第二空间方位传感器相对于参考系的相对方位，来确定第一空间方位传感器相对于第二空间方位传感器的相对方位。

根据实施例，基于第一空间方位传感器的第一方位、第一空间方位传感器的第二方位、第一空间方位传感器的第三方位以及第一空间方位传感器的第四方位，来确定第一空间方位传感器相对于参考系的相对方位。

根据实施例，基于第二空间方位传感器的第一方位、第二空间方位传感器的第二方位、第二空间方位传感器的第三方位以及第二空间方位传感器的第四方位，来确定第二空间方位传感器相对于参考系的相对方位。

本文公开了一种方法，包括：使用成像传感器获取三维空间中第一点的图像和三维空间中第二点的图像；基于第一点的图像和第二点的图像，确定成像传感器相对于参考系的相对方位；其中，第一点和第二点在三维空间中是固定的。

根据实施例，确定成像传感器相对于参考系的相对方位的步骤还包括：确定与成像传感器相对固定的参考点与第一点的图像之间的向量，并确定参考点与第二点的图像之间的向量；基于向量和向量确定相对方位。

根据实施例，参考点与第一点的图像之间的向量为单位向量；其中，参考点与第二点的图像之间的向量为单位向量。

本文公开了一种方法，包括：使用成像传感器在其第一方位获取三维空间中第一点的第一图像和三维空间中第二点的第二图像；使用成像传感器在其第二方位获取第一点的第三图像和第二点的第四图像；基于第一图像、第二图像、第三图像和第四图像，确定成像传感器在第一方位和第二方位之间的相对旋转；其中，第一点和第二点在三维空间中是固定的。

根据实施例，确定相对旋转的步骤还包括：基于第一图像和第二图像，确定成像传感器处于第一方位时相对于参考系的相对方位；基于第三图像和第四图像，确定成像传感器处于第二方位时相对于参考系的相对方位；基于成像传感器处于第一方位时相对于参考系的相对方位和成像传感器处于第二方位时相对于参考系的相对方位确定成像传感器在第一方位和第二方位之间的相对旋转。

根据实施例，确定成像传感器处于第一方位时相对于参考系的相对方位包括：确定与成像传感器相对固定的参考点与第一点的图像之间的向量；以及确定参考点与第二点的图像之间的向量。

本文公开了一种方法，包括：确定成像传感器在成像传感器的第一方位和成像传感器的第二方位之间的第一相对旋转；确定成像传感器在成像传感器的第三方位和成像传感器的第四方位之间的第二相对旋转；基于第一相对旋转和第二相对旋转，确定成像传感器相对于参考系的相对方位。

根据实施例，确定第一相对旋转的方法包括：使用成像传感器在其第一方位获取三维空间中第一点的第一图像和三维空间中第二点的第二图像；使用成像传感器在其第二方位获取第一点的第三图像和第二点的第四图像；基于第一图像、第二图像、第三图像和第四图像确定第一相对旋转。

根据实施例，其中，第一方位、第二方位、第三方位、和第四方位中至少有三个彼此互不相同；其中，第一方位与第二方位不同，第三方位与第四方位不同。

本文公开了一种方法，包括：基于成像传感器在成像传感器的第一方位和成像传感器的第二方位之间的第一相对旋转和成像传感器在成像传感器的第三方位和成像传感器的第四方位之间的第二相对旋转确定成像传感器相对于参考系的相对方位；确定在成像传感器分别处于第一方位、第二方位、第三方位和第四方位时，空间方位传感器对应的第一输出、第二输出、第三输出和第四输出；基于第一输出、第二输出、第三输出和第四输出，确定空间方位传感器相对于参考系的相对方位；基于空间方位传感器相对于参考系的相对方位和成像传感器相对于参考系的相对方位，确定空间方位传感器相对于成像传感器的相对方位。

根据实施例，空间方位传感器相对于成像传感器的相对方位是固定的。

根据实施例，该方法还包括：确定第一相对旋转：使用成像传感器在其第一方位获取三维空间中第一点的第一图像和三维空间中第二点的第二图像；使用成像传感器在其第二方位获取第一点的第三图像和第二点的第四图像；基于第一图像、第二图像、第三图像和第四图像，确定第一相对旋转。

根据实施例，第一方位、第二方位、第三方位和第四方位中至少有三个彼此互不相同；其中，第一方位与第二方位不同，第三方位与第四方位不同。

本文公开了一种方法，包括：基于第一空间方位传感器相对于第一参考系的相对方位和第一成像传感器相对于第一参考系的相对方位，确定第一空间方位传感器相对于第一成像传感器的第一相对方位；基于第二空间方位传感器相对于第二参考系的相对方位和第二成像传感器相对于第二参考系的相对方位，确定第二空间方位传感器相对于第二成像传感器的第二相对方位；确定第一空间方位传感器相对于第二空间方位传感器的第三相对方位；基于第一相对方位、第二相对方位和第三相对方位，确定第一成像传感器相对于第二成像传感器的第四相对方位。

根据实施例，第一空间方位传感器、第二空间方位传感器、第一成像传感器以及第二成像传感器具有彼此相对固定的相对方位。

本文公开了一种方法，包括：使用成像传感器在其第一方位获取三维空间中第一点的第一图像和三维空间中第二点的第二图像；使用成像传感器在其第二方位获取第一点的第三图像和第二点的第四图像；获取成像传感器分别处于第一方位、第二方位时，空间方位传感器对应的第一输出和第二输出；基于第一图像、第二图像、第三图像、第四图像、第一输出和第二输出，确定成像传感器的焦距。

根据实施例，确定焦距的方法包括：基于第一图像、第二图像、第三图像和第四图像，确定成像传感器在第一方位和第二方位之间的相对旋转。

根据实施例，成像传感器和空间方位传感器具有彼此相对固定的相对方位。

本文公开了一种方法，包括：获取当空间方位传感器分别处于第一方位、第二方位、第三方位和第四方位时，空间方位传感器对应的第一输出、第二输出、第三输出和第四输出；基于第一输出、第二输出、第三输出和第四输出，确定空间方位传感器相对于参考系的相对方位。

根据实施例，第一方位、第二方位、第三方位和第四方位中至少有三个彼此互不相同；其中，第一方位与第二方位不同；第三方位与第四方位不同。

本文公开了一种方法，包括：基于使用第一成像传感器获取的图像，获取人的眼睛相对于第一成像传感器的第一相对方位；获取第二成像传感器相对于第一成像传感器的第二相对方位；基于第一相对方位和第二相对方位，确定眼睛相对于第二成像传感器的第三相对方位。

本文公开了一种非暂时性机器可读介质，其上记录有指令，当被计算机执行时，指令实现根据上述任何一种方法。

本文公开了一种装置，包括：第一成像传感器；第二成像传感器；第一空间方位传感器；第二空间方位传感器；其中，第一空间方位传感器、第二空间方位传感器、第一成像传感器和第二成像传感器具有彼此相对固定的相对方位；以及一种计算设备，包括处理器和上述的非暂时性机器可读介质。

附图说明

图1示出了二维(2D)坐标系。

图2示出了世界坐标系CS-W中位置固定的一对点p_a_i和p_b_i的图像。

图3示出了三维坐标系。

图4示出了这里提到的几种三维坐标***。

图5示出了可在相机上附接空间方位传感器。

图6示出了眼睛相机和视场相机被附接到用户佩戴的固定用框架(harnessframe)上。

图7A示意性地示出了根据一实施例的方法的流程图。

图7B示出了图7A流程图中步骤的流程图。

图8A示意性地示出了根据一实施例的方法的流程图。

图8B示出了图8A流程图中步骤的流程图。

图9A示意性地示出了根据一实施例的方法的流程图。

图9B示出了图9A流程图中步骤的流程图。

图10A示意性地示出了根据一实施例的方法的流程图。

图10B示出了图10A流程图中步骤的流程图。

图11A示意性地示出了根据一实施例的方法的流程图。

图11B示出了图11A流程图中步骤的流程图。

图12示意性地示出了根据一实施例的方法的流程图。

图13示意性地示出了根据一实施例的方法的流程图。

图14示意性地示出了根据一实施例的方法的流程图。

图15示意性地示出了根据一实施例的方法的流程图。

具体实施方式

在以下的详细描述中，为了提供对相关教学的透彻理解，列举了大量细节的示例。然而，对于本领域技术人员来说，显而易见地，可以在没有这些细节的情况下实践本教导。在其它情况下，已经相对高水平地描述了公知的方法、步骤和组成部分，而没有详细描述，以避免不必要地模糊本教导的各方面。

附录章节A1.1部分定义了使用右手定则的三维坐标系。附录章节A1.2中定义了相机图像帧中的二维坐标系。

本公开中使用的数学效用函数列于附录章节的A2部分。这里讨论了四元数、向量和矩阵数学。四元数在本公开中被广泛使用。使用四元数的函数也可以使用矩阵、欧拉角或其它合适的数学表达来表示。

本公开中使用的“ABC”形式的缩写：A表示类型(type)；B表示特指(specific)；C表示情境(context)。例如，缩写“qch”是指：表示相机“c”在头部坐标系“h”中的方位的四元数“q”。见附录的A2部分。

空间方位传感器可以在三维空间中测量其自身的方位。在一个实施例中，将两个空间方位传感器GE和GF安装在框架上，使它们的相对方位不变。在校准过程中，使用本公开中描述的方法(例如，参阅方法章节的C5部分)，可以获得空间方位GE相对于空间方位GF的方位。由于可以在其它对象上附接空间方位传感器以测量其在三维空间中的方位，因此可以通过在两个对象上分别附接两个空间方位传感器来测量这两个对象之间的相对方位。

相机可以用作成像传感器。在本发明中，“成像传感器”一词和“相机”一词可以互换使用。在一个实施例中，相机上附接有空间方位传感器。相机和空间方位传感器可以安装在刚性框架上，如图5所示，这样它们的相对方位就不会改变。相机与空间方位传感器的相对方位可以使用方法章节C9中描述的***和方法来获得。

在一个实施例中，可以有两个相机CE和CF，每个相机都附接一个空间方位传感器。附接在相机CE上的空间方位传感器称为GE。附接在CF相机上的空间方位传感器称为GF。两个相机CE和CF的相对方位不变。因此，例如，可以使用方法章节C10部分描述的***和方法，基于相机的方位CE相对于空间方位传感器GE的方位、相机CF相对于空间方位传感器GF的方位、空间方位传感器GE相对于空间方位传感器GF的方位，可以得到相机CE相对于相机CF的方位。该***和方法可用于具有多个成像传感器、多个空间方位传感器、计算设备和存储设备的可穿戴式眼睛跟踪***，以检测和记录用户正在看的地方。在实施例中，相机CE设置为面对用户的眼睛，称为“眼睛相机”；相机CF背对眼睛设置，称为“视场相机”。如图6所示，眼睛相机CE对眼睛进行拍照，视场相机CF对用户面前的场景进行拍照。

注视向量是从眼睛中心指向注视点的单位向量，注视点是用户正在看的那个点。注视向量表示眼睛的方位。

假设眼睛相机CE坐标系中的注视向量已知，则可以使用方法章节中C12部分的方法，将注视向量转换到视场相机CF坐标系中。可以使用方法章节C13的方法，将视场相机CF坐标系中转换好的注视向量进一步转换为视场相机CF的二维图像平面上的点，使得能够标记用户正在看的方位。

本公开所描述的***和方法也可用于其它使用多个相机和多个空间方位传感器的***，如一次从多个相机获取图像并将其拼接成单一图像的全景相机***。在一个实施例中，相机CE和相机CF面向不同的方位设置，它们的视野中有一定程度的重叠。这两个相机拍摄的图像可以基于两个相机的相对方位拼接。在一个实施例中，基于两个相机之间的相对方位，可以基于三维空间中的点在相机CF的图像平面中的图像来确定该点在相机CE的像平面中的图像，反之亦然。例如，当用户指定一个相机拍摄的图像中的点时，就可以得到另一个相机拍摄的图像中的对应点。使用本公开中描述的***和方法，可以校准两个或更多个相机和两个或更多个空间方位传感器。

在校准过程中，使用本公开中描述的***和方法(例如，参见方法章节的C11部分)，可以得到相机焦距。

每个相机和每个空间方位传感器都有各自的坐标系，如图4所示。它们是：

相机CE坐标系Xce-Yce-Zce-Oce，简称CS-CE；

相机CF坐标系Xcf-Ycf-Zcf-Ocf，简称CS-CF；

空间方位传感器GE坐标系Xge-Yge-Zge-Oge，简称CS-GE；

空间方位传感器GF坐标系Xgf-Ygf-Zgf-Ogf，简称CS-GF；

关于GE的世界坐标系Xwe-Ywe-Zwe-Owe，简称CS-WE；

关于GF的世界坐标系Xwf-Ywf-Zwf-Owf，简称CS-WF。

通用的世界坐标系Xw-Yw-Zw-Ow，简称CS-W。通用的相机坐标系Xc-Yc-Zc-Oc，简称CS-C。通用的空间方位传感器坐标***Xg-Yg-Zg-Og，简称CS-G。

各种硬件组件可用于实现本公开中的功能和过程。一个硬件组件是相机。相机可以测量光的亮度，或者亮度和颜色。在本公开中，术语“相机坐标系”或“CS-C”与术语“成像传感器坐标系”或“CS-I”可互换使用。相机可以捕捉彩色图像或灰度图像，还可以捕获红外图像或非红外(如可见光)图像。相机的参数包括它的物理尺寸、分辨率和镜头的焦距。附录章节A1.2中定义了二维相机图像帧坐标系。

一个硬件组件还可以是头部装置，它可以将相机固定在用户的头上。该头部装置可以是眼镜框架，头带或头盔，这取决于应用。其它形式的头部装置也是可以的。

一个硬件组件可以是计算机，如嵌入式***或桌面***。

在图6所示可作为眼睛跟踪和注视点记录***的实施例中，用户佩戴的固定用框架上附接有眼睛相机和视场相机。两个相机之间的相对方位不变。两个相机相对于用户头部的方位也不改变。如图5所示，每个相机都附接有空间方位传感器。相机相对于空间方位传感器的方位不变。

下面描述根据两个旋转向量获取参考坐标系相对于空间方位传感器的相对方位。

空间方位传感器可以附接到物理对象上，以测量其相对于空间方位传感器的方位。参考坐标系CS-R在空间方位传感器坐标系CS-G中的方位可以用四元数来描述。基于此四元数，可以唯一地确定坐标系CS-R。例如，如方法章节中C1部分或C3部分所述，这个四元数可以由空间方位传感器坐标系中的两个向量确定。例如，如方法章节中C2部分或C4部分所述，这两个向量可以由空间方位传感器的两个方位输出获得。

下面描述获取两个空间方位传感器的相对方位。

当两个空间方位传感器被安装在一个框架上，且它们的相对方位不变时，例如使用方法章节中C5部分描述的方法，可以获得这两个空间方位传感器的相对方位。这可以通过求出公共参考坐标系相对于上述空间方位传感器的相对方位，并基于该相对方位获得这两个空间方位传感器的相对方位来实现。

下面描述根据三维空间中一对定点在相机视场中的图像获取参考坐标系相对于相机的相对方位。

参考坐标系CS-AB在相机坐标系CS-C中的方位可以用四元数来描述。基于此四元数，可以唯一地确定坐标系CS-AB。例如，如方法章节中C1部分所描述，这个四元数可以由相机坐标系中的两个向量确定。如方法章节中C6部分所述，使用三维空间中一对定点在相机视场中的图像，可以得到这两个向量。

下面描述根据相机坐标系中参考坐标系的方位变化获取旋转向量。

如前所述，可以通过三维空间中的一对定点在相机视场中的图像，来获得参考坐标系相对于相机的相对方位。通过在两个不同的相机方位重复这个过程，可以得到参考坐标系相对于相机坐标系的两个方位。如方法章节的C7部分或C2部分所述，基于这两个方位，可以确定相机坐标系中的旋转向量。

下面描述根据两个旋转向量获得另一个参考坐标系相对于相机的相对方位。

如前所述，可以通过在两个不同的相机方位下在相机视场中使用三维空间中的一对定点，来确定相机坐标系中的旋转向量。例如，如方法章节的C8部分所述，通过在相机视场中使用三维空间中的不同的两对定点，可以得到两个旋转向量。基于这两个旋转向量，例如使用方法章节中C1部分描述的方法，可以得到另一个参考坐标系相对于相机坐标系的方位。

下面描述获取相机相对于空间方位传感器的方位。

例如，当相机和空间方位传感器安装于刚性框架时，假设相机相对于空间方位传感器的方位不变，根据两个旋转向量可以确定参考坐标系相对于空间方位传感器的方位，并且如前所述，根据两个旋转向量可以确定另一个参考坐标系相对于相机的方位。因为相机相对于空间方位传感器的方位不变，如果这些参考系是同时根据相同的方位变化得到的，那么这些参考系是相同的，并且可以使用方法章节中C9部分描述的方法获得相机相对于空间方位传感器的方位。

下面描述获取两个相机的相对方位。

如果两个相机的相对方位不变(例如，当它们安装在刚体框架上时)，且假设每个相机都刚性地附接到空间方位传感器，则两个空间方位传感器的相对方位也不变。如上所述，可以确定每个相机相对于其所附接的空间方位传感器的方位，并可以确定两个空间方位传感器的相对方位。使用方法章节中C9部分描述的方法，可以获得两个相机之间的相对方位。

下面描述获取相机的焦距。

相机的焦距可用于计算参考坐标系和旋转向量，参见方法章节的C6部分或C7部分。焦距可以使用方法章节中C11部分描述的方法得到。

给定焦距值后，可以使用方法章节C7中描述的方法，在两个相机方位获得旋转向量和旋转量。在此过程中，还可以获取来自刚性附接到相机的空间方位传感器的两个方位输出。使用方法章节中C2部分或C4部分中描述的方法，可以基于两个方位输出获得旋转向量和旋转量。该旋转向量和旋转量可以与使用一组已知焦距进行的相同过程中获得的旋转向量和旋转量进行比较，它们之间的差异可以用来估计相机的焦距。

下面描述将向量从一个相机的坐标系转换到另一个相机的坐标系。

如果已知一个相机相对于另一个相机的相对方位，则可以例如如方法章节的C12部分或C13部分所述，将一个相机的坐标系中的向量转换为另一个相机的坐标系中的向量。

下面描述注视向量在眼睛相机和视场相机之间的转换。

如前文所述，在眼睛相机CE面对用户的眼睛、视场相机CF面对外部世界的***中，注视向量可以从眼睛相机CE的坐标系转换到视场相机CF的坐标系，反之亦然。视场相机CF的坐标系中的注视向量可以映射到视场相机CF的图像平面上的点。

下面描述将点从一个相机的图像平面转换到另一个相机的图像平面。

相机坐标系中的向量可以映射到相机的图像平面上的点。参见附录章节A1.3部分。相机的图像平面上的点可以映射到它的坐标系中。参见附录章节A1.4部分。已知相机之间的相对方位，一个相机的图像平面上的点可以映射到另一个相机的图像平面上。这可以用来拼接多个相机获取的图像。

图7A示出了根据另一个实施例的方法的流程图。在步骤710，获取了第一空间方位传感器的第一方位711、第二方位712、第三方位713和第四方位714，以及第二空间方位传感器的第一方位715、第二方位716、第三方位717和第四方位718。在步骤720，基于第一空间方位传感器的第一方位711、第二方位712、第三方位713和第四方位714，以及第二空间方位传感器的第一方位715、第二方位716、第三方位717和第四方位718，确定第一空间方位传感器相对于第二空间方位传感器相对方位721。第一空间方位传感器相对于第二空间方位传感器的相对方位721是固定的。

图7B示意性地示出了步骤720细节的示例。在步骤7210，确定第一空间方位传感器相对于参考系的相对方位7211。在步骤7220，确定第二空间方位传感器相对于参考系的相对方位7221。在一个实施例中，基于第一方位711、第二方位712、第三方位713和第四方位714，确定第一空间方位传感器相对于步骤7210中的参考系的相对方位7211。在实施例中，基于第一方位715、第二方位716、第三方位717和第四方位718，确定第二空间方位传感器相对于步骤7220中的参考系的相对方位7221。在步骤7230，基于第一空间方位传感器相对于参考系的相对方位7211和第二空间方位传感器相对于参考系的相对方位7221，来确定相对方位721。

图8A示意性地示出了根据另一个实施例的方法的流程图。在步骤810，使用成像传感器获取三维空间中第一点的图像811和三维空间中第二点的图像812。在步骤820，基于图像811和图像812，确定成像传感器相对于参考系的相对方位821。第一点和第二点在三维空间中是固定的。

图8B示意性地示出了步骤820细节的示例。在步骤8210，确定与成像传感器相对固定的参考点和第一点的图像811之间的向量8211。在步骤8220中，确定参考点和第二点的图像822之间的向量8221。在步骤8230，基于向量8211和向量8221确定相对方位821。

图9A示意性地示出了根据另一个实施例的方法的流程图。在步骤910，使用成像传感器在其第一方位获取三维空间中第一点的第一图像991和三维空间中第二点的第二图像992。在步骤920，使用成像传感器在其第二方位获取第一点的第三图像993和第二点的第四图像994。在步骤930，基于第一图像991、第二幅图992、第三图像993和第四图像994，得到成像传感器在第一方位和第二方位之间的相对旋转931。第一点和第二点在三维空间中是固定的。

图9B示意性地示出了步骤930细节的示例。在步骤9310，基于第一图像991和第二图像992，确定处于第一方位的成像传感器相对于参考系的相对方位9311。在步骤9320，基于第三图像993和第四幅图像994，确定处于第二方位的成像传感器相对于参考系的相对方位9321。在步骤9330，基于相对方位9311和相对方位9321，确定相对旋转931。

图10A示意性地示出了根据另一个实施例的方法的流程图。在步骤1010，确定成像传感器在成像传感器的第一方位和成像传感器的第二方位之间的第一相对旋转1011。在步骤1020，确定成像传感器在成像传感器的第三方位和成像传感器的第四方位之间的第二相对旋转1021。在步骤1030，基于第一相对旋转1011和第二相对旋转1021，确定成像传感器相对于参考系的相对方位1031。

图10B示意性地示出了步骤1010中细节的示例。在步骤10110，使用处于第一方位的成像传感器获取三维空间中第一点的第一图像10111和三维空间中第二点的第二图像10112。在步骤10120，使用处于第二方位的成像传感器获取第一点的第三图像10121和第二点的第四图像10122。在步骤10130，基于第一图像10111、第二图像10112、第三图像10121和第四图像10122，确定第一相对旋转1011。

图11A示意性地示出了根据另一个实施例的方法的流程图。在可选步骤1100中，确定成像传感器在成像传感器的第一方位和成像传感器的第二方位之间的第一相对旋转1101，以及成像传感器在成像传感器的第三方位和成像传感器的第四方位之间的第二相对旋转1102。在步骤1110，基于第一相对旋转1101和第二相对旋转1102，确定成像传感器相对于参考系的相对方位1111。在步骤1120，确定在成像传感器分别处于第一方位、第二方位、第三方位和第四方位时，空间方位传感器对应的第一输出1121、第二输出1122、第三输出1123和第四输出1124。在步骤1130，基于第一输出1121、第二输出1122、第三输出1123和第四输出1124，确定空间方位传感器相对于参考系的相对方位1131。在步骤1140，基于空间方位传感器相对于参考系的相对方位1131以及成像传感器相对于参考系的相对方位1111，确定空间方位传感器相对于成像传感器的相对方位1141。

图11B示意性地示出了可选步骤1100中细节的示例。在步骤11110，使用处于第一方位的成像传感器获取三维空间中第一点的第一图像11111和三维空间中第二点的第二图像11112。在步骤11120，使用处于第二方位的成像传感器获取第一点的第三图像11121和第二点的第四图像11122。在步骤11130，基于第一图像11111、第二图像11112、第三图像11121和第四像11122，确定第一相对旋转1101。

图12示意性地示出了根据另一个实施例的方法的流程图。在步骤1210，基于第一空间方位传感器相对于第一参考系的相对方位1201，以及第一成像传感器相对于第一参考系的相对方位1291，确定第一空间方位传感器相对于第一成像传感器的第一相对方位1211。在步骤1220，基于第二空间方位传感器相对于第二参考系的相对方位1202，以及第二成像传感器相对于第二参考系的相对方位1292，确定第二空间方位传感器相对于第二成像传感器的第二相对方位1221。在步骤1230，确定第一空间方位传感器相对于第二空间方位传感器的第三相对方位1231。在步骤1240，基于第一相对方位1211、第二相对方位1221和第三相对方位1231，确定第一成像传感器相对于第二成像传感器的第四相对方位1241。

图13示意性地示出了根据另一个实施例的方法的流程图。在步骤1310，使用成像传感器在其第一方位获取三维空间中第一点的第一图像1311和三维空间中第二点的第二图像1312。在步骤1320，使用成像传感器在其第二方位获取第一点的第三图像1321和第二点的第四图像1322。在步骤1330，当成像传感器分别处于第一方位和第二方位时，获取空间方位传感器的第一输出1331和第二输出1332。在步骤1340，基于第一图像1311、第二图像1312、第三图像1321、第四图像1322、第一输出1331和第二输出1332，确定成像传感器的焦距1341。

图14示意性地示出了根据另一个实施例的方法的流程图。在步骤1410，获取当空间方位传感器分别处于第一方位、第二方位、第三方位和第四方位时，空间方位传感器的第一输出1411、第二输出1412、第三输出1413和第四输出1414。在步骤1420，基于第一输出1411、第二输出1412、第三输出1413和第四输出1414，确定空间方位传感器相对于参考系的相对方位1421。

图15示意性地示出了根据另一个实施例的方法的流程图。在步骤1510，基于使用第一成像传感器获取的图像，获取人的眼睛相对于第一成像传感器的第一相对方位1511。在步骤1520，获取第二成像传感器相对于第一成像传感器的第二相对方位1521。在步骤1530，基于第一相对方位1511和第二相对方位1512，确定眼睛相对于第二成像传感器的第三相对方位1531。

方法

C1

在已知的坐标系CS-A中，获取第一三维单位向量v_a_1和第二三维单位向量v_a_2；确定参考坐标系CS-R相对于坐标系CS-A的方位。

这可以表示为：

q_r_a＝q_frm_2v(v_a_1,v_a_2,method_index)

其中method_index表示根据v_a_1、v_a_2中获取CS-R在CS-A中唯一方位四元数q_r_a的方法。坐标系CS-R由q_r_a唯一确定。

获取q_r_a的两种方法如下：

method_index＝1；

q_r_a＝q_frm_m(m)

其中：

m＝m_frm_v(v_x,v_y,v_z)，见附录章节A2.3.10；

其中：

v_x＝v_a_1,v_z＝v_cru(v_x,v_a_2)，v_y＝v_cru(v_z,v_x)，见附录章节A2.2.8；

其中：

m是一个3x3矩阵，v_a_1是CS-A中的第一单位向量，v_a_2是CS-A中的第二单位向量。

method_index＝2：

q_r_a＝q_frm_m(m)

其中：

m＝m_frm_v(v_x,v_y,v_z)，见附录章节A2.3.10；

其中：

vx＝v_cru(v_y,v_z)；

其中：

vy＝v_cru(v_a_2,v_a_1)

vz＝v_neg(v_uni(v_add(v_a_1,v_a_2)))，见附录章节A2.2.10，A2.2.3，A2.2.11。

还可以通过其它方法根据CS-A中的两个三维向量v_a_1和v_a_2中得出CS-R在CS-A中的唯一方位四元数q_r_a。

C2

获取向量v_x，该向量v_x与一旋转轴对齐，坐标系CS-X绕该旋转轴从相对于CS-W的起始四元数q_x_w_1旋转到相对于CS-W的结束四元数q_x_w_2。同时获取以度数为单位的旋转量。

这可以描述为：

v_x＝v_frm_2q(q_x_w_1,q_x_w_2)

deg＝deg_frm_2q(q_x_w_1,q_x_w_2)

其中：

q_x_w_1是CS-W中表示CS-X的起始方位的方位四元数，

q_x_w_2是CS-W中表示CS-X的结束方位的方位四元数。

CS-Y定义为CS-W中与CS-X在起始方位q_x_w_1处对齐的坐标系。假设q_x_y_1是q_x_w_1从CS-W变换到CS-Y的q_x_w_1的四元数，则：q_x_y_1＝q_ldf(q_x_w_1,q_x_w_1)。假设q_x_y_2是q_x_w_2从CS-W变换到CS-Y的四元数，则：q_x_y_2＝q_ldf(q_x_w_1,q_x_w_2)。这里，q_x_y_1为单位四元数，q_x_y_2表示CS-Y中从q_x_y_1到q_x_y_2的方位变化。见附录章节A2.1.9。

假设v_x是可以从q_x_y_2得到的旋转向量，v_x＝v_frm_q(q_x_y_2)，则v_x可以看作是在CS-Y中，CS-X从q_x_y_1旋转到q_x_y_2的轴。见附录章节A2.2.7。

假设deg是旋转向量v_x以度为单位的旋转量,deg＝deg_frm_q(q_x_y_2)，因为CS-Y在CS-W中与CS-X的起始方位对齐，v_x也可以被视为CS-X绕其从起始方位旋转到结束方位的CS-X中的旋转向量v_x。见附录章节A2.2.9。

C3

获取与空间方位传感器绕其从起始方位旋转到结束方位的旋转轴对齐的旋转向量，同时获取以度数为单位的旋转量。

空间方位是在世界坐标系CS-W中测量其坐标系CS-G的三维方位。假设：

q_g_w_1是CS-W中CS-G的起始方位，

q_g_w_2是CS-W中CS-G的结束方位，

旋转向量v_g可以使用方法章节中C2部分描述的方法得到，其中：

v_g也可以看作是CS-G中空间方位传感器绕其从起始方位旋转到结束方位的旋转向量。以度数表示的旋转量也可以得到。

因此，v_g和deg_g可以用方法章节中C2部分描述的方法得到：

v_g＝v_frm_2q(q_g_w_1,q_g_w_2)

deg_g＝deg_frm_2q(q_g_w_1,q_g_w_2)。

C4

通过空间方位传感器的四个方位输出，得到代表参考坐标系CS-R相对于空间方位传感器坐标系CS-G的方位四元数q_r_g。

这可以描述为：

q_r_g＝q_frm_4q(q_g_w_1,q_g_w_2q_g_w_3,q_g_w_4,method_index)

其中：

q_g_w_1、q_g_w_2、q_g_w_3、q_g_w_4是相对于CS-W的位于4个方位的空间方位传感器的输出。只要满足以下三个条件，四个方位不一定完全不同：

(1)这4个四元数中至少有3个是不同的；

(2)q_g_w_1与q_g_w_2不同；

(3)q_g_w_3和q_g_w_4不同。

q_r_g＝q_frm_2v(v_g_1,v_g_2,method_index)，其中method_index表示可以在方法章节中的C1部分使用的许多不同方法中的一个。

如方法章节第C3部分所述，v_g_1＝v_frm_2q(q_g_w_1,q_g_w_2)；如方法章节第C3部分所述，v_g_2＝v_frm_2q(q_g_w_3,q_g_w_4)。

C5

从四个方位获取四元数q_ge_gf，q_ge_gf表示位于CS-GE坐标系的空间定位传感器GE相对于位于CS-GF坐标系的空间定位传感器GF的方位。

这可以描述为：

q_ge_gf＝q_frm_8q(q_ge_we_1q_ge_we_2、q_ge_we_3q_ge_we_4,q_gf_wf_1,q_gf_wf_2,q_gf_wf_3,q_gf_wf_4,method_index)。

假设有两个空间定位传感器GE和GF，其中

CS-GE是空间定位传感器GE的坐标系，CS-GF是空间方位传感器GF的坐标系，两个空间方位传感器安装在一个框架上，在标定过程中相对方位不发生变化，在给定框架的方位上，两个空间方位传感器的输出为：

四元数q_ge_we_n，表示CS-GE在CS-WE中的方位

四元数q_gf_wf_n，表示CS-WF中CS-GF的方位，其中n可以是1、2、3、4。

CS-WE是空间方位传感器输出所参考的世界坐标系。CS-WF是空间方位传感器GF输出所参考的世界坐标系。

将两个空间方位传感器的输出四元数以(q_ge_we_n,q_gf_wf_n)形式成对分组，其中n可以是1、2、3、4。对于空间方位传感器E的每个q_ge_we_n输出，同时都有空间方位传感器F的q_gf_wf_n输出。

调用q_gf_wf_n作为q_ge_we_n的配对四元数，其中n可以是1、2、3、4：

q_ge_we_1、q_ge_we_2、q_ge_we_3、q_ge_we_4是相对于CS-WE的，只要满足以下三个条件，就不必完全不同：

(1)这4个四元数中至少有3个是不同的；

(2)q_ge_we_1与q_ge_we_2不同；

(3)q_ge_we_3和q_ge_we_4不同。

q_gf_wf_1、q_gf_wf_2、q_gf_wf_3、q_gf_wf_4是相对于CS-WF的，只要满足以下三个条件，q_gf_wf_3和q_gf_wf_4不一定都是不同的：

(1)这4个四元数中至少有3个是不同的；

(2)q_gf_wf_1与q_gf_wf_2不同；和

(3)q_gf_wf_3和q_gf_wf_4是不同的。

使用方法章节C4中描述的方法：

q_re_ge＝q_frm_4q(q_ge_we_1，q_ge_we_2，q_ge_we_3，q_ge_we_4,method_index)

q_rf_gf＝q_frm_4q(q_gf_wf_1，q_ge_wf_2，q_gf_wf_3，q_gf_wf_4,method_index)

其中：

method_index是可以在方法章节的C1部分中使用的许多不同方法之一；

q_re_ge是CS-GE中表示CS-RE方位的四元数；

q_rf_gf是CS-GF中表示CS-RF方位的四元数；

CS-RE是一个可以使用q_ge_we_1、q_ge_we_2、q_ge_we_3、q_ge_we_4和method_index唯一确定的参考坐标系；

CS-RF是一个可以使用q_gf_wf_1、q_gf_wf_2、q_gf_wf_3、q_gf_wf_4和method_index来唯一确定的参考坐标系。

由于CS-RE与CS-RF可视为同一坐标系，因此CS-GE与CS-GF的相对方位可表示为：

q_ge_gf＝q_prd2(q_rf_gf,q_cnj(q_re_ge))。

C6

从图像p_a_i和p_b_i获取方位四元数q_ab_c，如图2所示，这一对点PA和PB在世界坐标系CS-W中是固定的，相机坐标系CS-C也在CS-W中。两个固定点在相机的视场中。q_ab_c表示在相机坐标系CS-C中参考坐标系CS-AB的方位。

这可以描述为：

q_ab_c＝q_frm_2p(p_a_i，p_b_i，FOCAL_LEN，method_index)。

如A1.2部分中描述，假设在世界坐标系CS-W中有一对固定物理点PA、PB，它们在相机的视场中，p_a_i和p_b_i是PA、PB在相机图像平面中的图像，FOCAL_LEN是相机以像素数为单位的焦距，v_c_a和v_c_b分别是从CS-C原点指向p_a_i、p_b_i的单位向量。可以使用附录章节A1.3或A1.4部分的方法基于p_a_i和p_b_i，得到v_a_c和v_b_c：

v_a_c＝v_frm_p(p_a_i,FOCAL_LEN)；

v_b_c＝v_frm_p(p_b_i,FOCAL_LEN)。

已知CS-C中的这两个三维向量v_a_c和v_b_c，可以确定参考坐标系CS-AB。可以使用方法章节中C1部分描述的方法得到表示CS-C中CS-AB方位的四元数q_ab_c：

q_ab_c＝q_frm_2v(v_a_c，v_b_c，method_index)，其中：

method_index表示可以在C1部分中使用的许多不同方法中的一个。

C7

使用相机在其两个不同方位上的得到的一对固定的物理点PA和PB的图像，获取相机坐标系CS-C中的旋转向量。并同时获取以度为单位的旋转量。

这可以表示为：

v_c＝v_frm_4p(p_a_i_1,p_b_i_1,p_a_i_2,p_b_i_2,FOCAL_LEN,method_index)；

deg_c＝deg_frm_4p(p_a_i_1,p_b_i_1,p_a_i_2,p_b_i_2,FOCAL_LEN,method_index)。

在世界坐标系CS-W中(CS-C也在其中)使用一对相同的物理点PA和PB，可以使用相机在其两个不同方位将第C6部分的步骤执行两次。

假设：

p_a_i_1和p_b_i_1是相机在第一方位拍摄到的物理点PA和PB的图像；

p_a_i_2和p_a_i_2是相机在第二方位拍摄到的物理点PA和PB的图像；和

FOCAL_LEN是相机的焦距，单位是像素数，

使用方法章节C6中描述的方法：

q_ab_c_1＝q_frm_2p(p_a_i_1，p_b_i_1，FOCAL_LENmethod_index)，

q_ab_c_2＝q_frm_2p(p_a_i_2，p_b_i_2，FOCAL_LENmethod_index)；

其中：

method_index是可以在方法章节中的C1部分使用的许多不同方法之一；

q_ab_c_1为CS-C中相机处于第一方位时CS-AB的方位；

q_ab_c_2为CS-C中相机处于第二方位时CS-AB的方位。

CS-AB是根据方法章节中C6部分中描述的由PA和PB两个物理点的图像确定的参考坐标系。

已知q_ab_c_1和q_ab_c_2，使用方法章节中C2中描述的方法可以得到旋转向量v_c和旋转角度：

v_c＝v_frm_2q(q_ab_c_1,q_ab_c_2)；

deg_c＝deg_frm_2q(q_ab_c_1,q_ab_c_2)；

其中，v_c可以看作是相机在与CS-C的起始方位对齐的坐标系中从起始方位旋转到结束方位的旋转向量。

C8

使用相机在其4个方位拍摄的四个固定物理点PA、PB、PC、PD的图像，获取参考坐标系CS-RC相对于相机坐标系CS-C的方位。

这可以表示为：

q_rc_c＝q_frm_8p(p_a_i_1,p_b_i_1,p_a_i_2,p_b_i_2,p_c_i_1,p_d_i_1,p_c_i_2,p_b_i_d,FOCAL_LEN,method_index)。

C7部分中描述的过程可以进行两次。每次选择一个物理点。因此：

p_a_i_1和p_b_i_1是相机在定义为AB1的方位上拍摄到的物理点PA和PB的图像；

p_a_i_2和p_b_i_2是相机在定义为AB2的方位上拍摄到的物理点PA和PB的图像；

p_c_i_1和p_d_i_1为相机在定义为CD1的方位处拍摄到的物理点PC和PD的图像；

p_c_i_2和p_d_i_2为相机在定义为CD2的方位处拍摄到的物理点PC和PD的图像；

FOCAL_LEN是相机的焦距，以像素数为单位。

只要满足以下三个条件，AB1、AB2、CD1、CD2四个相机方位不必完全不同：

(1)这4个方位中至少有3个方位不同；

(2)相机方位编号AB1与AB2不同；

(3)相机方位编号CD1和CD2不同。

第一对物理点是PA和PB。第二对物理点是PC和PD。第二对物理点PC和PD可以与PA和PB相同或不同。因此，使用方法章节C7中描述的方法：

v_ab_c＝v_frm_4p(p_a_i_1,p_b_i_1,p_a_i_2,p_b_i_2,FOCAL_LEN,method_index)

v_cd_c＝v_frm_4p(p_c_i_1,p_d_i_1,p_c_i_2,p_d_i_2,FOCAL_LEN,method_index)

其中：

method_index是可以在方法章节的C1中使用的许多不同方法之一。

方位四元数q_rc_c表示CS-C中参考坐标系CS-RC的方位为：

q_rc_c＝q_frm_2v(v_ab_c,v_cd_c,method_index)；

其中，method_index在方法章节中表示可以在Part C1中使用的许多不同方法中的一个。

C9

使用相机在其4个方位拍摄的4个固定物理点的图像和空间方位传感器，获取表示相机坐标系CS-C相对于位于坐标系CS-G的空间方位传感器的方位的方位四元数q_c_g。

这可以描述为：

q_cg＝q_frm_qc_qg(q_rc_c,q_rg_g,FOCAL_LEN,method_index)

假设相机和空间方位传感器被安装在一个刚性框架上。在校准过程中，它们在CS-C和CS-G之间的相对方位不变。

首先，使用用C8部分方法中描述的过程，可以得到代表CS-C参考坐标系中CS-RC方位的四元数q_rc_c。具体来说，这个过程需要相机在CS-C所在的三维世界坐标系CS-W中捕捉一对物理点PA和PB。相机需要在位于定义为AB1、AB2、CD1和CD2的4个方位时，捕捉这对固定的物理点PA和PB的图像。

q_rc_c＝q_frm_8p(p_a_i_1,p_b_i_1,p_a_i_2,p_b_i_2,p_c_i_1,p_d_i_1,p_c_i_2,p_b_i_d,FOCAL_LEN,method_index)

其中：

p_a_i_1和p_b_i_1是相机在AB1方位拍摄到的物理点PA和PB的图像

p_a_i_2和p_b_i_2是相机在AB2方位拍摄到的物理点PA和PB的图像

p_c_i_1和p_d_i_1是相机在CD1方位拍摄到的物理点PC和PD的图像

p_c_i_2和p_d_i_2是相机在CD2方位拍摄到的物理点PC和PD的图像

FOCAL_LEN是相机的焦距，以像素数为单位。

在此过程中，空间方位传感器的输出也被记录：

q_g_w_ab1为相机方位AB1处的空间方位传感器输出；

q_g_w_ab2为相机方位AB2处的空间方位传感器输出；

q_g_w_cd1为相机方位CD1处的空间方位传感器输出；

q_g_w_cd2是相机方位CD2处的空间方位传感器输出。

方位四元数q_rg_g表示参考坐标系CS-RG在CS-G中的方位，可使用方法章节C4中描述的方法获取：

q_rg_g＝q_frm_4q(q_g_w_ab1,q_g_w_ab2,q_g_w_cd1,q_g_w_cd2,method_index)。

由于CS-RC和CS-RG可以看作是同一个坐标系，因此CS-C在CS-G中的方位四元数可以表示为：

q_c_g＝q_prd2(q_rg_g,q_cnj(q_rc_c))。

C10

获取方位四元数q_ce_cf，q_ce_cf表示相机CE的坐标系CS-CE相对于相机CF的坐标系CS-CF的方位。

这可以表示为：

q_ce_cf＝q_frm_3q(q_ce_ge,q_cf_gf,q_ge_gf,FOCAL_LEN,method_index)

假设：

(1)相机CE和空间方位传感器GE安装在刚性框架上。它们的相对方位在校准过程中没有改变。

(2)相机CF和空间方位传感器GF安装在刚性框架上。它们的相对方位在校准过程中没有改变。

(3)空间方位传感器GE与空间方位传感器GF在校准过程中相对方位不发生变化：

使用方法章节C9中描述的方法，可以得到以下方位四元数：

q_ce_ge为方位四元数，表示空间方位传感器GE的坐标系CS-GE中相机CE的坐标系CS-CE的方位；

q_cf_gf是空间方位传感器GF坐标系中表示相机CF坐标系CS-CF的方位四元数。

使用方法章节C5中描述的方法，可以得到以下方位四元数：

q_ge_gf是空间方位传感器GF的坐标系CS-GF中的代表空间方位传感器GE的坐标系CS-GE的方位四元数。

因此，表示相机CF的CS-CF坐标系中相机CE的坐标系CS-CE方位的四元数q_ce_cf为：

q_ce_cf＝q_prd2(q_cnj(q_cf_gf),q_prd2(q_ge_gf q_ce_ge))。

C11

从三维世界坐标系CS-W中一对固定的物理点PA和PB的图像中获取相机的焦距FOCAL_LEN，其中相机坐标系CS-C也位于CS-W，并获取相机位于两个方位时空间方位传感器对应的输出。

假设相机和空间方位传感器安装在一个刚性框架上。在校准过程中，相机坐标系CS-C与空间定位传感器坐标系CS-G之间的相对方位不变。

相机需要在位于定义为AB1、AB2的两个方位上捕捉一对固定的物理点PA和PB的图像。

使用方法章节中C7部分描述的方法，可以得到旋转角度值deg_c：

deg_c＝deg_frm_4p(p_a_i_1,p_b_i_1,p_a_i_2,p_b_i_2,FOCAL_LEN,method_index)；

p_a_i_1和p_b_i_1是相机在位于AB1处捕捉到的物理点PA和PB的图像；

p_a_i_2和p_b_i_2是相机在位于AB2处捕捉到的物理点PA和PB的图像；

FOCAL_LEN是相机的焦距，以像素数为单位。

在此过程中，还记录了空间方位传感器的输出：

q_g_w_ab1为相机方位AB1处的空间方位传感器输出；

q_g_w_ab2是相机方位AB2处的空间方位传感器输出。

使用C2方法中描述的方法，可以得到旋转角度值deg_g：

deg_g＝deg_frm_2q(q_g_w_ab1,q_g_w_ab2)。

假设focal_len_n，其中n＝1,2,3,4…是已知的焦距值：

deg_c_n＝deg_frm_4p(p_a_i_1,p_b_i_1,p_a_i_2,p_b_i_2,focal_len_n,method_index)

其中n＝1,2,3,4…

得到与deg_g值最接近的deg_c_n的focal_len_n可以认为是相机焦距FOCAL_LEN的最佳估计数。

C12

将相机CE坐标系CS-CE中的注视向量v_ce转换为相机CF坐标系CS-CF中的向量v_cf。

这可以表示为：

v_cf＝qvq_trans(q_ce_cf,v_ce)

其中：

v_cf是将向量v_ce从CS-CE转换到CS-CF中的结果。

C13

将相机CF坐标系下的向量v_cf转换为相机CF的二维图像平面上的二维向量p_cf。

使用方法章节C12中描述的方法中获取v_cf后，可以将其映射到相机CF的二维图像位置的点p_cf：

p_cf＝p_frm_v(v_cf,p_cent,FOCAL_LEN)

其中：

p_cent是CF相机图像平面的中心点；

FOCAL_LEN是相机CF的焦距，单位是像素。

附录

方法章节使用附录章节中列出的数学工具。

A1.坐标系

A1.1三维坐标系有X、Y、Z三个轴，如图3所示。轴的顺序和正旋转方向采用右手定则来确定。

任何两个轴都可以构成一个平面。因此，三维坐标系中，有被定义为P-XY,P-YX和P-ZX三个平面。

A1.2如图1所示，相机图像帧的二维坐标系中有X、Y两个轴。

A1.3将二维相机图像帧坐标系中的点转换为三维相机坐标系。

一个三维相机坐标系CS-C有指向右边的x轴，指向顶部的y轴，指向镜头的相反方向的z轴。

二维图像平面可以认为：

-与CS-C的XY平面平行；

-原点在左上角；

-其图像中心位于CS-C的(0，0，-1)处

-其图像中心位于CS-C的(0，0，1)处；

-其X轴与CS-C的X轴平行，指向同一个方向；

-其Y轴与CS-C的Y轴平行，指向相反的方向；

-与CS-C的单位不同。具体来说，FOCAL_LEN是相机的焦距，单位是像素数。

计算从CS-C原点指向相机图像二维平面上点p的单位向量vu：

vu＝v_frm_p(p)

其中，

p＝(x，y)

vu＝(vx，vy，vz)

其中，

vu＝v_uni(v)

v＝(h，v，-1.0)

其中，

h＝DEFOX(x)＝(x-x_center)/FOCAL_LEN

v＝DEFOY(y)＝(y_center-y)/FOCAL_LEN

其中，(x_center,y_center)是相机二维图像帧的中心坐标。

A1.4三维坐标系中的一个点可以用三维向量v＝(x，y，z)表示，这个向量从坐标***的原点指向这个点的位置。

A2四元数，三维向量，3x3矩阵和二维向量数学

四元数由4个元素组成

q＝(w，x，y，z)

A2.1.2单位四元数：

q＝q_idt(q)＝(1，0，0，0)

A2.1.3四元数的共轭：

q_cnj(q)＝(w，-x,-y,-z)

A2.1.4四元数的长度：

q_len(q)＝sqrt(w*w+x*x+y*y+z*z)

sqrt()是浮点数的平方根

A2.1.5单位四元数的长度为1

归一化四元数q：

u＝q_uni(q)

其中，

q＝(w，x，y，z)

u＝(uw，ux，uy，uz)

uw＝x/len

ux＝x/len

uy＝y/len

uz＝z/len

len＝q_len(q)

A2.1.6 2个四元数p和q的乘积

t＝q_prd2(q，p)＝q*p

其中，

q＝(qw,qx，qy，qz)

p＝(pw,px，py，pz)

t＝(tw，tx，ty，tz)

并且，

tw＝(qw*pw-qx*px-qy*py-qz*pz)

tx＝(qw*px+qx*pw+qy*pz-qz*py)

ty＝(qw*py-qx*pz+qy*pw+qz*px)

tz＝(qw*pz+qx*py-qy*px+qz*pw)

因为四元数可以用来表示旋转变换，所以如果q2＝q_Prd2(q1，q0)是两个四元数的乘积，则将q2用作方位变换等效于先应用于q0，然后应用q1。

A2.1.7 3个四元数的乘积：

q＝q_prd3(q1，q2，q3)＝q_prd2(q1，q_prd2(q2，q3))

A2.1.8 4个四元数的乘积：

q＝q_prd4(q1，q2，q3，q4)＝q_prd2(q1，q_prd3(q2，q3，q4))

A2.1.9两个四元数的高差：

q＝q_ldf(q1，q2)＝q_prd2(q_cnj(q1)，q2)

A2.2.1三维向量有3个元素：

v＝(x，y，z)

A2.2.2三维向量的长度：

v_len(v)＝sqrt(x*x+y*y+z*z)

A2.2.3单位三维向量长度为1

将三维向量归一化：

u＝v_uni(v)

其中，

v＝(x，y，z)

u＝(ux，uy，uz)

ux＝x/len

uy＝y/len

uz＝z/len

len＝v_len(v)

A2.2.4单位四元数可以解释为旋转向量和围绕该向量旋转的角度的组合：

q＝(w，x，y，z)

v＝(vx，vy，vz)是旋转向量

theta是旋转角度

其中，

w＝cos(theta/2)

x＝vx*sin(theta/2)

y＝vy*sin(theta/2)

z＝uz*sin(theta/2)

A2.2.5两个三维向量va，vb的点积：

d＝v_dot(va,vb)＝va.vb＝ax*bx+ay*by+az*bz

其中，

va＝(ax，ay，az)

vb＝(bx，by，bz)

假设theta是va和vb之间的夹角：

那么cos(theta)＝v_dot(va，vb)

A2.2.6两个三维向量va，vb的叉积：

vc＝v_crs(va，vb)＝va x vb

其中，

va＝(ax,ay,az)

vb＝(bx，by,bz)

vc＝(cx，cy，cz)

cx＝ay*bz-az*by

cy＝az*bx-ax*bz

cz＝ax*by-ay*bx

A2.2.7由四元数q得到的旋转向量

v＝v_frm_q(q)＝(x，y，z)

其中

q＝(qw，qx，qy，qz)

len＝v_len(qx，qy，qz)

x＝qx/len

y＝qy/len

z＝qz/len.

A2.2.8两个三维向量va，vb向量积的单位向量

v＝v_cru(q)＝v_uni(v_crs(va，vb))

A2.2.9单位四元数q的旋转角度

deg＝deg_frm_q(q)

其中

q＝(qw，qx,qy,qz)

deg＝2*acos(qw)

acos()是反余弦，结果以度为单位

A2.2.10两个三维向量va，vb相加

v＝v_add(va，vb)＝(x，y，z)

va＝(ax，ay，az)

vb＝(bx，by，bz)

x＝ax+bx

y＝ay+by

z＝az+bz.

A2.2.11三维向量va的相反向量

v＝v_neg(va)＝(x，y，z)

va＝(ax，ay，az)

x＝-ax

y＝-ay

z＝-az.

A2.3.1 3×3矩阵

A2.3.2单位3×3矩阵

A2.3.3矩阵减法

A2.3.4矩阵向量乘法

vd＝mv_prd(m，v)＝m*vs

vs＝(x，y，z)

vd＝(dx，dy，dz)

其中，

dx＝Xx*x+Yx*y+Zx*z

dy＝Xy*x+Yy*y+Zy*z

dz＝Xz*x+Yz*y+Zz*z

A2.3.5四元数的矩阵

m＝m_frm_q(q)

q＝(qw，qx，qy，qz)

其中，m是3×3矩阵

并且

Xx＝1.0f-2.0f*qy*qy-2.0f*qz*qz

Xy＝2.0f*qx*qy+2.0f*qw*qz

Xz＝2.0f*qx*qz-2.0f*qw*qy

Yx＝2.0f*qx*qy-2.0f*qw*qz

Yy＝1.0f-2.0f*qx*qx-2.0f*qz*qz

Yz＝2.0f*qy*qz+2.0f*qw*qx

Zx＝2.0f*qx*qz+2.0f*qw*qy

Zy＝2.0f*qy*qz-2.0f*qw*qx

Zz＝1.0f-2.0f*qx*qx-2.0f*qy*qy

A2.3.6用四元数q转换三维向量v

vd＝qvq_trans(q，vs)＝mv_prd(m，vs)

其中，

q是四元数，vs是原三维向量

vd是转换后的三维向量

m是3×3矩阵

m＝m_frm_q(q)

A2.3.7旋转x轴的矩阵

m＝m_frm_x_axis_sc(s，c)

其中，

s＝sin(theta)

c＝cos(theta)

并且，

Xx＝1.0

Yx＝0.0

Zx＝0.0

Xy＝0.0

Yy＝c

Zy＝-s

Xz＝0.0

Yz＝s

Zz＝c

A2.3.8旋转y轴的矩阵

m＝m_frm_y_axis_sc(s，c)

其中，

s＝sin(theta)

c＝cos(theta)

并且，

Xx＝c

Yx＝0.0

Zx＝s

Xy＝0.0

Yy＝1.0

Zy＝0.0

Xz＝-s

YZ＝0.0

Zz＝c

A2.3.9矩阵的四元数

q＝q_frm_m(m)

其中，

q＝(w，x，y，z)

并且，

A2.3.10向量的矩阵

m＝m_frm_v(vx，vy，vz)

其中，

vx＝(Xx，Xy，Xz)

vy＝(Yx，Yy，Yz)

vz＝(Zx，Zy，Zz)

A2.4.1二维空间的一点是二维向量，它由两个元素组成：

p＝(x，y)

A2.4.2二维空间点pa和pb之间的距离：

d＝p_dist(pa，pb)＝sqrt((xa-xb)*(xa-xb)+(ya-yb)*(ya-yb))

其中

pa＝(xa，ya)

pb＝(xb，yb)

A2.4.3二维向量的长度；

p_len(p)＝sqrt(x*x+y*y)

A2.4.4单位二维向量的长度为1

归一化二维向量p：

u＝p_uni(p)

其中，

p＝(x，y)

u＝(ux，uy)

ux＝x/len

uy＝y/len

len＝p_len(v)

A2.4.5二维向量pa和pb的点积：

d＝p_dot(pa，pb)＝xa*xb+ya*yb

其中，

pa＝(xa，ya)

pb＝(xb，yb)

向量的点积具有重要意义，

假设向量pa和pb的夹角为theta

那么

cos(thera)＝p_dot(pa，pb)

A2.4.6从三维向量到二维点

p＝p_frm_v(v_in，p_cent，foc_len)

其中，p＝(xp，yp)是二维平面上的一点；

v＝(xv，yv，zv)是相机坐标系CS-C中的三维向量；

p_cent＝(xc，yc)是图像平面中的中心点；

foc_len是以像素为单位的相机的焦距

所以有：

xp＝xv*scale+xc；

yp＝-yv*scale+yc；

其中，scale＝foc_len/zv.

虽然本发明公开了多种方面和实施例，但其它方面和实施例对本领域技术人员来说是显而易见的。本公开中所披露的各种方面和实施例仅供说明之用，并不加以限制，其真正的范围和精神由所附权利要求说明。

Claims

1.一种方法，包括：

获取第一空间方位传感器的第一方位和第二空间方位传感器的第一方位；

获取第一空间方位传感器的第二方位和第二空间方位传感器的第二方位；

获取第一空间方位传感器的第三方位和第二空间方位传感器的第三方位；

获取第一空间方位传感器的第四方位和第二空间方位传感器的第四方位；

基于所述第一空间方位传感器的第一方位、所述第一空间方位传感器的第二方位、所述第一空间方位传感器的第三方位、所述第一空间方位传感器的第四方位、所述第二空间方位传感器的第一方位、所述第二空间方位传感器的第二方位、所述第二空间方位传感器的第三方位和所述第二空间方位传感器的第四方位，确定第一空间方位传感器相对于第二空间方位传感器的相对方位；

其中，第一空间方位传感器相对于第二空间方位传感器的相对方位是固定的。

2.根据权利要求1的方法，

其中，所述第一空间方位传感器的第一方位、所述第一空间方位传感器的第二方位、所述第一空间方位传感器的第三方位、所述第一空间方位传感器的第四方位中至少有三个彼此互不相同；

其中，所述第一空间方位传感器的第一方位与所述第一空间方位传感器的第二方位不同；

其中，所述第一空间方位传感器的第三方位与所述第一空间方位传感器的第四方位不同。

3.根据权利要求1的方法，

其中，所述第二空间方位传感器的第一方位、所述第二空间方位传感器的第二方位、所述第二空间方位传感器的第三方位、所述第二空间方位传感器的第四方位中至少有三个彼此互不相同；

其中，所述第二空间方位传感器的第一方位与所述第二空间方位传感器的第二方位不同；

其中，所述第二空间方位传感器的第三方位与所述第二空间方位传感器的第四方位不同。

4.根据权利要求1的方法，其中，确定第一空间方位传感器相对于第二空间方位传感器的相对方位的步骤包括：

确定第一空间方位传感器相对于参考系的相对方位；

确定第二空间方位传感器相对于所述参考系的相对方位；

基于第一空间方位传感器相对于参考系的相对方位和第二空间方位传感器相对于所述参考系的相对方位，确定第一空间方位传感器相对于第二空间方位传感器的相对方位。

5.根据权利要求4的方法，其中，基于第一空间方位传感器的第一方位、第一空间方位传感器的第二方位、第一空间方位传感器的第三方位以及第一空间方位传感器的第四方位，确定第一空间方位传感器相对于参考系的相对方位。

6.根据权利要求4的方法，其中，基于第二空间方位传感器的第一方位、第二空间方位传感器的第二方位、第二空间方位传感器的第三方位以及第二空间方位传感器的第四方位，确定第二空间方位传感器相对于参考系的相对方位。

7.一种方法，包括：

使用成像传感器，获取三维空间中第一点的图像和三维空间中第二点的图像；

基于第一点的图像和第二点的图像，确定成像传感器相对于参考系的相对方位；

其中，所述第一点和所述第二点在三维空间中是固定的。

8.根据权利要求7的方法，其中，确定成像传感器相对于参考系的相对方位的步骤还包括：

确定与所述成像传感器相对固定的参考点与所述第一点的图像之间的向量，并确定所述参考点与所述第二点的图像之间的向量；

基于所述向量和所述向量确定相对方位。

9.根据权利要求8的方法，

其中，所述参考点与所述第一点的图像之间的向量为单位向量；

其中，所述参考点与所述第二点的图像之间的向量为单位向量。

10.一种方法，包括：

使用成像传感器在其第一方位获取三维空间中第一点的第一图像和三维空间中第二点的第二图像；

使用成像传感器在其第二方位获取所述第一点的第三图像和所述第二点的第四图像；

基于第一图像、第二图像、第三图像和第四图像，确定成像传感器在第一方位和第二方位之间的相对旋转；

其中，所述第一点和所述第二点在三维空间中是固定的。

11.根据权利要求10的方法，其中，确定相对旋转的步骤还包括：

基于第一图像和第二图像，确定成像传感器处于第一方位时相对于参考系的相对方位；

基于第三图像和第四图像，确定成像传感器处于第二方位时相对于参考系的相对方位；

基于所述成像传感器处于第一方位时相对于所述参考系的相对方位和成像传感器处于第二方位时相对于参考系的相对方位，确定成像传感器在第一方位和第二方位之间的相对旋转。

12.根据权利要求11的方法，其中，确定成像传感器处于第一方位时相对于参考系的相对方位包括：

确定与所述成像传感器相对固定的参考点与所述第一图像之间的向量；以及

确定所述参考点与第二图像之间的向量。

13.一种方法，包括：

确定成像传感器在成像传感器的第一方位和成像传感器的第二方位之间的第一相对旋转；

确定成像传感器在成像传感器的第三方位和成像传感器的第四方位之间的第二相对旋转；

基于第一相对旋转和第二相对旋转，确定成像传感器相对于参考系的相对方位。

14.根据权利要求13的方法，其中，确定第一相对旋转的步骤包括：

基于第一图像、第二图像、第三图像和第四图像，确定第一相对旋转。

15.根据权利要求13的方法，

其中，第一方位、第二方位、第三方位、和第四方位中至少有三个彼此互不相同；

其中，所述第一方位与所述第二方位不同；

其中，所述第三方位与所述第四方位不同。

16.一种方法，包括：

基于成像传感器在成像传感器的第一方位和成像传感器的第二方位之间的第一相对旋转，以及成像传感器在成像传感器的第三方位和成像传感器的第四方位之间的第二相对旋转，确定成像传感器相对于参考系的相对方位；

确定在成像传感器分别处于第一方位、第二方位、第三方位和第四方位时，空间方位传感器对应的第一输出、第二输出、第三输出和第四输出；

基于所述第一输出、所述第二输出、所述第三输出和所述第四输出，确定空间方位传感器相对于参考系的相对方位；

基于空间方位传感器相对于参考系的相对方位和成像传感器相对于参考系的相对方位，确定空间方位传感器相对于成像传感器的相对方位。

17.根据权利要求16的方法，其中，空间方位传感器相对于成像传感器的相对方位是固定的。

18.根据权利要求16的方法，还包括通过下述步骤确定第一相对旋转：

基于第一图像、第二图像、第三图像和第四图像，确定所述第一相对旋转。

19.根据权利要求18的方法，

其中，第一方位、第二方位、第三方位和第四方位中至少有三个彼此互不相同；

其中，所述第一方位与所述第二方位不同；

其中，所述第三方位与所述第四方位不同。

20.一种方法，包括：

基于第一空间方位传感器相对于第一参考系的相对方位和第一成像传感器相对于第一参考系的相对方位，确定第一空间方位传感器相对于第一成像传感器的第一相对方位；

基于第二空间方位传感器相对于第二参考系的相对方位和第二成像传感器相对于第二参考系的相对方位，确定第二空间方位传感器相对于第二成像传感器的第二相对方位；

确定第一空间方位传感器相对于第二空间方位传感器的第三相对方位；

基于第一相对方位、第二相对方位和第三相对方位，确定第一成像传感器相对于第二成像传感器的第四相对方位。

21.根据权利要求20的方法，其中，所述第一空间方位传感器、所述第二空间方位传感器、所述第一成像传感器以及所述第二成像传感器具有彼此相对固定的相对方位。

22.一种方法，包括：

获取所述成像传感器分别处于第一方位、第二方位时，空间方位传感器对应的第一输出和第二输出；

基于第一图像、第二图像、第三图像、第四图像、第一输出和第二输出，确定所述成像传感器的焦距。

23.根据权利要求22的方法，其中，确定所述焦距的方法包括：

基于第一图像、第二图像、第三图像和第四图像，确定成像传感器在第一方位和第二方位之间的相对旋转。

24.根据权利要求22的方法，其中，所述成像传感器和所述空间方位传感器具有彼此相对固定的相对方位。

25.一种方法，包括：

获取当空间方位传感器分别处于第一方位、第二方位、第三方位和第四方位时，空间方位传感器对应的第一输出、第二输出、第三输出和第四输出；

基于所述第一输出、第二输出、第三输出和第四输出，确定空间方位传感器相对于参考系的相对方位。

26.根据权利要求25的方法，

其中，第一方位与第二方位不同；

其中，第三方位与第四方位不同。

27.一种方法，包括：

基于使用第一成像传感器获取的图像，获取人的眼睛相对于第一成像传感器的第一相对方位；

获取第二成像传感器相对于第一成像传感器的第二相对方位；

基于第一相对方位和第二相对方位，确定眼睛相对于第二成像传感器的第三相对方位。

28.一种非暂时性机器可读介质，其上记录有指令，当被计算机执行时，所述指令实现根据权利要求1-27中任何一项所述的方法。

29.一种设备，包括：

第一成像传感器；

第二成像传感器；

第一空间方位传感器；

第二空间方位传感器；

其中，所述第一空间方位传感器、所述第二空间方位传感器、所述第一成像传感器和所述第二成像传感器具有彼此相对固定的相对方位；以及

计算设备，包括处理器和如权利要求28所述的非暂时性机器可读介质。