CN113870358B - 一种多个3d相机联合标定的方法及设备 - Google Patents

Abstract

本申请涉及多相机标定技术领域，提供一种多个3D相机联合标定的方法及设备。具体的，多个3D相机从不同视角采集标定对象的深度图像，将每个深度图像中提取的点云数据集合，分别与预先存储的标定对象的三维模型的点云数据集合进行特征匹配，基于匹配结果将多个3D相机坐标***一到标定对象坐标系下，实现多个3D相机的初始标定，进一步地，以标定对象坐标系为基准，对存在公共视野的两两相机对应的点云数据集合进行匹配，确定两两相机坐标系之间的位姿关系，从而将多个3D相机统一到一个3D相机的坐标系下，并对多个3D相机中两两相机之间的位姿进行了全局优化，从而减小两两相机之间的局部累计标定误差，提高了标定的精度。

Description

一种多个3D相机联合标定的方法及设备

技术领域

本申请涉及多相机标定技术领域，尤其涉及一种多个3D相机联合标定的方法及设备。

背景技术

在多台相机组成的***中，每个相机都拥有独立的坐标系，称为相机坐标系。相机拍摄的图像以相机坐标系作为坐标原点。对***中各个相机采集的图像进行处理时，需要将多个独立的相机坐标***一对齐到一个公共坐标系下，以提高图像处理的便捷性，这种将多个独立的相机坐标系转换到公共坐标系下的过程，称为多相机标定。

多相机标定的应用场景比较广泛，例如：体积测量、三维重建、运动捕捉等场景都会用到多相机标定。

目前，多相机标定大多是针对2D相机组成的***。基于2D相机的特点，在标定多相机坐标系的转换关系之前，需要先标定每个相机的内参数，在获得相机内参数的基础上，再标定多相机的外参数。这种标定方法，存在以下缺陷：1)要求标定板在不同的相机视角前做刚体运动，以完成相机内外参数的标定；2)各个相机之间要有较大的公共视野，限制了各个相机的布局；3)标定板的角点在相机中的成像效果极易受环境光、摆放位置的影响，导致角点检测精度不高或者检测失败，影响标定结果；4)人工控制标定版的刚性运动，标定板运动角度难以掌握，机械化控制标定板做刚性运动(例如在标定板下方安装转台)，虽能够实现标定板在多个相机间的自动切换，但是增加了标定成本。

与2D相机不同，3D相机能够采集深度信息，无需标定内参数。因此，多个2D相机的标定方法并不适用于多个3D相机的标定，需提供一种对多个3D相机进行标定的方法。

发明内容

本申请提供了一种多个3D相机联合标定的方法及设备，用以实现多个3D相机的联合标定。

第一方面，本申请实施例提供一种多个3D相机的联合标定方法，包括：

获取多个3D相机在不同视角下各自采集的标定对象的深度图像，并分别提取各个深度图像各自对应的点云数据集合；

针对提取的各个点云数据集合中的任意一个点云数据集合，将所述一个点云数据集合中各个点云对的特征向量，分别与预先存储的所述标定对象的三维模型的点云数据集合中各个点云对的特征向量进行特征匹配，确定多个变换矩阵，并对所述多个变换矩阵进行聚类，得到所述一个点云数据集合的目标变换矩阵；

根据各个点云数据集合对应的目标变换矩阵，确定所述多个3D相机中两两相机之间的标定矩阵，以实现所述多个3D相机的联合标定。

第二方面，本申请实施例提供一种标定设备，包括处理器、存储器以及至少一个外部通信接口，所述处理器、所述存储器以及所述外部通信接口均通过总线连接；

所述外部通信接口，被配置为接多个3D相机在不同视角下采集的标定对象的深度图像；

所述存储器中存储有计算机程序，所述处理器被配置为基于所述计算机程序执行以下操作：

获取多个3D相机在不同视角下各自采集的标定对象的深度图像，并分别提取各个深度图像各自对应的点云数据集合；

针对提取的各个点云数据集合中的任意一个点云数据集合，将所述一个点云数据集合中各个点云对的特征向量，分别与预先存储的所述标定对象的三维模型的点云数据集合中各个点云对的特征向量进行特征匹配，确定多个变换矩阵，并对所述多个变换矩阵进行聚类，得到所述一个点云数据集合的目标变换矩阵；

根据各个点云数据集合对应的目标变换矩阵，确定所述多个3D相机中两两相机之间的标定矩阵，以实现所述多个3D相机的联合标定。

第三方面，本申请实施例提供一种标定设备，包括：

采集模块，用于获取多个3D相机在不同视角下各自采集的标定对象的深度图像，并分别提取各个深度图像各自对应的点云数据集合；

匹配模块，用于针对提取的各个点云数据集合中的任意一个点云数据集合，将所述一个点云数据集合中各个点云对的特征向量，分别与预先存储的所述标定对象的三维模型的点云数据集合中各个点云对的特征向量进行特征匹配，确定多个变换矩阵，并对所述多个变换矩阵进行聚类，得到所述一个点云数据集合的目标变换矩阵；根据各个点云数据集合对应的目标变换矩阵，确定所述多个3D相机中两两相机之间的标定矩阵，以实现所述多个3D相机的联合标定。

可选的，所述标定设备还包括局部优化模块，用于根据所述两两相机对应的点云数据集合中数据点之间的距离，更新所述两两相机之间的标定矩阵。

可选的，所述局部优化模块具体用于：

根据所述第一点云数据集合和所述第二点云数据集合，采用迭代方式对初始位姿误差函数进行调整，直至满足预设的收敛条件，得到目标位姿误差函数，将目标位姿误差函数确定的目标位姿矩阵，作为更新后的标定矩阵，每轮迭代执行以下操作：

针对所述第一点云数据集合中的各个源数据点，分别从第二点云数据集合中选取距离最近的目标数据点；

采用初始位姿误差函数，根据所述各个源数据点与各自对应的目标数据点，确定位姿矩阵；

根据确定的位姿矩阵，更新所述第一点云数据集合中的各个源数据点，并确定更新后的各个源数据点，与各个目标数据点之间的平均距离；

根据所述平均距离，确定目标位姿误差函数。

可选的，所述标定设备还包括全局优化模块，用于基于各个点云数据集合，对所述多个3D相机中两两相机之间的标定矩阵进行回环检测，以减小所述两两相机之间的标定矩阵的全局位姿误差。

可选的，所述全局位姿误差的公式如下：

其中，m、n分别表示第m个视角和第n个视角对应的点云数据集合，K表示视角的数量，N_mn表示第m个视角和第n个视角对应的点云数据集合中重叠区域内同名点对的数量，P_mi和P_ni分别表示第i对同名点对在第m个视角和第n个视角的点云数据集合中的数据点，R_m和t_m分别表示将第m个视角的点云数据集合转换到基准坐标系下的旋转矩阵和平移向量，R_n和t_n分别表示将第n个视角的点云数据集合转换到基准坐标系下的旋转矩阵和平移向量，所述基准坐标系为所述标定对象的坐标系。

可选的，所述匹配模块具体用于：

针对各个点云对中的任意一个点云对，执行以下操作：

确定所述第一数据点和所述第二数据点之间的距离，所述第一数据点的法向量与所述第一数据点和所述第二数据点的方向向量之间的第一夹角，所述第二数据点的法向量与所述第一数据点和所述第二数据点的方向向量之间的第二夹角，以及所述第一数据点的法向量和所述第二数据点的法向量之间的第三夹角；

根据所述距离、所述第一夹角、所述第二夹角和所述第三夹角，确定所述一个点云对的特征向量。

可选的，所述两两相机采集的深度图像中存在标定对象的重叠区域。

可选的，所述标定对象至少具备以下特征：

所述标定对象有多个面，不同面的特征不同；

所述标定对象在各个深度图像中占据的区域大于设定阈值；

所述标定对象的材料为刚性材料；

所述标定对象的每个面进行了漫反射处理。

第四方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行本申请实施例提供的多个3D相机的联合标定方法。

本申请的上述实施例中，多个3D相机从不同视角采集标定对象的深度图像，保证各个视角下采集的深度图像不完全相同，针对每个深度图像中提取的点云数据集合，将该点云数据集合中各个点云对的特征向量，分别与预先存储的三维模型的点云数据集合中各个点云对的特征向量进行特征匹配，确定多个变换矩阵，聚类后得到该点云数据集合的目标变换矩阵，至此，得到了相应视角下的相机坐标系相对于标定对象坐标系的6D pose，进一步地，基于各个视角下的相机坐标系相对于标定对象坐标系的目标变换矩阵，可以确定多个3D相机中两两相机之间的标定矩阵，从而实现多个3D相机的联合标定。该方案中，各个相机自动采集标定对象不同视角的深度图像，无需人工参与；并且利用3D相机自身特点，直接标定多个3D相机中两两相机坐标系之间的转换关系(即相机外参数)，提高了标定效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示例性示出了本申请实施例提供的***架构图；

图2示例性示出了本申请实施例提供的多个3D相机联合标定的方法流程图；

图3示例性示出了本申请实施例提供的点云对特征向量提取示意图；

图4a示例性示出了本申请实施例提供的两两3D相机之间的关系图；

图4b示例性示出了本申请实施例提供的另一种两两3D相机之间的关系图；

图5示例性示出了本申请实施例提供的初步标定结果图；

图6示例性示出了本申请实施例提供的局部迭代优化方法流程图；

图7示例性示出了本申请实施例提供的局部优化后的标定结果图；

图8示例性示出了本申请实施例提供的整体框架图；

图9示例性示出了本申请实施例提供的标定设备的硬件结构图。

具体实施方式

为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

本申请的说明书和权利要求书及上述附图中的术语″第一″、″第二″等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语″包括″和″具有″以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

本申请中使用的术语″模块″，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

为清楚描述本申请的实施例，下面对本申请中的名词给出解释说明。

相机内参数：由相机自身硬件决定，与相机的摆放位置无关。主要包含(f，s_x，s_y，u₀，v₀，k₁，k₂，k₃，p₁，p₂)。其中，f表示镜头焦距；(u₀，v₀)表示光轴在成像芯片的投影位置，即光轴在像素坐标系中的坐标；(s_x，s_y)表示相机芯片单个像素的物理尺寸，单位是像素/毫米；(k₁，k₂，k₃)表示径向畸变，因透镜加工和安装引起的镜头径向成像误差；(p₁，p₂)表示切向畸变，因透镜加工和安装引起的镜头切向成像误差。标定相机内参数，主要是完成相机的畸变矫正，以保证相机拍摄的图像不会变形。

相机外参数：包括旋转矩阵和平移向量。其中，旋转矩阵描述了世界坐标系的坐标轴相对于相机坐标系坐标轴的方向，平移矩阵描述了世界坐标系原点在相机坐标系下的位置。旋转矩阵和平移向量共同描述了相机坐标系与世界坐标系的转换关系。

下面对本申请实施例的思想进行概述。

目前的成像技术，从成像维度上，可以区分为2D相机和3D相机。其中，2D相机利用小孔成像原理，将真实空间中的物体，通过投影的方式，投射到成像芯片上，从而获得真实物体在图像中的像素数据。3D相机根据成像原理的不同，可分为双目相机、结构光相机以及时间飞行法(Time of Flight，TOF)相机，这些相机都是以自身的相机坐标系为坐标原点，获取真实空间的三维数据。

无论是2d相机还是3d相机，在多台相机组成的***中，大多采用传统的标定算法确定相机的内参数与外参数。其中，传统的标定算法包括张正友标定法、Tsai两步法。

利用传统的标定算法进行多相机标定时，往往需要借助高精度的标定板(黑白相间的棋盘格)，手动或者自动控制标定板在多相机***的各个成像区域内做刚体运动，标定板必须出现在两两相机的公共视野中。多个相机同时采集标定板图像，得到多张标定板图像，针对多张标定板图像，识别出标定板图像中的特征角点，基于识别到的特征角点，分别标定单个相机镜头的内参数，以及标定每个相机坐标系相对于标定板坐标系的外参数。其中，内参数标定主要是标定镜头的焦距、畸变等信息，保证相机能较好的还原真实场景，外参数标定主要计算每个相机坐标系相对于标定板坐标系的转换关系。由于每次刚体运动时，标定板出现在两两相机的公共视野中，因此，基于同一标定板坐标系，可以获得两两相机之间的坐标转换关系，从而完成多个相机之间的标定。

基于标定板的标定方式，主要是针对多相机的内参数未知的情况。因为如果缺少相机内参数，受畸变等原因的影响，相机拍摄的图像会出现明显的变形，进而也会影响多相机外参数的标定精度。使用标定板标定，需要控制标定板在不同相机间移动，转换视角，标定过程繁琐；并且，标定板图像的特征角点识别效果，与光照、标定板在视野中的位置关系较大，导致角点检测精度不高或者检测失败，影响标定结果。

在稀疏视角的三维重建***中，统一多相机之间的坐标系是必不可少的环节。只有完成了坐标***一，不同视角的相机数据才能转换到一个坐标系下，完成三维重建。实现多相机坐标***一，就是求得不同视角相机坐标系的转换关系，即标定相机外参数。

基于标定板的标定方式，是让不同视角的相机拍摄公共区域的标定板，以公共视野的标定板作为基准坐标系，完成多相机的标定。但是这种标定方式，需要让两两相机之间存在较大公共视野，对相机的布局造成了很大的限制，在一些场景中难以使用；并且，两两相机的夹角不宜过大，一般不能超过90°，否则，标定板在视野中的倾斜角度非常大，造成特征角点的提取精度较低，影响标定结果。由于多相机的部署要求较高，导致多相机标定成为多视角三维重建比较耗时的工作之一。

基于标定板标定的局限性，本申请实施例提供了一种多3D相机联合标定的方法，使用多面体的标定对象替代标定板，充分利用了3D相机自身的两大特点(包含深度信息和内参数已知)，采集不同视角下标定对象的深度图像，并从深度图像中提取点云数据集合，对每个视角下提取的点云数据集合和预先存储的标定对象模型的点云数据集合进行特征匹配，计算出每个视角相对基准模型的6Dpose进一步地基于各个视角相对基准模型的6Dpose，标定出两两相机之间的转换关系，此过程无需控制标定对象进行刚体运动，便可实现多3D相机的自动化标定；在初步标定后，为保证两两相机的标定精度，本申请实施例利用迭代最近点(Iterative Closest Point，ICP)算法，对两两相机的点云数据集合进行配准，提高局部对齐精度；并且，对数据配准的全局累计误差进行了优化，提高了3D相机之间的标定精度。

下面结合附图详细描述本申请的实施例。

图1示例性示出了本申请实施例提供的***架构图；如图1所示，多个3D相机100(包括但不限于100_1～100_3)组成了多相机标定***，多个3D相机分别部署于标定对象200的多个视角，标定对象200应占据每个3D相机视野的1/5以上，以保证各个视角的3D相机采集的标定对象200的深度图像中包含足够的点云数据。

基于图1示出的***架构，对多个3D相机100进行联合标定时，可以以标定对象200的坐标系为基准坐标系，对多个3D相机的坐标系进行统一。具体的，根据每个3D相机采集的点云数据，以及预先存储的标定对象的点云数据，确定每个相机坐标系与标定对象坐标系之间的转换关系，从而将每个3D相机坐标***一到标定对象坐标系下，完成多个3D相机的联合标定。

在一些实施例中，还可将多个3D相机的坐标***一到多个3D相机中任意一个3D相机坐标系下，因此，在部署多个3D相机时，相邻两个相机之间需存在公共视野，也就是图1中，两个相邻相机可以采集到标定对象200的同一位置。

需要说明的是，图1仅是一种示例，本申请实施例对3D相机的个数和类型不做限制性要求，例如，可以是两个双目相机、一个结构光相机和一个TOF相机。

本申请实施例中使用的标定对象可以是预先制作好的物体，并将其三维模型预先存储在标定软件中。其中，标定对象至少具备以下特征：

(1)标定对象有多个面，为了保证各个视角采集的点云数据与标定对象的点云数据较好的匹配，标定对象的表面平滑变形，并且，不同面的形状特征不同，保证各个视角的每相机拍摄到的标定对象的形状有较大差别，防止误匹配；

(2)为了保证每个视角的相机都能够采集到足够的点云数据，各个深度图像中标定对象所占的区域大于设定阈值，也就是说，标定对象在每个相机视野中的区域大于设定阈值；

(3)标定对象的材料为刚性材料，表面不会发生变形；

(4)标定对象的表面进行了漫反射处理，保证各个视角的相机不会因为镜面反光或吸光，无法获取到有效的深度图像。

基于上述标定对象，图2示例性示出了本申请实施例提供的多个3D相机联合标定的方法流程图，如图2所示，该流程由标定设备执行，其中，标定设备中安装了标定软件，用以实现本申请实施例中的标定方法，该方法主要包括以下几步：

S201：获取多个3D相机在不同视角下各自采集的标定对象的深度图像，并分别提取各个深度图像各自对应的点云数据集合。

在S201中，由于各个3D相机所在的视角不同，拍摄到的标定对象的形状不同，因此，每张深度图像中提取的点云数据集合不同。

由于相机标定是为了计算多个3D相机坐标系间的转换关系，要求两个3D相机之间存在公共视野，从而以公共视野中的标定对象坐标系为基准进行转换，因此，多个3D相机中两两相机采集的深度图像中存在标定对象的重叠区域。

可选的，为了保证两两相机之间存在重叠区域，可以使两两相机为相邻的两个相机。

S202：针对提取的各个点云数据集合中的任意一个点云数据集合，将一个点云数据集合中各个点云对的特征向量，分别与预先存储的标定对象的三维模型的点云数据集合中各个点云对的特征向量进行特征匹配，确定多个变换矩阵，并对多个变换矩阵进行聚类，得到一个点云数据集合的目标变换矩阵。

目前，常用的三维点云匹配方法包括：基于点对特征(Point Pair Feature，PPF)的匹配方法、基于迭代最近点的匹配方法、基于深度学习的匹配方法。其中，采用深度学习的匹配方法估计点云位姿，需要训练不同视角下的大量三维点云模型，训练过程复杂，因此，可采用了基于PPF的匹配方法和基于迭代最近点的匹配方法。

本申请实施例中，针对多3D相机的标定***，设计了专门的标定对象，该标定对象的不同面有较为明显的形状特征，且各个点云数据集合的初始位姿未知，因此，在执行S202时，可采用较为简单的PPF匹配方法。

需要说明的是，PPF匹配算法仅是一种示例，还可以采用点特征直方图(PointFeature Histograms，PFH)算法、快速点特征直方图(Fast Point Feature Histograms，FPFH)算法等。

为了区别描述，将从每个深度图像中提取的点云数据集合中的点云对称为第一点云对，将预先存储的三维模型的点云数据集合中的点云对称为第二点云对。

本申请实施例中，每个深度图像中提取的点云数据集合中的数据点，代表标定对象在真实空间的三维信息，该三维信息是以相应视角的3D相机坐标系为参考的。在执行S202时，将各个第一点云对与各个第二点云对进行特征匹配，可以将不同相机坐标系下的点云数据集合的三维信息统一到一个坐标系下。

具体的，通过PPF匹配方法，将从深度图像中提取各个点云数据集合，分别与标定软件中存储的标定对象的三维模型的点云数据集合进行特征匹配，从而获得各个视角的相机坐标系相对于标定对象坐标系的转换关系，记为W＝H*w’。其中，W为标定对象坐标系，w’为每个3D相机的相机坐标系，H为每个相机坐标系到标定对象坐标系的转换关系。因为标定对象在真实空间中不需要进行刚体运动，所以对于所有3D相机来说，W都是一致的。通过这种匹配方式，可以计算出每个相机坐标系到标定对象坐标系的转换关系。通过此转换关系H，可以求得任意两个相机坐标系间的转换关系，实现多个相机坐标系的对齐，从而完成了多个3D相机标定。

在执行S202时，针对各个点云数据集合，以提取点云数据集合Ri中的任意一个第一点云对(m1，m2)的特征向量为例，如图3所示，具体包括：

首先，确定第一数据点m1和第二数据点m2之间的距离d(d＝|m1-m2|)，第一数据点的法向量n1与第一数据点和第二数据点的方向向量之间的第一夹角α1，第二数据点的法向量n2与第一数据点和第二数据点的方向向量之间的第二夹角α2，以及第一数据点的法向量n1和第二数据点的法向量n2之间的第三夹角α3；

然后，根据距离d、第一夹角α1、第二夹角α2和第三夹角α3，确定第一点云对(m1，m2)的特征向量，公式表示为：

F(m1，m2)＝(d，α1，α2，α3) 公式1

针对标定软件中预先存储的标定对象的三维模型，采用同样的方式提取三维模型的点云数据集合中各个第二点云对的特征向量，在此不再重复。

从公式1点云对的特征向量的表征方式来看，是两个数据点之间的距离特征、法线夹角特征，不会随标定对象的变换而改变，具有旋转平移不变性，可以用作特征匹配。

提取到点云数据集合Ri中的各个第一点云对的特征向量和各个第二点云对的特征向量后，对各个第一点云对的特征向量和各个第二点云对的特征向量进行匹配，由于每个第一点云对和相应的第二点云对可以确定一个变换矩阵，这样，匹配后可以确定多个变换矩阵，进一步地，对确定的多个变换矩阵进行聚类，得到点云数据集合Ri的目标变换矩阵，其中，目标变换矩阵用于表征相应视角下的相机坐标系到标定对象坐标系的转换关系。

其中，本申请实施例对聚类算法不做限制性要求，包括但不限于k-means聚类算法、均值偏移聚类算法、DBSCAN密度聚类算法、高斯混合模型聚类算法、层次聚类算法。

S203：根据各个点云数据集合对应的目标变换矩阵，确定多个3D相机中两两相机之间的标定矩阵，以实现多个3D相机的联合标定。

在S203中，基于表征各个视角下的相机坐标系到标定对象坐标系的转换关系的目标变换矩阵，对多个3D相机坐标系进行对齐，完成多个3D相机的标定。

以多个3D相机中的第一相机、第二相机和第三相机为例，三个相机间保证两两相机存在公共视野，可以拍摄到标定对象的同一位置，即两两相机采集的深度图像中存在重叠的标定对象区域。

例如，如图4a所示，第一相机和第二相机可以拍摄到标定对象的同一位置，第二相机和第三相机可以拍摄到标定对象的同一位置，第一相机和第三相机也可以拍摄到标定对象的同一位置，则两两相机可以是(第一相机，第二相机)、(第一相机，第三相机)、(第二相机，第三相机)。

假设第一相机坐标系相对于标定对象坐标系的转换关系(目标变换矩阵)为W＝H1*w1’，第二相机坐标系相对于标定对象坐标系的转换关系(目标变换矩阵)为W＝H2*w2’，第三相机坐标系相对于标定对象坐标系的转换关系(目标变换矩阵)为W＝H3*w3’，由于标定对象未运动，所以标定对象坐标系W固定不变，则第一相机坐标系和第二相机坐标系之间的转换关系(标定矩阵)为：w1’＝H1^TH2*w2’，第二相机坐标系和第三相机坐标之间的转换关系(标定矩阵)为：w2’＝H2^TH3*w3’，第一相机坐标系和第三相机坐标系之间的转换关系(标定矩阵)为：w1’＝H1^TH3*w3’。

在一些实施例中，实际部署多个3D相机时，可能无法保证两两相机之间均存在公共视野，例如，如图4b所示，第一相机和第三相机可能无法拍摄到标定对象的同一位置，因此，为了保证两两相机必然拍摄到标定对象的同一位置，且存在的公共视野范围较大，可以使两两相机为相邻的两个相机，具体为(第一相机，第二相机)、(第二相机，第三相机)，此时，由于第三相机坐标系和第二相机坐标系可以相互转换，第二相机坐标系和第一相机坐标系也可以相互转换，从而可以确定第三相机坐标系和第一相机坐标系的转换关系，实现三个坐标系的统一。

两两相机联合标定的结果如图5所示，(a)部分为预先存储的标定对象的三维模型的点云数据集合，以及两两相机采集的真实场景中标定对象的点云数据集合，经过PPF匹配后，两两相机坐标***一到标定对象坐标系的结果如(b)部分所示。

在一些实施例中，由于一般3D相机的成像精度不高，在PPF匹配完成后，各个相机坐标系只是初步对齐，对齐精度都不够高。因此，可以以初步对齐结果作为初始位姿，进一步优化两两相机的标定矩阵，即优化两两相机坐标系间的转换关系。其中，两两相机坐标系的转换可通过旋转和平移实现，即标定矩阵包括旋转矩阵R和平移向量t。

在一种可选的实施方式中，根据两两相机对应的点云数据集合中数据点之间的距离，采用ICP算法进行点云匹配，对两两相机之间的标定矩阵进行更新，实现对两两相机之间的标定矩阵的局部优化。

ICP算法的基本原理是：在待匹配的第一点云数据集合和P第二点云数据集合Q中，按照设定的约束条件，寻找最邻近点对(p_i，q_i)，基于最邻近点对(p_i，q_i)计算出最优参数R和t，使得位姿误差函数最小，其中，位姿误差函数f(R，t)如下：

其中，n为两个点云数据集合中最邻近点对的数量，p_i为第一点云数据集合中的第i个数据点(记为源数据点)，q_i为第二点云数据集合中的第i个数据点(记为目标数据点)，R为旋转矩阵，t为平移向量。

具体实施时，根据第一相机对应的第一点云数据集合P和第二相机对应的第二点云数据集合Q，采用迭代方式对初始位姿误差函数进行调整，直至满足预设的收敛条件，得到目标位姿误差函数，将目标位姿误差函数确定的目标位姿矩阵，作为更新后的标定矩阵，参见图6，每一轮迭代过程如下：

S2041：针对第一点云数据集合中的各个源数据点，分别从第二点云数据集合中选取距离最近的目标数据点。

在S2041中，针对第一点云数据集合P中的各个源数据点p_i(p_i∈P)，确定第二点云数据集合Q中与其距离最近的目标数据点q_i(q_i∈Q)，得到多个最近邻点对(p_i，q_i)。其中，最近邻点对(p_i，q_i)间的距离小于设定阈值。

S2042：采用初始位姿误差函数，根据各个源数据点与各自对应的目标数据点，确定位姿矩阵。

在S2042中，将PPF匹配确定的旋转矩阵R和平移向量t作为初始位姿矩阵，将初始位姿矩阵对应的初始位姿误差和选取的多个最近邻点对(p_i，q_i)带入公式2中，确定中间的位姿矩阵。

S2043：根据确定的位姿矩阵，更新第一点云数据集合中的各个源数据点，并确定更新后的各个源数据点，与各个目标数据点之间的平均距离。

在S2043中，基于确定的中间的位姿矩阵，对第一点云数据集合P中的各个源数据点p_i进行旋转和平移变换，得到更新后的源数据点p′_i，变换公式为：

p′_i＝R*p_i+t 公式3

得到更新后的各个源数据点p′_i后，计算各个源数据点p′_i与各个目标数据点q_i的平均距离，计算公式如下：

S2044：根据平均距离，确定目标位姿误差函数。

在S2044中，确定平均距离与设定的距离阈值进行比较，若/>小于设定的距离阈值，表明满足预设的收敛条件，此时对应的位姿误差函数最小，可以作为目标位姿误差函数，否则，返回S2041，重新确定位姿矩阵。

在一些实施例中，当达到最大迭代次数时，将最小位姿误差函数作为目标位姿误差函数，并将最小位姿误差函数对应的旋转矩阵R和平移向量t作为更新后的标定矩阵。

在另一些实施例中，当选取的最近邻点对(p_i，q_i)个数不再增加时，将最小位姿误差函数作为目标位姿误差函数，并将最小位姿误差函数对应的旋转矩阵R和平移向量t作为更新后的标定矩阵。

标定矩阵更新后，两两相机坐标系的对齐结果如图7所示，(a)为两两相机坐标系基于PPF匹配后的初步对齐结果，(b)为两两相机坐标系基于ICP匹配后的优化对齐结果，从(a)和(b)的对比可知，优化后两两相机坐标系间的标定误差更小。

针对每个点云数据集合中的各个源数据点，寻找出满足距离要求的目标数据点，得到各个最近邻点对，基于各个最近邻点对，优化旋转矩阵和平移向量。通过不断迭代求解的方式，使得位姿误差函数最小，即最近邻点对之间的距离最小，从而求出两两点云数据集合的相对位置关系，完成标定矩阵的优化。

在一些实施例中，基于ICP算法确定两两相机之间的标定矩阵，可能会出现局部累计误差。通常的，三维重建中，各个3D相机之间的布局可以组成一个环形，因此，对两两相机之间的标定矩阵进行优化后，为减小局部累计误差，提高各个3D相机的整体标定精度，可以基于各个点云数据集合，对多个3D相机中两两相机之间的标定矩阵进行回环检测，以减小两两相机之间的标定矩阵的全局位姿误差，确保两两相机之间的标定误差小于设定的误差阈值，满足标定需求。

本申请的实施例中，3D相机的数量、视角数量和提取的点云数据集合的数量相同，假设视角数量为K，这K个点云数据集合中两个集合之间具有一定的重叠区域，同时，K个点云数据集合已经过通过匹配统一到同一个坐标系中，进一步地，基于K个点云数据集合，对两两相机之间的标定矩阵进行全局优化，全局优化的目的是确定旋转矩阵R_i(i＝1，2，...，K)和平移向量t_i(i＝1，2，...，K)，使得全局位姿误差e最小，此时，所有点云数据集合中同名点对之间的欧氏距离全局收敛，对应的旋转矩阵R_i和平移向量t_i为最优的刚体变换参数，即各个3D相机的整体标定精度最高。

全局位姿误差e的公式如下：

其中，m、n分别表示第m个视角和第n个视角对应的点云数据集合，K表示视角的数量，N_mn表示第m个视角和第n个视角对应的点云数据集合中重叠区域内同名点对的数量，P_mi和P_ni分别表示第i对同名点对在第m个视角和第n个视角的点云数据集合中的数据点，R_m和t_m分别表示将第m个视角的点云数据集合转换到基准坐标系下的旋转矩阵和平移向量，R_n和t_n分别表示将第n个视角的点云数据集合转换到基准坐标系下的旋转矩阵和平移向量，基准坐标系为标定对象的坐标系，同名点对为两个点云数据集合中距离小于设定阈值的两个数据点，直观上也可理解为两个3D相机拍摄的三维空间中标定对象的同一位置。

本申请的上述实施例中，将多个3D相机的坐标***一到一个坐标系下后，基于各个视角下采集的点云数据集合，对各个3D相机的标定结果进行全局优化，减小了两两相机之间的局部累计误差，提高各个3D相机的整体标定精度。

假设***中有4个3D相机，每个相机不属于不同的视角，并且相邻两个相机能够拍摄到标定对象的同一位置。基于上述实施例，图8示例性示出了本申请实施例提供的整体框架图。

如图8所示，包括采集模块、匹配模块、局部优化模块、全局优化模块。其中，采集模块用于从各个视角采集标定对象的深度图像，并从每张深度图像中提取点云数据集合；匹配模块用于从标定软件中加载预先存储的标定对象的三维模型，采用PPF算法，分别将提取的点云数据集合和三维模型的点云数据集合进行特征匹配，确定每个相机坐标系转换到标定对象坐标系的目标变换矩阵，基于两两相机之间的目标变换矩阵，将相机2坐标系、相机3坐标系、相机4坐标***一到相机1坐标系下，为局部优化模块提供初始位姿矩阵；局部优化模块利用两两相机拍摄的点云数据集合中的重叠部分，采用ICP算法，对两两相机的标定矩阵进行局部优化；全局优化模块基于各个3D相机采集的点云数据集合，对两两相机之间的标定矩阵进行回环检测，优化两两相机之间的标定矩阵的全局位姿误差，减小局部优化的累积误差，提高标定的整体精度。

基于相同的技术构思，本申请实施例提供了一种标定设备，参见图9，该标定设备包括处理器901、存储器902以及至少一个外部通信接口903；上述处理器901、存储器902以及外部通信接口903均通过总线904连接。

存储器902中存储有计算机程序，处理器901执行该计算机程序时实现前述多个3D相机联合标定的方法，并能达到同样的技术效果。

作为一种实施例，处理器901的数量可以是一个或多个，处理器901和存储器902可以是耦合设置，也可以是相对独立设置。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的计算机程序可以存储于一计算机可读取存储介质中，该计算机程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

基于同一技术构思，本申请实施例还一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，当上述计算机指令在计算机上运行时，使得计算机执行如前文论述的多个3D相机联合标定的方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (8)

1.一种多个3D相机的联合标定方法，其特征在于，包括：

获取多个3D相机在不同视角下各自采集的标定对象的深度图像，并分别提取各个深度图像各自对应的点云数据集合；

针对提取的各个点云数据集合中的任意一个点云数据集合，将所述一个点云数据集合中各个点云对的特征向量，分别与预先存储的所述标定对象的三维模型的点云数据集合中各个点云对的特征向量进行特征匹配，确定多个变换矩阵，并对所述多个变换矩阵进行聚类，得到所述一个点云数据集合的目标变换矩阵；

根据各个点云数据集合对应的目标变换矩阵，确定所述多个3D相机中两两相机之间的标定矩阵，以实现所述多个3D相机的联合标定；

针对所述多个3D相机中任意两两相机中的第一相机和第二相机，分别执行以下操作：根据所述第一相机对应的第一点云数据集合和第二相机对应的第二点云数据集合，采用迭代方式对初始位姿误差函数进行调整，直至满足预设的收敛条件，得到目标位姿误差函数，将目标位姿误差函数确定的目标位姿矩阵，作为更新后的标定矩阵；其中，每轮迭代过程包括：

针对所述第一点云数据集合中的各个源数据点，分别从第二点云数据集合中选取距离最近的目标数据点；

采用初始位姿误差函数，根据所述各个源数据点与各自对应的目标数据点，确定位姿矩阵；

根据确定的位姿矩阵，更新所述第一点云数据集合中的各个源数据点，并确定更新后的各个源数据点与各个目标数据点之间的平均距离；

根据所述平均距离，确定目标位姿误差函数。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

基于各个点云数据集合，对所述多个3D相机中两两相机之间的标定矩阵进行回环检测，以减小所述两两相机之间的标定矩阵的全局位姿误差。

3.如权利要求2所述的方法，其特征在于，所述全局位姿误差的公式如下：

其中，m、n分别表示第m个视角和第n个视角对应的点云数据集合，K表示视角的数量，N_mn表示第m个视角和第n个视角对应的点云数据集合中重叠区域内同名点对的数量，P_mi和P_ni分别表示第i对同名点对在第m个视角和第n个视角的点云数据集合中的数据点，R_m和t_m分别表示将第m个视角的点云数据集合转换到基准坐标系下的旋转矩阵和平移向量，R_n和t_n分别表示将第n个视角的点云数据集合转换到基准坐标系下的旋转矩阵和平移向量，所述基准坐标系为所述标定对象的坐标系。

4.如权利要求1所述的方法，其特征在于，每个点云对包含第一数据点和第二数据点，通过以下方式提取点云数据集合中各个点云对的特征向量：

针对各个点云对中的任意一个点云对，执行以下操作：

确定所述第一数据点和所述第二数据点之间的距离，所述第一数据点的法向量与所述第一数据点和所述第二数据点的方向向量之间的第一夹角，所述第二数据点的法向量与所述第一数据点和所述第二数据点的方向向量之间的第二夹角，以及所述第一数据点的法向量和所述第二数据点的法向量之间的第三夹角；

根据所述距离、所述第一夹角、所述第二夹角和所述第三夹角，确定所述一个点云对的特征向量。

5.如权利要求2-4中任一项所述的方法，其特征在于，所述两两相机采集的深度图像中存在标定对象的重叠区域。

6.如权利要求1-4中任一项所述的方法，其特征在于，所述标定对象至少具备以下特征：

所述标定对象有多个面，不同面的特征不同；

所述标定对象在各个深度图像中占据的区域大于设定阈值；

所述标定对象的材料为刚性材料；

所述标定对象的每个面进行了漫反射处理。

7.一种标定设备，其特征在于，包括处理器、存储器以及至少一个外部通信接口，所述处理器、所述存储器以及所述外部通信接口均通过总线连接；

所述外部通信接口，被配置为接多个3D相机在不同视角下采集的标定对象的深度图像；

所述存储器中存储有计算机程序，所述处理器被配置为基于所述计算机程序执行以下操作：

获取多个3D相机在不同视角下各自采集的标定对象的深度图像，并分别提取各个深度图像各自对应的点云数据集合；

针对提取的各个点云数据集合中的任意一个点云数据集合，将所述一个点云数据集合中各个点云对的特征向量，分别与预先存储的所述标定对象的三维模型的点云数据集合中各个点云对的特征向量进行特征匹配，确定多个变换矩阵，并对所述多个变换矩阵进行聚类，得到所述一个点云数据集合的目标变换矩阵；

根据各个点云数据集合对应的目标变换矩阵，确定所述多个3D相机中两两相机之间的标定矩阵，以实现所述多个3D相机的联合标定；

针对所述多个3D相机中任意两两相机中的第一相机和第二相机，分别执行以下操作：根据所述第一相机对应的第一点云数据集合和第二相机对应的第二点云数据集合，采用迭代方式对初始位姿误差函数进行调整，直至满足预设的收敛条件，得到目标位姿误差函数，将目标位姿误差函数确定的目标位姿矩阵，作为更新后的标定矩阵；其中，每轮迭代过程包括：

针对所述第一点云数据集合中的各个源数据点，分别从第二点云数据集合中选取距离最近的目标数据点；

采用初始位姿误差函数，根据所述各个源数据点与各自对应的目标数据点，确定位姿矩阵；

根据确定的位姿矩阵，更新所述第一点云数据集合中的各个源数据点，并确定更新后的各个源数据点与各个目标数据点之间的平均距离；

根据所述平均距离，确定目标位姿误差函数。

8.如权利要求7所述的标定设备，其特征在于，所述处理器还被配置为：

基于各个点云数据集合，对所述多个3D相机中两两相机之间的标定矩阵进行回环检测，以减小所述两两相机之间的标定矩阵的全局位姿误差。