CN104766292B - 多台立体相机标定方法和*** - Google Patents

Abstract

本发明提供了一种标定多台立体相机的方法，包括：对所述多台立体相机进行***时间同步；建立所述多台立体相机间的视场重叠区域关系图；从所获得图像中确定标定物的最高点的在各自立体相机的坐标系中的坐标；指定参考立体相机以及并建立假设的世界坐标系；基于参考立体相机所拍摄的至少四张图像中的标定物最高点的坐标，计算参考立体相机在世界坐标系中的外参；以及以所计算的参考立体相机在世界坐标系中的外参为参考，逐一根据所建立的多台立体相机间的视场重叠区域关系图，基于标定物处于一个具体视场重叠区域内时最高点的已知世界坐标，计算构成所述具体视场重叠区域的其中一个待标定立体相机在世界坐标系中的外参。

Description

多台立体相机标定方法和***

技术领域

本发明总体上涉及图像和视频处理领域。更具体地，本发明涉及一种利用高度已知的移动物体来标定多路双目立体相机外参的方法和装置。

背景技术

当前，对一个现代化的视频监控***的要求已经不再局限于和过去一样，只要求在二维图像平面上对物体进行跟踪识别；而是能在实际的三维立体空间中来精确定位和识别物体。正是由于这一需求的提出，立体相机标定目前已经成为计算机视觉应用领域的一个重要组成部分，如何将二维图像平面提取的信息准确地转换到三维立体空间中已成为许多研究者的研究课题。

近些年来，对物体进行定位的研究目标之一是扩大立体相机的跟踪范围但同时也要保证不降低对目标进行三维定位的准确度。为了达到这一目标，通常的做法是增加这些***中立体相机的数量，使得该***能覆盖更广的区域同时能捕获到高质量的视频画面。因此，同时对多台相机进行协调管理，将它们的跟踪结果统一起来就变得十分重要。更确切地说，就是要解决两方面的问题。一方面是将每台立体相机在立体相机坐标系下的跟踪结果统一到一个公共的坐标系中，以方便后续多立体相机跟踪结果融合的处理。另一方面是将这个统一的坐标系与真实的物理世界联系起来。在此，本发明将上述两个问题的解决过程统称为立体相机的标定。

现有的立体相机标定的方法大致可以分成自标定方法和基于物体的标定方法两大类。基于物体的标定方法又可以再细分为基于三维物体的标定方法和基于二维物体的标定方法。

自标定方法一般是通过将立体相机绕一个未知的静止的场景移动来实现的。从本质上说，这种标定方法就是找不同图像间点或者线的对应关系，进而求出满足对极约束的立体相机参数。但是，这种方法的一个显著的局限性就是必须找到不同图像间的足够多的点线对应关系，但当场景中的特征较少(如角点)，场景非静止有显著的变化，或是场景和相机是相对静止的时候，该方法将失效。另外一种自标定的方法是通过找消失点来实现的，而消失点可以通过场景中存在的一些标记(如建筑物相互平行的边)来定位，进而求出联系消失点与这些平行线的立体相机参数。

基于物体的标定方法利用几何信息已知的标定物来实现参数的求取。当这些已知的几何信息准确时，这种标定方法的标定精度通常较高。用于标定的物体可以是三维的也可以是二维的。基于三维物体的标定技术是一种最通用的标定技术，它要求用于标定的物体的三维几何信息在标定开始时已知。三维点的坐标和它们在图像平面上的投影之间的转换是通过一个投影矩阵(projection matrix)来实现的。当获得了足够多的三维与二维的对应关系之后，就可以通过直接的线性变换(DLT)来求解投影矩阵中所包含的参数。采用这种方法所获得的标定精度通常较高。与较为复杂的基于三维物体的标定方法相比，基于二维物体的立体相机标定方法则利用一些平面上已知的几何信息来完成标定。这种方法使得标定的准备更加简易可行。操作者通常需要在标定开始前将一些已知的几何图案粘贴到硬纸板上(如采用棋盘格)，然后在待标定的立体相机前移动该硬纸板数次(至少两次)。这种方法是通过硬纸板上的点与图像平面上对应点的单应性来求解立体相机参数的。相对于基于三维物体的标定方法，基于二维物体的标定方法的标定物的准备更加简易、好操作，并且也能达到较好的标定精度。

专利US 2012/0229627 A1设计了一个用于检测移动物体的图像分析***，同时可以分析移动物体的速度。该***考虑了图像的透视和尺度等变化，通过立体相机的标定，将图像中的坐标点转换到真实的世界坐标系中。对于该***，它需要事先将4个反射标记物放置于道路的两旁以定义道路路面。然后测量出由这4个反射标记物确定的道路区域的长度和宽度，然后将测量结果输入到***中以完成立体相机的标定。

专利US005768443A提出了一种标定多立体相机***的方法，该***中的每台立体相机可以同时拍摄到同一个物体各个不同部分的图像。该方法的最终目标是将多台相机的视野统一到一个公共坐标系中来进行精确的测量，即使图像中存在图像畸变。该发明的步骤包括：(1)将待标定的摄相机固定于包含有标记的平台上；(2)确保每台相机能拍摄到平台上的标记；(3)找出拍摄到的每张标记物图像上的特征点；(4)校正图像中特征点的失真；(5)将所有特征点转换到一个统一的全局坐标系中。该发明一方面考虑了如何将每台相机的图像坐标系转换到一个统一的物理坐标系中，另一方面，考虑了如何去除图像的失真。另外，它的标定是通过平台上静止的标记来完成的。

如上所述，立体相机自标定技术与基于标定物的标定技术相比，其操作起来更加方便，不需要事先准备如棋盘格之类的标定物。然而，对于基于寻找消失点和消失线的自标定技术，尽管它不要求有标定物，但是它要求场景中存在平行线。在一些文献中，这种技术采用一个出现在立体相机工作视野中行走的人来标定相机(因为假设人在水平面上行走，人的身体垂直于水平面，若将人的身体抽象为一根垂直于地面的垂线，则在不同的时刻，人的身体是相互平行的)。但该方法要求行走的人的脚对于相机可见，但这对于许多室内场景是不可行的，比如办公室场景中的存在工作隔间的情况。

发明内容

为了克服上述技术的缺点，本发明提出了一种基于移动物体的标定多个双目立体相机外参的方法。所述标定多台立体相机的方法包括：

根据本发明的一个方面，提供了一种标定多台立体相机的方法，包括：对所述多台立体相机进行***时间同步；基于每台立体相机输出的包含已知高度的标定物的跟踪结果图像所附加的时间戳信息，建立所述多台立体相机间的视场重叠区域关系图；从所获得图像中确定标定物的最高点的在各自立体相机的坐标系中的坐标；从所述多台立体相机中指定参考立体相机，并以所指定的参考立体相机的坐标系的原点在地面的投影点建立假设的世界坐标系；基于参考立体相机所拍摄的至少四张图像中的标定物最高点的坐标，计算参考立体相机在世界坐标系中的外参；以及以所计算的参考立体相机在世界坐标系中的外参为参考，逐一根据所建立的多台立体相机间的视场重叠区域关系图，基于标定物处于一个具体视场重叠区域内时最高点的已知世界坐标，计算构成所述具体视场重叠区域的其中一个待标定立体相机在世界坐标系中的外参。

根据本发明标定多台摄像机的方法，基于每台立体相机输出的包含被跟踪对象的结果所附加的时间戳信息，建立所述多台立体相机间的视场重叠区域关系图的步骤包括：比较所部署的任意两台立体相机对跟踪对象的跟踪结果的时间戳，若两台立体相机的跟踪结果存在相同的时间戳信息，则可以判断这两台立体相机间存在视场区域的重叠，并将这种关系用视场重叠区域关系图来表示，其中视场重叠区域关系图中的节点对应于所述多台立体相机中的一台立体相机，而节点之间的边代表该边所连接的两个节点所代表的立体相机之间存在视场重叠关系。

根据本发明标定多台摄像机的方法，从所获得图像中确定标定物的最高点的在各自立体相机的坐标系中的坐标包括：从每台立体相机拍摄到的每一帧中分割出属于标定物的前景像素；以及根据每一台立体相机的内部参数参提取到标定物的最高点的图像坐标，并将所提取的标定物的最高点的图像坐标转换为在对应立体相机坐标系下的坐标。

根据本发明标定多台摄像机的方法，从所述多台立体相机中指定参考立体相机可以以手工指定或者自动选择的方式来指定。

根据本发明标定多台摄像机的方法，计算构成所述具体视场重叠区域的其中一个待标定立体相机在世界坐标系中的外参包括：利用参考立体相机的在世界坐标系中的外参，计算在某一时间戳时处于包含在参考立体相机视场中的视场重叠区域内标定物最高点在世界坐标系中的坐标；以及获取同一时间戳下其视场包含所述视场重叠区域的待标定立体相机所拍摄的图像，并基于该图像内标定物最高点在世界坐标系中的坐标计算该待标定立体相机的光心在世界坐标系中的外参。

根据本发明标定多台摄像机的方法，计算构成所述具体视场重叠区域的其中一个待标定立体相机在世界坐标系中的外参还包括：利用已标定立体相机的在世界坐标系中的外参，计算在某一时间戳时处于包含在已标定立体相机视场中的视场重叠区域内标定物最高点在世界坐标系中的坐标；以及获取同一时间戳下其视场包含所述视场重叠区域的另一个待标定立体相机所拍摄的图像，并基于该图像内标定物最高点在世界坐标系中的外参计算该另一个待标定立体相机的光心在世界坐标系中的外参。

根据本发明的另一个方面，提供了一种标定多台立体相机的***，包括：同步单元，对所述多台立体相机进行***时间同步；视场重叠区域关系图创建单元，基于每台立体相机输出的包含已知高度的标定物的跟踪结果图像所附加的时间戳信息，建立所述多台立体相机间的视场重叠区域关系图；图像点坐标获取单元，从所获得图像中确定标定物的最高点的在各自立体相机的坐标系中的坐标；世界坐标系创建单元，从所述多台立体相机中指定参考立体相机，并以所指定的参考立体相机的坐标系的原点在地面的投影点建立假设的世界坐标系；参考相机标定单元，基于参考立体相机所拍摄的至少四张图像中的标定物最高点的坐标，计算参考立体相机在世界坐标系中的外参；以及非参考相机标定单元，以所计算的参考立体相机在世界坐标系中的外参为参考，逐一根据所建立的多台立体相机间的视场重叠区域关系图，基于标定物处于一个具体视场重叠区域内时最高点的已知世界坐标，计算构成所述具体视场重叠区域的其中一个待标定立体相机在世界坐标系中的外参。

附图说明

通过阅读结合附图考虑的以下本发明的优选实施例的详细描述，将更好地理解本发明的以上和其他目标、特征、优点和技术及工业重要性。

图1所示的是用于解释在基于多个双目立体相机的标定***中将每台部署的相机的跟踪结果转换到一个统一的世界坐标系中的示意图；

图2是根据本发明一个实施例的解释一组相机中的参考立体相机的概念的示意图。

图3所示的是图释根据本发明一个实施例从图像中提取到的一个移动物体最高点与该点的在世界坐标系下对应坐标点之间对应关系的示意图。

图4是根据本发明一个实施例的通过移动物体完成对多台双目立体相机进行标定的***图。

图5所示的是根据本发明实施例的用于标定多台立体相机的***的配置的示意图。

图6是根据本发明实施例的用于图5所示的***中的标定多台立体相机的操作流程图。

图7是根据本发明一个实施例的标定多个摄像机的场所示意图。

图8所示的是根据本发明一个实施例判断两台双目立体相机的视场交叠情况的示意图。

图9所示的摄像机视场重叠关系图。

图10A和10B显示的是一帧中一个行人的前景掩膜。

图11是根据本发明一个实施例的通过选择合适的立体相机作为参考相机来提高多台双目相机的标定精度的示意图。

图12是根据本发明一个实施例的解释如何简化世界坐标系与参考立体相机坐标系之间转换关系的示意图。

图13是根据本发明实施例的基于参考立体相机的标定结果和非参考立体相机同步拍摄的图像来标定非参考立体相机的示意图。

具体实施方式

为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。

在采用多台立体相机进行目标跟踪时，为了融合每台相机的跟踪结果，提高最终***跟踪准确度，需要将每台部署好的立体相机的立体相机坐标转换到一个统一的世界坐标系中。

在详细描述本发明之前，首先有必要解释阐明“立体相机标定”一词的具体含义。“立体相机标定”是指根据立体相机获取到的图像信息，确定与立体相机内部结构相关的参数和不同坐标系间转换参数的过程。从上述定义可以看出，立体相机标定工作主要包含两方面的内容：求取立体相机的内参和外参。更确切地说，立体相机的内参包括焦距、主点的位置等参数，而外参则指的是绕着X、Y、Z三个坐标轴分别做旋转的角度，以及沿着X、Y、Z三个坐标轴方向做平移的位移。两个不完全重合的三维笛卡尔坐标系可以通过上述三个旋转角度和三个平移向量的变换使之完全重合，这两个坐标系间的变换可以表示为下式：

这里需要强调的是，本发明基于所有立体相机的内部参数是已知的。待求的是每个立体双目立体相机的外部参数，即将每个立体相机坐标系(CCS)下的坐标转换到一个统一的世界坐标系(WCS)下。

图1所示的是用于解释在基于多个双目立体相机的标定***中将将每台部署的相机的跟踪结果转换到一个统一的世界坐标系中的示意图。图1展示了一个典型的监控场景，在该场景中，多个物体如人，在一个公共的平面上(如地面)移动。这里我们关注的问题是如何将该场景中部署的每一台立体相机的跟踪结果进行统一管理。更确切地说，给定一组监控立体相机，立体相机的工作视野有部分的交叠，物体在立体相机视野覆盖的平面上(如地平面)运动，每个相机能对出现在其视野中的物体进行跟踪。在得到每个相机的跟踪结果后(立体相机坐标系中的跟踪结果)，如何将它们统一起来，并将各个相机的跟踪结果转换到真实的物理空间中，以为后续多立体相机跟踪结果融合模块提供支持来提高最终该***跟踪定位的准确度。

图2是根据本发明一个实施例的解释一组相机中的参考立体相机的概念的示意图。所有部署的双目相机的标定是采用一种顺序化的方式进行的，而非一步完成所有部署相机的标定。本发明将第一个完成标定的相机称为参考立体相机，如图2所示。在图2中，部署了三台双目立体相机，三角形表示每台相机的工作视野，箭头则表示部署相机的标定顺序。图2中，1号立体相机首先被标定，因此这里将1号立体相机作为参考立体相机。

图3所示的是图释根据本发明一个实施例从图像中提取到的一个移动物体最高点与该点的在世界坐标系下对应坐标点之间对应关系的示意图。当移动物体的身高已知且世界坐标系的XoZ平面与地平面重合，则从图像中提取到的最高点在世界坐标系下的Y的坐标值等于移动物体的身高，这样一来该点在世界坐标系中Y方向的坐标就已知了。本发明利用这一条件来建立参考相机坐标系与世界坐标系间的转换关系。这里的移动物体或标定物并不一定限于人，任何能在平面移动并且高度已知的物体均可以被用作本发明的标定物。如图3所示。图3的左图为一个视频序列，人头顶的空心点表示提取到的该人身体最高点。当该人的身高已知时，这些空心点有着重要的物理含义，是本发明完成标定的核心点之一。在右图中，我们将从每一帧中提取的这些头部最高点置于世界坐标系中，其中点到地平面的垂直距离应为该人的身高，并且这些点在Y方向的坐标值也等于该人的身高值，这样一来该点在世界坐标系中Y方向的坐标就已知了。

图4是根据本发明一个实施例的通过移动物体完成对多台双目立体相机进行标定的***图，主要给出了本发明的输入和输出。其中，输入可以为彩色图或灰度图，以及深度图。本方面的输出为每台部署的双目立体相机的外参。

图5所示的是根据本发明实施例的用于标定多台立体相机的***的配置的示意图。如图5所示，用于标定多台立体相机的装置10包括：时间同步装置1001、重叠图创建单元1002、标定物分割装单元1003、最高点提取单元1004，坐标转换单元1005、参考立体相机选定单元1006、世界坐标系创建单元1007、参考立体相机标定单元1008、标定物最高点定位单元1009、非参考立体相机标定单元1010以及标定外参输出单元1020。

图6是根据本发明实施例的用于图5所示的***中的标定多台立体相机的操作流程图。如图6所示，图5所示的***启动之后，时间同步单元1001首先需要对所有立体相机进行时间同步处理。通过同步处理，使得每个立体相机的内部时钟同步，并且在同时拍摄的图像上具有相同的时间戳。由于每台立体相机拍摄到的每一帧都会被附加一个时间戳来记录该帧是该相机何时拍摄到的，因此通过在标定开始之前将所有待标定的部署好了的立体相机同步好，使得本发明的外参标定装置可以通过每帧图像所附带的时间戳来判断两个不同相机拍摄到的两帧是否是同一个时刻拍摄的，或者说这两帧是否拍摄到了同一时刻的场景。

为了进行后续的立体相机的标定，需要采用一个已知高度的标定物，例如已知高度的人在所有立体相机的视场中行走，从而使得所有立体相机都能够拍摄到该已知标定物的连续图像帧。这些图像帧将作为后续标定过程的输入图像。为了实现对相机的连续逐一标定，待标定的部署好的任何一台立体相机必须和至少其它另外一台立体相机有工作视野的交叠。为此，通过所获得输入图像以及图像所附带的时间戳，重叠图创建单元1002建立相机的视场之间的重叠区域图。

图7是根据本发明一个实施例的标定多个摄像机的场所示意图。如图7所示，其中部署了6台双目立体相机，每台双目立体相机给出了对应的编号。尽管图7中给出了6台双目立体相机，但是本发明可以应用到任意数量的双目立体相机，例如4、5、7、8、9…。图7中三角形区域表示每个相机的各自的可拍摄的视场，而相邻两个三角形的交叠阴影区域代表两个不同相机间视场的交叠区域。图8所示的是根据本发明一个实施例判断两台双目立体相机的视场交叠情况的示意图。图8中给出了当一个人或其他对象途经两台相机视场交叠区域时的情况。由于两个不同相机有视场的交叠，当一个人位于该视场交叠区域时，这两台摄像机能同时将其拍摄到。当所有部署的相机进行时间同步处理后，若是该人出现在两台相机视场交叠区域，则两台摄像机会输出具有相同时间戳的跟踪结果。因此，可以通过比较两台相机是否具有相同时间戳的跟踪结果来判断这两台是否有视场的交叠。返回参见图7，其中显示了6台双目相机之间存在视场交叠情况。一个人在这6台摄像机的视场中走动，图中带箭头的曲线代表该人的行进轨迹。当采用图8所示的上述方式比较完每一对摄像机跟踪结果的时间戳后，可以建立如图9所示的摄像机视场重叠关系图。如图9所示，带编号节点代表所部署的双目立体相机，编号对应于相机自身的编号，而连接两节点的边代表两台相机之间存在视场的交叠。

在此基础上，本发明的标定多台立体相机的装置10通过如下操作步骤来进行多台立体相机的标定。

首先，在步骤S11处，从每台立体相机拍摄到的每一帧中分割出属于标定物的前景像素。举例来说，标定物分割装单元1003根据深度信息或者颜色信息，或者是两者的结合建立起当前场景的背景模型。然后标定物分割装单元1003根据建立的背景模型，采用背景减除法，获得每台立体双目相机每一帧图像上的对应于移动物体或标定物的前景像素。基于背景建模的前景提取技术是一项通用的技术，背景建模可以使用静态背景建模，也可以使用动态背景建模，例如GMM(混合高斯模型)，因此，在此不进行描述。

随后，在步骤S12处，最高点提取单元1004从标定物分割装单元1003所分割提取的属于移动物体的掩膜像素中选出最高点，并获得最高点的图像坐标。如图10A显示的是一帧中一个行人的前景掩膜，其中白色像素代表属于该人的像素点，黑色像素代表不属于该人的像素点。从该图可知，前景掩膜中存在细小的噪声，并且人的身体部分存在“空洞”。因此，需要先对所提取的前景掩膜进行预处理操作(如滤波等)，预处理后的前景掩膜如图10B所示。接下来，从预处理后的前景掩膜中找出对应于头部最高点的像素，如图图10B中人形头部中的黑点所示。尽管该黑点显示的并不是人形头部的最高点，但是这种处理是为了使得该点与其它黑色部分区分开来以便示意性显示。

在最高点提取单元1004获得每个相机所获得每帧凸显的最高点的图像坐标之后，在步骤S13处，坐标转换单元1005根据已知的立体相机的内参计算最高点提取单元1004提取到的最高点在该立体相机坐标系下的坐标，计算公式如下：

这里(u,v)代表的是最高点在图像坐标系下的坐标，(u₀,v₀)则代表图像坐标系下主点的图像坐标，而dx、dy则分别代表每个像素沿着水平和竖直方向在真实世界中的物理长度，其单位一般为mm/pixel；Z_c表示该点的深度信息，它由立体双目相机直接给出；f则表示立体相机的焦距。

随后，在步骤S14处，输入单元11输入标定物的已知高度。当然，该步骤也可以在本发明的装置启动之后立即输入，也可以在任何计算需要输入该高度时随时输入。通过用户的输入，获得移动物体的高度。这一高度值将用于建立求解参考相机外参的方程中。

然后，在步骤S15处，参考立体相机选定单元1006基于用户的输入相机编号来制定参考立体相机或者通过自动的方式来选取参考立体相机。自动选取的标准可以根据提取的最高点深度的精度和考虑减小所有相机在标定过程中的传播误差来进行。

图11是根据本发明一个实施例的通过选择合适的立体相机作为参考相机来提高多台双目相机的标定精度的示意图。总的说来，至少存在两个决定所有相机总体标定精度的因素。第一个因素是提取的移动物体最高点深度的准确性，即点Zc值的准确性。从表达式(2)、(3)和后面将描述的表达式(6)式可以看出，这些关于待求的外参等式的系数都包括点的深度值Zc。因此，当Zc不准确时，方程的解将产生偏差，进而影响标定结果的精度。而双目立体相机给出的深度精度会随着距离的增加而降低，因此每台立体双目相机都有一个最佳的工作距离。所以，当用于立体相机标定的移动物体的最高点在相机最佳工作距离内提取到时，点深度值的精确度将相对较高，进而会得出更加精确的标定结果。在图11中，每台立体双目相机的最佳工作区域用梯形标记了出来。

而第二个影响总体标定精度的因素是当我们利用参考立体相机来依次标定非参考立体相机时的误差传播。图11示意性显示了同一情况下选择不同参考摄像机的不同跳数的情况。如图11所示，其中显示了图1中的1-3号摄像机。其中三角形代表每台相机的视场范围。阴影区域为两摄像机间的视场交叠。图中的实线箭头表示当指定1号摄像机为参考相机，标定非参考相机时的误差传播情况，其中根据1号摄像机标定2号相机有一次误差传播，标定3号摄像机时有两次误差传播(即从1号摄像机标定2号相机一次误差传播以及从2号摄像机标定3号相机一次误差传播)。因此，以1号摄像机为参考相机进行位置标定的误差传播总次数为3次。而虚线箭头表示当选择2号摄像机为参考相机时的误差传播情况，根据2号参考摄像机的标定结果分别标定1号和3号摄像机时各一次，因此误差传播总次数为2次。假设每次误差传播的程度相同，则显然，以2号摄像机为参考相机的标定结果要优于以1号摄像机为参考相机的标定结果，因为选择2号摄像机为参考相机时误差传播总次数小于选择1号摄像机时的误差传播总次数，因此，在图所示的视场条件下，选择2号相机为参考摄像机将使得总体标定精度更高。综上所述，为了提高所有部署相机的整体标定精度，应当至少考虑上述两个因素。

鉴于本发明只应用到所选定参考相机的结果以及涉及到标定其他非参考相机，因此，在本申请中不对参考相机的选定过程进行具体描述。

在选定参考立体相机之后，世界坐标系创建单元1007基于参考立体相机建立假设的世界坐标系(就是应用本发明的***的世界坐标系)。具体而言，就是要在参考立体相机的摄像机坐标系和假设的世界坐标系之间建立转换关系，即获取参考立体相机在假设坐标系的外参。图12是根据本发明一个实施例的解释如何简化世界坐标系与参考立体相机坐标系之间转换关系的示意图。为了便于描述，图12中只画出了两台立体双目相机，并且假定图11中右侧的相机为参考立体相机。这里，假设世界坐标系的XOZ平面与地平面重合，而世界坐标系的Y轴与地平面垂直。而我们将立体相机坐标系XOZ平面旋转到与地平面平行后，立体相机坐标系原点在地平面的投影点作为世界坐标系的原点。世界坐标系X和Z轴的方向分别与旋转后的立体相机坐标系的X与Z轴的方向一致。图中Hc为参考相机离地平面的垂直高度，而图中Hcb代表非参考立体相机距离地面的垂直高度。

根据上述假设，简化了参考立体相机坐标系与世界坐标系的关系，将世界坐标系的XOZ平面与地平面重合，这样可以将待求的6个外部参数减少为3个，即绕X轴和Z轴旋转的角度和沿着Y轴方向的位移(即立体相机距离地面的高度Hc)。从而可知，绕着Y轴旋转的角度为0度。返回参考图3，如图3的右图所示，通过将从每一帧中提取的这些头部最高点置于世界坐标系中，其中点到地平面的垂直距离应为该人的身高，并且这些点在Y方向的坐标值也等于该人的身高值，这样一来该点在世界坐标系中Y方向的坐标就已知了。由此，世界坐标系创建单元1007基于参考立体相机中连续获得的标定物的最高点的坐标以及已知其在世界坐标系中的Y方向坐标建立假设世界坐标系。

随后，在步骤S16处，参考立体相机标定单元1008根据图12所示的简化后的世界坐标系的假设，建立方程求解旋转矩阵和平移向量。未做简化的旋转矩阵和平移向量以及简化后的旋转矩阵和平移向量可以分别表示为：

这里，Hc表示参考立体相机距离地面的垂直高度。

将(4)式和(5)代入到(1)式后，(1)式可以写成：

上式中，等式的左边(X_W,Y_W,Z_W)表示点在世界坐标系中的坐标，(X_C,Y_C,Z_C)则表示点在参考立体相机的立体相机坐标系中的坐标。由图3和图13可知，(X_C,Y_C,Z_C)所代表的点为在步骤S13中最高点提取单元1004所获得的移动物体最高点，因此它在世界坐标系坐标(X_W,Y_W,Z_W)的Y_W,分量等于人的物理高度，即图12中的Hp，而X_W和Z_W分量未知。因此，由(6)式，可以推导出以下等式：

X_C*sinθ_z+Y_C*cosθ_z*cosθ_x-Z_C*cosθ_z*sinθ_x+H_c＝H_p (7)

其中，sinθ_z、cosθ_z*cosθ_x、cosθ_z*sinθ_x和H_c分别为未知参数，H_c和H_p分别代表立体相机的高度和移动物体的高度，H_p由用户在步骤S14处通过输入单元11输入所得。而X_C、Y_C和Z_C表示(2)、(3)式中最高点在立体相机坐标系中的坐标。由(7)可知，它是一个关于sinθ_z、cosθ_z*cosθ_x、cosθ_z*sinθ_x和H_c四个未知参数的线性方程，因此只要有关于该四个未知参数的四个方程就可以解出这四个未知参数，进而可以求出参考立体相机的三个外参。

然而，由于存在各种噪声的影响(如无法保证每一帧都精确地自动提取图像中人的最高点的图像坐标)，因此所使用的被提取头部最高点的个数通常多余4个，也就是说，通常会使用多于4帧图像的最高点的坐标。换言之，建立的方程的数目多于未知参数的个数，即建立超定方程来降低操作过程中误差对标定的影响。建立起超定方程后，可以进一步运用一些方法来更加准确地求解未知参数，如最小二乘法。

在求得sinθ_z、cosθ_z*cosθ_x、cosθ_z*sinθ_x三个未知参数后，可以通过反三角函数求取绕X轴和Z轴旋转的角度，进而求出旋转矩阵R。该旋转矩阵R将用于基于每个非参考立体相机中标定物最高点的坐标以及与其具有视场重叠区域的已知外参的立体相机的外参，对后续未标定非参考立体相机进行标定。

具体而言，在步骤S17处，标定物最高点定位单元1009计算参考相机拍摄到的图像中的标定物的最高点在世界坐标系中的坐标以及已经标定的非参考立体相机所拍摄到的图像中的标定物的最高点在世界坐标系中的坐标。给定一系列的提取到的移动物体最高点在立体相机坐标系中的坐标{(X_ci,Y_ci,Z_ci,T_i|i＝1,...n)}，其中T_i代表第i个最高点的时间戳。当参考立体相机标定单元1008在步骤S16处求出参考立体相机的外参后，这些最高点所对应的世界坐标系的坐标可以将{(X_ci,Y_ci,Z_ci,T_i|i＝1,...n)}代入到(6)中求出。

最后，在步骤S18处，基于标定物最高点定位单元1009所定位的已标定外参的立体相机所拍摄的图像中的标定物最高点在世界坐标系中的坐标，以及基于坐标转换单元1005所获得的与所述标定外参的立体相机具有视场重叠区域的待标定立体相机所拍摄的具有对应时间戳的图像中标定物最高点相机内坐标，非参考立体相机标定单元1010以参考立体相机的外参为出发点，按照视场重叠区域图所显示的重叠关系，逐一标定非参考立体相机的外参，即在世界坐标系中的外参。

图13是根据本发明实施例的基于参考立体相机的标定结果和非参考立体相机同步拍摄的图像来标定非参考立体相机的示意图。如图13所示，其中显示了两台立体双目相机。本发明假设右边的相机为参考相机并且已经在操作步骤S16中由参考立体相机标定单元1008的操作完成了标定，即求出了旋转矩阵和平移向量。在某个时刻Ti，已经由时间同步单元执行的同步操作被同步的参考立体相机和与参考立体相机具有视场重叠区域的非参考立体相机同时拍摄到了出现在它们视场重叠区域中的标定物或人。在时刻Ti的视频帧如图13所示，图中的空心点表示提取到的人的最高点。经过标定物最高点定位单元1009在操作步骤S17处对所拍摄的图像中标定物最高点在世界坐标系的定位，将最高点在参考相机坐标系的坐标(X_ci,Y_ci,Z_ci,T_i)_ref已被转换到了如图所示的世界坐标系中，记为(X_wi,Y_wi,Z_wi,T_i)，从而确定参考立体相机所拍摄的图像中的标定物最高点在世界坐标系中的坐标。

具体而言，在Ti时刻，左边非参考立体相机提取到的该人的最高点在其立体相机坐标系中的坐标记为(X_ci,Y_ci,Z_ci,T_i)_non-ref。因为本发明是为了将每台双目立体相机拍摄到的物理空间中的同一个点统一到一个世界坐标系中，因此该非参考相机提取的该点所对应的世界坐标就应该等于参考相机计算出的该点的世界坐标(X_wi,Y_wi,Z_wi,T_i)。

因此，上述表达式(1)中将非参考立体相机的立体相机坐标系中的点转换到统一的世界坐标系中的外参，能通过至少已知最高点在四个不同时刻的非参考立体相机坐标系中的坐标(X_ci,Y_ci,Z_ci,T_i)_non-ref和其对应的由参考立体相机输出的世界坐标(X_wi,Y_wi,Z_wi,T_i)建立方程组而求得。

需要指出的是，在实际的标定过程中，为了使标定结果更加准确，作为标定物的移动物体的行走轨迹应该均匀地覆盖所有相机的工作视野。为了更加准确地提取移动物体的最高点，当***开始提取移动物体的最高点时，相机的工作视野中尽量不要再出现其它的移动物体。

通过上述对本发明的描述可知，本发明的标定装置和标定方法除了要求移动物体或标定物的高度外，不需要任何其它的物理测量，就可以对所有立体相机的外参进行逐一标定。对于标定物，本发明采用出现在场景中的行人作为标定物。但是这里的移动物体并不限于行人，任何高度已知的移动物体均可以作为本发明的标定物。这里将行人作为本发明的标定物是因为人一般都知道自己的身高，这样可以省去为了进行标定而测量的工作。

而且采用本发明，对于立体相机的要求仅仅在于要求每个部署的相机至少与另外一个部署的相机具有视场交叠。基于此，从参考立体相机出发，对所有立体相机逐一进行标定，而不是一次标定。因此，与现有的标定方式相比，本发明不需要预先放置任何反射标定物和预先准备标记平台并且标定数据的收集也是在移动物体移动过程中来获取到。因此本发明的标定装置和标定方法除了要用到一个高度已知的移动物体作为标定物(如行人)外，不需要任何其它标定物。更重要的是，当该移动标定物的底部(如人的脚)被遮挡到也不会影响本发明的标定结果。因此，该方法不仅适用于室外环境下的立体相机的标定，同时也适用于室内环境的标定，如带有工作隔间的办公室环境。

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。

因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。

还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (7)

1.一种标定多台立体相机的方法，包括：

对所述多台立体相机进行***时间同步；

基于每台立体相机输出的包含已知高度的标定物的跟踪结果图像所附加的时间戳信息，建立所述多台立体相机间的视场重叠区域关系图；

从所获得图像中确定标定物的最高点在各自立体相机的坐标系中的坐标；

从所述多台立体相机中指定参考立体相机，并以所指定的参考立体相机的坐标系的原点在地面的投影点建立假设的世界坐标系；

基于参考立体相机所拍摄的至少四张图像中的标定物最高点的坐标，计算参考立体相机在世界坐标系中的外参；以及

以所计算的参考立体相机在世界坐标系中的外参为参考，逐一根据所建立的多台立体相机间的视场重叠区域关系图，基于标定物处于一个具体视场重叠区域内时最高点的已知世界坐标，计算构成所述具体视场重叠区域的其中一个待标定立体相机在世界坐标系中的外参。

2.如权利要求1所述的标定多台立体相机的方法，其中基于每台立体相机输出的包含被跟踪对象的结果所附加的时间戳信息，建立所述多台立体相机间的视场重叠区域关系图的步骤包括：

比较所部署的任意两台立体相机对跟踪对象的跟踪结果的时间戳，若两台立体相机的跟踪结果存在相同的时间戳信息，则可以判断这两台立体相机间存在视场区域的重叠，并将这种关系用视场重叠区域关系图来表示，其中视场重叠区域关系图中的节点对应于所述多台立体相机中的一台立体相机，而节点之间的边代表该边所连接的两个节点所代表的立体相机之间存在视场重叠关系。

3.如权利要求1或2所述的标定多台立体相机的方法，其中从所获得图像中确定标定物的最高点的在各自立体相机的坐标系中的坐标包括：

从每台立体相机拍摄到的每一帧中分割出属于标定物的前景像素；以及

根据每一台立体相机的内部参数提取到标定物的最高点的图像坐标，并将所提取的标定物的最高点的图像坐标转换为在对应立体相机坐标系下的坐标。

4.如权利要求1或2所述的标定多台立体相机的方法，其中从所述多台立体相机中指定参考立体相机以手工指定或者自动选择的方式来指定。

5.如权利要求1或2所述的标定多台立体相机的方法，其中计算构成所述具体视场重叠区域的其中一个待标定立体相机在世界坐标系中的外参包括：

利用参考立体相机的在世界坐标系中的外参，计算在某一时间戳时处于包含在参考立体相机视场中的视场重叠区域内标定物最高点在世界坐标系中的坐标；以及

获取同一时间戳下其视场包含所述视场重叠区域的待标定立体相机所拍摄的图像，并基于该图像内标定物最高点在世界坐标系中的坐标计算该待标定立体相机在世界坐标系中的外参。

6.如权利要求5所述的标定多台立体相机的方法，其中计算构成所述具体视场重叠区域的其中一个待标定立体相机在世界坐标系中的外参还包括：

利用已标定立体相机的在世界坐标系中的外参，计算在某一时间戳时处于包含在已标定立体相机视场中的视场重叠区域内标定物最高点在世界坐标系中的坐标；以及

获取同一时间戳下其视场包含所述视场重叠区域的另一个待标定立体相机所拍摄的图像，并基于该图像内标定物最高点在世界坐标系中的坐标计算该另一个待标定立体相机在世界坐标系中的外参。

7.一种标定多台立体相机的***，包括：

同步单元，对所述多台立体相机进行***时间同步；

视场重叠区域关系图创建单元，基于每台立体相机输出的包含已知高度的标定物的跟踪结果图像所附加的时间戳信息，建立所述多台立体相机间的视场重叠区域关系图；

图像点坐标获取单元，从所获得图像中确定标定物的最高点的在各自立体相机的坐标系中的坐标；

世界坐标系创建单元，从所述多台立体相机中指定参考立体相机，并以所指定的参考立体相机的坐标系的原点在地面的投影点建立假设的世界坐标系；

参考相机标定单元，基于参考立体相机所拍摄的至少四张图像中的标定物最高点的坐标，计算参考立体相机在世界坐标系中的外参；以及

非参考相机标定单元，以所计算的参考立体相机在世界坐标系中的外参为参考，逐一根据所建立的多台立体相机间的视场重叠区域关系图，基于标定物处于一个具体视场重叠区域内时最高点的已知世界坐标，计算构成所述具体视场重叠区域的其中一个待标定立体相机在世界坐标系中的外参。