CN101630406B - 摄像机的标定方法及摄像机标定装置 - Google Patents

Abstract

本发明提供摄像机的标定方法及摄像机标定装置，应用于图像与视频技术领域。本发明实施例中，主要通过深度获取装置获得特征点的三维世界坐标，并利用所述特征点的三维世界坐标及其在待标定的摄像机拍摄的图像中的图像坐标的对应关系，实现对待标定摄像机的标定，与现有技术通过图像间单应性矩阵标定多摄像机的方案相比，由于不需要估计主从摄像机间的单应性矩阵，因此获取的摄像机的参数比较稳定而准确；且本发明能准确的获得特征点的三维世界坐标，在标定时，标定物的移动可以不在固定的方向，提高了摄像机标定的可操作性；另外本发明的摄像机的标定方法可以对多台邻近摄像机采用相同的标定方法，简化摄像机的标定过程。

Description

摄像机的标定方法及摄像机标定装置

技术领域

本发明涉及图像与视频技术领域，尤其涉及摄像机的标定方法及摄像机标定装置。

背景技术

在计算机视觉和摄影测量领域中，为了获取计算机图像象素点到实际物理空间点的对应关系，必须进行摄像机标定。摄像机标定是指在一定的摄像机模型下，经过对其图像进行处理，利用一系列数学变换和计算方法，求取摄像机模型的内部和外部参数的过程。目前已有大量的摄像机标定方法，其中包括基于特定的实验条件如形状、尺寸已知的标定参照物求取摄像机模型参数的传统的摄像机标定方法，也有不依赖于标定参照物，仅利用摄像机在运动过程中周围环境的图像与图像之间的对应关系对摄像机进行标定的摄像机自标定方法。传统的使用标定参照物如标定模板的方法获得了较广泛的应用，其中典型的有Tsai的两步法，这些传统的方法由于在拍摄和标定过程中一直需要使用标定参照物，因而给拍摄操作及标定方法使用带来了很大的不方便。

在自由视点视频应用中，获取多摄像机的内外参是非常必要的，图像的极线校正、深度/视差图的获取、自由视频的插值生成等几乎都要用到摄像机内外参。如果采用传统的摄像机标定方法对多台摄像机标定，需要对每台摄像机逐个利用标定参照物来进行标定，实现起来较为复杂和繁琐，特别是在摄像机模型参数发生变化时，如何快速、有效对各台摄像机进行重新标定是一个必须解决的问题。

现有技术中提供一种不使用标定模板而通过图像间单应性矩阵标定多摄像机的方案，该方案对多摄像机进行标定时包括：一组摄像机中的每个摄像机同步地捕获一幅图像，其中一台摄像机为主摄像机，其它摄像机为从摄像机；从每个摄像机捕获到的每幅图像中提取特征点；使用提取到的特征点，估计一组图像间的单应性矩阵；使用所述单应性矩阵，得到每个摄像机的外部参数的一个线性解。

在实现本发明的过程中，发明人发现上述现有技术的摄像机的标定方案至少存在以下问题：上述通过图像间单应性矩阵标定多摄像机的方案需要估计主从摄像机间的单应性矩阵才能求得摄像机的外部参数，由于单应性矩阵的估计过程的稳定性和可靠性均较差，因此依此所求得的摄像机的外部参数也较差；另外，采用标定物标定方法，需要对标定物在固定方向进行移动，其可操作性也较差以及标定过程的复杂度较高。

发明内容

本发明实施例提供摄像机的标定方法及摄像机标定装置，采用本发明的摄像机的标定方法可以获取较准确的摄像机的参数，提高了摄像机标定的可操作性。

本发明实施例提供的一种摄像机的标定方法，包括：

对深度获取装置拍摄的图像和所述深度获取装置邻近的摄像机拍摄的图像分别进行特征点检测；

将所述检测的深度获取装置拍摄的图像的特征点与所述深度获取装置邻近的摄像机拍摄的图像的特征点进行匹配，确定所述深度获取装置拍摄的图像与所述深度获取装置邻近的摄像机拍摄的图像之间的可匹配特征点；

基于所述深度获取装置，获得所述可匹配特征点的三维世界坐标；

根据所述可匹配特征点的三维世界坐标及所述可匹配特征点在所述深度获取装置邻近的摄像机拍摄的图像中的图像坐标的对应关系，确定所述深度获取装置邻近的摄像机的参数。

本发明提供的一种摄像机的标定方法，包括：

对深度获取装置邻近的摄像机拍摄的图像和所述深度获取装置非邻近的摄像机拍摄的图像分别进行特征点检测；

将所述检测的深度获取装置邻近的摄像机拍摄的图像和所述深度获取装置非邻近的摄像机拍摄的图像特征点进行匹配，确定所述深度获取装置邻近的摄像机拍摄的图像和所述深度获取装置非邻近的摄像机拍摄的图像之间的可匹配特征点；

根据预先确定的所述深度获取装置邻近的摄像机的参数，获得所述可匹配特征点的三维世界坐标；

根据所述可匹配特征点的三维世界坐标及所述可匹配特征点在所述不邻近的摄像机拍摄的图像中的图像坐标的对应关系，获得所述深度获取装置非邻近的摄像机的参数。

本发明实施例提供的一种摄像机标定装置，包括：

特征点检测单元，用于对深度获取装置拍摄的图像和所述深度获取装置邻近的摄像机拍摄的图像分别进行特征点检测；

特征点匹配单元，用于将所述特征点检测单元检测的深度获取装置拍摄的图像的特征点与所述深度获取装置邻近的摄像机拍摄的图像的特征点进行匹配，确定所述深度获取装置拍摄的图像与所述深度获取装置邻近的摄像机拍摄的图像之间的可匹配特征点；

特征点三维坐标获取单元，用于基于所述深度获取装置，获得所述可匹配特征点的三维世界坐标；

标定单元，用于根据所述可匹配特征点的三维世界坐标及所述可匹配特征点在所述深度获取装置邻近的摄像机拍摄的图像中的图像坐标的对应关系，获得所述邻近的摄像机的参数。

从以上技术方案可以看出，本发明实施例中，主要通过深度获取装置获得特征点的三维世界坐标，并利用所述特征点的三维世界坐标及其在待标定的摄像机拍摄的图像中的图像坐标的对应关系，实现对待标定摄像机的标定，与现有技术通过图像间单应性矩阵标定多摄像机的方案相比，由于不需要估计主从摄像机间的单应性矩阵，因此获取的摄像机的参数比较稳定而准确；且本发明能准确的获得特征点的三维世界坐标，在标定时，标定物的移动可以不在固定的方向，提高了摄像机标定的可操作性；另外本发明的摄像机的标定方法可以对多台邻近摄像机采用相同的标定方法，简化摄像机的标定过程。

附图说明

图1是本发明摄像机的标定方法实施例一的流程图；

图2是本发明摄像机的标定方法实施例二中深度摄像机及其邻近的摄像机构成的2D/3D多视点视频会议***的结构示意图；

图3是本发明摄像机的标定方法实施例二的流程图；

图4是本发明摄像机的标定方法实施例三中双目摄像机及其邻近的摄像机构成的2D/3D多视点视频会议***的结构示意图；

图5是本发明摄像机的标定方法实施例三的流程图；

图6是是本发明摄像机的标定方法实施例五中多个深度获取装置构成的2D/3D多视点视频会议***的结构示意图；

图7是本发明摄像机的标定方法实施例六的流程图；

图8是本发明摄像机标定装置实施例一的结构示意图；

图9是本发明摄像机标定装置实施例二的结构示意图；

图10是本发明摄像机标定装置实施例三的结构示意图；

图11是本发明摄像机标定装置实施例四的结构示意图。

具体实施方式

下面结合附图，对本发明提供的摄像机的标定方法与装置的推荐实施例进行详细描述。

参考图1，本发明摄像机的标定方法实施例一包括：

A1、对深度获取装置拍摄的图像和所述深度获取装置邻近的摄像机拍摄的图像分别进行特征点检测。

可以理解，本实施例中的深度获取装置是指，通过物理方式如深度摄像机或通过软件方式如传统的立体匹配方法获取深度信息的装置。而深度是摄像机距离所拍摄物体的距离，是和视差相关的一个量。一般，深度大，则视差小；深度小，则视差大。根据视差深度模型，可以求出视差p和深度z_p的关系：

$\left\{\begin{array}{c}\frac{x_L}{D}=\frac{x_p}{D-z_p}\\ \frac{x_R-x_B}{D}=\frac{x_p-x_B}{D-z_p}\end{array}\right.\⇒\frac{x_L-x_R+x_B}{D}=\frac{x_B}{D-z_p}\⇒p=x_B(1-\frac{D}{D-z_p})=x_B(\frac{1}{\frac{z_p}{D}-1}+1)$

可以看出，视差为深度的一个非线性函数。在很多应用中，D相比z_p要大很多，可以适用线性模型： $p\≈-\frac{x_B}{D}{z}_p$ 。因此可以将上述非线性函数简化为线性函数，从而提高计算效率。

在本发明实施例中，所述深度获取装置可以是单台或者至少两台深度摄像机，也可以是包括至少两台普通摄像机即双目摄像机。其中深度获取装置包括深度摄像机时，以一种能够直接获取深度信息的摄像机为例，该摄像机是通过物理的方法直接测量获取到景物距离摄像机的距离，如通过雷达、红外等方式，并以灰度图像的形式表示。灰度级越高表示深度越小，视差越大；灰度级越小表示深度越大，视差越小。当深度获取装置包括至少两台普通摄像机时，是利用双目摄像机间的一系列约束关系，对左右摄像机拍摄图像进行立体匹配，求出视差，进而利用视差与深度的模型关系，求解出深度图。

所述深度获取装置邻近的摄像机主要是指该摄像机可以拍摄到深度获取装置所拍摄场景的至少一部分。

所述检测到的特征点是用二维坐标表示的图像的特征信息，在检测的过程中要保证检测的特征点对图像缩放、平移、旋转等变换保持不变性，即为稳定的特征点。

A2、将所述检测的深度获取装置拍摄的图像的特征点与所述深度获取装置邻近的摄像机拍摄的图像的特征点进行匹配，确定所述深度获取装置拍摄的图像与所述深度获取装置邻近的摄像机拍摄的图像之间的可匹配特征点。

所述可匹配特征点是指深度获取装置拍摄的图像和与所述深度获取装置邻近的摄像机拍摄的图像的特征信息相同的点。

A3、基于所述深度获取装置，获得所述可匹配特征点的三维世界坐标。

在本实施例中，根据深度获取装置获取的深度信息或者视差信息即可确定所述可匹配特征点的三维世界坐标。

A4、根据所述可匹配特征点的三维世界坐标，及所述可匹配特征点在所述深度获取装置邻近的摄像机拍摄的图像中的图像坐标的对应关系，确定所述深度获取装置邻近的摄像机的参数。

其中，可以采用已有的摄像机标定方法(如：Tsai标定法、平面标定法等)通过步骤A4获得邻近摄像机的参数，在此不再赘述。

从以上技术方案可以看出，本发明实施例中，主要通过深度获取装置获得特征点的三维世界坐标，并利用所述特征点的三维世界坐标及其在待标定的摄像机拍摄的图像中的图像坐标的对应关系，实现对待标定摄像机的标定，与现有技术通过图像间单应性矩阵标定多摄像机的方案相比，由于不需要估计主从摄像机间的单应性矩阵，因此获取的摄像机的参数比较稳定而准确；且本发明能准确的获得特征点的三维世界坐标，在标定时，标定物的移动可以不在固定的方向，提高了摄像机标定的可操作性；另外本发明的摄像机的标定方法可以对多台邻近摄像机采用相同的标定方法，简化摄像机的标定过程。

本发明摄像机的标定方法实施例二中以深度摄像机作为深度获取装置，参照图2为一个深度摄像机和邻近摄像机构成的2D/3D多视点视频会议***，本实施例的摄像机的标定方法的流程图如图3所示，包括：

B1、对深度摄像机拍摄的二维图像和该深度摄像机邻近的摄像机拍摄的图像分别进行特征点检测。

深度摄像机进行拍摄可以获得普通的RGB二维图像及其对应的深度图。

B2、对所述检测特征点进行匹配，确定所述深度摄像机拍摄的二维图像和该深度摄像机邻近的摄像机拍摄的图像之间的可匹配特征点。

在本实施例中，深度摄像机可以只在一组参数条件下拍摄获得单幅二维图像，也可以在至少两组不同参数条件下拍摄获取至少两幅二维图像。对于后者，可以采用以下两种不同的匹配方式：

方式一、在对所述的至少两幅二维图像分别进行特征点检测后，对所述的至少两幅二维图像的各自的特征点和深度摄像机邻近的摄像机拍摄的图像的特征点进行匹配，这样，所确定的可匹配特征点是所述至少两幅二维图像与深度摄像机邻近的摄像机拍摄的图像的特征点的交集。

方式二、在对所述的至少两幅二维图像分别进行特征点检测后，对所述的至少两幅二维图像分别与所述邻近的摄像机拍摄的图像进行匹配，这样，所确定的可匹配特征点是所述至少两幅二维图像分别与所述邻近的摄像机拍摄的图像相匹配的特征点的并集。

B3、根据深度摄像机拍摄获得的深度图，获得所述可匹配特征点的三维世界坐标。

其中，对于所述B2中的匹配方式一，由于所述可匹配特征点在深度摄像机在不同参数条件下拍摄的各幅图像中均存在，因此可以根据深度摄像机拍摄的任一深度图都可获得可匹配特征点的三维世界坐标；而对于所述B2中的匹配方式二，由于可匹配特征点可能只在深度摄像机在不同参数条件下拍摄的部分图像中存在，因此，需要根据存在可匹配特征点的深度图来获得可匹配点的三维世界坐标。

B4、根据所述可匹配特征点的三维世界坐标及所述可匹配特征点在所述邻近的摄像机拍摄的图像中的图像坐标的对应关系，获得所述邻近的摄像机的参数。

其中，可以采用已有的摄像机标定方法(例如：Tsai标定法、棋盘格标定法和平面标定法等)获得邻近摄像机的参数，在此不再赘述。

本实施例是实施例一的具体应用，在本实施例中以深度摄像机作为深度获取装置，这样在获取可匹配特征点的三维世界坐标时，通过物理的直观的方法获得深度图，再结合所述可匹配特征点的信息来获得三维世界坐标。这种方法比较简单且直观，且获得的三维世界坐标比较准备。

本发明摄像机的标定方法实施例三中以至少两台普通的摄像机作为深度获取装置，参照图4为双目摄像机即两台普通摄像机和邻近摄像机构成的2D/3D多视点视频会议***，本实施例以两台摄像机的标定方法为例，流程图如图5所示，包括：

C1、对双目摄像机拍摄的图像和所述双目摄像机邻近的摄像机拍摄的图像分别进行特征点检测。

其中，双目摄像机拍摄的图像可以是所述双目摄像机在不同参数条件下，拍摄包含标定模板的场景所得到的至少两组图像中分别选取的至少两幅图像。如果在拍摄多组图像时，实验的光照等环境条件以及所拍图像清晰程度相同，选取其中哪一幅图像对结果影响并不大。一般而言，可以直接选取各组的第一幅图像。

C2、对所述检测的特征点进行匹配，确定所述双目摄像机拍摄的图像和所述双目摄像机邻近的摄像机拍摄的图像之间的可匹配特征点。

在本实施例中，可以对所选择的至少两幅图像各自的特征点和深度摄像机邻近的摄像机拍摄的图像的特征点进行匹配，如实施例二中的匹配方式一所述，这样，所确定的可匹配特征点是所述至少两幅二维图像与双目摄像机邻近的摄像机拍摄的图像的特征点的交集。

C3、根据所述双目摄像机的至少两组不同参数，以及所述可匹配特征点在所述双目摄像机拍摄的图像中的图像坐标，获得所述可匹配特征点的三维世界坐标。

其中，所述双目摄像机的至少两组不同参数是根据现有标定法标定的双目摄像机的参数，可以通过双目摄像机在不同参数条件下，对同一场景拍摄的至少两组包含标定模板的图像(步骤C1中所述的至少两幅图像是在这里所述的至少两组图像中分别选取的)，并对所述至少两组图像分别执行下面步骤C31至C34所获得的。其中，参数条件的变化不需要太大，以保证在不同参数条件下所拍摄的图像中的相同场景部分不会太少，为方便描述，以下以两组不同参数的情况为例进行描述：

C31、检测所述双目摄像机在同一组参数条件下拍摄的一组图像棋盘格的非共面的角点即特征点。这里可以通过标定模板在摄像机的光轴方向的移动来检测图像棋盘格非共面的角点。

C32、获得所述角点的图像坐标(x_f，y_f)，可以理解，根据图像的不同层次的坐标系之间的变换公式，可以获得所述角点的图像象素坐标。

C33、确定所述角点三维世界坐标(x_w，y_w，z_w)，由于在步骤C31中是通过标定模板在摄像机的光轴方向移动来检测图像棋盘个非共面的角点，所述角点的三维世界坐标是固定的。

C34、根据所述角点的图像坐标和所述角点的三维世界坐标，对所述双目摄像机进行标定，确定双目摄像机参数。

通过上述方法，可以分别获取两组摄像机参数：f¹、(C_x ¹，C_y ¹)、k₁ ¹、s_x ¹、r₁₁ ¹、r₁₂ ¹、r₁₃ ¹、r₂₁ ¹、r₂₂ ¹、r₂₃ ¹、r₃₁ ¹、r₃₂ ¹、r₃₃ ¹、T_x ¹、T_y ¹、T_z ¹；f²、(C_x ²，C_y ²)、k₁ ²、s_x ²、r₁₁ ²、r₁₂ ²、r₁₃ ²、r₂₁ ²、r₂₂ ²、r₂₃ ²、r₃₁ ²、r₃₂ ²、r₃₃ ²、T_x ²、T_y ²、T_z ²。其中上标1、2分别表示第I组参数和第II组参数。其中f是内参焦距(mm)，C_x，C_y分别是光心的象素坐标，k₁是镜头径向畸变的一阶系数，s_x是非确定性标度尺寸因子。外部参数R、T分别是三维空间世界坐标系与摄像机坐标系之间的旋转矩阵和平移向量。其中T_x，T_y，T_z是从世界坐标系到相机坐标系变换的沿三个坐标轴的平移量。

若相机坐标系在世界坐标系下的方向：绕X轴逆时针旋转角度α，绕Y轴逆时针旋转角度β，绕Z轴逆时针旋转角度γ，则旋转矩阵为R＝R_αR_βR_γ。

在经过特征点检测和匹配之后，可以获取到可匹配特征点在所选择的双目摄像机拍摄的两幅图像(以下称为图像1和图像2)中的图像坐标(x_f ¹，y_f ¹)和(x_f ²，y_f ²)；其中，上标1和2分别表示图像1和图像2。

在本实施例中，还可以对(x_f ¹，y_f ¹)和(x_f ²，y_f ²)进行畸变消除处理，具体而言，可以对每个可匹配特征点在图像1和图像2中的图像坐标(x_f ¹，y_f ¹)和(x_f ²，y_f ²)，分别通过以下的公式(1)到(6)求出经过畸变消除处理的理想图像坐标(x_u ¹，y_u ¹)和(x_u ²，y_u ²)：

x_d＝d′_x(x_f-C_x)/s_x  (1)

y_d＝d_y(y_f-C_y)       (2)

x_u＝x_d(1+k₁r²)      (3)

y_u＝y_d(1+k₁r²)      (4)

$d_x^{\′}=d_x\frac{N_{\mathrm{cx}}}{N_{\mathrm{fx}}}---\left(5\right)$

$r^2=\sqrt{{x_d}^2+{y_d}^2}---\left(6\right)$

其中(x_d，y_d)是可匹配特征点的实际图像坐标，d_x，d_y分别是x方向(扫描线方向)和y方向相邻CCD感光单元中心之间的距离(mm)，N_cx是X方向感光单元的数目(由摄像机厂家提供)，N_fx是计算机每行采样的象素数目，即图像的X方向尺寸(象素pix个数)。

由于已经求出图像1与图像2的对应的摄像机参数，以及可匹配特征点在图像1与图像2中的理想的图像坐标，就可以对每个可匹配特征点计算它的三维世界坐标(x_w，y_w，z_w)了，可以通过求解下面的超定线性方程组(7)求出三维世界坐标的近似最优解，该方程组可以通过最小二乘法拟合求解。

$\left\{\begin{array}{c}(f^1{r}_{11}^1-x_u^1{r}_{31}^1)x_w+(f^1{r}_{12}^1-x_u^1{r}_{32}^1)y_w+(f^1{r}_{13}^1-x_u^1{r}_{33}^1)z_w=x_u^1{T}_z^1-f^1{T}_x^1\\ (f^1{r}_{21}^1-y_u^1{r}_{31}^1)x_w+(f^1{r}_{22}^1-y_u^1{r}_{32}^1)y_w+(f^1{r}_{23}^1-y_u^1{r}_{33}^1)z_w=y_u^1{T}_z^1-f^1{T}_y^1\\ (f^2{r}_{11}^2-x_u^2{r}_{31}^2)x_w+(f^2{r}_{12}^2-x_u^2{r}_{32}^2)y_w+(f^2{r}_{13}^2-x_u^2{r}_{33}^2)z_w=x_u^2{T}_z^2-f^2{T}_x^2\\ (f^2{r}_{21}^2-y_u^2{r}_{31}^2)x_w+(f^2{r}_{22}^2-y_u^2{r}_{32}^2)y_w+(f^2{r}_{23}^2-y_u^2{r}_{33}^2)z_w=y_u^2{T}_z^2-f^2{T}_y^2\end{array}\right.---\left(7\right)$

C4、根据所述可匹配特征点的三维世界坐标及所述可匹配特征点在所述邻近的摄像机拍摄的图像中的图像坐标的对应关系，获得所述邻近的摄像机的参数。

在经过特征点检测和匹配之后，可以获取到可匹配特征点在邻近的摄像机拍摄的图像中的图像坐标。

可以采用已有的摄像机标定方法(如Tsai标定法、平面标定法等)获得邻近摄像机的参数，在此不再赘述。

本实施例是实施例一的具体应用，在本实施例中以双目摄像机作为深度获取装置，这样在获取可匹配特征点的三维世界坐标时，预先获得的双目摄像机的参数，再结合所述可匹配特征点的信息来获得三维世界坐标。这种方法比较容易实现，需要至少两台普通摄像机就可以达到深度摄像机获得深度信息的功能。

本发明摄像机的标定方法实施例四中，可以对于单个深度获取装置在至少两组不同参数条件下分别拍摄的图像，分别执行本发明摄像机的标定方法实施例二或实施例三任一所述的方法，获得邻近的摄像机的至少两组参数；之后对所获得的至少两组参数进行加权平均，获得所述邻近的摄像机的参数。

可以理解这里的单个深度获取装置可以是单台深度摄像机，如实施例二所述；也可以是至少两台普通摄像机，如实施例三所述。

本发明摄像机的标定方法实施例五中，可以通过如图6所示的多个深度获取装置构成的2D/3D多视点视频会议***进行标定，对于至少两个深度获取装置分别拍摄的图像，分别执行本发明摄像机的标定方法实施例二或实施例三任一所述的方法，获得邻近的摄像机的至少两组参数；之后对所获得的至少两组参数进行加权平均，获得所述邻近的摄像机的参数。

可以理解这里的多个深度获取装置可以是至少两台深度摄像机，而每台深度摄像机对其邻近的摄像机标定的方法如实施例二所述；也可以是至少两台普通摄像机与至少一台深度摄像机的组合，至少两台普通摄像机对其邻近的摄像机标定的方法如实施例三所述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，该程序在执行时可以包括：对深度获取装置拍摄的图像和所述深度获取装置邻近的摄像机拍摄的图像分别进行特征点检测；对所述检测的特征点进行匹配，确定所述深度获取装置拍摄的图像和该装置邻近的摄像机拍摄的图像之间的可匹配特征点；基于所述深度获取装置，获得所述可匹配特征点的三维世界坐标；根据所述可匹配特征点的三维世界坐标、所述可匹配特征点在所述邻近的摄像机拍摄的图像中的图像坐标以及所述两种坐标之间的对应关系，获得所述邻近的摄像机的参数。这里所称的存储介质，如：ROM/RAM、磁碟、光盘等。

本发明摄像机的标定方法实施例六提供对深度获取装置非邻近的摄像机的标定方法，参考图7，本实施例方法包括：

D1、对深度获取装置邻近的摄像机拍摄的图像和所述深度获取装置非邻近的摄像机拍摄的图像分别进行特征点检测。

其中，所述与深度获取装置非邻近的摄像机与所述深度获取装置邻近的摄像机是邻近的。所述深度获取装置非邻近的摄像机可以拍摄到深度获取装置邻近的摄像机所拍摄场景的至少一部分。

D2、将所述检测的深度获取装置邻近的摄像机拍摄的图像的特征点与所述深度获取装置非邻近的摄像机拍摄的图像的特征点进行匹配，确定所述深度获取装置邻近的摄像机拍摄的图像和所述深度获取装置非邻近的摄像机拍摄的图像之间的可匹配特征点。

D3、根据预先确定的所述深度装置邻近的摄像机的参数，获得所述可匹配特征点的三维世界坐标。

在本实施例中，所述深度装置邻近的摄像机的参数可以采用本发明摄像机的标定方法实施例一至实施例五任一所述方法获取。

D4、根据所述可匹配特征点的三维世界坐标及所述可匹配特征点在所述非邻近的摄像机拍摄的图像中的图像坐标的对应关系，获得所述非邻近的摄像机的参数。

其中，可以采用已有的摄像机标定方法(如Tsai标定法、平面标定法等)获得所述不邻近摄像机的参数，在此不再赘述。

本实施例中提供了一种简单的获取较远的待标定摄像机的参数，是通过深度获取装置邻近的摄像机的参数，结合

参考图8，本发明摄像机标定装置实施例一包括特征点检测单元110、特征点匹配单元120、特征点三维坐标获取单元130和标定单元140：

特征点检测单元110，用于对深度获取装置拍摄的图像和所述深度获取装置邻近的摄像机拍摄的图像分别进行特征点检测。

在本发明实施例中，所述深度获取装置可以是单台或者至少两台深度摄像机，也可以是包括至少两台普通摄像机，还可以是至少一台深度摄像机与至少一台普通摄像机的组合。

所述深度获取装置拍摄的图像可以是单幅图像，也可以是两幅以上图像。

特征点匹配单元120，用于将特征点检测单元110检测的深度获取装置拍摄的图像的特征点与所述深度获取装置邻近的摄像机拍摄的图像的特征点进行匹配，确定所述深度获取装置拍摄的图像与所述深度获取装置邻近的摄像机拍摄的图像之间的可匹配特征点。

特征点三维坐标获取单元130，用于基于所述深度获取装置，获得所述特征点匹配单元120匹配得到的可匹配特征点的三维世界坐标。

标定单元140，用于根据所述特征点三维坐标获取单元130获得的可匹配特征点的三维世界坐标及所述特征点匹配单元匹配120得到的可匹配特征点在所述邻近的摄像机拍摄的图像中的图像坐标的对应关系，获得所述邻近的摄像机的参数。

本实施例中的深度获取装置是通过特征点三维坐标获取单元130获取可匹配特征点的三维世界坐标，这样标定单元140通过所述可匹配特征点的三维世界坐标及可匹配特征点在待标定摄像机拍摄的图像中的二维坐标获得的参数比较准确，且克服了现有技术的可操作性差的缺陷。

如图9所示，本发明摄像机标定装置实施例二与本发明摄像机标定装置实施例一类似，区别之处在于，在本实施例中，所述深度获取装置具体是双目摄像机；所述特征点三维坐标获取单元130进一步包括：

参数获取单元131，用于获得双目摄像机的至少两组不同参数。

三维坐标获取单元132，用于根据所述参数获取单元131获得的双目摄像机的至少两组不同参数，以及所述特征点匹配单元匹配120得到的可匹配特征点在所述双目摄像机拍摄的图像中的图像坐标，获得所述可匹配特征点的三维世界坐标。

此时标定单元140是用于根据所述特征点三维坐标获取单元130中的三维坐标获取单元132获得的可匹配特征点的三维世界坐标及所述可匹配特征点在所述邻近的摄像机拍摄的图像中的图像坐标的对应关系，获得所述邻近的摄像机的参数。

其中，所述深度获取装置拍摄的图像具体是指：从所述双目摄像机在所述至少两组不同参数条件下，拍摄包含标定模板的场景所得到的至少两组图像中分别选取的至少两幅图像。

如图10所示，本发明摄像机标定装置实施例三与本发明摄像机标定装置实施例二类似，区别之处在于，在本实施例中，所述参数获取单元131进一步包括：

角点检测单元141，用于检测所述双目摄像机在同一组参数条件下，拍摄包含标定模板的场景所得到的一组图像中各幅图像的棋盘格的非共面角点。

角点坐标获取单元151，用于获得所述角点检测单元141检测的角点的图像坐标，并为所述角点指定三维世界坐标。

双目摄像机参数获取单元161，用于根据所述角点坐标获取单元151获取的角点的图像坐标和三维世界坐标，对所述双目摄像机进行标定，确定双目摄像机与该组图像对应的参数。

此时三维坐标获取单元132是根据所述参数获取单元131中的双目摄像机参数获取单元161获得的双目摄像机的至少两组不同参数，以及所述特征点匹配单元匹配120得到的可匹配特征点在所述双目摄像机拍摄的图像中的图像坐标，获得所述可匹配特征点的三维世界坐标。

在本发明摄像机标定装置的上述实施例中，若所述特征点检测单元110检测的是所述深度获取装置拍摄的两幅以上图像的特征点，所述特征点匹配单元120还用于将所述深度获取装置拍摄的两幅以上图像的特征点与所述深度获取装置邻近的摄像机拍摄的图像的特征点进行匹配，所确定的可匹配特征点是所述两幅以上图像与所述深度获取装置邻近的摄像机拍摄的图像的特征点的交集；或者，

所述特征点匹配单元120还用于对所述深度获取装置拍摄的两幅以上图像分别与所述深度获取装置邻近的摄像机拍摄的图像进行匹配，所确定的可匹配特征点是所述两幅以上图像分别与所述深度获取装置邻近的摄像机拍摄的图像相匹配的特征点的并集。

如图11所示，本发明摄像机标定装置实施例四可以对与深度获取装置非邻近的摄像机进行标定，该装置包括特征点检测单元410、特征点匹配单元420、特征点三维坐标获取单元430和标定单元440：

特征点检测单元410，用于对深度获取装置邻近的摄像机拍摄的图像和所述深度获取装置非邻近的摄像机拍摄的图像分别进行特征点检测。

特征点匹配单元420，用于将所述特征点检测单元410检测的深度获取装置邻近的摄像机拍摄的图像和所述深度获取装置非邻近的摄像机拍摄的图像特征点进行匹配，确定所述深度获取装置邻近的摄像机拍摄的图像和所述深度获取装置非邻近的摄像机拍摄的图像之间的可匹配特征点。

特征点三维坐标获取单元430，用于根据预先确定的所述邻近的摄像机的参数，获得所述特征点匹配单元420匹配的可匹配特征点的三维世界坐标。

标定单元440，用于根据所述特征点三维坐标获取单元430获得的可匹配特征点的三维世界坐标及所述可匹配特征点在所述深度获取装置非邻近的摄像机拍摄的图像中的图像坐标的对应关系，获得所述邻近的摄像机的参数。

在本实施例中，摄像机标定装置还可以包括邻近参数获取单元450，用于采用本发明摄像机的标定方法实施例一至实施例六任一所述摄像机标定方法获得所述深度获取装置邻近的摄像机的参数。

综上可以看出，本发明实施例中，主要通过深度获取装置获得特征点的三维世界坐标，并利用所述特征点的三维世界坐标及其在待标定的摄像机拍摄的图像中的图像坐标的对应关系，实现对待标定摄像机的标定，与现有技术通过图像间单应性矩阵标定多摄像机的方案相比，由于不需要估计主从摄像机间的单应性矩阵，因此获取的摄像机的参数比较稳定而准确；且本发明能准确的获得特征点的三维世界坐标，在标定时，标定物的移动可以不在固定的方向，提高了摄像机标定的可操作性；另外本发明的摄像机的标定方法可以对多台邻近摄像机采用相同的标定方法，简化摄像机的标定过程。

以上对本发明实施例所提供的摄像机的标定方法与装置进行了详细介绍，本文中应用了具体的实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (17)

1.一种摄像机的标定方法，其特征在于，包括：

对深度获取装置拍摄的图像和所述深度获取装置邻近的摄像机拍摄的图像分别进行特征点检测；所述深度获取装置是指通过物理方式或通过软件方式获取深度信息的装置，所述特征点是用二维坐标表示的图像的特征信息；

将所述检测的深度获取装置拍摄的图像的特征点与所述深度获取装置邻近的摄像机拍摄的图像的特征点进行匹配，确定所述深度获取装置拍摄的图像与所述深度获取装置邻近的摄像机拍摄的图像之间的可匹配特征点；

基于所述深度获取装置，获得所述可匹配特征点的三维世界坐标；

根据所述可匹配特征点的三维世界坐标及所述可匹配特征点在所述深度获取装置邻近的摄像机拍摄的图像中的图像坐标的对应关系，确定所述深度获取装置邻近的摄像机的参数。

2.如权利要求1所述的方法，其特征在于，所述深度获取装置是由单台深度摄像机；或者是至少两台深度摄像机；或者是至少两台普通摄像机。

3.如权利要求1所述的方法，其特征在于，若所述深度获取装置拍摄两幅以上图像，将所述检测的深度获取装置拍摄的图像的特征点与所述深度获取装置邻近的摄像机拍摄的图像的特征点进行匹配包括：

将所述深度获取装置拍摄的两幅以上图像的特征点与所述深度获取装置邻近的摄像机拍摄的图像的特征点进行匹配，所确定的可匹配特征点是所述深度获取装置拍摄的两幅以上图像与所述深度获取装置邻近的摄像机拍摄的图像的特征点的交集；或者，

对所述深度获取装置拍摄的两幅以上图像分别与所述深度获取装置邻近的摄像机拍摄的图像进行匹配，所确定的可匹配特征点是所述深度获取装置拍摄的两幅以上图像分别与所述深度获取装置邻近的摄像机拍摄的图像相匹配的特征点的并集。

4.如权利要求1所述的方法，其特征在于，基于所述深度获取装置，获得所述可匹配特征点的三维世界坐标包括：

根据双目摄像机的至少两组不同参数，以及所述可匹配特征点在所述双目摄像机拍摄的图像中的图像坐标，获得所述可匹配特征点的三维世界坐标；

所述深度获取装置拍摄的图像具体是指：从所述双目摄像机在所述至少两组不同参数条件下，拍摄包含标定模板的场景所得到的至少两组图像中分别选取的至少两幅图像。

5.如权利要求4所述的方法，其特征在于，所述双目摄像机的至少两组不同参数是通过对双目摄像机在至少两组不同参数条件下，拍摄包含标定模板的场景所得到的至少两组图像并分别执行如下步骤所获得的：

检测所述双目摄像机在同一组参数条件下，拍摄包含标定模板的场景所得到的一组图像的棋盘格的非共面角点；

获得所述角点的图像坐标；

为所述角点确定三维世界坐标；

根据所述角点的图像坐标和三维世界坐标，对所述双目摄像机进行标定，确定所述双目摄像机的参数。

6.如权利要求4所述的方法，其特征在于，所述可匹配特征点在双目摄像机拍摄的图像中的图像坐标是经过畸变消除处理的图像坐标。

7.一种摄像机的标定方法，其特征在于，包括：

对于单个深度获取装置在至少两组不同参数条件下分别拍摄的图像，分别执行如权利要求1至6任一项所述的方法，获得邻近的摄像机的至少两组参数；所述单个深度获取装置是单台深度摄像机，或至少两台普通摄像机；

对所获得的至少两组参数进行加权平均，获得所述邻近的摄像机的参数。

8.一种摄像机的标定方法，其特征在于，包括：

对于至少两个深度获取装置分别拍摄的图像，分别执行如权利要求1至6任一项所述的方法，获得邻近的摄像机的至少两组参数；所述至少两个深度获取装置是至少两台深度摄像机，或至少两台普通摄像机与至少一台深度摄像机的组合；

对所获得的至少两组参数进行加权平均，获得所述邻近的摄像机的参数。

9.一种摄像机的标定方法，其特征在于，包括：

对深度获取装置邻近的摄像机拍摄的图像和所述深度获取装置非邻近的摄像机拍摄的图像分别进行特征点检测；所述深度获取装置是指通过物理方式或通过软件方式获取深度信息的装置，所述特征点是用二维坐标表示的图像的特征信息；

将所述检测的深度获取装置邻近的摄像机拍摄的图像和所述深度获取装置非邻近的摄像机拍摄的图像特征点进行匹配，确定所述深度获取装置邻近的摄像机拍摄的图像和所述深度获取装置非邻近的摄像机拍摄的图像之间的可匹配特征点；

根据预先确定的所述深度获取装置邻近的摄像机的参数，获得所述可匹配特征点的三维世界坐标；

根据所述可匹配特征点的三维世界坐标及所述可匹配特征点在所述非邻近的摄像机拍摄的图像中的图像坐标的对应关系，获得所述深度获取装置非邻近的摄像机的参数。

10.如权利要求9所述的摄像机的标定方法，其特征在于，所述深度获取装置邻近的摄像机的参数是采用如权利要求1至8任一项所述的方法获得的。

11.一种摄像机标定装置，其特征在于，包括：

特征点检测单元，用于对深度获取装置拍摄的图像和所述深度获取装置邻近的摄像机拍摄的图像分别进行特征点检测；所述深度获取装置是指通过物理方式或通过软件方式获取深度信息的装置，所述特征点是用二维坐标表示的图像的特征信息；

特征点匹配单元，用于将所述特征点检测单元检测的深度获取装置拍摄的图像的特征点与所述深度获取装置邻近的摄像机拍摄的图像的特征点进行匹配，确定所述深度获取装置拍摄的图像与所述深度获取装置邻近的摄像机拍摄的图像之间的可匹配特征点；

特征点三维坐标获取单元，用于基于所述深度获取装置，获得所述可匹配特征点的三维世界坐标；

标定单元，用于根据所述可匹配特征点的三维世界坐标及所述可匹配特征点在所述深度获取装置邻近的摄像机拍摄的图像中的图像坐标的对应关系，获得所述邻近的摄像机的参数。

12.如权利要求11所述的摄像机标定装置，其特征在于，所述深度获取装置是单台深度摄像机；或者是至少两台深度摄像机；或者是至少两台普通摄像机。

13.如权利要求11所述的摄像机标定装置，其特征在于，若所述特征点检测单元检测的是所述深度获取装置拍摄的两幅以上图像的特征点，所述特征点匹配单元用于将所述深度获取装置拍摄的两幅以上图像的特征点与所述深度获取装置邻近的摄像机拍摄的图像的特征点进行匹配，所确定的可匹配特征点是所述两幅以上图像与所述深度获取装置邻近的摄像机拍摄的图像的特征点的交集；或者，

所述特征点匹配单元用于对所述深度获取装置拍摄的两幅以上图像分别与所述深度获取装置邻近的摄像机拍摄的图像进行匹配，所确定的可匹配特征点是所述两幅以上图像分别与所述深度获取装置邻近的摄像机拍摄的图像相匹配的特征点的并集。

14.如权利要求11所述的摄像机标定装置，其特征在于，所述深度获取装置具体是双目摄像机；所述特征点三维坐标获取单元包括：

参数获取单元，用于获得双目摄像机的至少两组不同参数；

三维坐标获取单元，用于根据所述参数获取单元获得的至少两组不同参数，以及所述特征点匹配单元匹配得到的可匹配特征点在所述双目摄像机拍摄的图像中的图像坐标，获得所述可匹配特征点的三维世界坐标；

所述深度获取装置拍摄的图像具体是指：从所述双目摄像机在所述至少两组不同参数条件下，拍摄包含标定模板的场景所得到的至少两组图像中分别选取的至少两幅图像。

15.如权利要求14所述的摄像机标定装置，其特征在于，所述参数获取单元具体包括：

角点检测单元，用于检测所述双目摄像机在同一组参数条件下，拍摄包含标定模板的场景所得到的一组图像的棋盘格的非共面角点；

角点坐标获取单元，用于获得所述角点检测单元检测的角点的图像坐标，并为所述角点指定三维世界坐标；

双目摄像机参数获取单元，用于根据所述角点坐标获取单元获取的角点的图像坐标和三维世界坐标，对所述双目摄像机进行标定，确定所述双目摄像机的参数。

16.一种摄像机标定装置，其特征在于，包括：

特征点检测单元，用于对深度获取装置邻近的摄像机拍摄的图像和所述装置非邻近的摄像机拍摄的图像分别进行特征点检测；所述深度获取装置是指通过物理方式或通过软件方式获取深度信息的装置，所述特征点是用二维坐标表示的图像的特征信息；

特征点匹配单元，用于将所述特征点检测单元检测的深度获取装置邻近的摄像机拍摄的图像和所述深度获取装置非邻近的摄像机拍摄的图像特征点进行匹配，确定所述深度获取装置邻近的摄像机拍摄的图像和所述深度获取装置非邻近的摄像机拍摄的图像之间的可匹配特征点；

特征点三维坐标获取单元，用于根据预先确定的所述深度获取装置邻近的摄像机的参数，获得所述可匹配特征点的三维世界坐标；

标定单元，用于根据所述可匹配特征点的三维世界坐标及所述可匹配特征点在所述深度获取装置非邻近的摄像机拍摄的图像中的图像坐标的对应关系，获得所述邻近的摄像机的参数。

17.如权利要求16所述的摄像机标定装置，其特征在于，还包括：邻近参数获取单元，用于采用如权利要求1至8任一项所述的摄像机标定方法获得所述深度获取装置邻近的摄像机的参数。

Images