CN102509295A

CN102509295A - 三目摄像头的校正方法和装置

Info

Publication number: CN102509295A
Application number: CN2011103516899A
Authority: CN
Inventors: 胡洪磊; 程懿远; 王嘉; 鲍东山
Original assignee: BEIJING NUFRONT SOFTWARE TECHNOLOGY Co Ltd
Current assignee: Beijing Nufront Mobile Multimedia Technology Co Ltd
Priority date: 2011-11-08
Filing date: 2011-11-08
Publication date: 2012-06-20

Abstract

本发明公开了三目摄像头的校正方法及装置，以三目摄像头的其中一个摄像头拍摄的图像为基准，对其他两个摄像头拍摄的图像进行校正，使得三幅图像中的对应像素点位于同一水平线。

Description

三目摄像头的校正方法和装置

技术领域

本发明涉及立体视觉技术领域，尤其涉及三目摄像头的校正方法和装置。

背景技术

在立体视觉技术领域中，通常使用双目摄像头拍摄真实空间中的物体，利用两个摄像头获得的两幅图像，可以计算出该物体在真实空间中的三维坐标。

由于双目摄像头中的两个摄像头的差异，及两个摄像头的摆放位置等因素，针对同一物体进行拍摄时，得到的两幅图像中的对应的像素点，往往并不在同一水平线，这将影响后续三维坐标的计算精度。

针对上述问题，需要对双目摄像头进行校正以建立成像模型，该成像模型指示双目摄像头拍摄出的原始图像和经校正的图像之间的对应关系。

在实际应用中，双目摄像头针对同一物体进行拍摄后得到的两幅图像，经过上述成像模型处理后，对应像素点将位于同一水平线，由此将提高后续三维坐标的计算精度。

现有技术针对双目摄像头的校正方法，主要包括如下步骤（以下步骤中将双目摄像头中的一个摄像头称为左摄像头，另一个称为右摄像头）：

步骤1：使用左摄像头拍摄标定模板得到第一图像，使用右摄像头拍摄标定模板得到第二图像。

这里的标定模板通常为黑白方格图。

步骤2：通过同时对第一图像和第二图像进行旋转平移，校正第一图像和第二图像。

经过上述步骤1和步骤2建立起成像模型，实际应用中直接使用该成像模型即可。

随着立体视觉技术的不断发展，已经出现了三目摄像头，但目前还没有三目摄像头的校正方法。

发明内容

有鉴于此，本发明的目的是提供三目摄像头的校正方法，使得拍摄空间中同一物体得到的三幅图像中，对应的像素点位于同一水平线。

为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键／重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

本发明的技术效果是这样实现的：

一种三目摄像头的校正方法，所述三目摄像头包括第一摄像头、第二摄像头和第三摄像头；该方法包括：

以第二摄像头拍摄标定模板后得到的第二图像为基准，校正第一摄像头拍摄标定模板后得到的第一图像；

以第二摄像头拍摄标定模板后得到的第二图像为基准，校正第三摄像头拍摄标定模板后得到的第三图像。

较佳的，还包括：分别为第一摄像头、第二摄像头和第三摄像头标定内部参数；利用为第一摄像头标定的内部参数建立第一畸变校正模型，利用为第二摄像头标定的内部参数建立第二畸变校正模型，利用为第三摄像头标定的内部参数建立第三畸变校正模型；

所述第一图像是第一摄像头拍摄标定模板后再经过第一畸变校正模型处理得到的；所述第二图像是第二摄像头拍摄标定模板后再经过第二畸变校正模型处理得到的；所述第三图像是第三摄像头拍摄标定模板后再经过第三畸变校正模型处理得到的。

较佳的，以所述第二图像为基准校正所述第一图像包括：

以所述第二图像为基准计算所述第一图像中的每个像素点对应的校正后坐标；

确定所述第一图像中每个校正后坐标处的像素值，并将所述像素值赋值给该校正后坐标对应的像素点。

较佳的，还包括：利用所述第一图像和所述第二图像，为第一摄像头标定相对于第二摄像头的第一外部参数；

以所述第二图像为基准计算所述第一图像中的每个像素点对应的校正后坐标包括：利用为第一摄像头标定的内部参数及为第一摄像头标定的相对于第二摄像头的第一外部参数，计算所述第一图像中的每个像素点对应的校正后坐标。

较佳的，所述为第一摄像头标定的内部参数包括：第一摄像头的等效焦距fx1和fy1、及第一摄像头的中心点cx1和cy1；所述第一外部参数包括：第一旋转矩阵R_1[3][3]和第一平移矩阵T_1[3]；

计算所述第一图像中的每个像素点对应的校正后坐标，包括针对像素点src1(j,i)执行如下计算：

计算

Figure 2011103516899100002DEST_PATH_IMAGE002

，

Figure 2011103516899100002DEST_PATH_IMAGE004

，

Figure 2011103516899100002DEST_PATH_IMAGE006

；

计算

Figure 2011103516899100002DEST_PATH_IMAGE008

；

计算，

Figure 2011103516899100002DEST_PATH_IMAGE012

；

得到校正后坐标：，

Figure 2011103516899100002DEST_PATH_IMAGE016

。

较佳的，以所述第二图像为基准校正所述第三图像包括：

以所述第二图像为基准计算所述第三图像中的每个像素点对应的校正后坐标；

确定所述第三图像中每个校正后坐标处的像素值，并将所述像素值赋值给该校正后坐标对应的像素点。

较佳的，还包括：利用所述第三图像和所述第二图像，为第三摄像头标定相对于第二摄像头的第二外部参数；

以所述第二图像为基准计算所述第三图像中的每个像素点对应的校正后坐标包括：利用为第三摄像头标定的内部参数及为第三摄像头标定的相对于第二摄像头的第二外部参数，计算所述第三图像中的每个像素点对应的校正后坐标。

较佳的，为第三摄像头标定的内部参数包括：第三摄像头的等效焦距fx3和fy3、及第三摄像头的中心点cx3和cy3；所述第二外部参数包括：第二旋转矩阵R_3[3][3]和第二平移矩阵T_3[3]；

计算所述第三图像的每个像素点对应的校正后坐标，包括针对像素点src3(j,i)执行如下计算：

计算

Figure 2011103516899100002DEST_PATH_IMAGE018

，

Figure 2011103516899100002DEST_PATH_IMAGE020

，

Figure 2011103516899100002DEST_PATH_IMAGE022

；

计算

Figure 2011103516899100002DEST_PATH_IMAGE024

；

计算

Figure 2011103516899100002DEST_PATH_IMAGE026

，

Figure 2011103516899100002DEST_PATH_IMAGE028

；

得到校正后坐标：，。

一种三目摄像头的校正装置，该装置包括：

第一校正模块，用于以第二摄像头拍摄标定模板后得到的第二图像为基准，校正第一摄像头拍摄标定模板后得到的第一图像；

第二校正模块，用于以第二摄像头拍摄标定模板后得到的第二图像为基准，校正第三摄像头拍摄标定模板后得到的第三图像。

较佳的，该装置还包括：

第一标定模块，用于分别为第一摄像头、第二摄像头和第三摄像头标定内部参数；

处理模块，用于利用为第一摄像头标定的内部参数建立第一畸变校正模型，对第一摄像头拍摄标定模板后得到的图像进行处理得到所述第一图像；利用为第二摄像头标定的内部参数建立第二畸变校正模型，对第二摄像头拍摄标定模板后得到的图像进行处理得到所述第二图像；利用为第三摄像头标定的内部参数建立第三畸变校正模型，对第三摄像头拍摄标定模板后得到的图像进行处理得到所述第三图像。

较佳的，所述第一校正模块包括：

第一坐标确定子模块，用于以所述第二图像为基准计算所述第一图像中的每个像素点对应的校正后坐标；

第一赋值子模块，用于确定所述第一图像中每个校正后坐标处的像素值，并将确定出的像素值赋值给该校正后坐标对应的像素点。

较佳的，该装置中还包括：第二标定模块，用于利用所述第一图像和所述第二图像，为第一摄像头标定相对于第二摄像头的第一外部参数；

所述第一坐标确定子模块，利用为第一摄像头标定的内部参数及为第一摄像头标定的相对于第二摄像头的第一外部参数，计算所述第一图像中的每个像素点对应的校正后坐标。

所述第一坐标确定子模块对所述第一图像中的像素点src1(j,i) 执行如下计算：

计算

，

，

；

计算

；

计算

，

；

得到校正后坐标：

，

。

较佳的，所述第二校正模块包括：

第二坐标确定子模块，用于以所述第二图像为基准，计算所述第三图像中的每个像素点对应的校正后坐标；

第二赋值子模块，用于确定所述第三图像中每个校正后坐标处的像素值，并将确定出的像素值赋值给该校正后坐标对应的像素点。

较佳的，该装置中还包括：第三标定模块，用于利用所述第三图像和所述第二图像，为第三摄像头标定相对于第二摄像头的第二外部参数；

所述第二坐标确定子模块利用为第三摄像头标定的内部参数及为第三摄像头标定的相对于第二摄像头的第二外部参数，计算所述第三图像中的每个像素点对应的校正后坐标。

较佳的，所述为第三摄像头标定的内部参数包括：第三摄像头的等效焦距fx3和fy3，第三摄像头的中心点cx3和cy3；所述第二外部参数包括：第二旋转矩阵R_3[3][3]和第二平移矩阵T_3[3]；

所述第二坐标确定子模块对所述第三图像中的像素点src3(j,i)执行如下计算：

计算，

，；

计算

；

计算

，

；

计算校正后坐标：

，。

可见，本发明提供的三目摄像头的校正方法及装置中，保持第二摄像头拍摄的第二图像不变，以此为基准，分别对第一摄像头拍摄的第一图像和第三摄像头拍摄的第三图像进行校正。由于针对第一图像和第三图像都采用了第二图像作为校正基准，所以校正后，三幅图像中对应的像素点将位于同一水平线。

为了上述以及相关的目的，一个或多个实施例包括后面将详细说明并在权利要求中特别指出的特征。下面的说明以及附图详细说明某些示例性方面，并且其指示的仅仅是各个实施例的原则可以利用的各种方式中的一些方式。其它的益处和新颖性特征将随着下面的详细说明结合附图考虑而变得明显，所公开的实施例是要包括所有这些方面以及它们的等同。

说明书附图

图1为本发明中三目摄像头的校正方法的流程图；

图2为本发明实施例中三目摄像头的校正方法的流程图；

图3为本发明中三目摄像头的校正装置的结构示意图；

图4为本发明实施例中三目摄像头的校正装置的结构示意图。

具体实施方式

以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的组件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。在本文中，本发明的这些实施方案可以被单独地或总地用术语“发明”来表示，这仅仅是为了方便，并且如果事实上公开了超过一个的发明，不是要自动地限制该应用的范围为任何单个发明或发明构思。

本发明中的三目摄像头包括第一摄像头、第二摄像头和第三摄像头。

图1为本发明中三目摄像头的校正方法的流程图，该流程包括：

步骤11：以第二摄像头拍摄标定模板后得到的第二图像为基准，校正第一摄像头拍摄标定模板后得到的第一图像。

步骤12：以第二摄像头拍摄标定模板后得到的第二图像为基准，校正第三摄像头拍摄标定模板后得到的第三图像。

可见，本发明提供的三目摄像头的校正方法中，保持第二摄像头拍摄的第二图像不变，以此为基准，分别对第一摄像头拍摄的第一图像和第三摄像头拍摄的第三图像进行校正。由于针对第一图像和第三图像都采用了第二图像作为校正基准，所以校正后，三幅图像中对应的像素点将位于同一水平线。

下面给出本发明方法的实施例，以第一摄像头是左摄像头、第二摄像头为中摄像头、第三摄像头为右摄像头为例。

在校正开始之前，为各个摄像头标定内部参数，内部参数具体包括：畸变系数、摄像头的等效焦距fx和fy、及摄像头的中心点cx和cy。上述摄像头的中心点cx和cy，指摄像头光轴与摄像头成像平面的交点在该成像平面上的坐标。为摄像头标定内部参数的具体方法为本领域的公知常识，这里不再赘述。

使用为第一摄像头标定的内部参数对第一摄像头拍摄标定模板得到的图像进行畸变校正，建立第一畸变校正模型。类似的，可以建立第二畸变校正模型和第三畸变校正模型。建立上述畸变校正模型的目的在于，使得各个摄像头拍摄标定模板后得到的图像经畸变校正模型处理后，直接得到畸变校正后的图像，这样后续的校正流程将针对畸变校正后的图像进行，提高校正的精度。

建立上述畸变校正模型后，本实施例中的第一摄像头、第二摄像头和第三摄像头将进行如下两次拍摄：

第一次，使用第一摄像头和第二摄像头拍摄标定模板，标定模板的摆放位置需使第一摄像头和第二摄像头均能拍摄到完整的图像。第一摄像头拍摄标定模板后经过第一畸变校正模型处理得到的是第一图像，第二摄像头拍摄标定模板后经过第二畸变校正模型处理得到的是第二图像。使用第一图像和第二图像标定左摄像头相对于中摄像头的第一外部参数，第一外部参数具体包括：第一旋转矩阵R_1[3][3]和第一平移矩阵T_1[3]。外部参数的具体标定方法为本领域的公知常识，这里不再赘述。

第二次，使用第三摄像头和第二摄像头拍摄标定模板，标定模板的摆放位置需使第三摄像头和第二摄像头均能拍摄到完整的图像。第三摄像头拍摄标定模板后经过第三畸变校正模型处理得到的是第三图像，第二摄像头拍摄标定模板后经过第二畸变校正模型处理得到的是第二图像。使用第三图像和第二图像标定中摄像头相对于右摄像头的外部参数，包括旋转矩阵和平移矩阵，将该旋转矩阵转置、并将该平移矩阵取逆将得到右摄像头相对于中摄像头的第二外部参数，第二外部参数具体包括：第二旋转矩阵R_3[3][3]和第二平移矩阵T_3[3]。外部参数的具体标定方法为本领域的公知常识，这里不再赘述。

图2为本发明实施例中三目摄像头的校正方法的流程图，该流程包括：

步骤21：利用为左摄像头标定的内部参数及为左摄像头标定的相对于中摄像头的第一外部参数，计算第一图像中的每个像素点对应的校正后坐标。

本步骤中，设第一图像中的像素点为src1(j,i)，对应的校正后坐标记为(x,y)，确定第一图像中的每个像素点对应的校正后坐标，具体通过如下计算实现：

① 计算

，

，

；

②计算

；

③ 计算

，

；

④ 得到校正后坐标：

，

。

步骤22：确定第一图像中每个校正后坐标处的像素值，并将所述像素值赋值给该校正后坐标对应的像素点。

本步骤中，如果校正后坐标为小数，则可以使用线性插值的方法确定第一图像中每个校正后坐标处的像素值。

步骤23：利用为右摄像头标定的内部参数及为右摄像头标定的相对于中摄像头的第二外部参数，确定第三图像中的每个像素点对应的校正后坐标。

本步骤中，设第三图像中的像素点为src3(j,i)，该像素点对应的校正后坐标记为(x,y)。确定所述第三图像中的每个像素点对应的校正后坐标，具体通过如下计算实现：

计算

，

，

；

计算

；

计算

，

；

得到校正后坐标：

，

。

步骤24：确定第三图像中每个校正后坐标处的像素值，并将所述像素值赋值给该校正后坐标对应的像素点。

本步骤中，如果校正后坐标为小数，则可以使用线性插值的方法确定第三图像中每个校正后坐标处的像素值。

经过上述步骤21至步骤24，建立了三目摄像头的成像模型，由于在校正过程中保持了中摄像头拍摄的图像不变，并以此为基准对左右摄像头拍摄的图像进行旋转平移，最后达到了三幅图像的对应像素点在同一水平线上。

在实际应用中，左摄像头和右摄像头拍摄标定模板后，经过该成像模型处理将直接得到相对于中摄像头校正后的图像，基于这些校正后的图像进行后续三维坐标的计算，将提高三维坐标的计算精度。

以上步骤23和步骤24可以在步骤21和步骤22之前执行，或者，步骤21和步骤23可以合并执行，相应的，步骤22和步骤24可以合并执行。

以上实施例以第一摄像头为左摄像头、第二摄像头为中摄像头、第三摄像头为右摄像头为例，实际应用中还可以采用其他方式，例如：第一摄像头为中摄像头、第三摄像头为右摄像头、第二摄像头为左摄像头。无论采用哪种方式，对于处在作为基准的摄像头左侧的摄像头，采用如以上实施例中左摄像头相对于中摄像头的外部参数标定方法，对于处在作为基准的摄像头右侧的摄像头，采用如以上实施例中右摄像头相对于中摄像头的外部参数标定方法，校正的具体方法都与以上实施例中的相似。

图3为本发明中三目摄像头的校正装置的结构示意图，该装置包括：第一校正模块31和第二校正模块32。

第一校正模块31，用于以第二摄像头拍摄标定模板后得到的第二图像为基准，校正第一摄像头拍摄标定模板后得到的第一图像。

第二校正模块32，用于以第二摄像头拍摄标定模板后得到的第二图像为基准，校正第三摄像头拍摄标定模板后得到的第三图像。

可见，本发明提供的三目摄像头的校正装置中，保持第二摄像头拍摄的第二图像不变，以此为基准，分别对第一摄像头拍摄的第一图像和第三摄像头拍摄的第三图像进行校正。由于针对第一图像和第三图像都采用了第二图像作为校正基准，所以校正后，三幅图像中对应的像素点将位于同一水平线。

下面给出本发明校正装置的实施例。

图4为本发明实施例中三目摄像头的校正装置，该装置包括：第一校正模块41、第二校正模块42、第一标定模块43、第二标定模块44、处理模块45和第三标定模块46。

第一标定模块43，用于分别为第一摄像头、第二摄像头和第三摄像头标定内部参数。

处理模块45，用于利用为第一摄像头标定的内部参数建立第一畸变校正模型，对第一摄像头拍摄标定模板后得到的图像进行处理得到所述第一图像；利用为第二摄像头标定的内部参数建立第二畸变校正模型，对第二摄像头拍摄标定模板后得到的图像进行处理得到所述第二图像；利用为第三摄像头标定的内部参数建立第三畸变校正模型，对第三摄像头拍摄标定模板后得到的图像进行处理得到所述第三图像。

第二标定模块44，用于利用所述第一图像和所述第二图像，为第一摄像头标定相对于第二摄像头的第一外部参数。

第三标定模块46，用于利用所述第三图像和所述第二图像，为第三摄像头标定相对于第二摄像头的第二外部参数。

第一校正模块41包括：第一坐标确定子模块411和第一赋值子模块412。

第一坐标确定子模块411，用于利用为第一摄像头标定的内部参数及为第一摄像头标定的相对于第二摄像头的第一外部参数，计算所述第一图像中的每个像素点对应的校正后坐标。具体的，第一坐标确定子模块411可以按照本发明方法实施例中的计算流程来计算第一图像中的每个像素点对应的校正后坐标。

第一赋值子模块412，用于确定所述第一图像中每个校正后坐标处的像素值，并将确定出的像素值赋值给该校正后坐标对应的像素点。

第二校正模块42包括：第二坐标确定子模块421和第二赋值子模块422。

第二坐标确定子模块421，利用为第三摄像头标定的内部参数及为第三摄像头标定的相对于第二摄像头的第二外部参数，计算所述第三图像中的每个像素点对应的校正后坐标。具体的，第二坐标确定子模块421可以按照本发明方法实施例中的计算流程来计算第三图像中的每个像素点对应的校正后坐标。

第二赋值子模块422，用于确定所述第三图像中每个校正后坐标处的像素值，并将确定出的像素值赋值给该校正后坐标对应的像素点。

本领域技术人员应当理解，以上公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。

本领域技术人员还应当理解，结合本文的实施例描述的各种说明性的逻辑框、模块和算法步骤均可以实现成电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件之间的可交换性，上面对各种说明性的部件、框、模块、电路和步骤均围绕其功能进行了一般地描述。至于这种功能是实现成硬件还是实现成软件，取决于特定的应用和对整个***所施加的设计约束条件。熟练的技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是，这种实现决策不应解释为背离本公开的保护范围。

为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说，这些实施例的各种修改方式都是显而易见的，并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此，本公开并不限于本文给出的实施例，而是与本申请公开的原理和新颖性特征的最广范围相一致。