CN111429532A - 一种利用多平面标定板提高相机标定精确度的方法 - Google Patents

Abstract

本发明公开了一种利用多平面标定板提高相机标定精确度的方法，包括：拼接绘有棋盘格点图案的两块标定基板后获得标定板；计算棋盘角点的三维世界坐标，并归并在同一三维世界坐标系中；使用待标定相机获取标定板的图像并滤波预处理，获得标定图像；在标定图像上确定目标角点并获取图像像素坐标，目标角点的图像像素坐标与棋盘角点的三维世界坐标一一对应；推算重投影变换方程并求解，分解获得旋转向量和平移矩阵；将旋转向量变换成对应的旋转矩阵，重投影后通过光束平差法优化旋转矩阵和平移矩阵。本发明通过拼接两块标定基板形成多平面标定板，能够提高相机标定精度，有效解决了相机位姿估计中误差较大的问题。

Description

一种利用多平面标定板提高相机标定精确度的方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种利用多平面标定板提高相机标定精确度的方法。

背景技术

相机标定是计算机视觉与三维重建中的一个重要工具与环节，在相机运动位姿估计中，通过相机标定获取任一帧的三维世界坐标系到相机三维世界坐标系的变换更是一个重要的步骤。传统的单一棋盘平面的标定方法，由于棋盘角点共面的局限性导致立体信息的缺失，影响标定的相机外参数，使用多平面棋盘以确保为平移旋转矩阵的求解提供足够的信息，否则会使得在求解相关参数时误差较大。而且选取无序的空间点标定在拍摄过程中角度的选取会影响目标角点的检测，如果不对标定方法加以改善，会对位姿估计结果的准确度有很大影响，在进行机器视觉相关的工作时也会带来不必要的时间和精力的浪费。

发明内容

发明目的：本发明所解决的技术问题是平面标定棋盘由于立体信息的缺失导致的相机标定参数的精度较差的问题。避免在相机位姿估计中所用的无序立体空间点的三维坐标和像素坐标在计算时的复杂和精度较低现象。通过对多平面棋盘的标定获得更高精度的从世界坐标系到相机坐标系的旋转和平移向量，并变换为矩阵形式。

为了解决上述技术问题，本发明公开了一种利用多平面标定板提高相机标定精确度的方法，包括如下步骤：

步骤1，分别在两块大小相等的标定基板上绘制相同的棋盘格点图案，形成两块平面标定板，将所述两块平面标定板拼接，获得标定板；本申请中，所述标定基板为采用刚性材料制备的平面板，当将所述两块平面标定板拼接时，为按照预设角度紧密拼接。

步骤2，分别在所述两块平面标定板上建立三维世界坐标系，计算所述两块平面标定板上棋盘角点的三维世界坐标，并将所述棋盘角点的三维世界坐标归并在同一三维世界坐标系中；本申请中，根据所述棋盘的规格和有序的排列，获取所述棋盘角点的三维世界坐标。

步骤3，保持所述标定板的稳定，使用待标定相机从不同角度获取所述标定板的图像，对所述标定板的图像进行滤波预处理，获得标定图像；本申请中，所述待标定相机选用较高的分辨率，具体的，可以选用分辨率超过2k的相机作为待标定相机，通过在拍摄过程中保持标定板和相机之间的相对稳定，能够避免由于成像时间的延迟导致成像模糊。

步骤4，在所述标定图像上进行角点检测，确定所述标定图像上的目标角点，并获取所述目标角点的图像像素坐标，所述目标角点的图像像素坐标与棋盘角点的三维世界坐标一一对应；本申请中，非目标角点在每个方向上的灰度值变化都不大，变化都大的是目标角点。利用亚像素精确化细化像素的坐标，并根据棋盘的格点分布，确定每个目标角点的图像像素坐标。所述三维世界坐标根据目标角点在X轴Y轴Z轴的投影数值确定，当所述三维世界坐标系确定，所述三维世界坐标即可确定。

步骤5，根据所述棋盘角点的三维世界坐标和所述目标角点的图像像素坐标，推算重投影变换方程，求解每一帧所述标定图像的重投影矩阵，分解所述重投影矩阵获得三维世界坐标系到待标定相机坐标系的旋转向量和平移矩阵；

本申请中，根据相机模型，棋盘角点的三维世界坐标和目标角点的图像像素坐标满足式(1)：

q＝K[r|t]Q (1)

其中，q为目标角点的图像像素坐标，Q为棋盘角点的三维世界坐标，所述目标角点的图像像素坐标与棋盘角点的三维世界坐标一一对应，K为待标定相机的相机内参，r为旋转向量，t为平移矩阵。

将所述棋盘角点映射到相机的成像平面，满足式(2)：

q＝PQ (2)

其中，P为棋盘平面和成像平面之间的投影矩阵。由于棋盘点数足够多，求解方程数目超过未知数数目，采用最小二乘法求最优解。根据所述投影矩阵P和内参矩阵参数K求解待标定相机的外参[r|t]，所述外参[r|t]包括旋转向量r和平移矩阵t。

步骤6，将所述旋转向量变换成对应的旋转矩阵，结合所述旋转矩阵和平移矩阵将棋盘角点的三维世界坐标进行重投影，通过光束平差法优化所述旋转矩阵和平移矩阵。

本申请中，将求解出的三维世界坐标系到相机坐标系的旋转向量r进行罗格里德斯变换得到旋转矩阵R，结合平移矩阵t，通过棋盘角点的三维世界坐标到对应的目标角点的图像像素坐标的投影误差求解光束平差法(Bundle Adjustment，BA)问题，优化旋转矩阵和平移矩阵的参数，即利用棋盘角点的三维世界坐标到图像坐标系的重投影像素坐标和对应的目标角点的成像真实像素坐标的差值的平方和作为目标函数，根据多元微分知识，当对重投影矩阵各个参数的偏导为零时目标函数值最小。先进行偏导计算再建立线性方程组求解各个重投影矩阵的参数，然后重新分解为旋转矩阵和平移矩阵，根据前后帧的旋转平移矩阵计算相机的前后位置的估计，或者固定相机估计目标的三维运动。利用特征点匹配可以紧接着做三维重建等相关工作，使得相机标定精度更高。

进一步地，在一种实现方式中，所述步骤1包括：

将所述两块平面标定板拼接时，所述两块平面标定板所在的两个平面的相交线与棋盘格点图案的格线互相重叠，所述棋盘格点图案的面积与每块标定基板的面积相等；

采用与所述两块平面标定板的材质相匹配的粘合方式，按照预设夹角，将所述两块平面标定板拼接，使得所述两块平面标定板相互固定。

本申请中，所述标定基板的制备需要一定的质量要求，所述标定基板的表面要尽可能的平整光滑，且所述标定基板的边沿要平整，因此，能够使得平面标定板粘合时更加紧密。

此外，所述两块平面标定板之间的夹角不能太小，避免在不同角度拍摄时出现遮挡现象和光照严重不足的影响。

进一步地，在一种实现方式中，所述步骤1还包括：采取随机位姿摆放所述标定板，所述标定板的成像像素与总成像像素的面积比例大于或等于50％，且所述成像像素平均分布于成像平面的不同位置。

进一步地，在一种实现方式中，所述步骤2包括：

分别选取所述两块平面标定板上的三维世界坐标系的原点，所述原点位于棋盘格点图案的格线的交点上；

根据所述两块平面标定板上的三维世界坐标系的原点，分别建立两个三维世界坐标系，包括：

分别选取每个所述原点经过的横向格线所在直线为每个三维世界坐标系的X轴；

分别选取每个所述原点经过的纵向格线所在直线为每个三维世界坐标系的Y轴；

分别选取每个所述原点所在的垂直于平面标定板平面的直线为每个三维世界坐标系的Z轴。本申请中，所述原点一般在两块平面标定板的左上角，所述左上角是一个相对于平面标定板而言的相对位置，即棋盘格点图案中黑色块开始统计的四个方格的中心角点位置。本申请中，通过平面标定板的有角度拼接，能够使得所述棋盘角点不共面，用于增加立体空间信息。

进一步地，在一种实现方式中，所述步骤2还包括：

所述两个三维世界坐标系包括第一三维世界坐标系和第二三维世界坐标系；

根据所述两块平面标定板之间的预设夹角，计算所述两个三维世界坐标系之间的变换，即计算通过第一三维世界坐标系到第二三维世界坐标系之间的变换，将所述两个三维世界坐标系归一化到以第一三维世界坐标系的原点为坐标系原点的坐标系；

通过所述变换，位于第二块所述平面标定板上的棋盘角点的三维世界坐标系中的Z轴参量获得非零值。

进一步地，在一种实现方式中，所述步骤3中的滤波预处理包括：对获取的所述标定板的图像进行灰度值分布统计，绘制直方图并均衡化直方图，设计卷积核进行高通滤波；

所述均衡化直方图，用于削弱由于所述两块平面标定板互相遮挡引起的光照分布不均匀现象；所述高通滤波，用于提取所述图像的边界，增强所述边界的锐度，获得图像质量更好的所述标定图像。

进一步地，在一种实现方式中，所述步骤4包括：

步骤4-1，根据对所述标定图像的二维矩阵的逐点遍历，在所述标定图像上进行角点检测，确定所述标定图像上的目标角点，包括：从所述标定图像的每一个像素点向邻域查询像素值；

若所述像素点的灰度值在每个方向上与邻域灰度值的差距小于50，则确定所述像素点非目标角点；

若所述像素点的灰度值在每个方向上与邻域灰度值的差距都大于或等于50，则确定所述像素点为目标角点；

步骤4-2，按照邻域查询像素值的方法确定当前遍历的像素点为目标角点后，以遍历的索引值作为所述目标角点的图像像素坐标；

步骤4-3，根据每个所述目标角点的图像像素坐标确定目标角点对应的棋盘角点的三维世界坐标，包括：

步骤4-3-1，对所述目标角点进行排序，获得所述目标角点的排序序列；

步骤4-3-2，根据所述目标角点的排序序列，确定所述目标角点的图像像素坐标对应的棋盘角点的三维世界坐标，所述目标角点的排序序列与棋盘角点的排序序列一一对应。

进一步地，在一种实现方式中，所述步骤5包括：

步骤5-1，根据获得的棋盘角点的三维世界坐标和对应的图像像素坐标进行重投影变换方程的建立；

步骤5-2，对于建立的重投影变换方程采用最小二乘法求最优解，即获得重投影矩阵；

步骤5-3，将求解获得的所述重投影矩阵进行分解，结合所述待标定相机的相机内参，获得所述三维世界坐标系到待标定相机坐标系变换的旋转向量和平移矩阵，所述相机内参包括像素焦距和畸变系数。

进一步地，在一种实现方式中，所述步骤6包括：

步骤6-1，将获得的所述三维世界坐标系到待标定相机坐标系的旋转向量进行罗格里德斯变换，得到所述旋转矩阵，用于在后续的棋盘角点重投影计算时与所述棋盘角点的三维世界坐标直接相乘；

步骤6-2，使用光束平差法调整优化所述旋转矩阵和平移矩阵的参数，包括：

步骤6-2-1，获取总投影误差作为目标函数，所述总投影误差即第一像素坐标与第二像素坐标的差值的平方和；所述第一像素坐标为在标定图像上检测到的目标角点的图像像素坐标；所述第二像素坐标为棋盘角点通过步骤5-2获得的重投影矩阵进行重投影所计算出来的目标角点的图像像素坐标；

步骤6-2-2，根据所述目标函数进行偏导计算；根据多元微分定理，当对所述重投影矩阵各个参数的偏导为零时，所述目标函数值最小，此时所述重投影矩阵精度更高，相应的，所述重投影矩阵分解获得的旋转矩阵和平移矩阵精度更高；

步骤6-2-3，建立线性方程组求解各个所述重投影矩阵的参数；

步骤6-2-4，将所述参数重新分解为旋转矩阵和平移矩阵作为优化的最终解。

本发明中，针对控制设备，通过调节棋盘或者相机的姿态稳定后待标定相机获取图像；控制设备对图像进行预处理，提高图像的边缘对比图方便提取角点；同时对图像进行去噪提高图像的质量；最后进行角点的检测完成世界坐标系到相机坐标系的转换，求解旋转平移矩阵。

有益效果：本发明结合了现有的经典单一棋盘标定法和相机位姿估计的方法，能够从有序且规则的棋盘中预先通过计算获取更加精确的三维世界坐标，同时通过多平面标定板不共面的特性提供了空间立体信息，从而提升了计算从世界坐标系到相机坐标系的旋转矩阵和平移矩阵时的精确性。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例部分提供的一种利用多平面标定板提高相机标定精确度的方法的工作流程示意图；

图2是本发明实施例部分提供的一种利用多平面标定板提高相机标定精确度的方法中的设备组成示意图；

图3是本发明实施例部分提供的一种利用多平面标定板提高相机标定精确度的方法中多面棋盘的空间关系和坐标选取示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明实施例公开一种利用多平面标定板提高相机标定精确度的方法，本方法应用于被动式三维重建中的相机位姿估计和常见的相机标定中。在传统的位姿估计中，需要设定空间点的位置信息，同时需要在图像中检测这些空间点的投影像素点，十分麻烦且检测精确度较低。棋盘是一个便于检测的目标，但是由于棋盘上的角点是共面的，缺少立体信息，而导致棋盘无法在位姿估计中精准的使用。本申请通过有角度的拼接两块绘制了棋盘格点图案的平面标定板，实现对目标角点方便精确的检测，提高待相机标定中外参数的精度，进而提高三维重建工作的重建精确度。

本发明实施例部分提出一种利用多平面标定板提高相机标定精确度的方法，解决现有技术中平面标定棋盘由于立体信息的缺失导致的相机标定参数的精度较差的问题。避免在相机位姿估计中所用的无序立体空间点的三维坐标和像素坐标在计算时的复杂和精度较低现象。通过对多平面棋盘的标定获得更高精度的从世界坐标系到相机坐标系的旋转向量和平移矩阵，并统一变换为矩阵形式。

如图1所示，本实施例所述的一种利用多平面标定板提高相机标定精确度的方法，包括如下步骤：

步骤1，分别在两块大小相等的标定基板，即在一号标定基板001和二号标定基板002上绘制相同的棋盘格点图案，形成两块平面标定板，将所述两块平面标定板拼接，获得标定板003，本实施例中，所述标定板003即多平面标定板；其中，所述标定基板为采用刚性材料制备的平面板，当将所述两块平面标定板拼接时，为按照预设角度紧密拼接。

步骤2，分别在所述两块平面标定板上建立三维世界坐标系，计算所述两块平面标定板上棋盘角点的三维世界坐标，并将所述棋盘角点的三维世界坐标归并在同一三维世界坐标系中；本实施例中，根据所述棋盘的规格和有序的排列，能够获取所述棋盘角点的三维世界坐标。具体的，即根据棋盘角点在建立的三维世界坐标系中的空间位置分布来确定所有棋盘角点的三维世界坐标(x_ij,y_ij,z_ij)，i＝1、2，…n，j＝1、2，…n。

步骤3，保持所述标定板的稳定，使用待标定相机从不同角度获取所述标定板的图像，对所述标定板的图像进行滤波预处理，获得标定图像；本实施例中，所述待标定相机选用较高的分辨率，具体的，可以选用分辨率超过2k的相机作为待标定相机，通过在拍摄过程中保持标定板和相机之间的相对稳定，能够避免由于成像时间的延迟导致成像模糊。具体的，所述使用待标定相机从不同角度获取所述标定板的图像，为通过平移并倾斜标定板来调整角度，且平移不超出成像范围，倾斜时任一棋盘平面与成像平面的夹角不超过45°。

步骤4，在所述标定图像上进行角点检测，确定所述标定图像上的目标角点，并获取所述目标角点的图像像素坐标，所述目标角点的图像像素坐标与棋盘角点的三维世界坐标一一对应；本实施例中，非目标角点在每个方向上的灰度值变化都不大，变化都大的是目标角点。利用亚像素精确化细化像素的坐标，并根据棋盘的格点分布，确定每个目标角点的图像像素坐标。所述三维世界坐标根据目标角点在X轴Y轴Z轴的投影数值确定，当所述三维世界坐标系确定，所述三维世界坐标即可确定。本步骤中，根据棋盘的格点分布，对检测到的角点进行横向从左向右排序，具体的，先根据角点的横坐标排序，再根据纵坐标排序，确定每个目标角点的图像像素坐标(u_ij,v_ij)，i＝1、2，…n，j＝1、2，…n，与棋盘角点的三维世界坐标(x_ij,y_ij,z_ij)，i＝1、2，…n，j＝1、2，…n一一对应。

步骤5，根据所述棋盘角点的三维世界坐标和所述目标角点的图像像素坐标，推算重投影变换方程，求解每一帧所述标定图像的重投影矩阵，分解所述重投影矩阵获得三维世界坐标系到待标定相机坐标系的旋转向量和平移矩阵；本步骤中，由于棋盘点数足够多，求解方程数目超过未知数数目，可以采用最小二乘法求最优解。将方程系数提取为两个矩阵，即Ax＝B，其中x为重投影矩阵，将矩阵A和矩阵B带入相关的奇异值分解(SingularValue Decomposition，SVD)计算辅助工具中进行求解，然后分解x为旋转向量和平移矩阵。

具体的，根据相机模型，棋盘角点的三维世界坐标和目标角点的图像像素坐标满足式(1)：

q＝K[r|t]Q (1)

其中，q为目标角点的图像像素坐标，Q为棋盘角点的三维世界坐标，所述目标角点的图像像素坐标与棋盘角点的三维世界坐标一一对应，K为待标定相机的相机内参，r为旋转向量，t为平移矩阵。

将所述棋盘角点映射到相机的成像平面，满足式(2)：

q＝PQ (2)

其中，P为棋盘平面和成像平面之间的投影矩阵。由于棋盘点数足够多，求解方程数目超过未知数数目，采用最小二乘法求最优解。根据所述投影矩阵P和内参矩阵参数K求解待标定相机的外参[r|t]，所述外参[r|t]包括旋转向量r和平移矩阵t。

步骤6，将所述旋转向量变换成对应的旋转矩阵，结合所述旋转矩阵和平移矩阵将棋盘角点的三维世界坐标进行重投影，通过光束平差法优化所述旋转矩阵和平移矩阵。本步骤中，将求解出的世界坐标系到相机坐标系的旋转向量进行罗格里德斯变换得到旋转矩阵R，利用光束平差法(Bundle Adjustment，BA)优化参数，根据前后帧的旋转平移矩阵计算相机的前后位置的估计，或者固定相机估计目标的三维运动。利用特征点匹配可以紧接着做三维重建等相关工作，使得精度更高。

本实施例所述的一种利用多平面标定板提高相机标定精确度的方法中，所述步骤1包括：

将所述两块平面标定板拼接时，所述两块平面标定板所在的两个平面的相交线与棋盘格点图案的格线互相重叠，所述棋盘格点图案的面积等于或略小于每块标定基板的面积；

采用与所述两块平面标定板的材质相匹配的粘合方式，按照预设夹角，将所述两块平面标定板拼接，使得所述两块平面标定板相互固定。本实施例中，所述标定基板的制备需要一定的质量要求，所述标定基板的表面要尽可能的平整光滑，且所述标定基板的边沿要平整，因此，能够使得平面标定板粘合时更加紧密。此外，所述两块平面标定板之间的夹角不能太小，避免在不同角度拍摄时出现遮挡现象和光照严重不足的影响。具体的，所述一号标定基板001和二号标定基板002之间的预设夹角不超过30°，通过待标定相机004采样标定板003，获取的图像信息通过数据线传输到图像处理平台005。

本实施例所述的一种利用多平面标定板提高相机标定精确度的方法中，所述步骤1还包括：采取随机位姿摆放所述标定板，所述标定板的成像像素与总成像像素的面积比例大于或等于50％，且所述成像像素平均分布于成像平面的不同位置。

本实施例所述的一种利用多平面标定板提高相机标定精确度的方法中，所述步骤2包括：

分别选取所述两块平面标定板上的三维世界坐标系的原点，所述原点位于棋盘格点图案的格线的交点上；

根据所述两块平面标定板上的三维世界坐标系的原点，分别建立两个三维世界坐标系，包括：

分别选取每个所述原点经过的横向格线所在直线为每个三维世界坐标系的X轴；

分别选取每个所述原点经过的纵向格线所在直线为每个三维世界坐标系的Y轴；

分别选取每个所述原点所在的垂直于平面标定板平面的直线为每个三维世界坐标系的Z轴。

本实施例中，所述原点一般在两块平面标定板的左上角，所述左上角是一个相对于平面标定板而言的相对位置，即棋盘格点图案中黑色块开始统计的四个方格的中心角点位置。本申请中，通过平面标定板的有角度拼接，能够使得所述棋盘角点不共面，用于增加立体空间信息。具体的，为了直观的计算每个点的世界坐标，本实施例中选取所述标定板左上角第一个角点(x₀,y₀,z₀)作为世界坐标的原点，根据所述棋盘角点在建立的三维世界坐标系中的空间位置分布来确定所有棋盘角点的世界坐标(x_ij,y_ij,z_ij)，i＝1、2，…n，j＝1、2，…n。

本实施例所述的一种利用多平面标定板提高相机标定精确度的方法中，所述步骤2还包括：

所述两个三维世界坐标系包括第一三维世界坐标系和第二三维世界坐标系；

根据所述两块平面标定板之间的预设夹角，计算所述两个三维世界坐标系之间的变换，即计算通过第一三维世界坐标系到第二三维世界坐标系之间的变换，将所述两个三维世界坐标系归一化到以第一三维世界坐标系的原点为坐标系原点的坐标系；

通过所述变换，位于第二块所述平面标定板上的棋盘角点的三维世界坐标系中的Z轴参量获得非零值，即所述棋盘角点不共面，用于增加立体空间信息。

本实施例所述的一种利用多平面标定板提高相机标定精确度的方法中，所述步骤3中的滤波预处理包括：对获取的所述标定板的图像进行灰度值分布统计，绘制直方图并均衡化直方图，设计卷积核进行高通滤波；

所述均衡化直方图，用于削弱由于所述两块平面标定板互相遮挡引起的光照分布不均匀现象；所述高通滤波，用于提取所述图像的边界，增强所述边界的锐度，获得图像质量更好的所述标定图像。

本实施例所述的一种利用多平面标定板提高相机标定精确度的方法中，所述步骤4包括：

步骤4-1，根据对所述标定图像的二维矩阵的逐点遍历，在所述标定图像上进行角点检测，确定所述标定图像上的目标角点，包括：从所述标定图像的每一个像素点向邻域查询像素值；

若所述像素点的灰度值在每个方向上与邻域灰度值的差距小于50，则确定所述像素点非目标角点；

若所述像素点的灰度值在每个方向上与邻域灰度值的差距都大于或等于50，则确定所述像素点为目标角点；

步骤4-2，按照邻域查询像素值的方法确定当前遍历的像素点为目标角点后，以遍历的索引值作为所述目标角点的图像像素坐标；

步骤4-3，根据每个所述目标角点的图像像素坐标确定目标角点对应的棋盘角点的三维世界坐标，包括：

步骤4-3-1，对所述目标角点进行排序，获得所述目标角点的排序序列；本实施例中，先根据目标角点的横坐标排序，再根据目标角点的纵坐标排序。

步骤4-3-2，根据所述目标角点的排序序列，确定所述目标角点的图像像素坐标对应的棋盘角点的三维世界坐标，所述目标角点的排序序列与棋盘角点的排序序列一一对应。

本实施例所述的一种利用多平面标定板提高相机标定精确度的方法中，所述步骤5包括：

步骤5-1，根据获得的棋盘角点的三维世界坐标和对应的图像像素坐标进行重投影变换方程的建立；

步骤5-2，对于建立的重投影变换方程采用最小二乘法求最优解，即获取重投影矩阵；

步骤5-3，将求解获得的所述重投影矩阵进行分解，结合所述待标定相机的相机内参，获得所述三维世界坐标系到待标定相机坐标系变换的旋转向量和平移矩阵，所述相机内参包括像素焦距和畸变系数。本实施例中，所述三维世界坐标系即通过步骤2归并三维世界坐标的第一三维世界坐标系。

本实施例所述的一种利用多平面标定板提高相机标定精确度的方法中，所述步骤6包括：

步骤6-1，将获得的所述三维世界坐标系到待标定相机坐标系的旋转向量进行罗格里德斯变换，得到所述旋转矩阵，用于在后续的棋盘角点重投影计算时与所述棋盘角点的三维世界坐标直接相乘；

步骤6-2，使用光束平差法调整优化所述旋转矩阵和平移矩阵的参数，包括：

步骤6-2-1，获取总投影误差作为目标函数，所述总投影误差即第一像素坐标与第二像素坐标的差值的平方和；所述第一像素坐标为在标定图像上检测到的目标角点的图像像素坐标；所述第二像素坐标为棋盘角点通过步骤5-2获得的重投影矩阵进行重投影所计算出来的目标角点的图像像素坐标；

步骤6-2-2，根据所述目标函数进行偏导计算；根据多元微分定理，当对所述重投影矩阵各个参数的偏导为零时，所述目标函数值最小，此时所述重投影矩阵精度更高，相应的，所述重投影矩阵分解获得的旋转矩阵和平移矩阵精度更高；

步骤6-2-3，建立线性方程组求解各个所述重投影矩阵的参数；

步骤6-2-4，将所述参数重新分解为旋转矩阵和平移矩阵作为优化的最终解。

具体的，本实施例中，如图2所示，公开一种利用多平面标定板提高相机标定精确度的方法。图2包括以下部件：一号标定基板001和二号标定基板002，标定板003，待标定相机004和图像处理平台005。本实施例中，选取待标定相机004，放置标定板003于待标定相机004前方20cm以外。待标定相机004与图像处理平台005相连；

所述一号标定基板001和二号标定基板002的大小没有固定标准，用来作为棋盘纹理的贴合衬底，根据标定板003的大小选取焦距和景深适合的待标定相机004，保证标定板003在成像平面的比例。

所诉的图像处理平台005在空间上没有限制，不受待标定相机004与其的连接方式限制。

图2包含的是两块标定板的空间结构，用于说明一号标定基板001和二号标定基板002的三维世界坐标系的变换关系。

所述标定板的夹角非固定值，为方便计算，采用图3的构造方式。

步骤一，使用刚性材料制备两块16cm*16cm的平面板，形成两块标定板基板。印制棋盘格点图案，其中每块标定板基板上的格点规格为15×12，每个棋盘格点的边长为10mm，棋盘面积可以覆盖两块棋盘。

一号标定基板001相对于二号标定基板002的仰角θ为15°，边界处紧密接触，根据材料属性选择适合的粘合方式使之固定，两块标定板平面的相交线与棋盘的格线相重叠。如图2所示。

步骤二，如图3所示，选取左上角第一个点P作为三维世界坐标的原点，根据所述棋盘角点在三维世界坐标系中的分布来确定所有棋盘角点的三维世界坐标(x_ij,y_ij,z_ij)，i＝1、2，…n，j＝1、2，…n。如图2所示，一号标定基板001所在面为Z平面，P点以右为X轴，P点以下为Y轴。二号标定基板002相对于一号标定基板001是经过向X轴正方向平移100mm，然后绕Y轴逆时针方向旋转15°，则二号标定基板002上相对一号标定基板001世界坐标的坐标描述为：

在计算一号标定基板001上角点的世界坐标的基础上，直接计算二号标定基板002上角点的三维世界坐标。

步骤三，使用待标定相机，选取15个不同的角度获取标定板的图像，采用分辨率为4000*3000的相机，在拍摄过程中保持标定板的稳定，避免由于成像时间的延迟导致成像模糊。对获取的图像先进行滤波预处理，降低噪声影响，提高图像的质量。首先均衡化灰度值，统计灰度分布直方图，然后均衡化直方图。再对图像进行高通滤波，增强边缘。

步骤四，在图像上进行棋盘的角点检测，对于每一个点向邻域移动，非角点在每个方向上的灰度变化都不大，变化都大的是角点。根据棋盘的格点分布，对检测到的角点进行排序，所述排序方式为沿着横向按着从左向右的顺序排序，确定每个角点对应的图像像素坐标(u_ij,v_ij)，i＝1、2，…n，j＝1、2，…n，与世界坐标(x_ij,y_ij,z_ij)，i＝1、2，…n，j＝1、2，…n一一对应。一号标定基板001和二号标定基板002的角点检测排序时是一个整体，一起进行排序同时确定每个点的对应的三维坐标。

步骤五，对每一帧图像进行旋转平移矩阵的求解，根据获得的棋盘的世界坐标和对应的像素坐标进行投影变换方程的建立，三维棋盘角点到对应二维目标角点的投影方程为：

其中

为目标角点的图像像素坐标，Zc为相机坐标系的角点深度，

为相机内参矩阵，γ为两个坐标轴的偏斜参数，cx cy为成像平面中心像素，R t为世界坐标到相机坐标的旋转矩阵和平移矩阵，

为棋盘角点的世界坐标。

即为重投影矩阵H。考虑到非线性模型，需要优化求解。由于棋盘点数足够多，求解方程数目超过未知数数目，可以采用最小二乘法求最优解。将方程系数提取为两个矩阵(AH＝B)，将矩阵A和矩阵B带入奇异值分解(Singular ValueDecomposition，SVD)相关辅助计算工具中进行求解，可以获得输出为世界坐标系到相机坐标系变换的旋转向量和平移矩阵。

步骤六，将求解出的世界坐标系到相机坐标系的旋转向量进行罗格里德斯变换得到旋转矩阵R。用已知的棋盘角点的三维世界坐标进行相机成像重投影，利用现有的光束平差法(Bundle Adjustment，BA)求解的办法调整参数，获取更精确的从世界坐标系到图像坐标系的旋转矩阵和平移矩阵的参数，提高了相机标定的外参数精度，在多帧三维重建过程或者同时定位与构图的应用中能够减缓尺度的偏移。根据前后帧的旋转平移矩阵计算相机的前后位置的估计或者固定相机估计目标的三维运动。利用立体匹配可以紧接着做三维重建等相关工作，使得三维重建的精度更高。

本发明提出了一种利用多平面标定板提高相机标定精确度的方法，应当指出标定板所设定的角度不对本专利构成限制，拍摄所选取的角度不对本专利构成限制，标定图案形式不对本专利构成限制，对于是标定物位姿估计还是相机的位姿估计不对本专利构成限制。上述的实施例中所给出的系数和参数，是提供给本领域的技术人员来实现或使用发明的，发明并不限定仅取前述公开的数值，在不脱离发明的思想的情况下，本领域的技术人员可以对上述实施例做出种种修改或调整，因而发明的保护范围并不被上述实施例所限，而应该是符合权利要求书提到的创新性特征的最大范围。

具体实现中，本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的一种利用多平面标定板提高相机标定精确度的方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，ROM)或随机存储记忆体(random access memory，RAM)等。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中各个实施例之间相同相似的部分互相参见即可。以上所述的本发明实施方式并不构成对本发明保护范围的限定。

Claims (9)

1.一种利用多平面标定板提高相机标定精确度的方法，其特征在于，包括如下步骤：

步骤1，分别在两块大小相等的标定基板上绘制相同的棋盘格点图案，形成两块平面标定板，将所述两块平面标定板拼接，获得标定板；

步骤2，分别在所述两块平面标定板上建立三维世界坐标系，计算所述两块平面标定板上棋盘角点的三维世界坐标，并将所述棋盘角点的三维世界坐标归并在同一三维世界坐标系中；

步骤3，保持所述标定板的稳定，使用待标定相机从不同角度获取所述标定板的图像，对所述标定板的图像进行滤波预处理，获得标定图像；

步骤4，在所述标定图像上进行角点检测，确定所述标定图像上的目标角点，并获取所述目标角点的图像像素坐标，所述目标角点的图像像素坐标与棋盘角点的三维世界坐标一一对应；

步骤5，根据所述棋盘角点的三维世界坐标和所述目标角点的图像像素坐标，推算重投影变换方程，求解每一帧所述标定图像的重投影矩阵，分解所述重投影矩阵获得三维世界坐标系到待标定相机坐标系的旋转向量和平移矩阵；

步骤6，将所述旋转向量变换成对应的旋转矩阵，结合所述旋转矩阵和平移矩阵将棋盘角点的三维世界坐标进行重投影，通过光束平差法优化所述旋转矩阵和平移矩阵。

2.根据权利要求1所述的一种利用多平面标定板提高相机标定精确度的方法，其特征在于，所述步骤1包括：

将所述两块平面标定板拼接时，所述两块平面标定板所在的两个平面的相交线与棋盘格点图案的格线互相重叠，所述棋盘格点图案的面积与每块标定基板的面积相等；

采用与所述两块平面标定板的材质相匹配的粘合方式，按照预设夹角，将所述两块平面标定板拼接，使得所述两块平面标定板相互固定。

3.根据权利要求2所述的一种利用多平面标定板提高相机标定精确度的方法，其特征在于，所述步骤1还包括：采取随机位姿摆放所述标定板，所述标定板的成像像素与总成像像素的面积比例大于或等于50％，且所述成像像素平均分布于成像平面的不同位置。

4.根据权利要求3所述的一种利用多平面标定板提高相机标定精确度的方法，其特征在于，所述步骤2包括：

分别选取所述两块平面标定板上的三维世界坐标系的原点，所述原点位于棋盘格点图案的格线的交点上；

根据所述两块平面标定板上的三维世界坐标系的原点，分别建立两个三维世界坐标系，包括：

分别选取每个所述原点经过的横向格线所在直线为每个三维世界坐标系的X轴；

分别选取每个所述原点经过的纵向格线所在直线为每个三维世界坐标系的Y轴；

分别选取每个所述原点所在的垂直于平面标定板平面的直线为每个三维世界坐标系的Z轴。

5.根据权利要求4所述的一种利用多平面标定板提高相机标定精确度的方法，其特征在于，所述步骤2还包括：

所述两个三维世界坐标系包括第一三维世界坐标系和第二三维世界坐标系；

根据所述两块平面标定板之间的预设夹角，计算所述两个三维世界坐标系之间的变换，即计算通过第一三维世界坐标系到第二三维世界坐标系之间的变换，将所述两个三维世界坐标系归一化到以第一三维世界坐标系的原点为坐标系原点的坐标系；

通过所述变换，位于第二块所述平面标定板上的棋盘角点的三维世界坐标系中的Z轴参量获得非零值。

6.根据权利要求1所述的一种利用多平面标定板提高相机标定精确度的方法，其特征在于，所述步骤3中的滤波预处理包括：对获取的所述标定板的图像进行灰度值分布统计，绘制直方图并均衡化直方图，设计卷积核进行高通滤波；

所述均衡化直方图，用于削弱由于所述两块平面标定板互相遮挡引起的光照分布不均匀现象；所述高通滤波，用于提取所述图像的边界，增强所述边界的锐度，获得图像质量更好的所述标定图像。

7.根据权利要求1所述的一种利用多平面标定板提高相机标定精确度的方法，其特征在于，所述步骤4包括：

步骤4-1，根据对所述标定图像的二维矩阵的逐点遍历，在所述标定图像上进行角点检测，确定所述标定图像上的目标角点，包括：从所述标定图像的每一个像素点向邻域查询像素值；

若所述像素点的灰度值在每个方向上与邻域灰度值的差距小于50，则确定所述像素点非目标角点；

若所述像素点的灰度值在每个方向上与邻域灰度值的差距都大于或等于50，则确定所述像素点为目标角点；

步骤4-2，按照邻域查询像素值的方法确定当前遍历的像素点为目标角点后，以遍历的索引值作为所述目标角点的图像像素坐标；

步骤4-3，根据每个所述目标角点的图像像素坐标确定目标角点对应的棋盘角点的三维世界坐标，包括：

步骤4-3-1，对所述目标角点进行排序，获得所述目标角点的排序序列；

步骤4-3-2，根据所述目标角点的排序序列，确定所述目标角点的图像像素坐标对应的棋盘角点的三维世界坐标，所述目标角点的排序序列与棋盘角点的排序序列一一对应。

8.根据权利要求1所述的一种利用多平面标定板提高相机标定精确度的方法，其特征在于，所述步骤5包括：

步骤5-1，根据获得的棋盘角点的三维世界坐标和对应的图像像素坐标进行重投影变换方程的建立；

步骤5-2，对于建立的重投影变换方程采用最小二乘法求最优解，即获得重投影矩阵；

步骤5-3，将求解获得的所述重投影矩阵进行分解，结合所述待标定相机的相机内参，获得所述三维世界坐标系到待标定相机坐标系变换的旋转向量和平移矩阵，所述相机内参包括像素焦距和畸变系数。

9.根据权利要求1所述的一种利用多平面标定板提高相机标定精确度的方法，其特征在于，所述步骤6包括：

步骤6-1，将获得的所述三维世界坐标系到待标定相机坐标系的旋转向量进行罗格里德斯变换，得到所述旋转矩阵，用于在后续的棋盘角点重投影计算时与所述棋盘角点的三维世界坐标直接相乘；

步骤6-2，使用光束平差法调整优化所述旋转矩阵和平移矩阵的参数，包括：

步骤6-2-1，获取总投影误差作为目标函数，所述总投影误差即第一像素坐标与第二像素坐标的差值的平方和；所述第一像素坐标为在标定图像上检测到的目标角点的图像像素坐标；所述第二像素坐标为棋盘角点通过步骤5-2获得的重投影矩阵进行重投影所计算出来的目标角点的图像像素坐标；

步骤6-2-2，根据所述目标函数进行偏导计算；根据多元微分定理，当对所述重投影矩阵各个参数的偏导为零时，所述目标函数值最小，此时所述重投影矩阵精度更高，相应的，所述重投影矩阵分解获得的旋转矩阵和平移矩阵精度更高；

步骤6-2-3，建立线性方程组求解各个所述重投影矩阵的参数；

步骤6-2-4，将所述参数重新分解为旋转矩阵和平移矩阵作为优化的最终解。

Images