CN106548477B - 一种基于立体标定靶的多路鱼眼相机标定装置及方法 - Google Patents

Abstract

一种基于立体标定靶的多路鱼眼相机标定装置及方法，属于摄像机标定技术领域。该方法包括：建立立体坐标系；采用全景摄像模块的每路鱼眼相机采集标定靶中两块不同位置标定板图像从而得到畸变图像；选取等距投影畸变模型；计算镜头内部参数及镜头坐标系与所有平面标定板坐标系之间的外部参数；计算两个平面标定板坐标系与立体标定靶坐标系之间的旋转和平移矩阵；对获取的镜头内外部参数进行非线性优化从而得到最优的镜头内部参数和相对于每个标定板坐标系的外部参数；该标定方法采用折叠式标定靶来实现镜头内外部参数的标定，能够获取高质量的标定图像，根据已知的立体标定靶和镜头之间的位置关系，对镜头内外部参数进行优化，大大提高了相机标定的精度。

Description

一种基于立体标定靶的多路鱼眼相机标定装置及方法

技术领域

本发明涉及摄像机标定技术领域，尤其涉及一种基于立体标定靶的多路鱼眼相机标定装置及方法。

背景技术

相机模型反映的是物体空间和图像平面的映射关系，而摄像机标定即确定反映摄像机几何特性和光学特性的内部参数与外部参数。其中，内部参数为镜头的固有参数，不会因为镜头位置变化等原因而改变；而外部参数反映的是镜头坐标系与标定板所在空间的世界坐标系的位置关系，会因为镜头位置变化等原因而发生变化。对于以镜头为主要设备的视觉***，例如全景相机来说，摄像机标定结果直接影响着全景相机图像拼接质量的好坏。

目前常用的相机标定方法是基于传统相机标定方法，传统相机标定方法需要使用尺寸已知的标定物，通过建立标定物上坐标已知的点与其图像点之间的对应，利用一定的算法获得相机模型的内外部参数，根据标定物的不同可分为三维标定物和平面型标定物。

基于二维标定物的相机标定方法，相机和平面标定物都可以自由移动，不需要知道运动参数，标定过程灵活、标定结果精度较高，但是，由于二维标定物的面积不宜过大，所以在二维标定物相对视场较小时，提取的特征点数量不够，标定的精度不高。

基于三维标定物的相机标定可由单幅图像进行标定，标定精度较高。目前所使用的立体标定靶存在自身遮挡，不太容易获取高质量的标定图像，而且标定板的加工难度大、用途比较局限等问题。

发明内容

本发明为克服现有立体标定靶存在加工难度大，自身遮挡且标定精度不高等技术问题，旨在提供一种加工简单无自身遮挡的基于立体标定靶的多路鱼眼相机标定装置，还提供了一种标定精度高的基于立体标定靶的多路鱼眼相机标定方法。

本发明提供了一种基于立体标定靶的多路鱼眼相机标定装置，包括：全景摄像模块、第一电机驱动模块、第一滚轮组、图像处理模块、图像显示模块、标定靶、控制模块；

所述全景摄像模块包括支架、设置在支架各侧面的多个鱼眼镜头及多个图像传感器，每个镜头对应一个图像传感器，所述多个鱼眼镜头位于同一竖直高度，所述多个鱼眼镜头与侧面转动连接；

所述第一滚轮组设置于所述第一电机驱动模块底部，所述第一电机驱动模块通过第一驱动轴与所述全景摄像模块连接，所述图像处理模块连接所述全景摄像模块；所述图像显示模块连接所述图像处理模块；

所述标定靶包括：通过连接轴活动连接的第一底板、第二底板，设置于所述第一底板表面并可在其范围内移动的第一标定板及设置于所述第二底板表面并可在其范围内移动的第二标定板；与所述连接轴固定连接的第二驱动轴，与所述第二驱动轴连接的第二电机驱动模块，设置在所述第二电机驱动模块底部的第二滚轮组；所述第一底板与所述第二底板的夹角为(0°,150°)；所述第一标定、第二标定板中的图案为黑白相间的棋盘格图案或圆孔图案；

所述标定靶与所述全景摄像模块任何一路相机相对，所述控制模块连接所述第一电机驱动模块和所述第二电机驱动模块。

进一步的，所述鱼眼镜头及图像传感器均为4个。

进一步的，所述标定装置还包括与所述标定靶结构相同的第二标定靶、第三标定靶、第四标定靶，所述第二标定靶、第三标定靶、第四标定靶分别与全景摄像模块的另外三路相机的镜头相对。

另外，本发明还提供了一种基于立体标定靶的多路鱼眼相机标定方法，利用上述任一项所述的标定装置对鱼眼相机进行标定，包括如下步骤：

以连接轴为立体标定靶坐标系,第一标定板为第一标定坐标系,第二标定板为第二标定坐标系,两个平面标定板与立体标定靶坐标系之间的旋转和平移矩阵表示为(R₁，T₁)，(R₂，T₂)；

采用全景摄像模块的每路鱼眼相机采集标定靶中两块不同位置标定板图像从而得到畸变图像；

选取等距投影畸变模型；

等距投影畸变模型具体表示如下：

r_d＝fθ_d； (1)

公式(1)中，r_d表示畸变图像中的点到畸变中心的距离，f表示鱼眼相机的焦距，θ_d表示入射光线与鱼眼镜头光轴之间的夹角，即入射角；

选取径向畸变模型如下：

θ_d＝θ(1+k₁θ²+k₂θ⁴+k₃θ⁶+k₄θ⁸+…)； (2)

公式(2)中，θ表示无畸变的入射角，K＝(k₁,k₂,k₃,k₄,…)表示径向畸变参数；θ_d表示畸变入射角；

通过上述畸变模型，从无畸变图像中的点计算出畸变图像中的畸变点，公式如下：

公式(3)中，(x_s，y_s)是有畸变坐标点，(x_c，y_c)是无畸变坐标点，(c_x，c_y)表示畸变图像的中心点坐标；

根据采集到的畸变图像及成像模型分别计算镜头内部参数及镜头坐标系与所有平面标定板坐标系之间的外部参数；

具体计算方法如下：提取所有平面标定板在图像平面内的特征点坐标，计算各平面标定板坐标系下空间点与图像平面坐标系中特征点之间的单应矩阵Homography，单应矩阵计算方法如下：

公式(4)中，表示图像平面坐标系中特征点坐标，表示标定板坐标系下空间特征点；s是任意尺度的比例因子；W表示用于定位观测的物体平面的物理变换，包括与观测到的图像平面相关的部分旋转矩阵R和部分平移矩阵T的和，W＝[RT]；M镜头内部参数矩阵，其中包括x方向焦距f_x，y方向焦距f_y，图像中畸变图像的中心点坐标(c_x，c_y)；

由旋转矩阵的正交性分解单应矩阵Homography，构成一个包含镜头内部参数和外部参数的超定方程，通过奇异值分解及一系列变换得到摄像机的内部参数和外部参数，外部参数是指镜头坐标系与所有平面标定板坐标系之间的旋转和平移矩阵；

根据镜头坐标系与所有平面标定板坐标系之间的外部参数,及已知的立体标定靶坐标系与鱼眼镜头坐标系之间的旋转和平移矩阵,计算两个平面标定板坐标系与立体标定靶坐标系之间的旋转和平移矩阵；

根据求解得到的镜头的内外部参数、计算出来的两个平面标定板坐标系与立体标定靶坐标系之间的旋转和平移矩阵以及选定的等距投影畸变模型和径向畸变模型，对获取的镜头内部参数和外部参数进行非线性优化从而得到最优的镜头内部参数和相对于每个标定板坐标系的外部参数；

具体方法如下：采用Levenberg-Marquardt算法进行摄像机参数优化，建立以重投影误差为最小的优化目标函数如下：

公式(6)中，是空间点P_j转换成立体标定靶坐标系下的坐标后，通过摄像机成像模型投影得到的带有镜头畸变的重投影图像其次坐标，m_ij是采用角点检测方法得到的像素坐标点，M是镜头内部参数矩阵，K表示径向畸变系数，R₁,T₁,R₂,T₂表示两个平面标定板坐标系与立体标定靶坐标系之间的旋转矩阵和平移矩阵；是立体标定靶坐标系与镜头坐标系之间的旋转矩阵与平移矩阵，m表示拍摄立体标定靶的数目，n表示立体标定靶中特征点总个数。

进一步的，所述采用全景摄像模块的每路鱼眼相机采集标定靶中两块不同位置标定板图像从而得到畸变图像步骤中，通过安装在标定靶下方的第二驱动单元及第二滚轮组驱动标定靶在水平面和垂直面上移动，从而改变标定板在镜头视野范围内的位置。

进一步的，所述采用全景摄像模块的每路鱼眼相机采集标定靶中两块不同位置标定板图像从而得到畸变图像步骤中，通过移动第一标定板在第一底板中的位置及第二标定板在第二底板中的位置，从而改变标定板在鱼眼镜头视野范围内的位置。

进一步的，所述采用全景摄像模块的每路鱼眼相机采集标定靶中两块不同位置标定板图像从而得到畸变图像步骤中，通过调节连接轴转动两个底板张开的角度，从而改变标定板在鱼眼镜头视野范围内的位置，角度范围在(0°,150°)。

进一步的，所述采用全景摄像模块的每路鱼眼相机采集标定靶中两块不同位置标定板图像从而得到畸变图像步骤中，通过第一电机驱动模块及第一滚轮组来旋转及平移镜头所处的位置，改变镜头的位姿，从而拍摄每个镜头在不同位姿下的立体标定靶图像。

进一步的，所述采用全景摄像模块的每路鱼眼相机采集标定靶中两块不同位置标定板图像从而得到畸变图像步骤中，通过调整镜头与支架侧面间的角度,改变镜头的位姿，从而拍摄每个镜头在不同位姿下的立体标定靶图像。

进一步的，所述根据镜头坐标系与所有平面标定板坐标系之间的外部参数,及已知的立体标定靶坐标系与鱼眼镜头坐标系之间的旋转和平移矩阵,计算两个平面标定板坐标系与立体标定靶坐标系之间的旋转和平移矩阵具体为:根据获取的镜头坐标系与两个平面标定板坐标系之间的关系，以镜头坐标系为中介，求出所有平面标定板坐标系与立体标定靶坐标系之间的旋转矩阵R_i和平移矩阵T_i，变换关系如下：

公式(5)中，表示已知的立体标定靶坐标系与镜头坐标系之间的旋转矩阵和平移矩阵，表示第i个平面标定板坐标系与镜头坐标系之间的旋转矩阵和平移矩阵。

本发明公开的基于立体标定靶的多路鱼眼相机标定方法采用一种新的折叠式标定靶来实现镜头内外部参数的标定，可以同时实现标定靶中两块标定板图像信息的采集，且不存在图像遮挡，减少了标定图像采集数量，另外，根据已知的立体标定靶和镜头之间的位置关系，对镜头内外部参数进行优化，大大提高了相机标定的精度。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种基于立体标定靶的多路鱼眼相机标定装置结构示意图；

图2是本发明实施例提供的一种基于立体标定靶的多路鱼眼相机标定装置标定状态结构示意图；

图3是本发明实施例提供的一种基于立体标定靶的多路鱼眼相机标定方法流程图；

图4是本发明实施例提供的立体标定靶坐标系示意图；

图5是本发明实施例提供的鱼眼相机拍摄的立体标定靶图像。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现有基于三维标定物的相机标定存在自身遮挡，不太容易获取高质量的标定图像,而且标定板的加工难度大，用途比较局限，亟需研发一种方便实用且标定精度高的立体标定靶,以提高全景相机标定精度，便于全景图象拼接。

为解决上述技术问题，本发明提供了一种基于立体标定靶的多路鱼眼相机标定装置，该装置包括：全景摄像模块9、第一电机驱动模块14、第一滚轮组15、图像处理模块16、图像显示模块17、标定靶1、控制模块19；

所述全景摄像模块9包括支架18、设置在支架18各侧面的多个鱼眼镜头101及多个图像传感器(图中未示出)，每个镜头101对应一个图像传感器，所述多个鱼眼镜头101位于同一竖直高度，所述多个鱼眼镜头101与侧面转动连接；

所述第一滚轮组15设置于所述第一电机驱动模块14底部，所述第一电机驱动模块14通过第一驱动轴13与所述全景摄像模块9连接，所述图像处理模块16连接所述全景摄像模块9；所述图像显示模块17连接所述图像处理模块16；

所述标定靶1包括：通过连接轴3活动连接的第一底板11、第二底板12，设置于所述第一底板11表面并可在其范围内移动的第一标定板21及设置于所述第二底板12表面并可在其范围内移动的第二标定板(图中未示出)；与所述连接轴3固定连接的第二驱动轴6，与所述第二驱动轴6连接的第二电机驱动模块7，设置在所述第二电机驱动模块7底部的第二滚轮组8；所述第一底板11与所述第二底板12的夹角为(0°,150°)；

所述标定靶1与所述全景摄像模块9任何一路相机相对，所述控制模块19连接所述第一电机驱动模块14和所述第二电机驱动模块7。

作为本发明实施例，本发明涉及到的全景相机具有四路鱼眼镜头，那么鱼眼相机标定装置中具有四个鱼眼镜头及图像传感器。全景摄像模块的支架设置为立方体形状，支架各侧面为平面，为了保证各镜头位于同一竖直高度，则将四个镜头设置于立方体支架的各侧面的正中心。由于镜头可以相对于侧面旋转，将镜头光轴与支架侧面垂线的夹角设置在小于等于5°。

为了实现四路鱼眼相机的同时标定，标定装置中同时采用四块结构相同的标定靶，所述标定装置还包括与所述标定靶结构相同的第二标定靶、第三标定靶、第四标定靶，所述第二标定靶、第三标定靶、第四标定靶分别与全景摄像模块的另外三路相机的镜头相对。通过第一电机驱动模块及第二电机驱动模块调整标定靶的位置及角度、全景摄像模块上鱼眼镜头的位置及角度，从而实现四路鱼眼标定板图像信息采集。

上述装置中的第一电机驱动模块可通过第一驱动轴驱动全景摄像模块在三维空间自由移动，并且可以在立体空间内任意旋转来调整镜头方向，另外，镜头还可以相对侧面旋转一定角度；第二电机驱动模块可通过第二驱动轴驱动标定靶在三维空间自由移动，标定靶中第一底板和第二底板张开角度也可调节，第一标定板相对于第一底板移动，第二标定板相对于第二底板移动，从而保证在标定时采集镜头视野范围内更多标定板图像。

标定靶中标定板的图案设置为黑白相间的棋盘格，使用标定靶，可以保证标定时能够找到足够数量的、分布均匀的足够精度且基本处于同一深度的特征点，而不受标定所处实际场景的约束。标定靶中标定板的图案还可以设置成圆孔图案同样能够实现标定结果。

使用标定靶时，如图2所示，第一底板11和第二底板12间夹角为0°至150°之间，从而实现一个镜头采集同时具有两个标定板的图像，既能减少标定时采集图像的数量，又能提高标定的精度；不使用标定靶时，可以将其闭合，既能节省存储空间，又能避免标定板被污染，影响标定结果。

本发明公开的多路鱼眼相机标定装置采用一种新的折叠式标定靶，加工容易，不存在自身遮挡，能够获取高质量的标定图像，提高了标定结果的精度。此外，在标定板图像采集上更加灵活，可以采取标定靶移动或者全景摄像模块移动的方式来采集到镜头视野范围内各个区域的图像，大大提高了相机标定的精度。

如图3所示，本发明还提供了一种基于立体标定板的多路鱼眼相机标定方法，利用上述标定装置对鱼眼相机进行标定，包括如下步骤：

S1：以连接轴为立体标定靶坐标系,第一标定板为第一标定坐标系,第二标定板为第二标定坐标系,两个平面标定板与立体标定靶坐标系之间的旋转和平移矩阵表示为(R₁，T₁)，(R₂，T₂)；

具体的，如图1所示，立体标定靶由两个底板以及两个标定板构成，两个底板由连接轴转动连接，两个标定板由磁性连接装置分别连接在两个底板上，此外，立体标定靶下面安装有第二驱动单元，可以驱动立体标定靶在水平和垂直方向移动。这里，以两个底板之间的连接轴建立立体标定靶坐标系，如图4所示，立体标定靶包括两个平面标定板，它们的标定坐标系分别为O₁X₁Y₁Z₁、O₂X₂Y₂Z₂，以连接轴作为立体标定靶的坐标系OXYZ，两个平面标定板与立体标定靶坐标系之间的旋转和平移矩阵表示为(R₁，T₁)，(R₂，T₂)。

S2：采用全景摄像模块的每路鱼眼相机采集标定靶中两块不同位置标定板图像从而得到畸变图像；

针对上述标定靶，采集每路鱼眼镜头视野内各个位置下的标定板图像从而得到畸变图像，如图5所示，一般采集的图像数量在与单个标定板图像相比，可以减少一半，标定结果的准确度较高，且计算量适中。

在采集立体标定靶图像时，可以通过如下方式改变标定板或鱼眼镜头的位置，从而拍摄不同的标定板图像从而得到畸变图像：

1、通过安装在标定靶下方的第二驱动单元及第二滚轮组驱动标定靶在水平面和垂直面上移动，从而改变标定板在镜头视野范围内的位置。

2、通过移动第一标定板在第一底板中的位置及第二标定板在第二底板中的位置，从而改变标定板在鱼眼镜头视野范围内的位置，一般的将两个平面标定板移动到底板的边缘，即镜头视野范围的周边，这样就可以形成比较大的标定区域，从而提高标定的精度。

3、通过调节连接轴转动两个底板张开的角度，从而改变标定板在鱼眼镜头视野范围内的位置，角度范围在(0°,150°)，使两底板张开的角度基本覆盖镜头的视野范围。

4、通过第一电机驱动模块及第一滚轮组来旋转及平移镜头所处的位置，改变镜头的位姿，从而拍摄每个镜头在不同位姿下的立体标定靶图像。

5、通过调整镜头与支架侧面间的角度,改变镜头的位姿，从而拍摄每个镜头在不同位姿下的立体标定靶图像。

本发明公开的基于立体标定板的多路鱼眼相机标定方法采用一种新的折叠式标定靶来实现标定，加工容易，不存在自身遮挡，能够获取高质量的标定图像，提高了标定结果的精度。此外，在标定板图像采集上更加灵活，可以采取标定靶移动或者全景摄像模块移动的方式来采集到镜头视野范围内各个区域的图像，大大提高了相机标定的精度。

S3：选取等距投影畸变模型；

鱼眼镜头一般是由十几个不同的透镜组合而成，在成像过程中，入射光线经过不同程度的折射，折射到尺寸有限的成像平面上。鱼眼镜头成像遵循的模型是近似为单位球面投影模型，故本发明中采用等距投影畸变模块，等距投影畸变模型具体表示如下：

r_d＝fθ_d； (1)

公式(1)中，r_d表示畸变图像中的点到畸变中心的距离，f表示鱼眼相机的焦距，θ_d表示入射光线与鱼眼镜头光轴之间的夹角，即入射角；

由于鱼眼镜头的投影模型为了将尽可能大的场景投影到有限的图像平面内，因此鱼眼镜头的畸变非常严重。鱼眼镜头的畸变主要是径向畸变，选取径向畸变模型如下：

θ_d＝θ(1+k₁θ²+k₂θ⁴+k₃θ⁶+k₄θ⁸+…)； (2)

公式(2)中，θ表示无畸变的入射角，K＝(k₁,k₂,k₃,k₄,…)表示径向畸变参数；θ_d表示入射光线与鱼眼镜头光轴之间的夹角，即畸变入射角；

通过上述畸变模型，从无畸变图像中的点计算出畸变图像中的畸变点，公式如下：

公式(3)中，(x_s，y_s)是有畸变坐标点，(x_c，y_c)是无畸变坐标点，(c_x，c_y)表示畸变图像的中心点坐标；

S4：根据采集到的畸变图像及成像模型分别计算镜头内部参数及镜头坐标系与所有平面标定板坐标系之间的外部参数；

镜头标定涉及到的内部参数有镜头中心位置，镜头有效焦距以及镜头的畸变系数，涉及到的外部参数有旋转和平移矩阵。首先要初始化镜头的内外部参数，即将畸变图像上的畸变点进行去畸变得到无畸变点，然后计算空间坐标点与无畸变图像点之间的单应矩阵Homography，具体计算方法如下：提取所有平面标定板在图像平面内的特征点坐标，计算各平面标定板坐标系下空间点与图像平面坐标系中特征点之间的单应矩阵Homography，单应矩阵计算方法如下：

公式(4)中，表示图像平面坐标系中特征点坐标，表示标定板坐标系下空间特征点；s是任意尺度的比例因子；W表示用于定位观测的物体平面的物理变换，包括与观测到的图像平面相关的部分旋转矩阵R和部分平移矩阵T的和，W＝[RT]；M是镜头内部参数矩阵，其中包括x方向焦距f_x，y方向焦距f_y，图像中畸变图像的中心点坐标(c_x，c_y)；

由旋转矩阵的正交性分解单应矩阵Homography，构成一个包含镜头内部参数和外部参数的超定方程，通过奇异值分解及一系列变换得到摄像机的内部参数和外部参数，内部参数包括M,K，外部参数包括R_i,T_i；外部参数是指镜头坐标系与所有平面标定板坐标系之间的旋转和平移矩阵；

成像模型包括畸变模型,计算鱼眼镜头内外部参数时,根据畸变模型,及单应矩阵对内外部参数进行求取。

S5：根据镜头坐标系与所有平面标定板坐标系之间的外部参数,及已知的立体标定靶坐标系与鱼眼镜头坐标系之间的旋转和平移矩阵,计算各个平面标定板坐标系与立体标定靶坐标系之间的旋转和平移矩阵；

公式(5)中，表示已知的立体标定靶坐标系与镜头坐标系之间的旋转矩阵和平移矩阵，表示第i个平面标定板坐标系与镜头坐标系之间的旋转矩阵和平移矩阵。

S6：根据求解得到的镜头的内外部参数、计算出来的各个平面标定板坐标系与立体标定靶坐标系之间的旋转和平移矩阵以及选定的等距投影畸变模型和径向畸变模型，对获取的镜头内部参数和外部参数进行非线性优化从而得到最优的镜头内部参数和相对于每个标定板坐标系的外部参数；

鱼眼镜头的畸变非常严重，通过采用非线性优化的方法优化上述求解得到的摄像机参数。具体采用Levenberg-Marquardt算法进行摄像机参数优化，建立以重投影误差为最小的优化目标函数如下：

公式(6)中，是空间点P_j转换成立体标定靶坐标系下的坐标后，通过摄像机成像模型投影得到的带有镜头畸变的重投影图像其次坐标，m_ij是采用角点检测方法得到的像素坐标点，M是镜头内部参数矩阵，K表示径向畸变系数，R₁,T₁,R₂,T₂表示两个平面标定板坐标系与立体标定靶坐标系之间的旋转矩阵和平移矩阵；是立体标定靶坐标系与镜头坐标系之间的旋转矩阵与平移矩阵，m表示拍摄立体标定靶的数目，n表示立体标定靶中特征点总个数。

上述基于立体标定板的多路鱼眼相机标定方法中，可以同时实现标定靶中两块标定板图像从而得到畸变图像信息的采集，且不存在图像遮挡，减少了标定图像采集数量，另外，根据已知的立体标定靶和镜头之间的位置关系，对镜头内外部参数进行优化，大大提高了相机标定的精度。

通过本发明提供的多路鱼眼相机标定装置及方法具体实现标定的过程如下：

如果视觉传感器的摄像机采用焦距1.45毫米的立鼎F123B0145WR1镜头，且图像的分辨率为1225像素*1225像素，摄像机的视场角为190°×120°，工作距离为1500毫米。标定靶的装置如图1所示，两底板张开的角度为125°，每个标定板中特征点个数为121个，特征点间距为50mm。

根据上述步骤所述方法，对摄像机内部参数进行非线性优化，得到的结果如下表所示：

本发明公开的基于立体标定靶的多路鱼眼相机标定方法采用一种新的折叠式标定靶来实现镜头内外部参数的标定，可以同时实现标定靶中两块标定板图像从而得到畸变图像信息的采集，且不存在图像遮挡，减少了标定图像采集数量，另外，根据已知的立体标定靶和镜头之间的位置关系，对镜头内外部参数进行优化，大大提高了相机标定的精度。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种基于立体标定靶的多路鱼眼相机标定装置，其特征在于，包括：全景摄像模块、第一电机驱动模块、第一滚轮组、图像处理模块、图像显示模块、标定靶、控制模块；

所述全景摄像模块包括支架、设置在支架各侧面的多个鱼眼镜头及多个图像传感器，每个镜头对应一个图像传感器，所述多个鱼眼镜头位于同一竖直高度，所述多个鱼眼镜头与侧面转动连接；

所述第一滚轮组设置于所述第一电机驱动模块底部，所述第一电机驱动模块通过第一驱动轴与所述全景摄像模块连接，所述图像处理模块连接所述全景摄像模块；所述图像显示模块连接所述图像处理模块；

所述标定靶包括：通过连接轴活动连接的第一底板、第二底板，设置于所述第一底板表面并可在其范围内移动的第一标定板及设置于所述第二底板表面并可在其范围内移动的第二标定板；与所述连接轴固定连接的第二驱动轴，与所述第二驱动轴连接的第二电机驱动模块，设置在所述第二电机驱动模块底部的第二滚轮组；所述第一底板与所述第二底板的夹角为(0°,150°)；所述第一标定、第二标定板中的图案为黑白相间的棋盘格图案或圆孔图案；

所述标定靶与所述全景摄像模块任何一路相机相对，所述控制模块连接所述第一电机驱动模块和所述第二电机驱动模块。

2.根据权利要求1所述的基于立体标定靶的多路鱼眼相机标定装置，其特征在于，所述鱼眼镜头及图像传感器均为4个。

3.根据权利要求2所述的基于立体标定靶的多路鱼眼相机标定装置，其特征在于，所述标定装置还包括与所述标定靶结构相同的第二标定靶、第三标定靶、第四标定靶，所述第二标定靶、第三标定靶、第四标定靶分别与全景摄像模块的另外三路相机的镜头相对。

4.一种基于立体标定靶的多路鱼眼相机标定方法，利用如权利要求1至3任一项所述的标定装置对鱼眼相机进行标定，其特征在于，包括如下步骤：

以连接轴为立体标定靶坐标系,第一标定板为第一标定坐标系,第二标定板为第二标定坐标系,两个平面标定板与立体标定靶坐标系之间的旋转和平移矩阵表示为(R₁，T₁)，(R₂，T₂)；

采用全景摄像模块的每路鱼眼相机采集标定靶中两块不同位置标定板图像从而得到畸变图像；

选取等距投影畸变模型；

等距投影畸变模型具体表示如下：

r_d＝fθ_d； (1)

公式(1)中，r_d表示畸变图像中的点到畸变中心的距离，f表示鱼眼相机的焦距，θ_d表示入射光线与鱼眼镜头光轴之间的夹角，即入射角；

选取径向畸变模型如下：

θ_d＝θ(1+k₁θ²+k₂θ⁴+k₃θ⁶+k₄θ⁸+…)； (2)

公式(2)中，θ表示无畸变的入射角，K＝(k₁,k₂,k₃,k₄,…)表示径向畸变参数；θ_d表示畸变入射角；

通过上述畸变模型，从无畸变图像中的点计算出畸变图像中的畸变点，公式如下：

公式(3)中，(x_s，y_s)是有畸变坐标点，(x_c，y_c)是无畸变坐标点，(c_x，c_y)表示畸变图像的中心点坐标；

根据采集到的畸变图像及成像模型分别计算镜头内部参数及镜头坐标系与所有平面标定板坐标系之间的外部参数；

具体计算方法如下：提取所有平面标定板在图像平面内的特征点坐标，计算各平面标定板坐标系下空间点与图像平面坐标系中特征点之间的单应矩阵Homography，单应矩阵计算方法如下：

公式(4)中，表示图像平面坐标系中特征点坐标，表示标定板坐标系下空间特征点；s是任意尺度的比例因子；W表示用于定位观测的物体平面的物理变换，包括与观测到的图像平面相关的部分旋转矩阵R和部分平移矩阵T的和，W＝[R T]；M是镜头内部参数矩阵，其中包括x方向焦距f_x，y方向焦距f_y，图像中畸变图像的中心点坐标(c_x，c_y)；

由旋转矩阵的正交性分解单应矩阵Homography，构成一个包含镜头内部参数和外部参数的超定方程，通过奇异值分解及一系列变换得到摄像机的内部参数和外部参数，外部参数是指镜头坐标系与所有平面标定板坐标系之间的旋转和平移矩阵；

根据镜头坐标系与所有平面标定板坐标系之间的外部参数,及已知的立体标定靶坐标系与鱼眼镜头坐标系之间的旋转和平移矩阵,计算两个平面标定板坐标系与立体标定靶坐标系之间的旋转和平移矩阵；

根据求解得到的镜头的内外部参数、计算出来的两个平面标定板坐标系与立体标定靶坐标系之间的旋转和平移矩阵以及选定的等距投影畸变模型和径向畸变模型，对获取的镜头内部参数和外部参数进行非线性优化从而得到最优的镜头内部参数和相对于每个标定板坐标系的外部参数；

具体方法如下：采用Levenberg-Marquardt算法进行摄像机参数优化，建立以重投影误差为最小的优化目标函数如下：

公式(6)中，是空间点P_j转换成立体标定靶坐标系下的坐标后，通过摄像机成像模型投影得到的带有镜头畸变的重投影图像其次坐标，m_ij是采用角点检测方法得到的像素坐标点，M是镜头内部参数矩阵，K表示径向畸变系数，R₁,T₁,R₂,T₂表示两个平面标定板坐标系与立体标定靶坐标系之间的旋转矩阵和平移矩阵；是立体标定靶坐标系与镜头坐标系之间的旋转矩阵与平移矩阵，m表示拍摄立体标定靶的数目，n表示立体标定靶中特征点总个数。

5.根据权利要求4所述的基于立体标定靶的多路鱼眼相机标定方法，其特征在于，所述采用全景摄像模块的每路鱼眼相机采集标定靶中两块不同位置标定板图像从而得到畸变图像步骤中，通过安装在标定靶下方的第二驱动单元及第二滚轮组驱动标定靶在水平面和垂直面上移动，从而改变标定板在镜头视野范围内的位置。

6.根据权利要求4所述的基于立体标定靶的多路鱼眼相机标定方法，其特征在于，所述采用全景摄像模块的每路鱼眼相机采集标定靶中两块不同位置标定板图像从而得到畸变图像步骤中，通过移动第一标定板在第一底板中的位置及第二标定板在第二底板中的位置，从而改变标定板在鱼眼镜头视野范围内的位置。

7.根据权利要求4所述的基于立体标定靶的多路鱼眼相机标定方法，其特征在于，所述采用全景摄像模块的每路鱼眼相机采集标定靶中两块不同位置标定板图像从而得到畸变图像步骤中，通过调节连接轴转动两个底板张开的角度，从而改变标定板在鱼眼镜头视野范围内的位置，角度范围在(0°,150°)。

8.根据权利要求4所述的基于立体标定靶的多路鱼眼相机标定方法，其特征在于，所述采用全景摄像模块的每路鱼眼相机采集标定靶中两块不同位置标定板图像从而得到畸变图像步骤中，通过第一电机驱动模块及第一滚轮组来旋转及平移镜头所处的位置，改变镜头的位姿，从而拍摄每个镜头在不同位姿下的立体标定靶图像。

9.根据权利要求4所述的基于立体标定靶的多路鱼眼相机标定方法，其特征在于，所述采用全景摄像模块的每路鱼眼相机采集标定靶中两块不同位置标定板图像从而得到畸变图像步骤中，通过调整镜头与支架侧面间的角度,改变镜头的位姿，从而拍摄每个镜头在不同位姿下的立体标定靶图像。

10.根据权利要求4所述的基于立体标定靶的多路鱼眼相机标定方法，其特征在于，所述根据镜头坐标系与所有平面标定板坐标系之间的外部参数,及已知的立体标定靶坐标系与鱼眼镜头坐标系之间的旋转和平移矩阵,计算两个平面标定板坐标系与立体标定靶坐标系之间的旋转和平移矩阵具体为:根据获取的镜头坐标系与两个平面标定板坐标系之间的关系，以镜头坐标系为中介，求出所有平面标定板坐标系与立体标定靶坐标系之间的旋转矩阵觸_i和平移矩阵T_i，变换关系如下：

公式(5)中，表示已知的立体标定靶坐标系与镜头坐标系之间的旋转矩阵和平移向量，表示第i个平面标定板坐标系与镜头坐标系之间的旋转矩阵和平移矩阵。