CN107993264A

CN107993264A - 一种汽车环视全景的标定方法

Info

Publication number: CN107993264A
Application number: CN201711148378.6A
Authority: CN
Inventors: 李彦志; 吴龙挑
Original assignee: Guangzhou Anxiao Science And Technology Co Ltd
Current assignee: Guangzhou Anxiao Science And Technology Co Ltd
Priority date: 2017-11-17
Filing date: 2017-11-17
Publication date: 2018-05-04

Abstract

本发明公开了一种汽车环视全景的标定方法，包括：在汽车上装4个鱼眼摄像头；分别标定各个摄像头的内参和畸变参数；制作外参标定棋盘布；使用棋盘布铺在汽车周围；使用各个摄像头下完整棋盘布标定各自相对于地面的旋转矩阵和平移矩阵；量出车宽和车长；使用旋转矩阵和平移矩阵把每个摄像头鱼眼图像投影到地平面上；以车的中心为原点建立地面坐标系；计算出左棋盘布相对于前棋盘布的相对平移矩阵、左棋盘布相对于后棋盘布的相对平移矩阵、右棋盘布相对于前棋盘布的相对平移矩阵、右棋盘布相对于后棋盘布的相对平移矩阵；计算各个棋盘布到原点的偏移；得出各个摄像头在地面坐标系的平移矩阵。本发明减少了复杂的参数输入，达到简便安装标定的要求。

Description

一种汽车环视全景的标定方法

技术领域

本发明涉及汽车电子技术领域，具体涉及一种汽车环视全景的标定方法。

背景技术

随着汽车电子技术的发展，人们对辅助驾驶的功能需要越来越强烈。汽车环视全景是汽车辅助驾驶中的基础功能，不少公司已经投入这方面的研发。汽车环视全景中，最主要的技术是车载多摄像头的标定和拼接。但是目前所研发出来的方法操作起来相对复杂，输入参数较多。

发明内容

有鉴于此，为了解决现有技术中的上述问题，本发明提出一种汽车环视全景的标定方法。

本发明通过以下技术手段解决上述问题：

一种汽车环视全景的标定方法，包括如下步骤：

S1、在汽车上装有4个鱼眼摄像头，前、后的中间位置分别安装1个，左右后视镜位置分别安装1个；

S2、使用Levenberg-Marquardt算法分别标定各个鱼眼摄像头的内参和畸变参数；内参用矩阵M表示，其中，f_x表示x方向的焦距；f_y表示y方向的焦距；c_x表示鱼眼成像x轴的图像中心点；c_y表示鱼眼成像y轴的图像中心点；

畸变模型是d＝d₀+d₁·θ+d₂·θ³+d₃·θ⁵+d₄·θ⁷+d₅·θ⁹，其中D＝[d₀,d₁,d₂,d₃,d₄,d₅]是畸变参数；

S3、制作外参标定棋盘布；棋盘布包含中间及两侧的棋盘格，两侧棋盘格的距离一定要比汽车宽一些，以方便各个摄像头之间的联合标定；设棋盘格的格子长和宽都为L；

S4、使用棋盘布铺在汽车周围，每个摄像头下都有一个完整的棋盘布，而且要尽量靠近车身，相邻两个棋盘布的摆放位置是相互垂直的；

S5、使用各个摄像头下的完整棋盘布标定各自相对于地面的旋转矩阵和平移矩阵；使用R₀表示前摄像头的旋转矩阵；R₁表示后摄像头的旋转矩阵；R₂表示左摄像头的旋转矩阵；R₃表示右摄像头的旋转矩阵；使用T₀表前摄像头的平移矩阵；T₁表示后摄像头的平移矩阵；T₂表示左摄像头的平移矩阵；T₃表示右摄像头的平移矩阵；具体每一个摄像头的旋转矩阵和平移矩阵的计算过程如下：

(1)检测棋盘布中间棋盘格的点，已知摄像头的内参和畸变参数，使用Levenberg-Marquardt算法计算出摄像头相对于中间棋盘格的旋转矩阵R_t和平移矩阵T_t；

(2)使用旋转矩阵R_t和平移矩阵T_t将摄像头鱼眼图像I投影到中间棋盘格平面上，得到投影图像I_t上；假设P(I_t)是图像I_t上的点，P(I)是图像I上的点，那么就有：

P(I_t)＝R_t ^-1·P(I)-R_t ^-1·T_t；

(3)在投影图像I_t上检测棋盘布两侧的小棋盘格的点；将两侧棋盘格的点反投影到摄像头鱼眼图像上P(I)＝R_t·P(I_t)+T_t，那么这些点就可以与中间棋盘格点一起参与LM算法的标定计算，得到旋转矩阵R_i和平移矩阵T_i，其中i∈{0,1,2,3}，代表前、后、左、右；

S6、量出车宽W，以及量出车长H；

S7、使用旋转矩阵R_i和平移矩阵T_i，把每个摄像头鱼眼图像投影到地平面上P(I_ti)＝R_i ^-1·P(I_i)-R_i ^-1·T_i，其中i∈{0,1,2,3}，代表前、后、左、右；I_i是原图像，I_ti是投影后的图像；

S8、以车的中心为原点，建立地面坐标系，横向为x轴，纵向为y轴；前摄像头投影图像I_t0不用旋转；将后摄像头投影图像I_t1旋转180度；左摄像头投影图像I_t2旋转90度；右摄像头投影图像I_t3旋转270度；

S9、在投影图像上，计算出左棋盘布相对于前棋盘布的相对平移矩阵T_t20、左棋盘布相对于后棋盘布的相对平移矩阵T_t21、右棋盘布相对于前棋盘布的相对平移矩阵T_t30、右棋盘布相对于后棋盘布的相对平移矩阵T_t31；根据摆棋盘布的要求，则有T_t20.y+T_t21.y＝T_t30.y+T_t31.y，T_t20.x＝T_t21.x，T_t30.x＝T_t31.x；

S10、令摆放4个棋盘布的中心点与地面坐标系原点重合，则前棋盘布到原点的距离和后棋盘布到原点的距离是相等的；左棋盘布到原点的距离和右棋盘布到原点的距离是相等的；那么就可以计算各个棋盘布到原点的偏移T_ij，其中i∈{2,3}，j∈{0,1}；

S11、得出前摄像头在地面坐标系的平移矩阵为T₀＝(T₀.x，T₀.y+(T_t20.y+T_t21)/2)；后摄像头在地面坐标系的平移矩阵为T₁＝(-T₁.x，-T₁.y-(T_t20.y+T_t21)/2)；左摄像头在地面坐标系的平移矩阵为T₂＝(-T₂.y，T₂.x+T_t20.x+W/2)；右摄像头在地面坐标系的平移矩阵为T₃＝(T₃.y，-T₃.x-T_t30.x-W/2)。

进一步地，步骤S1中，前、后位置的鱼眼摄像头向外的俯仰角的取值范围为[40,70]；左、右位置的鱼眼摄像头向外的俯仰角的取值范围为[30,70]。

进一步地，步骤S6中，用直尺量出车宽W，以及量出车长H。

与现有技术相比，本发明的有益效果如下：

本发明设计的方法，在标定过程中只需要摆放好棋盘布以及度量出车宽和车长这两个参数，就可以进行自动标定。相比其他方法，减少了复杂的参数输入，达到简便安装标定的要求。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明汽车环视全景的标定方法的流程图；

图2是本发明棋盘布的样式的示意图；

图3是本发明摆放棋盘布的方法的示意图；

图4是本发明前后左右摄像头原始图像的示意图；

图5是本发明初次标定的投影图像的示意图；

图6是本发明最终标定的投影图像的示意图；

图7是本发明汽车环视全景的拼接效果的示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合附图和具体的实施例对本发明的技术方案进行详细说明。需要指出的是，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明提供一种汽车环视全景的标定方法，包括如下步骤：

S1、汽车上装有4个鱼眼摄像头。前、后的中间位置分别安装1个，摄像头向外的俯仰角的可取范围为[40,70]。左右后视镜分别安装1个，摄像头向外的俯仰角可取范围为[30,70]。

S2、使用LM(Levenberg-Marquardt算法)分别标定各个鱼眼摄像头的内参和畸变参数。内参可以用矩阵M表示，其中，f_x表示x方向的焦距；f_y表示y方向的焦距；c_x表示鱼眼成像x轴的图像中心点；c_y表示鱼眼成像y轴的图像中心点。

畸变模型是d＝d₀+d₁·θ+d₂·θ³+d₃·θ⁵+d₄·θ⁷+d₅·θ⁹，其中D＝[d₀,d₁,d₂,d₃,d₄,d₅]是畸变参数。

S3、制作外参标定棋盘布。如图2所示，棋盘布包含中间及两侧的棋盘格，两侧棋盘格的距离一定要比汽车宽一些，以方便各个摄像头之间的联合标定。设棋盘格的格子长和宽都为L。

S4、使用棋盘布铺在汽车周围，铺放方式如图3所示，每个摄像头下都有一个完整的棋盘布，而且要尽量靠近车身。相邻两个棋盘布的摆放位置是相互垂直的。

S5、使用各个摄像头下的完整棋盘布标定各自相对于地面的旋转矩阵和平移矩阵。使用R₀表示前摄像头的旋转矩阵；R₁表示后摄像头的旋转矩阵；R₂表示左摄像头的旋转矩阵；R₃表示右摄像头的旋转矩阵。使用T₀表前摄像头的平移矩阵；T₁表示后摄像头的平移矩阵；T₂表示左摄像头的平移矩阵；T₃表示右摄像头的平移矩阵。具体每一个摄像头的旋转矩阵和平移矩阵的计算过程如下：

(1)检测棋盘布中间棋盘格的点。已知摄像头的内参和畸变参数，使用LM算法计算出摄像头相对于中间棋盘格的旋转矩阵R_t和平移矩阵T_t；

(2)使用旋转矩阵R_t和平移矩阵T_t将摄像头鱼眼图像I投影到中间棋盘格平面上，得到投影图像I_t上。这相当于是鱼眼图像投影到地平面上，只是此时的投影效果并不是很准确，投影效果如图5所示。假设P(I_t)是图像I_t上的点，P(I)是图像I上的点，那么就有：

P(I_t)＝R_t ^-1·P(I)-R_t ^-1·T_t；

(3)在投影图像I_t上检测棋盘布两侧的小棋盘格的点。因为投影后的图像中两侧的小棋盘格的畸变很小了，所以可以正常检测出两侧的棋盘格。将两侧棋盘格的点反投影到摄像头鱼眼图像上P(I)＝R_t·P(I_t)+T_t，那么这些点就可以与中间棋盘格点一起参与LM算法的标定计算，得到比较准确的旋转矩阵R_i和平移矩阵T_i(其中i∈{0,1,2,3}，代表前、后、左、右)。

S6、用直尺量出来车宽W，以及量出车长H。

S7、使用旋转矩阵R_i和平移矩阵T_i，把每个摄像头鱼眼图像投影到地平面上P(I_ti)＝R_i ^-1·P(I_i)-R_i ^-1·T_i(其中i∈{0,1,2,3}，代表前、后、左、右；I_i是原图像，I_ti是投影后的图像)，得到如图6所示。

S8、以车的中心为原点，建立地面坐标系，横向为x轴，纵向为y轴。为了方便后续将每个摄像头的投影图像I_ti转换到世界坐标系，前摄像头投影图像I_t0不用旋转；后摄像头投影图像I_t1旋转180度；左摄像头投影图像I_t2旋转90度；右摄像头投影图像I_t3旋转270度。

S9、前、后摄像头下棋盘布的左侧小棋盘格会被左摄像头拍摄到；前、后摄像头下棋盘布的右侧小棋盘格会被右摄像头拍摄到。从图6的左、右投影图可以看得到。利用这个特点，在投影图像上，就可以计算出左棋盘布相对于前棋盘布的相对平移矩阵T_t20、左棋盘布相对于后棋盘布的相对平移矩阵T_t21、右棋盘布相对于前棋盘布的相对平移矩阵T_t30、右棋盘布相对于后棋盘布的相对平移矩阵T_t31。根据摆棋盘布的要求，则有T_t20.y+T_t21.y＝T_t30.y+T_t31.y，T_t20.x＝T_t21.x，T_t30.x＝T_t31.x；

S10、令摆放4个棋盘布的中心点与地面坐标系原点重合，则前棋盘布到原点的距离和后棋盘布到原点的距离是相等的；左棋盘布到原点的距离和右棋盘布到原点的距离是相等的。那么就可以计算各个棋盘布到原点的偏移T_ij，(其中i∈{2,3}，j∈{0,1})。

S11、前摄像头在地面坐标系的平移矩阵为T₀＝(T₀.x，T₀.y+(T_t20.y+T_t21)/2)；后摄像头在地面坐标系的平移矩阵为T₁＝(-T₁.x，-T₁.y-(T_t20.y+T_t21)/2)；左摄像头在地面坐标系的平移矩阵为T₂＝(-T₂.y，T₂.x+T_t20.x+W/2)；右摄像头在地面坐标系的平移矩阵为T₃＝(T₃.y，-T₃.x-T_t30.x-W/2)。

以上就是这汽车环视全景中所有摄像头的标定方法。通过以上摄像头标定出来的参数，可以用于汽车鸟瞰全景以及三维全景的拼接。拼接的效果如图7所示。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims

1.一种汽车环视全景的标定方法，其特征在于，包括如下步骤：

P(I_t)＝R_t ^-1·P(I)-R_t ^-1·T_t；

(3)在投影图像I_t上检测棋盘布两侧的小棋盘格的点；将两侧棋盘格的点反投影到摄像头鱼眼图像上P(I)＝R_t·P(I_t)+T_t，那么这些点就可以与中间棋盘格点一起参与LM算法的标定计算，得到旋转矩阵R_i和平移矩阵T_i,其中i∈{0,1,2,3}，代表前、后、左、右；

S6、量出车宽W，以及量出车长H；

S7、使用旋转矩阵R_i和平移矩阵T_i，把每个摄像头鱼眼图像投影到地平面上P(I_ti)＝R_i ^-1·P(I_i)-R_i ^-1·T_i,其中i∈{0,1,2,3}，代表前、后、左、右；I_i是原图像，I_ti是投影后的图像；

2.根据权利要求1所述的汽车环视全景的标定方法，其特征在于，步骤S1中，前、后位置的鱼眼摄像头向外的俯仰角的取值范围为[40,70]；左、右位置的鱼眼摄像头向外的俯仰角的取值范围为[30,70]。

3.根据权利要求1所述的汽车环视全景的标定方法，其特征在于，步骤S6中，用直尺量出车宽W，以及量出车长H。