CN102629372A - 一种用于辅助车辆驾驶的360度全景鸟瞰图生成方法 - Google Patents

Abstract

一种用于辅助车辆驾驶的360度全景鸟瞰图生成方法，首先，在车辆前后左右架设四台广角摄像机，保证摄像机能覆盖车辆周围所有视场区域；其次，标定摄像机参数并对采集的图像进行畸变矫正；然后，对矫正后的图像进行空间透视变换，得到具有俯视效果的鸟瞰图；最后，建立图像拼接查找表，***通过查表的方法快速完成全景图像的拼接。本方法简单易行，对硬件设备要求低；***通过查表的方式实现四幅图像的拼接，快速且运算量小；利用本方法标定一次后的运算参数可作为常量保存起来，用于硬件***实时工作，可以大大缩减***的处理时间，能够满足***实时性的要求。

Description

一种用于辅助车辆驾驶的360度全景鸟瞰图生成方法

技术领域

本发明属于车辆辅助驾驶、数字图像处理和机器视觉领域，特别地，涉及一种用于辅助车辆驾驶的360度全景鸟瞰图生成方法。

背景技术

随着我国经济的高速发展和人民生活水平的不断提高，汽车已经成为人们生活中的一个重要部分和主要交通工具。在驾驶汽车行进过程中，驾驶员通过转头和后视镜来观察周围的环境，但可视范围是有限的，且存在很多视觉盲点，稍不注意就有可能发生交通事故或车辆剐蹭。因此，如何扩大驾驶员的视野范围，扫除视野盲区，成为有效减少事故发生的重要方案，同时也是汽车辅助驾驶技术领域的研究热点。

传统的基于影像的驾驶辅助***是在汽车车尾安装倒车摄像头，当挂倒车档时，该***会自动接通位于车尾的摄像头，将车后环境显示在中控台的液晶显示器上。这种方法简单有效，但仍存在很多盲区，如车辆两侧和前方。

发明内容

针对现有驾驶辅助***视野范围有限、存在视野盲区和视线模糊等问题，本发明提出了一种用于辅助车辆驾驶的360度全景鸟瞰图生成方法，为驾驶员提供车辆周围360度景物俯视图，帮助驾驶员能够清楚了解并掌握车辆周围的环境、与障碍物的相对距离，扫除视觉盲区，以完成安全和精确的驾驶操作。

本发明提出的一种用于辅助车辆驾驶的360度全景鸟瞰图生成方法包括四步：首先，在车辆前后左右架设四台广角摄像机，保证摄像机能覆盖车辆周围所有视场区域；其次，标定摄像机参数并对采集的图像进行畸变矫正；然后，对矫正后的图像进行空间透视变换，得到具有俯视效果的鸟瞰图；最后，建立图像拼接查找表，***通过查表的方法快速完成全景图像的拼接。具体步骤如下：

步骤1：在车辆前后左右架设四台广角摄像机，相邻两两摄像机之间要有重叠区域，保证覆盖车辆周围所有视场区域，没有视觉盲区；

步骤2：在步骤1中相邻两两摄像机的重叠区域内标记初始拼接点，确定各图像之间的初始拼接缝隙；

步骤3：对步骤1中的摄像机进行标定，获得摄像机的内参数矩阵M_i和广角镜头的畸变参数矩阵K_i，其中i＝1，2，3，4为摄像机的编号；

步骤4：根据步骤3获得的摄像机内参数矩阵M_i和畸变参数矩阵K_i，对四台摄像机采集的原始图像P_i进行畸变矫正，得到矫正后图像

其中i＝1，2，3，4为摄像机的编号；

步骤5：根据世界坐标系和图像坐标系中坐标的对应关系，对矫正后图像进行空间透视变换，得到具有俯视效果的鸟瞰图

步骤6：根据步骤2中标记的初始拼接点，在待拼接鸟瞰图

内确定拼接缝隙位置；

步骤7：根据待拼接鸟瞰图

的拼接缝隙和空间位置，建立图像拼接查找表；

步骤8：***通过查表的方式，将四幅待拼接图像拼接起来，生成360度全景鸟瞰图。

由于摄像机一经安装，位置和各项参数都不会变化，且拼接缝隙不会随着车辆的移动而改变，也不会随着摄像内容的改变而改变，故用本方法标定一次后的运算参数(包括：摄像机内参数、广角镜头畸变参数、摄像机水平和垂直视角、俯仰角、安装高度、拍摄图像像素大小和图像拼接查找表)可作为常量保存起来。在实时***中，当一帧图像采集后，***根据以上参数快速生成全景鸟瞰图，这样可以大大缩减***的处理时间，满足***实时性的要求。

本发明中所述的建立图像拼接查找表，具体步骤如下：

1)建立表格；设生成的全景图像大小为H*W，单位为像素，其中，H为图像纵向像素的大小，W为图像横向像素的大小；以H行W列为大小建立图像拼接查找表，如表1所示；这样，表格中每一项对应全景图像中的一个像素点，即表格中第h行w列的项对应全景图像中坐标为(w，h)的像素点。

表1

令表格中每一项的参数为(n，i，j)，其中n＝1，2，3，4；分别代表前向、后向、左侧和右侧四幅待拼接图像；i和j代表该点在各所在对应待拼接图像的横坐标与纵坐标；参数(n，i，j)用来指定全景图像到待拼接图像的点对点对应关系。

2)填充表格中的项；根据待拼接图像的拼接缝隙和空间位置，以图像拼接表的第一项(即全景图像左上角的像素点)为起始项，从左到右、由上到下依次填入相应的参数值。

本发明中所述的通过查表的方式完成图像拼接，其方法如下：

根据建立的图像拼接查找表，***以全景图像的左上角为起始像素点，从左到右、由上到下依次将待拼接图像的对应像素点的灰度值赋给当前像素位置，从而完成全景图像的拼接。

本发明可以获得如下有益效果：本发明提出的一种用于辅助车辆驾驶的360度全景鸟瞰图生成方法，简单易行，对硬件设备要求低；***通过查表的方式实现四幅图像的拼接，快速且运算量小；利用本方法标定一次后的运算参数可作为常量保存起来，用于硬件***实时工作，可以大大缩减***的处理时间，能够满足***实时性的要求。

附图说明

图1一种用于辅助车辆驾驶的360度全景鸟瞰图生成方法流程图

图2摄像机安装位置及拍摄区域示意图

图3世界坐标系

图4摄像机坐标系和图像坐标系

图5360度全景鸟瞰示意图

具体实施方式

下面结合附图1对本发明所公开的一种用于辅助车辆驾驶的360度全景鸟瞰图生成方法进一步详细说明：

步骤1：在车辆四周架设广角摄像机：前方摄像机可架设在车辆车标下方；后方摄像机可架设在车辆后盖下方；左、右摄像机可架设在左、右后视镜下方。相邻两两摄像机之间要有重叠区域，且保证覆盖车辆周围所有视场区域，没有视觉盲区。摄像机安装位置及拍摄区域如附图2所示，其中C₁：C₄为摄像机安装位置；W₁：W₄为相邻两两摄像机拍摄重叠区域。

步骤2：在步骤1中相邻两两摄像机的重叠区域内标记两点，用两点的连线确定各图像之间的初始拼接缝隙(即附图5中的l₁：l₄)；

步骤3：对步骤1中的摄像机进行标定，获得摄像机的内参数矩阵M_i和畸变参数矩阵K_i，其中，i＝1，2，3，4为摄像机的标号；

利用Zhang Z.Y，“A flexible new technique for camera calibration，”IEEETransactions on Pattern Analysis and Machine Intelligence，vol.22，no.11，pp.330-1334，2000.中公开的镜头参数标定方法，对步骤1中的摄像机进行标定，得到摄像机的内参数矩阵M_i和畸变参数矩阵K_i。

步骤4：根据步骤3获得的摄像机内参数和广角镜头畸变参数，对四台摄像机采集的原始图像P_i进行畸变矫正，得到矫正后图像

其中，i＝1，2，3，4为摄像机的标号；

根据布朗在1966年提出的铅锤模型，畸变图像和无畸变图像(即矫正后图像)坐标点的对应关系可以表示为：

$\left[\begin{array}{c}{x}_c\\ y_c\end{array}\right]=(1+k_1{r}^2+k_2{r}^4+k_3{r}^6)\left[\begin{array}{c}x\\ y\end{array}\right]+\left[\begin{array}{c}2p_1\mathrm{xy}+p_2(r^2+{2x}^2)\\ p_1(r^2+{2y}^2)+{2p}_2\mathrm{xy}\end{array}\right]$

其中，r²＝x²+y²；K＝[k₁，k₂，p₁，p₂，k₃]为广角镜头畸变参数矩阵，k₁，k₂，k₃为径向畸变参数，p₁，p₂为切向畸变参数；

为畸变图像坐标，为矫正后图像坐标。

在矫正过程中，根据上述关系式，将畸变图像P_i(i＝1，2，3，4)中每个像素点坐标映射到矫正后图像中，从而得到矫正后图像

步骤5：根据世界坐标系和图像坐标系之间的关系，利用摄像机视角、俯仰角、安装高度和拍摄图像像素大小等参数，对矫正后图像

进行空间透视变换，得到具有俯视效果的鸟瞰图

为了便于研究，根据某一时刻摄像机的位置建立世界坐标系O_W-X_WY_WZ_W，如附图3所示，其中平面O_WCD为水平地面，ABCD区域为摄像头所能拍摄到的地面区域；Y_W轴平行于地面，指向车辆移动的方向；摄像头位置为O点，其在水平面O_WCD上的投影点为O_W，OI为摄像头光轴方向。

根据小孔成像原理，摄像机坐标系和图像坐标系的关系如附图4所示，其中O-XYZ为摄像机坐标系，O₁-xy为图像坐标系；Z轴为摄像机的光轴，光轴与成像平面的交点为图像的中心点O₁。

根据附图3和附图4中坐标系之间的关系，参考徐友春.基于机器视觉的汽车主动安全技术的研究.清华大学学报，16：16-17，2005.中从图像坐标系到世界坐标系的转换方法，经过三角变换和公式推导，得出世界坐标系中一点P_W(X_W，Y_W，Z_W)到图像坐标系中对应点p(x，y)的转换关系为：

$\left\{\begin{array}{c}x=\frac{X_{W}W}{2\tan \frac{\mathrm{\α}}{2}\sqrt{h^2+{Y_W}^2}}\\ y=\frac{H(Y_W-h\tan \mathrm{\γ})}{{2Y}_W\tan \mathrm{\γ}\tan \frac{\mathrm{\β}}{2}+2h\tan \frac{\mathrm{\β}}{2}}\end{array}\right.$

其中，α为摄像头水平方向视角，β为垂直方向视角；γ为光轴与水平地面的夹角；h为摄像头的垂直高度；H和W分别为图像的长和宽。

根据上面的公式，对矫正后的图像

进行空间透视变换，得到鸟瞰图

步骤6：根据步骤2中标记的初始拼接点，在待拼接鸟瞰图内确定拼接缝隙位置；

附图5为360度全景鸟瞰示意图，其中L和S分别为车身长度和宽度，H₁和W₁分别为前向图像的长度和宽度。以车身中心O为坐标原点，车身右方水平方向为X轴正方向，车辆前进方向为Y轴正方向建立全景坐标系，l₁：l₄为全景坐标系中两两图像的拼接缝隙。以前向图像中心O₁为坐标原点，水平向右方向为x轴正方形，竖直向前方向为y轴正方向建立前向图像坐标系。

下面以待拼接前向图像为例，介绍由步骤2中标记的初始拼接点确定拼接缝隙的过程。

步骤2中，在前向和左侧摄像头拍摄的重叠区域W₁中标记两点P₁和P₂，如附图5所示，两点在全景坐标系中的坐标分别为P₁(X₁，Y₁)和P₂(X₂，Y₂)，在前向图像坐标系中的对应点为p₁(x₁，y₁)和p₂(x₂，y₂)。由全景坐标系和前向图像坐标系的关系可得全景坐标系中一点P(X，Y)与前向图像坐标系中对应点p(x，y)的坐标关系为：

$\left\{\begin{array}{c}x=X\\ y=\frac{H_1+L}{2}-Y\end{array}\right.$

其中，H₁为前向图像的长度；L为车身长度。

因此，由点P₁(X₁，Y₁)和P₂(X₂，Y₂)可得点p₁(x₁，y₁)和p₂(x₂，y₂)的坐标为：

$p_1(x_1,y_1)=(X_1,\frac{H_1+L}{2}-Y_1)$

$p_2(x_2,y_2)=(X_2,\frac{H_1+L}{2}-Y_2)$

设点P₁和P₂的连线l₁为初始拼接缝隙，根据线性映射不变性原理可知，点p₁和p₂也应该是共线的，且两点的连线l₁′即为前向图像坐标系中，待拼接前向图像和左侧图像的拼接缝隙。同理可以确定拼接缝隙l₂′，l₃′和l₄′。

步骤7：根据待拼接鸟瞰图的拼接缝隙和空间位置，建立图像拼接查找表；

360度全景鸟瞰图像是由前后左右四幅待拼接图像，图像拼接的过程可以看作是像素点的空间变换，与该像素点的灰度值无关，即生成的全景图像中的每个像素点都对应于某幅待拼接图像中的某个点。我们可以建立一个表格，保存待拼接图像到全景图像的点对点对应关系，这样***通过查表的方式快速完成图像拼接。具体步骤如下：

1)建立表格。

设生成的全景图像大小为H*W(单位为像素)，其中，H为图像纵向像素的大小，W为图像横向像素的大小。以H行W列为大小建立图像拼接查找表，表格如表1所示。这样，表格中每一项对应全景图像中的一个像素点，即表格中第h行w列的项对应全景图像中坐标为(w，h)的像素点。

令表格中每一项的参数为(n，i，j)，其中n＝1，2，3，4；分别代表前向、后向、左侧和右侧四幅待拼接图像；i和j代表该点在各所在对应待拼接图像的横坐标与纵坐标。该参数用来指定全景图像到待拼接图像的点对点对应关系。例如，假设表格中第h行w列的项的参数为(1，100，200)，表示生成的全景图像中坐标为(w，h)的像素点对应于前向待拼接图像中横坐标为100纵坐标为200的像素点。

2)填充表格中的项。

根据步骤6中所述由初始拼接点确定拼接缝隙的方法，分别求出前后左右四幅待拼接图像与各自相邻图像的拼接缝隙。根据待拼接图像的拼接缝隙和空间位置，以图像拼接表的第一项(对应于全景图像左上角的像素点)为起始项，从左到右、由上到下依次填入相应的参数值。

所建立的表格如下：

表1

步骤8：***通过查表的方式，将四幅待拼接图像拼接起来，生成全景鸟瞰图。

根据建立的图像拼接查找表，***以全景图像的左上角为起始像素点，从左到右、由上到下依次将待拼接图像的对应像素点的灰度值赋给当前像素位置，从而完成全景图像的拼接。

本发明中，用其他方法实现本发明中的摄像机标定、图像畸变校正、空间视角转换和全景图像拼接不影响本发明所提出的360度全景鸟瞰图生成方法的实现过程和具体步骤等保护范围。

Claims (3)

1.一种用于辅助车辆驾驶的360度全景鸟瞰图生成方法，其特征在于：该方法包括以下步骤：

步骤1：在车辆前后左右架设四台广角摄像机，相邻两两摄像机的拍摄范围之间要有重叠区域，保证覆盖车辆周围所有视场区域，没有视觉盲区；

步骤2：在步骤1中相邻两两摄像机的拍摄范围重叠区域内标记初始拼接点，确定各图像之间的初始拼接缝隙；

步骤3：对步骤1中的摄像机进行标定，获得摄像机的内参数矩阵M_i和广角镜头的畸变参数矩阵K_i，其中i＝1，2，3，4为摄像机的编号；

步骤4：根据步骤3获得的摄像机内参数矩阵M_i和畸变参数矩阵K_i，对四台摄像机采集的原始图像P_i进行畸变矫正，得到矫正后图像 

其中i＝1，2，3，4为摄像机的编号；

步骤5：根据世界坐标系和图像坐标系中坐标的对应关系，对矫正后图像 进行空间透视变换，得到具有俯视效果的鸟瞰图 

步骤6：根据步骤2中标记的初始拼接点，在待拼接鸟瞰图 

内确定拼接缝隙位置；

步骤7：根据待拼接鸟瞰图 

的拼接缝隙和空间位置，建立图像拼接查找表；

步骤8：***通过查表的方式，将四幅待拼接图像拼接起来，生成360度全景鸟瞰图。

2.根据权利要求书1所述的一种用于辅助车辆驾驶的360度全景鸟瞰图生成方法，其特征在于：所述步骤7中根据待拼接鸟瞰图 

的拼接缝隙和空间位置，建立图像拼接查找表的具体步骤为：

1)建立表格；设生成的全景图像大小为H*W，单位为像素，其中，H为 图像纵向像素的大小，W为图像横向像素的大小；以H行W列为大小建立图像拼接查找表，如表1所示；这样，表格中每一项对应全景图像中的一个像素点，即表格中第h行w列的项对应全景图像中坐标为(w，h)的像素点；

表1

令表格中每一项的参数为(n，i，j)，其中n＝1，2，3，4；分别代表前向、后向、左侧和右侧四幅待拼接图像；i和j代表该点在各所在对应待拼接图像的横坐标与纵坐标；参数(n，i，j)用来指定全景图像到待拼接图像的点对点对应关系。

2)填充表格中的项；根据待拼接图像的拼接缝隙和空间位置，以图像拼接表的第一项即全景图像左上角的像素点为起始项，从左到右、由上到下依次填入相应的参数值。

3.根据权利要求书1所述的一种用于辅助车辆驾驶的360度全景鸟瞰图生成方法，其特征在于：所述步骤8中***通过查表的方式，将四幅待拼接图像拼接起来的具体方法为：根据建立的图像拼接查找表，***以全景图像的左上角为起始像素点，从左到右、由上到下依次将待拼接图像对应像素点的灰度值赋给当前像素位置，从而完成全景图像的拼接。 

Images