CN104091316A

CN104091316A - 一种车辆鸟瞰辅助***图像数据处理方法

Info

Publication number: CN104091316A
Application number: CN201310109883.5A
Authority: CN
Inventors: 于萌萌
Original assignee: Delphi Electronics Suzhou Co Ltd
Current assignee: Delphi Electronics Suzhou Co Ltd
Priority date: 2013-04-01
Filing date: 2013-04-01
Publication date: 2014-10-08

Abstract

本发明涉及一种车辆鸟瞰辅助***图像数据处理方法，包括：1)鱼眼摄像头拍摄车身四周图像，获取原始鱼眼图像；2)建立基于二维线性插值算法的索引表，对鱼眼图像进行畸变校正，采用透视投影变换算法对校正后的图像进行透视投影变换；3)将投影后俯视图像排列到相应匹配的位置，并对其进行无缝拼接，获得完整的俯视图像；4)对拼接后的图像进行后处理，输出并显示最终图像。与现有技术相比，本发明具有实时性强、运行快速、可提高图像显示效果等优点。

Description

一种车辆鸟瞰辅助***图像数据处理方法

技术领域

本发明涉及一种车辆鸟瞰***，尤其是涉及一种车辆鸟瞰辅助***图像数据处理方法。

背景技术

随着我国经济的高速发展和人民生活水平的不断提高，汽车已经成为人们生活中的一个重要部分和主要交通工具。在驾驶汽车行进过程中，驾驶员通过转头和后视镜来观察周围的环境。然而在复杂的环境中，例如车库、停车场、或者狭窄的巷子，由于可视范围是有限的，且存在很多视觉盲点，往往会使司机很难驾驶车辆。针对以上情况，360度鸟瞰***是非常有效的辅助***。但是现有鸟瞰***的显示效果不佳，与同类产品竞争力不强。

现有***存在三个关键问题亟待解决：首先，嵌入式***需要达到实时处理。第二，相邻图片间存在拼接缝隙，需要使用图像融合方法使缝隙平滑，以获得更好的图像显示质量。第三，原始图像通过不同摄像头，在不同的曝光条件下获得，良好的最终显示效果实现全景图均匀过渡，需要补偿图像间的曝光差异。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种实时性强、运行快速、可提高图像显示效果的车辆鸟瞰辅助***图像数据处理方法。

本发明的目的可以通过以下技术方案来实现：

一种车辆鸟瞰辅助***图像数据处理方法，该方法包括以下步骤：

1)鱼眼摄像头拍摄车身四周图像，获取原始鱼眼图像；

2)建立基于二维线性插值算法的索引表，对鱼眼图像进行畸变校正，采用透视投影变换算法对校正后的图像进行透视投影变换；

3)将投影后俯视图像排列到相应匹配的位置，并对其进行无缝拼接，获得完整的俯视图像；

4)对拼接后的图像进行后处理，输出并显示最终图像。

所述的鱼眼摄像头设有四个，分布设置在车辆四周。

所述的二维线性插值算法具体为：

使用原图像中靠近像素点(x_S，y_S)四个像素点强度(x_S0，y_S0)，(x_S1，y_S0)，(x_S0，y_S1)，(x_S1，y_S1)，其中，

x_S0＝int(x_S)

x_S1＝x_S0+1

y_S0＝int(y_S)

y_S1＝y_S0+1

首先，在x轴上***强度值S可以获得两个中间值，I₀和I₁：

I₀＝S(x_S，y_S0)＝S(x_S0，y_S0)*(x_S1-x_S)+S(x_S1，y_S0)*(x_S-x_S0)

I₁＝S(x_S，y_S1)＝S(x_S0，y_S1)*(x_S1-x_S)+S(x_S1，y_S1)*(x_S-x_S0)

S(x_S，y_S)代表像素点(x_S，y_S)的像素点强度，然后，强度D(x_D，y_D)可以通过在y轴***中间值I₀和I₁来计算：

D(x_D，y_D)＝I₀*(y_S1-y_S)+I₁*(y_S-y_S0)。

所述的无缝拼接是利用相邻图像之间重合的区域，以梯度渐变的方式，实现无缝图像拼接。

所述的后处理包括亮度平衡和无缝插值。

所述的亮度平衡具体为：

A)计算四个图像的亮度均值，通过以下迭代公式进行迭代，初步减小图像间的亮度差异：

{G 1 = a * G 1 + (1 - a) \frac{G 2 + G 3 + G 4}{3}

G 2 = a * G 2 + (1 - a) \frac{G 1 + G 3 + G 4}{3}

G 3 = a * G 3 + (1 - a) \frac{G 1 + G 2 + G 4}{3}

G 4 = a * G 4 + (1 - a) \frac{G 2 + G 3 + G 1}{3}}

i = i + 1;}

其中，G1、G2、G3、G4分别为四个图像的亮度均值，a∈(0.6，1)为设定的参数，n为循环次数，th为阈值；

B)通过最小化全局亮度增益补偿函数进一步减小图像间的亮度差异。

与现有技术相比，本发明的有益效果为：

1、本发明在车辆鸟瞰辅助***中采用新的算法进行图像处理，在尽可能减少鸟瞰***成本的基础上，提高处理效率，增强实时性；

2、一般算法会在鱼眼图片矫正和投影变换这两个步骤建立索引表，本发明将这两个索引表整合在一起，使嵌入式***的运行时间减半，同时可有效消除由于图像投影转换引入的“图像波纹”现象。

附图说明

图1为本发明的流程图；

图2为本发明中亮度平衡流程图；

图3为无缝拼接原理示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，一种车辆鸟瞰辅助***图像数据处理方法，该方法包括以下步骤：

1)鱼眼摄像头拍摄车身四周图像，获取原始鱼眼图像；

4)对拼接后的图像进行后处理，输出并显示最终图像。

所述的二维线性插值算法具体为：

x_S0＝int(x_S)

x_S1＝x_S0+1

y_S0＝int(y_S)

y_S1＝y_S0+1

首先，在x轴上***强度值S可以获得两个中间值，I₀和I₁：

I₀＝S(x_S，y_S0)＝S(x_S0+y_S0)*(x_S1-x_S)+S(x_S1+y_S0)*(x_S-x_S0)

I₁＝S(x_S，y_S1)＝S(x_S0+y_S1)*(x_S1-x_S)+S(x_S1+y_S1)*(x_S-y_S0)

然后，强度D(x_D，y_D)可以通过在y轴***中间值I₀和I₁来计算：

D(x_D，y_D)＝I₀*(y_S1-y_S)+I₁*(y_S-y_S0)。

一般来说，算法会在鱼眼图片矫正和投影变换这两个步骤建立索引表at索引表b，本方法将这两个索引表整合在一起，这样处理后的特征是：

特性1：将两个索引表整合在一起，用一张表来实现从原始图像到俯视图像的映射。使嵌入式***的运行时间减半；

特性2：建立基于二维线性插值算法的索引表。该算法可以有效消除由于图像投影转换引入的“图像波纹”现象。

在鸟瞰***中，原始输入的四幅图像分别由不同的摄像头，在不同的外界环境中拍摄获取。算法目标是将这四个图像拼接成为一幅亮度均匀的图像显示给用户，必然需要针对不同图像曝光差异进行调整。本方法从两个方面对曝光差异进行处理：在硬件方面，是在摄像头上方加遮光罩，以此去除由于阳光直射引入的图像过度曝光。在算法层面，构造全局亮度增益补偿函数，来最小化全局强度差异。如图2所示，所述的亮度平衡具体为：

{G 1 = a * G 1 + (1 - a) \frac{G 2 + G 3 + G 4}{3}

G 2 = a * G 2 + (1 - a) \frac{G 1 + G 3 + G 4}{3}

G 3 = a * G 3 + (1 - a) \frac{G 1 + G 2 + G 4}{3}

G 4 = a * G 4 + (1 - a) \frac{G 2 + G 3 + G 1}{3}}

i = i + 1;}

其中，G1、G2、G3、G4分别为四个图像的亮度均值，a∈(0.6，1)为设定的参数，n为循环次数，th为阈值，步骤A)结束后，四个图像的亮度分别为G1′、G2′、G3′、G4′；

B)通过最小化全局亮度增益补偿函数E进一步减小图像间的亮度差异：

E = \frac{1}{2} Σ_{j = 1}^{2} Σ_{k = 1}^{2} n_{j, k} ((a_{j} {\overset{&OverBar;}{I}}_{j} - a_{k} {\overset{&OverBar;}{I}}_{k}) / 10^{2} + {(1 - a_{j})}^{2} / 0.01)

α_{c, i} = \frac{Σ_{p} {(C_{c, i - 1} (p))}^{γ}}{Σ_{p} {(C_{c, i} (p))}^{γ}}

\begin{matrix} α_{c, i} = \frac{Σ_{p} {(C_{c, i - 1} (p))}^{γ}}{Σ_{p} {(C_{c, i} (p))}^{γ}} & c &Element; {R, G, B} & i = 1,2,3,4 \end{matrix}

其中，为图像j的亮度均值，如果图像j和图像k之间存在重叠区域，n_j，k为1，如果图像j和图像k之间不存在重叠区域，n_j，k为0。

C_c，i(p)是图像的像素p在色彩通道c的γ修正(伽玛修正)颜色值；

对第一张图片不做处理，然后依次对下一张图片进行修正。即，设第一张图片的增益补偿系数为1，即α_c，1＝1 c∈{R，G，B}

为了避免累积误差，每张图片的颜色被改变得越少越好，因此，构造目标函数如下获得α_c，i：

\begin{matrix} \min_{g_{c}} Σ_{i}^{n} {(g_{c} α_{c, i} - 1)}^{2} & c &Element; {R, G, B} \end{matrix}

其中g_c是色彩通道c的全局补偿系数，n为4，是图片数目。

步骤B)结束后，四个图像的亮度分别为G1_end、G2_end、G3_end、G4_end。

无缝拼接的目标是使输出图像符合顾客使用习惯。本专利算法利用相邻图像之间重合的区域，以梯度渐变的方式，实现无缝图像拼接。通过改变几个简单的参数，如相邻图像间待拼接区域中心的位置、拼接区域面积大小等。本***中有四个相邻区域，每个区域中的这两个参数都是独立调整的。实现灵活调整所需的拼接区域的大小、位置和角度，四个区域可以同时调整，也可单独针对某一个区域进行调整。

事实上，鸟瞰环视算法中，目标从一个图像区域，进入另一个图像区域，有某一区域，目标在视野中消失，这里称为“拼接盲区”。另一方面，由于无缝拼接实质上是两幅图像重叠区域的加权平均，因此，在拼接区域会引入图像模糊化的副作用。

这样，无缝图像拼接，需要在拼接盲区选择和图像模糊化区域的选择之间进行权衡。具体来说，如果无缝重合区域越大，加权平均引入的图像模糊区域就越大，但拼接盲区越小。相反，如果无缝重合区域越小，图像模糊区域就越小，目标经过两个相邻图像间的盲区越大。

在实际应用中，不同的顾客，不同的应用对拼接盲区和图像模糊化的要求不同。本专利算法的优点在于通过调节几个参数，可以完成根据顾客需要，灵活的调整***所需的无缝区域位置、大小、角度。

如图3所示，以左前方为例进行无缝拼接，设鸟瞰***的图像坐标为(x_bev，y_bev)，车坐标为(x_car，y_car)。设α为无缝梯度中心，β为无缝区域转角范围：

a = \frac{| i - x_{bev} |}{| j - y_{bev} |}

b＝atan(α)-α

weightpixel = \cos (\frac{b}{2 β}) * k 1

ki是调节参数，四个区域可以分别独立调节参数。

Claims

1.一种车辆鸟瞰辅助***图像数据处理方法，其特征在于，该方法包括以下步骤：

1)鱼眼摄像头拍摄车身四周图像，获取原始鱼眼图像；

4)对拼接后的图像进行后处理，输出并显示最终图像。

2.根据权利要求1所述的一种车辆鸟瞰辅助***图像数据处理方法，其特征在于，所述的鱼眼摄像头设有四个，分布设置在车辆四周。

3.根据权利要求1所述的一种车辆鸟瞰辅助***图像数据处理方法，其特征在于，所述的二维线性插值算法具体为：

x_S0＝int(x_S)

x_S1＝x_S0+1

y_S0＝int(y_S)

y_S1＝y_S0+1

首先，在x轴上***强度值S可以获得两个中间值，I₀和I₁：

I₀＝S(x_S，y_S0)＝S(x_S0，y_S0)*(x_S1-x_S)+S(x_S1，y_S0)*(x_S-x_S0)

I₁＝S(x_S，y_S1)＝S(x_S0，y_S1)*(x_S1-x_S)+S(x_S1，y_S1)*(x_S-x_S0)

D(x_D，y_D)＝I₀*(y_S1-y_S)+I₁*(y_s-y_S0)。

4.根据权利要求1所述的一种车辆鸟瞰辅助***图像数据处理方法，其特征在于，所述的无缝拼接是利用相邻图像之间重合的区域，以梯度渐变的方式，实现无缝图像拼接。

5.根据权利要求2所述的一种车辆鸟瞰辅助***图像数据处理方法，其特征在于，所述的后处理包括亮度平衡和无缝插值。

6.根据权利要求5所述的一种车辆鸟瞰辅助***图像数据处理方法，其特征在于，所述的亮度平衡具体为：

{G 1 = a * G 1 + (1 - a) \frac{G 2 + G 3 + G 4}{3}

G 2 = a * G 2 + (1 - a) \frac{G 1 + G 3 + G 4}{3}

G 3 = a * G 3 + (1 - a) \frac{G 1 + G 2 + G 4}{3}

G 4 = a * G 4 + (1 - a) \frac{G 2 + G 3 + G 1}{3}}

i = i + 1;}