CN111223038A

CN111223038A - 一种车载环视图像的自动拼接方法及显示装置

Info

Publication number: CN111223038A
Application number: CN202010016296.1A
Authority: CN
Inventors: 肖文平; 黄会明; 石川; 张航
Original assignee: Shanghai Hinge Electronic Technologies Co Ltd
Current assignee: Shanghai Hinge Electronic Technologies Co Ltd
Priority date: 2019-12-02
Filing date: 2020-01-08
Publication date: 2020-06-02
Anticipated expiration: 2040-01-08
Also published as: CN111223038B

Abstract

本发明提供一种车载环视图像的自动拼接方法及装置，具体包括：将需要显示的环视区域虚拟成三维空间，并在需要显示环视区域的位置放置多个用于相机标定的标定物，计算出相机中的二维图像坐标转化到三维空间的坐标的转化矩阵R，T；并将用于环视显示的二维图像上的每个像素点通过转化矩阵转化到三维空间点中并获取二维像素点对应的三维空间的位置坐标，将相匹配的位置坐标进行融合从而完成图像的拼接。本发明创新的将图像拼接方法转换到虚拟的三维空间，通过标定出虚拟三维空间与图像之间的变换关系，从而将图像信息映射到虚拟三维空间去，这种方法可以将图像上每个像素都进行全局拼接，从而提高了拼接的精度。

Description

一种车载环视图像的自动拼接方法及显示装置

技术领域

本发明涉及汽车领域，尤其涉及一种车载环视图像的自动拼接方法及显示装置。

背景技术

随着汽车的普及，越来越多的汽车进入千家万户，人民生活消费水平的不断提高，汽车的数量也不断的增多，大家对车内电器的智能化要求越来越高，智能汽车中ADAS、车载360全景影像都成为高配车型的重要配置。车载3D环视***利用安装在车辆四周的广角摄像头重构车辆以及周围场景，生成车载环视全景图像。驾驶员可以通过观察全景图像安全泊车、避开障碍物和消除视觉盲区，达到安全行车的目的。车载环视***的概念由k.kato等人于2006年首先提出。之后，各种主动安全技术如行车线检测、停车位检测跟踪和辅助泊车、运动物体检测被应用在车载环视***上。Byeongchaen Jeon等人于2015年提出了高分辨率全景环视***的解决方案。这些方案的特点都是使用多路相机来完成实际场景的建模，产生包括2D和伪3D的视觉效果。其中相机的个数根据实际车型来确定，一般家用轿车都是采用4路鱼眼相机来就行建模的，最终的目的就是将多路相机的图像统一到同一个视觉坐标系下，形成一个完整的视场供驾驶员来观察车辆周围的情况。传统的环视拼接方法是基于图像的单应矩阵完成图像的全局拼接，但是这种方法对拼接使用的棋盘格角度检测的精度要求比较高，而且棋盘格只占据视场的小部分，无法精确标定出整个视场，往往会出现拼接不上有缝隙的现象，影响用户的体验，甚至造成错误的显示图像。因此现有技术中仍然存在缺陷，需要提供一种解决该缺陷的技术方案。

发明内容

基于现有技术中存在的缺陷，本发明要解决的技术问题在于无缝全局高精度的环视图像拼接方法和显示装置。

一种车载环视图像的自动拼接方法，包括：

步骤S1，将需要显示的环视区域虚拟成三维空间，并在需要显示环视区域的位置放置多个用于相机标定的标定物；

步骤S2，通过标定物中的特征点坐标与其对应的三维空间特征点的坐标，计算出相机中的二维图像坐标转化到三维空间的坐标的转化矩阵；

所述相机安装于车身四周，用于采集车身四周的图像；

步骤S3，并将用于环视显示的二维图像上的每个像素点通过转化矩阵转化到三维空间点中并获取二维像素点对应的三维空间的位置坐标，将相匹配的位置坐标进行融合从而完成图像的拼接；

所述步骤S2中的转化矩阵包括旋转矩阵R和平移矩阵T。

一种车载环视图像的自动拼接方法，进一步地，所述标定物包括棋盘格。

一种车载环视图像的自动拼接方法，进一步地，所述步骤S2中，标定物包括棋盘格；

计算相机中的二维图像坐标转化到三维空间的坐标的转化矩阵具体包括：

在环视显示区域的场地布置多个棋盘格，每个棋盘格都对应场地的一个具体三维空间位置；

建立场地的三维坐标系C(X,Y,Z),根据棋盘格角点在坐标系C下的坐标，建立所有棋盘格角点的三维坐标；

建立空间点的三维坐标转化到相机中二维坐标的映射关系。

一种车载环视图像的自动拼接方法，进一步地，所述相机包括鱼眼相机；

建立空间点的三维坐标转化到相机中二维坐标的映射关系包括：

建立三维点到畸变矫正图像的映射关系，建立畸变矫正图像到鱼眼相机的映射关系；

所述建立三维点到畸变矫正图像的映射关系包括：设空间一点P(x,y,z)，对应的在畸变矫正图像上的二维点关系式为：

(u′,v′)＝f₁(x,y,z)

建立畸变矫正图像到鱼眼相机的映射关系包括：对应的鱼眼图像坐标点p(u′,v′)与畸变矫正后的图像点p(u，v)坐标关系式为：

(u,v)＝f₂(u′,v′)

三维点到鱼眼图像二维坐标的映射关系为：

(u,v)＝f₂(f₁(x,y,z))

一种车载环视图像的自动拼接方法，进一步地，棋盘格中的特征点包括角点；

棋盘格在需要环视显示的空间位置进行摆放的，在地面上建立虚拟三维空间并设定z轴为0，从而建立了棋盘格角点在虚拟三维空间中的各个角点对应的三维数据；

棋盘格中的角点在相机中二维图像的像素坐标转化为虚拟三维空间中的各个角点对应的三维坐标的关系式如下：

其中，(u，v)表示图像的二维坐标、(X，Y，Z)表示虚拟三维空间中的三维坐标，f_u和f_v分别表示相机在图像的横轴和纵轴上的基于像素的焦距，(C_x,C_y)表示图像的中心点坐标、R和T分别表示相机坐标到世界坐标的转换关系，即两个坐标系的旋转和平移向量、(X,Y,Z)表示物体在世界坐标系下的三维坐标，即前面设置的虚拟三维坐标平面，这里设置Z＝0，其中，

Height和Width分别表示成像平面内图像的高度和宽度；

d_x,d_y分别表示相机在横轴和纵轴的像元尺寸，f为相机的焦距。

一种车载环视图像的自动拼接方法，进一步地，已知棋盘格上对应在虚拟三维空间的三维坐标为[X_i,Y_i,0]，通过角点检测算法检测出来对应的二维坐标为[u_i,v_i]，则二维坐标[u_i,v_i]与虚拟三维空间的三维坐标[X_i,Y_i,0]的关系如下：

A＝MP，

其中，

设

为已知的相机内参数；

为待求转化矩阵，设

A＝MP＝K[R，T]P＝KXP，

其中X＝[R，T]为需要求解的未知变量；

通过最小二乘法，在给定调整误差ε的条件下，求出满足最小化所有误差的平方和X,X的解即为转化矩阵R,T；

计算公式如下：

一种车载环视图像的自动拼接方法，进一步地，包括对鱼眼相机拍摄图像进行畸变矫正，所述的畸变矫正包括径向形变和切向形变；图像的畸变矫正包括建立多项式的畸变模型，基于多项式的拟合方式求出畸变模型的畸变系数。

一种车载环视图像的自动拼接方法，进一步地，其中，在进行图像拼接的过程中，将相机采集到的图像统一到同一个虚拟的三维坐标系中。

一种车载环视图像的显示装置，包括安装于车身四周的多个相机、中控主机，其中，车身四周的多个相机通过车载以太网网络与中控主机相连接；

相机采集的图片经过在相机内部进行图片预处理后通过车载以太网网络传输中控主机进行图像处理从而完成环视拼接；

环视拼接采用了上述的车载环视图像的自动拼接方法。

一种车载环视图像的显示装置，进一步地，所述相机至少包括4个，其中，分别安装于车身的前、后、左、右的位置。

有益效果：

1.区别于传统的图像拼接标定方法，本发明创新的将图像拼接方法转换到虚拟的三维空间，通过标定出虚拟三维空间与图像之间的变换关系，从而将图像信息映射到虚拟三维空间去。改变传统的在二维图像上的基于单应矩阵的方式，这种方法可以将图像上每个像素都进行全局拼接，从而提高了拼接的精度。

2.针对汽车的环视标定方法，采用4路相机，并将每个相机标定到同一个虚拟三维空间，每个相机的原始图像数据都可以在三维空间中间找到对应的映射关系。统一的坐标系能将4路相机拍摄的画面同时映射到一个虚拟的三维空间中间，从而完成汽车环视的标定。

3.在进行拼接前，对图像进行畸变矫正，确保图像显示合理性，提高用户体验。

附图说明

以下附图仅对本发明做示意性说明和解释，并不限定本发明的范围。

图1是本发明的具体实施方式中基于虚拟三维空间的汽车环视标定方法的流程示意图。

图2是本发明的具体实施方式中标定场地棋盘格摆放的结构示意图。

图3是本发明的具体实施方式中三维空间到鱼眼图像的映射过程的结构示意图。

图4是本发明的具体实施方式中三维空间到相机坐标的关系的结构示意图。

具体实施方式

为了对本文的技术特征、目的和效果有更加清楚的理解，现对照附图1至附图4说明本发明的具体实施方式，在各图中相同的标号表示相同的部分。为使图面简洁，各图中的示意性地表示出了与本发明相关部分，而并不代表其作为产品的实际结构。另外，为使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。

关于控制***，功能模块、应用程序(APP)本领域技术人员熟知的是，其可以采用任何适当的形式，既可以是硬件也可以是软件，既可以是离散设置的多个功能模块，也可以是集成到一个硬件上的多个功能单元。作为最简单的形式，所述控制***可以是控制器，例如组合逻辑控制器、微程序控制器等，只要能够实现本申请描述的操作即可。当然，控制***也可以作为不同的模块集成到一个物理设备上，这些都不偏离本发明的基本原理和保护范围。

本发明中“连接”，即可包括直接连接、也可以包括间接连接、通信连接、电连接，特别说明除外。

本文中所使用的术语仅为了描述特定实施方案的目的并且不旨在限制本公开。如本文中所使用地，单数形式“一个”、“一种”、以及“该”旨在也包括复数形式，除非上下文明确地另作规定。还将理解的是，当在说明书中使用时，术语“包括”和/或“包含”是指存在有所陈述的特征、数值、步骤、操作、元件和/或组分，但是并不排除存在有或额外增加一个或多个其它的特征、数值、步骤、操作、元件、组分和/或其组成的群组。作为在本文中所使用的，术语“和/或”包括列举的相关项的一个或多个的任何和全部的组合

应当理解，此处所使用的术语“车辆”或“车辆的”或其它类似术语一般包括机动车辆，例如包括运动型多用途车辆(SUV)、公共汽车、卡车、各种商用车辆的乘用汽车，包括各种舟艇、船舶的船只，航空器等等，并且包括混合动力车辆、电动车辆、可插式混合动力电动车辆、氢动力车辆以及其它替代性燃料车辆(例如源于非石油的能源的燃料)。正如此处所提到的，混合动力车辆是具有两种或更多动力源的车辆，例如汽油动力和电力动力两者的车辆。

此外，本公开的控制器可被具体化为计算机可读介质上的非瞬态计算机可读介质，该计算机可读介质包含由处理器、控制器或类似物执行的可执行程序指令。计算机可读介质的示例包括，但不限于，ROM、RAM、光盘(CD)-ROM、磁带、软盘、闪存驱动器、智能卡和光学数据存储设备。计算机可读记录介质也可分布在通过网络耦合的计算机***中，使得计算机可读介质例如通过远程信息处理服务器或控制器区域网络(CAN)以分布式方式存储和执行。

本实施是在改变传统的在二维图像上的基于单应矩阵的方式，而是采用基于虚拟三维反投影仪的方式，将汽车所在的图像空间虚拟成一个三维空间，三维空间上的每个三维点可以对应到汽车四周的某个相机的图像上，然后将三维空间再转换到二维图像空间上，最后用来做环视显示的二维图像上的每个像素点都可以对应到一个三维空间点，相当于每个像素点都得到了处理，相比于传统的方法，这种方法可以将图像上每个像素都进行全局拼接，从而提高了拼接的精度，参见图1，车载环视显示拼接方法包括：

建立虚拟三维空间并推导虚拟三维平面空间到二维图像的映射关系；

对鱼眼相机拍摄的图像进行畸变矫正；

对棋盘格上的角点进行检测；

计算棋盘格上的角点的三维空间坐标投射到二维的坐标所需要的转化矩阵；

利用转化矩阵，将环视显示拼接的图像从二维点投影到虚拟三维空间中；

获取不同图像中的二维点投射在三维空间中的位置坐标，将不同图像中空间点中相互匹配的位置坐标点进行融合后完成环视拼接。

具体实现方法如下：

1、虚拟三维平面到图像的映射关系

首先是建立虚拟三维坐标到原始鱼眼相机图像二维坐标的投影变换映射关系。采用基于棋盘格的方式在标定拼接的场地布置一定数量的棋盘格，每个棋盘格都对应场地的一个具体三维空间位置，如图2所示。建立场地的三维坐标系C(X,Y,Z),根据棋盘格角点在坐标系C下的坐标，建立所有棋盘格角点的三维坐标。

三维坐标系建立完成之后可以推导出三维点到图像点的映射关系，首先是三维点到畸变矫正图像的映射关系，然后是畸变矫正图像到鱼眼相机的映射关系。设空间一点P(x,y,z)，对应的在畸变矫正图像上的二维点为：

(u′,v′)＝f₁(x,y,z) (1)

对应的鱼眼图像坐标点p(u′,v′)与畸变矫正后的图像点p(u′,v′)坐标关系为：

(u,v)＝f₂(u′,v′) (2)

根据(1)、(2)式推导出三维点到鱼眼图像二维坐标的映射关系，即：

(u,v)＝f₂(f₁(x,y,z)) (3)

建立完虚拟三维空间到图像坐标的映射关系之后就是具体实现从4幅鱼眼相机图片到环视鸟瞰图的拼接过程，首先进行鱼眼相机矫正，然后对各副图像进行角点检测，根据检测到的角点计算角点对应的三维坐标到二维图像的映射关系，最后根据映射关系计算整个虚拟三维空间到图像的映射，从而获得完整的环视拼接后的鸟瞰图像。

2、鱼眼相机畸变矫正

对鱼眼相机进行畸变矫正，对于鱼眼相机存在比较严重的畸变主要是径向形变，也会有轻微的切向形变。因此，根据鱼眼相机桶型畸变的特点，可建立多项式形式的畸变模型，并采用基于多项式拟合的方式求出畸变模型的畸变系数。

以入射光线的入射角度θ为参量，构建鱼眼相机的畸变成像模型，也即多项式模型，具体表示式如下：

R_h(θ)＝a₀+a₁θ+a₂θ²+a₃θ³+a₄θ⁴+.....+a_nθⁿ (1)

其中，R_h表示投影距离，即具有入射角θ的入射光线经鱼眼相机后在成像平面上形成的成像点(u,v)到图像中心点的实际物理距离，单位为mm；a₀,a₁…a_n表示畸变系数。

对鱼眼相机拍摄的图像进行畸变矫正之后，原像素点m(x,y)对应的矫正之后的像素点表示为m′(x′,y′)，矫正之后的图像中心点表示为C′(C′_x,C′_y)，其中

上述图像矫正之前的像素点m(x,y)到图像矫正之后的图像中心点C′(C′_x,C′_y)的像素距离表示如下：

然后结合表达式(2)和表达式(1)，可计算得到矫正之前的像素点m(x,y)的入射角θ_m，即：

将表达式(3)得到的像素点m(x,y)的入射角θ_m代入表达式(4)，可得到矫正之前的像素点m(x,y)的入射角θ_m所对应的投影距离R_h(θ_m)，表示如下：

另外，矫正之后的像素点m′(x′,y′)与矫正之前的图像中心点C(C_x,C_y)之间横轴坐标的像素距离d_1x和纵轴坐标的像素距离d_1y，分别表示如下：

根据上述可以确定畸变矫正图像到鱼眼相机的映射关系(u,v)＝f₂(u′,v′)。

3、三维空间的转换关系

在进行环视拼接的时候需要在车身周围布置一定数量的棋盘格图案，每个图案都对应了不同规格的角度，如图2所示。并且这些棋盘格的摆放都按照了一定的空间位置进行摆放，在地面上建立虚拟三维空间并制定z轴为0，从而建立了棋盘格角点在虚拟三维空间中的各个角点对应的三维数据，如图2所示。

根据针孔相机模型的成像原理，在理想的情况下拍摄到的图像点与镜头中心和物体三维点具有三点共线性，根据这个特性，可以使用齐次坐标矩阵将它们直接的关系表示出来，如下所示：

其中，(u,v)表示图像的二维坐标、f_u和f_v分别表示相机在图像的横轴和纵轴上的基于像素的焦距、(C_x,C_y)表示图像的中心点坐标、R和T分别表示相机坐标到世界坐标的转换关系，即两个坐标系的旋转和平移向量、(X,Y,Z)表示物体在世界坐标系下的三维坐标，即前面设置的虚拟三维坐标平面，这里设置Z＝0。其中，

Height和Width分别表示成像平面内图像的高度和宽度；

d_x,d_y分别表示相机在横轴和纵轴的像元尺寸。

根据(6)式的关系，在三维***模型下已知相机内参数的情况下只需要计算到三维坐标到二维坐标的映射关系即(6)式对应的R、T，就可以知道整个三维空间到图像的变换关系。其对应的关系如图4所示，标定板平面为已知各个点在地面上的三维坐标，对应到环视***上为已知的角点在虚拟三维空间中的坐标，地面上的标定板与相机之间对应的关系为一个旋转矩阵R和一个平移矩阵T。已知棋盘格上对应在虚拟三维空间的三维坐标为[X_i,Y_i,0]，通过角点检测算法检测出来的二维坐标为[u_i,v_i],于是可以将(6)式写成：

A＝MP (7)

其中，

设

为已知的内参数；

为待求的相机外参数。

于是(7)式改写为A＝K[R,T]P＝KXP,其中X为需要求解的未知变量。

对上述问题的求解可以使用基于PNP算法来实现，PNP算法用来实现已知平面三维坐标确定摄像头相对世界坐标系的平移和旋转矩阵。这类问题最终都是解线性方程组AX＝b的问题。当b∈R(A)时，x＝A的广义逆*b；当b不∈R(A)时，能否是Ax接近b呢，即是否有x使||Ax-b||最小，***方和即最小二乘,如公式(8)，ε为调整误差。

根据(8)计算出相机三维空间到相机二维的转换关系R,T，根据这个转换关系可以求出虚拟三维平面上其他点到二维图像的映射，从而确定三维空间到鱼眼矫正后图像的映射关系(u,v)＝f₂(f₁(x,y,z))。

通过以上步骤包括鱼眼相机矫正以及三维虚拟空间到图像的转换关系可以确定每个相机的标定拼接关系，即每个相机坐标对应的像素坐标到虚拟三维平面坐标的映射关系。考虑到汽车至少需要4个相机，因此在进行拼接的时候将4个相机同时转换到同一个虚拟三维平面，这样就可以将4个相机采集到的图像信息统一到同一个坐标系下，以此达到将4个相机进行拼接形成3D环视的效果。

以上所述的仅是本发明的优选实施方式，本发明不限于以上实施例。本领域的技术人员可以清楚，该实施例中的形式不局限于此，同时可调整方式也不局限于此。可以理解，本领域技术人员在不脱离本发明的基本构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。