CN112348741A - 全景图像拼接方法、设备及存储介质和显示方法及*** - Google Patents

Abstract

本发明涉及一种全景图像拼接方法、设备及存储介质和显示方法及***，在拼接方法中，通过全景环视***已装配的左、右侧摄像头，采集车辆行驶过程中左、右侧路面场景图像，通过计算机视觉和图像处理技术，实时分析提取左、右侧路面图像中车道线特征信息，拟合左侧和右侧各拼接块图像的车道线，根据同一侧车道线所呈的夹角旋转拼接图像使其能够拟合成为一条曲线，根据旋转的角度对拼接块图像进行校正后，进行全景图像的拼接。本发明具有实现简单，图像拼接缝隙精确度高，具有前瞻性，实时性高，实用性强，稳定可靠，无需额外增加配件，具有良好的应用价值和经济效益的有益效果。

Description

全景图像拼接方法、设备及存储介质和显示方法及***

技术领域

本发明涉及车辆全景图像拼接领域，尤其涉及一种全景图像拼接方法、设备及存储介质和显示方法及***。

背景技术

全景环视***，包括终端主机、摄像头和显示屏组成，主机获取汽车上前后左右四周的各个方位摄像头实时画面图像，通过图像畸变矫正、图像拼接、图像融合、图像视角变换等一系列软件算法处理技术，合成一幅2D/3D全景图像输出给车内中控显示屏，全景环视图像视角可根据汽车行驶状态自动切换，为驾驶员呈现一个真实的车辆行驶四周环境状况，驾驶员能够更直观察看视线盲区，提高驾驶的安全性。

传统全景环视***采用4路摄像头或更多路摄像头之间相对位置固定拼接技术，即摄像头在安装到车上之后摄像头之间相对位置不会随着车辆行驶而改变，只能适用于乘用车或者车辆形态结构固定车型，无法适用于如铰接公交车、牵引车+挂车组合等形态动态变化的铰接车，因为铰接车车辆在转弯时，前后两节车厢会动态折叠。

传统解决方案采用加装铰接盘角度传感器来检测前后两节车厢之间转角值，通过转角值来实现图像拼接缝补偿，如公开号为“CN202010207381.6”的发明专利专利“一种用于铰接工程车辆变角度全景环视***的实现方法”。

传统图像拼接方法，采用硬件传感器方式，拼接效果不佳，存在诸多缺点：一是采用额外加装铰接盘角度传感器方式，结构复杂，易损坏，增加车辆成本；二是铰接盘角度传感器精度不高，随着车辆使用年限增加，磨损，精度逐渐降低，导致图像拼接效果差。

发明内容

为了解决上述问题，本发明提出了一种全景图像拼接方法、设备及存储介质和显示方法及***。

具体方案如下：

一种全景图像拼接方法，包括以下步骤：

S1：通过设置于铰接车中的牵引车上的左摄像头和右摄像头及挂车上的左摄像头和右摄像头同步采集车辆外部图像，并将采集的图像分别进行俯视变换和按照拼接区域要求裁剪处理后，生成左前拼接块图像、左后拼接块图像、右前拼接块图像和右后拼接块图像，提取各图像中的车道线特征信息；初始化设定旋转角度为0；

S2：根据提取的车道线特征信息，构建车辆坐标系，并在车辆坐标系下分别对左前拼接块图像、左后拼接块图像、右前拼接块图像和右后拼接块图像中的车道线进行拟合；

S3：判断左前拼接块图像与左后拼接块图像中的车道线或右前拼接块图像与右后拼接块图像中的车道线是否能够拟合成为一条曲线，如果是，进入S5；否则，进入S4；

S4：在车辆坐标系下根据左前拼接块图像中的车道线与左后拼接块图像中的车道线所呈的左侧夹角，或计算右前拼接块图像中的车道线与右后拼接块图像中的车道线所呈的右侧夹角，根据左侧夹角或右侧夹角的大小和方向旋转左后拼接块图像和右后拼接块图像，并更新旋转角度为旋转时对应的角度，返回S3；

S5：根据铰接车直行状态下的常规拼接参数和旋转角度计算旋转向量和旋转角，根据旋转角校正左后拼接块图像、右后拼接块图像、设置于挂车上的后摄像头采集并处理生成的后拼接块图像和挂车车模在车辆坐标系下的位置，并结合左前拼接块图像、右前拼接块图像和设置于牵引车上的前摄像头采集并处理生成的前拼接块图像进行图像拼接，拼接为全景图像。

进一步的，车道线特征信息为车道线坐标点，其通过随机抽样一致算法进行提取。

进一步的，车辆坐标系为以车辆左前角为车辆坐标系原点，车辆前进方向为纵坐标，平行车头的方向向右为横坐标的直角坐标系。

一种全景图像拼接终端设备，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例上述的方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述的方法的步骤。

一种全景图像拼接显示方法，包括：通过铰接车内安装的显示屏显示根据本发明实施例方法校正后的铰接车对应的车模和拼接后的全景图像。

一种全景图像拼接显示***，包括设置于铰接车中的牵引车上的前摄像头、左摄像头和右摄像头、设置于铰接车中的挂车上的后摄像头、左摄像头和右摄像头，全景图像拼接终端设备和铰接车内安装的显示屏；六个摄像头采集铰接车外部图像信息并将其发送至全景图像拼接终端设备；全景图像拼接终端设备根据本发明实施例所述方法将六个摄像头采集的图像拼接为全景图像并对铰接车的车模进行校正后，将车模和全景图像发送至显示屏进行显示。

本发明采用如上技术方案，主要利用全景环视***已装配的左、右侧摄像头，采集车辆行驶过程中左、右侧路面场景图像，通过计算机视觉和图像处理技术，实时分析提取左、右侧路面图像中车道线特征信息，通过车道线曲线拟合实现铰接处图像动态拼接。本发明具有实现简单，图像拼接缝隙精确度高，具有前瞻性，实时性高，实用性强，稳定可靠，无需额外增加配件，具有良好的应用价值和经济效益的有益效果。

附图说明

图1所示为本发明实施例一的流程图。

图2所示本发明实施例一中车辆坐标系示意图。

图3所示本发明实施例一中六个拼接区域示意图。

图4所示本发明实施例一中铰接车转弯时获取的拼接块图像示意图。

图5所示本发明实施例四中铰接车上安装的各摄像头位置示意图。

具体实施方式

为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。

现结合附图和具体实施方式对本发明进一步说明。

实施例一：

本发明实施例提供了一种全景图像拼接方法，如图1所示，所述方法包括以下步骤：

S1：通过设置于铰接车中的牵引车上的左摄像头和右摄像头及挂车上的左摄像头和右摄像头同步采集车辆外部图像，并将采集的图像分别进行俯视变换和按照拼接区域要求裁剪处理后，生成左前拼接块图像、左后拼接块图像、右前拼接块图像和右后拼接块图像，提取各图像中的车道线特征信息；初始化设定旋转角度为0。

该实施例中设定车道线特征信息为车道线坐标点，通过随机抽样一致(Randomsample consensus，RANSAC)算法对其进行提取。

S2：根据提取的车道线特征信息，构建车辆坐标系，并在车辆坐标系下分别对左前拼接块图像、左后拼接块图像、右前拼接块图像和右后拼接块图像中的车道线进行拟合。

该实施例中车辆坐标系为以车辆左前角为车辆坐标系原点(即X坐标与Y轴坐标的交点)，车辆前进方向为纵坐标(Y轴)，平行车头的方向向右为横坐标的直角坐标系(X轴)，如图2所示。

车道线的拟合为将车道线坐标点连接为一条曲线，四副图像共生成四条车道线曲线，拟合采用的多项式方程分别如下：

y₁＝a_n*xⁿ+a_n-1*x^n-1+...a₁*x+a₀ (1)

y₂＝b_n*xⁿ+b_n-1*x^n-1+...b₁*x+b₀ (2)

y₃＝c_n*xⁿ+c_n-1*x^n-1+...c₁*x+c₀ (3)

y₄＝d_n*xⁿ+d_n-1*x^n-1+...d₁*x+d₀ (4)

其中：公式(1)、(2)、(3)和(4)分别表示左前拼接块图像、左后拼接块图像、右前拼接块图像和右后拼接块图像四副图像的车道线曲线方程，a_n…a₀、b_n…b₀、c_n…c₀和d_n…d₀分别表示四个多项式方式的常量系数，n表示多项式方程的次幂，n一般取值为3。

S3：通过多项式方程，判断左前拼接块图像与左后拼接块图像中的车道线或右前拼接块图像与右后拼接块图像中的车道线是否能够拟合成为一条曲线，如果是，进入S5；否则，进入S4；

其中左侧车道线和右侧车道线判断一者即可。

S4：在车辆坐标系下根据左前拼接块图像中的车道线与左后拼接块图像中的车道线所呈的左侧夹角θ，或计算右前拼接块图像中的车道线与右后拼接块图像中的车道线所呈的右侧夹角α，根据左侧夹角θ或右侧夹角α的大小和方向旋转左后拼接块图像和右后拼接块图像，并更新旋转角度为旋转时对应的角度，返回S3；

选择左侧夹角θ或右侧夹角α的标准为通常选择转弯侧对应的夹角，如向左侧转弯，则选择左侧夹角θ。

S5：根据铰接车直行状态下的常规拼接参数和旋转角度计算旋转向量和旋转角β，根据旋转角β校正左后拼接块图像、右后拼接块图像、设置于挂车上的后摄像头采集并处理生成的后拼接块图像和挂车车模在车辆坐标系下的位置，并结合左前拼接块图像、右前拼接块图像和设置于牵引车上的前摄像头采集并处理生成的前拼接块图像进行图像拼接，拼接为全景图像。

该实施例中，在车辆整装下线后，进入全景标定场地，按照直行(即牵引车与挂车的旋转角β为0时)的车辆形态进行标定，标定后生成车辆直行状态下的常规拼接参数并存储。

六个拼接块图像为将图像根据拼接区域要求裁剪生成的，六个拼接区域如图3所示。

由于铰接车转弯时，牵引车与挂车相对几何位置发生变化，六个摄像头捕获到的拼接块图像如图4所示，当未进行该实施例中的动态拼接校正处理前，按照车辆直行时常规拼接法，把六个拼接块图像填充到车辆直行时常规拼接块位置就会出现拼接块错开和拼接块重叠情况，此时六个拼接块图像拼接形成的360°全景环视图像是错位不完整的。而采用了本实施例的方法后，对挂车对应的拼接图像进行了旋转，避免了拼接块错开和拼接块重叠的情况，生成完整的360°全景环视图像。

本发明实施例一具有以下有益效果：

一：能够实时感知车辆行驶路面车道线特征信息，实时计算得出铰接盘的旋转角β，实时进行全景环视***图像动态拼接校正，通过图像处理软件算法，无需增加成本；

二：通过车道线曲线拟合计算得出旋转角β，精确度高，不受使用年限影响，图像拼接缝隙小，拼接效果好。

实施例二：

本发明实施例提供了一种全景图像拼接终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例一的上述方法实施例中的步骤。

进一步地，作为一个可执行方案，所述全景图像拼接终端设备可以是车载电脑等计算设备。所述全景图像拼接终端设备可包括但不仅限于，处理器、存储器。本领域技术人员可以理解，上述全景图像拼接终端设备的组成结构仅仅是全景图像拼接终端设备的示例，并不构成对全景图像拼接终端设备的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述全景图像拼接终端设备还可以包括输入输出设备、网络接入设备、总线等，本发明实施例对此不做限定。

进一步地，作为一个可执行方案，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述全景图像拼接终端设备的控制中心，利用各种接口和线路连接整个全景图像拼接终端设备的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述全景图像拼接终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

实施例三：

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例一上述方法的步骤。

所述全景图像拼接终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)以及软件分发介质等。

实施例四：

本发明还提供一种全景图像拼接显示方法和显示***，该显示方法基于实施例一生成的校正后的铰接车的车模和拼接后的全景图像，通过铰接车内安装的显示屏显示校正后的铰接车对应的车模和拼接后的全景图像。

显示***中包括设置于铰接车中的牵引车上的前摄像头、左摄像头和右摄像头、设置于铰接车中的挂车上的后摄像头、左摄像头和右摄像头，全景图像拼接终端设备和铰接车内安装的显示屏；六个摄像头采集铰接车外部图像信息并将其发送至全景图像拼接终端设备；全景图像拼接终端设备根据实施例一所述方法将六个摄像头采集的图像拼接为全景图像，并对车模进行矫正后，将车模和全景图像发送至显示屏进行显示。

该实施例中采用的摄像头为全景环视摄像头，其安装于车辆的四周，光轴方向朝向地面并与地面形成一定夹角(如45°)，可以采集车辆周围环境实时图像，摄像头与全景图像拼接终端设备中的控制器之间通过视频传输线进行通信(如LVDS/CVBS通信接口)。

如图5所示，该实施例中的铰接车由牵引车和挂车组成。牵引车上安装有牵引车前摄像头、牵引车左摄像头与牵引车右摄像头3个摄像头，摄像头安装固定后，在车辆行驶过程中，这3个摄像头之间的相对几何位置关系是固定不变的。挂车上安装有挂车左摄像头、挂车右摄像头与挂车后摄像头3个摄像头，摄像头安装固定后，在车辆行驶过程中，这3个摄像头之间的相对几何位置关系是固定不变的。牵引车与挂车之间通过铰接盘转轴进行连接，当车辆在路上行驶过程中，牵引车与挂车之间是动态转动的，因此牵引车上的3个摄像头与挂车上3个摄像头之间的相对几何位置关系也是动态变化的，因此牵引车与挂车之间拼接缝也是动态变化，需要通过实时检测牵引车与挂车之间动态位置关系来实现6个摄像头拼接成完整360°全景环视图像。

需要说明的是，上述摄像头的设置情况仅为一种实施方式，在实际应用过程中，可以根据车辆的长度设置更多的摄像头，将牵引车左侧设置的所有摄像头拍摄的图像处理并拼接为左前拼接块图像、将牵引车右侧设置的所有摄像头拍摄的图像处理并拼接为右前拼接块图像，将挂车左侧设置的所有摄像头拍摄的图像处理并拼接为左后拼接块图像、将挂车右侧设置的所有摄像头拍摄的图像处理并拼接为右后拼接块图像。

显示屏为安装在车辆中控台位置的显示器(通常也称“中控屏”)，主要用于显示生成的全景图像，显示屏与控制器之间通过视频传输线进行通信(如LVDS/CVBS通信接口)。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (7)

1.一种全景图像拼接方法，其特征在于，包括以下步骤：

S1：通过设置于铰接车中的牵引车上的左摄像头和右摄像头及挂车上的左摄像头和右摄像头同步采集车辆外部图像，并将采集的图像分别进行俯视变换和按照拼接区域要求裁剪处理后，生成左前拼接块图像、左后拼接块图像、右前拼接块图像和右后拼接块图像，提取各图像中的车道线特征信息；初始化设定旋转角度为0；

S2：根据提取的车道线特征信息，构建车辆坐标系，并在车辆坐标系下分别对左前拼接块图像、左后拼接块图像、右前拼接块图像和右后拼接块图像中的车道线进行拟合；

S3：判断左前拼接块图像与左后拼接块图像中的车道线或右前拼接块图像与右后拼接块图像中的车道线是否能够拟合成为一条曲线，如果是，进入S5；否则，进入S4；

S4：在车辆坐标系下根据左前拼接块图像中的车道线与左后拼接块图像中的车道线所呈的左侧夹角，或计算右前拼接块图像中的车道线与右后拼接块图像中的车道线所呈的右侧夹角，根据左侧夹角或右侧夹角的大小和方向旋转左后拼接块图像和右后拼接块图像，并更新旋转角度为旋转时对应的角度，返回S3；

S5：根据铰接车直行状态下的常规拼接参数和旋转角度计算旋转向量和旋转角，根据旋转角校正左后拼接块图像、右后拼接块图像、设置于挂车上的后摄像头采集并处理生成的后拼接块图像和挂车车模在车辆坐标系下的位置，并结合左前拼接块图像、右前拼接块图像和设置于牵引车上的前摄像头采集并处理生成的前拼接块图像进行图像拼接，拼接为全景图像。

2.根据权利要求1所述的全景图像拼接方法，其特征在于：车道线特征信息为车道线坐标点，其通过随机抽样一致算法进行提取。

3.根据权利要求1所述的全景图像拼接方法，其特征在于：车辆坐标系为以车辆左前角为车辆坐标系原点，车辆前进方向为纵坐标，平行车头的方向向右为横坐标的直角坐标系。

4.一种全景图像拼接终端设备，其特征在于：包括处理器、存储器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～3中任一所述方法的步骤。

5.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1～3中任一所述方法的步骤。

6.一种全景图像拼接显示方法，其特征在于：包括：通过铰接车内安装的显示屏显示根据权利要求1～3中任一所述方法校正后的铰接车的车模和拼接后的全景图像。

7.一种全景图像拼接显示***，其特征在于，包括设置于铰接车中的牵引车上的前摄像头、左摄像头和右摄像头、设置于铰接车中的挂车上的后摄像头、左摄像头和右摄像头，全景图像拼接终端设备和铰接车内安装的显示屏；六个摄像头采集铰接车外部图像信息并将其发送至全景图像拼接终端设备；全景图像拼接终端设备根据权利要求1～3中任一所述方法将六个摄像头采集的图像拼接为全景图像并对铰接车的车模进行校正后，将车模和全景图像发送至显示屏进行显示。

Images