CN109889792B - 一种基于v2x的车载视频直传方法 - Google Patents

Abstract

本申请提供一种基于V2X的车载视频直传方法，车辆将成像设备实时拍摄的视频图像，利用模板匹配与渐入渐出融合算法进行视频图像实时拼接，获得该时刻车载设备全景视频图像，再利用H.264算法将全景视频直接传输给其他车载设备。发明充分利用了智能车路协同***中的成像设备***和通信交互资源，可以有效解决或缓解车载全景视频的实时拼接与直传问题。

Description

一种基于V2X的车载视频直传方法

技术领域

本发明涉及一种基于V2X的车载视频直传方法，属于智能车视觉技术和车路无线通信技术交叉技术领域。

背景技术

作为近年来交通科学发展的前沿方向，智能车路协同***(IntelligentVehicle-Infrastructure Cooperative System,I-VICS)依靠各类传感设施感知车路的状态信息，通过车路无线通信技术来实现车车、车路之间的信息交互共享。在此交通***中：一方面，对于车路(Vehicle-to-Infrastructure,V2I)***，红绿指示灯作为车路交互的重要媒介，可以借助专用的通信技术向周围的车载设备进行广播其状态信息，车辆根据接收到的路段信息进行智能决策，计算获得最优建议路线和最优建议车速，保证车辆以车速较为均匀，时间更优化的方式通过十字交叉路口；另一方面，对于车车(Vehicle-to-Vehicle,V2V)***，车辆收到周围车辆节点的状态信息，如周围车辆的位置与速度信息，进行进一步的计算分析，以此做出智能决策并将决策结果转化为控制信号，操控车辆下一步姿态，实现车辆碰撞避免、队列跟驰、换道超车，有效减少驾驶员的出行时间并一定程度上保障了驾驶员的生命安全。

在智能车路协同***中，车辆对外界环境感知信息是实现车与外界信息交互的重要信息之一。为了使车辆实时获得周围环境的全景图像，车载成像设备对于实时视频图像的完整拼接以及车车、车路间的实时周围环境视频交互应运而生。在车载设备的视频拼接与直传过程中，车载设备上的成像设备都有一定的视角限制，且存在车辆的高速运动和设备配准的误差。简单的融合方法会带来视频图像高频内容的丢失，复杂的融合算法则难以满足实时性，如何在保证视频图像拼接的完整性又能满足其对实时性的需求成为车辆实现全域感知与远程自动驾驶的一大瓶颈。

一般的图像拼接技术，是利用图像重叠部分的像素的相似性，将多副图像拼接成一幅大图像，其中图像的特征提取最为关键，直接影响图像拼接的效果。图像的特征一般包括图像的角点，轮廓和一些不变矩等。其中，角点具有计算量小、适应性强、精确度高、信息量丰富等优点，成为图像拼接技术的最常用特征。其中，Harris角点提取算法是基于角点的特征提取的常用方法，角点对应于图像中信息含量高的位置，相对于原图而言，使用角点进行摄像机标定、匹配和重建能够大大的提高精度但是在存在大量角点匹配的情况下，这种方法极大的降低了图像处理的速度，影响算法的运行效率。而基于尺度空间的尺度不变特征转换(Scale-Invariant Feature Transform，SIFT)的特征匹配方法，也是图像拼接的一种常用方法，较稳健地解决了不同摄像头、不同时间视角的图像配准，但是SIFT算法运算量大，当需同时处理4幅图像时，不能满足实时性视频图像拼接的要求。

由此，如何有效利用现有的技术资源，来解决车载全景视频的实时拼接与直传问题，是当前智能车路协同***发展中需要迫切解决的问题。对车辆个体而言，车辆的全景感知信息可用于实现车队管理、车辆避险、车车协同避撞等功能；对智能车未来发展而言，实现车载视频实时拼接和直传是未来实现车辆全域感知和远程自动驾驶的基石。但以现在的Harris角点提取算法和SIFT特征匹配算法都难以满足车载设备对于视频图像信息的全景拼接的实时性要求。

发明内容

有本发明的目的是为了解决上述问题，提出一种基于V2X的车载视频直传方法，利用模板匹配和渐入渐出融合算法实现视频拼接的完整性与实时性，采取H.264算法进行车载设备间的视频直传，解决车载全景视频的实时拼接与直传问题。

本发明是一种基于V2X的车载视频直传方法，通过下述步骤实现：

步骤一、实时拼接车载多角度视频图像，并进行美化融合处理；

步骤二，将该车载设备实时拼接后视频包直接传输到其他车载设备；

优先的，步骤一的具体步骤为：

A.在车载成像设备可覆盖范围内，多个成像设备随机拍摄若干可覆盖车辆周边全景的视频图像，将该图像进行数学建模，记为f(x,y),确定成像设备的分辨率与可视度；在车载设备与成像设备全景最远可视相对距离测定前提下，车载设备成像***不断接受多角度实时视频图像；

B、从多个成像设备接受到的实时视频图像汇集在成像中心，多次利用高速模板匹配法，采用序贯相似性检验算法——SSDA法，计算不同视频图像的非相似度，记为DSI_i(u,v)；

C、对于车载通信单元i，其成像中心的不同视频图像的非相似度DSI_i(u,v)，

其中：DSIi(u,v)作为匹配尺度，即非相似度，t(p,q)代表模板中任意一个像素点，(u,v)是模板与图像重合部分左上角像素坐标，模板的大小为：m×n；

D、在保证匹配稳定性的前提尽可能提高匹配速率，计算模板内的各像素与图像重合部分对应像素的差的绝对值采用动态阈值法，

thresh(n)＝k₁×θ+k₂×n

θ＝k₁×θ+k₂×N

其中，0≤k₁<1，0≤k₂<N，thresh(n)为第n次所选阈值，k₁，k₂为加权系数，θ为初始阈值，N为选取的阈值的最大次数；

E、通过高速模板匹配法得到的DSI_i(u,v)值，进一步计算出不同视频图像上相似画面的位置差，将这种平移模型的位置差，记为

和

F、将待拼接视频图像依照模板相似点分别按照指定方向平移

和

形成拼接后的视频图像，平移重组的部分称为过渡区T；

G、用渐入渐出融合算法，对过渡区T内进行美化融合，得到最终拼接目标视频图像，渐入渐出融合算法是针对重叠区域内像素点的灰度值进行处理的。

优选的，步骤G的渐入渐出融合算法计算公式如下：

式中：FUS_i(x,y)表示融合后图像像素点的灰度值；f₁(x,y)表示待拼接左图像像素点的灰度值；f₂(x,y)表示待拼接右图像像素点的灰度值；w₁、w₂是对应权值，并且有w₁+w₂＝1，0＜w₁＜1，0＜w₂＜1。根据渐入渐出法，w₁、w₂的计算公式为：

式中：x_i为当前像素点的横坐标；x₁为重叠区域左边界；x_r为重叠区域右边界。

优选的，步骤二的具体步骤为：

A、开启车载客户端与车载服务器端，在客户端上创建socket并设置socket属性、绑定IP地址、端口在内的信息到socket上，连接服务器；

B、随后将视频数据基于H.264算法进行实时压缩和发送处理；

C、每一帧的视频图像经过实时压缩后，同时在服务器端创建、设置socket、绑定IP地址、端口，然后开启监听、接收客户端的连接，此时，服务端首先获取客户端车辆的位置，并判断选择的信道模型传输过程中是否有遮挡存在，如果存在遮挡，及时调整压缩规则，增大压缩后形成H.264中的I帧数量，保证传输可靠性，同时进行数据包的接收，接收到数据包后实时解码、获取到视频图像信息并播放，传输过程完毕后，关闭网络连接，此时，车载设备间的视频直传工作完成。

本发明的优点在于：

(1)本发明基于V2X车载视频直传方法，解决了车载全景视频的实时拼接与直传问题。充分利用了智能车路协同***中成像设备***，在可以满足精确度在可接受范围内的前提下，利用模板匹配和渐入渐出融合算法实现视频拼接的完整性与实时性，实现视频拼接的完整性与实时性，并利用车路协同***的车车、车路通信交互优势，将拼接后的全景视频通过局域网进行直接传输，大大减少了传输时间；

(2)本发明基于V2X车载视频直传方法，极大程度上消除了车载视野盲区，辅助车辆在转急弯时查看后方盲区车辆，检测盲区的儿童及宠物等。尤其是对于大货车等长箱车的视野盲区消除效果显著。长箱车驾驶员视野偏高，后视镜可视范围有限，视野盲区较大，而利用车载视频拼接技术，驾驶员可根据全景视频图像辅助判断盲区环境，大大保障了其安全性。

(3)本发明基于V2X车载视频直传方法，可通过单个或多个规划路线上车载设备的直传实时全景拼接视频提前智能判断该路线的可行性、迅捷性及安全性。智能车根据前方规划路线上车辆的直传视频，提前判断该路线的运行情况，为车辆遇到突发情况而改变决策预留大量时间，也利于选择车载设备选择最优出行路线。

附图说明

图1是本发明车辆协同定位方法流程图。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

本发明是一种基于V2X的车载视频直传方法，如图1所示，通过下述步骤实现：

步骤一、实时拼接车载多角度视频图像，并进行美化融合处理；

A、在车载成像设备可覆盖范围内，多个成像设备随机拍摄若干可覆盖车辆周边全景的视频图像，将该图像进行数学建模，记为f(x,y),确定成像设备的分辨率与可视度；在车载设备与成像设备全景最远可视相对距离测定前提下，车载设备成像***不断接受多角度实时视频图像；

B、从多个成像设备接受到的实时视频图像汇集在成像中心，多次利用高速模板匹配法。为使模板匹配高速化，采用序贯相似性检验算法——SSDA法，计算不同视频图像的非相似度，记为DSI(u,v)。

C、对于车载通信单元i，其成像中心的不同视频图像的非相似度DSIi(u,v)

其中：DSI_i(u,v)作为匹配尺度，即非相似度。t(p,q)代表模板中任意一个像素点。(u,v)表示的不是模板与图像重合部分的中心坐标，而是重合部分左上角像素坐标。模板的大小为：m×n。

D、如果在图像(u,v)处有和模板一致的图案，则DSI_i(u,v)值很小，相反则较大。特别是在模板和图像重叠部分完全不一致的场合下，如果在模板内的各像素与图像重合部分对应像素的差的绝对值依次增加下去，其和就会急剧地增大。因此，在做加法的过程中，如果差的绝对值部分和超过了某一阈值时，就认为这位置上不存在和模板一致的图案，从而转移到下一个位置上计算DSI_i(u,v)。由于计算DSI_i(u,v)只是加减运算，而且这一计算在大多数位置中途便停止了，因此能大幅度地缩短计算时间，提高匹配速度。为了在保证匹配稳定性的前提尽可能提高匹配分速率，此专利选择采用动态阈值：

thresh(n)＝k₁×θ+k₂×n (2)

θ＝k₁×θ+k₂×N (3)

其中，0≤k₁<1，0≤k₂<N，thresh(n)为第n次所选阈值，k₁，k₂为加权系数，θ为初始阈值，N为选取的阈值的最大次数。

E、通过高速模板匹配法得到的DSI_i(u,v)值，进一步计算出不同视频图像上相似画面的位置差，将这种平移模型的位置差，记为

和

F、将待拼接视频图像依照模板相似点分别按照指定方向平移

和

形成拼接后的视频图像，平移重组的部分称为过渡区T。

G、由于过渡区难免会有拼接缝，影响视频图像效果，故而应用渐入渐出融合算法，对过渡区T内进行美化融合，得到最终拼接目标视频图像。渐入渐出融合算法是针对重叠区域内像素点的灰度值进行处理的，计算公式如下：

式中：FUS_i(x,y)表示融合后图像像素点的灰度值；f₁(x,y)表示待拼接左图像像素点的灰度值；f₂(x,y)表示待拼接右图像像素点的灰度值；w₁、w₂是对应权值，并且有w₁+w₂＝1，0＜w₁＜1，0＜w₂＜1。根据渐入渐出法，w₁、w₂的计算公式为：

式中：x_i为当前像素点的横坐标；x₁为重叠区域左边界；x_r为重叠区域右边界。

步骤二，将该车载设备实时拼接后视频包直接传输到其他车载设备；

A、开启车载客户端与车载服务器端，在客户端上创建socket并设置socket属性、绑定IP地址、端口等信息到socket上，连接服务器。

B、随后将视频数据基于H.264算法进行实时压缩和发送处理，H.264算法原理如下：先进行宏块的划分，在相邻几幅图像画面中，一般有差别的像素只有10％以内的点,亮度差值变化不超过2％，而色度差值的变化只有1％以内，我们认为这样的图可以分到一组，再分别根据帧内压缩原理和帧间压缩原理进行压缩。H.264编码器会根据图像中不同帧之间像素值变化的幅度大小进行选择性压缩，主要压缩为3种格式，最初编码器在压缩视频时做全量压缩以保留原始基础数据，即压缩后形成H.264中的I帧，紧接着后面的多个与I帧相比变化不大的图像帧根据I帧来做增量压缩形成P帧；随后，当帧内容几乎不变时会动态的采用双向预测编码进而防止丢包并减小带宽，即以前面的I或P帧和后面的P帧为参考帧进行压缩形成B帧。由于P帧和B帧对I帧具有依赖关系，会发生I帧数据丢失导致后续P帧、B帧无法解码而引起视频图像一直错误的连锁反应，引入分组序列(GOP)编码，也就是隔几帧遍编码出一个全量I帧，两个I帧之间为一组视频分组序列。这样即使部分帧丟失，影响的只是当前分组序列的视频播放。然后对残差数据进行DCT转换，最后用无损压缩技术CABAC进行无损压缩。

C、每一帧的视频图像经过实时压缩后，同时在服务器端创建、设置socket、绑定IP地址、端口，然后开启监听、接收客户端的连接。此时，服务端首先获取客户端车辆的位置，并判断选择的信道模型传输过程中是否有遮挡存在，如果存在遮挡，及时调整压缩规则，增大I帧数量，保证传输可靠性。同时进行数据包的接收，接收到数据包后实时解码、获取到视频图像信息并播放。传输过程完毕后，关闭网络连接。此时，车载设备间的视频直传工作完成。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (1)

1.一种基于V2X的车载视频直传方法，其特征在于，通过下述步骤实现该方法：

步骤一，实时拼接车载多角度视频图像，并进行美化融合处理；

步骤二，将该车载设备实时拼接后视频包直接传输到其他车载设备，步骤一的具体步骤为：

A.在车载成像设备可覆盖范围内，多个成像设备随机拍摄若干可覆盖车辆周边全景的视频图像，将该图像进行数学建模，记为f(x,y),确定成像设备的分辨率与可视度；在车载设备与成像设备全景最远可视相对距离测定前提下，车载设备成像***不断接受多角度实时视频图像；

B、从多个成像设备接受到的实时视频图像汇集在成像中心，多次利用高速模板匹配法，采用序贯相似性检验算法——SSDA法，计算不同视频图像的非相似度，记为DSI_i(u,v)；

C、对于车载通信单元i，其成像中心的不同视频图像的非相似度

其中：DSI_i(u,v)作为匹配尺度，即非相似度，t(p,q)代表模板中任意一个像素点，(u,v)是模板与图像重合部分左上角像素坐标，模板的大小为：m×n；

D、在保证匹配稳定性的前提尽可能提高匹配速率，计算模板内的各像素与图像重合部分对应像素的差的绝对值采用动态阈值法，

thresh(n)＝k₁×θ+k₂×n

θ＝k₁×θ+k₂×N

其中，0≤k₁＜1，0≤k₂＜N，thresh(n)为第n次所选阈值，k₁，k₂为加权系数，θ为初始阈值，N为选取的阈值的最大次数；

E、通过高速模板匹配法得到的DSI_i(u,v)值，进一步计算出不同视频图像上相似画面的位置差，将这种平移模型的位置差，记为

和

F、将待拼接视频图像依照模板相似点分别按照指定方向平移

和

形成拼接后的视频图像，平移重组的部分称为过渡区T；

G、用渐入渐出融合算法，对过渡区T内进行美化融合，得到最终拼接目标视频图像，渐入渐出融合算法是针对重叠区域内像素点的灰度值进行处理的，所述步骤G的渐入渐出融合算法计算公式如下：

式中：FUS_i(x,y)表示融合后图像像素点的灰度值；f₁(x,y)表示待拼接左图像像素点的灰度值；f₂(x,y)表示待拼接右图像像素点的灰度值；w₁、w₂是对应权值，并且有w₁+w₂＝1，0＜w₁＜1，0＜w₂＜1；根据渐入渐出法，w₁、w₂的计算公式为：

式中：x_i为当前像素点的横坐标；x₁为重叠区域左边界；x_r为重叠区域右边界，步骤二的具体步骤为：

A、开启车载客户端与车载服务器端，在客户端上创建socket并设置socket属性、绑定IP地址、端口在内的信息到socket上，连接服务器；

B、随后将视频数据基于H.264算法进行实时压缩和发送处理；

C、每一帧的视频图像经过实时压缩后，同时在服务器端创建、设置socket、绑定IP地址、端口，然后开启监听、接收客户端的连接，此时，服务端首先获取客户端车辆的位置，并判断选择的信道模型传输过程中是否有遮挡存在，如果存在遮挡，及时调整压缩规则，增大压缩后形成H.264中的I帧数量，保证传输可靠性，同时进行数据包的接收，接收到数据包后实时解码、获取到视频图像信息并播放，传输过程完毕后，关闭网络连接，此时，车载设备间的视频直传工作完成。

Images