CN113792598A - 基于车载摄像头的汽车碰撞预测***和方法 - Google Patents

Abstract

本发明提供基于车载摄像头的汽车碰撞预测***和方法，该***包括：视频数据获取模块获取车载摄像头采集的视频数据；运动尺度变化模块根据获取的视频数据的光流变化和前景尺度变化，获取视频数据的尺度变化特征；LGMD脉冲神经网络模块根据获取的尺度变化特征，基于LGMD脉冲神经网络模型获取运动靠近特征；运动方向交叉模块根据获取的视频数据获取自身与前景物体的运动交叉特征；碰撞预测模块根据获取的运动靠近特征和运动交叉特征，基于碰撞预测神经网络模型进行碰撞预测处理，输出碰撞时间预测结果和碰撞位置预测结果。本发明能够实现车辆对危险运动目标的碰撞预测，有助于提高自动驾驶技术的安全性。

Description

基于车载摄像头的汽车碰撞预测***和方法

技术领域

本发明涉及自动驾驶技术领域，特别是基于车载摄像头的汽车碰撞预测***和方法。

背景技术

现有的自动驾驶技术主要处于L3～L4阶段，向L5完全自动化的阶段迈进是当前自动驾驶发展的迫切需求之一。在车辆驾驶智能化的浪潮下，保证驾驶的安全性，避免潜在的碰撞是自动驾驶核心技术之一。当前自动驾驶技术中，车辆运动的信号通常由多个部分组成，同时车辆将在不同自然条件、不同的道路环境类型、不同的交通状况等场景下行驶，导致对复杂多变的道路场景中的危险运动目标进行碰撞预测依然非常困难。

当前自动驾驶中***可能发生的碰撞所采取的技术手段主要通过雷达技术融合高清地图的方式实现，其主要分为毫米波雷达和激光雷达两种。毫米波雷达利用波长介于1～10mm的电磁波来工作，其波长介于厘米波和光波之间，换算成频率后，毫米波的频率位于30GHz到300GHz之间，目前国内外主流汽车毫米波雷达频段为24GHz(用于中短距离雷达，15-30米)和77GHz(用于长距离雷达，100-200米)。激光雷达是激光与雷达的集合，一般分为脉冲式和连续波式两种。脉冲式激光雷达利用时间间隔来计算相对车距；而连续波激光雷达则通过计算反射光与反射光之间的相位差得到目标距离。当雷达发射激光以后，在遇到障碍物时会发生折返，返回的光束通过雷达内部接收器进行分析，最终通过折返时间和测量信号在处理器进行处理，从而生成精准的3D地图，对周围的环境特征进行再还原，从而进一步对危险进行预测。除此之外，雷达技术还包括超声波雷达和红外雷达等。总的来说，雷达技术都是通过对回波的检测，与发射信号相比较，得到脉冲或相位的差值，从而计算出发射与接收信号的时间差，结合测量信号来实现危险预测。但是，目前基于雷达技术的碰撞预测技术存在以下不足：1.无法对检测到的目标进行高精度识别；2.激光雷达在雨雪以及大雾天气的识别能力会降低；3.雷达有效地工作离不开高精度3D地图，创建高清地图需要预先测绘环境，收集、构建和更新3D数据和地理信息，这导致高清地图成本高昂，使得雷达技术应用环境大大受限。更重要的是若高清地图外泄，有可能导致国家地理信息安全问题，需要进行有效限制。

除雷达技术外，还有较少部分单纯使用摄像头的基于计算机视觉的技术，如Ustring等论文提及的贝叶斯深度学习方法通过计算每帧的异常概率来进行预测。但是现有的纯视觉碰撞预测方法的不足：1.Ustring等方法实际只对单个驾驶视频数据进行二分类检测，并不是实际意义的碰撞预测，而且不能用于判断单个物体的碰撞危险，因此不能应用于实际驾驶场景中；2.模型难以做出因果推理，无法对未见过的新情况有效处理，需要大量的训练数据训练。

因此，提出一种能够实现车辆对危险运动目标的碰撞预测的技术方案，以提高自动驾驶技术的安全性，推动自动驾驶技术向L5阶段迈进，对于自动驾驶技术领域亟具价值。

发明内容

针对上述问题，本发明旨在提供基于车载摄像头的汽车碰撞预测***和方法。

第一方面，本发明提出基于车载摄像头的汽车碰撞预测***，包括：

视频数据获取模块，用于获取车载摄像头采集的视频数据，将视频数据分别传输至运动尺度变化模块和运动方向交叉模块；

运动尺度变化模块，用于根据获取的视频数据的光流变化和前景尺度变化，获取视频数据的尺度变化特征，并将尺度变化特征输出至LGMD脉冲神经网络模块(LGMD：LobulaGiant Movement Detector，小叶巨型运动检测器)；

LGMD脉冲神经网络模块，用于根据获取的尺度变化特征，基于训练好的LGMD脉冲神经网络模型获取运动靠近特征，将运动靠近特征输出至碰撞预测模块；

运动方向交叉模块，用于根据获取的视频数据获取自身与前景物体的运动交叉特征，将运动交叉特征输出至碰撞预测模块；

碰撞预测模块，用于根据获取的运动靠近特征和运动交叉特征，基于训练好的碰撞预测神经网络模型进行碰撞预测处理，输出碰撞时间预测结果和碰撞位置预测结果。

一种实施方式中，所述车载摄像头的镜头对准车辆前方，用于拍摄车辆驾驶视觉下的视频数据。

一种实施方式中，视频数据获取模块根据接收到的所述视频数据，将连续的视频帧序列按时间顺序依次分别传输至运动尺度变化模块和运动方向交叉模块。

一种实施方式中，运动尺度变化模块，根据获取的视频数据的光流变化和前景尺度变化，获取视频数据的尺度变化特征，具体包括：

获取由数据获取模块传输的视频帧序列；

基于获取的视频帧序列，采用光流提取神经网络计算当前视频帧的光流场，并针对光流场进行局部线性变换，并对局部线性变换后的矩阵进行行列式计算获取初级逐像素尺度变化特征，基于获取的初级逐像素尺度变化特征，使用训练好的尺度变化神经网络来计算获取精细逐像素光流尺度变化特征作为第一尺度特征；

基于获取的视频帧序列，计算视频中前景物体的相邻帧前景运动信息，然后通过训练好的尺度特征神经网络获取相邻帧的尺度特征；将当前帧的尺度特征进行尺度变换，获取当前帧的尺度变换特征，并将获取的当前帧的尺度变换特征与前一帧的尺度特征进行对比变换，得到前景尺度变化特征作为第二尺度特征；

其中所述尺度变化特征根据所述第一尺度特征和所述第二尺度特征进行融合处理所得。

一种实施方式中，LGMD脉冲神经网络模块，根据获取的尺度变化特征，基于训练好的LGMD脉冲神经网络模型获取运动靠近特征，具体包括：

所述训练好的LGMD脉冲神经网络模型包括感知层、激励层、抑制层、汇合层、侧抑制层和LGMD细胞层；其中感知层的输出分别连接激励层的输入、抑制层的输入和侧抑制层的输入；激励层的输出和抑制层的输出分别连接汇合层的输入；汇合层的输出和侧抑制层的输出分别连接LGMD细胞层的输入；

其中感知层对时序上多视频帧对应的尺度变化特征进行融合；激励层对感知的运动特征进行增强；抑制层对感知的运动特征进行相反的抑制；汇合层综合平衡增强和抑制两种神经冲动的作用；侧抑制层对场景运动特征的整体剧烈变动进行抑制；LGMD细胞层根据汇合层和侧抑制层输出的神经冲动，输出视频数据中靠近运动物体所产生的神经冲动作为运动靠近特征。

一种实施方式中，运动方向交叉模块，根据获取的视频帧序列获取自身与前景物体的运动交叉特征，具体包括：

获取由数据获取模块传输的视频帧序列；

通过训练好的三维目标检测神经网络获取视频帧中前景物体的水平旋转方向特征；

通过训练好的自身运动估计神经网络获取视频帧中自身车辆运动的偏转角特征；

根据获取的水平旋转方向特征和偏转角特征进行运动方向交叉判别，计算运动旋转向量的夹角，得到逐像素的运动交叉特征。

一种实施方式中，碰撞预测神经网络模型包括时间注意力网络和空间注意力网络；

碰撞预测模块，根据获取的运动靠近特征和运动交叉特征，基于训练好的碰撞预测神经网络模型进行碰撞预测处理，输出碰撞时间预测结果和碰撞位置预测结果，具体包括：

分别获取由LGMD脉冲神经网络模块传输的运动靠近特征和由运动方向交叉模块传输的运动交叉特征；

时间注意力网络根据运动靠近特征，在时域上进行关键帧的加权，得到时间注意力加权结果；

空间注意力网络根据运动交叉特征，在空间域进行空间异常位置的加权，得到空间注意力加权结果；

碰撞预测神经网络模型基于时间注意力加权结果和空间注意力加权结果，在时空融合层将时空注意力特征进行广播机制融合，输出可能发生碰撞的具体时刻预测和具体空间位置预测。

第二方面，本发明提出基于车载摄像头的汽车碰撞预测方法，包括：

获取车载摄像头采集的视频数据；

根据获取的视频数据的光流变化和前景尺度变化，获取视频数据的尺度变化特征；

根据获取的尺度变化特征，基于训练好的LGMD脉冲神经网络模型获取运动靠近特征；

根据获取的视频数据获取自身与前景物体的运动交叉特征；

根据获取的运动靠近特征和运动交叉特征，基于训练好的碰撞预测神经网络模型进行碰撞预测处理，输出碰撞时间预测结果和碰撞位置预测结果。

本发明的有益效果为：本发明提出基于车载摄像头的汽车碰撞预测***和方法，

1.相比于雷达等，本发明基于摄像头采集的视频数据完成汽车的碰撞预测，整体成本更低。

2.与现有的视觉方法相比，本发明采取了生物启发式的模型结构设计，具有生物可解释性和自然进化先验知识，有助于提高汽车碰撞预测的可靠性，同时符合应用于自动驾驶领域实际投产应用的要求。

3.本发明将估计场景深度问题转换为图像中目标尺寸变化比率，并借助生物结构予以设计模型，避免了危险碰撞预测在视觉方法中需要进行场景深度(距离)估计的问题难点，同时避免了视觉方法存在深度估计的结果精度低的问题。

4.相比雷达和现有方法，本发明能够同时定位可能造成碰撞危险的目标和预测可能发生危险的时间点，为进一步的规划决策提供了关键的危险感知信息。

附图说明

利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1为本发明基于车载摄像头的汽车碰撞预测***的实施例框架结构图；

图2为本发明实施例中运动尺度变化模块获取第一尺度特征的过程示意图；

图3为本发明实施例中运动尺度变化模块获取第二尺度特征的过程示意图；

图4为本发明实施例中LGMD脉冲神经网络模块获取运动靠近特征的过程示意图；

图5为本发明实施例中运动方向交叉模块获取运动交叉特征的过程示意图；

图6为本发明实施例中碰撞预测模块获取碰撞时间预测结果和碰撞位置预测结果的过程示意图。

具体实施方式

结合以下应用场景对本发明作进一步描述。

自然界中，生物的视觉***借助其运动感知等机制可以对危险的碰撞信号做到快速准确的反应。比如，密集飞舞的蝗虫不会发生相互碰撞。同时，生物之间存在着捕食者与被捕食者的关系，在自身运动的情况下，有效的***捕食者的运动或者其他可能的危险目标的运动，对于被捕食者躲避危险，提高自身生存能力有着重要的影响。而经研究发现，蝗虫所使用来避免碰撞的神经元，正是LGMD，Lobula Giant Movement Detector，小叶巨型运动检测器。

目前，也有一些基于LGMD的避障研究应用在无人机领域中，但是目前基于无人机的应用，也仅仅能够满足科研层面的需要。而与无人机的避障场景有所不同，在汽车自动驾驶的场景中，其路况更加复杂，同时自动驾驶牵涉车上乘客的安全，因此要求的安全性能更高。因此，在自动驾驶技术中，合理借鉴生物的运动感知视觉机制，融入到计算机视觉方法，从而实现车辆对危险运动目标的碰撞预测，提高自动驾驶技术的安全性，推动自动驾驶技术向L5阶段迈进，是本发明想解决的关键技术问题。

参见图1，其示出一种基于车载摄像头的汽车碰撞预测***，该***包括：

视频数据获取模块，用于获取车载摄像头采集的视频数据，将视频数据分别传输至运动尺度变化模块和运动方向交叉模块；

运动尺度变化模块，用于根据获取的视频数据的光流变化和前景尺度变化，获取视频数据的尺度变化特征，并将尺度变化特征输出至LGMD脉冲神经网络模块；

LGMD脉冲神经网络模块，用于根据获取的尺度变化特征，基于训练好的LGMD脉冲神经网络模型获取运动靠近特征，将运动靠近特征输出至碰撞预测模块；

运动方向交叉模块，用于根据获取的视频数据获取自身与前景物体的运动交叉特征，将运动交叉特征输出至碰撞预测模块；

碰撞预测模块，用于根据获取的运动靠近特征和运动交叉特征，基于训练好的碰撞预测神经网络模型进行碰撞预测处理，输出碰撞时间预测结果和碰撞位置预测结果。

上述实施方式，使用车载摄像头录制的视频数据，进行复杂驾驶环境的危险碰撞预测，能够***其他交通车辆是否会对自身驾驶车辆发生碰撞，并较早预测潜在碰撞物体的具***置，从而为避免车祸发生提供关键的决策信息。在不使用激光雷达和毫米波雷达前提下，仅通过车载视频数据，能够预测第一人称驾驶视角下的危险车辆碰撞。

其中本发明上述***设计包括4个主要模块：运动尺度变化模块、LGMD脉冲神经网络模块、运动方向交叉模块和碰撞预测模块；车载实时视频输入到两条典型碰撞特征的提取通路，一条使用运动尺度变化模块和LGMD脉冲神经网络模块，提取运动物体的尺度变化特征和运动靠近特征；另一条使用运动方向交叉模块，提取运动物体和自身车辆的运动方向交叉特征。由碰撞预测模型基于上述两种典型碰撞特征在神经网络注意力机制的共同作用下，并在时间预测约束和空间定位约束下，最后输出得到预测碰撞的时间点和预测碰撞的物***置。

其中，上述4个主要模块的作用包括：运动尺度变化模块通过车载视频数据，来估计复杂驾驶场景各个物体的尺寸变化比率，解决了如何表示第一人称视角下的物体运动尺度的问题；LGMD脉冲神经网络模块，通过物体运动的尺度表示，模拟生物视觉***对靠近物体的神经冲动，解决了如何感知驾驶场景中的快速靠近物体的问题；运动方向交叉模块，通过车载视频数据，来估计驾驶场景中各个物体和自身驾驶车辆的运动方向，并判断运动方向的交叉，解决了如何表示碰撞异常特征的问题；碰撞预测模块(神经网络学习模块)使用时空注意力机制，对LGMD脉冲神经网络模块和运动方向交叉模块得到的碰撞特征，进行典型特征信息的加权融合，最后得到预测的可能碰撞时刻和可能碰撞位置，解决了如何进行多维碰撞特征融合的问题和联合预测碰撞时刻和碰撞位置的问题。

针对上述提出的各个模块：

一种实施方式中，所述车载摄像头的镜头对准车辆前方，用于拍摄车辆驾驶视觉下的视频数据。

一种实施方式中，车载摄像头包括单摄像头、双摄像头或多摄像头。

一种实施方式中，视频数据获取模块根据接收到的所述视频数据，将连续的视频帧序列按时间顺序依次分别传输至运动尺度变化模块和运动方向交叉模块。

一种实施方式中，运动尺度变化模块中，根据获取的视频数据的光流变化和前景尺度变化，获取视频数据的尺度变化特征，具体包括：

获取由数据获取模块传输的视频帧序列；

参见图2，基于获取的视频帧序列，采用光流提取神经网络计算当前视频帧的光流场，并针对光流场进行局部线性变换，并对局部线性变换后的矩阵进行行列式计算获取初级逐像素尺度变化特征，基于获取的初级逐像素尺度变化特征，使用训练好的尺度变化神经网络来计算获取精细逐像素光流尺度变化特征作为第一尺度特征；

参见图3，基于获取的视频帧序列，计算视频中前景物体的相邻帧前景运动信息，然后通过训练好的尺度特征神经网络获取相邻帧的尺度特征；将当前帧的尺度特征进行尺度变换，获取当前帧的尺度变换特征，并将获取的当前帧的尺度变换特征与前一帧的尺度特征进行对比变换，得到前景尺度变化特征作为第二尺度特征；

其中所述尺度变化特征根据所述第一尺度特征和所述第二尺度特征进行融合处理所得。

一种实施方式中，所述训练好的尺度特征神经网络是由卷积层、修正线性单元层(relu)、池化层组成的尺度预训练权重网络；

所述尺度变换操作包括局部放缩和网格采样联合处理组成；

所述对比变换操作包括对应位置相除和对应位置叠加处理组成。

一种场景中，当前视频帧的光流场、初级逐像素尺度变化特征和精细逐像素光流尺度变化特征的表现形式包括为特征矩阵；而相邻帧的尺度特征、当前帧的尺度变换特征和前景尺度变化特征的表现形式包括为特征矩阵。其中尺度变化特征可以根据上述第一尺度特征和第二尺度特征进行加权叠加，以得到最终的特征值矩阵作为尺度变化特征。

一种场景中，运动尺度变化模块是用于表示自动驾驶场景中的车辆等前景物体尺度的大小比例的变化关系。对不同前景物体分别提取图像中对应尺寸的对比变化，用于表示各个运动物体对自身驾驶车辆的靠近/远离，等运动尺度关系。模块的输入为视频帧连续序列。该模块主要通过两种方式进行表示：1.首先通过光流提取神经网络，来计算视频的光流场，得到场景中逐像素的运动变化矩阵，然后通过光流场进行局部线性变换，每个像素点的局部使用矩阵线性近似光流变化，并进行矩阵行列式计算来表示初级的逐像素尺度变化特征矩阵，然后再使用尺度变化神经网络来计算精细的逐像素光流尺度变化特征矩阵，其中尺度变化神经网络由跳跃连接的编码器-解码器结构组成。2.计算视频物体的相邻帧前景运动信息，然后通过尺度特征神经网络，来得到相邻帧的尺度特征矩阵。尺度特征神经网络是由卷积层、修正线性单元层、池化层组成的尺度预训练权重网络。然后将当前帧的尺度特征矩阵进行尺度变换，进而将这个尺度变换特征矩阵与根据前一帧获取的的尺度特征矩阵进行对比变换，最后得到尺度变换特征矩阵。其中尺度变化特征矩阵是指当前帧中前景物体尺寸和前一帧中逐像素物体尺寸的比例，用来表示物体尺度的变大或缩小。

其中上述尺度变换操作由局部放缩和网格采样联合组成。对比变换操作由对应位置相除和对应位置叠加组成。

其中，视频数据中包含有交通场景下的车辆、行人、摩托车、自行车等前景信息。

一种实施方式中，参见图4，LGMD脉冲神经网络模块中，根据获取的尺度变化特征，基于训练好的LGMD脉冲神经网络模型获取运动靠近特征，具体包括：

所述训练好的LGMD脉冲神经网络模型包括感知层、激励层、抑制层、汇合层、侧抑制层和LGMD细胞层；其中感知层的输出分别连接激励层、抑制层和侧抑制层的输入；激励层、抑制层的输出连接汇合层的输入；汇合层、侧抑制层的输出连接LGMD细胞层的输入；

其中感知层对时序上多视频帧对应的尺度变化特征进行融合；激励层对感知的运动特征进行增强；抑制层对感知的运动特征进行相反的抑制；汇合层综合平衡增强和抑制两种神经冲动的作用；侧抑制层对场景运动特征的整体剧烈变动进行抑制；LGMD细胞层根据汇合层和侧抑制层输出的神经冲动，输出视频数据中靠近运动物体的神经冲动作为运动靠近特征。

一种场景中，LGMD脉冲神经网络模块中获取的尺度变化特征的表现形式包括为特征矩阵，其中LGMD脉冲神经网络模块中输出的运动靠近特征的形式包括为特征向量。

一种场景中，LGMD脉冲神经网络模块是计算运动物体靠近时的在时间域上的运动变化关系。考虑到该模块的有效输入为尺度变化信息，因此将运动尺度变化模块输出的尺度变化特征矩阵输入至LGMD脉冲神经网络模块中。该模块通过模拟蝗虫的碰撞感知神经元，使用脉冲神经网络的计算模型，依次构建感知层、激励层、抑制层、汇合层、侧抑制层和LGMD细胞层，建立生物启发式的运动感知的脉冲神经网络模型。感知层能够对时序上多帧特征进行融合，激励层对感知的运动特征进行增强，抑制层对感知的运动特征进行相反的抑制，汇合层综合平衡增强和抑制两种神经冲动的作用，侧抑制层对场景运动特征的整体剧烈变动进行抑制，LGMD细胞层输入汇合层和侧抑制层输出的神经冲动，LGMD细胞层最后输出靠近运动物体的神经冲动。当有物体快速靠近时，整体LGMD脉冲神经网络模块输入相应的尺度特征矩阵，模块在时间序列上产生剧烈的脉冲响应，提取得到运动靠近特征向量，能够对快速靠近物体进行***。其中神经冲动是指对应汇合层、侧抑制层和LGMD细胞层产生的随时间变化的输出响应。

一种实施方式中，参见图5，运动方向交叉模块中，根据获取的视频帧序列获取自身与前景物体的运动交叉特征，具体包括：

获取由数据获取模块传输的视频帧序列；

通过训练好的三维目标检测神经网络获取视频帧中前景物体的水平旋转方向特征；

通过训练好的自身运动估计神经网络获取视频帧中自身车辆运动的偏转角特征；

根据获取的水平旋转方向特征和偏转角特征进行运动方向交叉判别，计算运动旋转向量的夹角，得到逐像素的运动交叉特征。

一种场景中，前景物体的水平旋转方向特征的表现形式包括为特征向量；自身车辆运动的偏转角特征的表现形式包括为特征向量；逐像素的运动交叉特征的表现形式包括为特征矩阵。

一种场景中，运动方向交叉模块是计算自动驾驶场景中前景车辆等物体的运动方向，并判断和自身运动方向的交叉。模块的输入是视频帧序列。该模块通过三维目标检测神经网络前景物体的水平旋转方向向量，使用自身运动估计神经网络得到的自身车辆运动的偏转角向量，最后进行两者的运动方向交叉判别，计算运动旋转向量的夹角，并得到逐像素的空间运动相交特征矩阵。

一种实施方式中，参见图6，碰撞预测模块中，根据获取的运动靠近特征和运动交叉特征，基于训练好的碰撞预测神经网络模型进行碰撞预测处理，输出碰撞时间预测结果和碰撞位置预测结果，具体包括：碰撞预测神经网络模型包括时间注意力网络和空间注意力网络；

分别获取由LGMD脉冲神经网络模块传输的运动靠近特征和由运动方向交叉模块传输的运动交叉特征；

时间注意力网络根据运动靠近特征，在时域上进行关键帧的加权，得到时间注意力加权结果；

空间注意力网络根据运动交叉特征，在空间域进行空间异常位置的加权，得到空间注意力加权结果；

碰撞预测神经网络模型基于时间注意力加权结果和空间注意力加权结果，在时空融合层将时空注意力特征进行广播机制融合，输出可能发生碰撞的具体时刻预测和具体空间位置预测。

一种场景中，空间注意力加权结果包括空间显著区域特征；时间注意力加权结果包括每帧对应的时间注意力特征。

一种场景中，碰撞预测模块是预测车辆等前景物体可能发生碰撞的具体时间点和具体空间位置。该模块的输入为时间域的运动靠近特征向量和空间域的运动交叉特征矩阵。该模块使用多任务的深度学习方法，时间注意力网络输入运动靠近特征向量，在时域上进行关键帧的加权，空间注意力网络输入运动交叉特征矩阵，在空间域上进行空间异常位置的加权，在时空融合层将时空注意力特征进行广播机制融合，最后输出可能发生碰撞的具体时刻预测和具体空间位置预测。时间注意力网络使用单层的可学习一维网络参数层，空间注意力网络使用标准的卷积层、修正线性单元层和池化层堆叠的金字塔结构。

其中，在碰撞预测神经网络模型的训练过程中，时间注意力网络输入运动靠近特征向量，在时域上进行关键帧的加权，空间注意力网络输入运动交叉特征矩阵，在空间域上进行空间异常位置的加权，并结合两个关键的先验约束条件，时间预测约束和空间定位约束，来联合优化神经网络模型。其中，时间预测约束为从目标出现直到实际碰撞发生的时间段。空间预测约束为碰撞区域为图像均匀区域，且面积不小于一定面积阈值。其中，联合优化，是指进行神经网络的多任务学习，表示为多个损失函数的加权约束。

一种场景中，时间域的运动靠近特征向量包括为LGMD细胞层随时间产生上升梯度较大的输出，为一维向量。空间域的运动方向交叉特征，包括为与本车可能产生运动方向交叉的空间位置，为二维矩阵。

一种场景中，广播机制融合，具体操作为，通过时间注意力网络得到的加权一维时域特征的每帧标量数值，乘以通过注意力网络的加权二维空间特征的对应帧的所有标量数值。

其中，该***还包括模型训练模块，模型训练模块用于对上述运动尺度变化模块、LGMD脉冲神经网络模块、运动方向交叉模块和碰撞预测模块进行训练。具体包括：使用车载摄像头收集的碰撞与非碰撞视频这两类驾驶数据，标记时序标签信息，训练运动尺度变化模块和LGMD神经网络模块。使用车载摄像头收集的驾驶数据，标记车辆和自身车辆的运动方向，训练运动方向交叉模块。然后使用非碰撞与碰撞数据，输出得到前面模块的两类特征信息(包括运动靠近特征和运动交叉特征)。通过两类特征和碰撞的时间标签和空间标签，训练碰撞预测模块的主神经网络。最后进行三个部分的联合微调训练，得到上述各模块中相应的神经网络。

第二方面，本发明提出一种基于车载摄像头的汽车碰撞预测方法，包括如下步骤：

获取车载摄像头采集的视频数据；

根据获取的视频数据的光流变化和前景尺度变化，获取视频数据的尺度变化特征；

根据获取的尺度变化特征，基于训练好的LGMD脉冲神经网络模型获取运动靠近特征；

根据获取的视频数据获取自身与前景物体的运动交叉特征；

根据获取的运动靠近特征和运动交叉特征，基于训练好的碰撞预测神经网络模型进行碰撞预测处理，输出碰撞时间预测结果和碰撞位置预测结果。

一种实施方式中，该方法还包括对运动尺度变化模块、LGMD脉冲神经网络模块、运动方向交叉模块和碰撞预测模块进行训练。

需要说明的是，本申请上述提出的基于车载摄像头的汽车碰撞预测方法，还包括与上述基于车载摄像头的汽车碰撞预测***中各模块及对应实施例所提供的处理方法，本申请在此不再重复叙述。

本发明上述实施方式提出基于车载摄像头的汽车碰撞预测***和方法，具有以下有益效果：

1.相比于雷达等，本发明基于摄像头采集的视频数据完成汽车的碰撞预测，整体成本更低。

2.现有技术中通过基于机器视觉进行碰撞预测的技术方案中，通常是直接基于采集到的视频图像数据和标定结果，直接采用人工神经网络进行训练，虽然训练好的人工神经网络能够输出相应的判断结果，但是无法得知(解释)是基于什么因素判断得到的结果，在自动驾驶领域中，当无法对模型的安全性进行解释的话，则无法投入到实际涉及人生安全的实际应用当中，同时也不利于针对碰撞预测模型的进一步改进和优化。与现有的视觉方法相比，本发明采取了生物启发式的模型结构设计，具有生物可解释性和自然进化先验知识，有助于提高汽车碰撞预测的可靠性，同时符合应用于自动驾驶领域实际投产应用的要求。

3.本发明将估计场景深度问题转换为图像中目标尺寸变化比率，并借助生物结构予以设计模型，避免了危险碰撞预测在视觉方法中需要进行场景深度(距离)估计的问题难点，同时避免了视觉方法存在深度估计的结果精度低的问题。

4.相比雷达和现有方法，本发明能够同时定位可能造成碰撞危险的目标和预测可能发生危险的时间点，为进一步的规划决策提供了关键的危险感知信息。

需要说明的是，在本发明各个实施例中的各功能单元/模块可以集成在一个处理单元/模块中，也可以是各个单元/模块单独物理存在，也可以是两个或两个以上单元/模块集成在一个单元/模块中。上述集成的单元/模块既可以采用硬件的形式实现，也可以采用软件功能单元/模块的形式实现。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解应当理解，可以以硬件、软件、固件、中间件、代码或其任何恰当组合来实现这里描述的实施例。对于硬件实现，处理器可以在一个或多个下列单元中实现：专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、设计用于实现这里所描述功能的其他电子单元或其组合。对于软件实现，实施例的部分或全部流程可以通过计算机程序来指令相关的硬件来完成。实现时，可以将上述程序存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何可用介质。计算机可读介质可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。

最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当分析，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (8)

1.基于车载摄像头的汽车碰撞预测***，其特征在于，包括：

视频数据获取模块，用于获取车载摄像头采集的视频数据，将视频数据分别传输至运动尺度变化模块和运动方向交叉模块；

运动尺度变化模块，用于根据获取的视频数据的光流变化和前景尺度变化，获取视频数据的尺度变化特征，并将尺度变化特征输出至LGMD脉冲神经网络模块；

LGMD脉冲神经网络模块，用于根据获取的尺度变化特征，基于训练好的LGMD脉冲神经网络模型获取运动靠近特征，将运动靠近特征输出至碰撞预测模块；

运动方向交叉模块，用于根据获取的视频数据获取自身与前景物体的运动交叉特征，将运动交叉特征输出至碰撞预测模块；

碰撞预测模块，用于根据获取的运动靠近特征和运动交叉特征，基于训练好的碰撞预测神经网络模型进行碰撞预测处理，输出碰撞时间预测结果和碰撞位置预测结果。

2.根据权利要求1所述的基于车载摄像头的汽车碰撞预测***，其特征在于，所述车载摄像头的镜头对准车辆前方，用于拍摄车辆驾驶视觉下的视频数据。

3.根据权利要求1所述的基于车载摄像头的汽车碰撞预测***，其特征在于，视频数据获取模块根据接收到的所述视频数据，将连续的视频帧序列按时间顺序依次分别传输至运动尺度变化模块和运动方向交叉模块。

4.根据权利要求1所述的基于车载摄像头的汽车碰撞预测***，其特征在于，运动尺度变化模块，根据获取的视频数据的光流变化和前景尺度变化，获取视频数据的尺度变化特征，具体包括：

获取由数据获取模块传输的视频帧序列；

基于获取的视频帧序列，采用光流提取神经网络计算当前视频帧的光流场，并针对光流场进行局部线性变换，并对局部线性变换后的矩阵进行行列式计算获取初级逐像素尺度变化特征，基于获取的初级逐像素尺度变化特征，使用训练好的尺度变化神经网络来计算获取精细逐像素光流尺度变化特征作为第一尺度特征；

基于获取的视频帧序列，计算视频中前景物体的相邻帧前景运动信息，然后通过训练好的尺度特征神经网络获取相邻帧的尺度特征；将当前帧的尺度特征进行尺度变换，获取当前帧的尺度变换特征，并将获取的当前帧的尺度变换特征与前一帧的尺度特征进行对比变换，得到前景尺度变化特征作为第二尺度特征；

其中所述尺度变化特征根据所述第一尺度特征和所述第二尺度特征进行融合处理所得。

5.根据权利要求4所述的基于车载摄像头的汽车碰撞预测***，其特征在于，LGMD脉冲神经网络模块，根据获取的尺度变化特征，基于训练好的LGMD脉冲神经网络模型获取运动靠近特征，具体包括：

所述训练好的LGMD脉冲神经网络模型包括感知层、激励层、抑制层、汇合层、侧抑制层和LGMD细胞层；其中感知层的输出分别连接激励层的输入、抑制层的输入和侧抑制层的输入；激励层的输出和抑制层的输出分别连接汇合层的输入；汇合层的输出和侧抑制层的输出分别连接LGMD细胞层的输入；

其中感知层对时序上多视频帧对应的尺度变化特征进行融合；激励层对感知的运动特征进行增强；抑制层对感知的运动特征进行相反的抑制；汇合层综合平衡增强和抑制两种神经冲动的作用；侧抑制层对场景运动特征的整体剧烈变动进行抑制；LGMD细胞层根据汇合层和侧抑制层输出的神经冲动，输出视频数据中靠近运动物体所产生的神经冲动作为运动靠近特征。

6.根据权利要求5所述的基于车载摄像头的汽车碰撞预测***，其特征在于，运动方向交叉模块，根据获取的视频帧序列获取自身与前景物体的运动交叉特征，具体包括：

获取由数据获取模块传输的视频帧序列；

通过训练好的三维目标检测神经网络获取视频帧中前景物体的水平旋转方向特征；

通过训练好的自身运动估计神经网络获取视频帧中自身车辆运动的偏转角特征；

根据获取的水平旋转方向特征和偏转角特征进行运动方向交叉判别，计算运动旋转向量的夹角，得到逐像素的运动交叉特征。

7.根据权利要求6所述的基于车载摄像头的汽车碰撞预测***，其特征在于，其中，碰撞预测神经网络模型包括时间注意力网络和空间注意力网络；

碰撞预测模块，根据获取的运动靠近特征和运动交叉特征，基于训练好的碰撞预测神经网络模型进行碰撞预测处理，输出碰撞时间预测结果和碰撞位置预测结果，具体包括：

分别获取由LGMD脉冲神经网络模块传输的运动靠近特征和由运动方向交叉模块传输的运动交叉特征；

时间注意力网络根据运动靠近特征，在时域上进行关键帧的加权，得到时间注意力加权结果；

空间注意力网络根据运动交叉特征，在空间域进行空间异常位置的加权，得到空间注意力加权结果；

碰撞预测神经网络模型基于时间注意力加权结果和空间注意力加权结果，在时空融合层将时空注意力特征进行广播机制融合，输出可能发生碰撞的具体时刻预测和具体空间位置预测。

8.基于车载摄像头的汽车碰撞预测方法，其特征在于，包括：

获取车载摄像头采集的视频数据；

根据获取的视频数据的光流变化和前景尺度变化，获取视频数据的尺度变化特征；

根据获取的尺度变化特征，基于训练好的LGMD脉冲神经网络模型获取运动靠近特征；

根据获取的视频数据获取自身与前景物体的运动交叉特征；

根据获取的运动靠近特征和运动交叉特征，基于训练好的碰撞预测神经网络模型进行碰撞预测处理，输出碰撞时间预测结果和碰撞位置预测结果。

Images