CN117935177B - 基于注意力神经网络的道路车辆危险行为识别方法及*** - Google Patents

Abstract

本发明涉及车辆危险行为识别领域，具体涉及一种基于注意力神经网络的道路车辆危险行为识别方法及***。该方法对道路监控视频每一帧的灰度图像进行均匀分块，分析相邻帧图像的相同位置的子块中像素点灰度值分布的差异，基于获取的灰度变化特征值对子块进行聚类，根据子块所在聚类簇的子块数量和各子块的灰度变化特征值分布，获得子块的局部变化程度，分析连续多帧灰度图像在相同位置的子块之间局部变化程度的差异，基于获取的像素点的点变化显著性对灰度图像进行去噪，将去噪后的图像输入到注意力神经网络中，识别道路车辆危险行为，本发明抑制背景区域纷乱信息的同时增强了图像中具有危险行为特征的细节，提升道路车辆危险行为识别的准确度。

Description

基于注意力神经网络的道路车辆危险行为识别方法及***

技术领域

本发明涉及车辆危险行为识别领域，具体涉及一种基于注意力神经网络的道路车辆危险行为识别方法及***。

背景技术

利用高空摄像头对道路车辆进行危险行为的识别，可以检测识别出车辆驾驶员在驾驶过程中转头或侧身等危险驾驶行为，并结合相应的道路预警装置进行及时危险行为预警，可以改善道路交通秩序，减少交通违法行为，提高交通管理效能，因此道路车辆危险行为的准确识别对道路交通具有重大意义。

相关技术中通常预先对道路监控视频图像进行滤波去噪处理，提高视频图像的质量，并将处理后的视频图像输入神经网络中，从而准确识别出监控视频中存在的车辆危险行为，但由于车辆的移动以及驾驶员的动作变化，会使得监控视频中不同帧图像的背景发生变化，在不考虑背景变化的情况下直接对图像进行去噪增强，会导致图像中具有危险驾驶行为特征细节的丢失，降低对道路车辆危险行为识别的准确性。

发明内容

为了解决在不考虑背景变化的情况下直接对图像进行去噪增强，会导致图像中具有危险驾驶行为特征细节的丢失，降低对道路车辆危险行为识别的准确性的技术问题，本发明的目的在于提供一种基于注意力神经网络的道路车辆危险行为识别方法及***，所采用的技术方案具体如下：

本发明提出了一种基于注意力神经网络的道路车辆危险行为识别方法，所述方法包括：

获取道路监控视频每一帧的灰度图像，将除最后一帧之外的任意一帧灰度图像作为目标图像，将目标图像的下一帧灰度图像作为参考图像；

对每帧灰度图像进行均匀分块，获取每帧灰度图像中的子块，根据目标图像和参考图像的相同位置的子块中像素点灰度值分布的差异，获得目标图像中每个子块的灰度变化特征值；基于所述灰度变化特征值对目标图像中所有子块进行聚类，获得不同的聚类簇，将目标图像中任意一个子块作为目标子块，根据目标子块所在聚类簇的子块数量以及目标子块所在聚类簇中各子块的所述灰度变化特征值的分布，获得目标子块的局部变化程度；

将除目标图像和最后一帧之外的所有其他灰度图像作为目标图像的对比图像，根据目标图像与每个对比图像在相同位置的子块的所述局部变化程度的差异，以及相邻的对比图像在相同位置的子块的所述局部变化程度的差异，获得目标图像中每个子块的局部变化显著性；根据每个子块的所述局部变化显著性获得子块中每个像素点的点变化显著性；基于目标图像中像素点的所述点变化显著性，对目标图像进行滤波去噪，获得增强图像；

将所有的增强图像输入到注意力神经网络中，对道路车辆危险行为进行识别。

进一步地，所述根据目标图像和参考图像的相同位置的子块中像素点灰度值分布的差异，获得目标图像中每个子块的灰度变化特征值包括：

基于二维信息熵公式，根据目标图像和参考图像中每个子块中像素点灰度值，获得目标图像和参考图像中每个子块的二维熵；

将目标图像和参考图像之间相同位置的子块的所述二维熵的差值的绝对值，作为目标图像中每个子块的灰度变化参数；

对所述灰度变化参数进行归一化处理，获得目标图像中每个子块的灰度变化特征值。

进一步地，所述根据目标子块所在聚类簇的子块数量以及目标子块所在聚类簇中各子块的所述灰度变化特征值的分布，获得目标子块的局部变化程度包括：

将目标图像的目标子块所在的聚类簇作为目标子块的目标聚类簇；

将目标聚类簇中的子块数量与目标图像中所有子块的数量的比值进行负相关映射并归一化处理，获得目标聚类簇的子块分布参数；

将目标聚类簇中所有子块的所述灰度变化特征值的平均值，作为目标聚类簇的整体灰度变化值；

将目标子块的所述灰度变化特征值与所述整体灰度变化值的差值的绝对值，作为目标子块的灰度特征偏离值；

对目标子块的所述灰度特征偏离值和目标聚类簇的所述子块分布参数的乘积值进行归一化处理，获得目标子块的局部变化程度。

进一步地，所述获得目标图像中每个子块的局部变化显著性包括：

在每个对比图像中，将与目标子块位置相同的子块作为对比子块；

将目标子块与每个对比图像中的对比子块之间所述局部变化程度的差值的绝对值，作为目标子块与每个对比子块之间的第一局部特征差异；

将目标子块与所有对比子块之间的所述第一局部特征差异的累加值，作为目标子块的局部变化显著值；

将相邻两帧对比图像作为对比图像组，将对比图像组中两个对比图像的对比子块的所述局部变化程度的差值的绝对值，作为对比图像组的第二局部特征差异；

将所有对比图像组的所述第二局部特征差异的累加值，作为整体局部特征差异；

获取目标子块的局部变化显著性，所述局部变化显著性与所述局部变化显著值呈正相关，所述局部变化显著性与所述整体局部特征差异呈负相关。

进一步地，所述根据每个子块的所述局部变化显著性获得子块中每个像素点的点变化显著性包括：

将每个子块的局部变化显著性，作为该子块中每个像素点的点变化显著性。

进一步地，所述基于目标图像中像素点的所述点变化显著性，对目标图像进行滤波去噪，获得增强图像包括：

在目标图像中，将非局部均值滤波算法所使用的以像素点为中心的邻域窗口中所有像素点的所述点变化显著性的平均值进行归一化处理，获得邻域窗口的调整参数；

将任意两个邻域窗口之间像素点灰度值的均方误差，作为任意两个邻域窗口的初始相似度；

根据任意两个邻域窗口的所述调整参数，对所述初始相似度进行调整，获得任意两个邻域窗口的修正相似度；

将所述修正相似度作为非局部均值滤波算法中用于度量邻域窗口之间相似度的参数，并基于非局部均值滤波算法对目标图像进行滤波去噪，获得增强图像。

进一步地，所述根据任意两个邻域窗口的所述调整参数，对所述初始相似度进行调整，获得任意两个邻域窗口的修正相似度包括：

获取调整权重，所述调整权重与任意两个邻域窗口的所述调整参数的平均值呈正相关，所述调整权重与任意两个邻域窗口的所述调整参数的差值的绝对值呈负相关；

将所述调整权重与所述初始相似度的乘积值，作为任意两个邻域窗口的修正相似度。

进一步地，所述将所有的增强图像输入到注意力神经网络中，对道路车辆危险行为进行识别包括：

将所有的增强图像输入到训练完成的注意力神经网络中，提取出每个增强图像中的车辆危险行为目标区域。

进一步地，所述基于所述灰度变化特征值对目标图像中所有子块进行聚类，获得不同的聚类簇包括：

基于k-means聚类算法，根据所述灰度变化特征对目标图像中所有子块进行聚类，获得不同的聚类簇。

本发明还提出了一种基于注意力神经网络的道路车辆危险行为识别***，所述***包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现任意一项一种基于注意力神经网络的道路车辆危险行为识别方法的步骤。

本发明具有如下有益效果：

本发明考虑到车辆的移动以及驾驶员的动作变化，会使得监控视频中不同帧图像的背景发生变化，直接对图像进行去噪增强，会导致图像中具有危险驾驶行为特征细节的丢失，降低对道路车辆危险行为识别的准确性，由于车辆及驾驶员所在区域相对于图像区域较小，且分布在图像中不同位置，因此可对每帧灰度图像进行均匀分块，保证后续能够检测出视频图像中存在的具有危险行为的目标，考虑到车辆的危险行为主要表现为驾驶员在驾驶过程中做出的动作，导致不同帧图像中驾驶员所在区域灰度发生变化，同时由于车辆在行驶过程中处于移动状态，导致图像中的背景区域的灰度也会发生变化，但二者之间灰度变化的程度不同，因此可通过获取的灰度变化特征值反映目标图像中每个子块的发生灰度变化的情况，并对子块进行聚类，通过局部变化程度反映子块的灰度变化由车辆驾驶员的危险动作引起的可能性，考虑到车辆驾驶员做出危险动作的时间很短，存在危险行为的子块相较于其他帧图像相同位置的子块的局部变化程度较大，因此可进一步通过局部变化显著性反映目标图像中每个子块存在危险驾驶特征的可能性，并将基于局部变化程度得到子块内每个像素点的点变化显著性，进而基于像素点的点变化显著性，对滤波去噪进行优化，抑制背景区域纷乱信息的同时增强图像中具有危险驾驶行为特征的细节，提升道路车辆危险行为识别的准确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的一种基于注意力神经网络的道路车辆危险行为识别方法流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于注意力神经网络的道路车辆危险行为识别方法及***，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

基于注意力神经网络的道路车辆危险行为识别方法及***实施例：

下面结合附图具体的说明本发明所提供的一种基于注意力神经网络的道路车辆危险行为识别方法及***的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种基于注意力神经网络的道路车辆危险行为识别方法流程图，该方法包括：

步骤S1：获取道路监控视频每一帧的灰度图像，将除最后一帧之外的任意一帧灰度图像作为目标图像，将目标图像的下一帧灰度图像作为参考图像。

利用高空摄像头可以检测识别出车辆驾驶员在驾驶过程中转头侧身或使用手机等危险驾驶行为，并结合相应的道路预警装置进行及时危险行为预警，可以改善道路交通秩序，减少交通违法行为，提高交通管理效能，相关技术中通常预先对道路监控视频图像进行滤波去噪处理，提高视频图像的质量，并将处理后的视频图像输入神经网络中，从而识别出监控视频中存在的危险驾驶行为目标，但由于车辆的移动以及驾驶员的动作变化，会使得监控视频中不同帧图像的背景发生变化，在不考虑背景变化的情况下直接对图像进行去噪增强，会导致图像中具有危险行为的目标特征细节丢失，降低对道路车辆危险行为识别的准确性，因此本发明实施例提出一种基于注意力神经网络的道路车辆危险行为识别方法，以解决该问题。

本发明实施例首先在道路的重要监测区域设置高空摄像头，并通过高空摄像头对道路车辆驾驶情况进行监控，从而采集到道路的监控视频，并将监控视频导入专业视频软件例如Premiere软件中，利用软件中的单帧图像提取功能对导入的监控视频进行处理，从而提取出整个监控视频连续的每一帧的图像，为了降低后续图像处理的计算量，提高处理速度，在本发明的一个实施例中将每一帧的图像进行灰度化处理，转化为单通道的灰度图像，从而获得监控视频每一帧的灰度图像，同时以每帧灰度图像的左边缘为纵轴，以上边缘为横轴，建立坐标系，此时就能确定灰度图像中每个像素点的位置。需要说明的是，灰度化处理是本领域技术人员熟知的技术手段，在此不再赘述。

由于道路车辆的危险行为主要体现在车辆驾驶员的各种危险行为的动作，而驾驶员的动作变化在监控视频中是一种动态过程，同时车辆在移动过程中，其在监控视频中的位置也处于动态变化中，即驾驶员的危险行为动作以及车辆的位置在不同帧灰度图像的表现不同，因此可将除最后一帧之外的任意一帧灰度图像作为目标图像，将目标图像的下一帧灰度图像作为参考图像，便于后续中对目标图像和参考图像这两个相邻灰度图像的灰度信息的差异进行分析，从而对视频图像中的危险行为特征进行准确分析。

步骤S2：对每帧灰度图像进行均匀分块，获取每帧灰度图像中的子块，根据目标图像和参考图像的相同位置的子块中像素点灰度值分布的差异，获得目标图像中每个子块的灰度变化特征值；基于灰度变化特征值对目标图像中所有子块进行聚类，获得不同的聚类簇，将目标图像中任意一个子块作为目标子块，根据目标子块所在聚类簇的子块数量以及目标子块所在聚类簇中各子块的灰度变化特征值的分布，获得目标子块的局部变化程度。

由于车辆及驾驶员所在的区域相对于整个图像区域较小，且分布在图像中的不同位置，同时图像中存在规范驾驶行为和危险驾驶行为，因此为了保证后续能够检测出视频图像中存在的具有危险驾驶行为的目标，可对每帧灰度图像进行均匀分块，将每帧灰度图像均匀的分为多个子块，在本发明的一个实施例中可将每个子块的尺寸设置为，子块的尺寸也可根据具体实施场景由实施者自行设置，在此不作限定，需要说明的是，在对灰度图像进行分块的过程中，由于边界的像素点的数量不足，导致边界处无法得到完整的子块，此时可对灰度图像边界的像素点进行填充，以保证所有的子块的尺寸相同，并且后续步骤中的边界问题均可通过边界填充进行解决，图像的边界填充是本领域技术人员熟知的技术手段，在此不做赘述。

考虑到车辆的危险行为主要表现为驾驶员在驾驶过程中做出的危险动作，导致不同帧的灰度图像中驾驶员所在区域灰度发生变化，因此可首先分析相邻的目标图像和其参考图像之间在相同位置的子块中像素点灰度值分布的差异，通过获取的灰度变化特征值反映目标图像中出现灰度分布变化的子块，从而可初步得到图像可能存在危险驾驶行为特征的子块。

优选地，在本发明的一个实施例中目标图像中每个子块的灰度变化特征值的获取方法具体包括：

基于二维信息熵公式，根据目标图像和参考图像中每个子块中像素点灰度值，获得目标图像和参考图像中每个子块的二维熵；将目标图像和参考图像之间相同位置的子块的二维熵的差值的绝对值，作为目标图像中每个子块的灰度变化参数；对灰度变化参数进行归一化处理，获得目标图像中每个子块的灰度变化特征值，其中二维信息熵是一种衡量图像中灰度分布及其空间特征所包含的信息量的指标，能够捕捉到图像中的空间信息，比如纹理特征、边缘信息等，二维信息熵公式是本领域技术人员熟知的技术手段，在此不做赘述。灰度变化特征值的表达式可以具体例如为：

其中，表示目标图像中第/>个子块的灰度变化特征值；/>表示目标图像中第/>个子块的二维熵；/>表示参考图像中第/>个子块的二维熵；/>表示取最大值函数。

在目标图像中每个子块的灰度变化特征值的获取过程中，灰度变化特征值越大，说明目标图像相对于参考图像的该子块的灰度分布的差异越大，进而说明目标图像的该子块越可能存在危险驾驶行为特征，其中目标图像中每个子块的灰度变化参数越大，说明目标图像相对于参考图像的该子块的灰度分布的差异越大，表示目标图像中所有子块的灰度变化参数的最大值，用于对每个子块的灰度变化参数/>进行归一化处理，便于后续的分析。

由于监控视频中的车辆处于移动状态，导致不同帧的灰度图像中的部分背景区域的灰度也会发生变化，只利用上述获取的灰度变化特征值无法区分子块的灰度分布变化是由于驾驶员的危险驾驶行为导致的，还是由于车辆移动导致的，因此需要进一步进行区分，由于目标图像中的灰度分布主要发生在有危险动作的驾驶员所在区域和移动的车辆所在的背景区域，同时目标图像中该存在大部分灰度分布不变的背景区域，并且这三种区域中子块的灰度变化特征值存在一定的差异，因此可首先基于灰度变化特征值对目标图像中所有子块进行聚类，获得不同的聚类簇，便于后续对不同聚类簇中的子块进行分析，从而进一步确认目标图像存在的具有危险驾驶行为特征的子块。

优选地，在本发明的一个实施例中使用参数k=3的k-means聚类算法对目标图像中的子块进行聚类，子块之间的距离利用子块对应的灰度变化特征值之间的欧氏距离进行度量，从而得到3个不同的聚类簇，这三个聚类簇中的子块所组成的区域分别表示有危险动作的驾驶员所在区域、移动的车辆所在的背景区域和灰度分布不变的背景区域，后续中便可对不同聚类簇中的子块进行分析，从而对子块中存在的驾驶员危险行为的特征进行评估。

获得三个聚类簇后，由于驾驶员所在区域相对于整个目标图像较小，有危险动作的驾驶员所在区域中的子块的数量较少，并且不同驾驶员做出的危险行为动作的随机性较大，导致有危险动作的驾驶员所在区域的子块的灰度变化特征值的差异较大，为了便于分析，将目标图像中任意一个子块作为目标子块，并对目标子块所在聚类簇的子块数量以及目标子块所在聚类簇中各子块的灰度变化特征值的分布进行分析，通过获取的局部变化程度反映子块中存在驾驶员危险行为特征的可能性，便于后续基于连续多帧的灰度图像的相同位置的子块之间局部变化程度的差异，对滤波去噪过程进行优化，从而提高对道路车辆危险行为识别的准确性。

优选地，在本发明的一个实施例中目标图像中目标子块的局部变化程度的获取方法具体包括：

将目标图像的目标子块所在的聚类簇作为目标子块的目标聚类簇；将目标聚类簇中的子块数量与目标图像中所有子块的数量的比值进行负相关映射并归一化处理，获得目标聚类簇的子块分布参数；将目标聚类簇中所有子块的灰度变化特征值的平均值，作为目标聚类簇的整体灰度变化值；将目标子块的灰度变化特征值与整体灰度变化值的差值的绝对值，作为目标子块的灰度特征偏离值；对目标子块的灰度特征偏离值和目标聚类簇的子块分布参数的乘积值进行归一化处理，获得目标子块的局部变化程度。局部变化程度的表达式可以具体例如为：

其中，表示目标图像中目标子块的局部变化程度；/>表示目标聚类簇包含的子块的数量；/>表示目标图像中所有子块的数量；/>表示目标图像中目标子块的灰度变化特征值；/>表示目标聚类簇中所有子块的灰度变化特征值的平均值，即目标聚类簇的整体灰度变化值；/>表示以自然常数/>为底的指数函数；/>表示归一化函数。

在目标子块的局部变化程度的获取过程中，局部变化程度越大，说明目标子块存在驾驶员危险行为特征的可能性越大，其中/>表示目标子块所在聚类簇中的子块数量占目标图像中子块数量的比例，由于具有危险行为的驾驶员所在区域相对于整个目标图像较小，因此/>越小，说明目标子块所在聚类簇中子块的数量相对于目标图像中的子块越少，进而说明目标子块越可能存在驾驶员危险行为特征，则局部变化程度/>就越大，因此利用以自然常数/>为底的指数函数对/>进行负相关映射并归一化处理，得到子块分布参数，同时由于不同驾驶员做出的危险行为动作的随机性较大，因此灰度特征偏离值/>越大，说明目标子块与其所在聚类簇中其他子块的之间灰度变化特征值的差异越大，进而说明目标子块越可能存在驾驶员危险行为特征，则局部变化程度/>就越大，因此利用归一化函数对子块分布参数和灰度特征偏离值的乘积值进行归一化，将局部变化程度限定在/>范围内，便于后续的计算分析。

在本发明的一个实施例中，归一化处理可以具体例如为最大最小值归一化处理，并且，后续步骤中的归一化均可以采用最大最小值归一化处理，在本发明的其他实施例中可以根据数值具体范围选择其他归一化方法，对此不再赘述。

获取到目标图像中目标子块的局部变化程度后，便可基于相同的方法得到目标图像中其他子块的局部变化程度，以及出最后一帧灰度图像之外的其他灰度图像中各子块的局部变化程度，后续可对连续多帧灰度图像在相同位置的子块之间局部变化程度的差异进行分析，并通过获取的变化置信度对滤波去噪进行优化处理，提高滤波后图像的质量和对道路车辆危险行为识别的准确性。

步骤S3：将除目标图像和最后一帧之外的所有其他灰度图像作为目标图像的对比图像，根据目标图像与每个对比图像在相同位置的子块的局部变化程度的差异，以及相邻的对比图像在相同位置的子块的局部变化程度的差异，获得目标图像中每个子块的局部变化显著性；根据每个子块的局部变化显著性获得子块中每个像素点的点变化显著性；基于目标图像中像素点的点变化显著性，对目标图像进行滤波去噪，获得增强图像。

上述过程仅是基于目标图像与参考图像这两帧相邻灰度图像之间像素点灰度值的差异，并通过获取的局部变化程度反映了目标图像中每个子块中存在危险驾驶行为特征的可能性，考虑到车辆驾驶员做出危险动作的时间很短，同时不同危险驾驶行为所表现出的显著性存在差异，越明显的危险驾驶行为的子块相较于其他帧灰度图像相同位置的子块的局部变化程度较大，因此可首先除目标图像和最后一帧之外的所有其他灰度图像作为目标图像的对比图像，并进一步对目标图像与每个对比图像在相同位置的子块的局部变化程度的差异，以及相邻的对比图像在相同位置的子块的局部变化程度的差异进行分析，通过获取的局部变化显著性反映目标图像中各子块中存在危险驾驶行为的置信程度，后续中可利用局部变化显著性对滤波过程进行优化，实现抑制背景区域纷乱信息的同时增强具有危险行为子块的特征细节，提升道路车辆危险行为识别的准确度。

优选地，在本发明的一个实施例中目标图像中每个子块的局部变化显著性的获取方法具体包括：

在每个对比图像中，将与目标子块位置相同的子块作为对比子块；将目标子块与每个对比图像中的对比子块之间局部变化程度的差值的绝对值，作为目标子块与每个对比子块之间的第一局部特征差异；将目标子块与所有对比子块之间的第一局部特征差异的累加值，作为目标子块的局部变化显著值；将相邻两帧对比图像作为对比图像组，需要说明的是，这里所提到的相邻两帧对比图像是指在这两帧相邻对比图像之间不存在其他的对比图像，例如当第二帧灰度图像为目标图像时，则第一帧灰度图像和第三帧灰度图像同样是相邻的对比图像，将对比图像组中两个对比图像的对比子块的局部变化程度的差值的绝对值，作为对比图像组的第二局部特征差异；将所有对比图像组的第二局部特征差异的累加值，作为整体局部特征差异；获取目标子块的局部变化显著性，局部变化显著性与局部变化显著值呈正相关，局部变化显著性与整体局部特征差异呈负相关。局部变化显著性的表达式可以具体例如为：

其中，表示目标图像中目标子块的局部变化显著性；/>表示目标图像中目标子块的局部变化程度；/>表示第/>个对比图像中对比子块的局部变化程度；/>和/>表示第/>个对比图像组中的两个对比图像的对比子块的局部变化程度；/>表示对比图像的数量，则表示对比图像组的数量；/>表示第一调节参数，防止分母为0，/>设置为0.01，/>的具体数值也可根据具体实施场景由实施者自行设置，在此不作限定。

在目标图像中目标子块的局部变化显著性的获取过程中，局部变化显著性越大，说明目标图像中的目标子块的局部变化程度，相对于监控视频其他帧的灰度图像中相同位置的子块的局部变化程度越显著，进而说明目标图像的目标子块中存在的危险驾驶行为特征越明显，其中第一局部特征差异/>越大，说明目标子块与对比子块之间的局部变化程度的差异越大，因此局部变化显著值/>越大，说明目标子块的局部变化程度相对于其他帧的灰度图像中相同位置的子块的局部变化程度越显著，进而说明目标子块中的危险驾驶行为特征越明显，则局部变化显著性/>就越大，第二局部特征差异越小，说明除相邻对比图像的对比子块之间局部变化程度的差异越小，因此整体局部特征差异/>越小，说明除目标图像之外的其他相邻的对比图像的对比子块的局部变化程度越小，进而说明目标子块中的危险驾驶行为特征越明显，则局部变化显著性/>就越大。

获取到目标子块的局部变化显著性后，可通过相同的方法获取目标图像中其他子块的局部变化显著性，在后续过程中本发明实施例需要利用非局部均值滤波算法对每帧灰度图像进行滤波去噪，非局部均值滤波算法利用整个图像的信息来去除噪声并保持图像细节，通常是利用像素点所在邻域窗口之间的相似度对搜索窗口中像素点灰度值进行加权平均，从而实现对待滤波像素点的处理，但由于本发明实施例需要对不同帧的灰度图像进行滤波去噪，因此在计算邻域窗口之间的相似度时，还需要对不同帧的灰度图像给予一定的联系性，以提高最终的滤波效果，由于子块中的像素点与该子块是相关联的，因此在本发明的一个实施例中将目标图像中每个子块的局部变化显著性，作为该子块中每个像素点的点变化显著性，即将子块的局部变化显著性赋予该子块中的每个像素点，利用点变化显著性反映像素点具有危险驾驶行为特征的可能性，在后续中可基于目标图像中像素点的点变化显著性，对滤波过程进行优化，从而获得增强图像，提高后续对道路车辆危险行为识别的准确性，为了便于分析，使用。表示像素点的点变化显著性。

优选地，在本发明的一个实施例中增强图像的获取方法具体包括：

在目标图像中，将非局部均值滤波算法所使用的以像素点为中心的邻域窗口中所有像素点的点变化显著性的平均值进行归一化处理，获得邻域窗口的调整参数，邻域窗口是非局部均值滤波算法中现有的概念，在此不做赘述；将任意两个邻域窗口之间像素点灰度值的均方误差，作为任意两个邻域窗口的初始相似度，均方误差的计算方法是本领域技术人员熟知的技术手段在，在此不做赘述；获取调整权重，调整权重与任意两个邻域窗口的调整参数的平均值呈正相关，调整权重与任意两个邻域窗口的调整参数的差值的绝对值呈负相关；将调整权重与初始相似度的乘积值，作为任意两个邻域窗口的修正相似度；将修正相似度作为非局部均值滤波算法中用于度量邻域窗口之间相似度的参数，并基于非局部均值滤波算法对目标图像进行滤波去噪，获得增强图像，非局部均值滤波算法是本领域技术人员熟知的技术手段，在此不做赘述。其中修正相似度的表达式可以具体例如为：

其中，表示任意两个邻域窗口之间的修正相似度；/>表示任意两个邻域窗口的调整参数的平均值；/>和/>分别表示任意两个邻域窗口的调整参数；/>表示任意两个邻域窗口之间的均方误差，即任意两个邻域窗口的初始相似度；/>表示邻域窗口中第/>个像素点的点变化显著性；/>表示邻域窗口中像素点的数量，在本发明的一个实施例中非局部均值滤波算法所使用的邻域窗口的尺寸可以设置为/>，此时/>，邻域窗口的尺寸也可根据具体实施场景由实施者自行设置，在此不作限定；/>表示归一化函数；/>表示第二调节参数，防止分母为0，/>设置为0.01，/>的具体数值也可根据具体实施场景由实施者自行设置，在此不作限定。

在任意两个邻域窗口之间的修正相似度的获取过程中，修正相似度用于非局部均值滤波算法中度量邻域窗口之间相似度的参数，由于邻域窗口中会包含不同点变化显著性的像素点，因此可利用邻域窗口中所有像素点的点变化显著性的平均值/>表征该邻域窗口中点变化显著性的总体水平，同时对/>进行归一化处理，获得邻域窗口的调整参数/>，便于后续的计算分析，并且任意两个邻域窗口的调整参数的平均值/>越大，说明这两个邻域窗口中存在的危险驾驶行为特征越明显，则这两个邻域窗口之间的相似度就需要越大，则修正相似度/>就越大，并且/>越小，说明这两个邻域窗口的具有的危险驾驶行为特征越相似，则这两个邻域窗口之间的相似度就需要越大，则修正相似度/>就越大，因此将调整权重/>作为初始相似度/>的权值，并对初始相似度/>加权，从而得到任意两个邻域窗口之间的修正相似度/>。

获取到目标图像的增强图像后，便可根据上述相同的方法得到除最后一帧之外的所有灰度图像对应的增强图像，后续中便可利用利用神经网络技术从所有增强图像中提取出存在危险驾驶行为的区域，从而实现对道路车辆危险行为的准确识别。

步骤S4：将所有的增强图像输入到注意力神经网络中，对道路车辆危险行为进行识别。

上述过程中考虑到了监控视频中驾驶员的动作变化以及车辆移动，导致不同帧的灰度图像的背景发生变化的因素，并利用该特征对滤波去噪过程进行优化，从而得到质量更好的增强图像，获取的增强图像不仅抑制背景区域纷乱信息，还增强具有危险行为目标区域的细节信息，因此可将所有的增强图像输入到注意力神经网络中，利用注意力神经网络对道路车辆危险行为进行识别。

优选地，在本发明的一个实施例中对道路车辆危险行为进行识别的方法具体包括：

将所有的增强图像输入到训练完成的注意力神经网络中，提取出每个增强图像中的车辆危险行为目标区域；后续还可将车辆危险行为目标区域可视化显示到相应的显示器上，供工作人员根据存在的危险驾驶行为及时做出相应的预警操作处理，其中注意力神经网络是本领域技术人员熟知的技术手段，在此不做赘述。

本发明一个实施例提供了一种基于注意力神经网络的道路车辆危险行为识别***，该***包括存储器、处理器和计算机程序，其中存储器用于存储相应的计算机程序，处理器用于运行相应的计算机程序，计算机程序在处理器中运行时能够实现步骤S1~S4所描述的方法。

综上所述，本发明实施例首先获取道路监控视频每一帧的灰度图像，将除最后一帧之外的任意一帧灰度图像作为目标图像，将目标图像的下一帧灰度图像作为参考图像；对每帧灰度图像进行均匀分块，获取每帧灰度图像中的子块，根据目标图像和参考图像的相同位置的子块中像素点灰度值分布的差异，获得目标图像中每个子块的灰度变化特征值；基于灰度变化特征值对目标图像中所有子块进行聚类，获得不同的聚类簇，将目标图像中任意一个子块作为目标子块，根据目标子块所在聚类簇的子块数量以及目标子块所在聚类簇中各子块的灰度变化特征值的分布，获得目标子块的局部变化程度；将除目标图像和最后一帧之外的所有其他灰度图像作为目标图像的对比图像，根据目标图像与每个对比图像在相同位置的子块的局部变化程度的差异，以及相邻的对比图像在相同位置的子块的局部变化程度的差异，获得目标图像中每个子块的局部变化显著性；根据每个子块的局部变化显著性获得子块中每个像素点的点变化显著性；基于目标图像中像素点的点变化显著性，对目标图像进行滤波去噪，获得增强图像；将所有的增强图像输入到注意力神经网络中，对道路车辆危险行为进行识别。

一种用于识别道路车辆危险行为的视频图像增强方法实施例：

相关技术中通常预先对道路监控视频图像进行滤波去噪处理，提高视频图像的质量，便于准确识别出监控视频中存在的车辆危险驾驶行为，但由于车辆的移动以及驾驶员的动作变化，会使得监控视频中不同帧图像的背景发生变化，在不考虑背景变化的情况下直接对图像进行去噪增强，会导致图像中具有危险驾驶行为特征细节的丢失，降低对道路监控视频图像的增强效果。

为了解决该问题，本实施例提供了一种用于识别道路车辆危险行为的视频图像增强方法，包括：

步骤S1：获取道路监控视频每一帧的灰度图像，将除最后一帧之外的任意一帧灰度图像作为目标图像，将目标图像的下一帧灰度图像作为参考图像。

步骤S2：对每帧灰度图像进行均匀分块，获取每帧灰度图像中的子块，根据目标图像和参考图像的相同位置的子块中像素点灰度值分布的差异，获得目标图像中每个子块的灰度变化特征值；基于灰度变化特征值对目标图像中所有子块进行聚类，获得不同的聚类簇，将目标图像中任意一个子块作为目标子块，根据目标子块所在聚类簇的子块数量以及目标子块所在聚类簇中各子块的灰度变化特征值的分布，获得目标子块的局部变化程度。

步骤S3：将除目标图像和最后一帧之外的所有其他灰度图像作为目标图像的对比图像，根据目标图像与每个对比图像在相同位置的子块的局部变化程度的差异，以及相邻的对比图像在相同位置的子块的局部变化程度的差异，获得目标图像中每个子块的局部变化显著性；根据每个子块的局部变化显著性获得子块中每个像素点的点变化显著性；基于目标图像中像素点的点变化显著性，对目标图像进行滤波去噪，获得增强图像。

其中，步骤S1~步骤S3在上述一种基于注意力神经网络的道路车辆危险行为识别方法及***实施例中已给出了详细说明，在此不再赘述。

本实施例带来的有益效果为：本发明考虑到车辆的移动以及驾驶员的动作变化，会使得监控视频中不同帧图像的背景发生变化，直接对图像进行去噪增强，会导致图像中具有危险行为的目标特征细节丢失，由于车辆及驾驶员所在区域相对于图像区域较小，且分布在图像中不同位置，因此可对每帧灰度图像进行均匀分块，保证后续能够检测出视频图像中存在的具有危险行为的目标，考虑到车辆的危险行为主要表现为驾驶员在驾驶过程中做出的动作，导致不同帧图像中驾驶员所在区域灰度发生变化，同时由于车辆在行驶过程中处于移动状态，导致图像中的背景区域的灰度也会发生变化，但二者之间灰度变化的程度不同，因此可通过获取的灰度变化特征值反映目标图像中每个子块的发生灰度变化的情况，并对子块进行聚类，通过局部变化程度反映子块的灰度变化由车辆驾驶员的危险动作引起的可能性，考虑到车辆驾驶员做出危险动作的时间很短，存在危险行为的子块相较于其他帧图像相同位置的子块的局部变化程度较大，因此可进一步通过局部变化显著性反映目标图像中每个子块存在危险驾驶特征的可能性，并将基于局部变化程度得到子块内每个像素点的点变化显著性，进而基于像素点的点变化显著性，对滤波去噪进行优化，抑制背景区域纷乱信息的同时增强了具有危险驾驶行为细节的特征，提高对道路监控视频图像的增强效果。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

Claims (8)

1.一种基于注意力神经网络的道路车辆危险行为识别方法，其特征在于，所述方法包括：

获取道路监控视频每一帧的灰度图像，将除最后一帧之外的任意一帧灰度图像作为目标图像，将目标图像的下一帧灰度图像作为参考图像；

对每帧灰度图像进行均匀分块，获取每帧灰度图像中的子块，根据目标图像和参考图像的相同位置的子块中像素点灰度值分布的差异，获得目标图像中每个子块的灰度变化特征值；基于所述灰度变化特征值对目标图像中所有子块进行聚类，获得不同的聚类簇，将目标图像中任意一个子块作为目标子块，根据目标子块所在聚类簇的子块数量以及目标子块所在聚类簇中各子块的所述灰度变化特征值的分布，获得目标子块的局部变化程度；

将除目标图像和最后一帧之外的所有其他灰度图像作为目标图像的对比图像，根据目标图像与每个对比图像在相同位置的子块的所述局部变化程度的差异，以及相邻的对比图像在相同位置的子块的所述局部变化程度的差异，获得目标图像中每个子块的局部变化显著性；根据每个子块的所述局部变化显著性获得子块中每个像素点的点变化显著性；基于目标图像中像素点的所述点变化显著性，对目标图像进行滤波去噪，获得增强图像；

将所有的增强图像输入到注意力神经网络中，对道路车辆危险行为进行识别；

所述根据目标子块所在聚类簇的子块数量以及目标子块所在聚类簇中各子块的所述灰度变化特征值的分布，获得目标子块的局部变化程度包括：

将目标图像的目标子块所在的聚类簇作为目标子块的目标聚类簇；

将目标聚类簇中的子块数量与目标图像中所有子块的数量的比值进行负相关映射并归一化处理，获得目标聚类簇的子块分布参数；

将目标聚类簇中所有子块的所述灰度变化特征值的平均值，作为目标聚类簇的整体灰度变化值；

将目标子块的所述灰度变化特征值与所述整体灰度变化值的差值的绝对值，作为目标子块的灰度特征偏离值；

对目标子块的所述灰度特征偏离值和目标聚类簇的所述子块分布参数的乘积值进行归一化处理，获得目标子块的局部变化程度；

所述获得目标图像中每个子块的局部变化显著性包括：

在每个对比图像中，将与目标子块位置相同的子块作为对比子块；

将目标子块与每个对比图像中的对比子块之间所述局部变化程度的差值的绝对值，作为目标子块与每个对比子块之间的第一局部特征差异；

将目标子块与所有对比子块之间的所述第一局部特征差异的累加值，作为目标子块的局部变化显著值；

将相邻两帧对比图像作为对比图像组，将对比图像组中两个对比图像的对比子块的所述局部变化程度的差值的绝对值，作为对比图像组的第二局部特征差异；

将所有对比图像组的所述第二局部特征差异的累加值，作为整体局部特征差异；

获取目标子块的局部变化显著性，所述局部变化显著性与所述局部变化显著值呈正相关，所述局部变化显著性与所述整体局部特征差异呈负相关。

2.根据权利要求1所述的一种基于注意力神经网络的道路车辆危险行为识别方法，其特征在于，所述根据目标图像和参考图像的相同位置的子块中像素点灰度值分布的差异，获得目标图像中每个子块的灰度变化特征值包括：

基于二维信息熵公式，根据目标图像和参考图像中每个子块中像素点灰度值，获得目标图像和参考图像中每个子块的二维熵；

将目标图像和参考图像之间相同位置的子块的所述二维熵的差值的绝对值，作为目标图像中每个子块的灰度变化参数；

对所述灰度变化参数进行归一化处理，获得目标图像中每个子块的灰度变化特征值。

3.根据权利要求1所述的一种基于注意力神经网络的道路车辆危险行为识别方法，其特征在于，所述根据每个子块的所述局部变化显著性获得子块中每个像素点的点变化显著性包括：

将每个子块的局部变化显著性，作为该子块中每个像素点的点变化显著性。

4.根据权利要求1所述的一种基于注意力神经网络的道路车辆危险行为识别方法，其特征在于，所述基于目标图像中像素点的所述点变化显著性，对目标图像进行滤波去噪，获得增强图像包括：

在目标图像中，将非局部均值滤波算法所使用的以像素点为中心的邻域窗口中所有像素点的所述点变化显著性的平均值进行归一化处理，获得邻域窗口的调整参数；

将任意两个邻域窗口之间像素点灰度值的均方误差，作为任意两个邻域窗口的初始相似度；

根据任意两个邻域窗口的所述调整参数，对所述初始相似度进行调整，获得任意两个邻域窗口的修正相似度；

将所述修正相似度作为非局部均值滤波算法中用于度量邻域窗口之间相似度的参数，并基于非局部均值滤波算法对目标图像进行滤波去噪，获得增强图像。

5.根据权利要求4所述的一种基于注意力神经网络的道路车辆危险行为识别方法，其特征在于，所述根据任意两个邻域窗口的所述调整参数，对所述初始相似度进行调整，获得任意两个邻域窗口的修正相似度包括：

获取调整权重，所述调整权重与任意两个邻域窗口的所述调整参数的平均值呈正相关，所述调整权重与任意两个邻域窗口的所述调整参数的差值的绝对值呈负相关；

将所述调整权重与所述初始相似度的乘积值，作为任意两个邻域窗口的修正相似度。

6.根据权利要求1所述的一种基于注意力神经网络的道路车辆危险行为识别方法，其特征在于，所述将所有的增强图像输入到注意力神经网络中，对道路车辆危险行为进行识别包括：

将所有的增强图像输入到训练完成的注意力神经网络中，提取出每个增强图像中的车辆危险行为目标区域。

7.根据权利要求1所述的一种基于注意力神经网络的道路车辆危险行为识别方法，其特征在于，所述基于所述灰度变化特征值对目标图像中所有子块进行聚类，获得不同的聚类簇包括：

基于k-means聚类算法，根据所述灰度变化特征值对目标图像中所有子块进行聚类，获得不同的聚类簇。

8.一种基于注意力神经网络的道路车辆危险行为识别***，所述***包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1~7任意一项所述方法的步骤。