CN113792793B - 一种不良气象环境下道路视频监测提升方法 - Google Patents

Abstract

本发明为一种不良气象环境下道路监测提升方法，属于道路视频监控领域，包括获取现有不良气象环境下道路的原始图像数据，输入到多模型图像增强单元，得到增强图像数据；引入多感知策略，将测量数据集N和实际数据集P进行融合判定，输出最终集A。本发明基于多模型图像增强，实现了在不同不良气象环境场景下的视频监测，通过引入多感知策略，提高了***的鲁棒性，提升道路监控在雨天，雪天及雾天等不良气象下的视频质量，降低图像识别技术受到这些不良环境因素的影响。

Description

一种不良气象环境下道路视频监测提升方法

技术领域

本发明属于道路视频监控领域，涉及到一种道路监测提升方法，特别是一种在不良气象环境下道路视频监测提升方法。

背景技术

基于视频检测技术的监测***是一种利用图像处理和模式识别方法实现对交通目标检测和识别的计算机处理***。随着视频监测***的成熟，其应用的场景越来越多，将视频监测***应用到交通中，可以通过分析摄像机捕获的交通图像来对车辆、行人等交通目标进行检测、定位、识别和跟踪，并对检测、跟踪和识别的目标进行交通行为的分析和判别，从而完成各种交通流数据的计算与采集，同时进行与交通管理有关的各种调整和管控，实现智能化的交通管理。

然而，在雨天，雪天，雾天交通事故发生的概率要比正常天气下高很多，但是在这种环境下，视频监测***很难达到实际的应用要求，视频监测***的识别性能仍需要继续提高。目前，针对雨天、雪天、雾天情况下的视频监测***，通常是利用常规单一模型的方法，即通过神经网络训练一个可在雨天、雪天、雾天这些不良环境下进行车辆识别的视频监测***。但是在现有技术中仍然存在以下缺点：

1.同一视角下的图像在不同的气象环境下表现不同，进而使得单纯使用单一模型的监测***达不到理想的监测效果；

2.无法引入外界信息进行辅助判断、鲁棒性差。

发明内容

为解决上述问题，本发明设计了一种不良气象环境下道路视频监测提升方法，通过引入多感知策略和多模型图像增强，提高了不良气象环境下的监测效果。

本发明采用的技术方案是，

一种不良气象环境下道路视频监测提升方法，包括以下步骤，

步骤1：构建雨天图像增强模型、雾天图像增强模型、雪天图像增强模型，且将三种模型组合作为图像数据的多模型图像增强单元；

步骤2：获取现有不良气象环境下道路的原始图像数据，输入到多模型图像增强单元，得到增强图像数据；

步骤3：将原始图像数据和增强图像数据作为训练数据，训练气象识别模型；

步骤4：获取当前气象环境下道路的实时图像数据，输入到气象识别模型，得到测量集N=[n1，n2，n3，n4]，其中n1、n2、n3、n4分别表示雨天概率、雪天概率、雾天概率、其他天气概率，所述n1、n2、n3、n4之和为1；

步骤5：获取当前气象数据，得到实际集P=[p1，p2，p3，p4]，其中，p1、p2、p3、p4分别表示雨天、雪天、雾天、其他天气，所述p1、p2、p3、p4均用0或1表示；

步骤6：引入多感知策略，将测量数据集N和实际数据集P进行融合判定，输出最终集A=[a1，a2，a3，a4]，其中，a1=n1*p1，a2=n2*p2，a3=n3*p3，a4=n4*p4，得到拍摄路况的实际气象类型；

步骤7：根据实际气象类型，将当前气象环境下道路的实时图像数据输入到对应的图像增强模型，输出增强后的实时图像数据。

本发明的工作原理和有益效果是：

本发明基于多模型图像增强，实现了在不同不良气象环境场景下的视频监测。本发明中通过引入多感知策略，提高了***的鲁棒性。本发明提升道路监控在雨天，雪天及雾天等不良气象下的视频质量，降低图像识别技术受到这些不良环境因素的影响。下面结合附图对本发明进行详细说明。

附图说明

图1是本发明的流程图；

图2是本发明的CNN网络结构图；

图3是本发明的气象识别模型的网络框架图；

图4是本发明的雨天图像增强模型的流程题；

图5是本发明的雪天图像增强模型的流程图。

具体实施方式

以下结合具体实施例及附图对本发明的技术方案作进一步详细的描述，但本发明的保护范围及实施方式不限于此。

具体实施例1，如图1所示，

本发明为一种不良气象环境下道路视频监测提升方法，能够保证在雨、雪、雾的气象环境下进行有效监测，具体步骤为，

步骤1：构建雨天图像增强模型、雾天图像增强模型、雪天图像增强模型，且将三种模型组合作为图像数据的多模型图像增强单元；

步骤2：获取现有不良气象环境下道路的原始图像数据，输入到多模型图像增强单元，得到增强图像数据；

步骤3：将原始图像数据和增强图像数据作为训练数据，训练气象识别模型；

步骤4：获取当前气象环境下道路的实时图像数据，输入到气象识别模型，得到测量集N=[n1，n2，n3，n4]，其中n1、n2、n3、n4分别表示雨天概率、雪天概率、雾天概率、其他天气概率，所述n1、n2、n3、n4之和为1；

步骤5：获取当前气象数据，得到实际集P=[p1，p2，p3，p4]，其中，p1、p2、p3、p4分别表示雨天、雪天、雾天、其他天气，所述p1、p2、p3、p4均用0或1表示；

步骤6：引入多感知策略，将测量数据集N和实际数据集P进行融合判定，输出最终集A=[a1，a2，a3，a4]，其中，a1=n1*p1，a2=n2*p2，a3=n3*p3，a4=n4*p4，得到拍摄路况的实际气象类型；

步骤7：根据实际气象类型，将当前气象环境下道路的视频流输入到对应的图像增强模型，输出增强后的视频流。

本发明首先针对的是气象状况的判断，气象状况一般地可以通过两种方式进行判断：（1）通过气象网站获取当前气象数据。（2）通过气象识别模型判断。本发明采取结合这两种方式，首先从网上的开源数据以及现实道路场景中获取了大量的下雨、下雪、起雾的道路气象数据，利用卷积神经网络训练一个可判断这三种不良气象天气的气象识别模型，并通过气象网站获取当前气象数据，对视频流进行多感知策略的融合判定，可准确地输出视频所拍摄路况的实际气象类型。当判断为雨，雪，雾当中某种不良气候环境时，就将该视频流送入对应的图像增强模型，得到增强后的视频流。

具体实施例2，

本发明还包括，将经过增强处理的视频流输入道路检测模块。

其中，道路检测模块即为视频检测***需完成的功能，主要是分析摄像机捕获的交通图像来对车辆、行人等交通目标进行检测、定位、识别和跟踪，并对检测、跟踪和识别的目标进行交通行为的分析和判别，从而完成各种交通流数据的计算与采集，与此同时进行与交通管理有关的各种调整和管控，实现智能化的交通管理。

为了能够实现在不良气象环境下道路监测性能中显示出提升效果，本发明采用车辆识别算法，算法流程依据常见faster-rcnn网络的图像识别算法。训练数据为经过对应图像增强模型(通过人工分类,送进对应网络,进行增强)的三类天气道路图片(雨天，雪天，雾天)和未经过对应图像增强模型的三类天气道路图片(雨天，雪天，雾天),并且对这些图片做好车辆的打签,以3：1的比例进行faster-rcnn模型训练，其中增强后的数据为3，原始图像数据为1(随机抽取)。当训练完成后,根据图1的框架,即可提升对雨天，雪天，雾天这三种不良天气的道路车辆识别效果.

该模块可以根据实际监测所需功能,比如车辆、行人等交通目标进行灵活配置,方案不唯一。

具体实施例3，

本发明中气象识别模型的构建基于卷积神经网络，卷积神经网络是一种带有卷积结构的深度神经网络，卷积结构可以减少深层网络占用的内存量，其三个关键的操作，其一是局部感受野，其二是权值共享，其三是pooling层，有效的减少了网络的参数个数，缓解了模型的过拟合问题。其常见的网络结构形式如图2所示，

其中主要包含了卷积神经网络的五个基本的构成单元：输入层，卷积层，池化层，全连接层以及输出层。

输入公式：

输出公式：

上述的输入输出公式是对每一个卷积层而言的，每一个卷积层都有一个不同的权重矩阵W，并且W，X，Y是矩阵形式，对于最后一层全连接层, 设为第 L层, 输出是向量形式的yL，期望输出是d，则总误差公式为：

其中，是卷积运算的函数，第三个参数valid指明卷积运算的类型，前面的卷积方式就是valid型。W是卷积核矩阵，X是输入矩阵，b是偏置，/>是激活函数。总误差中的d，y分别是期望输出和网络输出的向量。

CNN是通过梯度下降和反向传播算法进行训练的，则全连接层的梯度公式与BP网络完全一样。下面是卷积层和池化层的卷积公式：

CNN是一种前馈型神经网络, 每一个神经元只与前一层神经元相连, 接受前一层的输出, 经过运算后输出给下一层, 各层之间没有反馈. 因此对于计算局部梯度, 可以根据后一层神经元的梯度, 递归地向前传递。

由此可知，将已经做好标签的各类道路气象图片数据利用卷积神经网络，便可训练出一个可以用于识别各类气象的模型。我们这里收集四类天气图片(正样本(雨天，雪天，雾天)和负样本(除上述三类天气的图片))，正负样本比为1:3，图片大小统一为224x224，进行气象识别模型的训练。

具体实施例4，

本发明中的多感知策略融合判定的具体操作为，

基于vgg16网络搭建的气象类别识别模型，如图3所示，网络最终经过softmax预测的结果分类为4个概率，即输出测量集N=[n1，n2，n3，n4]，其中n1、n2、n3、n4分别表示雨天概率、雪天概率、雾天概率、其他天气概率，所述n1、n2、n3、n4之和为1；

通过气象网站获取实时气象数据，得到实际集P=[p1，p2，p3，p4]，其中，p1、p2、p3、p4分别表示雨天、雪天、雾天、其他天气，所述p1、p2、p3、p4均用0或1表示；

引入多感知策略，将测量数据集N和实际数据集P进行融合判定，输出最终集AA=[a1，a2，a3，a4]，其中，a1=n1*p1，a2=n2*p2，a3=n3*p3，a4=n4*p4，得到拍摄路况的实际气象类型；

基于多感知的策略的融合判定可以解决两个问题。

1.当基于卷积神经网络的气象类别识别模型识别不准时，可以借助实时的实时气象数据进行辅助纠正，即实际为雨天，而N=[0.3,0.5,0.1,0.1],但是P=[1,0,0,0],则经过计算A=[0.3,0,0,0]，最终进入雨天增强模型。

2.实际为雨雪雾天两种或多种混合时，可以借助基于卷积神经网络的气象识别模型进行判断当前视频流受哪个不良环境影响大，着重进行增强，从而提升监控视频的质量，解决复杂气象问题，即N=[0.3,0.5,0.1,0.1]，P=[1,1,0,0]，则A=[0.3,0.5,0,0]，最终进入雪天增强模型。

当识别为其他天气，则直接进入道路检测模块。

具体实施例5，如图4所示，

本发明中的雨天图像增强模型具体为，

雨天图像增强模型采用帧差法通过分析雨的运动和光学特点，计算出雨的动力学和光学模型来识别并处理雨。

算法基本前提：

1）雨噪声像素的灰度值要大于背景像素的灰度值。

2）连续两帧图像的同一位置像素不被同一雨噪声覆盖。

接下来提取视频中连续三帧图像并判断雨噪声是否污染了其中第二帧图像中的像素，根据来判断，其中，I分别是视频中的连续三帧图像像素点灰度值，C为灰度值差判断阈值。满足这一条件后，进一步推算出被雨噪声真正污染的像素点。具体思路是，根据雨噪声运动轨迹所导致的像素灰度值差异ΔI与被雨噪声污染的背景灰度值Ibg线性相关的性质来估算。

满足：，其中α、β是常数。最后在雨雪噪声中用该帧图像的前后帧图像对应位置像素灰度值的平均值来取代该帧图像中对应像素灰度值。

具体实施例6，如图5所示，

本发明中的雪天图像增强模型具体为，

雪天图像增强模型采用k-means聚类法，即利用雪退化图像这个特性对视频中任意坐标像素的灰度值聚类。该算法首先提取视频中某一坐标像素点在所有帧中的灰度值。再对这些同一像素点的灰度值采用k-means聚类。k-means聚类一开始选定两个原始聚类中心点与/>，为加快聚类速度，可选取像素点灰度值中的最大值和最小值。再分别计算其余像素点灰度值/>到/>与/>的欧氏距离：/>；

当</>时灰度值/>为雪噪声类，反之为背景类。以上操作为一次聚类，每完成一次聚类后需要更新聚类中心点，方法如下：/>，式中/>第n次聚类后以/>为聚类中心的灰度值集合，/>为/>中元素的个数，/>为更新后的聚类中心；当两个聚类中心灰度值稳定时聚类停止。接着将灰度值小于最终聚类中心的像素的灰度值平均值作为背景灰度。然后用背景灰度取代灰度值高于最终聚类中心的像素的灰度值。最后通过同样操作对其余坐标像素点进行处理以完成去雪。

具体实施例7，

雾天图像增强模型利用基于暗通道先验去雾的图像增强算法。暗通道是指在绝大多数非天空的局部区域里，某一些像素总会有至少一个颜色通道具有很低的值。换言之，该区域光强度的最小值是个很小的数。我们给暗通道一个数学定义，对于任意的输入图像J，其暗通道可以用下式表达：，式中，/>表示彩色图像的每个通道，/>表示以像素x为中心的一个窗口。

依据上式，首先求出每个像素RGB分量中的最小值，存入一副和原始图像大小相同的灰度图中，然后再对这幅灰度图进行最小值滤波，滤波的半径由窗口大小决定，一般有WindowSize=2*Radius+1；

暗通道先验的理论指出：

实际生活中造成暗原色中低通道值主要有三个音素：a）汽车、建筑物和城市中玻璃窗户的阴影，或者树叶、树和岩石等自然景观的投影；b）色彩鲜艳的物体或表面，在RGB的三个通道中有些通道的值很低（比如绿色的草地/树/植物，红色或黄色的花朵/叶子，或蓝色的水面）；c）颜色较暗的物体或者表面，例如灰暗色的树干和石头。总之，自然景物中到处都是阴影或者彩色，这些景物的暗原色总是灰暗的。

具体的理论公式推导如下所示：

首先，在计算机视觉和计算机图形中，下述方程所描述的雾图形成模型被广泛使用：，其中，/>就是我们现在已经有的图像（待去雾的图像），是我们要恢复的图像，A是全球大气光成分，/>为透射率。现在的已知条件就是/>，要求目标/>，显然，这是个有无数解的方程，因此，就需要一些先验了。

将上式进一步稍作处理，变形为下式：，其中，上标C表示R/G/B三个通道的意思。

首先假设在每一个窗口内透射率为常数，定义它为/>，并且A值已经给定，然后对上式两边求两次最小值运算，得到下式：

，其中，J是待求的无雾的图像，根据前述的暗原色先验理论有：/>，因此，可以推导出：，得到：/>，这就是透射率/>的预估值。

在现实生活中，即使是晴天白云，空气中也存在着一些颗粒，因此，看远处的物体还是能感觉到雾的影响，另外，雾的存在让人类感到景深的存在，因此，有必要在去雾的时候保留一定程度的雾，这可以通过在上式中引入一个在[0,1]之间的因子，则上式修正为：，其中，/>=0.95。

上述推论中都是假设全球达气光A值是已知的，在实际中，我们可以借助于暗通道图来从有雾图像中获取该值。具体步骤如下：

（1）从暗通道图中按照亮度大小取前0.1%的像素。

（2）在这些位置中，在原始有雾图像I中寻找对应的具有最高亮度的点的值，作为A值。

接下来，进行无雾图像的恢复：由公式求得。

经过实验发现通过暗通道法对实际雾天道路视频流进行处理后，视频流整体变暗，故采用直方图均衡化进行图像二次增强。直方图均衡化是一种常用的图像增强技术。假设有一个主要的图像。然后它的直方图会向灰度的下端倾斜，所有的图像细节都被压缩到直方图的暗端。如果能将暗端的灰度“拉伸”，生成一个更均匀分布的直方图，那么图像就会清晰的多。

算法步骤：

（1）求出原图的直方图分布；

（2）计算原图直方图的累计概率分布；

（3）映射，公式可以表示为：，其中，A为原图，H为直方图，L为灰度级，/>为像素点个数。

经过暗通道先验去雾+直方图均衡化算法后，完成对目标视频流的去雾增强。

Claims (6)

1.一种不良气象环境下道路视频监测提升方法，其特征在于，包括以下步骤，

步骤1：构建雨天图像增强模型、雾天图像增强模型、雪天图像增强模型，且将三种模型组合作为图像数据的多模型图像增强单元；

步骤2：获取现有不良气象环境下道路的原始图像数据，输入到多模型图像增强单元，得到增强图像数据；

步骤3：将原始图像数据和增强图像数据作为训练数据，训练气象识别模型；

步骤4：获取当前气象环境下道路的实时图像数据，输入到气象识别模型，得到测量集N=[n1，n2，n3，n4]，其中n1、n2、n3、n4分别表示雨天概率、雪天概率、雾天概率、其他天气概率，所述n1、n2、n3、n4之和为1；

步骤5：获取当前气象数据，得到实际集P=[p1，p2，p3，p4]，其中，p1、p2、p3、p4分别表示雨天、雪天、雾天、其他天气，所述p1、p2、p3、p4均用0或1表示；

步骤6：引入多感知策略，将测量数据集N和实际数据集P进行融合判定，输出最终集A=[a1，a2，a3，a4]，其中，a1=n1*p1，a2=n2*p2，a3=n3*p3，a4=n4*p4，得到拍摄路况的实际气象类型；

步骤7：根据实际气象类型，将当前气象环境下道路的实时图像数据输入到对应的图像增强模型，输出增强后的实时图像数据；

其中，所述雪天图像增强模型包括，

步骤B1：获取当前气象环境下道路的视频流中某一坐标像素点在所有帧中的灰度值；

步骤B2：选择像素点灰度值中的最大值和最小值作为原始聚类中心点与/>，对所有帧中的灰度值进行k-means聚类；

步骤B3：每完成一次聚类后需要更新聚类中心点，，式中/>第n次聚类后以/>为聚类中心的灰度值集合，/>为/>中元素的个数，/>为更新后的聚类中心；

步骤B4：直到两个聚类中心的灰度值稳定时，聚类停止，否则重复聚类；

步骤B5：将灰度值小于最终聚类中心的像素的灰度值平均值作为背景灰度，用背景灰度取代灰度值高于最终聚类中心的像素的灰度值；

步骤B6：对所有像素点重复进行步骤B2-步骤B5；

步骤B7：雪天图像增强处理结束。

2.根据权利要求1所述的一种不良气象环境下道路视频监测提升方法，其特征在于，所述步骤3具体为，

步骤301：基于卷积神经网络构建气象识别模型；

步骤302：获取四类气象环境下的图像数据，分别为雨天、雪天、雾天、其他天气，其中，所述雨天、雪天、雾天的图像数据作为正样本，所述其他天气的图像数据作为负样本，正负样本比例为1:3；

步骤303：给所有图像数据做好标签，输入到气象识别模型进行训练；

步骤304：得到训练后的气象识别模型。

3.根据权利要求1所述的一种不良气象环境下道路视频监测提升方法，其特征在于，所述步骤4具体为，

步骤401：获取实时图像数据，尺寸为224x224x3，输入到气象识别模型；

步骤402：经64个3x3的卷积核作两次卷积+ReLU，尺寸变为224x224x64；

步骤403：作尺寸为2x2的最大化池化，尺寸变为112x112x64；

步骤404：经128个3x3的卷积核作两次卷积+ReLU，尺寸变为112x112x128；

步骤405：作尺寸为2x2的最大化池化，尺寸变为56x56x128；

步骤406：经256个3x3的卷积核作三次卷积+ReLU，尺寸变为56x56x256；

步骤407：作尺寸为2x2的最大化池化，尺寸变为28x28x256；

步骤408：经512个3x3的卷积核作三次卷积+ReLU，尺寸变为28x28x512；

步骤409：作尺寸为2x2的最大化池化，尺寸变为14x14x512；

步骤410：经512个3x3的卷积核作三次卷积+ReLU，尺寸变为14x14x512；

步骤411：作尺寸为2x2的最大化池化，尺寸变为7x7x512；

步骤412：与两层1x1x4096，一层1x1x50，一层1x1x4进行全连接+ReLU；

步骤413：通过softmax输出测量集N，N=[n1，n2，n3，n4]。

4.根据权利要求1所述的一种不良气象环境下道路视频监测提升方法，其特征在于，还包括步骤8：增强后的实时图像数据输入到道路检测模块。

5.根据权利要求1所述的一种不良气象环境下道路视频监测提升方法，其特征在于，所述雨天图像增强模型包括，

步骤A1：获取当前气象环境下道路的视频流中任意一帧图像作为第一帧图像；

步骤A2：判断第一帧图像是否满足背景亮度线性约束，若满足，进行步骤A3，若不满足，重复步骤A1；

步骤A3：从第一帧图像开始，提取连续的三帧图像，判断第二帧图像被雨噪声污染的坐标像素点；

步骤A4：用该帧图像的前后帧图像对应位置像素灰度值的平均值来取代该帧图像中对应像素灰度值；

步骤A5：雨天图像增强处理结束。

6.根据权利要求1所述的一种不良气象环境下道路视频监测提升方法，其特征在于，所述雾天图像增强模型包括，

步骤C1：通过暗通道法对实际雾天道路视频流进行处理；

步骤C2：采用直方图均衡化进行图像二次增强；

步骤C3：雾天图像增强处理结束。