CN103747213B - 一种基于运动目标的交通监控视频实时去雾方法 - Google Patents

Abstract

本发明涉及一种基于运动目标的交通监控视频实时去雾方法，根据交通监控视频的特点，将视频帧的内容分为前景运动目标和背景部分，对前景和背景分别采用不同的方法进行去雾处理，其中重点处理前景运动目标。同时，利用视频相邻帧之间的相关性，对背景采用不估计或者少估计的方法，大大提高了处理速度。对于720×576的标清视频能够达到25帧/秒的处理速度，满足实时处理的需求，克服了现有技术中存在的因去雾方法处理复杂度高无法满***通监控视频实时处理要求的问题。本发明提出的去雾处理方法更具有针对性，可以更加有效地保留前景运动目标的真实颜色，减小颜色失真，为进一步的交通视频的智能化处理打下了良好的基础。

Description

一种基于运动目标的交通监控视频实时去雾方法

技术领域

本发明属于图像/视频信号处理领域，涉及一种基于运动目标的交通监控视频实时去雾方法。

背景技术

严重的雾霾天气会对交通监控视频的质量造成严重的影响，去雾处理对交通监控视频后续的智能化分析工作具有重要意义。去雾处理的关键是估计出透射率和大气光强。只要估计出和，就可以通过观测图像获得去雾后的图像。目前，基于暗原色先验知识的去雾方法是主流方法。

暗原色先验规律指出：在绝大多数自然图像的一个局部区域内，某些像素至少有一个颜色通道具有很低的值。根据暗原色先验规律，可以估计出大气光强和透射率。

大气光强的估计方法是：在暗原色图像中，先将各个像素点的亮度值按照递减顺序依照排序，然后确定数值大小为前0.1%的点在暗原色图像中所处的位置，最后找出这些位置所对应的原有雾图像区域中的最大值作为大气光强的估值。

透射率的估计方法是：首先，对观测到的有雾图像的每个像素点取RGB三个通道中的最小值，得到一幅灰度图像。接下来对灰度图像进行最小值滤波操作，然后用大气光强减去滤波后图像每一个点的灰度值得到透射图。透射图除以大气光强即得到归一化的透射率。

申请号为CN201210125321.5的专利公开了一种基于自适应容差的视频图像去雾方法。该方法利用引导滤波对透射率的估计进行细化，从而得到更加细致的透射图，使去雾结果更加细腻。但引导滤波的过程要消耗大量的时间，不能满足视频处理的实时性要求。

申请号为CN201110134572.5的专利公开了一种实时视频去雾处理***。该***没有耗时巨大的引导滤波过程，并且利用数字集成电路实现上述去雾步骤，通过硬件加速来提升去雾处理的速度。该***处理288×352的视频速率可达60帧/秒，处理720×576的标清视频速率可达15帧/秒。该方法能够实时处理尺寸较小的视频，但对于720×576的标清视频则只能基本上满足实时处理要求。

另外，上述两种方法处理时均不区分图像的内容。对于交通监控视频来说，这种等同的处理方法效果并不理想。这是因为为了保证图像整体的去雾效果，往往会造成监控场景中的运动目标产生颜色失真，对后续的智能化分析产生一定的影响。

发明内容

本发明提出了一种基于运动目标的交通监控视频实时去雾方法。该方法根据交通监控视频的特点，将视频帧的内容分为前景运动目标和背景部分，对前景和背景分别采用不同的方法进行处理。这样既能很好地保留前景目标的颜色特性，又能满足实时处理的要求，为后续的交通信息智能化处理打下基础。

为实现上述目的，本发明采用以下技术方案。

1.视频内容的划分

交通监控视频的智能化处理更关注的是运动目标，因此应该着重保证这部分内容的去雾处理效果。对采集到的交通监控视频，本发明首先采用相邻帧差法将视频帧分为运动目标和背景两个部分。对于这两部分内容，分别采用不同的去雾方法进行处理，以保证去雾后的视频质量。

2.不同内容的去雾处理

首先估计大气光强和透射率的值，然后由观测图像获得去雾后的图像。透射率的估计是整个去雾过程中最耗时的部分。下面介绍如何针对交通监控视频的内容，估计大气光强和透射率的值，满足实时处理的要求。

（1）大气光强的估计

大气光强通常在较长的一段时间内保持不变，因此，无需对每个视频帧均估计大气光强的值。本发明每隔一段时间对视频帧估计一次大气光强的值，从而大大降低了大气光强估值的计算复杂度。

（2）透射率的估计

对于估计了大气光强的视频帧，进行透射率的估计，并对整个视频帧进行去雾处理。对于其它视频帧，运动目标和背景部分分别进行处理。

1）运动目标的去雾处理

为了对前景运动目标的处理更具有针对性，也为了提升去雾处理速度，本发明只对前景运动目标进行透射率的估计和去雾处理，并去掉了最小值滤波过程，以提高透射率估计的速度。

在实际生活中，空气中总是存在着一些颗粒，人们在观察远处的物体时还是能感觉到雾的影响，另外雾的存在会让人感到景深的存在，因此有必要在去雾的时候保留一定程度的雾，以增强图像的真实感和景深感。为此，本发明引入一个衰减因子来控制去雾力度。

2）背景的去雾处理

对于交通监控视频来说，其背景是基本固定的，相邻帧之间变化不大，因此本发明直接采用上一帧中的去雾结果，不再重新估计透射率的值，这样可以大大提升去雾处理的速度。

当去雾后的运动目标和背景区域合并起来，得到一个完整的去雾视频帧。

与现有技术相比，本发明具有以下明显的优势和有益的效果：

1.计算复杂度低、执行速度快。现有的去雾方法处理复杂度高，无法满***通监控视频实时处理的需求。本发明根据交通监控视频的特点，将视频帧的内容分为前景运动目标和背景两部分，分别进行处理，其中重点处理前景运动目标。同时，利用视频相邻帧之间的相关性，对背景采用不估计或者少估计的方法，大大提高了处理速度。对于720×576的标清视频能够达到25帧/秒的处理速度，满足实时处理的需求。

2.去雾处理更具有针对性，可以更加有效地保留前景运动目标的真实颜色。本发明对前景运动目标和背景区别对待，重点处理前景运动目标，为后续的交通信息智能化处理打下了良好的基础。

附图说明

图1为本发明所涉及的去雾方法的流程图；

图2为应用本发明进行交通监控视频去雾处理前后的图像，（a）为去雾前的图像，（b）为去雾后的图像；

图3为应用本发明和引导滤波方法去雾前后运动汽车的颜色对比图像，（a）为去雾前的汽车图像，（b）为应用引导滤波方法去雾后的汽车图像，（c）为应用本发明去雾后的汽车图像。

具体实施方式

以下结合附图和具体实施方式对本发明做进一步说明。

本发明提出的基于运动目标的交通监控视频实时去雾方法的流程图如图1所示，具体包括以下步骤：

步骤1，对交通监控视频的第一帧进行去雾处理。

步骤1.1，估计大气光强。

（1）对有雾图像取RGB三个颜色通道中的最小像素值并进行最小值滤波，获得暗原色图像：

式中，J^dark(x)为暗原色图像；I^c(y)为观测到的有雾图像，y∈Ω(x)，Ω(x)是以像素点y为中心的一个块状区域。

（2）将暗原色图像中像素点的亮度值按递减顺序排序，确定数值大小为前0.1%的点在暗原色图像中所处的位置；

（3）找出这些位置所对应的原有雾图像区域中的大气光强的最大值，即大气光强的估值。

步骤1.2，估计透射率。

对有雾图像取RGB三个颜色通道中的最小像素值，得到一幅灰度图像，再用大气光强估值A减去该图像每一个点的灰度值与衰减系数的乘积得到透射图，最后用透射图除以A得到归一化的透射率：

式中，为归一化的透射率估值；ω是一个衰减系数，用于控制去雾的强度，0＜ω≤1，ω通常取0.7。

步骤1.3，进行去雾处理。

去雾后的图像为：

式中，t₀是透射率的下限值，通常设置为0.1；K是容差，用于修正不满足暗原色先验假设的明亮区域，K通常取0.5—0.6倍的A值。

步骤2，从第二帧开始，采用相邻帧差法将视频帧分为前景运动目标和背景两部分，然后对这两部分分别采用不同的去雾方法进行处理。

步骤2.1，计算当前帧与前一帧的帧差，对于RGB三通道的差值均不大于阈值T的部分，判断为背景区域，其余部分判断为前景运动目标区域。阈值T通常取为2。

步骤2.2，若为前景运动目标区域，则执行步骤1.2、1.3，对其进行去雾；若为背景区域，则直接利用上一帧中相应位置的去雾结果进行替代，不再进行去雾操作。

步骤2.3，重复步骤2，直到处理完所有视频帧。

为了保证对大气光强A的估计更加接近实际值，每隔一段时间重复执行步骤1和2，对A重新进行估计。

图2所示的是采用本发明提出的方法得到的交通监控视频去雾效果对比图。从图中可以看出，采用本发明提出的方法，可以获得很好的去雾效果。

为了比较本发明与现有技术相比的去雾效果，分别应用本发明和现有技术中的引导滤波方法对一段交通监控视频进行去雾处理。图3是两种方法去雾效果的比较。从图中可以看出，采用引导滤波方法的去雾后的图像对比度更高，但是汽车的颜色过深，出现了明显的颜色失真。本发明的去雾后的图像更好地保留了前景运动目标的真实颜色，为进一步的交通视频智能化处理打下了良好的基础。

申请号为CN201110134572.5的专利处理720×576的标清视频速率可达15帧/秒。实验表明，本发明提出的方法处理720×576的标清视频速率可达25帧/秒，满足标清视频的实时处理要求。处理1280×720的高清视频速率可达13-14帧/秒，处理速度较快。

Claims (2)

1.一种基于运动目标的交通监控视频实时去雾方法，其特征在于，根据交通监控视频的特点，将视频帧的内容分为前景运动目标和背景部分，对前景和背景分别采用不同的方法进行去雾处理，包括以下步骤：

步骤1，对交通监控视频的第一帧进行去雾处理；

步骤1.1，估计大气光强；

(1)对有雾图像取RGB三个颜色通道中的最小像素值并进行最小值滤波，获得暗原色图像：

$J^{dark}\left(x\right)=\underset{c\∈\{R,G,B\}}{min}\left(\underset{y\∈\mathrm{\Ω}\left(x\right)}{min}\right(I^c\left(y\right)\left)\right)$

式中，J^dark(x)为暗原色图像；I^c(y)为观测到的有雾图像，y∈Ω(x)，Ω(x)是以像素点y为中心的一个块状区域；

(2)将暗原色图像中像素点的亮度值按递减顺序排序，确定数值大小为前0.1％的点在暗原色图像中所处的位置；

(3)找出这些位置所对应的原有雾图像区域中的最大像素值，即为大气光强的估值A；

步骤1.2，估计透射率；

对有雾图像取RGB三个颜色通道中的最小像素值，得到一幅灰度图像，再用大气光强估值A减去该图像每一个点的灰度值与衰减系数的乘积得到透射图，最后用透射图除以A得到归一化的透射率：

$\tilde{t}\left(x\right)=1-\mathrm{\ω}\underset{c\∈\{R,G,B\}}{min}\left(\frac{I^c\left(y\right)}{A}\right)$

式中，为归一化的透射率估值；ω是一个衰减系数，用于控制去雾的强度，0＜ω≤1；

步骤1.3，进行去雾处理；

去雾后的图像为：

$J\left(x\right)=\frac{I\left(x\right)-A}{min\left(max\right(\frac{K}{|I\left(x\right)-A|},1)\·max(\tilde{t}\left(x\right),t_0),1)}+A$

式中，t₀是透射率的下限值，设置为0.1；K是容差，用于修正不满足暗原色先验假设的明亮区域，K取0.5—0.6倍的A值；

步骤2，从第二帧开始，采用相邻帧差法将视频帧分为前景运动目标和背景两部分，然后对这两部分分别采用不同的去雾方法进行处理；

步骤2.1，计算当前帧与前一帧的帧差，对于RGB三通道的差值均不大于阈值T的部分，判断为背景区域，其余部分判断为前景运动目标区域；阈值T取2；

步骤2.2，若为前景运动目标区域，则执行步骤1.2、1.3，对其进行去雾；若为背景区域，则直接利用上一帧中相应位置的去雾结果进行替代，不再进行去雾操作；

步骤2.3，重复步骤2，直到处理完所有视频帧。

2.根据权利要求1所述的一种基于运动目标的交通监控视频实时去雾方法，其特征在于，为了保证对大气光强A的估计更加接近实际值，每隔一段时间间重复执行步骤1和2，对A重新进行估计，ω取0.7。