CN102496165A - 一种基于运动检测与特征提取的综合性视频处理方法 - Google Patents

Abstract

本发明公开了一种基于运动检测与特征提取的综合性视频处理方法，属于图像处理技术领域。通过特征提取与运动检测，将提取到的图像特征信息应用到后续的多个模块中，从而可以有效改善图像质量，降低处理器资源占用，提高运算的实时性，降低硬件成本和***复杂性，有利于在同一个处理器上实现综合的一体式处理业务。

Description

一种基于运动检测与特征提取的综合性视频处理方法

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种基于运动检测与特征提取的综合性视频处理方法。

背景技术

数字视频编码***通常由：视频采集、视频前处理、视频编码、码流传输四部分构成。其中视频采集、视频前处理、视频编码都会对视频质量产生重大影响。

在视频***中，还可以集成视频智能分析模块。该模块分析输入的视频信号，再输出可被人所识别和接受的信息。常用的智能视频分析应用有移动侦测、车牌识别、人脸识别、周界检测等。

模拟视频信号由于采用了隔行扫描技术，会造成图像的运动部分出现边缘锯齿，严重影响图像质量，可通过运动补偿等方式去除隔行效应。通常的做法是静止部分保持不动，对运动部分进行帧内或帧间插值，从而可以有效保持静止部分的图像细节，同时去除运动部分的边缘锯齿。

噪声也会对图像质量产生严重影响，因此需要进行去噪以便为编码器提供良好的视频源。对噪声可以采用帧内或帧间的方式进行去除。帧内去噪仅使用同一帧内的数据，通过去高频等方式去除噪声。帧间去噪则将相邻的一系列帧结合起来处理，从而可以取得更好的去噪效果。实际操作时，可将两种方式相结合，即对图像的运动部分做帧内去噪，静止部分做帧间去噪。

在视频编码环节，编码器通过运动搜索和运动补偿产生参考图像，将参考图像与当前采集图像做差分后产生残差图像，再对残差编码。而运动搜索及补偿环节通常会占用大量的处理器资源，可达到编码总消耗的50%以上。

在当前的视频处理***中，还可集成智能分析模块。常用的智能分析应用有：移动侦测、车牌定位与识别、人脸检测、流量检测等。智能分析可广泛应用于智能交通、商铺看家、库房安全、监狱等领域。

在以往的视频处理***中，以上各个部分通常是独立的，将各个模块串联构成一个大的处理***。但由于视频处理***中数据量很大，计算量也很大，这样的一个***会消耗大量的处理器资源，影响实时性，并导致***变得更复杂。

发明内容

为了克服现有技术的上述缺点，本发明提供了一种基于运动检测与特征提取的综合性视频处理方法，将特征提取与运动检测模块作为公用模块，提取出图像的纹理、颜色、梯度、统计等特征，并结合运动检测，将运动检测与特征提取结果应用于去隔行、去噪、视频编码、智能分析中，从而可以有效减少运算量，提高***实时性，并降低***复杂性和硬件成本。

本发明解决其技术问题所采用的技术方案是：一种基于运动检测与特征提取的综合性视频处理方法，包括如下步骤：

第一步、读取当前视频帧的一个块；

第二步、提取常用的图像特征，并根据后续应用的需要记录一项或多项特征，这些特征供各个后续模块公用；

第三步、通过对第二步得到的一项或多项特征的选取与比较，判断当前块是否为运动块，并将判断结果作为输入提供给后续模块公用；

第四步、去隔行：如果当前块为静止块，则当前块保持不动；如果当前块为运动块，则通过帧内插值去除隔行效应；

第五步、去噪：如果当前块为静止块，则将去隔行后的块与参考块做帧间去噪；如果当前块为运动块，则做帧内去噪；

第六步、编码：在编码器侧，如果当前块为静止块，则取运动矢量为0，然后取残差进行编码；如果当前块为运动块，则根据运动量大小或其他常用特征进行处理；

第七步、智能分析； 

第八步、重复第一步，直至处理完当前视频帧。

与现有技术相比，本发明的积极效果是：通过一个公共的特征提取模块，将提取到的图像特征信息应用到后续的多个模块中，从而可以有效改善图像质量，降低处理器资源占用，提高运算的实时性，降低硬件成本和***复杂性，有利于在同一个处理器上实现综合的一体式处理业务。

具体实施方式

本发明专利涉及到在视频采集、编码、智能分析的过程中，对数字视频信号进行去隔行、去噪、编码、智能分析等多种处理与应用。

一种基于运动检测与特征提取的综合性视频处理方法，包括如下步骤：

第一步、读取当前视频帧的一块数据，块大小没有严格要求，对标清及以下图像的块取4x4或8x8；对高清图像的块取4x4或8x8或16x16；

第二步、对常用特征进行提取：

常用特征包括当前块与参考块取差分后的SAD(summary of absolute difference，即，绝对误差和)、当前块的颜色特征、当前块的梯度变化特征、当前块的边缘复杂度特征、当前块的统计特征等。其中，参考块可取前一个输出帧或背景帧上同一位置上的块，背景帧通常可以通过一定的算法产生，并通过不断读取新的数据获得更新。

这些特征，可以根据后续应用的需要记录一项或多项。例如要进行车牌定位，就可以对每个块记录其颜色特征，通过颜色判断车牌的可能存在区域。对特征的提取，不限于以上所提及的几种，所涉及的应用，也不限于以上提到的几种。

第三步、判断当前块是否为运动块：

通过对一项或多项特征的选取与比较，可判断该块是否为运动块。为精细起见，也可以对运动量做分级，例如分为大、中、小三种运动量，也可分为更多级。运动检测的结果作为输入提供给去隔行、去噪、编码、智能分析模块使用。

第四步、去隔行：

如果该块为静止块，则该数据块保持不动，从而可以有效保留图像细节。如果该块为运动块，则通过帧内插值去除隔行效应。具体操作时可以选取一场数据，用该场数据插值出另一场数据。

第五步、去噪：

对去隔行之后的数据再做去噪处理。

（1）如果该块为静止块，则将去隔行后的块与参考块做帧间去噪，可采用的方式为帧间加权滤波，滤波公式如下：

P(i,j) =  Pref(i,j) * Wref + Pcur(i,j) * Wcur；

其中，Pref(i,j)为参考块像素值，  Wref为参考块权值，Pcur(i,j)为当前块块像素值，Wcur为当前像素加权值，i,j为像素坐标。Pcur(i,j)和Pref(i,j)满足约束Pcur(i,j) + Pref(i,j) = 1。通常对静止块，可选Pcur(i,j)为0.8，小运动量时选为0.5，中运动量时选0.3，大运动量时选0。

（2）如果该块为运动块，则做帧内去噪。可以采用中值滤波、频域滤波，也可以采用滑窗法加权，即以该数据块为中心，逐像素移动窗口，窗口大小与该数据块相同，将窗口中的数据与该块数据做比较，根据比较结果选取不同的权值进行加权。

第六步、编码：

在编码器侧，当判断该块为静止块后，可直接取运动矢量为0，然后取残差进行编码。如果该块为运动块，可根据运动量大小进行不同处理。对小运动量、中运动量，可直接在0矢量附近进行运动搜索，寻找最佳匹配点。如果为大运动量，可以直接进行帧内预测而不再使用帧间预测。也可根据其他特征，如颜色、边缘纹理等特征，选取适当的运动搜索区域后再进行搜索。

第七步、智能分析： 

对于智能分析应用，可以根据对该块的特征提取结果进行进一步的分析和应用。具体如下：

对于移动侦测，则预先构造一个二值图像帧。如果该块为运动块，则在该帧的对应位置上置“1”，表示该位置为一运动块。如该块为静止块，则该位置置为“0”，表示该位置为静止块。这样逐块扫描后形成二值图像，对该图像进行处理可完成移动侦测。

做车牌识别时，则可根据该块的纹理、颜色特征进行进一步的识别判断，做车牌的初步定位。

其他类型的智能分析应用也可以采用类似的处理方式。即由特征提取模块提供块特征，再由智能分析模块对提取到的特征进行进一步分析处理，并最终输出结果。

第八步、回到第一步，进行下一个块的处理。如此循环，直到处理完一帧。

Claims (6)

1.一种基于运动检测与特征提取的综合性视频处理方法，其特征在于，包括如下步骤：

第一步、读取当前视频帧的一个块；

第二步、提取常用的图像特征，并根据后续应用的需要记录一项或多项特征，这些特征供各个后续模块公用；

第三步、通过对第二步得到的一项或多项特征的选取与比较，判断当前块是否为运动块，并将判断结果作为输入提供给后续模块公用；

第四步、去隔行：如果当前块为静止块，则当前块保持不动；如果当前块为运动块，则通过帧内插值去除隔行效应；

第五步、去噪：如果当前块为静止块，则将去隔行后的块与参考块做帧间去噪；如果当前块为运动块，则做帧内去噪；

第六步、编码：在编码器侧，如果当前块为静止块，则取运动矢量为0，然后取残差进行编码；如果当前块为运动块，则根据运动量大小或其他常用特征进行处理；

第七步、智能分析； 

第八步、重复第一步，直至处理完当前视频帧。

2.根据权利要求1所述的基于运动检测与特征提取的综合性视频处理方法，其特征在于：所述常用的图像特征包括当前块与参考块取差分后的SAD、当前块的颜色特征、当前块的梯度变化特征、当前块的边缘复杂度特征、当前块的统计特征。

3.根据权利要求2所述的基于运动检测与特征提取的综合性视频处理方法，其特征在于：所述参考块可取前一个输出帧或背景帧上同一位置上的块。

4.根据权利要求1所述的基于运动检测与特征提取的综合性视频处理方法，其特征在于：在第三步所述判断当前块是否为运动块时，还可以对运动量进行分级。

5.根据权利要求1所述的基于运动检测与特征提取的综合性视频处理方法，其特征在于：所述帧内去噪的方法包括中值滤波、频域滤波或滑窗法加权。

6.根据权利要求5所述的基于运动检测与特征提取的综合性视频处理方法，其特征在于：所述滑窗法加权是指以当前块为中心，逐像素移动窗口，窗口大小与当前块相同，将窗口中的数据与当前块的数据做比较，根据比较结果选取不同的权值进行加权。