CN102496165A - 一种基于运动检测与特征提取的综合性视频处理方法 - Google Patents
一种基于运动检测与特征提取的综合性视频处理方法 Download PDFInfo
- Publication number
- CN102496165A CN102496165A CN2011104025767A CN201110402576A CN102496165A CN 102496165 A CN102496165 A CN 102496165A CN 2011104025767 A CN2011104025767 A CN 2011104025767A CN 201110402576 A CN201110402576 A CN 201110402576A CN 102496165 A CN102496165 A CN 102496165A
- Authority
- CN
- China
- Prior art keywords
- current block
- block
- feature extraction
- motion detection
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种基于运动检测与特征提取的综合性视频处理方法,属于图像处理技术领域。通过特征提取与运动检测,将提取到的图像特征信息应用到后续的多个模块中,从而可以有效改善图像质量,降低处理器资源占用,提高运算的实时性,降低硬件成本和***复杂性,有利于在同一个处理器上实现综合的一体式处理业务。
Description
技术领域
本发明涉及图像处理技术领域,尤其是涉及一种基于运动检测与特征提取的综合性视频处理方法。
背景技术
数字视频编码***通常由:视频采集、视频前处理、视频编码、码流传输四部分构成。其中视频采集、视频前处理、视频编码都会对视频质量产生重大影响。
在视频***中,还可以集成视频智能分析模块。该模块分析输入的视频信号,再输出可被人所识别和接受的信息。常用的智能视频分析应用有移动侦测、车牌识别、人脸识别、周界检测等。
模拟视频信号由于采用了隔行扫描技术,会造成图像的运动部分出现边缘锯齿,严重影响图像质量,可通过运动补偿等方式去除隔行效应。通常的做法是静止部分保持不动,对运动部分进行帧内或帧间插值,从而可以有效保持静止部分的图像细节,同时去除运动部分的边缘锯齿。
噪声也会对图像质量产生严重影响,因此需要进行去噪以便为编码器提供良好的视频源。对噪声可以采用帧内或帧间的方式进行去除。帧内去噪仅使用同一帧内的数据,通过去高频等方式去除噪声。帧间去噪则将相邻的一系列帧结合起来处理,从而可以取得更好的去噪效果。实际操作时,可将两种方式相结合,即对图像的运动部分做帧内去噪,静止部分做帧间去噪。
在视频编码环节,编码器通过运动搜索和运动补偿产生参考图像,将参考图像与当前采集图像做差分后产生残差图像,再对残差编码。而运动搜索及补偿环节通常会占用大量的处理器资源,可达到编码总消耗的50%以上。
在当前的视频处理***中,还可集成智能分析模块。常用的智能分析应用有:移动侦测、车牌定位与识别、人脸检测、流量检测等。智能分析可广泛应用于智能交通、商铺看家、库房安全、监狱等领域。
在以往的视频处理***中,以上各个部分通常是独立的,将各个模块串联构成一个大的处理***。但由于视频处理***中数据量很大,计算量也很大,这样的一个***会消耗大量的处理器资源,影响实时性,并导致***变得更复杂。
发明内容
为了克服现有技术的上述缺点,本发明提供了一种基于运动检测与特征提取的综合性视频处理方法,将特征提取与运动检测模块作为公用模块,提取出图像的纹理、颜色、梯度、统计等特征,并结合运动检测,将运动检测与特征提取结果应用于去隔行、去噪、视频编码、智能分析中,从而可以有效减少运算量,提高***实时性,并降低***复杂性和硬件成本。
本发明解决其技术问题所采用的技术方案是:一种基于运动检测与特征提取的综合性视频处理方法,包括如下步骤:
第一步、读取当前视频帧的一个块;
第二步、提取常用的图像特征,并根据后续应用的需要记录一项或多项特征,这些特征供各个后续模块公用;
第三步、通过对第二步得到的一项或多项特征的选取与比较,判断当前块是否为运动块,并将判断结果作为输入提供给后续模块公用;
第四步、去隔行:如果当前块为静止块,则当前块保持不动;如果当前块为运动块,则通过帧内插值去除隔行效应;
第五步、去噪:如果当前块为静止块,则将去隔行后的块与参考块做帧间去噪;如果当前块为运动块,则做帧内去噪;
第六步、编码:在编码器侧,如果当前块为静止块,则取运动矢量为0,然后取残差进行编码;如果当前块为运动块,则根据运动量大小或其他常用特征进行处理;
第七步、智能分析;
第八步、重复第一步,直至处理完当前视频帧。
与现有技术相比,本发明的积极效果是:通过一个公共的特征提取模块,将提取到的图像特征信息应用到后续的多个模块中,从而可以有效改善图像质量,降低处理器资源占用,提高运算的实时性,降低硬件成本和***复杂性,有利于在同一个处理器上实现综合的一体式处理业务。
具体实施方式
本发明专利涉及到在视频采集、编码、智能分析的过程中,对数字视频信号进行去隔行、去噪、编码、智能分析等多种处理与应用。
一种基于运动检测与特征提取的综合性视频处理方法,包括如下步骤:
第一步、读取当前视频帧的一块数据,块大小没有严格要求,对标清及以下图像的块取4x4或8x8;对高清图像的块取4x4或8x8或16x16;
第二步、对常用特征进行提取:
常用特征包括当前块与参考块取差分后的SAD(summary of absolute difference,即,绝对误差和)、当前块的颜色特征、当前块的梯度变化特征、当前块的边缘复杂度特征、当前块的统计特征等。其中,参考块可取前一个输出帧或背景帧上同一位置上的块,背景帧通常可以通过一定的算法产生,并通过不断读取新的数据获得更新。
这些特征,可以根据后续应用的需要记录一项或多项。例如要进行车牌定位,就可以对每个块记录其颜色特征,通过颜色判断车牌的可能存在区域。对特征的提取,不限于以上所提及的几种,所涉及的应用,也不限于以上提到的几种。
第三步、判断当前块是否为运动块:
通过对一项或多项特征的选取与比较,可判断该块是否为运动块。为精细起见,也可以对运动量做分级,例如分为大、中、小三种运动量,也可分为更多级。运动检测的结果作为输入提供给去隔行、去噪、编码、智能分析模块使用。
第四步、去隔行:
如果该块为静止块,则该数据块保持不动,从而可以有效保留图像细节。如果该块为运动块,则通过帧内插值去除隔行效应。具体操作时可以选取一场数据,用该场数据插值出另一场数据。
第五步、去噪:
对去隔行之后的数据再做去噪处理。
(1)如果该块为静止块,则将去隔行后的块与参考块做帧间去噪,可采用的方式为帧间加权滤波,滤波公式如下:
P(i,j) = Pref(i,j) * Wref + Pcur(i,j) * Wcur;
其中,Pref(i,j)为参考块像素值, Wref为参考块权值,Pcur(i,j)为当前块块像素值,Wcur为当前像素加权值,i,j为像素坐标。Pcur(i,j)和Pref(i,j)满足约束Pcur(i,j) + Pref(i,j) = 1。通常对静止块,可选Pcur(i,j)为0.8,小运动量时选为0.5,中运动量时选0.3,大运动量时选0。
(2)如果该块为运动块,则做帧内去噪。可以采用中值滤波、频域滤波,也可以采用滑窗法加权,即以该数据块为中心,逐像素移动窗口,窗口大小与该数据块相同,将窗口中的数据与该块数据做比较,根据比较结果选取不同的权值进行加权。
第六步、编码:
在编码器侧,当判断该块为静止块后,可直接取运动矢量为0,然后取残差进行编码。如果该块为运动块,可根据运动量大小进行不同处理。对小运动量、中运动量,可直接在0矢量附近进行运动搜索,寻找最佳匹配点。如果为大运动量,可以直接进行帧内预测而不再使用帧间预测。也可根据其他特征,如颜色、边缘纹理等特征,选取适当的运动搜索区域后再进行搜索。
第七步、智能分析:
对于智能分析应用,可以根据对该块的特征提取结果进行进一步的分析和应用。具体如下:
对于移动侦测,则预先构造一个二值图像帧。如果该块为运动块,则在该帧的对应位置上置“1”,表示该位置为一运动块。如该块为静止块,则该位置置为“0”,表示该位置为静止块。这样逐块扫描后形成二值图像,对该图像进行处理可完成移动侦测。
做车牌识别时,则可根据该块的纹理、颜色特征进行进一步的识别判断,做车牌的初步定位。
其他类型的智能分析应用也可以采用类似的处理方式。即由特征提取模块提供块特征,再由智能分析模块对提取到的特征进行进一步分析处理,并最终输出结果。
第八步、回到第一步,进行下一个块的处理。如此循环,直到处理完一帧。
Claims (6)
1.一种基于运动检测与特征提取的综合性视频处理方法,其特征在于,包括如下步骤:
第一步、读取当前视频帧的一个块;
第二步、提取常用的图像特征,并根据后续应用的需要记录一项或多项特征,这些特征供各个后续模块公用;
第三步、通过对第二步得到的一项或多项特征的选取与比较,判断当前块是否为运动块,并将判断结果作为输入提供给后续模块公用;
第四步、去隔行:如果当前块为静止块,则当前块保持不动;如果当前块为运动块,则通过帧内插值去除隔行效应;
第五步、去噪:如果当前块为静止块,则将去隔行后的块与参考块做帧间去噪;如果当前块为运动块,则做帧内去噪;
第六步、编码:在编码器侧,如果当前块为静止块,则取运动矢量为0,然后取残差进行编码;如果当前块为运动块,则根据运动量大小或其他常用特征进行处理;
第七步、智能分析;
第八步、重复第一步,直至处理完当前视频帧。
2.根据权利要求1所述的基于运动检测与特征提取的综合性视频处理方法,其特征在于:所述常用的图像特征包括当前块与参考块取差分后的SAD、当前块的颜色特征、当前块的梯度变化特征、当前块的边缘复杂度特征、当前块的统计特征。
3.根据权利要求2所述的基于运动检测与特征提取的综合性视频处理方法,其特征在于:所述参考块可取前一个输出帧或背景帧上同一位置上的块。
4.根据权利要求1所述的基于运动检测与特征提取的综合性视频处理方法,其特征在于:在第三步所述判断当前块是否为运动块时,还可以对运动量进行分级。
5.根据权利要求1所述的基于运动检测与特征提取的综合性视频处理方法,其特征在于:所述帧内去噪的方法包括中值滤波、频域滤波或滑窗法加权。
6.根据权利要求5所述的基于运动检测与特征提取的综合性视频处理方法,其特征在于:所述滑窗法加权是指以当前块为中心,逐像素移动窗口,窗口大小与当前块相同,将窗口中的数据与当前块的数据做比较,根据比较结果选取不同的权值进行加权。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2011104025767A CN102496165A (zh) | 2011-12-07 | 2011-12-07 | 一种基于运动检测与特征提取的综合性视频处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2011104025767A CN102496165A (zh) | 2011-12-07 | 2011-12-07 | 一种基于运动检测与特征提取的综合性视频处理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102496165A true CN102496165A (zh) | 2012-06-13 |
Family
ID=46187987
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2011104025767A Pending CN102496165A (zh) | 2011-12-07 | 2011-12-07 | 一种基于运动检测与特征提取的综合性视频处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102496165A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103581696A (zh) * | 2012-08-10 | 2014-02-12 | 英特尔公司 | 用于内容感知的多媒体流送的方法与*** |
CN103885461A (zh) * | 2012-12-21 | 2014-06-25 | 宗经投资股份有限公司 | 自动彩妆机的彩妆工具的移动方法 |
CN104253929A (zh) * | 2013-06-28 | 2014-12-31 | 广州华多网络科技有限公司 | 视频降噪方法及其*** |
CN106162196A (zh) * | 2016-08-16 | 2016-11-23 | 广东中星电子有限公司 | 一种面向智能分析的视频编码架构及方法 |
CN108603764A (zh) * | 2016-02-17 | 2018-09-28 | 三菱电机株式会社 | 信息提供装置、信息提供服务器及信息提供方法 |
CN108961186A (zh) * | 2018-06-29 | 2018-12-07 | 赵岩 | 一种基于深度学习的老旧影片修复重制方法 |
CN110502962A (zh) * | 2018-05-18 | 2019-11-26 | 翔升(上海)电子技术有限公司 | 视频流中目标的检测方法、装置、设备和介质 |
CN114401405A (zh) * | 2022-01-14 | 2022-04-26 | 安谋科技(中国)有限公司 | 一种视频编码方法、介质及电子设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101146222A (zh) * | 2006-09-15 | 2008-03-19 | 中国航空无线电电子研究所 | 视频***的运动估计内核 |
CN101321287A (zh) * | 2008-07-08 | 2008-12-10 | 浙江大学 | 基于运动目标检测的视频编码方法 |
CN101483746A (zh) * | 2008-12-22 | 2009-07-15 | 四川虹微技术有限公司 | 基于运动检测的去隔行方法 |
CN101600061A (zh) * | 2009-07-09 | 2009-12-09 | 杭州士兰微电子股份有限公司 | 视频运动自适应去隔行的方法及装置 |
CN101895674A (zh) * | 2010-07-02 | 2010-11-24 | 浙江红苹果电子有限公司 | 一种针对监控视频的去隔行的方法及其装置 |
CN101969568A (zh) * | 2010-11-16 | 2011-02-09 | 上海大学 | 面向帧速率上变换的运动估计方法 |
CN102186046A (zh) * | 2011-05-31 | 2011-09-14 | 杭州士兰微电子股份有限公司 | 一种视频图像去隔行扫描方法及装置 |
-
2011
- 2011-12-07 CN CN2011104025767A patent/CN102496165A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101146222A (zh) * | 2006-09-15 | 2008-03-19 | 中国航空无线电电子研究所 | 视频***的运动估计内核 |
CN101321287A (zh) * | 2008-07-08 | 2008-12-10 | 浙江大学 | 基于运动目标检测的视频编码方法 |
CN101483746A (zh) * | 2008-12-22 | 2009-07-15 | 四川虹微技术有限公司 | 基于运动检测的去隔行方法 |
CN101600061A (zh) * | 2009-07-09 | 2009-12-09 | 杭州士兰微电子股份有限公司 | 视频运动自适应去隔行的方法及装置 |
CN101895674A (zh) * | 2010-07-02 | 2010-11-24 | 浙江红苹果电子有限公司 | 一种针对监控视频的去隔行的方法及其装置 |
CN101969568A (zh) * | 2010-11-16 | 2011-02-09 | 上海大学 | 面向帧速率上变换的运动估计方法 |
CN102186046A (zh) * | 2011-05-31 | 2011-09-14 | 杭州士兰微电子股份有限公司 | 一种视频图像去隔行扫描方法及装置 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103581696A (zh) * | 2012-08-10 | 2014-02-12 | 英特尔公司 | 用于内容感知的多媒体流送的方法与*** |
CN103885461A (zh) * | 2012-12-21 | 2014-06-25 | 宗经投资股份有限公司 | 自动彩妆机的彩妆工具的移动方法 |
CN104253929A (zh) * | 2013-06-28 | 2014-12-31 | 广州华多网络科技有限公司 | 视频降噪方法及其*** |
CN104253929B (zh) * | 2013-06-28 | 2019-03-12 | 广州华多网络科技有限公司 | 视频降噪方法及其*** |
CN108603764A (zh) * | 2016-02-17 | 2018-09-28 | 三菱电机株式会社 | 信息提供装置、信息提供服务器及信息提供方法 |
CN108603764B (zh) * | 2016-02-17 | 2022-08-05 | 三菱电机株式会社 | 信息提供装置、信息提供服务器及信息提供方法 |
CN106162196A (zh) * | 2016-08-16 | 2016-11-23 | 广东中星电子有限公司 | 一种面向智能分析的视频编码架构及方法 |
CN106162196B (zh) * | 2016-08-16 | 2020-07-14 | 广东中星电子有限公司 | 一种面向智能分析的视频编码***及方法 |
CN110502962A (zh) * | 2018-05-18 | 2019-11-26 | 翔升(上海)电子技术有限公司 | 视频流中目标的检测方法、装置、设备和介质 |
CN108961186A (zh) * | 2018-06-29 | 2018-12-07 | 赵岩 | 一种基于深度学习的老旧影片修复重制方法 |
CN108961186B (zh) * | 2018-06-29 | 2022-02-15 | 福建帝视信息科技有限公司 | 一种基于深度学习的老旧影片修复重制方法 |
CN114401405A (zh) * | 2022-01-14 | 2022-04-26 | 安谋科技(中国)有限公司 | 一种视频编码方法、介质及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102496165A (zh) | 一种基于运动检测与特征提取的综合性视频处理方法 | |
CN110087087A (zh) | Vvc帧间编码单元预测模式提前决策及块划分提前终止方法 | |
CN111355956B (zh) | 一种hevc帧内编码中基于深度学习的率失真优化快速决策***及其方法 | |
CN102915544B (zh) | 基于纹理检测和颜色分割的视频图像运动目标提取方法 | |
Yao et al. | Detecting video frame-rate up-conversion based on periodic properties of edge-intensity | |
CN105120290B (zh) | 一种深度视频快速编码方法 | |
CN104573674A (zh) | 面向实时嵌入式***的一维条码识别方法 | |
CN102752483A (zh) | 基于fpga平台的滤波降噪***及滤波降噪方法 | |
CN107623857A (zh) | 视频编码/解码方法、设备以及生成和存储比特流的方法 | |
CN102457724B (zh) | 一种图像运动检测***及方法 | |
CN104396236B (zh) | 使用深度信息协助基于运动补偿的视频编码 | |
CN101527786A (zh) | 一种增强网络视频中视觉重要区域清晰度的方法 | |
Kuanar et al. | Gated fusion network for sao filter and inter frame prediction in versatile video coding | |
CN104702959B (zh) | 一种视频编码的帧内预测方法及*** | |
CN104537685B (zh) | 一种基于视频图像进行自动客流统计分析方法 | |
CN107040786B (zh) | 一种基于时空域特征自适应选择的h.265/hevc视频隐写分析方法 | |
CN104243994A (zh) | 一种实时运动感知图像增强的方法 | |
CN101072343A (zh) | 图像处理装置、方法及集成电路 | |
CN102647595B (zh) | 一种基于avs的亚像素运动估计的装置 | |
CN106878754B (zh) | 一种3d视频深度图像帧内预测模式选择方法 | |
CN116437102B (zh) | 可学习通用视频编码方法、***、设备及存储介质 | |
CN101841722A (zh) | 滤波边界强度的检测装置及其检测方法 | |
CN108024113B (zh) | 一种目标占比自适应的压缩域小目标跟踪方法 | |
CN102300086A (zh) | 对参考帧边界进行扩展和对运动补偿参考样本位置进行限定的方法 | |
CN110472478B (zh) | 一种基于光流场统计特征的场景分析方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C12 | Rejection of a patent application after its publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20120613 |