CN107454429A - 基于运动向量外推和图像梯度加权的视频错误隐藏方法 - Google Patents
基于运动向量外推和图像梯度加权的视频错误隐藏方法 Download PDFInfo
- Publication number
- CN107454429A CN107454429A CN201710720377.8A CN201710720377A CN107454429A CN 107454429 A CN107454429 A CN 107454429A CN 201710720377 A CN201710720377 A CN 201710720377A CN 107454429 A CN107454429 A CN 107454429A
- Authority
- CN
- China
- Prior art keywords
- motion vector
- macro block
- gradient
- pixel
- extrapolation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 84
- 239000013598 vector Substances 0.000 title claims abstract description 70
- 238000013213 extrapolation Methods 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000001771 impaired effect Effects 0.000 claims abstract description 12
- 238000001514 detection method Methods 0.000 claims abstract description 7
- 238000010606 normalization Methods 0.000 claims abstract description 5
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000004048 modification Effects 0.000 claims description 4
- 238000012986 modification Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 6
- 239000002245 particle Substances 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 8
- 238000011084 recovery Methods 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
- H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种基于运动向量外推和图像梯度加权的视频错误隐藏方法,包括以下步骤:解码端进行差错检测、运动向量归一化、计算图像梯度、运动向量外推和运动补偿,用参考帧中相应位置的像素宏块替换受损的像素宏块;本发明结合梯度加权的运动向量外推方法,在整帧丢失和半帧丢失的情况下,能够在较小的粒度范围内保持运动物体轮廓的完整性和一致性,对于提高受损图像的主观质量恢复有较为明显的效果。
Description
技术领域
本发明涉及视频通信领域,具体的说是基于运动向量外推和图像梯度加权的视频错误隐藏方法。
背景技术
视频图像经过编码后,以视频流的形式在网络传输,受到外界噪音干扰、网络拥塞、信道不稳定等情况会出现误码或丢包,从而导致视频流受损,解码后的视频质量严重下降。为了恢复解码视频图像质量,错误隐藏技术得到广泛研究和应用。现有错误隐藏技术可以分为空域隐藏和时域隐藏两种方式。空域隐藏利用图像受损宏块周围的正确图像信息进行插值隐藏,仅应用于帧内编码宏块或区域,对图像细节不容易恢复。时域隐藏利用前一帧中与当前受损宏块位置相近的宏块的运动向量信息进行当前帧受损宏块的运动向量估计,并利用估计的运动向量进行运动补偿从而恢复受损宏块,适用于帧间编码宏块或区域。由于视频序列中大部分区域都采用帧间编码模式,所以时域隐藏技术的效果决定了整个视频图像质量恢复的效果。现有的时域隐藏技术大致有三种方法:宏块拷贝、运动向量拷贝、运动向量外推。宏块拷贝技术将受损宏块替换为前一帧中对应位置的宏块,仅适合于静止区域;运动向量拷贝技术将受损宏块的运动向量替换为前一帧中对应位置附近某个宏块的运动向量或者替换为附近宏块运动向量的中值、均值等,再依据恢复的运动向量进行运动补偿从而恢复视频图像,此方法适合于平滑运动区域,对非平滑运动区域如物体边界区、变速运动区效果较差;运动向量外推技术首先收集前一帧对应位置附近若干宏块的运动向量,并计算这些宏块运动到当前帧的位置,收集能够运动到当前受损宏块区域的宏块的运动向量和重叠面积,依据面积大小进行加权平均得到当前受损宏块的运动向量,依据此运动向量恢复受损区域图像。以上三种时域隐藏技术中以运动向量外推技术的适用范围更为广泛,适用于不同范围程度宏块或区域受损以及整帧或半帧丢失等情况;然而,运动向量外推技术以宏块运动向量就是宏块运动速度为前提假设,实际上两者并不总是一致,特别是对运动物体边界附近的区域,恢复效果较差;且由于收集的宏块可能一部分处于前景轮廓区域,一部分处于背景区域,则按面积加权的方式恢复的图像不能保证物体轮廓的一致性。
基于此,针对上述现状中存在的局限性,本发明提出了基于运动向量外推和图像梯度加权的视频错误隐藏方法,能够在半帧图像丢失和整帧图像丢失的情况下进行视频图像质量的恢复,并克服现有错误隐藏技术的不足之处,提高受损图像的质量恢复程度。
发明内容
为了解决上述现有技术的问题,本发明提供基于运动向量外推和图像梯度加权的视频错误隐藏方法,能够在半帧图像丢失和整帧图像丢失的情况下进行视频图像质量的恢复,并克服现有错误隐藏技术的不足之处,提高受损图像的质量恢复程度。
本发明解决其技术问题所采用的技术方案是:
基于运动向量外推和图像梯度加权的视频错误隐藏方法,包括以下步骤:
步骤1、解码端进行差错检测,负责检测当前受损的帧,标记所有受损区域的宏块;
步骤2、将受损的帧的前一帧作为参考帧,将参考帧的所有宏块的运动向量归一化;
步骤3、计算参考帧的图像梯度,以sobel算子进行参考帧内每个像素的梯度计算,并依据整帧图像的运动程度进行梯度修正;
步骤4、基于步骤3中的图像梯度计算结果,对受损宏块进行运动向量外推;
步骤5、根据步骤4中得到的运动向量,进行运动补偿,用参考帧中相应位置的像素宏块替换受损的像素宏块。
进一步地,所述步骤2中运动向量归一化具体为:
将参考帧的所有宏块运动向量除以宏块引用帧距离得到归一化的宏块运动向量。
进一步地,对于每个4×4像素宏块,设定一个阈值T,MVx为宏块x向的运动向量,MVy为宏块y向的运动向量,所述步骤3中图像梯度修正的一种方式具体如下:
a1、当|MVx|+|MVy|>T,该宏块内像素梯度提升一倍,计算每个4×4像素宏块内16个像素的梯度总和,标记为此宏块的梯度;
a2、当|MVx|+|MVy|≤T,该宏块内像素梯度降低一半,并计算每个4×4像素宏块内16个像素的梯度总和,标记为此宏块的梯度。
进一步地,对于每个4×4像素宏块,所述步骤4中图像梯度计算的一种方式具体如下:
将参考帧中与受损宏块位置最近的25个4×4像素宏块进行运动向量外推,得到外推宏块运动到当前帧的位置,计算各外推宏块与受损宏块之间重叠的面积以及有重叠区域的外推宏块的梯度,再以面积与梯度之和对有重叠区域的外推宏块的运动向量作加权平均得到受损宏块的运动向量。
与现有技术相比,本发明的有益效果是:
本发明结合梯度加权的运动向量外推方法,在整帧丢失和半帧丢失的情况下,能够在较小的粒度范围内保持运动物体轮廓的完整性和一致性,对于提高受损图像的主观质量恢复有较为明显的效果。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1为本发明的流程框架图;
图2为本发明中运动向量外推的示意图;
图3为本发明中受损宏块的运动向量。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1至图2所示,本发明所述的基于运动向量外推和图像梯度加权的视频错误隐藏方法,包括以下步骤:
步骤1、解码端进行差错检测,负责检测当前受损的帧,记为第n帧,标记所有受损区域的宏块,方便后续恢复步骤使用;
步骤2、将受损的帧的前一帧作为参考帧,将参考帧记为第n-1帧,将参考帧的所有宏块的运动向量归一化;
步骤3、计算参考帧的图像梯度,以sobel算子进行参考帧内每个像素的梯度计算,并依据整帧图像的运动程度进行梯度修正,用来实现区分前景和背景区域,凸显运动前景区域轮廓,弱化背景区域轮廓;
步骤4、基于步骤3中的图像梯度计算结果,对受损宏块进行运动向量外推;
步骤5、根据步骤4中得到的运动向量,进行运动补偿,用参考帧中相应位置的像素宏块替换受损的像素宏块。
具体实施时,所述步骤2中运动向量归一化具体为:
将参考帧的所有宏块运动向量除以宏块引用帧距离得到归一化的宏块运动向量,具体的为:若宏块所在帧为第n帧,宏块引用帧为第m帧,则宏块引用帧距离为|n-m|。
具体实施时,对于每个4×4像素宏块,设定一个阈值T,MVx为宏块x向的运动向量,MVy为宏块y向的运动向量,所述步骤3中图像梯度修正的一种方式具体如下:
a1、当|MVx|+|MVy|>T,该宏块内像素梯度提升一倍,计算每个4×4像素宏块内16个像素的梯度总和,标记为此宏块的梯度;
a2、当|MVx|+|MVy|≤T,该宏块内像素梯度降低一半,并计算每个4×4像素宏块内16个像素的梯度总和,标记为此宏块的梯度。
具体实施时,对于每个4×4像素宏块,所述步骤4中图像梯度计算的一种方式具体如下:
将参考帧中与受损宏块位置最近的25个4×4像素宏块进行运动向量外推,得到外推宏块运动到当前帧的位置,计算各外推宏块与受损宏块之间重叠的面积以及有重叠区域的外推宏块的梯度,再以面积与梯度之和对有重叠区域的外推宏块的运动向量作加权平均得到受损宏块的运动向量。具体如图3所示,受损宏块的运动向量估计过程为:假定有4个外推宏块100、101、102、103与受损宏块重叠,这4个外推宏块的运动向量分别为MV1、MV2、MV3、MV4,分别计算4个重叠区域的面积A1、A2、A3、A4,以及这4个宏块的梯度T1、T2、T3、T4,则受损宏块的运动向量MV按照如下公式进行计算:
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (4)
1.基于运动向量外推和图像梯度加权的视频错误隐藏方法,其特征在于,包括以下步骤:
步骤1、解码端进行差错检测,负责检测当前受损的帧,标记所有受损区域的宏块;
步骤2、将受损的帧的前一帧作为参考帧,将参考帧的所有宏块的运动向量归一化;
步骤3、计算参考帧的图像梯度,以sobel算子进行参考帧内每个像素的梯度计算,并依据整帧图像的运动程度进行梯度修正;
步骤4、基于步骤3中的图像梯度计算结果,对受损宏块进行运动向量外推;
步骤5、根据步骤4中得到的运动向量,进行运动补偿,用参考帧中相应位置的像素宏块替换受损的像素宏块。
2.根据权利要求1所述的基于运动向量外推和图像梯度加权的视频错误隐藏方法,其特征在于,所述步骤2中运动向量归一化具体为:
将参考帧的所有宏块运动向量除以宏块引用帧距离得到归一化的宏块运动向量。
3.根据权利要求1所述的基于运动向量外推和图像梯度加权的视频错误隐藏方法,其特征在于,对于每个4×4像素宏块,设定一个阈值T,MVx为宏块x向的运动向量,MVy为宏块y向的运动向量,所述步骤3中图像梯度修正的一种方式具体如下:
a1、当|MVx|+|MVy|>T,该宏块内像素梯度提升一倍,计算每个4×4像素宏块内16个像素的梯度总和,标记为此宏块的梯度;
a2、当|MVx|+|MVy|≤T,该宏块内像素梯度降低一半,并计算每个4×4像素宏块内16个像素的梯度总和,标记为此宏块的梯度。
4.根据权利要求1所述的基于运动向量外推和图像梯度加权的视频错误隐藏方法,其特征在于,对于每个4×4像素宏块,所述步骤4中图像梯度计算的一种方式具体如下:
将参考帧中与受损宏块位置最近的25个4×4像素宏块进行运动向量外推,得到外推宏块运动到当前帧的位置,计算各外推宏块与受损宏块之间重叠的面积以及有重叠区域的外推宏块的梯度,再以面积与梯度之和对有重叠区域的外推宏块的运动向量作加权平均得到受损宏块的运动向量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710720377.8A CN107454429B (zh) | 2017-08-21 | 2017-08-21 | 基于运动向量外推和图像梯度加权的视频错误隐藏方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710720377.8A CN107454429B (zh) | 2017-08-21 | 2017-08-21 | 基于运动向量外推和图像梯度加权的视频错误隐藏方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107454429A true CN107454429A (zh) | 2017-12-08 |
CN107454429B CN107454429B (zh) | 2019-12-24 |
Family
ID=60491657
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710720377.8A Active CN107454429B (zh) | 2017-08-21 | 2017-08-21 | 基于运动向量外推和图像梯度加权的视频错误隐藏方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107454429B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110677680A (zh) * | 2019-09-24 | 2020-01-10 | 杭州当虹科技股份有限公司 | 一种基于解码器错误检测的主备信源切换方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022042831A1 (en) * | 2020-08-26 | 2022-03-03 | Telefonaktiebolaget Lm Ericsson (Publ) | Generating and processing video data |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1455596A (zh) * | 2003-03-03 | 2003-11-12 | 西南交通大学 | 基于运动向量外推及运动向量搜索的视频差错掩盖方法 |
CN105791878A (zh) * | 2016-03-04 | 2016-07-20 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 图像错误隐藏方法与*** |
CN106101726A (zh) * | 2016-07-22 | 2016-11-09 | 福建师范大学 | 一种时空域相结合的自适应错误隐藏修复方法及*** |
US20170188041A1 (en) * | 2014-09-30 | 2017-06-29 | Huawei Technologies Co., Ltd. | Picture prediction method and related apparatus |
-
2017
- 2017-08-21 CN CN201710720377.8A patent/CN107454429B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1455596A (zh) * | 2003-03-03 | 2003-11-12 | 西南交通大学 | 基于运动向量外推及运动向量搜索的视频差错掩盖方法 |
US20170188041A1 (en) * | 2014-09-30 | 2017-06-29 | Huawei Technologies Co., Ltd. | Picture prediction method and related apparatus |
CN105791878A (zh) * | 2016-03-04 | 2016-07-20 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 图像错误隐藏方法与*** |
CN106101726A (zh) * | 2016-07-22 | 2016-11-09 | 福建师范大学 | 一种时空域相结合的自适应错误隐藏修复方法及*** |
Non-Patent Citations (1)
Title |
---|
李玉峰等: "基于自适应边缘阈值及方向加权的空间错误隐藏算法", 《光学精密工程》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110677680A (zh) * | 2019-09-24 | 2020-01-10 | 杭州当虹科技股份有限公司 | 一种基于解码器错误检测的主备信源切换方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107454429B (zh) | 2019-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105847804B (zh) | 一种基于稀疏冗余表示模型的视频帧率上转换方法 | |
Wang et al. | Frame rate up-conversion using trilateral filtering | |
CN107820085B (zh) | 一种基于深度学习的提高视频压缩编码效率的方法 | |
CN101355708B (zh) | 一种自适应误码掩盖方法 | |
CN106210448B (zh) | 一种视频图像抖动消除处理方法 | |
CN106851302B (zh) | 一种基于帧内编码压缩域的监控视频运动目标检测方法 | |
CN101163250B (zh) | 一种基于边界梯度的视频流容错方法 | |
CN101188772B (zh) | 一种视频解码的时域错误隐蔽方法 | |
CN107483960A (zh) | 一种基于空间预测的运动补偿帧率上转换方法 | |
CN113055674B (zh) | 一种基于两阶段多帧协同的压缩视频质量增强方法 | |
CN107454429A (zh) | 基于运动向量外推和图像梯度加权的视频错误隐藏方法 | |
CN108270945B (zh) | 一种运动补偿去噪方法及装置 | |
Kim et al. | An efficient motion-compensated frame interpolation method using temporal information for high-resolution videos | |
CN103152566B (zh) | 一种视频帧率提升方法 | |
CN101193313A (zh) | 一种视频解码的时域错误隐蔽方法 | |
CN103517078A (zh) | 分布式视频编码中边信息生成方法 | |
CN104202606B (zh) | 一种基于hevc运动估计起始点确定方法 | |
Belfiore et al. | Robust and edge-preserving video error concealment by coarse-to-fine block replenishment | |
CN104581185B (zh) | 一种应用于立体视频切换帧的自适应错误隐藏方法 | |
Nang et al. | Classifying Useful Motion Vectors for Efficient Frame Rate Up Conversion of MC-DCT Encoded Video Streams. | |
CN108366265A (zh) | 一种基于时空相关性的分布式视频边信息生成方法 | |
Lu et al. | An artifact information based motion vector processing method for motion compensated frame interpolation | |
Kimura et al. | Accurate motion estimation for image of spatial periodic pattern | |
CN102572438A (zh) | 一种基于图像纹理和运动特征的运动预测方法 | |
Chen et al. | Improving temporal error concealment by GRNN in video communication |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A Video Error Hiding Method Based on Motion Vector Extrapolation and Image Gradient Weighting Effective date of registration: 20231226 Granted publication date: 20191224 Pledgee: Wuhan area branch of Hubei pilot free trade zone of Bank of China Ltd. Pledgor: WUHAN XINGTU XINKE ELECTRONIC Co.,Ltd. Registration number: Y2023980073771 |
|
PE01 | Entry into force of the registration of the contract for pledge of patent right |