CN114071166A - 一种结合qp检测的hevc压缩视频质量提升方法 - Google Patents
一种结合qp检测的hevc压缩视频质量提升方法 Download PDFInfo
- Publication number
- CN114071166A CN114071166A CN202010773917.0A CN202010773917A CN114071166A CN 114071166 A CN114071166 A CN 114071166A CN 202010773917 A CN202010773917 A CN 202010773917A CN 114071166 A CN114071166 A CN 114071166A
- Authority
- CN
- China
- Prior art keywords
- video
- quality
- hevc
- frame
- compressed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公布了一种结合QP检测的HEVC压缩视频质量提升方法,主要包括以下步骤:首先检测解码视频帧的QP,根据检测的结果选取对应的网络模型提升视频帧的质量。视频后处理模型采用时空网络结构,在空间上,采用了改进后的U‑Net分层的网络结构,通过减小特征映射的尺寸来减小数据量,同时减小压缩效应的尺寸。另外还结合了多个不同的卷积核提取视频帧的多尺度空间先验信息。在时间上,由于视频帧之间的相关性和质量波动特点,提取了目标帧与多个相邻帧之间的运动流图信息,这样助于弥补目标帧缺失的细节信息,并结合增强后的I帧来恢复目标帧的高频细节。实验结果表明,本发明方法能够有效地抑制视频的压缩效应,提升视频质量,获得更好的视觉效果。
Description
技术领域
本发明涉及QP检测和压缩视频质量提升技术,具体涉及一种结合QP检测的HEVC压缩视频质量提升方法,属于图像通信领域。
背景技术
视频编码标准HEVC已经越来越广泛地运用在互联网上来生成视频流。与以前的视频编码标准一样,HEVC压缩视频也会产生压缩效应,如块效应、振铃效应、模糊等,这些压缩效应的存在严重影响了用户的体验。为了削弱压缩效应的影响,HEVC中采用了环路滤波技术,包括去方块滤波DF和样点自适应补偿SAO两个环路后处理模块,可恢复受损视频的主客观质量,也有助于提高压缩效率。尽管HEVC自带着环路滤波技术,但也很难保证其编码的最佳效率,所以关于去压缩效应的研究工作仍在进行中。
深度学习在计算机视觉和图像处理领域取得了令人瞩目的成就。当前,基于深度学习的方法也被应用于提高解码视频的质量。对于HEVC标准,大多数后处理方法均是在量化参数已知的情况下来进行的。然而,由于实际压缩视频的量化参数QP可能是未知的,在这种情况下,也需要实用的视频去压缩方法。众所周知,使用已知质量因子场景训练的CNN要比未知质量因子场景训练的CNN更有效果。那么对于视频而言,量化参数便成了一个很重要的纽带。通过检测量化参数便可以将实际的盲状态转换为非盲状态,对于压缩视频质量的提升会起到事半功倍的效果。
发明内容
本发明的目的是为了检测出HEVC标准压缩后的视频的质量因子,并根据此质量因子选择对应的后处理模型来提升HEVC标准压缩后的视频帧的质量。
本发明所提出的一种结合QP检测的HEVC压缩视频质量提升方法,主要包括以下操作步骤:
(1)设计HEVC压缩视频质量因子检测器。
(2)训练不同QP的HEVC压缩视频后处理模型。
(3)根据(1)中的QP检测器,检测HEVC标准测试视频序列压缩后的量化参数,根据检测结果选取(2)中对应的训练好的后处理模型,在输入端输入上述HEVC压缩后的测试视频序列,在输出端得到提升质量后的视频序列。
附图说明
图1是本发明结合QP检测的HEVC压缩视频质量提升方法的框图。
图2是本发明的QP检测网络。
图3是本发明的HEVC后处理结构图。
图4是本发明的MS多尺度模块结构图。
图5是本发明的PM投影模块。
图6是KristenAndSara_1280×720序列在QP=42时,HEVC标准和本发明方法以及两种对比方法的主观效果视觉质量对比图,图(a)是该序列经过HEVC标准压缩后的一帧,PSNR为33.49dB,图(b)是该序列经过HEVC标准压缩后再经过对比方法[1]处理后的同一帧,PSNR为34.01dB,图(c)是该序列经过HEVC标准压缩后再经过对比方法[2]处理后的同一帧,PSNR为34.36dB,图(d)是该序列经过HEVC标准压缩后再经过本发明处理后的同一帧,PSNR为34.67dB。
图7是RaceHorses_416×240序列QP=42时,HEVC标准和本发明方法以及两种对比方法的主观效果视觉质量对比图,图(a)是该序列经过HEVC标准压缩后的一帧,PSNR为26.09dB,图(b)是该序列经过HEVC标准压缩后再经过对比方法[1]处理后的同一帧,PSNR为26.37dB,图(c)是该序列经过HEVC标准压缩后再经过对比方法[2]处理后的同一帧,PSNR为26.32dB,图(d)是该序列经过HEVC标准压缩后再经过本发明处理后的同一帧,PSNR为26.69dB。
具体实施方式
下面结合附图对本发明作进一步说明。
图1中,具体涉及一种结合QP检测的HEVC压缩视频质量提升方法,具体可以分为以下几个步骤:
(1)设计HEVC压缩视频质量因子检测器。
(2)训练不同QP的HEVC压缩视频后处理模型。
(3)根据(1)中的QP检测器,检测HEVC标准压缩后的视频序列的量化参数,根据检测结果选取(2)中对应的训练好的后处理模型,在输入端输入HEVC标准压缩后的视频序列,在输出端得到提升质量后的视频序列。
具体地,所示步骤(1)中,构建视频帧样本块QP检测网络,本发明网络结构如图2所示,采用19层卷积核为3×3的卷积层,卷积步长固定为1个像素。网络中包含3个最大池化层,每个池化层在2×2的窗口上执行,步长为2,每两个池化层之间间隔4层卷积层。第3个池化层之后是3个完全连接层,每层包含512个信道,最后一层是Soft-max层。输入样本块的尺寸设置为64×64。
在构建训练集时,原始图像进行非重叠分块,分为64×64大小的样本块,然后采用Kirsch算子将样本块转换为梯度域,再分别计算样本块在像素域和梯度域的方差,若样本块在梯度域中的方差大于等于1028,则判断该样本块在像素域中的方差,若梯度域方差小于1028,则舍弃该样本块;若样本块在像素域中的方差大于等于3050,则将该样本块加入纹理样本块集合,若像素域方差小于3050,则舍弃该样本块。
所示步骤(2)中,本发明设计了结合相邻帧的时空网络结构,网络结构图如图3所示,在时间上,由于视频帧之间的相关性和质量波动特点,本发明利用PM投影模块结合目标帧与多个相邻帧之间的运动流图来弥补目标帧的细节信息,并结合恢复后的I帧来弥补更多的高频细节。在空间上,本发明利用MS多尺度模块捕获视频帧的多尺度空间先验信息。该模块采用了7×7,5×5,3×3大小的卷积捕获多尺度空间先验信息。网络整体上分为收缩路径和扩展路径两个部分。在收缩路径中采用7×7和5×5的卷积核获取视频帧的两种尺度的特征,获得特征的通道数均为64。本发明中,5×5卷积核的步长设置为2,特征映射被下采样为原始大小的四分之一,与此同时,将输出特征映射的数量加倍,即变为128,然后采用残差组进行特征增强。本章的网络结构沿着路径循环两次上述过程。第二次进行特征缩放时,采用3×3卷积核。在扩展路径中,采用亚像素插值方法对特征映射进行上采样,本发明通过Concat操作将上采样块的输出与下采样块的输入相连接。同样,在扩展路径中,本发明的网络沿着路径循环两次上述过程。经过扩展路径之后,网络采用1×1卷积来产生最终的输出。最后,将全局残差学习应用到本发明的网络中,通过将学习到的残差信息应用到输入视频帧来生成输出视频帧。
所示步骤(3)中,由于实际压缩视频的码流信息是未知的,码流信息中的重要参数—量化参数,可以作为反映视频帧压缩质量的代表参数,未知量化参数的压缩视频首先输入到步骤(1)中提出的视频质量因子检测器,估测到对应的质量因子,根据质量因子选择步骤(2)中训练好的对应的后处理模型,然后,这些压缩视频再输入到选择好的后处理模型,最后得到质量提升的视频帧。
为了更好地说明本发明的有效性,选择出两个测试序列“KristenAndSara_1280×720”,“RaceHorses_416×240”与压缩标准HEVC以及其他方法对比,主观视觉效果如图3及图4所示。表一展示了本发明方法及视频压缩标准HEVC的SSIM和PSNR对比,表明了本发明算法能有效提升压缩视频的质量。表二展示了本发明与其他方法的PSNR对比,表明了本发明优于经典的卷积神经网络方法,实验结果对于其他测试序列具有普适性。
对比的方法为:
方法1:Kim Y,Soh J W,Park J等人提出的方法,参考文献“A Pseudo-BlindConvolutional Neural Network for the Reduction of Compression Artifacts[J].IEEE Transactions on Circuits Systems for Video Technology,2019,30(4):1121-1135.”。
方法2:Lu M,Chen T,Liu H等人提出的方法,参考文献“Learned ImageRestoration for VVC Intra Coding[C]//Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition Workshops.2019:16-20.”。
表一 HEVC标准和本发明的PSNR对比
表二 本发明与对比方法的PSNR对比
Claims (4)
1.一种结合QP检测的HEVC压缩视频质量提升方法,其特征在于包括以下步骤:
步骤一:设计HEVC压缩视频质量因子检测器;
步骤二:训练不同QP下的HEVC压缩视频后处理模型;
步骤三:根据步骤一中的QP检测器,检测HEVC标准压缩后的视频序列的量化参数,根据检测结果选取步骤二中对应的训练好的后处理模型,在输入端输入HEVC标准压缩后的视频序列,在输出端得到提升质量后的视频序列。
2.根据权利要求1所述的一种结合QP检测的HEVC压缩视频质量提升方法,其特征在于步骤一中所述的HEVC压缩视频质量因子检测器,该检测器通过Kirsch算子提取压缩视频的空域边缘信息,然后结合样本块在梯度域和像素域中的方差来区分光滑和纹理区域,最后使用质量因子检测器检测纹理样本块的质量因子,将检测结果作为整个视频帧的质量因子。
3.根据权利要求1所述的一种结合QP检测的HEVC压缩视频质量提升方法,其特征在于步骤二中所述的HEVC压缩视频后处理模型,该后处理模型是一种结合相邻帧的时空网络结构,在空间上,该模型提出了一种MS多尺度模块,该模块采用了7×7,5×5,3×3大小的卷积捕获多尺度空间先验信息,在时间上,该模型根据视频帧的质量波动特点和相关性,利用PM投影模块结合目标帧与多个相邻帧之间的运动流图来弥补目标帧的细节信息来进一步提升视频帧的质量。
4.根据权利要求1所述的一种结合QP检测的HEVC压缩视频质量提升方法,其特征在于步骤三中所述的过程,该过程由于实际压缩视频的码流信息是未知的,码流信息中的重要参数—量化参数,可以作为反映视频帧压缩质量的代表参数,未知量化参数的压缩视频首先输入到步骤一中提出的视频质量因子检测器,估测到对应的质量因子,根据质量因子选择步骤二中训练好的对应的后处理模型,然后,这些压缩视频再输入到选择好的后处理模型,最后得到质量提升的视频帧。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010773917.0A CN114071166B (zh) | 2020-08-04 | 2020-08-04 | 一种结合qp检测的hevc压缩视频质量提升方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010773917.0A CN114071166B (zh) | 2020-08-04 | 2020-08-04 | 一种结合qp检测的hevc压缩视频质量提升方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114071166A true CN114071166A (zh) | 2022-02-18 |
CN114071166B CN114071166B (zh) | 2023-03-03 |
Family
ID=80232110
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010773917.0A Active CN114071166B (zh) | 2020-08-04 | 2020-08-04 | 一种结合qp检测的hevc压缩视频质量提升方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114071166B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110194616A1 (en) * | 2008-10-01 | 2011-08-11 | Nxp B.V. | Embedded video compression for hybrid contents |
CN102970528A (zh) * | 2012-12-28 | 2013-03-13 | 北京航空航天大学 | 基于变化检测和帧差累积的视频对象分割方法 |
CN103281554A (zh) * | 2013-04-23 | 2013-09-04 | 宁波大学 | 一种基于人眼视觉特性的视频客观质量评价方法 |
CN108989802A (zh) * | 2018-08-14 | 2018-12-11 | 华中科技大学 | 一种利用帧间关系的hevc视频流的质量估计方法及*** |
CN109257600A (zh) * | 2018-11-28 | 2019-01-22 | 福建帝视信息科技有限公司 | 一种基于深度学习的视频压缩伪影自适应去除方法 |
CN111311490A (zh) * | 2020-01-20 | 2020-06-19 | 陕西师范大学 | 基于多帧融合光流的视频超分辨率重建方法 |
-
2020
- 2020-08-04 CN CN202010773917.0A patent/CN114071166B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110194616A1 (en) * | 2008-10-01 | 2011-08-11 | Nxp B.V. | Embedded video compression for hybrid contents |
CN102970528A (zh) * | 2012-12-28 | 2013-03-13 | 北京航空航天大学 | 基于变化检测和帧差累积的视频对象分割方法 |
CN103281554A (zh) * | 2013-04-23 | 2013-09-04 | 宁波大学 | 一种基于人眼视觉特性的视频客观质量评价方法 |
CN108989802A (zh) * | 2018-08-14 | 2018-12-11 | 华中科技大学 | 一种利用帧间关系的hevc视频流的质量估计方法及*** |
CN109257600A (zh) * | 2018-11-28 | 2019-01-22 | 福建帝视信息科技有限公司 | 一种基于深度学习的视频压缩伪影自适应去除方法 |
CN111311490A (zh) * | 2020-01-20 | 2020-06-19 | 陕西师范大学 | 基于多帧融合光流的视频超分辨率重建方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114071166B (zh) | 2023-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Liang et al. | Vrt: A video restoration transformer | |
Xu et al. | Non-local convlstm for video compression artifact reduction | |
CN111028150B (zh) | 一种快速时空残差注意力视频超分辨率重建方法 | |
Maggioni et al. | Video denoising, deblocking, and enhancement through separable 4-D nonlocal spatiotemporal transforms | |
Chen et al. | DPW-SDNet: Dual pixel-wavelet domain deep CNNs for soft decoding of JPEG-compressed images | |
Maggioni et al. | Video denoising using separable 4D nonlocal spatiotemporal transforms | |
CN108900848B (zh) | 一种基于自适应可分离卷积的视频质量增强方法 | |
Wu et al. | Learned block-based hybrid image compression | |
WO2007071172A1 (en) | Auto-regressive method and filter for denoising images and videos | |
Pizurica et al. | Noise reduction in video sequences using wavelet-domain and temporal filtering | |
Xiong et al. | Sparse spatio-temporal representation with adaptive regularized dictionary learning for low bit-rate video coding | |
Li et al. | An in-loop filter based on low-complexity CNN using residuals in intra video coding | |
CN108259791B (zh) | 一种从视频文件中提取prnu噪声的方法 | |
Lu et al. | Learned quality enhancement via multi-frame priors for HEVC compliant low-delay applications | |
CN112218094A (zh) | 一种基于dct系数预测的jpeg图像去压缩效应方法 | |
Chen et al. | A feature-enriched deep convolutional neural network for JPEG image compression artifacts reduction and its applications | |
CN113066022A (zh) | 一种基于高效时空信息融合的视频比特增强方法 | |
Jia et al. | Residual guided deblocking with deep learning | |
Hsu et al. | Wavelet approximation-aware residual network for single image deraining | |
CN114071166B (zh) | 一种结合qp检测的hevc压缩视频质量提升方法 | |
CN116977208A (zh) | 双分支融合的低照度图像增强方法 | |
Sadaka et al. | Efficient super-resolution driven by saliency selectivity | |
Farinella et al. | On the application of structured sparse model selection to JPEG compressed images | |
CN115272113A (zh) | 一种基于多尺度频率分离网络的图像去模糊方法 | |
Ehret et al. | Implementation of the vbm3d video denoising method and some variants |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |