CN115396667A - 一种基于可变形卷积的宽qp范围环路滤波方法 - Google Patents

一种基于可变形卷积的宽qp范围环路滤波方法 Download PDF

Info

Publication number
CN115396667A
CN115396667A CN202211005433.7A CN202211005433A CN115396667A CN 115396667 A CN115396667 A CN 115396667A CN 202211005433 A CN202211005433 A CN 202211005433A CN 115396667 A CN115396667 A CN 115396667A
Authority
CN
China
Prior art keywords
feature
module
convolution
deformable convolution
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202211005433.7A
Other languages
English (en)
Inventor
陈婧
王飞锋
曾焕强
朱建清
蔡灿辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaqiao University
Original Assignee
Huaqiao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaqiao University filed Critical Huaqiao University
Priority to CN202211005433.7A priority Critical patent/CN115396667A/zh
Publication of CN115396667A publication Critical patent/CN115396667A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种基于可变形卷积的宽QP范围环路滤波方法，属于视频编码领域。本方法利用可变形卷积灵活的感受野与形变建模能力，自动学习视频特征，并通过密集残差连接，进行特征强化，以达到增强压缩视频质量的目的；同时提出一种QP注意力模块，提高该方法的泛化能力，使该方法能够同时提升不同QP下的压缩视频质量。本发明方法能够显著提升压缩视频的主客观质量。

Description

一种基于可变形卷积的宽QP范围环路滤波方法
技术领域
本发明涉及视频编解码领域，尤其涉及一种基于可变形卷积的宽QP范围环路滤波方法。
背景技术
现有的视频编码标准，如H.264、HEVC、AV1等均使用基于块的编码结构，而编码块间缺乏相关性，导致压缩后的视频中产生明显的块效应，极大地影响了视频的观看体验。因此视频编码过程中通常使用环路滤波模块，以降低视频中的块效应等压缩伪影，提升视频编码性能。
传统环路滤波器受限于计算复杂度问题，对视频质量的改善效果有限。尽管当前的深度学习方法显著提升了视频编码中环路滤波器的性能潜力，现有的基于深度学习的网络模型仅对单一量化参数(Quantization Parameter，QP)有效，若测试视频的量化参数与假设的取值不匹配，则会导致模型的处理性能大大降低。现有环路滤波方法对不同QP压缩的视频的处理中，需要针对某一特定量化参数(或者某一个小量化参数范围)分别训练出一个模型，进行滤波，这造成了额外的存储负担，影响方法模型的实际部署。因此，如何设计出单一模型能够同时处理宽QP范围压缩后的视频，并获得较好的视频主客观质量，是一个亟待解决的问题。
发明内容
本发明的目的在于提高HEVC的环路滤波器性能，提出一种基于可变形卷积的宽QP范围环路滤波方法。
本发明解决其技术问题所采用的技术方案是：
一种基于可变形卷积的宽QP范围环路滤波方法，包括：
步骤1：制作数据集。收集大量视频、图片，并将其转换为HEVC编码所需的YUV420格式，利用HEVC标准测试平台HM-16.9，以全I帧配置模式对其进行编码，编码过程中关闭平台中的环路滤波模块，获得4种量化等级下(QP＝22，27，32，37)的未滤波重建视频作为训练集。
步骤2：构建网络模型。该网络模型主要由3个模块组成：基于可变形卷积的轻量型特征生成模块、QP注意力模块、和基于通道注意力机制的特征增强模块。
步骤3：特征提取模块处理。将压缩后的视频图像输入基于可变形卷积的轻量型特征生成模块，该模块由一个U型网络组成。基于可变形卷积的轻量型特征提取模块的主要组成部分是一个U型网络，其主要由压缩模块与扩展模块组成。压缩模块包含3个卷积块，每个卷积块包含两个卷积层，层间由激活函数PReLU连接。为了压缩所得特征，第2个卷积的步长为2，在维持特征图数目不变的同时将特征图尺寸缩小为1/2，最终得到尺寸为原来1/8的特征图。降采样后的特征图输入特征扩展模块。该路径同样由3个卷积块组成，每个卷积块开始之前通过反卷积将特征图的尺寸放大2倍，然后使用跳跃连接和左侧对称的压缩模块的特征图进行合并，经过3个特征扩展模块，最后输出与输入大小一致的特征图。经过U型网络压缩与激发后的特征图，输入后续的可变形卷积层，学习二维坐标偏移进一步提取特征中的形变信息。
步骤4：QP注意力模块处理。该模块主要由生成器与控制器组成，生成器与控制器的实质是两个多层感知器(Multi-Layer Perceptron，MLP)。生成器、控制器的层数分别与U型网络中压缩、扩展模块中的卷积块个数相同，在本章实验中设置为3。生成器的输入为当前编码的量化参数QP，经由3个节点数均为64的线性层，生成64个QP特征fQP。控制器以生成器的输出作为输入，根据相应的QP特征fQP，控制输出的特征图。该控制器可以根据输入的QP特征学习一组特征图的仿射变换映射函数M，即每个线性层均可根据QP特征学习到一组与QP有关的调制参数对(γ,β)，并根据(γ,β)自适应调整输出特征图。
步骤5：特征增强模块处理。该模块主要由3个密集块(Dense Block)和一个压缩激励通道注意力模块(Squeeze and Excitation，SE)组成的残差块。该模块采用了密集连接，大大扩充了网络的容量，前向的卷积层的输出特征图为后向反卷积层输入，通过跨层特征共享，以获得更好的特征表达，同时缓解了网络训练过程中的梯度消失现象，提升了网络的可训练性。而SE模块首先对输入特征使用最大池化以压缩特征，随后经两层卷积进行特征激发，最后利用Sigmoid激活门机制，获取通道相关的权重，通过该权重控制RDB的每个输出特征通道的重要性，增强特征的指向性。
步骤6：特征融合处理。将上述三个模块提取出的特征与原始输入的压缩视频图像进行融合，得到最终融合增强的视频图像。
与现有技术相比，本发明具有如下有益效果：
1.本发明提出了一种基于可变形卷积的宽QP范围环路滤波方法，采用的基于可变形卷积的环路滤波模型，能够有效地增强压缩视频的主客观质量，并显著提升视频编码器的编码效率。
2.本发明采用的QP注意力模型能够有效地提高网络模型的泛化能力，使得整个网络能以单一模型，同时处理多个QP压缩后的视频。
以下结合附图及实施例对本发明作进一步详细说明，但本发明的一种基于可变形卷积的宽QP范围环路滤波方法不局限于实施例。
附图说明
图1为本发明方法的流程示意图。
具体实施方式
参见图1所示，本发明为了解决现有HEVC环路滤波性能有限的问题，提供一种基于可变形卷积的宽QP范围环路滤波方法，具体步骤如下：
步骤1：制作数据集。收集大量视频、图片，并将其转换为HEVC编码所需的YUV420格式，利用HEVC标准测试平台HM-16.9，以全I帧配置模式对其进行编码，编码过程中关闭平台中的环路滤波模块，获得4种量化等级下(QP＝22，27，32，37)的未滤波重建视频作为训练集。
步骤2：构建网络模型。该网络模型主要由3个模块组成：基于可变形卷积的轻量型特征生成模块、QP注意力模块、和基于通道注意力机制的特征增强模块。
步骤3：特征提取模块处理。将压缩后的视频图像输入基于可变形卷积的轻量型特征生成模块，该模块由一个U型网络组成。基于可变形卷积的轻量型特征提取模块的主要组成部分是一个U型网络，其主要由压缩模块与扩展模块组成。压缩模块包含3个卷积块，每个卷积块包含两个卷积层，层间由激活函数PReLU连接。为了压缩所得特征，第2个卷积的步长为2，在维持特征图数目不变的同时将特征图尺寸缩小为1/2，最终得到尺寸为原来1/8的特征图。降采样后的特征图输入特征扩展模块。该路径同样由3个卷积块组成，每个卷积块开始之前通过反卷积将特征图的尺寸放大2倍，然后使用跳跃连接和左侧对称的压缩模块的特征图进行合并，经过3个特征扩展模块，最后输出与输入大小一致的特征图。经过U型网络压缩与激发后的特征图，输入后续的可变形卷积层，学习二维坐标偏移进一步提取特征中的形变信息。
步骤4：QP注意力模块处理。该模块主要由生成器与控制器组成，生成器与控制器的实质是两个多层感知器(Multi-Layer Perceptron，MLP)。生成器、控制器的层数分别与U型网络中压缩、扩展模块中的卷积块个数相同，在本章实验中设置为3。生成器的输入为当前编码的量化参数QP，经由3个节点数均为64的线性层，生成64个QP特征fQP。控制器以生成器的输出作为输入，根据相应的QP特征fQP，控制输出的特征图。该控制器可以根据输入的QP特征学习一组特征图的仿射变换映射函数M，即每个线性层均可根据QP特征学习到一组与QP有关的调制参数对(γ,β)，并根据(γ,β)自适应调整输出特征图。
步骤5：特征增强模块处理。该模块主要由3个密集块(Dense Block)和一个压缩激励通道注意力模块(Squeeze and Excitation，SE)组成的残差块。该模块采用了密集连接，大大扩充了网络的容量，前向的卷积层的输出特征图为后向反卷积层输入，通过跨层特征共享，以获得更好的特征表达，同时缓解了网络训练过程中的梯度消失现象，提升了网络的可训练性。而SE模块首先对输入特征使用最大池化以压缩特征，随后经两层卷积进行特征激发，最后利用Sigmoid激活门机制，获取通道相关的权重，通过该权重控制密集块的每个输出特征通道的重要性，增强特征的指向性。
步骤6：特征融合处理。将上述三个模块提取出的特征与原始输入的压缩视频图像进行融合，得到最终融合增强的视频图像。
上述实施例仅是用来说明本发明，而并非用作对本发明的限定，只要是依据本发明的技术实质，对上述实施例进行变化、变型等都将落在本发明的权利要求的范围内。

Claims (1)

1.一种基于可变形卷积的宽QP范围环路滤波方法，其特征在于，包括：
步骤1：制作数据集；
步骤2：构建网络模型；包括3个模块：基于可变形卷积的轻量型特征生成模块、QP注意力模块和基于通道注意力机制的特征增强模块；
步骤3：特征提取模块处理；将经过压缩后的视频图像输入基于可变形卷积的轻量型特征生成模块；所述基于可变形卷积的轻量型特征生成模块由一个U型网络组成，由压缩模块与特征扩展模块组成；压缩模块包含3个卷积块，在维持特征图数目不变的同时将特征图尺寸缩小为1/2，最终得到尺寸为原来1/8的特征图；降采样后的特征图输入特征扩展模块，该路径同样由3个卷积块组成，每个卷积块开始之前通过反卷积将特征图的尺寸放大2倍，然后3个特征扩展模块，最后输出与输入大小一致的特征图；
步骤4：QP注意力模块处理；所述QP注意力模块由生成器与控制器组成，生成器与控制器的实质是两个多层感知器；生成器生成64个QP特征fQP；控制器根据QP特征fQP学习到一组与QP有关的调制参数对(γ,β)，并根据(γ,β)自适应调整输出特征图；
步骤5：特征增强模块处理；所述特征增强模块由3个密集块(Dense Block)和一个压缩激励通道注意力模块(Squeeze and Excitation，SE)组成；
步骤6：特征融合处理；将所述基于可变形卷积的轻量型特征生成模块、QP注意力模块和基于通道注意力机制的特征增强模块提取出的特征与原始输入的压缩视频图像进行融合，得到最终融合增强的视频图像。
CN202211005433.7A 2022-08-22 2022-08-22 一种基于可变形卷积的宽qp范围环路滤波方法 Withdrawn CN115396667A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211005433.7A CN115396667A (zh) 2022-08-22 2022-08-22 一种基于可变形卷积的宽qp范围环路滤波方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211005433.7A CN115396667A (zh) 2022-08-22 2022-08-22 一种基于可变形卷积的宽qp范围环路滤波方法

Publications (1)

Publication Number Publication Date
CN115396667A true CN115396667A (zh) 2022-11-25

Family

ID=84120342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211005433.7A Withdrawn CN115396667A (zh) 2022-08-22 2022-08-22 一种基于可变形卷积的宽qp范围环路滤波方法

Country Status (1)

Country Link
CN (1) CN115396667A (zh)

Similar Documents

Publication Publication Date Title
CN111405283B (zh) 基于深度学习的端到端视频压缩方法、***及存储介质
CN112203093B (zh) 一种基于深度神经网络的信号处理方法
CN111028150B (zh) 一种快速时空残差注意力视频超分辨率重建方法
CN114092330B (zh) 一种轻量化多尺度的红外图像超分辨率重建方法
CN108921910B (zh) 基于可伸缩卷积神经网络的jpeg编码压缩图像复原的方法
CN110933429B (zh) 基于深度神经网络的视频压缩感知与重构方法和装置
CN110351568A (zh) 一种基于深度卷积网络的视频环路滤波器
CN111464814B (zh) 一种基于视差引导融合的虚拟参考帧生成方法
CN113068031B (zh) 一种基于深度学习的环路滤波方法
CN112734867A (zh) 一种基于空谱特征分离提取的多光谱图像压缩方法及***
CN111667406B (zh) 一种基于时域相关性的视频图像超分辨率重建方法
CN113344773A (zh) 基于多级对偶反馈的单张图片重构hdr方法
CN110677644B (zh) 一种视频编码、解码方法及视频编码帧内预测器
CN113068041B (zh) 一种智能仿射运动补偿编码方法
CN114022356A (zh) 基于小波域的河道流量水位遥感图像超分辨率方法与***
CN115604485A (zh) 视频图像的解码方法及装置
CN117041599A (zh) 一种基于hevc-vpcc的帧内快速编码方法及***
CN115396667A (zh) 一种基于可变形卷积的宽qp范围环路滤波方法
CN110519606A (zh) 一种深度视频帧内智能编码方法
CN116347107A (zh) 面向vvc视频编码标准基于可变cnn的qp自适应环路滤波方法
Yang et al. Imrnet: An iterative motion compensation and residual reconstruction network for video compressed sensing
CN113487481B (zh) 基于信息构建和多密集残差块的循环视频超分辨率方法
CN112468826B (zh) 一种基于多层gan的vvc环路滤波方法及***
CN115131254A (zh) 一种基于双域学习的恒定码率压缩视频质量增强方法
CN105704497A (zh) 面向3d-hevc的编码单元尺寸快速选择算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20221125

WW01 Invention patent application withdrawn after publication