CN110351568A - 一种基于深度卷积网络的视频环路滤波器 - Google Patents

Abstract

本发明公开了一种基于深度卷积网络的视频环路滤波方法，步骤1、制作用于环路滤波网络训练的训练数据集；步骤2、构建用于视频滤波的网络模型；步骤3、将步骤1获得的训练数据集作为网络的训练集，分别训练用于帧内预测帧滤波和帧间预测帧滤波的两部分模型，这两部分模型构成视频滤波网络模型；以最小化损失函数为优化目标，对视频滤波网络模型进行训练；步骤4、将步骤3中训练好的视频滤波网络模型整合到视频编码软件中，以完成整个视频编码过程，得到经视频滤波网络后的重建帧。本发明较传统滤波方法提高了视频重建帧的图像质量，提高帧间预测的准确性，提高编码效率，滤波后的图像帧具有更高的重建质量，极大地提高了视频编码效率。

Description

一种基于深度卷积网络的视频环路滤波器

技术领域

本发明属于计算机视觉领域和视频编码领域，具体涉及一种基于深度卷积网络的视频环路滤波器。

背景技术

作为最先进的视频编码标准，HEVC(High Efficiency Video Coding)较之前的视频编码标准压缩效率提升巨大。尽管HEVC的环路滤波器显著的提升了视频编码中重建帧的质量，但HEVC的环路滤波技术也存在诸多局限性。例如，压缩后的视频还是存在由量化引起的令人不悦的图像失真。随着互联网和新媒体的发展，每天都会播放和传播越来越多的视频。因此，迫切需要提供质量更高，体积更小的视频。

所有现存的编码标准都采用混合编码框架，包括帧内/帧间预测、变化和量化等过程。由于对图像频域系数粗糙的量化和帧间预测时的运动补偿，在视频重建帧中不可避免的引起了诸如块效应、振铃效应、图像模糊等大量失真。环路滤波器已经成为视频编码中十分重要的技术，其不仅可以通过减少压缩失真直接提高解码端解码帧的质量，也可以提高帧间预测参考帧的质量，通过运动补偿减少编码比特数。

去方块滤波旨在降低重建帧的方块效应，当量化参数较小，图像不存在明显的块效应时，去方块滤波很难带来有效的质量提升。像素自适应补偿对重建帧中的像素进行粗粒度处理，带来的重建帧质量提升有限，且需要传输大量自适应补偿参数到解码端，增加了编码比特数。这难以满足人们对于低比特、高质量视频的需求。

发明内容

本发明旨在针对现有视频环路滤波器的局限性，提出一种基于深度卷积网络的视频环路滤波方法，利用基于深度卷积网络学习获得的网络模型，实现失真图像与原始图像间更加精准的的非线性映射，并取代了传统滤波器中的取方块滤波器和自适应像素补偿，从而实现视频滤波。

本发明的一种基于深度卷积网络的视频环路滤波方法，包括以下步骤：

步骤1、选择图像数据集和视频数据集，对数据集中未压缩的原始图像和视频进行压缩，将图像数据集压缩后得到的失真图像和原始图像制作成帧内预测帧滤波网络的训练数据集；将视频压缩后的得到的失真图像帧和原始图像帧制作成帧间预测滤波网络的训练数据集；

步骤2、构建用于视频滤波的网络模型，该模型包括多个卷积层、激活层和归一化层，不同卷积层之间存在跨卷积层短路连接；第一层卷积层将输入图像表征成特征图，最后一层的卷积层则重建压缩图像与原始图像间的残差，中间层为失真图像与原始图像的非线性映射的残差学习单元；

步骤3、将步骤1获得的两种训练数据集，分别训练用于帧内预测帧滤波和帧间预测帧滤波的两种不同特性的网络模型，这两种模型分别对视频中不同类型的帧进行滤波；以最小化损失函数为优化目标，对视频滤波网络模型进行训练，两种模型的损失函数相同，只是训练的数据集不同，训练出的两个模型特性不同，分别针对不同类型的视频帧滤波。给定训练集N为训练集中训练亮度块的个数，xⁱ为压缩后失真的亮度块，yⁱ为未压缩的原始亮度块；则亮度网络的损失函数数学表达如下：

其中，Θ表示网络的参数集，该损失函数通过反向传播小批量随机梯度下降算法优化，网络模型的初始权重使用适用于ReLU激活函数的MSRA初始化方法；

步骤4、将步骤3中训练好的视频滤波网络模型整合到视频编码软件中，除去编码软件中的去方块滤波和自适应像素补偿模块，以完成整个视频编码过程，得到经视频滤波网络后的重建帧。

本发明较传统滤波方法提高了视频重建帧的图像质量，经网络滤波后的高质量的视频帧可进一步用作参考图像，提高帧间预测的准确性；

此外，本发明不需要编码和传送任何参数到解码端，减少了编码视频所需的比特数；滤波后的图像帧具有更高的重建质量，且不不需要向编码比特流中写入任何参数，极大地提高了视频编码效率。

附图说明

图1为本发明的一种基于深度卷积网络的视频环路滤波方法整体流程图；

图2为本发明的实施例网络模型的结构示意图。

具体实施方式

下面结合附图和实施例对本发明技术方案进行详细描述。

步骤1、针对帧内预测帧和帧间预测帧不同的失真特性，本实施例选取了两个不同的数据集来分别制作用于帧内预测帧和帧间预测帧网络的训练集。

对于帧内预测帧，本实施例选择包含1338张自然图像的UCID(UncompressedColour Image Database)图像数据集，数据集中每张图像使用HEVC参考软件在全帧内(AllIntra)，关闭去方块滤波和自适应像素补偿的配置下进行压缩，将压缩后的图像分成35x35的像素块，并与原始图像一起制作成帧内预测帧滤波网络的训练集。

对于帧间预测，本实施例选用了15个不同分辨率的HEVC标准视频，每个视频每五帧选取一帧共提取五十帧，对这15个视频子序列使用HEVC参考软件在随机访问(RandomAccess)，关闭去方块滤波和自适应像素补偿的配置下进行压缩，将压缩后的图像分成35×35的像素块，并与原始图像一起制作成帧间预测帧滤波网络的训练集。

步骤2、考虑到网络深度与计算复杂度之间的平衡，本实施例的网络包含5个残差单元，共12层，继续增加网络深度对网络性能提升不大，却会增加网络计算复杂度。网络的第一层卷积层将输入图像表征成特征图，特征图的数目与该层卷积核的个数有关。最后一层的卷积层则重建压缩图像与原始图像间的残差，网络中间部分为5个残差单元，学习失真图像与原始图像的非线性映射。具体来说，网络使用了两种残差学习策略(即外部残差学习策略和内部残差学习)，来克服深层网络难以训练的问题。一种残差学习策略预测输入图像(失真图像)与输出图像(原始图像)之间的残差，而不是直接预测输出图像，该残差学习策略称之为外部残差学习。定义残差图像表达式如下：

R＝Y-X

其中，X表示压缩后的重建图像，Y表示未压缩的原始图像。期望预测残差图像R而不是原始图像Y，因此损失函数变为这里F(x)表示网络输出值。另一种残差学习策略则是在网络内部相邻层之间通过短路连接实现恒等映射，该网络在每两个卷积层之间引入一个短路连接实现恒等映射，这样最小的一个结构称之为残差单元，优化残差映射比原始映射更加容易，该残差学习策略称之为内部残差学习。该方法中除最后一层用于残差图像重建的卷积层外，每一层卷积层都采用采用前向激活结构，该结构将归一化函数和激活函数放在权重层之前，这种前向激活函数使网络训练更加容易且提升了网络的泛化能力。则使用前向激活的残差单元数学表达式如下：

D_l+1＝R(D_l)＝h(D_l)+F(D_l,W_l)

其中，D_l表示第l个残差单元的输入特征，W_l＝{W_{l,k|1≤k≤K}}表示与第l个残差单元相关的权重(包括偏置)，K表示残差单元中的层数，F表示残差函数，h表示恒等映射函数：h(D_l)＝D_l。

内部残差学习策略有效的克服了深层网络退化的问题，外部残差学习策略极大地加快了网络的收敛速度和有效的提高了输出图像的质量。此外，该方法将训练好的模型整合到视频编解码软件中，不需要任何额外的预处理和后处理过程，实现了端到端的视频编解码，方便了编解码***的部署和使用。

在网络模型的构造过程中，考虑到网络模型的体积和计算复杂度，必须尽可能的减少模型参数量，为此所有的卷积层都使用3×3的卷积核，除最后一层卷积层外，所有的卷积层的卷积核数目均为64。网络模型的开头引入一层卷积层，该层将输入图像表征成特征图，特征图的数目与该层卷积核的个数有关。然后将数个残差单元堆叠在一起。最后一层卷积层重建压缩图像与原始图像间的残差。假设x为网络的输入，则D₀＝f_a(x)为第一层卷积层的输出，f_a为第一层卷积层的函数。第m个残差单元的输出为：

D_m＝R^(m)(f_a(x))＝R(R(...R(f_a(x))...))

当网络中的残差单元数为M时，该网络可如下表示:

y＝N(x)＝f_l(D_M)+x＝f_l(R(R(...R(f_a(x))...)))+x.

其中，f_i为最后一层卷积层的函数。

考虑到深层网络的退化问题，本实例中在每两个卷积层之间添加了短路连接，有效的克服了深层网络难以训练的问题，解决了网络退化问题，增强了网络的学习能力。网络学习压缩后失真图像与原始图像间的残差，则进一步加快网络的收敛速度，提高重建图像的质量。网络的输入图像被分割成固定大小的像素块(64×64)分别处理，一方面可以减少网络计算所需的物理内存，另一方面可以保证不同分辨率的视频都使用同一网络进行滤波。本例中每个卷积层的激活函数选用修正线性单元ReLU函数：

f(x)＝max(0,x)

ReLU激活函数在深度卷积网络中能够更好的传递损失函数的梯度，帮助模型更快的收敛，有效地防止梯度弥散。

步骤3、用步骤1中制作好的两个训练集分别训练两个不同的网络模型，分别用于帧内预测帧和帧间预测帧滤波。训练平台使用Caffe，批大小设置为64，激活函数为ReLU，初始化方法使用MSRA。损失函数为

动量参数为0.9，权重衰减为0.0001，优化方法使用随机梯度下降，初始学习率设置为0.1，训练集每训练10轮学习率减为原来的0.25，共训练80轮，可调梯度剪裁用来加快网络的收敛速度。本例中网络训练时的具体参数总结如下：

参数名	参数值
		输入图像块大小(block size)	35×35
批大小(batch size)	64
		迭代次数(epochs)	80epochs
动量参数(momentum parameter)	0.9
		权重衰减(weight decay)	0.0001
学习率(learning rate)	0.1，每10个epochs乘以0.25

步骤4、将训练好的网络模型整合到HEVC参考软件中，首先除去编码软件中的去方块滤波和自适应像素补偿模块，将由编码软件得到的图像分割成64×64的像素块，调用Caffe的C++接口，判断滤波图像是帧内预测帧还是帧间预测帧，根据不同的帧类型使用对应训练好的网络模型对未滤波的64×64的像素块进行滤波，最后由所有滤波后的像素块组成重建图像。该过程实现编码软件端到端的编解码处理，不需要任何预处理和后处理过程，易于编解码***的部署和实际使用。

本例中的网络模型使用深层网络，同时使用两种不同的残差学习策略，并针对帧内预测帧和帧间预测帧不同的失真特性，制作两种不同的训练集用于分别训练两个不同的网络模型，实现了失真像素与原始像素间精准的非线性映射，对于不同分辨率、不同内容的视频都具有良好的通用性。

Claims (3)

1.一种基于深度卷积网络的视频环路滤波方法，其特征在于，该方法包括以下流程：

步骤1、选择图像数据集和视频数据集，对数据集中未压缩的原始图像和视频进行压缩，将图像数据集压缩后得到的失真图像和原始图像制作成帧内预测帧滤波网络的训练数据集；将视频压缩后的得到的失真图像帧和原始图像帧制作成帧间预测滤波网络的训练数据集；

步骤2、构建用于视频滤波的网络模型，该模型包括多个卷积层、激活层和归一化层，不同卷积层之间存在跨卷积层短路连接；第一层卷积层将输入图像表征成特征图，最后一层的卷积层则重建压缩图像与原始图像间的残差，中间层为失真图像与原始图像的非线性映射的残差学习单元；

步骤3、将步骤1获得的两种训练数据集，分别训练用于帧内预测帧滤波和帧间预测帧滤波的两种不同特性的网络模型，这两种模型分别对视频中不同类型的帧进行滤波；以最小化损失函数为优化目标，对视频滤波网络模型进行训练，两种模型的损失函数相同，只是训练的数据集不同，训练出的两个模型特性不同，分别针对不同类型的视频帧滤波。给定训练集N为训练集中训练亮度块的个数，xⁱ为压缩后失真的亮度块，yⁱ为未压缩的原始亮度块；则亮度网络的损失函数数学表达如下：

其中，Θ表示网络的参数集，该损失函数通过反向传播小批量随机梯度下降算法优化，网络模型的初始权重使用适用于ReLU激活函数的MSRA初始化方法；

步骤4、将步骤3中训练好的视频滤波网络模型整合到视频编码软件中，除去编码软件中的去方块滤波和自适应像素补偿模块，以完成整个视频编码过程，得到经视频滤波网络后的重建帧。

2.如权利要求1所述的一种基于深度卷积网络的视频环路滤波方法，其特征在于，所述步骤2中的残差单元采用两种外部残差学习策略，定义残差图像R的表达式如下：

R＝Y-X

其中，X表示压缩后的重建图像，Y表示未压缩的原始图像。

3.如权利要求1所述的一种基于深度卷积网络的视频环路滤波方法，其特征在于，所述步骤2中的残差单元采用两种外部残差学习策略，定义残差图像R的表达式如下：

D_l+1＝R(D_l)＝h(D_l)+F(D_l,W_l)

其中，D_l表示第l个残差单元的输入特征，W_l＝{W_{l,k|1≤k≤K}}表示与第l个残差单元相关的权重(包括偏置)，K表示残差单元中的层数，F表示残差函数，h表示恒等映射函数：h(D_l)＝D_l。