CN117853367A - 一种基于多任务学习与边缘导向重参数网络的图像去块效应方法 - Google Patents

Abstract

本发明公开了一种基于多任务学***台会在图像质量与文件大小之间进行平衡，直播场景下低码率会导致视频画面有着较明显的块效应，CDN可能会进行多次转码从而加重失真的问题，其技术方案要点是包括生成数据集，搭建双分支网络，实现多任务学习，选定损失函数，进行两步训练，对边缘导向块重参数化，精简推理模型。达到了利用边缘导向模块可以较好提取、消除量化产生伪边缘与模糊以及加速运算的效果。

Description

一种基于多任务学习与边缘导向重参数网络的图像去块效应 方法

技术领域

本发明涉及数字图像处理与深度学习模型轻量化技术领域，尤其是涉及一种基于多任务学习与边缘导向重参数网络的图像去块效应方法。

背景技术

图像与视频作为信息的主要载体之一，被广泛的应用于生产和生活的各个领域，随着社会信息化进程的加快，大量的图像视频信息被计算机储存和处理。然而，图像视频的数据信息过于庞大，为了方便其传输和储存，一般会对其进行压缩处理，去除冗余的数据，保留图像的有效信息；

JPEG是面向连续色调静态图像的一种压缩标准，其压缩的主要是图像的高频信息，可将图像压缩为很小的储存文件，且对色彩信息保留较好，所以被各种压缩标准广泛采用。然而，通过此方式编码后的图像在视觉上会产生块效应现象，即相邻图像块相关信息缺失，从而形成图像的块状伪影，给用户带来不好的体验。类似的，视频的一些压缩标准，如H264、HVEC和AV1等均是有损压缩方式，编码中的量化和运动补偿过程会导致解码重建后的图像有着不同程度的块效应；

目前图像去块效应主要有传统图像处理领域的像素域或者频域的滤波平滑或者编码器中结合编码参数环路滤波的各种工具，这类方法一般有着较强的依赖，对于不同失真程度图像的恢复泛化能力较差；另外有基于深度神经网络(CNN)的端到端方案，通过CNN强大的特征提取能力与学习表征能力，可以有效学习块效应出现模式，从而针对不同图像内容都能有较好恢复能力。这类方法由于通过大量网络模块的堆叠去换取性能，从而会出现特征冗余与过拟合现象，同时模型过大也会为算法部署在各种场景、设备上带来很大不便。

上述中的现有技术方案存在以下缺陷：数字图像处理领域常见编码方式会造成图像出现块效应、模糊等失真，这类编码方式一般会通过质量因子来控制图片压缩后的质量，一些社交、电商平台会在图像质量与文件大小之间进行平衡，直播场景下低码率会导致视频画面有着较明显的块效应，CDN可能会进行多次转码从而加重失真。

发明内容

本发明的目的是提供一种基于多任务学习与边缘导向重参数网络的图像去块效应方法。

为实现上述目的，本发明提供了如下技术方案：

一种基于多任务学习与边缘导向重参数网络的图像去块效应方法，包括以下步骤：

步骤一：首先通过不同QF控制JPEG压缩生成QF范围10到90之间的劣化图片，与对应的高清图片及其QF作为一个训练数据，并生成数据集；

步骤二：搭建双分支网络，实现多任务学习；

步骤三：选定损失函数，进行两步训练；

步骤四：对边缘导向块重参数化，精简推理模型。

进一步地，一种基于多任务学习与边缘导向重参数网络的图像去块效应方法，还包括有：2个卷积层、6个边缘导向块及一个回归分支，所述2个卷积层设置在主任务网络分支的首尾，用于提取、汇集底层图像特征；6个边缘导向块为高阶图像语义提取器，输出一个分支用于回归图像量化因子，输出另一个分支作为尾部卷积的输入；主分支尾部卷积输出与首部卷积输出连接后得到处理后的图像。

进一步地，步骤一中的生成数据集，具体包括：

首先，对高清无损图片进行不同QF的JPEG压缩，QF范围在10到90之间，由于人主观对于量化操作后色度信息的损失感知不显著，为了减小模型运算量与整体硬件处理成本，仅取JEPG压缩后图像的亮度通道Y，并与其对应的原始图像亮度通道以及QF组成一个训练数据。

进一步地，步骤二中的搭建双分支网络，实现多任务学习，具体包括：

网络分为两个分支并共享参数，JPEG压缩图像量化因子回归预测分支与JPEG压缩图像去块效应分支，首先，第一层为卷积核3x3通道数为3的卷积层，第二、三、四、五、六和七层均为一个边缘导向模块，输出通道为32，QF预测分支在第七层后接一个二维自适应平均池化层，池化输出大小为16x16，后面为3层全连接层，第一、二层全连接为256x256，第三层全连接为256x1，去块效应主分支在第七层后接一个卷积核3x3通道数为1的卷积层，并且在该卷积层后连接来自第一层卷积的特征作为输出，上述卷积、全连接操作后的激活函数为prelu与relu，上述卷积操作stride与padding均为1。

进一步地，步骤三中的选定损失函数，进行两步训练，其中训练JPEG压缩图像QF回归网络，损失函数如下：

其中，N为批数据大小。网络收敛后保持主分支上权重，再同时训练去块效应分支与QF回归网络，损失函数如下：

其中，ω为控制QF回归任务重要性的超参，实际训练过程设置为0.6，优化器选择Adam；

同时，训练过程分为两步进行，量化因子预测分支先训练收敛后，保持主分支网络权重，再训练主分支的图像去块效应任务与量化因子预测分支。

进一步地，步骤四中的对边缘导向块重参数化，精简推理模型，具体包括：

网络主分支图像去块效应任务训练收敛后，去除QF回归网络分支，并对边缘导向模块五个并行分支权重进行重构，即重参数化；利用卷积可加性原理，将该模块重构为一个等价的普通卷积层，最终重构完主分支或网络推理结构为8层卷积及相应激活层。

进一步地，重参数化具体包括：

训练完成后，第二个分支的1x1卷积核权重加到该分支3x3卷积核中心位置组合为一个，第三个分支的1x1卷积核权重加到该分支3x3sobelx方向算子中心位置组合为一个，第四个分支的1x1卷积核权重加到该分支3x3sobely方向算子中心位置组合为一个，第五个分支的1x1卷积核权重加到该分支laplacian算子中心位置组合为一个，最终利用卷积可加性原理，将五个分支的3x3卷积层的权重和偏置对应相加得到一个重参数后的3x3卷积层。

进一步地，边缘导向模块具体包括：

3x3卷积层、1x1卷积层、sobelx方向算子、sobely方向算子与laplacian算子，上述操作组合成5个并行运算的分支；3x3卷积作为第一个分支，1x1卷积后接3x3卷积作为第二个分支，1x1卷积后接sobelx方向算子作为第三个分支，1x1卷积后接sobely方向算子作为第四个分支，1x1卷积后接laplacian算子作为第五个分支；输入特征图并行送入这五个分支进行运算。

进一步地，对边缘导向模块五个并行分支权重进行重构的计算过程，具体包括：

五个分支的权重分别为(W₁,b₁)、(W₂₁,b₂₁)与(W₂₂,b₂₂)、(W₃₁,b₃₁)与(W₃₂,b₃₂)，以此类推，对应输出特征图F₁、F₂、F₃、F₄和F₅，则该分支特征计算过程如下：

F₁＝W₁*X+b₁

F₂＝W₂₂*(W₂₁*X+b₂₁)+b₂₂

其中/> 为x方向sobel算子

其中/> 为y方向sobel算子

其中/> 为laplacian算子

则上述五个并行分支的权重可整合为(W_rep,b_rep)，如下：

其中·为逐通道相乘操作，*为普通卷积操作，为深度卷积操作，/>为通道相加操作，通过上述权重重构，可以最终得到一个等价的卷积操作：

F＝W_rep*X+b_rep

最终重构完推理模型为8层普通卷积。

进一步地，多任务学习与边缘导向重参数网络中卷积层与全连接层权重使用Xavier初始化方法，即权重参数(w,b)服从均值为0，方差为Var(w,b)的分布：

其中，n_in为输入卷积层卷积核个数或全连接层隐节点个数，n_out为输出卷积层卷积核个数或全连接层隐节点个数，优化器算法使用Adam优化算法。

综上，本发明的有益技术效果为：

1.本发明基于针对边缘增强的边缘导向模块以及多任务学习JPEG压缩图像的量化因子分支为边缘导向模块提供准确压缩程度监督信息，这两个基本结构相互耦合针对性地优化了深度网络模型的泛化学习能力，在对不同内容、不同量化程度的压缩图像有着相应的增强效果，而不受限于知晓图像量化因子的先验知识，通过结合这两个模块能对于不同失真程度JPEG压缩图像于无损图像建立简单高效的映射，处理得到较高感知体验的图像；

2.本发明利用质量因子(QF)分支学***台的服务器存储与传输带宽成本。

附图说明

图1为本发明多任务学习与边缘导向重参数网络流程示意图；

图2为本发明质量因子(QF)预测分支流程示意图；

图3为本发明边缘导向重参数化模块流程示意图；

图4为本发明去块效应网络推理结构流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：请参照图1-4，一种基于多任务学习与边缘导向重参数网络的图像去块效应方法，生成数据集的方法包括有2个卷积层、6个边缘导向块及一个回归分支，通过不同QF控制JPEG压缩生成QF范围10到90之间的劣化图片，与对应的高清图片及其QF作为一个训练数据，并生成数据集。

具体地，首先对高清无损图片进行不同QF的JPEG压缩，QF范围在10到90之间，由于人主观对于量化操作后色度信息的损失感知不显著，为了减小模型运算量与整体硬件处理成本，仅取JEPG压缩后图像的亮度通道Y，并与其对应的原始图像亮度通道以及QF组成一个训练数据，在训练过程中，考虑提高模型泛化能力，对训练数据进行旋转、镜像翻转的增强，2个卷积层设置在主任务网络分支的首尾，用于提取、汇集底层图像特征；6个边缘导向块为高阶图像语义提取器，输出一个分支用于回归图像量化因子，输出另一个分支作为尾部卷积的输入；主分支尾部卷积输出与首部卷积输出连接后得到处理后的图像。

实施例2：请参照图1，一种基于多任务学***均池化层，池化输出大小为16x16，后面为3层全连接层，第一、二层全连接为256x256，第三层全连接为256x1；去块效应主分支在第七层后接一个卷积核3x3通道数为1的卷积层，并且在该卷积层后连接来自第一层卷积的特征作为输出；上述卷积、全连接操作后的激活函数为prelu与relu；上述卷积操作stride与padding均为1。

具体地，网络分为两个分支并共享参数，JPEG压缩图像量化因子回归预测分支与JPEG压缩图像去块效应分支，训练过程分为两步进行，量化因子预测分支先训练收敛后，保持主分支网络权重，再训练主分支的图像去块效应任务与量化因子预测分支。

实施例3：请参照图1-4，一种基于多任务学习与边缘导向重参数网络的图像去块效应方法，选定损失函数，进行两步训练的方法包括：其中训练JPEG压缩图像QF回归网络，损失函数如下：

其中，N为批数据大小。网络收敛后保持主分支上权重，再同时训练去块效应分支与QF回归网络，损失函数如下：

其中，ω为控制QF回归任务重要性的超参，实际训练过程设置为0.6，优化器选择Adam。

具体地，首先，训练JPEG压缩图像QF回归网络，网络收敛后保持主分支上权重，再同时训练去块效应分支与QF回归网络，训练过程分为两步进行，量化因子预测分支先训练收敛后，保持主分支网络权重，再训练主分支的图像去块效应任务与量化因子预测分支，多任务学习损失函数包括：第一阶段QF回归模块为L1损失函数；第二阶段除QF回归模块L1损失函数，主分支去块效应网络损失函数为L1损失函数。

实施例4：请参照图3，一种基于多任务学习与边缘导向重参数网络的图像去块效应方法，对边缘导向块重参数化，精简推理模型的方法包括：网络主分支任务训练收敛后，去除QF回归网络，对边缘导向模块重参数化，如图3所示，从左到右五个分支的权重分别为(W₁,b₁)、(W₂₁,b₂₁)与(W₂₂,b₂₂)、(W₃₁,b₃₁)与(W₃₂,b₃₂)，以此类推。对应输出特征图F₁、F₂、F₃、F₄和F₅，则该分支特征计算过程如下：

F₁＝W₁*X+b₁

F₂＝W₂₂*(W₂₁*X+b₂₁)+b₂₂

其中/> 为x方向sobel算子

其中/> 为y方向sobel算子

其中/> 为laplacian算子

则上述五个并行分支的权重可整合为(W_rep,b_rep)，如下：

其中·为逐通道相乘操作，*为普通卷积操作，为深度卷积操作，/>为通道相加操作。通过上述权重重构，可以最终得到一个等价的卷积操作：

F＝W_rep*X+b_rep

最终重构完推理模型为8层普通卷积；

多任务学习与边缘导向重参数网络中卷积层与全连接层权重使用Xavier初始化方法，即权重参数(w,b)服从均值为0，方差为Var(w,b)的分布：

其中，n_in为输入卷积层卷积核个数或全连接层隐节点个数，n_out为输出卷积层卷积核个数或全连接层隐节点个数，优化器算法使用Adam优化算法。

具体地，重参数化是指训练完成后，第二个分支的1x1卷积核权重加到该分支3x3卷积核中心位置组合为一个，第三个分支的1x1卷积核权重加到该分支3x3sobelx方向算子中心位置组合为一个，第四个分支的1x1卷积核权重加到该分支3x3sobely方向算子中心位置组合为一个，第五个分支的1x1卷积核权重加到该分支laplacian算子中心位置组合为一个，最终利用卷积可加性原理，将五个分支的3x3卷积层的权重和偏置对应相加得到一个重参数后的3x3卷积层，边缘导向模块是指3x3卷积层、1x1卷积层、sobelx方向算子、sobely方向算子与laplacian算子，上述操作组合成5个并行运算的分支；3x3卷积作为第一个分支，1x1卷积后接3x3卷积作为第二个分支，1x1卷积后接sobelx方向算子作为第三个分支，1x1卷积后接sobely方向算子作为第四个分支，1x1卷积后接laplacian算子作为第五个分支；输入特征图并行送入这五个分支进行运算。

为了验证本发明的有效性，找到与本案最接近的专利进行比较，参考文献：“C.Dong,Y.Deng,C.C.Loy and X.Tang,"Compression Artifacts Reduction by a DeepConvolutional Network,"2015IEEE International Conference on Computer Vision(ICCV),2015,pp.576-584”。

与现有专利对比如下：

表一

Model(720p)	Param(K)	Mac(G)
			ARCNN	106.56	98.31
本发明	38.81	35.92

表二

从表一和表二可以看出，相比较于现有技术的算法基于全卷积网络与迁移学习，而本算法于多任务学习与边缘导向重参数网络建模，与现有评估方法不同，通过利用量化因子(QF)分支学习可以提供监督信息并加速主分支网络收敛，利用边缘导向模块可以较好提取、消除量化产生伪边缘与模糊，并有效降低模型参数量与运算量，加速运算，具有较好的画质增强效果，模型较小，参数量为38.81k，720p下运算量为35.92GMac，这种方法可以不限于质量因子，有效地减小图像块效应，提高图像质量，同时利用网络参数重参数化可以有效降低模型参数量与运算量，从而为部署在各种硬件设备上提供可能。

本具体实施方式的实施例均为本发明的较佳实施例，并非依此限制本发明的保护范围，故：凡依本发明的结构、形状、原理所做的等效变化，均应涵盖于本发明的保护范围之内。

Claims (10)

1.一种基于多任务学习与边缘导向重参数网络的图像去块效应方法，其特征在于，包括以下步骤：

步骤一：首先通过不同QF控制JPEG压缩生成QF范围10到90之间的劣化图片，与对应的高清图片及其QF作为一个训练数据，并生成数据集。

步骤二：搭建双分支网络，实现多任务学习；

步骤三：选定损失函数，进行两步训练；

步骤四：对边缘导向块重参数化，精简推理模型。

2.根据权利要求1所述的基于多任务学习与边缘导向重参数网络的图像去块效应方法，还包括有2个卷积层、6个边缘导向块及一个回归分支，其特征在于：

所述2个卷积层设置在主任务网络分支的首尾，用于提取、汇集底层图像特征；6个边缘导向块为高阶图像语义提取器，输出一个分支用于回归图像量化因子，输出另一个分支作为尾部卷积的输入；主分支尾部卷积输出与首部卷积输出连接后得到处理后的图像。

3.根据权利要求1所述的基于多任务学习与边缘导向重参数网络的图像去块效应方法，其特征在于，步骤一中的生成数据集，具体包括：

首先，对高清无损图片进行不同QF的JPEG压缩，QF范围在10到90之间，由于人主观对于量化操作后色度信息的损失感知不显著，为了减小模型运算量与整体硬件处理成本，仅取JEPG压缩后图像的亮度通道Y，并与其对应的原始图像亮度通道以及QF组成一个训练数据。

4.根据权利要求1所述的基于多任务学习与边缘导向重参数网络的图像去块效应方法，其特征在于，步骤二中的搭建双分支网络，实现多任务学习，具体包括：

网络分为两个分支并共享参数，JPEG压缩图像量化因子回归预测分支与JPEG压缩图像去块效应分支，首先，第一层为卷积核3x3通道数为3的卷积层，第二、三、四、五、六和七层均为一个边缘导向模块，输出通道为32，QF预测分支在第七层后接一个二维自适应平均池化层，池化输出大小为16x16，后面为3层全连接层，第一、二层全连接为256x256，第三层全连接为256x1，去块效应主分支在第七层后接一个卷积核3x3通道数为1的卷积层，并且在该卷积层后连接来自第一层卷积的特征作为输出，上述卷积、全连接操作后的激活函数为prelu与relu，上述卷积操作stride与padding均为1。

5.根据权利要求1所述的基于多任务学习与边缘导向重参数网络的图像去块效应方法，其特征在于，步骤三中的选定损失函数，进行两步训练，其中训练JPEG压缩图像QF回归网络，损失函数如下：

其中，N为批数据大小。网络收敛后保持主分支上权重，再同时训练去块效应分支与QF回归网络，损失函数如下：

其中，ω为控制QF回归任务重要性的超参，实际训练过程设置为0.6，优化器选择Adam；

同时，训练过程分为两步进行，量化因子预测分支先训练收敛后，保持主分支网络权重，再训练主分支的图像去块效应任务与量化因子预测分支。

6.根据权利要求1所述的基于多任务学习与边缘导向重参数网络的图像去块效应方法，其特征在于，步骤四中的对边缘导向块重参数化，精简推理模型，具体包括：

网络主分支图像去块效应任务训练收敛后，去除QF回归网络分支，并对边缘导向模块五个并行分支权重进行重构，即重参数化；利用卷积可加性原理，将该模块重构为一个等价的普通卷积层，最终重构完主分支或网络推理结构为8层卷积及相应激活层。

7.根据权利要求6所述的基于多任务学习与边缘导向重参数网络的图像去块效应方法，其特征在于，重参数化具体包括：

训练完成后，第二个分支的1x1卷积核权重加到该分支3x3卷积核中心位置组合为一个，第三个分支的1x1卷积核权重加到该分支3x3sobelx方向算子中心位置组合为一个，第四个分支的1x1卷积核权重加到该分支3x3sobely方向算子中心位置组合为一个，第五个分支的1x1卷积核权重加到该分支laplacian算子中心位置组合为一个，最终利用卷积可加性原理，将五个分支的3x3卷积层的权重和偏置对应相加得到一个重参数后的3x3卷积层。

8.根据权利要求6所述的基于多任务学习与边缘导向重参数网络的图像去块效应方法，其特征在于，边缘导向模块具体包括：

3x3卷积层、1x1卷积层、sobelx方向算子、sobely方向算子与laplacian算子，上述操作组合成5个并行运算的分支；3x3卷积作为第一个分支，1x1卷积后接3x3卷积作为第二个分支，1x1卷积后接sobelx方向算子作为第三个分支，1x1卷积后接sobely方向算子作为第四个分支，1x1卷积后接laplacian算子作为第五个分支；输入特征图并行送入这五个分支进行运算。

9.根据权利要求6所述的基于多任务学习与边缘导向重参数网络的图像去块效应方法，其特征在于，对边缘导向模块五个并行分支权重进行重构的计算过程，具体包括：

五个分支的权重分别为(W₁,b₁)、(W₂₁,b₂₁)与(W₂₂,b₂₂)、(W₃₁,b₃₁)与(W₃₂,b₃₂)，以此类推，对应输出特征图F₁、F₂、F₃、F₄和F₅，则该分支特征计算过程如下：

F₁＝W₁*X+b₁

F₂＝W₂₂*(W₂₁*X+b₂₁)+b₂₂

其中/> 为x方向sobel算子

其中/> 为y方向sobel算子

其中/> 为laplacian算子

则上述五个并行分支的权重可整合为(W_rep,b_rep)，如下：

其中·为逐通道相乘操作，*为普通卷积操作，为深度卷积操作，/>为通道相加操作，通过上述权重重构，可以最终得到一个等价的卷积操作：

F＝W_rep*X+b_rep

最终重构完推理模型为8层普通卷积。

10.根据权利要求1所述的基于多任务学习与边缘导向重参数网络的图像去块效应方法，其特征在于，多任务学习与边缘导向重参数网络中卷积层与全连接层权重使用Xavier初始化方法，即权重参数(w,b)服从均值为0，方差为Var(w,b)的分布：

其中，n_in为输入卷积层卷积核个数或全连接层隐节点个数，n_out为输出卷积层卷积核个数或全连接层隐节点个数，优化器算法使用Adam优化算法。