CN114266697A - 图像处理和模型训练方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例涉及计算机视觉技术领域，提供一种图像处理和模型训练方法、装置、电子设备及存储介质，通过获取待处理图像并输入图像重建模型，图像重建模型包括特征提取网络和子像素卷积层，先利用特征提取网络对待处理图像进行多尺度特征提取及扩展图像通道得到重建特征图，再利用子像素卷积层对重建特征图进行放大得到重建图像。由于特征提取网络能够提取多尺度特征和扩展图像通道，因此，不需要增加网络深度就能够得到较好的重建效果；同时，模型末端采用子像素卷积层做图像放大，特征提取网络以小尺寸图像做处理，大幅减少了计算量和参数量；从而在保证重建效果的同时提高了处理速度。

Description

图像处理和模型训练方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机视觉技术领域，具体而言，涉及一种图像处理和模型训练方法、装置、电子设备及存储介质。

背景技术

超分辨率重建是指将给定的低分辨率图像通过特定的处理恢复成相应的高分辨率图像的过程，被广泛应用于各类需要提升视频或图像质量的领域，例如，视频图像处理、医学成像、遥感成像、视频监控等。

目前通过深度学习算法进行超分辨率重建时，需要使用层数足够深的网络来得到较好的重建效果，因此网络结构通常很复杂，计算量大，影响处理速度。

发明内容

本申请实施例的目的在于提供一种图像处理和模型训练方法、装置、电子设备及存储介质，用以在保证重建效果的同时提高处理速度。

为了实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请实施例提供了一种图像处理方法，所述方法包括：

获取待处理图像；

将所述待处理图像输入图像重建模型，利用所述图像重建模型的特征提取网络对所述待处理图像进行多尺度特征提取及扩展图像通道，得到重建特征图；

利用所述图像重建模型的子像素卷积层对所述重建特征图进行放大，得到重建图像。

第二方面，本申请实施例还提供了一种模型训练方法，所述方法包括：

获取训练样本，所述训练样本包括低分辨率图像和高分辨率图像，所述低分辨率图像是对所述高分辨率图像进行下采样得到的；

将所述低分辨率图像输入预先构建的图像重建模型，所述图像重建模型包括特征提取网络和子像素卷积层；

利用所述特征提取网络对所述低分辨率图像进行多尺度特征提取及扩展图像通道，得到训练特征图；

利用所述子像素卷积层对所述训练特征图进行放大，得到训练重建图像；

基于所述训练重建图像、所述高分辨率图像和预设的目标函数对所述图像重建模型进行反向传播训练，得到训练后的图像重建模型。

第三方面，本申请实施例还提供了一种图像处理装置，所述装置包括：

图像获取模块，用于获取待处理图像；

第一执行模块，用于将所述待处理图像输入图像重建模型，利用所述图像重建模型的特征提取网络对所述待处理图像进行多尺度特征提取及扩展图像通道，得到重建特征图；

第二执行模块，用于利用所述图像重建模型的子像素卷积层对所述重建特征图进行放大，得到重建图像。

第四方面，本申请实施例还提供了一种模型训练装置，所述装置包括：

样本获取模块，用于获取训练样本，所述训练样本包括低分辨率图像和高分辨率图像，所述低分辨率图像是对所述高分辨率图像进行下采样得到的；

第一处理模块，用于将所述低分辨率图像输入预先构建的图像重建模型，所述图像重建模型包括特征提取网络和子像素卷积层；

第二处理模块，用于利用所述特征提取网络对所述低分辨率图像进行多尺度特征提取及扩展图像通道，得到训练特征图；

第三处理模块，用于利用所述子像素卷积层对所述训练特征图进行放大，得到训练重建图像；

第四处理模块，用于基于所述训练重建图像、所述高分辨率图像和预设的目标函数对所述图像重建模型进行反向传播训练，得到训练后的图像重建模型。

第五方面，本申请实施例还提供了一种电子设备，所述电子设备包括：一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的图像处理方法或者模型训练方法。

第六方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器实现上述的图像处理方法或者模型训练方法。

相对现有技术，本申请实施例提供的一种图像处理和模型训练方法、装置、电子设备及存储介质，通过获取待处理图像并输入图像重建模型，图像重建模型包括特征提取网络和子像素卷积层，先利用特征提取网络对待处理图像进行多尺度特征提取及扩展图像通道得到重建特征图，再利用子像素卷积层对重建特征图进行放大得到重建图像。由于特征提取网络能够提取多尺度特征和扩展图像通道，因此，不需要增加网络深度就能够得到较好的重建效果；同时，模型末端采用子像素卷积层做图像放大，特征提取网络以小尺寸图像做处理，大幅减少了计算量和参数量；从而在保证重建效果的同时提高了处理速度。

附图说明

图1示出了本申请实施例提供的图像处理方法的一种应用场景图。

图2示出了本申请实施例提供的图像处理方法的一种流程示意图。

图3示出了本申请实施例提供的图像重建模型的一种示例图。

图4示出了本申请实施例提供的级联块的一种示例图。

图5示出了本申请实施例提供的残差块的一种示例图。

图6示出了本申请实施例提供的图像重建模型的另一种示例图。

图7示出了本申请实施例提供的一种结果展示图。

图8示出了本申请实施例提供的模型训练方法的一种流程示意图。

图9示出了本申请实施例提供的图像处理装置的一种方框示意图。

图10示出了本申请实施例提供的模型训练装置的一种方框示意图。

图11示出了本申请实施例提供的电子设备的一种方框示意图。

图标：10-电子设备；11-处理器；12-存储器；13-总线；20-第一终端；30-第二终端；40-网络；50-服务器；100-图像处理装置；110-图像获取模块；120-第一执行模块；130-第二执行模块；200-模型训练装置；210-样本获取模块；220-第一处理模块；230-第二处理模块；240-第三处理模块；250-第四处理模块。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述。

请参照图1，图1示出了本申请实施例提供的图像处理方法的一种应用场景图，包括第一终端20、第二终端30、网络40及服务器50，第一终端20和第二终端30均通过网络40连接到服务器50。第一终端20和第二终端30可以是移动终端，在移动终端上可以安装有各种应用程序(Application，App)，例如可以是视频播放App、即时通讯App、视频/图像采集App、购物App等。网络40可以是广域网或者局域网，又或者是二者的组合，使用无线链路实现数据传输。

第一终端20和第二终端30可以是任何具有屏幕显示功能的移动终端，例如，智能手机、笔记本电脑、平板电脑、台式计算机、智能电视等。

第一终端20可以将视频文件或者图片上传至服务器50，服务器50在接收到第一终端20上传的视频文件或者图片后，可以将该视频文件或者图片进行存储。当用户通过第二终端30观看视频或者查看图片时，第二终端30可以向服务器50请求该视频文件或者图片，服务器50可以向第二终端30返回该视频文件或者图片。通常，为了提高传输速度，会对该视频文件或图片进行压缩处理，故该视频文件或图片的分辨率较低。

第二终端30在接收到该视频文件或者图片后，可以利用本申请实施例提供的图像处理方法对该视频文件或者图片进行实时处理，得到高分辨率的视频或图片，并显示在第二终端30的显示界面中，以提高用户的画质体验。本申请实施例提供的图像处理方法可以作为一个功能插件集成在第二终端30的视频播放App或者图库App中。

以视频直播场景为例，第一终端20可以是主播的移动终端，第二终端30可以是观众的移动终端。主播在直播时，第一终端20可以将直播视频上传至服务器50，服务器50可以对该直播视频进行存储，当观众通过第二终端30观看直播时，服务器50可以向第二终端30返回该直播视频。第二终端30在接收到该直播视频后，可以利用本申请实施例提供的图像处理方法对该直播视频进行实时处理，得到高分辨率的直播视频并进行显示，这样观众就能观看到清晰的直播视频。

需要指出的是，本申请实施例提供的图像处理方法可以应用于移动终端，虽然上述是以应用于第二终端30为例进行说明，但是应当理解，该图像处理方法也可以应用于第一终端20，具体可以根据实际应用场景确定，在此不作限制。

下面对本申请实施例提供的图像处理方法进行详细介绍。

在图1所示的应用场景示意图的基础上，请参照图2，图2示出了本申请实施例提供的图像处理方法的一种流程示意图，该图像处理方法可以包括以下步骤：

S101，获取待处理图像。

待处理图像可以是在移动终端上显示的、需要进行超分辨率重建以提高图像质量的图片或者视频流中的视频帧，例如，可以是第二终端30从服务器50获取的低分辨率视频中的视频帧。

在本实施例中，移动终端可以在接收到低分辨率图片或者低分辨率视频文件时，直接进行超分辨率重建；也可以在接收到低分辨率图片或者低分辨率视频文件后先显示到显示界面，等到用户进行分辨率切换操作时再进行超分辨率重建，例如，在接收到低分辨率视频时先进行播放，当用户将清晰度从“标清”切换为“超清”时，再进行超分辨率重建。

S102，将待处理图像输入图像重建模型，利用图像重建模型的特征提取网络对待处理图像进行多尺度特征提取及扩展图像通道，得到重建特征图。

获取到待处理图像后，将待处理图像输入图像重建模型进行超分辨率重建。请参照图3，图像重建模型包括特征提取网络和子像素卷积层，特征提取网络用于提取待处理图像的多尺度特征并扩展图像通道，子像素卷积层用于对特征提取网络输出的重建特征图进行放大。

多尺度特征提取是指通过全局级联和局部级联的方式，提取不同层次的特征信息，例如，可以从底层到高层逐步进行特征提取，也可以将底层信息直接传递到高层。

图像通道是指将图像按照颜色成分划分后的一个或多个颜色通道，通常可以按照图像通道将图像分为单通道图像、三通道图像和四通道图像。单通道图像是指图像中的每个像素点只由一个数值表示，例如，灰度图；三通道图像是指图像中的每个像素点由三个数值表示，例如，RGB彩色图像；四通道图像是在三通道图像的基础上加上透明程度、Alpha色彩空间等。

扩展图像通道是指不改变图像的大小且增加图像的通道数。例如，输入为H×W×C的图像，其中，H×W为输入图像的大小，C为输入图像的通道数；输出为H×W×r²C的图像，H×W为输出图像的大小，r²C为输出图像的通道数。

S103，利用图像重建模型的子像素卷积层对重建特征图进行放大，得到重建图像。

子像素卷积层(sub-pixel convolution layer)也称像素重组(PixelShuffle)，是一种可以高效计算的卷积层，主要功能是将低分辨的特征图，通过卷积和多通道间的重组得到高分辨率的特征图。相比于双线性或双三次采样器(bilinear or bicubicsampler)等人工提升滤波器，子像素卷积层能够通过训练学习更复杂的提升操作，同时计算的总体时间也被降低。

例如，输入特征图为H×W×r²C，子像素卷积层的主要功能就是将r²个通道的特征图组合为新的r×H、r×W的上采样结果，即(r×H)×(r×W)×C，得到rH×rW×C的输出图像，完成输入特征图到输出图像的r倍放大。

子像素卷积层的工作过程可以是：首先将原来一个低分辨像素划分为r×r个小格子；然后按照一定的规则，利用r×r个输入特征图对应位置的值来填充这些小格子；按照同样的方法将每个低分辨像素划分出的小格子填满就完成了重组过程。

在一个实施例中，可以利用子像素卷积层调整重建特征图中的像素位置，得到重建图像。

例如，特征提取网络输出的重建特征图为H×W×r²C，利用子像素卷积层调整像素位置，得到rH×rW×C的重建图像，进而完成r倍放大。

在本实施例中，子像素卷积层可以支持多种放大尺寸，例如，可以用2倍的子像素卷积层组合完成4倍的放大操作，或者，用2倍和3倍的子像素卷积层组合完成6倍的放大操作。

同时，现有的超分辨率重建算法是先插值到高分辨率再做修正，而本申请实施例中的图像重建模型将子像素卷积层设计在末端做放大，这样可以保证模型前段的特征提取网络以小尺寸图像做处理，大幅减少了计算量和参数量。

下面对步骤S102进行详细介绍。

请再次参照图3，特征提取网络包括卷积层、多个级联块和多个第一卷积层，多个级联块和多个第一卷积层交替设置，特征提取网络采用全局级联结构。全局级联结构是指图3中的左侧快速通道和右侧快速通道，通过左侧快速通道可以将级联块的输出直接输送给该级联块后的各个第一卷积层，通过右侧快速通道可以将卷积层的输出直接输送给各个第一卷积层。这里的输送是指通道的叠加，不是指数据相加。

在图3所示的特征提取网络的基础上，步骤S102中利用图像重建模型的特征提取网络对待处理图像进行多尺度特征提取及扩展图像通道，得到重建特征图的方式，可以包括：

将待处理图像输入卷积层进行卷积处理，得到初始特征图；

将初始特征图作为第一个级联块的输入、以及将第N-1个第一卷积层的输出作为第N个级联块的输入，利用级联块进行多尺度特征提取，输出中间特征图；

将初始特征图和第N个第一卷积层前每个级联块输出的中间特征图进行通道叠加，并在叠加后输入第N个第一卷积层进行卷积处理；

将最后一个第一卷积层的输出作为重建特征图。

其中，卷积层和第一卷积层可以扩展图像通道，卷积层、级联块和第一卷积层可以提取特征。

将初始特征图和中间特征图进行通道叠加，是指合并初始特征图的通道和中间特征图的通道，例如，初始特征图有4个通道，中间特征图有8个通道，将二者进行通道叠加，则叠加后的特征图就有12个通道；换句话说，初始特征图中每个像素由4个数值表示，中间特征图中每个像素由8个数值表示，通道叠加后的特征图中每个像素由12个数值表示。

在一个实施例中，级联块的结构如图4所示，级联块包括多个残差块和多个第二卷积层，多个残差块和多个第二卷积层交替设置，级联块采用局部级联结构。局部级联结构是指图4中的左侧快速通道和右侧快速通道，通过左侧快速通道可以将残差块的输出直接输送给该残差块后的各个第二卷积层，通过右侧快速通道可以将级联块的输入直接输送给各个第二卷积层。同上，这里的输送是指通道的叠加，不是指数据相加。

在图4所示的级联块的基础上，利用级联块进行多尺度特征提取，输出中间特征图的方式，可以包括：

将级联块的输入作为第一个残差块的输入、以及将第N-1个第二卷积层的输出作为第N个残差块的输入，利用残差块学习残差特征，得到残差特征图；

将级联块的输入和第N个第二卷积层前每个残差块的输出进行通道叠加，并在叠加后输入第N个第二卷积层进行卷积处理；

将最后一个第二卷积层的输出作为中间特征图。

其中，第二卷积层可以扩展图像通道，残差块和第二卷积层可以提取特征。

将级联块的输入与残差块的输出进行通道叠加的过程，与上述将初始特征图和中间特征图进行通道叠加的过程类似，在此不再赘述。

在一个实施例中，残差块的结构如图5所示，残差块包括分组卷积层、第三卷积层和第四卷积层，分组卷积层采用ReLu激活函数，分组卷积层和第三卷积层连接形成残差路径，残差块采用局部跳跃连接结构。局部跳跃连接结构是指，将残差块的输入与残差路径的输出进行融合以学习残差特征。

在图5所示的残差块的基础上，利用残差块学习残差特征，得到残差特征图的方式，可以包括：

将残差块的输入作为分组卷积层的输入，通过残差路径提取特征；

将残差块的输入和第三卷积层的输出进行特征融合，并在融合后输入第四卷积层进行卷积处理，输出残差特征图。

其中，第三卷积层和第四卷积层可以扩展图像通道，分组卷积层可以提取特征。

分组卷积层(Group Convolution layer)可以对输入特征图进行分组。然后每组分别进行卷积处理。与常规卷积相比，分组卷积能够减少模型参数，从而提高模型的处理速度。

在本实施例中，多个分组卷积层的层数、以及每个分组卷积层对输入特征图的分组数，可以由用户根据实际需要灵活选择，例如，分组卷积层的层数为2，分组数为3等。

本实施例中的卷积层、第一卷积层、第二卷积层、第三卷积层和第四卷积层的类型并不限定，例如，可以是常规卷积(Conv)、1×1点卷积、深度卷积等，可以根据实际需求灵活调整。

通常，图像重建模型的表现力会随着全局级联或者局部级联的复杂度增加，也就是说，特征提取网络中级联块和第一卷积层的数量越多、或者级联块中残差块和第二卷积层的数量越多，图像重建模型的表现力会越强。但是，网络结构越复杂，计算速度也会越慢。因此，为了在保证重建效果的同时提高处理速度，各模块的数量不宜过多。

在一个实施方式中，特征提取网络中级联块和第一卷积层的数量均可以是3～5，级联块中残差块和第二卷积层的数量均可以是3～5，残差块中分组卷积层的数量可以是2～4。例如，请参照图6，可以设置特征提取网络包括3个级联块和3层第一卷积层，级联块包括3个残差块和3层第二卷积层，残差块包括2层分组卷积层。

另外，可以设置级联块中的各模块共享参数，即，多个残差块共享参数以及多个第二卷积层共享参数，从而使图像重建模型进一步轻量化，以提高处理速度，但是，共享参数后会有一定的效果损失。

例如，请参照图7，其中，左图和中图为采用本申请实施例提供的图像处理方法得到的重建图像，左图未共享参数，中图共享参数；右图为采用双三次插值(Bicubic)算法得到的重建图像。从图中可以看出，从图中可以看出，左图和中图明显比右图清晰。

接下来对图像重建模型的训练过程进行详细介绍。

本申请实施例提供的模型训练方法可以应用于任何具有图像处理功能的电子设备，例如，服务器、移动终端、通用计算机或者特殊用途的计算机等。

请参照图8，图8示出了本申请实施例提供的模型训练方法的一种流程示意图，该模型训练方法可以包括以下步骤：

S201，获取训练样本，训练样本包括低分辨率图像和高分辨率图像，低分辨率图像是对高分辨率图像进行下采样得到的。

这里的训练样本是一个数据集，可以获取大量的高分辨率图像(例如，分辨率高于某一预设值)作为原始样本，这些高分辨率图像可以是各种类型的图片或视频中的视频帧，例如，可以是视频直播场景中的高清直播视频等。

在获取到原始样本后，对原始样本进行下采样处理，也就是对每张高分辨率图像均按照同样的方法进行下采样处理，得到训练样本。下采样处理的方式可以是双三次插值等。

另外，如果想要在超分辨率重建的同时完成降噪，则可以对训练样本中的低分辨率提箱增加噪声，之后再输入模型进行训练，这样训练后的模型就能既完成超分辨率重建又完成降噪。

S202，将低分辨率图像输入预先构建的图像重建模型，图像重建模型包括特征提取网络和子像素卷积层。

S203，利用特征提取网络对低分辨率图像进行多尺度特征提取及扩展图像通道，得到训练特征图。

S204，利用子像素卷积层对训练特征图进行放大，得到训练重建图像。

需要指出的是，步骤S203～S204的处理过程与步骤S102～S103的处理过程类似，在此不再赘述。

S205，基于训练重建图像、高分辨率图像和预设的目标函数对图像重建模型进行反向传播训练，得到训练后的图像重建模型。

在本实施例中，目标函数可以是L2损失函数，L2损失函数又称均方误差(MeanSquare Error，MSE)函数，是回归损失函数的一种。L2损失函数的曲线光滑、连续，处处可导，便于使用梯度下降算法；并且随着误差的减小，梯度也在减小，从而有利于收敛，即使使用固定的学习速率，也能较快的收敛到最小值。

在本实施例中，可以基于训练重建图像、高分辨率图像和L2损失函数对图像重建模型进行反向传播训练，以对图像重建模型的参数进行调整，直至达到预设的训练完成条件，得到训练后的图像重建模型。

训练完成条件可以是迭代次数达到设定值(例如，2000次)，或者，L2损失函数收敛到最小值等，在此不作限制，可以根据实际需求设置。

通常，对于特征提取网络来说，越到后段提取到的特征越少，因此，在训练完成后，可以根据需求和测试结果对训练后的图像重建模型进行剪枝，保留长线级联而删除短线级联，从而减少中间过多的跳跃，使模型更加轻量化。

在一个实施例中，可以先对低分辨率图像做预处理，预处理之后再输入图像重建模型，预处理可以是将图片自减平均值。因此，在步骤S202之前，该模型训练方法还可以包括：

对低分辨率图像进行自减平均值处理，以突出低分辨率图像的纹理细节。

自减平均值处理可以是对图像中的前景不做处理，而对背景中的每个像素减去背景图像的像素平均值，以此来增强背景部分和前景部分的对比度，突出纹理细节。

在另一个实施例中，为了使特征提取网络提取到更多的特征，预处理还可以是对图片进行翻转对称操作后输入模型，再对模型输出的结果进行反翻转对称并求平均值，从而减少各向异性带来的某些特征层或者参数的偏差。因此，在步骤S202之前，该模型训练方法还可以包括：

对低分辨率图像进行翻转对称处理，得到至少一个处理后的低分辨率图像。

之后将至少一个处理后的低分辨率图像输入图像重建模型，利用特征提取网络对至少一个处理后的低分辨率图像进行多尺度特征提取，得到至少一个辅助特征图；再对至少一个辅助特征图进行反翻转对称处理，并在反翻转对称处理后求平均值，得到训练特征图。

例如，对于1张n×n的图像，按照顺时针方向翻转3次，每次翻转90°，这样就能得到4张n×n的图像；之后将4张n×n的图像输入图像重建模型，特征提取网络输出4张辅助特征图；再按照逆时针方向将对应的3张辅助特征图分别翻转90°、180°和270°；再对处理后的4张辅助特征图进行像素平均，得到最终的训练特征图。

需要指出的是，可以先对低分辨率图像进行自减平均值处理，再对低分辨率图像进行翻转对称处理；也可以先对低分辨率图像进行翻转对称处理，再对低分辨率图像进行自减平均值处理。可以根据实际需要灵活设置，在此不作限制。

另外，在实际应用中，为了提高模型的处理速度，可以在完成训练的模型基础上，进行新的模型的训练。例如，在训练3倍、4倍的放大模型时，假设2倍的放大模型是完成训练的，则可以将2倍放大的模型的参数作为3倍、4倍的放大模型的初始参数，在此基础上进行训练。

请参照图9，图9示出了本申请实施例提供的图像处理装置100的方框示意图。图像处理装置100应用于移动终端，包括：图像获取模块110、第一执行模块120及第二执行模块130。

图像获取模块110，用于获取待处理图像。

第一执行模块120，用于将待处理图像输入图像重建模型，利用图像重建模型的特征提取网络对待处理图像进行多尺度特征提取及扩展图像通道，得到重建特征图。

可选地，特征提取网络包括卷积层、多个级联块和多个第一卷积层，多个级联块和多个第一卷积层交替设置，特征提取网络采用全局级联结构；

第一执行模块120具体用于：将待处理图像输入卷积层进行卷积处理，得到初始特征图；将初始特征图作为第一个级联块的输入、以及将第N-1个第一卷积层的输出作为第N个级联块的输入，利用级联块进行多尺度特征提取，输出中间特征图；将初始特征图和第N个第一卷积层前每个级联块输出的中间特征图进行通道叠加，并在叠加后输入第N个第一卷积层进行卷积处理；将最后一个第一卷积层的输出作为重建特征图。

可选地，级联块包括多个残差块和多个第二卷积层，多个残差块和多个第二卷积层交替设置，级联块采用局部级联结构；

第一执行模块120执行利用级联块进行多尺度特征提取，输出中间特征图的方式，包括：将级联块的输入作为第一个残差块的输入、以及将第N-1个第二卷积层的输出作为第N个残差块的输入，利用残差块学习残差特征，得到残差特征图；将级联块的输入和第N个第二卷积层前每个残差块的输出进行通道叠加，并在叠加后输入第N个第二卷积层进行卷积处理；将最后一个第二卷积层的输出作为中间特征图。

可选地，残差块包括分组卷积层、第三卷积层和第四卷积层，分组卷积层采用ReLu激活函数，分组卷积层和第三卷积层连接形成残差路径，残差块采用局部跳跃连接结构；

第一执行模块120执行利用残差块学习残差特征，得到残差特征图的方式，包括：将残差块的输入作为分组卷积层的输入，通过残差路径提取特征；将残差块的输入和第三卷积层的输出进行特征融合，并在融合后输入第四卷积层进行卷积处理，输出残差特征图。

第二执行模块130，用于利用图像重建模型的子像素卷积层对重建特征图进行放大，得到重建图像。

可选地，第二执行模块130具体用于：利用子像素卷积层调整重建特征图中的像素位置，得到重建图像。

请参照图10，图10示出了本申请实施例提供的模型训练装置200的方框示意图。模型训练装置200应用于任何具有图像处理功能的电子设备，包括：样本获取模块210、第一处理模块220、第二处理模块230、第三处理模块240及第四处理模块250。

样本获取模块210，用于获取训练样本，训练样本包括低分辨率图像和高分辨率图像，低分辨率图像是对高分辨率图像进行下采样得到的。

第一处理模块220，用于将低分辨率图像输入预先构建的图像重建模型，图像重建模型包括特征提取网络和子像素卷积层。

第二处理模块230，用于利用特征提取网络对低分辨率图像进行多尺度特征提取及扩展图像通道，得到训练特征图。

第三处理模块240，用于利用子像素卷积层对训练特征图进行放大，得到训练重建图像。

第四处理模块250，用于基于训练重建图像、高分辨率图像和预设的目标函数对图像重建模型进行反向传播训练，得到训练后的图像重建模型。

可选地，目标函数为L2损失函数；

第四处理模块250具体用于：基于训练重建图像、高分辨率图像和L2损失函数对图像重建模型进行反向传播训练，以对图像重建模型的参数进行调整，直至达到预设的训练完成条件，得到训练后的图像重建模型。

可选地，第一处理模块220还用于：对训练后的图像重建模型进行剪枝，以保留长线级联及删除短线级联。

可选地，第一处理模块220还用于：对低分辨率图像进行翻转对称处理，得到至少一个处理后的低分辨率图像。

第二处理模块230具体用于：将至少一个处理后的低分辨率图像输入图像重建模型。

第三处理模块240具体用于：利用特征提取网络对至少一个处理后的低分辨率图像进行多尺度特征提取，得到至少一个辅助特征图；对至少一个辅助特征图进行反翻转对称处理，并在反翻转对称处理后求平均值，得到所训练特征图。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的图像处理装置100和模型训练装置200的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

请参照图11，图11示出了本申请实施例提供的电子设备10的方框示意图。电子设备10可以是执行上述图像处理方法的移动终端，也可以是执行上述模型训练方法的任何具有图像处理功能的电子设备。电子设备10包括处理器11、存储器12及总线13，处理器11通过总线13与存储器12连接。

存储器12用于存储程序，例如图9所示的图像处理装置100、或者图10所示的模型训练装置200。以图像处理装置100为例，图像处理装置100包括至少一个可以软件或固件(firmware)的形式存储于存储器12中的软件功能模块，处理器11在接收到执行指令后，执行所述程序以实现上述实施例揭示的图像处理方法。

存储器12可能包括高速随机存取存储器(Random Access Memory，RAM)，也可能还包括非易失存储器(non-volatile memory，NVM)。

处理器11可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器11中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器11可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、微控制单元(Microcontroller Unit，MCU)、复杂可编程逻辑器件(Complex Programmable LogicDevice，CPLD)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、嵌入式ARM等芯片。

本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器11执行时实现上述实施例揭示的图像处理方法、或者模型训练方法。

综上所述，本申请实施例提供的一种图像处理和模型训练方法、装置、电子设备及存储介质，通过获取待处理图像并输入图像重建模型，图像重建模型包括特征提取网络和子像素卷积层，先利用特征提取网络对待处理图像进行多尺度特征提取及扩展图像通道得到重建特征图，再利用子像素卷积层对重建特征图进行放大得到重建图像。能够在保证重建效果的同时提高了处理速度。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (16)

1.一种图像处理方法，其特征在于，所述方法包括：

获取待处理图像；

将所述待处理图像输入图像重建模型，利用所述图像重建模型的特征提取网络对所述待处理图像进行多尺度特征提取及扩展图像通道，得到重建特征图；

利用所述图像重建模型的子像素卷积层对所述重建特征图进行放大，得到重建图像。

2.如权利要求1所述的方法，其特征在于，所述特征提取网络包括卷积层、多个级联块和多个第一卷积层，多个所述级联块和多个所述第一卷积层交替设置，所述特征提取网络采用全局级联结构；

所述利用所述图像重建模型的特征提取网络对所述待处理图像进行多尺度特征提取，得到重建特征图的步骤，包括：

将所述待处理图像输入所述卷积层进行卷积处理，得到初始特征图；

将所述初始特征图作为第一个所述级联块的输入、以及将第N-1个所述第一卷积层的输出作为第N个所述级联块的输入，利用所述级联块进行多尺度特征提取，输出中间特征图；

将所述初始特征图和第N个所述第一卷积层前每个所述级联块输出的所述中间特征图进行通道叠加，并在叠加后输入第N个所述第一卷积层进行卷积处理；

将最后一个所述第一卷积层的输出作为所述重建特征图。

3.如权利要求2所述的方法，其特征在于，所述级联块的数量为3～5，所述第一卷积层的数量为3～5。

4.如权利要求2所述的方法，其特征在于，所述级联块包括多个残差块和多个第二卷积层，多个所述残差块和多个所述第二卷积层交替设置，所述级联块采用局部级联结构；

所述利用所述级联块进行多尺度特征提取，输出中间特征图的步骤，包括：

将所述级联块的输入作为第一个所述残差块的输入、以及将第N-1个所述第二卷积层的输出作为第N个所述残差块的输入，利用所述残差块学习残差特征，得到残差特征图；

将所述级联块的输入和第N个所述第二卷积层前每个所述残差块的输出进行通道叠加，并在叠加后输入第N个所述第二卷积层进行卷积处理；

将最后一个所述第二卷积层的输出作为所述中间特征图。

5.如权利要求4所述的方法，其特征在于，所述残差块的数量为3～5，所述第二卷积层的数量为3～5。

6.如权利要求4所述的方法，其特征在于，所述残差块包括分组卷积层、第三卷积层和第四卷积层，所述分组卷积层采用ReLu激活函数，所述分组卷积层和所述第三卷积层连接形成残差路径，所述残差块采用局部跳跃连接结构；

所述利用所述残差块学习残差特征，得到残差特征图的步骤，包括：

将所述残差块的输入作为所述分组卷积层的输入，通过所述残差路径提取特征；

将所述残差块的输入和所述第三卷积层的输出进行特征融合，并在融合后输入所述第四卷积层进行卷积处理，输出所述残差特征图。

7.如权利要求1所述的方法，其特征在于，所述利用所述图像重建模型的子像素卷积层对所述重建特征图进行放大，得到重建图像的步骤，包括：

利用所述子像素卷积层调整所述重建特征图中的像素位置，得到所述重建图像。

8.一种模型训练方法，其特征在于，所述方法包括：

获取训练样本，所述训练样本包括低分辨率图像和高分辨率图像，所述低分辨率图像是对所述高分辨率图像进行下采样得到的；

将所述低分辨率图像输入预先构建的图像重建模型，所述图像重建模型包括特征提取网络和子像素卷积层；

利用所述特征提取网络对所述低分辨率图像进行多尺度特征提取及扩展图像通道，得到训练特征图；

利用所述子像素卷积层对所述训练特征图进行放大，得到训练重建图像；

基于所述训练重建图像、所述高分辨率图像和预设的目标函数对所述图像重建模型进行反向传播训练，得到训练后的图像重建模型。

9.如权利要求8所述的方法，其特征在于，所述目标函数为L2损失函数；

所述基于所述训练重建图像、所述高分辨率图像和预设的目标函数对所述图像重建模型进行反向传播训练，得到训练后的图像重建模型的步骤：

基于所述训练重建图像、所述高分辨率图像和所述L2损失函数对所述图像重建模型进行反向传播训练，以对所述图像重建模型的参数进行调整，直至达到预设的训练完成条件，得到训练后的图像重建模型。

10.如权利要求8所述的方法，其特征在于，所述方法还包括：

对所述训练后的图像重建模型进行剪枝，以保留长线级联及删除短线级联。

11.如权利要求8所述的方法，其特征在于，所述将所述低分辨率图像输入预先构建的图像重建模型的步骤之前，所述方法还包括：

对所述低分辨率图像进行自减平均值处理，以突出所述低分辨率图像的纹理细节。

12.如权利要求8或11所述的方法，其特征在于，所述将所述低分辨率图像输入预先构建的图像重建模型的步骤之前，所述方法还包括：

对所述低分辨率图像进行翻转对称处理，得到至少一个处理后的低分辨率图像；

所述将所述低分辨率图像输入预先构建的图像重建模型的步骤，包括：

将所述至少一个处理后的低分辨率图像输入所述图像重建模型；

所述利用所述特征提取网络对所述低分辨率图像进行多尺度特征提取，得到训练特征图的步骤，包括：

利用所述特征提取网络对所述至少一个处理后的低分辨率图像进行多尺度特征提取，得到至少一个辅助特征图；

对至少一个辅助特征图进行反翻转对称处理，并在反翻转对称处理后求平均值，得到所述训练特征图。

13.一种图像处理装置，其特征在于，所述装置包括：

图像获取模块，用于获取待处理图像；

第一执行模块，用于将所述待处理图像输入图像重建模型，利用所述图像重建模型的特征提取网络对所述待处理图像进行多尺度特征提取及扩展图像通道，得到重建特征图；

第二执行模块，用于利用所述图像重建模型的子像素卷积层对所述重建特征图进行放大，得到重建图像。

14.一种模型训练装置，其特征在于，所述装置包括：

样本获取模块，用于获取训练样本，所述训练样本包括低分辨率图像和高分辨率图像，所述低分辨率图像是对所述高分辨率图像进行下采样得到的；

第一处理模块，用于将所述低分辨率图像输入预先构建的图像重建模型，所述图像重建模型包括特征提取网络和子像素卷积层；

第二处理模块，用于利用所述特征提取网络对所述低分辨率图像进行多尺度特征提取及扩展图像通道，得到训练特征图；

第三处理模块，用于利用所述子像素卷积层对所述训练特征图进行放大，得到训练重建图像；

第四处理模块，用于基于所述训练重建图像、所述高分辨率图像和预设的目标函数对所述图像重建模型进行反向传播训练，得到训练后的图像重建模型。

15.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-7中任一项所述的图像处理方法，或者，如权利要求8-12中任一项所述的模型训练方法。

16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7中任一项所述的图像处理方法，或者，如权利要求8-12中任一项所述的模型训练方法。

Images