CN117649353A - 图像处理方法、装置、存储介质和电子设备 - Google Patents

Abstract

本公开提供了一种图像处理方法、图像处理装置、计算机可读存储介质和电子设备，涉及图像处理技术领域。该图像处理方法包括：提取待处理图像的图像特征；对图像特征中的噪声区域进行剪裁处理，得到中间图像特征；对中间图像特征进行图像重建，得到降噪后的目标图像。本公开提供的技术方案，解决了传统方法中存在的图像重建模型复杂度高且图像重建效率低的技术问题，达到了提高图像重建效率以及降低图像重建模型的复杂度的技术效果。

Description

图像处理方法、装置、存储介质和电子设备

技术领域

本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、图像处理装置、计算机可读存储介质和电子设备。

背景技术

随着机器学习的快速发展以及机器视觉在各工程领域的广泛应用，图像处理技术也得到了快速发展。针对机器视觉的原始图像进行图像特征提取可以实现多种机器任务，例如，目标检测、目标跟踪等。然而，在对机器视觉的原始图像进行图像特征提取时，会在图像特征通道中引入噪声，进而使得重建后图像出现噪声。

目前，通常使用生成对抗网络(Generative Adversarial Net，GAN)或特征级联残差模块堆叠的方法对上述图像重建过程进行去噪处理。

但是，上述去噪方法增加了大量的网络模块级，大大增加了网络模型的体积，占用资源更多，从而导致图像重建效率低。

发明内容

本公开提供了一种图像处理方法、图像处理装置、计算机可读存储介质和电子设备，进而提高图像重建效率。

第一方面，本公开一个实施例提供了一种图像处理方法，包括：提取待处理图像的图像特征；对图像特征中的噪声区域进行剪裁处理，得到中间图像特征；对中间图像特征进行图像重建，得到降噪后的目标图像。

在本公开一个可选的实施例中，提取待处理图像的图像特征，包括：对待处理图像的图像尺寸按照预设比例进行图像缩放，得到待处理图像的图像特征。

在本公开一个可选的实施例中，对图像特征中的噪声区域进行剪裁处理，得到中间图像特征，包括：将待处理图像中像素值为预设像素值的区域确定为噪声区域；将图形特征中与初始噪声区域对应的特征区域确定为图像特征中的目标噪声区域；剪裁掉目标噪声区域对应边缘区域的预设宽度图像特征，得到图像特征中剩余的中间图像特征。

在本公开一个可选的实施例中，对中间图像特征进行图像重建，得到降噪后的目标图像，包括：将中间图像特征的特征值输入至图像重建网络模型进行图像重建，得到降噪后的目标图像。

在本公开一个可选的实施例中，将中间特征的特征值输入至图像重建网络模型进行图像重建，得到降噪后的目标图像，包括：基于图像重建网络模型中的残差学习模块对中间图像特征进行特征增强提取，得到对中间图像特征进行特征增强后的特征值。

在本公开一个可选的实施例中，基于图像重建网络模型中的放大模块，对残差学习模块输出的中间图像特征进行按照预设比例进行对应的尺寸缩放，得到目标图像。

在本公开一个可选的实施例中，基于图像重建网络模型中的量化模块，对残差学习模块输出的中间图像特征进行量化处理，得到目标图像。

第二方面，本公开一个实施例提供了一种图像处理装置，该装置包括：特征提取模块、特征剪裁模块及图像重建模块。其中，特征提取模块用于提取待处理图像的图像特征；特征剪裁模块用于对图像特征中的噪声区域进行剪裁处理，得到中间图像特征；图像重建模块用于对中间图像特征进行图像重建，得到降噪后的目标图像。

在本公开一个可选的实施例中，特征提取模块用于对待处理图像的图像尺寸按照预设比例进行图像缩放，得到待处理图像的图像特征。

在本公开一个可选的实施例中，特征剪裁模块用于将图像特征中像素值为预设像素值的区域确定为噪声区域；将图形特征中与初始噪声区域对应的特征区域确定为图像特征中的目标噪声区域；剪裁掉目标噪声区域对应边缘区域的预设宽度图像特征，得到图像特征中剩余的中间图像特征。

在本公开一个可选的实施例中，图像重建模块用于将中间图像特征的特征值输入至图像重建网络模型进行图像重建，得到降噪后的目标图像。

在本公开一个可选的实施例中，图像重建模块用于基于图像重建网络模型中的残差学习模块对中间图像特征进行特征增强提取，得到对中间图像特征进行特征增强后的特征值。

在本公开一个可选的实施例中，图像重建模块用于基于图像重建网络模型中的放大模块，对残差学习模块输出的中间图像特征进行按照预设比例进行对应的尺寸缩放，得到目标图像。

在本公开一个可选的实施例中，图像重建模块用于基于图像重建网络模型中的量化模块，对残差学习模块输出的中间图像特征进行量化处理，得到目标图像。

第三方面，本公开一个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上的图像处理方法。

第四方面，本公开一个实施例提供了一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行如上的图像处理方法。

本公开的技术方案具有以下有益效果：

上述图像处理方法中，通过提取待处理图像的图像特征；对图像特征中的噪声区域进行剪裁处理，得到中间图像特征；对中间图像特征进行图像重建，得到降噪后的目标图像。该方法中，对待处理图像进行特征提取，得到低分辨率的图像特征；然后对图像特征中的噪声区域进行剪裁处理，并通过图像重建技术对剪裁后得到的中间图像特征进行图像重建，从而得到去除噪声后的重建图像。通过这种方式可以避免增加大量的网络结构，使得网络结构简单轻巧，进而节省计算资源，可以大大提高图像处理的效率。从而解决了目前网络结构复杂度高以及图像重建效率低的技术问题，达到了降低网络结构复杂度以及提高图像处理的效率的技术效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施方式，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性示出了本示例性实施方式中一种基于面向机器视觉编码特征进行图像重建的***架构图；

图2示意性示出了本示例性实施方式中一种图像重建网络模型示意图；

图3示意性示出了本示例性实施方式中一种图像处理***的架构图；

图4示意性示出了本示例性实施方式中一种图像处理方法的流程示意图；

图5示意性示出了本示例性实施方式中一种特征提取网络示意图；

图6示意性示出了本示例性实施方式中一种剪裁噪声区域方法流程图；

图7示意性示出了本示例性实施方式中另一种剪裁噪声区域方法流程图；

图8示意性示出了本示例性实施方式中一种去除横向条块尾影噪声的效果示意图；

图9示意性示出了本示例性实施方式中一种去除纵向条块尾影噪声的效果示意图；

图10示出本示例性实施方式中一种图像处理装置结构示意图；

图11示出本示例性实施方式中一种电子设备的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例性实施方式。然而，示例性实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例性实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

本公开实施方式提供的图像处理方法可以应用于对图像进行降噪处理的应用场景中，尤其可以应用于在机器视觉领域的图像重建过程中，对图像进行降噪处理的应用场景中。以医学影像领域为例，医学图像要求显示人眼无法辨别的细微病灶区域，因此需要显示高质量的图像。然而，传感器会受到技术工艺的制约以及在生成图片过程中噪声的影响，且在机器学习过程中，需要海量的图像数据作为样本数据进行模型训练，而高分辨率图片在传输及保存过程中会占用大量计算机资源，导致***延迟。因此，在实际应用中通常将高分辨率的输入图像进行图像特征提取以及图像特征编码以得到低分辨率的图像特征进行输出，再通过图像重建技术将图像特征重建为高分辨率图像。

图1示意性示出了根据本公开的示例性实施方式的一种基于面向机器视觉编码特征进行图像重建的***架构图。

如图1所示，以DIV2K数据集的图像为例，图像a为发送端输入的原始图像，原始图像可以是智能终端采集的图像(例如，包含智能摄像头等带有图像采集能力的智能设备)，图像b为接收端通过面向机器视觉特征编码进行图像重建***输出的重建图片。

例如，发送端输入图像a的形状(shape)为(h，w，3)，其中，h(height),代表图片的高度；w(width)，代表图片的宽度；3是图像的通道数。将图像a进行机器任务预处理得到图像x(h’，w’，3)，机器任务预处理是将输入的图像a进行处理以适应机器视觉特征编码的图像重建***，机器任务预处理可以包括：几何变换(resize)、归一化处理、图像增强处理等。

然后，通过特征提取网络对图像x进行特征提取，得到图像特征f(H,W,N)，其中，N是对图像x进行特征提取得到的N个特征通道，H为图像特征高度，W为图像特征宽度，H和图像x的高度满足H＝h’/upscale，W和图像x的宽度满足W＝w’/upscale，其中，缩放系数upscale由特征提取网络中下采样操作决定。以ResNet的stem层为例，N可以是64通道，特征提取网络即为stem层之前的网络结构，经过一次卷积步长(stride)为2的卷积，一次3x3最大池化层，共计下采样4倍，因此upscale为4。再经过机器视觉特征编解码器对图像x的图像特征进行特征编码并传输至接收端，特征编码也称特征压缩，即通过特征编码以较少的比特表示图像特征信息。从而降低数据传输延迟，进而提高发送端与接收端之间的图像特征传输效率。

在接收端进行面向机器视觉特征解码，得到机器视觉解码特征(Extracteddecode feature)f′(H,W,N)，并输入到图像重建网络模型中，从而得到重建后的图像I(h’，w’，3)。同时，机器视觉的图像特征f′(H,W,N)对应了N个机器任务，机器任务可以是目标检测、目标识别、目标分割、目标追踪等，N为大于等于1的值。其中，图像重建网络模型是根据输入的图像特征值重建图像。

最终，通过机器任务后处理方法将重建后的图像I恢复为图像b(h，w，3)，以便用户视觉查看或进行其他机器任务，其中，机器任务后处理方法与机器任务预处理方法相对应。

在图1所示的基于面向机器视觉编码特征进行图像重建的***架构基础上，图2示意性示出了根据本公开的示例性实施方式的一种图像重建网络模型示意图。

参考图2，图像重建网络模型可以包括特征对齐模块、残差学习模块、上采样模块以及量化处理模块，其中上采样模块也可称为放大模块，量化处理模块即量化模块。

该图像重建网络模型的输入为图像特征，输出为重建图像。其中，特征对齐模块可以对输入的图像特征进行对齐，通过特征对齐模块可以将高度关联但在空间位置未对齐的图像特征进行对齐，以便后续进行残差学习；残差学习模块可以增强图像特征，以对图像细节信息进行重建，其中残差学习模块可以包含多模块残差学习块叠加，注意力模块叠加等；上采样模块将图像按照一定比例扩大，以扩大图像像素；量化处理模块可以将图像的像素值映射到0-255范围，从而得到重建图像。

然而，在上述图像重建过程中，输入的低分辨率图像的图像特征是通过机器视觉特征提取(或者称为特征提取网络)进行图像特征提取生成的，特征提取网络进行图像特征提取过程中通常会引入填充、卷积操作等，这些操作容易在图像特征上形成边部效应，即存在噪声(例如，条块尾影噪声，其中，条块尾影噪声是图像中具有一定周期性、方向性且呈条带状分布的特殊噪声)。这些存在边部效应的图像特征输入到图像重建网络后，也会造成重建图像出现边部噪声，进而影响重建后的图像质量。在一些传统技术中，通常在图1所示的***中添加GAN生成对抗网络或图像特征级联残差模块堆叠的方法对上述存在边部效应的图像特征进行降噪处理。

然而，上述对存在边部效应的图像特征进行降噪处理方法增加了整个图像重建模型的网络结构以及训练成本，导致图像重建模型复杂度高，图像重建效率低。

本公开示例性实施方式考虑到上述问题，提出一种图像处理方法，该方法无需在图1所示的图像重建***中增加网络结构，而是对待处理图像的图像特征进行噪声检测，从而对待处理图像的图像特征中的噪声区域进行剪裁处理，得到中间图像特征；最终对中间图像特征进行图像重建以实现对低分辨率图像的降噪处理过程。该方法避免了一些技术在进行图像降噪时添加的网络结构，从而降低了图像处理过程中模型复杂度，进一步提高了图像重建的效率。

图3示意性示出本示例性实施方式中一种图像处理***的架构图。参考图3，图像处理***300包括多个终端设备301和服务设备302。其中，用户可以根据终端设备301输入待处理图像，以发起图像重建的业务请求。服务设备302在接收到图像重建的业务请求后，提取待处理图像的图像特征；对图像特征中的噪声区域进行剪裁处理，得到中间图像特征；对中间图像特征进行图像重建，得到降噪后的目标图像。最后，将降噪处理后的目标图像(例如重建图像--仅为示例)反馈给终端设备301。

需要说明的是，服务设备302可以为一台服务器，可以为多台服务器组成的服务器集群。且在图3所示的***架构300中，终端设备301和服务设备302的数目仅仅是示例性的，更多或更少的数量都属于本申请的保护范畴。并且，在上述示例运行场景中，终端设备例如可以是个人计算机、服务器、掌上电脑(Personal Digital Assistant，PDA)、笔记本或其它任何具有联网功能的计算设备。

在了解了本公开的***架构后，结合图4对本公开图像处理方法的技术方案进行详细说明。

图4示意性示出了本示例性实施方式中一种图像处理方法的流程示意图，该方法可以由任意执行图像处理方法的装置来执行，该装置可以通过软件和/或硬件实现，本公开示例性实施方式提供的图像处理方法可以由任意具备计算处理能力的电子设备执行，例如终端设备301和/或服务设备302。

在下面的实施例中，以服务设备302执行图像处理方法为例进行举例说明，但本公开并不限定于此。参考图4，本公开示例性实施方式提供的图像处理方法可以包括步骤S401至S403：

步骤S401、提取待处理图像的图像特征。

示例性的，待处理图像可以是发送端通过智能设备采集的图像；也可以是经过一次图像重建网络模型进行图像重建后的图像，即存在噪声区域的重建图像。

步骤S402、对图像特征中的噪声区域进行剪裁处理，得到中间图像特征。

示例性的，噪声区域为噪声在待处理图像中的区域，噪声可以是条块尾影噪声或其它类型的噪声。在确定待处理图像的噪声区域后，对噪声区域进行剪裁处理，以截掉噪声区域，得到中间图像特征。

步骤S403、对中间图像特征进行图像重建，得到降噪后的目标图像。

对截掉噪声区域后的中间图像特征进行图像重建，从而得到去除噪声后的目标图像。

本公开的一些实施例所提供的技术方案中，通过提取待处理图像的图像特征；对图像特征中的噪声区域进行剪裁处理，得到中间图像特征；对中间图像特征进行图像重建，得到降噪后的目标图像。该方法中，在待处理图像特征存在噪声的情况下，将待处理图像特征的噪声区域进行剪裁处理，并通过图像重建技术对剪裁后的图像特征进行图像重建，从而得到去除噪声后的图像。通过这种方式可以避免增加大量的网络结构，使得网络结构简单轻巧，进而节省计算资源，可以大大提高图像处理的效率。从而解决了目前网络结构复杂度高以及图像重建效率低的技术问题，达到了降低网络结构复杂度以及提高图像处理的效率的技术效果。

根据本公开的一些实施例，在提取待处理图像的图像特征时，可以通过特征提取网络对待处理图像进行特征提取。其中，特征提取网络是根据神经网络模型以及样本图像集进行训练所得，以得到输入图像的图像特征。

以下将结合图5对通过特征提取网络对待处理图像进行特征提取，得到待处理图像对应的图像特征过程进行详细说明。

图5示意性示出了本示例性实施方式中一种特征提取网络示意图。参考图5，首先，对待处理图像进行图像预处理。其中，图像预处理可以包括：几何变换(resize)、归一化处理、图像增强处理等。通过图像预处理可以将输入特征提取网络的待处理图像进行一系列标准化处理，使之变换为固定标准形式的图像过程，以便于后续提取图像特征提取的计算过程。

然后，可通过特征提取网络对预处理后的图像进行特征提取，再通过特征编码单元及特征解码单元进行编解码，最终获取重建后的图像特征。其中，特征提取网络可以包含卷积单元、归一化单元、激活单元中的一个或多个，特征提取网络可以通过样本数据进行训练获得。

示例性的，图像预处理和特征提取网络可以采用detectron2中Faster R-CNNX101 FPN的图像预处理和骨干网ResNet101中开始到stem模块的网络结构进行处理，网络权重为detectron2 model zoo中目标检测Faster R-CNN X101 FPN。

在图像重建前对待处理图像的进行特征提取，可以仅存储图像中重要的信息，从而避免直接以待处理图像的存储矩阵作为图像特征进行各类运算所导致的计算资源浪费问题，从而极大的降低了图像重建过程的图像存储和计算复杂度。

在本公开的示例性实施方式中，在提取待处理图像的图像特征时，可以对待处理图像的图像尺寸按照预设比例进行图像缩放，得到待处理图像的图像特征。

示例性的，可以在使用特征提取网络对待处理图像进行特征提取时，将提取的待处理图像的图像尺寸(例如，待处理图像的宽度和高度)按照预设比例进行缩放操作。然后，再进行噪声区域的剪裁处理过程。对待处理图像的图像特征进行缩放操作可以使待处理图像的图像特征不发生形变的情况下，按照预设比例缩放。

例如，待处理图像的图像高度h为4，图像宽度w为4，且下采样系数upscale为4，则待处理图像的图像特征，其图像特征高度H＝1，图像特征宽度W＝1。

在使用特征提取网络对待处理图像进行特征提取过程中，对待处理图像的图像尺寸进行缩放操作，提取待处理图像的图像特征，从而将高分辨率的图像转换为低分辨率的图像特征进行传输，进而降低***延迟。

进一步的，在步骤S402对图像特征中的噪声区域进行剪裁处理得到中间图像特征时，可以确定需要剪裁的噪声区域。

在本公开的示例性实施方式中，对待处理图像的图像特征中的噪声区域进行剪裁处理，得到中间图像特征时，可以将待处理图像中像素值为预设像素值的区域确定为初始噪声区域；将图形特征中与初始噪声区域对应的特征区域确定为图像特征中的噪声区域；剪裁掉噪声区域对应边缘区域的预设宽度图像特征，得到图像特征中剩余的中间图像特征。

其中，预设像素值可以根据噪声的具体特征进行设定。

示例性的，在对待处理图像的图像特征中的噪声区域进行剪裁处理时，可以查找待处理图像中像素值均为预设像素值的区域，将该区域确定为待处理图像中的初始噪声区域，在将确定的初始噪声区域对应到所提取的图像特征中对应特征区域，以得到图像特征的目标噪声区域，从而对目标噪声区域执行后续噪声剪裁操作。

以待处理图像中存在条块尾影噪声为例，由于卷积神经网络进行图像特征提取过程中通常会引入填充、卷积操作，这些操作容易在图像的中间特征中形成边部效应。条块尾影噪声是聚集在图片边界区域、具备方向性且呈条带状分布的噪声，其噪声区域的像素值为0。因此，可以通过判断待处理图像边界区域内预设宽度区域或高度区域的像素值是否全部为0，即可确定待处理图像的初始噪声方向以及初始噪声区域，其中，初始噪声方向在待处理图像对应图像特征中是保持不变，即图像特征中包含的目标噪声方向与待处理图像中确定的初始噪声方向相同。最后，将上述初始噪声方向上对应图像特征中目标噪声区域对应边缘区域的预设宽度图像特征进行剪裁，得到剩余的中间图像特征。

通过判断待处理图像的像素值是否为预设像素值可以快速确定噪声方向以及噪声区域，从而在对应待处理图像的图像特征上对相同噪声方向上对预设宽度图像特征进行剪裁，以便去除图像重建后的噪声，提高图像重建后的图像的质量。

在本公开的示例性实施方式中，在对中间图像特征进行图像重建，以得到降噪后的目标图像时，将中间图像特征的特征值输入至图像重建网络模型进行图像重建，得到降噪后的目标图像。

在对中间图像特征进行图像重建时，可以将去除噪声后的中间图像特征的特征值输入至图像重建网络模型以进行图像重建，便可得到降噪后的目标图像。

通过对剪裁掉噪声区域的低分辨率中间图像特征值进行输入图像重建网络模型以进行图形重建，便可将去除噪声区域的图像特征值进行图像重建以得到高质量的图像，从而在不增加模型网络结构的前提下，进一步的提高了图形重建后的图形质量。

在本公开的示例性实施方式中，在基于图像重建网络模型进行图像重建时，可以基于图像重建网络模型中的残差学习模块对中间图像特征进行特征增强提取，得到对中间图像特征进行特征增强后的特征值。

其中，残差学习模块可以由卷积模块、激活函数模块、残差缩放模块等组成。同时，残差学习模块利用了残差原理对中间图像进行特征增强提取。

例如，由于低分辨率图像特征携带的低频信息与高分辨率图像特征的低频信息相近，而残差学习模块进行模型训练时，对上述低频信息进行学习训练会花费大量的时间。因此，在实际应用中，残差学习模块仅需对高分辨率图像特征和低分辨率图像特征之间的高频信息残差进行学习便可解决分辨率低的问题，该过程就是残差原理。其中，图像特征体现在图像中，其低频信息表示图像中灰度值变化缓慢的区域，是图像的大致概貌和轮廓，是图像的近似信息；图像的高频信息表示图像中灰度值变化剧烈的区域，对应着图像的边缘、噪声以及细节部分，反应的是小范围的细节信息。

示例性的，在使用残差学习模块进行图像特征增强前，还可以使用变形(warp)操作，以便将高度关联但在空间位置未对齐的图像特征进行对齐，以便后续进行图像细节重建。

通过图像重建网络模型中的残差学习模块可以对待处理图像提取的图像特征进行增强，以便通过图像重建网络模型学习图像的高频信息，在提高重建后图像的分辨率的同时，降低了模型的复杂度，加速了学习速率。

在本公开的示例性实施方式中，基于图像重建网络模型中的放大模块，对残差学习模块输出的中间图像特征进行按照预设比例进行对应的尺寸缩放，得到目标图像。

其中，放大模块为上采样模块。上采样模块通过一定规则并按照预设比例，将残差学习模块输出的中间图像特征缩放到预设的图像特征尺寸。因此，通过上采样模块将输入图像特征的尺寸重新扩大为缩放前图像的大小。例如，经过机器任务预处理后的图像x’大小为(h’，w’，3)，输入图像重建网络模型的特征大小为(H，W，N)，则经过上采样模块将输出的目标中间图像缩放到x’相同的图像尺寸(h’，w’，3)。

示例性的，上采样模块可以包括卷积模块和重组像素模块(Pixel-Shuffle)。其中，卷积模块可将残差学习模块输出中间图像的通道数扩大，再通过Pixel-Shuffle将两个通道的特征图进行相互***，使得输出的目标图形的尺寸扩大至与机器任务预处理后的图像相同大小，实现目标图像的超像素重建。

通过上采样模块对残差学习模块输出的中间图像进行按照预设比例进行对应的尺寸缩放，从而将缩小的图像特征扩大至与机器任务预处理后的图像相同大小，同时扩大特征的分辨率，提高重建后图像的质量。

在本公开的示例性实施方式中，基于图像重建网络模型中的量化模块，对残差学习模块输出的中间图像特征进行量化处理，得到目标图像。

其中，量化模块是对输入的图像特征执行量化(Quantization)处理，量化旨在将图像像素点对应亮度的连续变化区间转换为单个特定值的过程，即将中间图像特征的连续灰度值映射到0-255灰度级范围，以得到目标图像。

通常情况下，量化等级越多，图像模块次越丰富，图形灰度的分辨率越高，图像的质量也越好；反之，量化等级越少，图像模块次欠丰富，灰度分辨率越低，会出现图像轮廓分模块的现象，从而降低了图像的质量。

通过量化模块对残差学习模块输出的中间图像特征进行量化处理，可以进一步提高图像分辨率，提升重建后图像的质量。

在上述任一示例性实施方式的基础上，以下将结合图6、图7对一种确定噪声区域并进行剪裁操作方法流程进行详细说明。

图6示意性示出了本示例性实施方式中一种剪裁噪声区域方法流程图。参考图6，将图像特征作为重建图像网络模型的输入，其中输入的图像特征可以是经过图5所示的方法对待处理图像进行特征提取处理得到的图像特征。

以下将以待处理图像为经过一次图像重建生成的量化图像I，其量化图像I的尺寸为(3，h’，w’)为例进行说明。

示例性的，假设输入的图像特征为(N，H，W)，H为图像特征的高度，H＝h’/upscale；W为图像特征的宽度，W＝w’/upscale；N为通道数。可将该图像特征Z进行特征对齐后得到图像特征(M，H，W)。

然后，依次通过重建图像网络模型的残差学习模块、上采样模块、量化处理模块，得到第一次图像重建后生成的图像I(3，h’，w’)。

最后，判断量化图像中是否存在条块尾影噪声，并根据判断结果得到降噪后的目标图像。

具体的，可通过判断量化图像边界区域的像素值是否全部为0，以确定量化图像中是否存在条块尾影噪声。如果量化图像边界区域的像素值不全为0，则该量化图像中不存在条块尾影噪声，则直接输出量化图像I(3，H，W)为目标图像。如果量化图像边界横向或纵向区域的像素值全为0，则该量化图像中存在条块尾影噪声，将该量化图像I对应图像特征Z的边缘区域中预设宽度或高度特征进行剪裁操作，得到量化图像中剩余的中间图像特征。然后，对得到的中间图像特征再次通过重建图像网络模型的残差学习模块、上采样模块、量化处理模块，得到第二次图像重建生成的量化图像I’(3，h’，w’)为目标图像。

图7是在图6判断量化图像中是否存在条块尾影噪声，并根据判断结果进行重建图像的详细过程示意图，图8、图9分别为去除横向条块尾影噪声、去除纵向条块尾影噪声的结果示意图。

图7示意性示出了本示例性实施方式中另一种剪裁噪声区域方法流程图。

参见图7，如果量化图像中存在条块尾影噪声，可以在高度方向上出现预设行数的像素值全部为0，简称横向条块尾影噪声；或者在宽度方向上出现预设列数的像素值全为0，简称纵向条块尾影噪声。因此，在判断量化图像中是否存在条块尾影噪声时，需分别从高度方向和宽度方向上分别判断。

根据本公开的一些实施例，判断量化图像I(3，h’，w’)在高度方向H[-K:]像素值是否全为0，即判断量化图像在高度方向上边界区域K行的像素值是否全部为0。如果是，则将特征对齐模块处理后的图像特征Z(M，H，W)进行剪裁操作，仅保留高度方向H[0:-R]上的特征，即得到特征Z1为Z[:,0:-R,:]，此时Z1为中间图像特征。其中，K、R均是预设高度方向上的阈值，可根据噪声特征调整。

根据本公开的一些实施例，如果高度方向上边界区域的像素值不是全部为0，则判断宽度方向上边界区域W[-D:]的像素值是否全部为0。如果是，则将特征对齐模块处理后的图像特征Z(M，H，W)进行剪裁操作，仅保留宽度方向W[0:-C]上的特征，即得到特征Z2为Z[:,:,0:-C]，此时Z2为中间图像特征。其中，D、C均是预设宽度方向的阈值，可根据噪声特征调整。

得到中间图像特征Z1或中间图像特征Z2后，可将特征Z1或特征Z2再次输入重建图像网络模型的残差学习模块、上采样模块、量化处理模块，得到量化图像I’(3，h’，w’)为降噪后的目标图像；若高度和宽度方向上均不存在条块尾影噪声，则将第一次图像重建生成的量化图像I(3，h’，w’)作为目标图像。

例如，可以优先判断量化图像I(3，h’，w’)的高度方向最后3行像素值是否全0。如果是全0，则将特征对齐模块处理后的图像特征Z(M，H，W)进行剪裁操作，保留高度方向从上至下H-2行的特征Z1；或者判断量化图像I(3，h’，w’)的宽度方向最后3列像素值是否全0。如果是全0，特征Z(M，H，W)进行剪裁操作，保留宽度方向从左至右W-2列的特征Z2。最后对特征Z1或Z2重新进入残差学习模块、上采样模块和量化处理模块，输出目标图像I’(3，h’，w’)。

根据本公开的一些实施例，上述特征提取网络以及重建图像网络模型的训练样本为COCO trainl2017数据集图片，得到训练模型后对DIV2K-test-LR-bicubic-X4数据集进行机器视觉特征到图像重建推理。图8、图9所示的学习图像为DIV2K-test-LR-bicubic-X4数据集中的示例图像。

图8示意性示出了本示例性实施方式中一种去除横向条块尾影噪声的效果示意图。参考图8，图8(a)是第一次经过重建图像网络模型得到的量化图像I，其中，图像I存在横向条块尾影噪声；图8(b)是对图像I的图像特征进行剪裁操作后再经过重建图像网络模型得到的目标图像I’。

图9示意性示出了本示例性实施方式中一种去除纵向条块尾影噪声的效果示意图。参考图9，图9(a)是第一次经过重建图像网络模型得到的量化图像I，其中，图像I存在纵向条块尾影噪声；图9(b)是对图像I的图像特征进行剪裁操作后再经过重建图像网络模型得到的目标图像I’。

示例性的，在本公开的技术方案与一些技术使用的特征提取网络以及重建图像网络模型、数据集相同情况下，表1为使用本公开剪裁处理方案与未使用剪裁处理方案重建图像的图像质量进行对比。

表1

如表1所示，分别从峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)、结构相似性(Structural Similarity，SSIM)以及多尺度结构相似性(Multi-scale StructuralSimilarity，MS-SSIM)三种图像质量评价指标进行说明。

其中，PSNR的最小值为0，且PSNR越大，图像的失真越少，图像质量越高；SSIM是是一种衡量两幅图像相似度的指标，SSIM越大，两张图像越相似，图像质量越高；MS-SSIM则是以各种分辨率评估图像，MS-SSIM越大，图像质量越高。由表1可知，相较一些技术未使用剪裁技术方案进行重建图像，本公开提供的技术方案提升了图像质量。

根据本公开的一些实施例，对于固定摄像头采集的图片进行机器视觉特征到图像重建模型训练，并进行降噪处理以进行图像重建时，由于固定摄像头成像的尺寸始终为固定尺寸的，若存在条块尾影噪声，则仅需在高度方向上去除横向条块尾影噪声即可。

在图7所示的基础上，对执行缩放操作以及特征对齐后的特征Z(M，H，W)进行剪裁操作，保留高度方向从上至下H-2行的特征Z1。然后将特征Z1再次输入重建图像网络模型的残差学习模块、上采样模块、量化处理模块，得到量化图像I’(3，h’，w’)为降噪后目标图像。

通过本公开提供的图像处理方法，可以确定是否存在条块尾影噪声，并快速确定条块尾影噪声的引入点，精准去噪，提升重建图像质量。

进一步的，为了实现上述图像处理方法，本公开的一个实施例中提供一种图像处理装置。图10示出了图像处理装置1000的示意性架构图。该图像处理装置1000包括特征提取模块1001、特征剪裁模块1002、图像重建模块1003。

其中，特征提取模块1001用于提取待处理图像的图像特征；特征剪裁模块1002用于对图像特征中的噪声区域进行剪裁处理，得到中间图像特征；图像重建模块1003用于对中间图像特征进行图像重建，得到降噪后的目标图像。

在一个可选的实施例中，该特征提取模块1001用于对待处理图像的图像尺寸按照预设比例进行图像缩放，得到待处理图像的图像特征。

在一个可选的实施例中，该特征剪裁模块1002用于将待处理图像中像素值为预设像素值的区域确定为噪声区域；将图形特征中与初始噪声区域对应的特征区域确定为图像特征中的目标噪声区域；剪裁掉目标噪声区域对应边缘区域的预设宽度图像特征，得到图像特征中剩余的中间图像特征。

在一个可选的实施例中，图像重建模块1003用于将中间图像特征的特征值输入至图像重建网络模型进行图像重建，得到降噪后的目标图像。

在一个可选的实施例中，图像重建模块1003用于基于图像重建网络模型中的残差学习模块对中间图像特征进行特征增强提取，得到对中间图像特征进行特征增强后的特征值。

在一个可选的实施例中，图像重建模块1003用于基于图像重建网络模型中的放大模块，对残差学习模块输出标中间图像特征进行按照预设比例进行对应的尺寸缩放，得到目标图像。

在一个可选的实施例中，图像重建模块1003用于基于图像重建网络模型中的量化模块，对残差学习模块输出的中间图像特征进行量化处理，得到目标图像。

本公开实施例提供的图像处理装置1000，可以执行上述任一实施例中的图像处理方法的技术方案，其实现原理以及有益效果与图像处理方法的实现原理及有益效果类似，可参见图像处理方法的实现原理及有益效果，此处不再进行赘述。

本公开的示例性实施方式还提供了一种计算机可读存储介质，可以实现为一种程序产品的形式，其包括程序代码，当程序产品在电子设备上运行时，程序代码用于使电子设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。在一种实施方式中，该程序产品可以实现为便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在电子设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。在本公开实施例中，计算机可读存储介质中存储的程序代码被执行时可以实现如上图像处理方法中的任一步骤。

请参见图11，本公开的示例性实施方式还提供了一种电子设备1100，可以是信息平台的后台服务器。下面参考图11对该电子设备1100进行说明。应当理解，图11显示的电子设备1100仅仅是一个示例，不应对本公开实施方式的功能和使用范围带来任何限制。

如图11所示，电子设备1100以通用计算设备的形式表现。电子设备1100的组件可以包括但不限于：至少一个处理单元1110、至少一个存储单元1120、连接不同***组件(包括存储单元1120和处理单元1110)的总线1130、显示单元1140。

其中，存储单元存储有程序代码，程序代码可以被处理单元1110执行，使得处理单元1110执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元1110可以执行如图4中所示的步骤S401至步骤S403。

存储单元1120可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)11201和/或高速缓存存储单元11202，还可以进一步包括只读存储单元(ROM)11203。

存储单元1120还可以包括具有一组(至少一个)程序模块11205的程序/实用工具11204，这样的程序模块11205包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线1130可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、***总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备1100也可以与一个或多个外部设备1200(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1100交互的设备通信，和/或与使得该电子设备1100能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1150进行。并且，电子设备1100还可以通过网络适配器1160与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1160通过总线1130与电子设备1100的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1100使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

提取待处理图像的图像特征；

对所述图像特征中的噪声区域进行剪裁处理，得到中间图像特征；

对所述中间图像特征进行图像重建，得到降噪后的目标图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述提取待处理图像的图像特征，包括：

对所述待处理图像的图像尺寸按照预设比例进行图像缩放，得到所述待处理图像的图像特征。

3.根据权利要求1所述的图像处理方法，其特征在于，所述对所述图像特征中的噪声区域进行剪裁处理，得到中间图像特征，包括：

将所述待处理图像中像素值为预设像素值的区域确定为初始噪声区域；

将所述图形特征中与所述初始噪声区域对应的特征区域确定为所述图像特征中的目标噪声区域；

剪裁掉所述目标噪声区域对应边缘区域的预设宽度图像特征，得到所述图像特征中剩余的所述中间图像特征。

4.根据权利要求3所述的图像处理方法，其特征在于，所述对所述中间图像特征进行图像重建，得到降噪后的目标图像，包括：

将所述中间图像特征的特征值输入至图像重建网络模型进行图像重建，得到降噪后的目标图像。

5.根据权利要求4所述的图像处理方法，其特征在于，所述将所述中间图像特征的特征值输入至图像重建网络模型进行图像重建，得到降噪后的目标图像，包括：

基于所述图像重建网络模型中的残差学习模块对所述中间图像特征进行特征增强提取，得到对所述中间图像特征进行特征增强后的特征值。

6.根据权利要求5所述的图像处理方法，其特征在于，还包括：

基于所述图像重建网络模型中的放大模块，对所述残差学习模块输出的中间图像特征进行按照所述预设比例进行对应的尺寸缩放，得到目标图像。

7.根据权利要求5所述的图像处理方法，其特征在于，还包括：

基于所述图像重建网络模型中的量化模块，对所述残差学习模块输出的中间图像特征进行量化处理，得到目标图像。

8.一种图像处理装置，其特征在于，包括：

特征提取模块，用于提取待处理图像的图像特征；

特征剪裁模块，用于对所述图像特征中的噪声区域进行剪裁处理，得到中间图像特征；

图像重建模块，用于对所述中间图像特征进行图像重建，得到降噪后的目标图像。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的图像处理方法。

10.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7任一项所述的图像处理方法。