CN112991231A - 单图像超分与感知图像增强联合任务学习*** - Google Patents

单图像超分与感知图像增强联合任务学习*** Download PDF

Info

Publication number
CN112991231A
CN112991231A CN202110466163.9A CN202110466163A CN112991231A CN 112991231 A CN112991231 A CN 112991231A CN 202110466163 A CN202110466163 A CN 202110466163A CN 112991231 A CN112991231 A CN 112991231A
Authority
CN
China
Prior art keywords
image
network
color correction
learning system
joint task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110466163.9A
Other languages
English (en)
Other versions
CN112991231B (zh
Inventor
袁峰
李晓
张越皖
徐亦飞
李浬
桑葛楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Oying Network Technology Co ltd
Original Assignee
Hangzhou Oying Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Oying Network Technology Co ltd filed Critical Hangzhou Oying Network Technology Co ltd
Publication of CN112991231A publication Critical patent/CN112991231A/zh
Application granted granted Critical
Publication of CN112991231B publication Critical patent/CN112991231B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种单图像超分与感知图像增强联合任务学习***、电子装置和存储介质，其中，该单图像超分与感知图像增强联合任务学习***包括深度网络模型，该深度网络模型包括第一网络、第二网络和第三网络。其中，第一网络包括大编解小编解码残差网络和包含了叠加的不同内核大小的轻量多尺度残差块的局部残差网络，利用多路径学习策略来同时描述局部和全局信息；第二网络包括两组并联且信息共享的卷积层，用来增强图像的高频细节；第三网络包括U‑net网络和颜色校正模块，用于寻求最佳融合颜色校正矩阵来学习颜色和色调映射。通过本申请，解决了现有技术的图像超分与感知图像增强联合任务不能很好地改善图像的视觉效果的问题。

Description

单图像超分与感知图像增强联合任务学习***
技术领域
本申请涉及计算机视觉领域，特别是涉及一种单图像超分与感知图像增强联合任务学习***、电子装置和存储介质。
背景技术
图像超分和感知图像增强是计算机视觉和图像处理领域的主要技术之一。近年来，深度学习技术在各种计算机视觉任务中取得了可观的成绩，极大地促进了图像超分和感知图像增强的发展。在图像超分方面，现有基于传统卷积神经网络和生成对抗网络(GAN,Generative Adversarial Networks)等多种深度学习方法。针对感知图像增强，现有一系列自动处理方法来处理颜色还原、图像清晰度、亮度和对比度等。对于图像超分和感知图像增强的结合，现有技术尝试从原始低分图像生成增强感知图像需要依次执行超分与感知图像增强方法，然而，因为在级联进程中会传播错误，导致这种依次执行的做法是效率较低且准确性难以保障。而在联合方案下执行时，这两个任务产生的输出可以相互补充，从而产生更好的结果。
目前针对图像超分与感知图像增强的联合任务，存在以下几种解决方案：E.Schwartz,R.Giryes,and A.M.Bronstein,2018,“Deepisp:Toward learning,an end-to-end image processing pipeline”，提出了一种利用深度神经网络学习特定数码相机的色彩校正制图。之后，X.Xu,Y.Ma,and W.Sun,2019，“Towards real scene super-resolution with raw images”，设计了一种能同时利用原始数据和彩色图像实现超分辨率真实场景的双网络，可以很好地适用于不同的相机。同时，K.Mei,J.Li,J.Zhang,H.Wu,J.Li,and R.Huang,2019,“Higher resolution network for image demosaicing andenhancing”，采用两条并行路径学习不同分辨率下的图像特征。针对此类联合任务，目前这些方法只是把感知图像增强作为解决真实场景下的图像的超分问题时的辅助产品，大部分方法相较于颜色而言更加关注细节，而不能很好地改善图像的视觉效果。
针对相关技术中存在图像超分与感知图像增强的联合任务中不能很好地改善图像的视觉效果的问题，目前还没有提出有效的解决方案。
发明内容
在本实施例中提供了一种单图像超分与感知图像增强联合任务学习***、电子装置和存储介质，以解决相关技术中存在图像超分与感知图像增强的联合任务中不能很好地改善图像的视觉效果的问题。
第一个方面，在本实施例中提供了一种单图像超分与感知图像增强联合任务学习***，包括：
学习模块，所述学习模块包括深度网络模型，所述深度网络模型包括第一网络、第二网络和第三网络；
所述第一网络包括大编解码残差网络、小编解码残差网络和局部残差网络，所述大编解码残差网络使用的RRDB数量多于所述小编解码残差网络，所述局部残差网络包括叠加的不同内核大小的轻量多尺度残差块；
所述第二网络用于对图像进行上采样，包括两组并联且信息共享的卷积层；
所述第三网络包括U-net网络和颜色校正模块，所述U-net网络用于提取图像特征，所述颜色校正模块用于根据提取的图像特征生成颜色校正矩阵，所述颜色校正矩阵用于对所述第一网络和所述第二网络的输出图像进行颜色校正；
所述深度网络模型的输入为训练图像对，所述训练图像对包含单张原始图像和单张校正图像，所述原始图像同时作为所述第一网络、所述第二网络和所述第三网络的输入。
在其中的一些实施例中，所述学习模块还包括图像预处理单元；
所述图像预处理单元，用于在所述原始图像输入第二网络之前，对所述原始图像进行滤波处理，得到基础信息层图像，并对所述原始图像与所述基础信息层图像进行逐元素除法运算，得到细节信息层图像，最后将所述原始图像与所述细节信息层图像叠加得到结果图像，将所述结果图像输入所述第二网络。
在其中的一些实施例中，所述第二网络的两组卷积层采用的卷积核尺寸不同。
在其中的一些实施例中，所述大编解码残差网络和所述小编解码残差网络采用不同的下采样尺度。
在其中的一些实施例中，所述大编解码残差网络和所述小编解码残差网络中的残差块的设置包括：删除批量标准化层、将PReLu层替换为RRelu层、和/或，删除通道注意力模块。
在其中的一些实施例中，所述U-net网络在编码阶段，将所述原始图像降采样至第一图像，再根据第一策略和第二策略分别处理所述第一图像；
所述第一策略包括：将所述第一图像降采样，得到第二图像，再复制所述第二图像；
所述第二策略包括：对所述第一图像进行全局平均池化，得到第三图像，再复制所述第三图像；
所述U-net网络在解码阶段，将复制的所述第二图像和复制的所述第三图像合并为第一特征图，并将所述第一特征图与所述第一图像进行拼接，得到第二特征图。
在其中的一些实施例中，所述颜色校正模块包括拼接单元、全局颜色校正单元、以及局部颜色校正单元；所述拼接单元，用于拼接所述大编解码残差网络、小编解码残差网络和局部残差网络的输出图像，得到第五图像，将所述第五图像馈入所述第三网络，通过对所述第五图像进行调整大小和上采样，得到第三特征图；
所述全局颜色校正单元，用于将所述第三图像输入一个全连接层，所述全连接层输出全局颜色校正矩阵；
所述局部颜色校正单元，用于将所述全局颜色校正矩阵作用于所述第三特征图，得到局部颜色校正矩阵，所述局部颜色校正矩阵作用于所述第一网络和第二网络的输出图像。
在其中的一些实施例中，其特征在于，所述深度网络模型的优化目标为损失函数最小化，所述损失函数为内容损失、全变差损失、多尺度结构相似性损失和像素损失的线性叠加。
在其中的一些实施例中，所述大编解码残差网络的解码阶段和小编解码残差网络的编码阶段设置有跳跃连接。
在其中的一些实施例中，所述***还包括训练模块，所述训练模块用于将训练图像集输入所述学习模块来训练所述深度网络模型。
第二个方面，在本实施例中提供了一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以实现上述第一个方面所述的单图像超分与感知图像增强联合任务学习***。
第三个方面，在本实施例中提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一个方面所述的单图像超分与感知图像增强联合任务学习***。。
与相关技术相比，本发明提供的超分与感知图像增强的联合任务学习***、电子装置和存储介质，其中，单图像超分与感知图像增强的联合任务学习***通过用训练图像集训练一个深度网络模型，该模型具有三个子网络，其中，第一网络利用多路径学习策略来同时描述局部和全局信息，第二网络利用两组并联、信息共享的卷积层来采样和增强高频细节，第三网络寻求颜色校正矩阵来学习颜色和色调映射。本发明能够恢复图像更多的细节和实现更好的对比度；赋予图像生动自然的色彩，使重建结果更加真实；消除图像的噪音和污点，产生更多的视觉愉悦的结果。本发明相较于现有技术，解决了图像超分与感知图像增强的联合任务中不能很好地改善图像的视觉效果的问题。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例提供的单图像超分与感知图像增强联合任务学习***的终端的硬件结构框图；
图2为其中一个实施例提供的单图像超分与感知图像增强联合任务学习***中的深度网络模型的工作原理图；
图3为其中一个实施例提供的单图像超分与感知图像增强联合任务学习***中第二网络的结构示意图；
图4为其中一个实施例提供的单图像超分与感知图像增强联合任务学习***中的图像预处理单元的工作原理图。
具体实施方式
为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。
除另作定义外，本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块(单元)的过程、方法和***、产品或设备并未限定于列出的步骤或模块(单元)，而可包括未列出的步骤或模块(单元)，或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。
在本实施例中提供的***实施例可以在终端、计算机或者类似的运算装置中实现。比如在终端上实现，图1是本实施例的单图像超分与感知图像增强联合任务学习***的终端的硬件结构框图。如图1所示，终端可以包括一个或多个(图1中仅示出一个)处理器102和用于存储数据的存储器104，其中，处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示出的不同配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如在本实施例中的单图像超分与感知图像增强联合任务学习***对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入输出设备108用于实现用户和终端之间的交互，例如，将本实施例中的单图像超分与感知图像增强联合任务学习***的学习结果展示给用户。
在本实施例中提供了一种单图像超分与感知图像增强联合任务学习***，以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
上述单图像超分与感知图像增强联合任务学习***包括学习模块，该学习模块包括深度网络模型，图2为该深度网络模型的工作原理图，如图2所示，该深度网络模型包括第一网络、第二网络和第三网络；
其中，第一网络包括大编解码残差网络、小编解码残差网络和局部残差网络。其中，大编解码残差网络使用的RRDB(Residual-in-Residual Dense Block)数量多于该小编解码残差网络。局部残差网络包括叠加的不同内核大小的轻量多尺度残差块。
上述大编解码残差网络和小编解码残差网络用于提取原始图像的全局信息，局部残差网络用于提取原始图像的局部信息。具体地，原始图像同时输入大编解码残差网络、小编解码残差网络和局部残差网络，并将大编解码残差网络、小编解码残差网络和局部残差网络的输出图像进行拼接，作为第一网络的输出。
进一步地，大编解码残差网络和小编解码残差网络采用不同的下采样尺度，以增加特征图的多样性。
可选地，在大编解码残差网络的解码阶段和小编解码残差网络的编码阶段建立一个跳跃连接，来防止梯度传播中出现梯度消失。
第二网络用于对图像进行上采样。作为一种可实施方式，如图3所示，第二网络包括两组并联且信息共享的卷积层(图3中用conv表示卷积层，其中一组卷积层大小为3×3，另一组卷积层大小为5×5)，两组卷积层通过交叉连接的方式将特征信息相互交换融合，并通过shuffle层进行上采样，再将两组输出的特征拼接(图3中用concat表示特征拼接)，再输入一个1×1的卷积层。
可选地，第二网络的两组卷积层采用尺寸不同的卷积核来固定内核大小限制的问题，以补充更多细节。
第三网络包括U-net网络和颜色校正模块，该U-net网络用于提取图像特征，颜色校正模块用于根据提取的图像特征生成颜色校正矩阵，该颜色校正矩阵用于对第一网络和第二网络的输出图像进行颜色校正。
具体地，第三网络用于恢复原始图像失去的感知，通过学习颜色和色调映射生成颜色校正矩阵，该颜色校正矩阵用于对第一网络和第二网络的输出图像进行颜色校正，使恢复的图像在局部和整体上具有良好的空间一致性。
深度网络模型的输入为训练图像对，训练图像对包含单张原始图像和单张校正图像，原始图像同时作为第一网络、第二网络和第三网络的输入。具体地，将原始图像同时输入第一网络，得到第一网络的输出图像后再输入第二网络，同时，将原始图像输入第二网络，将第二网络的两个输出图像拼接，馈入一个卷积层后输出中间图像，再用第三网络生成的颜色校正矩阵对其进行校正，得到整个深度网络模型的输出图像。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本实施例中提供的一种单图像超分与感知图像增强联合任务学习***，通过第一网络利用多路径学习策略来同时描述局部和全局信息，实现了图像超分，第二网络利用两组并联、信息共享的卷积层来捕捉高频细节，第三网络学习颜色和色调映射，赋予图像生动自然的色彩和更好的对比度，使重建结果更加真实。本发明解决了现有技术的图像超分与感知图像增强联合任务不能很好地改善图像的视觉效果的问题。
在其中的一些实施例中，提供了一种单图像超分与感知图像增强联合任务学习***，在上述实施例的基础上，该***的学习模块还包括图像预处理单元，图4为该图像预处理单元的工作原理图，如图4所示，该图像预处理单元用于在原始图像I输入第二网络之前，对其进行滤波处理，得到基础信息层图像，并对原始图像与基础信息层图像进行逐元素除法运算，得到细节信息层图像Id，最后将原始图像与细节信息层图像Id叠加得到结果图像Ii+d，将结果图像Ii+d作为第二网络的输入。图像预处理单元通过对原始图像进行滤波处理，可以保存原始图像的边缘和纹理，以更好地保存图像的高频信息。
具体地，可以采用引导滤波器，以原始图像为引导图，对原始图像进行滤波处理。
在其中的一些实施例中，提供了一种单图像超分与感知图像增强联合任务学习***，在上述实施例的基础上，该***相较于现有技术，对大编解码残差网络和小编解码残差网络中的残差块进行如下改进以提高残差块的性能：删除批量标准化层、将PReLu层替换为RRelu层、和/或，删除通道注意力模块。
在其中的一些实施例中，提供了一种单图像超分与感知图像增强联合任务学习***，在上述实施例的基础上，对第三网络的U-net网络进行如下设计，以大小为W×H×3的原始图像为例进行说明：
在编码阶段，首先通过一系列卷积操作将原始图像降采样至大小为
Figure BDA0003044079590000071
的第一图像，再根据第一策略和第二策略分别处理该第一图像；
其中，第一策略包括：将第一图像降采样至大小为1×1×64的第二图像，再将第二图像复制复制
Figure BDA0003044079590000072
份。
具体地，先将第一图像降采样至
Figure BDA0003044079590000081
再通过RRelu层与全连接层将其降至1×1×64。
第二策略包括：对第一图像进行全局平均池化，得到大小为1×1×64的第三图像，再将第三图像复制
Figure BDA0003044079590000082
份。
在解码阶段，将按照两种测量复制的第二图像和复制的第三图像合并为大小为
Figure BDA0003044079590000083
的第一特征图，并将该第一特征图与第一图像进行拼接，得到一张同时捕获局部和全局特征的大小为
Figure BDA0003044079590000084
的第二特征图。
在其中的一些实施例中，提供了一种单图像超分与感知图像增强联合任务学习***，在上述实施例的基础上，第三网络的颜色校正模块包括拼接单元、全局颜色校正单元、以及局部颜色校正单元。下面结合上述原始图像大小为W×H×3的实施例进行说明：
拼接单元用于拼接大编解码残差网络、小编解码残差网络和局部残差网络的输出图像，得到第五图像，将所述第五图像馈入第三网络的一个卷积层，之后通过一个反卷积层，来对所述第五图像进行调整大小和上采样，得到大小为2W×2H×3×3×3的第三特征图。
之后通过全局颜色校正单元和局部颜色校正单元学习一种颜色变换；
全局颜色校正单元，用于将第三图像输入一个全连接层，然后输出全局颜色校正矩阵；
局部颜色校正单元，用于将全局颜色校正矩阵作用于第三特征图，得到局部颜色校正矩阵，颜色校正矩阵用于对图像每个空间位置进行颜色校正，该局部颜色校正矩阵作用于第一网络和第二网络的输出图像。
在其中的一些实施例中，提供了一种单图像超分与感知图像增强联合任务学习***，在上述实施例的基础上，该***的深度网络模型的优化目标为损失函数L最小化，该损失函数L为内容损失、全变差损失、多尺度结构相似性损失和像素损失的线性叠加。具体地，L的定义如下：
L＝ω1Lcon+ω2Ltv+ω3Lcolor+ω4LMSSIM+ω5L1，
其中，Lcon表示内容损失，Ltv表示全变差损失，Lcolor表示颜色损失，LMSSIM表示多尺度结构相似性损失，L1表示像素损失。ω1、ω2、ω3、ω4和ω5为各个损失的权重系数。
需要说明的是，内容损失表示上述深度网络模型的输出图像与目标图像(即训练图像对中的校正图像)之间内容的一致性，全变差损失表示输出图像相对于目标图像的噪声，颜色损失表示输出图像与目标图像之间的色彩差异，像素损失体现了输出图像与目标图像像素点之间的差异，多尺度结构相似性是一种用以衡量两张数位影像相似程度的指标，作为损失函数使用时可以提升输出图像的质量，使其更加真实。上述内容损失、全变差损失、多尺度结构相似性损失和像素损失可以根据现有的算法或模型进行具体定义。
上述实施例中，采用多种损失混合的损失函数L，可以有效地去除图像的噪音和伪影。
在其中的一些实施例中，提供了一种单图像超分与感知图像增强联合任务学习***，该***在上述实施例的基础上，还包括训练模块。该训练模块用于将训练图像集输入学习模块来训练深度网络模型，以得到一个训练完备的深度网络模型，通过将单张低分辨率图像输入训练完备的深度网络模型，能够对该图像进行超分和感知增强，最终得到高分辨率的增强图像。
可选地，可以通过以下方式准备训练图像集：
从不同的场景中采集原始低分(低分辨率)图像，并按照场景类别进行存储，例如，城市、建筑、自然等。对于这些原始低分图像，人工使用Photoshop或Lightroom等图像处理工具增强图像，获得训练图像对。
可选地，在训练时，训练模块从不同的场景类别中随机提取图像对，避免图像间的高度相干性。
可选地，深度网络优化训练时可以采用带有Adam加速器的随机梯度下降方法对目标函数进行优化。例如，共进行140次，前50次中，内核大小设置为64×64，学习率为1×10-4，图像批处理的大小为16个，后70次中，内核大小设置为88×88，学习率为1×10-5，图像批处理的大小为4个。
在一个优选实施例中，提供了一种单图像超分与感知图像增强联合任务学习***，该***包括学习模块，该学习模块包括深度网络模型和图像预处理单元，该深度网络模型包括第一网络、第二网络和第三网络。
其中，深度网络模型的输入为训练图像对，训练图像对包含单张原始图像和单张校正图像，原始图像同时作为第一网络、第二网络和第三网络的输入。
具体地，第一网络包括大编解码残差网络、小编解码残差网络和局部残差网络。其中，在大编解码残差网络中采用4个RRDB，小编解码残差网络中采用2个RRDB，在大编解码残差网络中采用1/4的下采样尺度，在小编解码残差网络中1/2的下采样尺度。
本实施例对大编解码残差网络和小编解码残差网络中的残差块进行如下改进，以提高残差块的性能：删除批量标准化层、将PReLu层替换为RRelu层、和删除通道注意力模块。并在大编解码残差网络的解码阶段和小编解码残差网络的编码阶段建立一个跳跃连接，来防止梯度传播中出现梯度消失。
上述局部残差网络包括叠加的不同内核大小的轻量多尺度残差块。
第二网络包括两组并联且信息共享的卷积层，两组卷积层采用尺寸不同的卷积核。在原始图像输入第二网络之前，上述图像预处理单元对原始图像进行滤波处理，得到基础信息层图像，并对原始图像与基础信息层图像进行逐元素除法运算，得到细节信息层图像，最后将原始图像与细节信息层图像叠加得到结果图像，将所述结果图像输入第二网络。
第三网络包括U-net网络和颜色校正模块，该U-net网络用于提取图像特征，颜色校正模块用于根据提取的图像特征生成颜色校正矩阵，该颜色校正矩阵用于对第一网络和第二网络的输出图像进行颜色校正。
具体地，本实施例中的第三网络的U-net网络的设计如下：
将原始图像的大小表示为W×H×3，在编码阶段，首先通过一系列卷积操作将原始图像降采样至大小为W/4×H/4×64的第一图像，再根据第一策略和第二策略分别处理该第一图像；其中，第一策略包括：将第一图像降采样至大小为1×1×64的第二图像，再将第二图像复制复制W/4×H/8×64份。具体地，先将第一图像降采样至W/16×H/16×64，再通过RRelu层与全连接层将其降至1×1×64。第二策略包括：对第一图像进行全局平均池化，得到大小为1×1×64的第三图像，再将第三图像复制W/4×H/8×64份。
在解码阶段，将按照两种测量复制的第二图像和复制的第三图像合并为大小为W/4×H/4×64的第一特征图，并将该第一特征图与第一图像进行拼接，得到一张同时捕获局部和全局特征的大小为W/4×H/4×128的第二特征图。
其中，颜色校正模块包括拼接单元、全局颜色校正单元、以及局部颜色校正单元。具体地，拼接单元用于拼接大编解码残差网络、小编解码残差网络和局部残差网络的输出图像，得到第五图像，将所述第五图像馈入第三网络的一个卷积层，之后通过一个反卷积层，来对所述第五图像进行调整大小和上采样，得到大小为2W×2H×3×3×3的第三特征图。
之后通过全局颜色校正单元和局部颜色校正单元学习一种颜色变换：全局颜色校正单元，将第三图像输入一个全连接层，然后输出全局颜色校正矩阵；局部颜色校正单元，将全局颜色校正矩阵作用于第三特征图，得到局部颜色校正矩阵，颜色校正矩阵用于对图像每个空间位置进行颜色校正，该局部颜色校正矩阵作用于第一网络和第二网络的输出图像。
具体地，该***的深度网络模型的优化目标为损失函数L最小化，L的定义如下：
L＝ω1Lcon+ω2Ltv+ω3Lcolor+ω4LMSSIM+ω5L1，
其中，Lcon表示内容损失，Ltv表示全变差损失，Lcolor表示颜色损失，LMSSIM表示多尺度结构相似性损失，L1表示像素损失。其中，ω1、ω2、ω3、ω4和ω5的大小分别为0.001、1、0.0005、300和0.05。
本实施例中提供的一种单图像超分与感知图像增强联合任务学习***，通过第一网络利用多路径学习策略来同时描述局部和全局信息，实现了图像超分，第二网络利用两组并联、信息共享的卷积层来捕捉高频细节，第三网络学习颜色和色调映射，赋予图像生动自然的色彩和更好的对比度，并且可以有效地去除图像的噪音和伪影，使重建结果更加真实。本发明解决了现有技术的图像超分与感知图像增强联合任务不能很好地改善图像的视觉效果的问题。此外，本发明的运行效率较好，与现有技术相比，在PSNR(Peak Signal toNoise Ratio)和SSIM(Structural Similarity)指标上都获得了最佳的性能增强。
在本实施例中还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以实现上述任一项所述的单图像超分与感知图像增强联合任务学习***。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
此外，结合上述实施例中提供的单图像超分与感知图像增强联合任务学习***，在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种单图像超分与感知图像增强联合任务学习***。
需要说明的是，在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，在本实施例中不再赘述。
应该明白的是，这里描述的具体实施例只是用来解释这个应用，而不是用来对它进行限定。根据本申请提供的实施例，本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例，均属本申请保护范围。
显然，附图只是本申请的一些例子或实施例，对本领域的普通技术人员来说，也可以根据这些附图将本申请适用于其他类似情况，但无需付出创造性劳动。另外，可以理解的是，尽管在此开发过程中所做的工作可能是复杂和漫长的，但是，对于本领域的普通技术人员来说，根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段，不应被视为本申请公开的内容不足。
“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是，本申请中描述的实施例在没有冲突的情况下，可以与其它实施例结合。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对专利保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (12)

1.一种单图像超分与感知图像增强联合任务学习***，其特征在于，包括：
学习模块，所述学习模块包括深度网络模型，所述深度网络模型包括第一网络、第二网络和第三网络；
所述第一网络包括大编解码残差网络、小编解码残差网络和局部残差网络，所述大编解码残差网络使用的RRDB数量多于所述小编解码残差网络，所述局部残差网络包括叠加的不同内核大小的轻量多尺度残差块；
所述第二网络用于对图像进行上采样，包括两组并联且信息共享的卷积层；
所述第三网络包括U-net网络和颜色校正模块，所述U-net网络用于提取图像特征，所述颜色校正模块用于根据提取的图像特征生成颜色校正矩阵，所述颜色校正矩阵用于对所述第一网络和所述第二网络的输出图像进行颜色校正；
所述深度网络模型的输入为训练图像对，所述训练图像对包含单张原始图像和单张校正图像，所述原始图像同时作为所述第一网络、所述第二网络和所述第三网络的输入。
2.根据权利要求1所述的单图像超分与感知图像增强联合任务学习***，其特征在于，所述学习模块还包括图像预处理单元；
所述图像预处理单元，用于在所述原始图像输入第二网络之前，对所述原始图像进行滤波处理，得到基础信息层图像，并对所述原始图像与所述基础信息层图像进行逐元素除法运算，得到细节信息层图像，最后将所述原始图像与所述细节信息层图像叠加得到结果图像，将所述结果图像输入所述第二网络。
3.根据权利要求1所述的单图像超分与感知图像增强联合任务学习***，其特征在于，所述第二网络的两组卷积层采用的卷积核尺寸不同。
4.根据权利要求1所述的单图像超分与感知图像增强联合任务学习***，其特征在于，所述大编解码残差网络和所述小编解码残差网络采用不同的下采样尺度。
5.根据权利要求1所述的单图像超分与感知图像增强联合任务学习***，其特征在于，所述大编解码残差网络和所述小编解码残差网络中的残差块的设置包括：删除批量标准化层、将PReLu层替换为RRelu层、和/或，删除通道注意力模块。
6.根据权利要求1至5任一项所述的单图像超分与感知图像增强联合任务学习***，其特征在于：
所述U-net网络在编码阶段，将所述原始图像降采样至第一图像，再根据第一策略和第二策略分别处理所述第一图像；
所述第一策略包括：将所述第一图像降采样，得到第二图像，再复制所述第二图像；
所述第二策略包括：对所述第一图像进行全局平均池化，得到第三图像，再复制所述第三图像；
所述U-net网络在解码阶段，将复制的所述第二图像和复制的所述第三图像合并为第一特征图，并将所述第一特征图与所述第一图像进行拼接，得到第二特征图。
7.根据权利要求6所述的单图像超分与感知图像增强联合任务学习***，其特征在于，所述颜色校正模块包括拼接单元、全局颜色校正单元、以及局部颜色校正单元；所述拼接单元，用于拼接所述大编解码残差网络、小编解码残差网络和局部残差网络的输出图像，得到第五图像，将所述第五图像馈入所述第三网络，通过对所述第五图像进行调整大小和上采样，得到第三特征图；
所述全局颜色校正单元，用于将所述第三图像输入一个全连接层，所述全连接层输出全局颜色校正矩阵；
所述局部颜色校正单元，用于将所述全局颜色校正矩阵作用于所述第三特征图，得到局部颜色校正矩阵，所述局部颜色校正矩阵作用于所述第一网络和第二网络的输出图像。
8.根据权利要求1至5任一项所述的单图像超分与感知图像增强联合任务学习***，其特征在于，所述深度网络模型的优化目标为损失函数最小化，所述损失函数为内容损失、全变差损失、多尺度结构相似性损失和像素损失的线性叠加。
9.根据权利要求1至5任一项所述的单图像超分与感知图像增强联合任务学习***，其特征在于，所述大编解码残差网络的解码阶段和小编解码残差网络的编码阶段设置有跳跃连接。
10.根据权利要求1至5任一项所述的单图像超分与感知图像增强联合任务学习***，其特征在于，所述***还包括训练模块，所述训练模块用于将训练图像集输入所述学习模块来训练所述深度网络模型。
11.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以实现权利要求1至9中任一项所述的单图像超分与感知图像增强联合任务学习***。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的单图像超分与感知图像增强联合任务学习***。
CN202110466163.9A 2020-07-23 2021-04-28 单图像超分与感知图像增强联合任务学习*** Active CN112991231B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010716171.XA CN112381722A (zh) 2020-07-23 2020-07-23 一种单图像的超分与感知图像增强的联合任务学习方法
CN202010716171X 2020-07-23

Publications (2)

Publication Number Publication Date
CN112991231A true CN112991231A (zh) 2021-06-18
CN112991231B CN112991231B (zh) 2021-11-16

Family

ID=74586366

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010716171.XA Withdrawn CN112381722A (zh) 2020-07-23 2020-07-23 一种单图像的超分与感知图像增强的联合任务学习方法
CN202110466163.9A Active CN112991231B (zh) 2020-07-23 2021-04-28 单图像超分与感知图像增强联合任务学习***

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202010716171.XA Withdrawn CN112381722A (zh) 2020-07-23 2020-07-23 一种单图像的超分与感知图像增强的联合任务学习方法

Country Status (1)

Country Link
CN (2) CN112381722A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115936983A (zh) * 2022-11-01 2023-04-07 青岛哈尔滨工程大学创新发展中心 基于风格迁移的核磁图像超分辨率方法、装置及计算机存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160055A (zh) * 2021-04-07 2021-07-23 哈尔滨理工大学 一种基于深度学习的图像超分辨率重建方法
CN113298744B (zh) * 2021-06-07 2022-10-28 长春理工大学 一种端到端的红外与可见光图像融合方法
CN113822830B (zh) * 2021-08-30 2023-06-06 天津大学 基于深度感知增强的多曝光图像融合方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109671018A (zh) * 2018-12-12 2019-04-23 华东交通大学 一种基于生成式对抗网络和ResNets技术的图像转换方法及***
CN110288598A (zh) * 2019-07-05 2019-09-27 杭州喔影网络科技有限公司 一种基于深度学习的模糊照片检测方法
CN110322530A (zh) * 2019-06-21 2019-10-11 湖南大学 一种基于深度残差网络的可交互图像着色
CN110443867A (zh) * 2019-08-01 2019-11-12 太原科技大学 基于生成对抗网络的ct图像超分辨率重构方法
CN110570353A (zh) * 2019-08-27 2019-12-13 天津大学 密集连接生成对抗网络单幅图像超分辨率重建方法
US20200034948A1 (en) * 2018-07-27 2020-01-30 Washington University Ml-based methods for pseudo-ct and hr mr image estimation
CN111080533A (zh) * 2019-10-21 2020-04-28 南京航空航天大学 一种基于自监督残差感知网络的数码变焦方法
CN111340738A (zh) * 2020-03-24 2020-06-26 武汉大学 一种基于多尺度渐进融合的图像去雨方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200034948A1 (en) * 2018-07-27 2020-01-30 Washington University Ml-based methods for pseudo-ct and hr mr image estimation
CN109671018A (zh) * 2018-12-12 2019-04-23 华东交通大学 一种基于生成式对抗网络和ResNets技术的图像转换方法及***
CN110322530A (zh) * 2019-06-21 2019-10-11 湖南大学 一种基于深度残差网络的可交互图像着色
CN110288598A (zh) * 2019-07-05 2019-09-27 杭州喔影网络科技有限公司 一种基于深度学习的模糊照片检测方法
CN110443867A (zh) * 2019-08-01 2019-11-12 太原科技大学 基于生成对抗网络的ct图像超分辨率重构方法
CN110570353A (zh) * 2019-08-27 2019-12-13 天津大学 密集连接生成对抗网络单幅图像超分辨率重建方法
CN111080533A (zh) * 2019-10-21 2020-04-28 南京航空航天大学 一种基于自监督残差感知网络的数码变焦方法
CN111340738A (zh) * 2020-03-24 2020-06-26 武汉大学 一种基于多尺度渐进融合的图像去雨方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JUNCHENG LI等: "Multi-scale Residual Network for Image Super-Resolution", 《ECCV 2018: COMPUTER VISION》 *
K.MEI等: "Higher-resolution network for image demosaicing and enhancing", 《2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOP (ICCVW)》 *
YECAI GUO等: "Underwater Image Enhancement Using a Multiscale Dense Generative Adversarial Network", 《IEEE JOURNAL OF OCEANIC ENGINEERING》 *
吴从中等: "结合残差编解码网络和边缘增强的遥感图像去噪", 《遥感学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115936983A (zh) * 2022-11-01 2023-04-07 青岛哈尔滨工程大学创新发展中心 基于风格迁移的核磁图像超分辨率方法、装置及计算机存储介质

Also Published As

Publication number Publication date
CN112991231B (zh) 2021-11-16
CN112381722A (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
CN112991231B (zh) 单图像超分与感知图像增强联合任务学习***
Lutz et al. Alphagan: Generative adversarial networks for natural image matting
CN107403415B (zh) 基于全卷积神经网络的压缩深度图质量增强方法及装置
CN110163801B (zh) 一种图像超分辨和着色方法、***及电子设备
CN112801901A (zh) 基于分块多尺度卷积神经网络的图像去模糊算法
CN110310229A (zh) 图像处理方法、图像处理装置、终端设备及可读存储介质
CN109035146B (zh) 一种基于深度学习的低质量图像超分方法
CN109325928A (zh) 一种图像重建方法、装置及设备
CN112184585B (zh) 一种基于语义边缘融合的图像补全方法及***
CN108875900A (zh) 视频图像处理方法和装置、神经网络训练方法、存储介质
Mei et al. Higher-resolution network for image demosaicing and enhancing
CN111681195B (zh) 红外图像和可见光图像的融合方法、装置及可读存储介质
Huang et al. Hybrid image enhancement with progressive laplacian enhancing unit
CN115841420A (zh) 一种基于深度学习的偏振图像超分辨率重建方法
CN116385305A (zh) 基于跨区域Transformer的神经辐射场的图像去阴影方法及***
CN115293968A (zh) 一种超轻量高效的单图像超分辨率方法
CN115170388A (zh) 人物线稿生成方法、装置、设备及介质
Zheng et al. Double-branch dehazing network based on self-calibrated attentional convolution
CN111951171A (zh) Hdr图像生成方法、装置、可读存储介质及终端设备
CN113298740A (zh) 一种图像增强方法、装置、终端设备及存储介质
CN107729885A (zh) 一种基于多重残差学习的人脸增强方法
CN116977191A (zh) 画质提升模型的训练方法和视频会议***画质的提升方法
CN111383171B (zh) 一种图片处理方法、***及终端设备
CN115760658A (zh) 图像处理方法、装置、存储介质及电子设备
CN112418336B (zh) 一种电力线巡检影像密集匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant