CN113222144B - 图像修复模型的训练方法及图像修复方法、装置及设备 - Google Patents

图像修复模型的训练方法及图像修复方法、装置及设备 Download PDF

Info

Publication number
CN113222144B
CN113222144B CN202110604235.1A CN202110604235A CN113222144B CN 113222144 B CN113222144 B CN 113222144B CN 202110604235 A CN202110604235 A CN 202110604235A CN 113222144 B CN113222144 B CN 113222144B
Authority
CN
China
Prior art keywords
image
pixel quality
quality image
true
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110604235.1A
Other languages
English (en)
Other versions
CN113222144A (zh
Inventor
王伟
袁泽寰
王长虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Youzhuju Network Technology Co Ltd
Original Assignee
Beijing Youzhuju Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Youzhuju Network Technology Co Ltd filed Critical Beijing Youzhuju Network Technology Co Ltd
Priority to CN202110604235.1A priority Critical patent/CN113222144B/zh
Publication of CN113222144A publication Critical patent/CN113222144A/zh
Priority to PCT/CN2022/089428 priority patent/WO2022252883A1/zh
Application granted granted Critical
Publication of CN113222144B publication Critical patent/CN113222144B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了图像修复模型的训练方法及图像修复方法、装置及设备，通过对真实第一像素质量图像和人工合成第一像素质量图像进行图像特征提取，以及通过真实第一像素质量图像生成器和真实第二像素质量图像生成器，得到重新生成的真实第一像素质量图像、伪真实第一像素质量图像和重建第二像素质量图像；分别计算域对齐损失、图像生成损失以及图像重建损失，利用得到的损失进行训练。训练后得到的图像修复模型具有更好的泛化能力，对图像的修复较为准确，具有较好的模型性能。利用训练得到的图像特征编码器和真实第二像素质量图像生成器，对待修复第一像素质量图像进行修复，可以得到修复效果较好的第二像素质量图像，符合图像使用的需要。

Description

图像修复模型的训练方法及图像修复方法、装置及设备
技术领域
本申请涉及图像处理领域，具体涉及一种图像修复模型的训练方法、装置及设备，和一种图像修复方法、装置及设备。
背景技术
在图像的生成以及处理的过程中，可能会受到设备的影响，导致图像的像素质量较低，不能满足图像使用的需要。为了提高较低像素质量图像的像素质量，可以采用图像超分辨率重建技术对较低像素质量的图像进行处理，提高较低像素质量图像的像素质量，得到具有较高像素质量的图像。
目前，图像超分辨率重建技术具体可以通过由卷积神经网络构建的图像修复模型实现。图像修复模型需要通过训练图像训练生成。用于训练图像修复模型的训练图像对生成的图像修复模型的性能会产生较大的影响。训练图像一般使用人工构造的较低像素质量图像和较高像素质量图像。而人工构造的较低像素质量图像的质量较低，导致训练得到的图像修复模型的性能较差，不能满足图像像素质量修复的需要。因此，如何训练生成性能较好的图像修复模型，生成质量较高的修复图像是亟待解决的问题。
发明内容
有鉴于此，本申请实施例提供一种图像修复模型的训练方法、装置及设备，和一种图像修复方法、装置及设备，能够训练得到性能较好的图像修复模型，并基于图像修复模型实现对较低像素质量图像进行修复，得到较为准确的较高像素质量图像。
为解决上述问题，本申请实施例提供的技术方案如下：
第一方面，本申请实施例提供一种图像修复模型的训练方法，所述方法包括：
将真实第一像素质量图像输入图像特征编码器，得到第一图像特征；
将人工合成第一像素质量图像输入所述图像特征编码器，得到第二图像特征；所述人工合成第一像素质量图像是由真实第二像素质量图像进行模糊处理得到的；
将所述第一图像特征输入真实第一像素质量图像生成器，得到重新生成的真实第一像素质量图像；
将所述第二图像特征输入所述真实第一像素质量图像生成器，得到伪真实第一像素质量图像；
将所述第二图像特征输入真实第二像素质量图像生成器，得到重建第二像素质量图像；
根据所述第一图像特征以及所述第二图像特征计算域对齐损失；
根据所述重新生成的真实第一像素质量图像、所述伪真实第一像素质量图像以及所述真实第一像素质量图像计算图像生成损失；
根据所述重建第二像素质量图像以及所述真实第二像素质量图像计算图像重建损失；
根据所述域对齐损失、所述图像生成损失以及所述图像重建损失，训练所述图像特征编码器、所述真实第一像素质量图像生成器以及所述真实第二像素质量图像生成器，重复执行所述将真实第一像素质量图像输入图像特征编码器，得到第一图像特征以及后续步骤，直到达到预设条件；
其中，第一像素质量的图像清晰度低于第二像素质量的图像清晰度。
第二方面，本申请实施例提供一种图像修复方法，所述方法包括：
将待修复第一像素质量图像输入图像特征编码器，得到目标图像特征；
将所述目标图像特征输入真实第二像素质量图像生成器，得到修复后的第二像素质量图像；
所述图像特征编码器以及所述真实第二像素质量图像生成器是根据上述任一项实施例所述的图像修复模型的训练方法训练得到的。
第三方面，本申请实施例提供一种图像修复模型的训练装置，所述装置包括：
第一执行单元，用于将真实第一像素质量图像输入图像特征编码器，得到第一图像特征；
第二执行单元，用于将人工合成第一像素质量图像输入所述图像特征编码器，得到第二图像特征；所述人工合成第一像素质量图像是由真实第二像素质量图像进行模糊处理得到的；
第三执行单元，用于将所述第一图像特征输入真实第一像素质量图像生成器，得到重新生成的真实第一像素质量图像；
第四执行单元，用于将所述第二图像特征输入所述真实第一像素质量图像生成器，得到伪真实第一像素质量图像；
第五执行单元，用于将所述第二图像特征输入真实第二像素质量图像生成器，得到重建第二像素质量图像；
第一计算单元，用于根据所述第一图像特征以及所述第二图像特征计算域对齐损失；
第二计算单元，用于根据所述重新生成的真实第一像素质量图像、所述伪真实第一像素质量图像以及所述真实第一像素质量图像计算图像生成损失；
第三计算单元，用于根据所述重建第二像素质量图像以及所述真实第二像素质量图像计算图像重建损失；
训练单元，用于根据所述域对齐损失、所述图像生成损失以及所述图像重建损失，训练所述图像特征编码器、所述真实第一像素质量图像生成器以及所述真实第二像素质量图像生成器，重复执行所述将真实第一像素质量图像输入图像特征编码器，得到第一图像特征以及后续步骤，直到达到预设条件；
其中，第一像素质量的图像清晰度低于第二像素质量的图像清晰度。
第四方面，本申请实施例提供一种图像修复装置，所述装置包括：
第八执行单元，用于将待修复第一像素质量图像输入图像特征编码器，得到目标图像特征；
第九执行单元，用于将所述目标图像特征输入真实第二像素质量图像生成器，得到修复后的第二像素质量图像；
所述图像特征编码器以及所述真实第二像素质量图像生成器是根据上述任一项实施例所述的图像修复模型的训练方法训练得到的。
第五方面，本申请实施例提供一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述任一实施例所述的图像修复模型的训练方法，或者上述任一实施例所述的图像修复方法。
第六方面，本申请实施例提供一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如上述任一实施例所述的图像修复模型的训练方法，或者上述任一实施例所述的图像修复方法。
由此可见，本申请实施例具有如下有益效果：
本申请实施例提供一种图像修复模型的训练方法、装置及设备，通过将真实第一像素质量图像和人工合成第一像素质量图像分别输入图像特征编码器，得到对应的第一图像特征和第二图像特征；再将第一图像特征和第二图像特征分别输入真实第一像素质量图像生成器中，对应的得到重新生成的真实第一像素质量图像和伪真实第一像素质量图像；再将第二图像特征输入至真实第二像素质量图像生成器中，得到重建第二像素质量图像；基于得到的图像特征和像素质量图像，分别计算域对齐损失、图像生成损失以及图像重建损失，并基于计算得到的损失训练图像特征编码器、真实第一像素质量图像生成器以及真实第二像素质量图像生成器；重复执行上述训练过程，直到达到预设条件。基于域对齐损失、图像生成损失和图像重建损失，可以更好地减小真实较低像素质量图像与人工合成的较低像素质量图像之间的差距，减小生成的模拟真实场景下较低像素质量图像和实际真实场景下较低像素质量图像之间的差距，减小生成的模拟真实场景下较高像素质量图像与实际真实场景下较高像素质量图像之间的差距，使得基于计算的损失训练得到的图像修复模型具有较好的泛化能力和修复能力，具有较好的模型性能。本申请实施例提供的图像修复方法、装置及设备，通过利用上述图像修复模型生成的图像特征编码器和第二像素质量图像生成器进行对待修复第一像素质量图像进行修复，可以得到修复效果较好的第二像素质量图像，符合图像使用需要。
附图说明
图1为本申请实施例提供的示例性应用场景的框架示意图；
图2为本申请实施例提供的一种图像修复模型的训练方法的流程图；
图3为本申请实施例提供的一种图像修复模型的结构示意图；
图4为本申请实施例提供的另一种图像修复模型的结构示意图；
图5为本申请实施例提供的另一种图像修复模型的结构示意图；
图6为本申请实施例提供的一种特征判别器的结构示意图；
图7为本申请实施例提供的一种图像特征编码器的结构示意图；
图8为本申请实施例提供的一种真实第二像素质量图像生成器的结构示意图；
图9为本申请实施例提供的一种RRDB单元的结构示意图；
图10为本申请实施例提供的一种图像修复方法的流程图；
图11为本申请实施例提供的一种图像修复模型的训练装置的结构示意图；
图12为本申请实施例提供的一种图像修复装置的结构示意图；
图13为本申请实施例提供的电子设备的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请实施例作进一步详细的说明。
为了便于理解和解释本申请实施例提供的技术方案，下面将先对本申请的背景技术进行说明。
发明人在对传统的图像修复方法进行研究后发现，目前所使用的用于训练图像修复模型的训练图像中的较低像素质量的图像，是通过对较高像素质量的图像进行图像质量退化得到的。通过人为模拟模糊和噪声，对较高像素质量图像进行处理后得到较低像素质量图像的过程，难以模拟真实较低像素质量图像产生的过程。导致人工合成的较低像素质量图像与真实的较低像素质量图像之间具有较大的分布差异。利用人工合成的较低像素质量图像作为训练数据训练生成的图像修复模型，具有较差的泛化能力，难以对待修复的较低像素质量图像进行较高质量的像素质量重建。
基于此，本申请实施例提供了一种图像修复模型的训练方法、装置及设备，通过将真实第一像素质量图像和人工合成第一像素质量图像分别输入图像特征编码器，得到对应的第一图像特征和第二图像特征；再将第一图像特征和第二图像特征分别输入真实第一像素质量图像生成器中，对应的得到重新生成的真实第一像素质量图像和伪真实第一像素质量图像；再将第二图像特征输入至真实第二像素质量图像生成器中，得到重建第二像素质量图像；基于得到的图像特征和生成的像素质量图像，分别计算域对齐损失、图像生成损失以及图像重建损失，并基于计算得到的损失图像特征编码器、真实第一像素质量图像生成器以及真实第二像素质量图像生成器，重复执行上述训练过程，直到达到预设条件。基于域对齐损失、图像生成损失和图像重建损失，可以更好地减小真实较低像素质量图像与人工合成的较低像素质量图像之间的差距，减小生成的模拟真实场景下较低像素质量图像和实际真实场景下较低像素质量图像之间的分布差距，减小生成的模拟真实场景下较高像素质量图像与实际真实场景下较高像素质量图像之间的差距，使得基于计算的损失训练得到的图像修复模型具有较好的泛化能力和修复能力，具有较好的模型性能。本申请实施例提供的图像修复方法、装置及设备，通过利用上述图像修复模型生成的图像特征编码器和第二像素质量图像生成器进行对待修复第一像素质量图像进行修复，可以得到修复效果较好的第二像素质量图像，符合图像使用的需要。
为了便于理解本申请实施例提供的图像修复方法，下面结合图1所示的场景示例进行说明。参见图1所示，该图为本申请实施例提供的示例性应用场景的框架示意图。
在实际应用中，存在着图像像素较低的需要进行图像修复的待修复第一像素质量图像，将第一像素质量图像输入至图像特征编码器中，可以对第一像素质量图像进行图像特征的提取，得到目标图像特征。再将得到的目标图像特征输入至真实第二像素质量图像生成器中，得到修复后的第二像素质量图像。第二像素质量图像为图像像素较高的图像。其中，图像特征编码器和真实第二像素质量图像生成器均是预先通过图像修复模型的训练方法生成的。
本领域技术人员可以理解，图1所示的框架示意图仅是本申请的实施方式可以在其中得以实现的一个示例。本申请实施方式的适用范围不受到该框架任何方面的限制。
为了便于理解本申请，下面结合附图对本申请实施例提供的一种图像修复模型的训练方法进行说明。
参见图2所示，该图为本申请实施例提供的一种图像修复模型的训练方法的流程图，如图2所示，该方法可以包括S201-S209：
S201：将真实第一像素质量图像输入图像特征编码器，得到第一图像特征。
参见图3所示，该图为本申请实施例提供的一种图像修复模型的结构示意图。真实第一像素质量图像为在真实场景下生成的具有较低像素质量的图像。真实第一像素质量图像可以是在图像生成或者是在对图像进行处理过程中，受到设备或者是数据处理的影响，具有一定的模糊和/或噪声的较低像素质量的图像。真实第一像素质量图像可能存在着多种模糊和噪声退化的问题。
图像特征编码器是用于对图像进行特征提取的编码器。将真实第一像素质量图像输入至图像特征编码器中，可以对真实第一像素质量图像进行特征提取，得到与真实第一像素质量图像相对应的第一图像特征。
S202：将人工合成第一像素质量图像输入图像特征编码器，得到第二图像特征；人工合成第一像素质量图像是由真实第二像素质量图像进行模糊处理得到的。
其中，第一像素质量的图像清晰度低于第二像素质量的图像清晰度。则人工合成第一像素质量图像是由人为构建的较低像素质量的图像。人工合成第一像素质量图像可以是通过对真实第二像素质量图像进行模糊处理得到的。其中，真实第二像素质量图像为在真实场景下生成的较高像素质量的图像。通过对真实第二像素质量图像进行模糊处理，可以使得真实第二像素质量图像的像素质量退化，得到较低像素质量的人工合成第一像素质量图像。模糊处理为降低像素质量的图像处理方式，具体的，模糊处理可以为对图像添加高斯噪声和高斯模糊。
需要说明的是，本申请实施例不限定真实第一像素质量图像和真实第二像素质量图像是否为同一内容的图像。真实第一像素质量图像与真实第二像素质量图像可以为同一内容的，仅是像素质量不同的图像，也就是成对的不同像素质量的图像。真实第一像素质量图像与真实第二像素质量图像也可以为不同内容的，像素质量不同的图像，也就是不成对的不同像素质量的图像。
将人工合成第一像素质量图像输入至图像特征编码器中，对人工合成第一像素质量图像进行特征提取，得到人工合成第一像素质量图像对应的第二图像特征。
S203：将第一图像特征输入真实第一像素质量图像生成器，得到重新生成的真实第一像素质量图像。
真实第一像素质量图像生成器是用于基于输入的图像特征，生成对应的在真实场景下的较低像素质量的图像。将第一图像特征输入至真实第一像素质量图像生成器中，可以得到重新生成的真实第一像素质量图像。
重新生成的真实第一像素质量图像也为较低像素质量的图像。重新生成的真实第一像素质量图像是与真实第一像素质量图像对应的，模拟真实场景下较低像素质量的图像。
S204：将第二图像特征输入真实第一像素质量图像生成器，得到伪真实第一像素质量图像。
将第二图像特征输入至真实第一像素质量图像生成器中，可以到伪真实第一像素质量图像。伪真实第一像素质量图像为较低像素质量的图像。伪真实第一像素质量图像是与人工合成第一像素质量图像所对应的，模拟真实场景下较低像素质量的图像。
S205：将第二图像特征输入真实第二像素质量图像生成器，得到重建第二像素质量图像。
真实第二像素质量图像生成器是用于基于输入的图像特征，生成对应的在真实场景下的较高像素质量的图像。将第二图像特征输入至真实第二像素质量图像生成器中，可以得到重建第二像素质量图像。
重建第二像素质量图像为较高像素质量的图像。重建第二像素质量图像是与人工合成第一像素质量图像对应的，模拟真实场景下较高像素质量的图像。
S206：根据第一图像特征以及第二图像特征计算域对齐损失。
第一图像特征为真实第一像素质量图像对应的图像特征，而第二图像特征为人工合成第一像素质量图像对应的图像特征。基于第一图像特征和第二图像特征，可以对真实第一像素质量图像和人工合成第一像素质量图像进行比较。
根据得到的第一图像特征以及第二图像特征，可以计算域对齐损失。域对齐损失可以从特征的角度反映真实第一像素质量图像和人工合成第一像素质量图像之间的差距。
在一种可能的实现方式中，本申请实施例提供一种根据第一图像特征以及第二图像特征计算域对齐损失的具体实施方式，具体请参见下文。
S207：根据重新生成的真实第一像素质量图像、伪真实第一像素质量图像以及真实第一像素质量图像计算图像生成损失。
重新生成的真实第一像素质量图像是通过真实第一像素质量图像生成器基于第一图像特征生成的。伪真实第一像素质量图像是通过真实第一像素质量图像生成器基于第二图像特征生成的。基于重新生成的真实第一像素质量、伪真实第一像素质量图像和真实第一像素质量图像，可以计算得到真实第一像素质量图像生成器在生成模拟真实场景下的较低像素质量图像的损失，也就是图像生成损失。图像生成损失可以对生成的较低像素质量图像和真实的较低像素质量图像之间的差距进行衡量。
在一种可能的实现方式中，本申请实施例提供一种根据重新生成的真实第一像素质量图像、伪真实第一像素质量图像以及真实第一像素质量图像计算图像生成损失的具体实现方式，具体请参见下文。
S208：根据重建第二像素质量图像以及真实第二像素质量图像计算图像重建损失。
重建第二像素质量图像是通过真实第二像素质量图像生成器基于第二图像特征生成的。重建第二像素质量图像对应的真实场景下的较高像素质量图像为真实第二像素质量图像。基于重建第二像素质量图像和真实第二像素质量图像，可以计算得到真实第二像素质量图像生成器在生成模拟的真实场景下的较高像素质量图像的损失，也就是图像重建损失。图像重建损失可以对生成的较高像素质量图像和真实的较高像素质量图像之间的差距进行衡量。
在一种可能的实现方式中，本申请实施例提供一种根据重建第二像素质量图像以及真实第二像素质量图像计算图像重建损失的具体实施方式，具体请参见下文。
S209：根据域对齐损失、图像生成损失以及图像重建损失，训练图像特征编码器、真实第一像素质量图像生成器以及真实第二像素质量图像生成器，重复执行将真实第一像素质量图像输入图像特征编码器，得到第一图像特征以及后续步骤，直到达到预设条件。
基于计算得到的域对齐损失、图像生成损失以及图像重建损失，可以对图像特征编码器、真实第一像素质量图像生成器以及真实第二像素质量图像生成器进行训练。通过利用计算得到的损失对图像特征编码器、真实第一像素质量图像生成器以及真实第二像素质量图像生成器进行联合调整。并且重复执行上述S201－S209，对图像特征编码器、真实第一像素质量图像生成器和真实第二像素质量图像生成器进行训练。直到满足预设条件后，停止对图像特征编码器、真实第一像素质量图像生成器和真实第二像素质量图像生成器的训练，实现图像修复模型的训练。具体的，预设条件可以是重复进行训练的次数，比如，预设条件可以为重复训练500次。
在一种可能的实现方式中，本申请实施例还提供一种根据域对齐损失、图像生成损失以及图像重建损失，训练图像特征编码器、真实第一像素质量图像生成器以及真实第二像素质量图像生成器的具体实施方式，具体请参见下文。
基于上述S201－S209的相关内容可知，通过利用图像特征编码器提取图像特征，通过真实第一像素质量图像生成器生成对应的较低像素质量图像，通过真实第二像素质量图像生成器生成对应的较高像素质量图像。利用得到的图像特征、生成的较低像素质量图像、生成的较高像素质量图像、对应的真实场景下的较低像素质量图像以及对应的真实场景下的较高像素质量图像，可以计算得到对应的图像特征损失、图像生成损失以及图像重建损失。基于计算得到的损失，对图像特征编码器、真实第一像素质量图像生成器以及真实第二像素质量图像生成器进行训练，能够减小真实较低像素质量图像与人工合成的较低像素质量图像之间的差距，减小生成的模拟真实场景下较低像素质量图像和实际真实场景下较低像素质量图像之间的差距，减小生成的模拟真实场景下较高像素质量图像与实际真实场景下较高像素质量图像之间的差距，得到泛化能力更好、修复效果更好的图像特征编码器以及真实第二像素质量图像生成器，可以实现基于训练好的图像修复模型得到修复效果更好的较高像素质量图像。
在一种可能的实现方式中，在真实第一像素质量图像生成器的性能不佳时，生成的伪真实第一像素质量图像还可能与人工合成第一像素质量图像在图像内容上存在差异。
针对上述问题，本申请实施例提供一种图像修复模型的训练方法，除上述S201－S209以外，所述方法还包括以下步骤：
A1：将伪真实第一像素质量图像输入图像特征编码器，得到第三图像特征。
参见图4所示，该图为本申请实施例提供的另一种图像修复模型的结构示意图。
对伪真实第一像素质量图像进行图像特征的提取，将伪真实第一像素质量图像输入至图像特征编码器中，得到伪真实第一像素质量图像对应的第三图像特征。
A2：根据第二图像特征以及第三图像特征计算内容一致性损失。
第二图像特征为人工合成第一像素质量图像的图像特征。根据第二图像特征和第三图像特征，可以计算得到内容一致性损失。内容一致性损失用于衡量人工合成第一像素质量图像和伪真实第一像素质量图像之间的图像差距。基于内容一致性损失可以对真实第一像素质量图像生成器进行调整，使得生成的模拟真实场景下的较低像素质量图像的图像内容与对应的人工合成第一像素质量图像的图像内容不变，仅是图像像素的退化模式发生变化，从而实现提高生成的模拟真实场景下的较低像素质量图像的图像质量，确保图像内容不发生变化。
对应的，本申请实施例提供一种根据域对齐损失、图像生成损失以及图像重建损失，训练图像特征编码器、真实第一像素质量图像生成器以及真实第二像素质量图像生成器的具体实施方式，包括：
根据域对齐损失、图像生成损失、图像重建损失以及内容一致性损失，训练图像特征编码器、真实第一像素质量图像生成器以及真实第二像素质量图像生成器。
根据计算得到的域对齐损失、图像生成损失、图像重建损失和内容一致性损失，对图像特征编码器、真实第一像素质量图像生成器以及真实第二像素质量图像生成器进行训练。
在一种可能的实现方式中，本申请实施例提供一种根据第二图像特征以及第三图像特征计算内容一致性损失的具体实施方式，具体请参见下文。
在本申请实施例中，通过计算内容一致性损失，并且利用内容一致性损失对图像特征编码器、真实第一像素质量图像生成器以及真实第二像素质量图像生成器进行训练，可以进一步提高生成的图像修复模型的模型性能，确保修复后的图像与待修复的图像的图像内容一致。
进一步的，还可以通过真实第二像素质量图像生成器，利用得到的第三图像特征得到对应的模拟真实场景下的较高像素质量图像，并计算对应的图像重建损失，并利用图像重建损失训练得到更为性能更好的图像修复模型。
对应的，本申请实施例提供的一种图像修复模型的训练方法还可以包括以下步骤：
将第三图像特征输入真实第二像素质量图像生成器，得到伪真实重建第二像素质量图像。
参见图5所示，该图为本申请实施例提供的另一种图像修复模型的结构示意图。
第三图像特征为伪真实第一像素质量图像的图像特征。将第三图像特征输入至真实第二像素质量图像生成器中，可以得到对应于伪真实第一像素质量图像的模拟真实场景下的较高像素质量图像，即伪真实重建第二像素质量图像。
对应的，本申请实施例提供一种根据重建第二像素质量图像以及真实第二像素质量图像计算图像重建损失的具体实施方式，包括以下两个步骤：
B1：根据重建第二像素质量图像以及真实第二像素质量图像计算第一图像重建损失。
重建第二像素质量图像是与真实第二像素质量图像对应的生成的模拟真实场景下的较高像素质量图像。根据重建第二像素质量图像和真实第二像素质量图像可以计算得到第一图像重建损失，第一图像重建损失可以用于衡量重建第二像素质量图像和真实第二像素质量图像之间的差距。
在一种可能的实现方式中，本申请实施例提供一种根据重建第二像素质量图像以及真实第二像素质量图像计算第一图像重建损失的具体实施方式，具体请参见下文。
B2：根据伪真实重建第二像素质量图像以及真实第二像素质量图像计算第二图像重建损失；第一图像重建损失以及第二图像重建损失组成图像重建损失。
伪真实重建第二像素质量图像也是与真实第二像素质量图像对应的，由较低像素质量图像生成的模拟真实场景下的较高像素质量图像。根据伪真实重建第二像素质量图像可以计算得到第二图像重建损失，第二图像重建损失可以用于衡量伪真实重建第二像素质量图像和真实第二像素质量图像之间的差距。
利用得到的第一图像重建损失和第二图像重建损失组成图像重建损失。
基于上述内容可知，通过真实第二像素质量图像，基于第三图像特征生成伪真实重建第二像素质量图像，并基于重建第二像素质量图像和伪真实重建第二像素质量图像分别与真实第二像素质量图像计算图像重建损失。得到的图像重建损失，可以更全面地衡量生成的模拟真实场景下较高像素质量图像与实际真实场景下较高像素质量图像之间的差距，实现对真实第二像素质量图像生成器的生成结果的约束，从而可以基于图像重建损失训练得到模型性能更优的图像修复模型。
在一种可能的实现方式中，本申请实施例提供一种根据重新生成的真实第一像素质量图像、伪真实第一像素质量图像以及真实第一像素质量图像计算图像生成损失，具体包括以下两个步骤：
C1：根据重新生成的真实第一像素质量图像以及真实第一像素质量图像计算第一图像生成损失。
重新生成的真实第一像素质量图像是与真实第一像素质量图像对应的生成的模拟真实场景下的较低像素质量图像。根据重新生成的真实第一像素质量图像和真实第一像素质量图像，可以计算得到第一图像生成损失，第一图像生成损失可以用于衡量重新生成的真实第一像素质量图像和真实第一像素质量图像之间的差距。
在一种可能的实现方式中，本申请实施例提供一种根据重新生成的真实第一像素质量图像以及真实第一像素质量图像计算第一图像生成损失的具体实现方式，具体请参见下文。
C2：根据伪真实第一像素质量图像以及真实第一像素质量图像计算第二图像生成损失；第一图像生成损失以及第二图像生成损失组成图像生成损失。
伪真实第一像素质量图像是基于人工合成第一像素质量图像，生成的模拟真实场景下的较低像素质量图像。根据伪真实第一像素质量图像和真实第一像素质量图像可以计算得到第二图像生成损失。第二图像生成损失可以用于衡量伪真实第一像素质量图像和真实第一像素质量图像之间的差距。
基于得到的第一图像生成损失和第二图像生成损失，可以组成图像生成损失。
在一种可能的实现方式中，本申请实施例提供一种根据伪真实第一像素质量图像以及真实第一像素质量图像计算第二图像生成损失；第一图像生成损失以及第二图像生成损失组成图像生成损失的具体实施方式，具体参见下文。
在本申请实施例中，通过分别利用重新生成的真实第一像素质量图像和伪真实第一像素质量图像，和真实第一像素质量图像计算得到第一图像生成损失和第二图像生成损失，可以基于两个方面得到更为准确的图像生成损失。实现对真实第一像素质量图像生成器的生成结果的约束。基于图像生成损失，可以减少生成的较低像素质量图像与真实场景下较低像素质量图像之间的差距，利用得到的图像生成损失训练得到模型性能更优的图像修复模型。
在一种可能的实现方式中，本申请实施例提供一种根据第一图像特征以及第二图像特征计算域对齐损失的具体实施方式，包括以下三个步骤：
D1：将第一图像特征输入特征判别器，得到第一概率值。
首先需要说明的是，第一图像特征对应的真实第一像素质量图像和第二图像特征对应的人工合成第一像素质量图像属于对不同的图像进行处理得到的。可以将图像特征输入至特征判别器中，得到对应的概率值，进行域对齐损失的计算。
参见图6所示，该图为本申请实施例提供的一种特征判别器的结构示意图。特征判别器可以由6个模块组成，每个模块由一个3*3卷积层和一个激活函数层组成。其中，激活函数层具体可以采用LeakyRelu激活函数。
其中，对应于第一图像特征，特征判别器用于输出生成的第一图像特征为真实场景下的图像所对应的图像特征的概率值。通过将第一图像特征输入至特征判别器中，可以得到特征判别器输出的与第一图像特征对应的第一概率值。
具体的，第一图像特征Fx可以表示为Fx＝EC(IX)，其中，IX表示真实第一像素质量图像，EC(IX)表示通过图像特征编码器提取的真实第一像素质量图像的第一图像特征，其中EC可以表示图像特征编码器。特征判别器输出的第一概率值可以表示为logDC(Fx)。其中，DC表示针对特征的判别器。
D2：将第二图像特征输入特征判别器，得到第二概率值。
通过将第二图像特征输入至特征判别器中，可以得到特征判别器输出的与第二图像特征对应的第二概率值。
需要说明的是，第二图像特征是人工合成第一像素质量图像的图像特征，需要通过特征判别器得到第二图像特征是模拟真实场景下的图像的图像特征的概率值。
具体的，第二图像特征FZ可以表示为FZ＝EC(IZ)，其中，IZ表示人工合成第一像素质量图像，EC(IZ)表示通过图像特征编码器提取的人工合成第一像素质量图像的第二图像特征，其中EC可以表示图像特征编码器。特征判别器输出的第二概率值可以表示为log[1-DC(FZ)]。
D3：根据第一概率值以及第二概率值，计算域对齐损失。
基于特征判别器输出的第一概率值和第二概率值，可以计算得到域对齐损失。
在一种可能的实现方式中，域对齐损失
Figure BDA0003093649850000111
可以通过下式计算得到：
Figure BDA0003093649850000112
其中，EX[logDC(Fx)]表示对计算得到的第一概率值所对应的期望值，EZ{log[1-DC(FZ)]}表示对计算得到的第二概率值所对应的期望值。通过计算针对第一概率值的期望与针对第二概率值的期望的和，得到域对齐损失。
在本申请实施例中，通过特征判别器计算得到第一图像特征和第二图像特征所对应的概率值，再利用计算得到的概率值计算域对齐损失，得到的域对齐损失较为准确。通过特征判别器可以基于由不同图像处理得到的图像，也就是不成对的图像计算对应的损失值，使得在生成人工合成第一像素质量图像时所使用的真实第二像素质量图像可以与真实第一像素质量图像不是同一内容的图像，减少了生成训练图像的限制。
进一步的，本申请实施例提供一种根据第二图像特征以及第三图像特征计算内容一致性损失的具体实施方式，包括：
计算第二图像特征以及第三图像特征之间的1-范数；
根据第二图像特征以及第三图像特征之间的1-范数，计算内容一致性损失。
具体的，计算第二图像特征以及第三图像特征之间的1-范数。其中，第二图像特征可以表示为FZ，第三图像特征可以表示为FZ'。对应的第二图像特征以及第三图像特征之间的1－范数可以表示为||FZ'－FZ||1。
基于计算得到的第二图像特征与第三图像特征之间的1－范数，计算得到内容一致性损失。
在一种可能的实现方式中，内容一致性损失Lpix可以通过下式计算得到：
Lpix(FZ′，FZ)＝EZ[||FZ′－FZ||1] (2)
其中，EZ[||FZ'－FZ||1]表示计算得到的||FZ′－FZ||1所对应的期望值，具体可以是针对得到的||FZ′－FZ||1计算对应的平均值。
基于上述内容可知，通过基于计算第二图像特征和第三图像特征之间的1－范数，实现逐像素地进行约束，计算得到的内容一致性损失可以更好地表示人工合成第一像素质量图像和伪真实第一像素质量图像之间的差距，进而可以通过训练得到性能更好的图像修复模型。
进一步的，本申请实施例提供一种根据重建第二像素质量图像以及真实第二像素质量图像计算第一图像重建损失的具体实施方式，包括：
计算重建第二像素质量图像以及真实第二像素质量图像之间的1-范数；
根据重建第二像素质量图像以及真实第二像素质量图像之间的1-范数，计算第一图像重建损失。
具体的，重建第二像素质量图像可以通过IZ→Y表示，真实第二像素质量图像可以通过IY表示。重建第二像素质量图像以及真实第二像素质量图像之间的1－范数可以表示为||IZ→Y－IY||1。
计算重建第二像素质量图像以及真实第二像素质量图像之间的1－范数。
重建第二像素质量图像以及真实第二像素质量图像之间的1－范数可以通过下式表示：
Lpix(IZ→Y，IY)＝EY[||IZ→Y－IY||1] (3)
其中，EY[||IZ→Y－IY||1]表示计算得到的||IZ→Y－IY||1所对应的期望值。
在本申请实施例中，通过计算重建第二像素质量图像以及真实第二像素质量图像之间的1－范数，可以逐像素地进行约束，可以计算得到较为准确的第一图像重建损失，进而可以通过训练得到性能更好的图像修复模型。
进一步的，在一种可能的实现方式中，本申请实施例提供一种根据伪真实重建第二像素质量图像以及真实第二像素质量图像计算第二图像重建损失的具体实现方式，包括：
计算伪真实重建第二像素质量图像以及真实第二像素质量图像之间的1－范数；
根据伪真实重建第二像素质量图像以及真实第二像素质量图像之间的1－范数，计算第二图像重建损失。
伪真实重建第二像素质量图像是由伪真实第一像素质量图像处理得到的，与真实第二像素质量图像属于对不同的图像进行处理得到的。可以通过特征判别器得到对应的概率值，进行域对齐损失的计算。
具体的，伪真实重建第二像素质量图像可以通过IZ→X→Y表示，真实第二像素质量图像可以通过IY表示。重建第二像素质量图像以及真实第二像素质量图像之间的1－范数可以表示为||IZ→X→Y－IY||1。
计算伪真实重建第二像素质量图像以及真实第二像素质量图像之间的1－范数。
伪真实第二像素质量图像以及真实第二像素质量图像之间的1－范数可以通过下式表示：
Lpix(IZ→X→Y，IY)＝EY[||IZ→X→Y－IY||1] (4)
其中，EY[||IZ→X→Y－IY||1]表示计算得到的||IZ→X→Y－IY||1所对应的期望值。
在本申请实施例中，通过计算伪真实重建第二像素质量图像和真实第二像素质量图像之间的1－范数，可以逐像素地进行约束，进一步提高第二图像重建损失的准确程度，以便训练得到性能更好的图像修复模型。
在一种可能的实现方式中，本申请实施例提供一种根据重新生成的真实第一像素质量图像以及真实第一像素质量图像计算第一图像生成损失，包括：
计算重新生成的真实第一像素质量图像以及真实第一像素质量图像之间的1-范数；
根据重新生成的真实第一像素质量图像以及真实第一像素质量图像之间的1-范数，计算第一图像生成损失。
具体的，重新生成的真实第一像素质量图像可以通过IX→X表示，真实第一像素质量图像可以通过IX表示。重新生成的真实第一像素质量图像以及真实第一像素质量图像之间的1－范数可以表示为||IX→X－IX||1。
重新生成的真实第一像素质量图像以及真实第一像素质量图像之间的1－范数，可以通过下式表示为：
Lpix(IX→X，IX)＝EX[||IX→X－IX||1] (5)
其中，EX[||IX→X－IX||1]表示计算得到的||IX→X－IX||1所对应的期望值。
在本申请实施例中，通过计算重新生成的真实第一像素质量图像和真实第一像素质量图像之间的1－范数，可以逐像素地进行约束，进一步提高第一图像生成损失的准确程度，以便训练得到性能更好的图像修复模型。
在一种可能的实现方式中，本申请实施例提供一种根据伪真实第一像素质量图像以及真实第一像素质量图像计算第二图像生成损失，具体包括：
将伪真实第一像素质量图像输入特征判别器，得到第三概率值；
将真实第一像素质量图像输入特征判别器，得到第四概率值；
根据第三概率值和第四概率值，计算第二图像生成损失。
伪真实第一像素质量图像是由人工合成第一像素质量图像处理生成的，与真实第一像素质量图像属于不同的图像。可以通过将伪真实第一像素质图像和真实第一像素质量图像分别输入至特征判别器中，得到对应的概率值，实现第二图像生成损失的计算。
将伪真实第一像素质量图像输入至特征判别器中，得到特征判别器输出的第三概率值。第三概率值用于表示伪真实第一像素质量图像为模拟真实场景下生成的较低像素质量图像的概率值。
具体的，伪真实第一像素质量图像可以表示为IZ→X。对应的，第三概率值可以表示为log[1-DX(IZ→X)]。其中，DX为表示针对图像的判别器。
将真实第一像素质量图像输入至特征判别器中，得到特征判别器输出的第四概率值。第四概率值用于表示真实第一像素质量图像为真实场景下生成的较低像素质量图像的概率值。
具体的，真实第一像素质量图像可以表示为IX。对应的，第四概率值可以表示为logDX(IX)。
基于特征判别器输出的第三概率值和第四概率值，可以计算得到第二图像生成损失。
在一种可能的实现方式中，第二图像损失Ladv可以通过下式计算得到：
Ladv(IZ→X，IX)＝EX[logDX(IX)]+EZ{log[1-DX(IZ→X)]} (6)
其中，EX[logDX(IX)]表示对计算得到的第四概率值所对应的期望值，EZ{log[1-DX(IZ→X)]}表示对计算得到的第三概率值所对应的期望值。通过计算针对第三概率值的期望与针对第四概率值的期望的和，得到第二图像损失。
在本申请实施例中，通过特征判别器计算得到伪真实第一像素质量图像和真实第一像素质量图像所对应的概率值，再利用计算得到的概率值计算第二图像损失，得到的第二图像损失较为准确。通过特征判别器可以对由不同图像处理得到的图像，也就是不成对的图像进行约束。
在一种可能的实现方式中，本申请实施例提供的图像修复模型中，图像特征编码器包括至少一个残差模块；
真实第一像素质量图像生成器包括至少一个残差模块；
真实第二像素质量图像生成器包括第一卷积层、基本单元、第二卷积层、上采样层、第三卷积层、激活函数层以及第四卷积层，基本单元包括至少一个RRDB(Residual-in-Residual Dense Block)单元。
参见图7所示，该图为本申请实施例提供的一种图像特征编码器的结构示意图。在训练图像修复模型时，图像特征编码器是用于提取图像特征的，可以由多个残差模块组成。其中，每个残差模块可以由3*3的卷积层、激活函数层和3*3的卷积层组成。
真实第一像素质量图像生成器是用于辅助训练的，可以由多个残差模块组成。真实第一像素质量图像生成器的结构可以与图像特征编码器的结构一致，在此不再赘述。
参见图8所示，该图为本申请实施例提供的一种真实第二像素质量图像生成器的结构示意图。真实第二像素质量图像生成器是在训练完成后进行图像修复的，需要较为复杂的结构，实现较为准确的图像修复。真实第二像素质量图像生成器由第一卷积层、基本单元、第二卷积层、上采样层、第三卷积层、激活函数层以及第四卷积层组成。其中，第一卷积层和第四卷积层可以为1*1的卷积层，第二卷积层和第三卷积层可以为3*3的卷积层。激活函数层所使用的激活函数具体可以为LeakyRelu激活函数。
其中，具体的，基本单元可以为多个RRDB单元。参见图9所示，该图为本申请实施例提供的一种RRDB单元的结构示意图。RRDB单元中包括五个模块，第一个模块为由一个3*3的卷积层和一个激活函数层组成的，第二个模块至第五个模块为由一个1*1的卷积层、一个3*3的卷积层和一个激活函数层组成的。RRDB单元中的激活函数层所使用的激活函数具体可以为LeakyRelu激活函数。
在本申请实施例中，通过采用较为简单的图像特征编码器和真实第一像素质量图像生成器的模型结构，采用较为复杂的真实第二像素质量图像生成器的模型结构，可以在确保模型结构较为精简的前提下确保生成的图像修复模型的模型性能。
基于上述实施例提供的一种图像修复模型的训练方法，本申请实施例还提供了一种图像修复方法。
参见图10所示，该图为本申请实施例提供的一种图像修复方法的流程图，如图10所示，该方法可以包括S1001-S1002：
S1001：将待修复第一像素质量图像输入图像特征编码器，得到目标图像特征。
待修复第一像素质量图像是具有较低像素质量的图像，需要进行图像修复，得到对应的具有较高像素质量的图像。
将待修复第一像素质量图像输入至图像特征编码器中，对待修复第一像素质量图像的图像特征进行提取，得到对应的目标图像特征。
其中，图像特征编码器是根据上述图像修复模型训练方法训练生成的。通过上述图像修复模型训练方法训练生成的图像特征编码器可以更好地对待修复第一像素质量图像进行特征提取，从而实现更为准确地图像修复。
S1002：将目标图像特征输入真实第二像素质量图像生成器，得到修复后的第二像素质量图像。
图像特征编码器以及真实第二像素质量图像生成器是根据上述任一实施例的图像修复模型的训练方法训练得到的。
将得到的目标图像特征输入至真实第二像素质量图像生成器中。真实第二像素质量图像生成器是用于基于输入的目标图像特征生成对应的较高像素质量的图像，也就是修复后的第二像素质量图像。
真实第二像素质量图像生成器是通过上述图像修复模型训练方法训练生成的。通过上述图像修复模型训练方法训练生成的第二像素质量图像生成器可以基于目标图像特征，能够生成与待修复第一像素质量图像对应的，修复效果更好的修复后的第二像素质量图像。
基于上述S1001－S1002的相关内容可知，通过训练好的图像特征编码器和真实第二像素质量图像生成器，可以更好地对待修复第一像素质量图像进行图像修复，得到修复效果更好的修复后的第二像素质量图像，满足图像使用的需要。
基于上述方法实施例提供的一种图像修复模型的训练方法，本申请实施例还提供了一种图像修复模型的训练装置，下面将结合附图对图像修复模型的训练装置进行说明。
参见图11所示，该图为本申请实施例提供的一种图像修复模型的训练装置的结构示意图。如图11所示，该图像修复模型的训练装置包括：
第一执行单元1101，用于将真实第一像素质量图像输入图像特征编码器，得到第一图像特征；
第二执行单元1102，用于将人工合成第一像素质量图像输入所述图像特征编码器，得到第二图像特征；所述人工合成第一像素质量图像是由真实第二像素质量图像进行模糊处理得到的；
第三执行单元1103，用于将所述第一图像特征输入真实第一像素质量图像生成器，得到重新生成的真实第一像素质量图像；
第四执行单元1104，用于将所述第二图像特征输入所述真实第一像素质量图像生成器，得到伪真实第一像素质量图像；
第五执行单元1105，用于将所述第二图像特征输入真实第二像素质量图像生成器，得到重建第二像素质量图像；
第一计算单元1106，用于根据所述第一图像特征以及所述第二图像特征计算域对齐损失；
第二计算单元1107，用于根据所述重新生成的真实第一像素质量图像、所述伪真实第一像素质量图像以及所述真实第一像素质量图像计算图像生成损失；
第三计算单元1108，用于根据所述重建第二像素质量图像以及所述真实第二像素质量图像计算图像重建损失；
训练单元1109，用于根据所述域对齐损失、所述图像生成损失以及所述图像重建损失，训练所述图像特征编码器、所述真实第一像素质量图像生成器以及所述真实第二像素质量图像生成器，重复执行所述将真实第一像素质量图像输入图像特征编码器，得到第一图像特征以及后续步骤，直到达到预设条件；
其中，第一像素质量的图像清晰度低于第二像素质量的图像清晰度。
在一种可能的实现方式中，所述装置还包括：
第六执行单元，用于将所述伪真实第一像素质量图像输入所述图像特征编码器，得到第三图像特征；
第四计算单元，用于根据所述第二图像特征以及所述第三图像特征计算内容一致性损失；
所述训练单元1109，具体用于所述根据所述域对齐损失、所述图像生成损失、所述图像重建损失以及所述内容一致性损失，训练所述图像特征编码器、所述真实第一像素质量图像生成器以及所述真实第二像素质量图像生成器。
在一种可能的实现方式中，所述装置还包括：
第七执行单元，用于将所述第三图像特征输入所述真实第二像素质量图像生成器，得到伪真实重建第二像素质量图像；
所述第三计算单元1108，包括：
第一计算子单元，用于根据所述重建第二像素质量图像以及所述真实第二像素质量图像计算第一图像重建损失；
第二计算子单元，用于根据所述伪真实重建第二像素质量图像以及所述真实第二像素质量图像计算第二图像重建损失；所述第一图像重建损失以及所述第二图像重建损失组成图像重建损失。
在一种可能的实现方式中，所述第二计算单元1107，包括：
第三计算子单元，用于根据所述重新生成的真实第一像素质量图像以及所述真实第一像素质量图像计算第一图像生成损失；
第四计算子单元，用于根据所述伪真实第一像素质量图像以及所述真实第一像素质量图像计算第二图像生成损失；所述第一图像生成损失以及所述第二图像生成损失组成图像生成损失。
在一种可能的实现方式中，所述第一计算单元1106，具体用于将所述第一图像特征输入特征判别器，得到第一概率值；
将所述第二图像特征输入所述特征判别器，得到第二概率值；
根据所述第一概率值以及所述第二概率值，计算域对齐损失。
在一种可能的实现方式中，所述第四计算单元，具体用于计算所述第二图像特征以及所述第三图像特征之间的1-范数；
根据所述第二图像特征以及所述第三图像特征之间的1-范数，计算内容一致性损失。
在一种可能的实现方式中，所述第一计算子单元，具体用于计算所述重建第二像素质量图像以及所述真实第二像素质量图像之间的1-范数；
根据所述重建第二像素质量图像以及所述真实第二像素质量图像之间的1-范数，计算第一图像重建损失。
在一种可能的实现方式中，所述第二计算子单元，具体用于计算所述伪真实重建第二像素质量图像以及所述真实第二像素质量图像之间的1－范数；
根据所述伪真实重建第二像素质量图像以及所述真实第二像素质量图像之间的1－范数，计算第二图像重建损失。
在一种可能的实现方式中，所述第三计算子单元，具体用于计算所述重新生成的真实第一像素质量图像以及所述真实第一像素质量图像之间的1-范数；
根据所述重新生成的真实第一像素质量图像以及所述真实第一像素质量图像之间的1-范数，计算第一图像生成损失。
在一种可能的实现方式中，所述第四计算子单元，具体用于将所述伪真实第一像素质量图像输入特征判别器，得到第三概率值；
将所述真实第一像素质量图像输入所述特征判别器，得到第四概率值；
根据所述第三概率值和所述第四概率值，计算第二图像生成损失。
在一种可能的实现方式中，所述图像特征编码器包括至少一个残差模块；
所述真实第一像素质量图像生成器包括至少一个残差模块；
所述真实第二像素质量图像生成器包括第一卷积层、基本单元、第二卷积层、上采样层、第三卷积层、激活函数层以及第四卷积层，所述基本单元包括至少一个RRDB单元。
基于上述方法实施例提供的一种图像修复方法，本申请实施例还提供了一种图像修复装置，下面将结合附图对图像修复装置进行说明。
参见图12所示，该图为本申请实施例提供的一种图像修复装置的结构示意图。如图12所示，该图像修复装置包括：
第八执行单元1201，用于将待修复第一像素质量图像输入图像特征编码器，得到目标图像特征；
第九执行单元1202，用于将所述目标图像特征输入真实第二像素质量图像生成器，得到修复后的第二像素质量图像；
所述图像特征编码器以及所述真实第二像素质量图像生成器是根据上述任一项实施例所述的图像修复模型的训练方法训练得到的。
基于上述方法实施例提供的一种图像修复模型的训练方法和图像修复方法，本申请还提供一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一实施例所述的图像修复模型的训练方法，或者上述任一实施例所述的图像修复方法
下面参考图13，其示出了适于用来实现本申请实施例的电子设备1300的结构示意图。本申请实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(Personal Digital Assistant，个人数字助理)、PAD(portable androiddevice，平板电脑)、PMP(Portable Media Player，便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV(television，电视机)、台式计算机等等的固定终端。图13示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图13所示，电子设备1300可以包括处理装置(例如中央处理器、图形处理器等)1301，其可以根据存储在只读存储器(ROM)1302中的程序或者从存储装置1306加载到随机访问存储器(RAM)1303中的程序而执行各种适当的动作和处理。在RAM1303中，还存储有电子设备1300操作所需的各种程序和数据。处理装置1301、ROM 1302以及RAM 1303通过总线1304彼此相连。输入/输出(I/O)接口1305也连接至总线1304。
通常，以下装置可以连接至I/O接口1305：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置1306；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置1307；包括例如磁带、硬盘等的存储装置1306；以及通信装置1309。通信装置1309可以允许电子设备1300与其他设备进行无线或有线通信以交换数据。虽然图13示出了具有各种装置的电子设备1300，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置1309从网络上被下载和安装，或者从存储装置1306被安装，或者从ROM1302被安装。在该计算机程序被处理装置1301执行时，执行本申请实施例的方法中限定的上述功能。
本申请实施例提供的电子设备与上述实施例提供的图像修复模型的训练方法和图像修复方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例与上述实施例具有相同的有益效果。
基于上述方法实施例提供的一种图像修复模型的训练方法和图像修复方法，本申请实施例提供一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如上述任一实施例所述的图像修复模型的训练方法，或者上述任一实施例所述的图像修复方法。
需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述图像修复模型的训练方法或图像修复方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元/模块的名称在某种情况下并不构成对该单元本身的限定，例如，语音数据采集模块还可以被描述为“数据采集模块”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上***(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本申请的一个或多个实施例，【示例一】提供了一种图像修复模型的训练方法，所述方法包括：
将真实第一像素质量图像输入图像特征编码器，得到第一图像特征；
将人工合成第一像素质量图像输入所述图像特征编码器，得到第二图像特征；所述人工合成第一像素质量图像是由真实第二像素质量图像进行模糊处理得到的；
将所述第一图像特征输入真实第一像素质量图像生成器，得到重新生成的真实第一像素质量图像；
将所述第二图像特征输入所述真实第一像素质量图像生成器，得到伪真实第一像素质量图像；
将所述第二图像特征输入真实第二像素质量图像生成器，得到重建第二像素质量图像；
根据所述第一图像特征以及所述第二图像特征计算域对齐损失；
根据所述重新生成的真实第一像素质量图像、所述伪真实第一像素质量图像以及所述真实第一像素质量图像计算图像生成损失；
根据所述重建第二像素质量图像以及所述真实第二像素质量图像计算图像重建损失；
根据所述域对齐损失、所述图像生成损失以及所述图像重建损失，训练所述图像特征编码器、所述真实第一像素质量图像生成器以及所述真实第二像素质量图像生成器，重复执行所述将真实第一像素质量图像输入图像特征编码器，得到第一图像特征以及后续步骤，直到达到预设条件；
其中，第一像素质量的图像清晰度低于第二像素质量的图像清晰度。
根据本申请的一个或多个实施例，【示例二】提供了一种图像修复模型的训练方法，所述方法还包括：
将所述伪真实第一像素质量图像输入所述图像特征编码器，得到第三图像特征；
根据所述第二图像特征以及所述第三图像特征计算内容一致性损失；
所述根据所述域对齐损失、所述图像生成损失以及所述图像重建损失，训练所述图像特征编码器、所述真实第一像素质量图像生成器以及所述真实第二像素质量图像生成器，包括：
所述根据所述域对齐损失、所述图像生成损失、所述图像重建损失以及所述内容一致性损失，训练所述图像特征编码器、所述真实第一像素质量图像生成器以及所述真实第二像素质量图像生成器。
根据本申请的一个或多个实施例，【示例三】提供了一种图像修复模型的训练方法，所述方法还包括：
将所述第三图像特征输入所述真实第二像素质量图像生成器，得到伪真实重建第二像素质量图像；
所述根据所述重建第二像素质量图像以及所述真实第二像素质量图像计算图像重建损失，包括：
根据所述重建第二像素质量图像以及所述真实第二像素质量图像计算第一图像重建损失；
根据所述伪真实重建第二像素质量图像以及所述真实第二像素质量图像计算第二图像重建损失；所述第一图像重建损失以及所述第二图像重建损失组成图像重建损失。
根据本申请的一个或多个实施例，【示例四】提供了一种图像修复模型的训练方法，所述根据所述重新生成的真实第一像素质量图像、所述伪真实第一像素质量图像以及所述真实第一像素质量图像计算图像生成损失，包括：
根据所述重新生成的真实第一像素质量图像以及所述真实第一像素质量图像计算第一图像生成损失；
根据所述伪真实第一像素质量图像以及所述真实第一像素质量图像计算第二图像生成损失；所述第一图像生成损失以及所述第二图像生成损失组成图像生成损失。
根据本申请的一个或多个实施例，【示例五】提供了一种图像修复模型的训练方法，所述根据所述第一图像特征以及所述第二图像特征计算域对齐损失，包括：
将所述第一图像特征输入特征判别器，得到第一概率值；
将所述第二图像特征输入所述特征判别器，得到第二概率值；
根据所述第一概率值以及所述第二概率值，计算域对齐损失。
根据本申请的一个或多个实施例，【示例六】提供了一种图像修复模型的训练方法，所述根据所述第二图像特征以及所述第三图像特征计算内容一致性损失，包括：
计算所述第二图像特征以及所述第三图像特征之间的1-范数；
根据所述第二图像特征以及所述第三图像特征之间的1-范数，计算内容一致性损失。
根据本申请的一个或多个实施例，【示例七】提供了一种图像修复模型的训练方法，所述根据所述重建第二像素质量图像以及所述真实第二像素质量图像计算第一图像重建损失，包括：
计算所述重建第二像素质量图像以及所述真实第二像素质量图像之间的1-范数；
根据所述重建第二像素质量图像以及所述真实第二像素质量图像之间的1-范数，计算第一图像重建损失。
根据本申请的一个或多个实施例，【示例八】提供了一种图像修复模型的训练方法，所述根据所述伪真实重建第二像素质量图像以及所述真实第二像素质量图像计算第二图像重建损失，包括：
计算所述伪真实重建第二像素质量图像以及所述真实第二像素质量图像之间的1－范数；
根据所述伪真实重建第二像素质量图像以及所述真实第二像素质量图像之间的1－范数，计算第二图像重建损失。
根据本申请的一个或多个实施例，【示例九】提供了一种图像修复模型的训练方法，所述根据所述重新生成的真实第一像素质量图像以及所述真实第一像素质量图像计算第一图像生成损失，包括：
计算所述重新生成的真实第一像素质量图像以及所述真实第一像素质量图像之间的1-范数；
根据所述重新生成的真实第一像素质量图像以及所述真实第一像素质量图像之间的1-范数，计算第一图像生成损失。
根据本申请的一个或多个实施例，【示例十】提供了一种图像修复模型的训练方法，所述根据所述伪真实第一像素质量图像以及所述真实第一像素质量图像计算第二图像生成损失，包括：
将所述伪真实第一像素质量图像输入特征判别器，得到第三概率值；
将所述真实第一像素质量图像输入所述特征判别器，得到第四概率值；
根据所述第三概率值和所述第四概率值，计算第二图像生成损失。
根据本申请的一个或多个实施例，【示例十一】提供了一种图像修复模型的训练方法，所述图像特征编码器包括至少一个残差模块；
所述真实第一像素质量图像生成器包括至少一个残差模块；
所述真实第二像素质量图像生成器包括第一卷积层、基本单元、第二卷积层、上采样层、第三卷积层、激活函数层以及第四卷积层，所述基本单元包括至少一个RRDB单元。
根据本申请的一个或多个实施例，【示例十二】提供了一种图像修复方法，所述方法包括：
将待修复第一像素质量图像输入图像特征编码器，得到目标图像特征；
将所述目标图像特征输入真实第二像素质量图像生成器，得到修复后的第二像素质量图像；
所述图像特征编码器以及所述真实第二像素质量图像生成器是根据上述任一示例所述的图像修复模型的训练方法训练得到的。
根据本申请的一个或多个实施例，【示例十三】提供了一种图像修复模型的训练装置，所述装置包括：
第一执行单元，用于将真实第一像素质量图像输入图像特征编码器，得到第一图像特征；
第二执行单元，用于将人工合成第一像素质量图像输入所述图像特征编码器，得到第二图像特征；所述人工合成第一像素质量图像是由真实第二像素质量图像进行模糊处理得到的；
第三执行单元，用于将所述第一图像特征输入真实第一像素质量图像生成器，得到重新生成的真实第一像素质量图像；
第四执行单元，用于将所述第二图像特征输入所述真实第一像素质量图像生成器，得到伪真实第一像素质量图像；
第五执行单元，用于将所述第二图像特征输入真实第二像素质量图像生成器，得到重建第二像素质量图像；
第一计算单元，用于根据所述第一图像特征以及所述第二图像特征计算域对齐损失；
第二计算单元，用于根据所述重新生成的真实第一像素质量图像、所述伪真实第一像素质量图像以及所述真实第一像素质量图像计算图像生成损失；
第三计算单元，用于根据所述重建第二像素质量图像以及所述真实第二像素质量图像计算图像重建损失；
训练单元，用于根据所述域对齐损失、所述图像生成损失以及所述图像重建损失，训练所述图像特征编码器、所述真实第一像素质量图像生成器以及所述真实第二像素质量图像生成器，重复执行所述将真实第一像素质量图像输入图像特征编码器，得到第一图像特征以及后续步骤，直到达到预设条件；
其中，第一像素质量的图像清晰度低于第二像素质量的图像清晰度。
根据本申请的一个或多个实施例，【示例十四】提供了一种图像修复模型的训练装置，所述装置还包括：
第六执行单元，用于将所述伪真实第一像素质量图像输入所述图像特征编码器，得到第三图像特征；
第四计算单元，用于根据所述第二图像特征以及所述第三图像特征计算内容一致性损失；
所述训练单元，具体用于所述根据所述域对齐损失、所述图像生成损失、所述图像重建损失以及所述内容一致性损失，训练所述图像特征编码器、所述真实第一像素质量图像生成器以及所述真实第二像素质量图像生成器。
根据本申请的一个或多个实施例，【示例十五】提供了一种图像修复模型的训练装置，，所述装置还包括：
第七执行单元，用于将所述第三图像特征输入所述真实第二像素质量图像生成器，得到伪真实重建第二像素质量图像；
所述第三计算单元，包括：
第一计算子单元，用于根据所述重建第二像素质量图像以及所述真实第二像素质量图像计算第一图像重建损失；
第二计算子单元，用于根据所述伪真实重建第二像素质量图像以及所述真实第二像素质量图像计算第二图像重建损失；所述第一图像重建损失以及所述第二图像重建损失组成图像重建损失。
根据本申请的一个或多个实施例，【示例十六】提供了一种图像修复模型的训练装置，所述第二计算单元，包括：
第三计算子单元，用于根据所述重新生成的真实第一像素质量图像以及所述真实第一像素质量图像计算第一图像生成损失；
第四计算子单元，用于根据所述伪真实第一像素质量图像以及所述真实第一像素质量图像计算第二图像生成损失；所述第一图像生成损失以及所述第二图像生成损失组成图像生成损失。
根据本申请的一个或多个实施例，【示例十七】提供了一种图像修复模型的训练装置，所述第一计算单元，具体用于将所述第一图像特征输入特征判别器，得到第一概率值；
将所述第二图像特征输入所述特征判别器，得到第二概率值；
根据所述第一概率值以及所述第二概率值，计算域对齐损失。
根据本申请的一个或多个实施例，【示例十八】提供了一种图像修复模型的训练装置，所述第四计算单元，具体用于计算所述第二图像特征以及所述第三图像特征之间的1-范数；
根据所述第二图像特征以及所述第三图像特征之间的1-范数，计算内容一致性损失。
根据本申请的一个或多个实施例，【示例十九】提供了一种图像修复模型的训练装置，所述第一计算子单元，具体用于计算所述重建第二像素质量图像以及所述真实第二像素质量图像之间的1-范数；
根据所述重建第二像素质量图像以及所述真实第二像素质量图像之间的1-范数，计算第一图像重建损失。
根据本申请的一个或多个实施例，【示例二十】提供了一种图像修复模型的训练装置，所述第二计算子单元，具体用于计算所述伪真实重建第二像素质量图像以及所述真实第二像素质量图像之间的1－范数；
根据所述伪真实重建第二像素质量图像以及所述真实第二像素质量图像之间的1－范数，计算第二图像重建损失。
根据本申请的一个或多个实施例，【示例二十一】提供了一种图像修复模型的训练装置，所述第三计算子单元，具体用于计算所述重新生成的真实第一像素质量图像以及所述真实第一像素质量图像之间的1-范数；
根据所述重新生成的真实第一像素质量图像以及所述真实第一像素质量图像之间的1-范数，计算第一图像生成损失。
根据本申请的一个或多个实施例，【示例二十二】提供了一种图像修复模型的训练装置，所述第四计算子单元，具体用于将所述伪真实第一像素质量图像输入特征判别器，得到第三概率值；
将所述真实第一像素质量图像输入所述特征判别器，得到第四概率值；
根据所述第三概率值和所述第四概率值，计算第二图像生成损失。
根据本申请的一个或多个实施例，【示例二十三】提供了一种图像修复模型的训练装置，所述图像特征编码器包括至少一个残差模块；
所述真实第一像素质量图像生成器包括至少一个残差模块；
所述真实第二像素质量图像生成器包括第一卷积层、基本单元、第二卷积层、上采样层、第三卷积层、激活函数层以及第四卷积层，所述基本单元包括至少一个RRDB单元。
根据本申请的一个或多个实施例，【示例二十四】提供了一种图像修复装置，所述装置包括：
第八执行单元，用于将待修复第一像素质量图像输入图像特征编码器，得到目标图像特征；
第九执行单元，用于将所述目标图像特征输入真实第二像素质量图像生成器，得到修复后的第二像素质量图像；
所述图像特征编码器以及所述真实第二像素质量图像生成器是根据上述任一项示例所述的图像修复模型的训练方法训练得到的。
根据本申请的一个或多个实施例，【示例二十五】提供了一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述任一示例所述的图像修复模型的训练方法，或者【示例十二】所述的图像修复方法。
根据本申请的一个或多个实施例，【示例二十六】提供了一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如上述任一示例所述的图像修复模型的训练方法，或者【示例十二】所述的图像修复方法。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本申请的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (16)

1.一种图像修复模型的训练方法，其特征在于，所述方法包括：
将真实第一像素质量图像输入图像特征编码器，得到第一图像特征；
将人工合成第一像素质量图像输入所述图像特征编码器，得到第二图像特征；所述人工合成第一像素质量图像是由真实第二像素质量图像进行模糊处理得到的；
将所述第一图像特征输入真实第一像素质量图像生成器，得到重新生成的真实第一像素质量图像；
将所述第二图像特征输入所述真实第一像素质量图像生成器，得到伪真实第一像素质量图像；
将所述第二图像特征输入真实第二像素质量图像生成器，得到重建第二像素质量图像；
根据所述第一图像特征以及所述第二图像特征计算域对齐损失；
根据所述重新生成的真实第一像素质量图像、所述伪真实第一像素质量图像以及所述真实第一像素质量图像计算图像生成损失；
根据所述重建第二像素质量图像以及所述真实第二像素质量图像计算图像重建损失；
根据所述域对齐损失、所述图像生成损失以及所述图像重建损失，训练所述图像特征编码器、所述真实第一像素质量图像生成器以及所述真实第二像素质量图像生成器，重复执行所述将真实第一像素质量图像输入图像特征编码器，得到第一图像特征以及后续步骤，直到达到预设条件；
其中，第一像素质量的图像清晰度低于第二像素质量的图像清晰度。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述伪真实第一像素质量图像输入所述图像特征编码器，得到第三图像特征；
根据所述第二图像特征以及所述第三图像特征计算内容一致性损失；
所述根据所述域对齐损失、所述图像生成损失以及所述图像重建损失，训练所述图像特征编码器、所述真实第一像素质量图像生成器以及所述真实第二像素质量图像生成器，包括：
所述根据所述域对齐损失、所述图像生成损失、所述图像重建损失以及所述内容一致性损失，训练所述图像特征编码器、所述真实第一像素质量图像生成器以及所述真实第二像素质量图像生成器。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
将所述第三图像特征输入所述真实第二像素质量图像生成器，得到伪真实重建第二像素质量图像；
所述根据所述重建第二像素质量图像以及所述真实第二像素质量图像计算图像重建损失，包括：
根据所述重建第二像素质量图像以及所述真实第二像素质量图像计算第一图像重建损失；
根据所述伪真实重建第二像素质量图像以及所述真实第二像素质量图像计算第二图像重建损失；所述第一图像重建损失以及所述第二图像重建损失组成图像重建损失。
4.根据权利要求1所述的方法，其特征在于，所述根据所述重新生成的真实第一像素质量图像、所述伪真实第一像素质量图像以及所述真实第一像素质量图像计算图像生成损失，包括：
根据所述重新生成的真实第一像素质量图像以及所述真实第一像素质量图像计算第一图像生成损失；
根据所述伪真实第一像素质量图像以及所述真实第一像素质量图像计算第二图像生成损失；所述第一图像生成损失以及所述第二图像生成损失组成图像生成损失。
5.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像特征以及所述第二图像特征计算域对齐损失，包括：
将所述第一图像特征输入特征判别器，得到第一概率值；
将所述第二图像特征输入所述特征判别器，得到第二概率值；
根据所述第一概率值以及所述第二概率值，计算域对齐损失。
6.根据权利要求2所述的方法，其特征在于，所述根据所述第二图像特征以及所述第三图像特征计算内容一致性损失，包括：
计算所述第二图像特征以及所述第三图像特征之间的1-范数；
根据所述第二图像特征以及所述第三图像特征之间的1-范数，计算内容一致性损失。
7.根据权利要求3所述的方法，其特征在于，所述根据所述重建第二像素质量图像以及所述真实第二像素质量图像计算第一图像重建损失，包括：
计算所述重建第二像素质量图像以及所述真实第二像素质量图像之间的1-范数；
根据所述重建第二像素质量图像以及所述真实第二像素质量图像之间的1-范数，计算第一图像重建损失。
8.根据权利要求3所述的方法，其特征在于，所述根据所述伪真实重建第二像素质量图像以及所述真实第二像素质量图像计算第二图像重建损失，包括：
计算所述伪真实重建第二像素质量图像以及所述真实第二像素质量图像之间的1－范数；
根据所述伪真实重建第二像素质量图像以及所述真实第二像素质量图像之间的1－范数，计算第二图像重建损失。
9.根据权利要求4所述的方法，其特征在于，所述根据所述重新生成的真实第一像素质量图像以及所述真实第一像素质量图像计算第一图像生成损失，包括：
计算所述重新生成的真实第一像素质量图像以及所述真实第一像素质量图像之间的1-范数；
根据所述重新生成的真实第一像素质量图像以及所述真实第一像素质量图像之间的1-范数，计算第一图像生成损失。
10.根据权利要求4所述的方法，其特征在于，所述根据所述伪真实第一像素质量图像以及所述真实第一像素质量图像计算第二图像生成损失，包括：
将所述伪真实第一像素质量图像输入特征判别器，得到第三概率值；
将所述真实第一像素质量图像输入所述特征判别器，得到第四概率值；
根据所述第三概率值和所述第四概率值，计算第二图像生成损失。
11.根据权利要求1-10任一项所述的方法，其特征在于，
所述图像特征编码器包括至少一个残差模块；
所述真实第一像素质量图像生成器包括至少一个残差模块；
所述真实第二像素质量图像生成器包括第一卷积层、基本单元、第二卷积层、上采样层、第三卷积层、激活函数层以及第四卷积层，所述基本单元包括至少一个RRDB单元。
12.一种图像修复方法，其特征在于，所述方法包括：
将待修复第一像素质量图像输入图像特征编码器，得到目标图像特征；
将所述目标图像特征输入真实第二像素质量图像生成器，得到修复后的第二像素质量图像；
所述图像特征编码器以及所述真实第二像素质量图像生成器是根据权利要求1-11任一项所述的图像修复模型的训练方法训练得到的。
13.一种图像修复模型的训练装置，其特征在于，所述装置包括：
第一执行单元，用于将真实第一像素质量图像输入图像特征编码器，得到第一图像特征；
第二执行单元，用于将人工合成第一像素质量图像输入所述图像特征编码器，得到第二图像特征；所述人工合成第一像素质量图像是由真实第二像素质量图像进行模糊处理得到的；
第三执行单元，用于将所述第一图像特征输入真实第一像素质量图像生成器，得到重新生成的真实第一像素质量图像；
第四执行单元，用于将所述第二图像特征输入所述真实第一像素质量图像生成器，得到伪真实第一像素质量图像；
第五执行单元，用于将所述第二图像特征输入真实第二像素质量图像生成器，得到重建第二像素质量图像；
第一计算单元，用于根据所述第一图像特征以及所述第二图像特征计算域对齐损失；
第二计算单元，用于根据所述重新生成的真实第一像素质量图像、所述伪真实第一像素质量图像以及所述真实第一像素质量图像计算图像生成损失；
第三计算单元，用于根据所述重建第二像素质量图像以及所述真实第二像素质量图像计算图像重建损失；
训练单元，用于根据所述域对齐损失、所述图像生成损失以及所述图像重建损失，训练所述图像特征编码器、所述真实第一像素质量图像生成器以及所述真实第二像素质量图像生成器，重复执行所述将真实第一像素质量图像输入图像特征编码器，得到第一图像特征以及后续步骤，直到达到预设条件；
其中，第一像素质量的图像清晰度低于第二像素质量的图像清晰度。
14.一种图像修复装置，其特征在于，所述装置包括：
第八执行单元，用于将待修复第一像素质量图像输入图像特征编码器，得到目标图像特征；
第九执行单元，用于将所述目标图像特征输入真实第二像素质量图像生成器，得到修复后的第二像素质量图像；
所述图像特征编码器以及所述真实第二像素质量图像生成器是根据权利要求1-11任一项所述的图像修复模型的训练方法训练得到的。
15.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-11中任一所述的图像修复模型的训练方法，或者权利要求12所述的图像修复方法。
16.一种计算机可读介质，其特征在于，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-11中任一所述的图像修复模型的训练方法，或者权利要求12所述的图像修复方法。
CN202110604235.1A 2021-05-31 2021-05-31 图像修复模型的训练方法及图像修复方法、装置及设备 Active CN113222144B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110604235.1A CN113222144B (zh) 2021-05-31 2021-05-31 图像修复模型的训练方法及图像修复方法、装置及设备
PCT/CN2022/089428 WO2022252883A1 (zh) 2021-05-31 2022-04-27 图像修复模型的训练方法及图像修复方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110604235.1A CN113222144B (zh) 2021-05-31 2021-05-31 图像修复模型的训练方法及图像修复方法、装置及设备

Publications (2)

Publication Number Publication Date
CN113222144A CN113222144A (zh) 2021-08-06
CN113222144B true CN113222144B (zh) 2022-12-27

Family

ID=77081859

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110604235.1A Active CN113222144B (zh) 2021-05-31 2021-05-31 图像修复模型的训练方法及图像修复方法、装置及设备

Country Status (2)

Country Link
CN (1) CN113222144B (zh)
WO (1) WO2022252883A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222144B (zh) * 2021-05-31 2022-12-27 北京有竹居网络技术有限公司 图像修复模型的训练方法及图像修复方法、装置及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815523A (zh) * 2020-06-08 2020-10-23 天津中科智能识别产业技术研究院有限公司 一种基于生成对抗网络的图像修复方法
CN111915522A (zh) * 2020-07-31 2020-11-10 天津中科智能识别产业技术研究院有限公司 一种基于注意力机制的图像修复方法
CN111950525A (zh) * 2020-08-31 2020-11-17 福州大学 一种基于破坏重建学习与GoogLeNet的细粒度图像分类方法
CN112419151A (zh) * 2020-11-19 2021-02-26 北京有竹居网络技术有限公司 图像退化处理方法、装置、存储介质及电子设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019227479A1 (zh) * 2018-06-01 2019-12-05 华为技术有限公司 人脸旋转图像的生成方法及装置
CN110570358A (zh) * 2018-09-04 2019-12-13 阿里巴巴集团控股有限公司 基于gan网络的车损图像增强方法和装置
KR20200075344A (ko) * 2018-12-18 2020-06-26 삼성전자주식회사 검출기, 객체 검출 방법, 학습기 및 도메인 변환을 위한 학습 방법
US11398013B2 (en) * 2019-10-18 2022-07-26 Retrace Labs Generative adversarial network for dental image super-resolution, image sharpening, and denoising
US11067786B2 (en) * 2019-06-07 2021-07-20 Leica Microsystems Inc. Artifact regulation methods in deep model training for image transformation
CN112446835B (zh) * 2019-09-04 2024-06-18 华为技术有限公司 图像恢复方法、图像恢复网络训练方法、装置和存储介质
CN111507898A (zh) * 2020-03-16 2020-08-07 徐州工程学院 基于自适应调整的图像超分辨率重建方法
CN111507914B (zh) * 2020-04-10 2023-08-08 北京百度网讯科技有限公司 人脸修复模型的训练方法、修复方法、装置、设备和介质
CN113222144B (zh) * 2021-05-31 2022-12-27 北京有竹居网络技术有限公司 图像修复模型的训练方法及图像修复方法、装置及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815523A (zh) * 2020-06-08 2020-10-23 天津中科智能识别产业技术研究院有限公司 一种基于生成对抗网络的图像修复方法
CN111915522A (zh) * 2020-07-31 2020-11-10 天津中科智能识别产业技术研究院有限公司 一种基于注意力机制的图像修复方法
CN111950525A (zh) * 2020-08-31 2020-11-17 福州大学 一种基于破坏重建学习与GoogLeNet的细粒度图像分类方法
CN112419151A (zh) * 2020-11-19 2021-02-26 北京有竹居网络技术有限公司 图像退化处理方法、装置、存储介质及电子设备

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
MetaAlign: Coordinating Domain Alignment and Classification for Unsupervised Domain Adaptation;Guoqiang Wei等;《CVPR2021》;20210301;全文 *
WAMDA: Weighted Alignment of Sources for Multi-source Domain Adaptation;Surbhi Aggarwal等;《BMVC2020》;20200907;全文 *
一种基于生成对抗网络的图像修复算法;李天成等;《计算机应用与软件》;20191212(第12期);全文 *
基于多损失约束与注意力块的图像修复方法;曹真等;《陕西科技大学学报》;20200616(第03期);全文 *
基于生成对抗网络的图像修复;孙全等;《计算机科学》;20181215(第12期);全文 *
基于类别相关的领域自适应交通图像语义分割方法;贾颖霞等;《计算机研究与发展》;20200414(第04期);全文 *

Also Published As

Publication number Publication date
WO2022252883A1 (zh) 2022-12-08
CN113222144A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN111325704B (zh) 图像修复方法、装置、电子设备及计算机可读存储介质
CN109754464B (zh) 用于生成信息的方法和装置
CN111414879A (zh) 人脸遮挡程度识别方法、装置、电子设备及可读存储介质
CN113689372B (zh) 图像处理方法、设备、存储介质及程序产品
CN113327318B (zh) 图像显示方法、装置、电子设备和计算机可读介质
CN117237197B (zh) 基于交叉注意力机制的图像超分辨率方法及装置
CN112419179B (zh) 修复图像的方法、装置、设备和计算机可读介质
CN112330788A (zh) 图像处理方法、装置、可读介质及电子设备
CN111243085B (zh) 图像重建网络模型的训练方法、装置和电子设备
CN114187177A (zh) 特效视频的生成方法、装置、设备及存储介质
CN113222144B (zh) 图像修复模型的训练方法及图像修复方法、装置及设备
CN114399814B (zh) 一种基于深度学习的遮挡物移除和三维重建方法
CN115731341A (zh) 三维人头重建方法、装置、设备及介质
CN113034670A (zh) 图像重建模型的训练方法、装置和电子设备
CN109816791B (zh) 用于生成信息的方法和装置
CN114640796B (zh) 视频处理方法、装置、电子设备及存储介质
CN114066722B (zh) 用于获取图像的方法、装置和电子设备
CN111369475A (zh) 用于处理视频的方法和装置
CN117392489A (zh) 图像处理方法、装置、设备及存储介质
CN112070888B (zh) 图像生成方法、装置、设备和计算机可读介质
CN114972876A (zh) 基于知识蒸馏技术的图像处理方法、装置、设备及介质
CN111798385B (zh) 图像处理方法及装置、计算机可读介质和电子设备
CN114596203A (zh) 用于生成图像和用于训练图像生成模型的方法和装置
CN116188254A (zh) 基于傅里叶域的超分图像处理方法、装置、设备及介质
CN110599437A (zh) 用于处理视频的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant