CN114170112A - 一种修复图像的方法、装置以及存储介质 - Google Patents

一种修复图像的方法、装置以及存储介质 Download PDF

Info

Publication number
CN114170112A
CN114170112A CN202111548137.7A CN202111548137A CN114170112A CN 114170112 A CN114170112 A CN 114170112A CN 202111548137 A CN202111548137 A CN 202111548137A CN 114170112 A CN114170112 A CN 114170112A
Authority
CN
China
Prior art keywords
image
repaired
model
trained
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111548137.7A
Other languages
English (en)
Inventor
王隽
李文娟
李兵
胡卫明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202111548137.7A priority Critical patent/CN114170112A/zh
Publication of CN114170112A publication Critical patent/CN114170112A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种修复图像的方法、装置以及存储介质。其中，该方法包括：根据待修复图像预测目标掩膜图像，所述目标掩膜图像包括与所述待修复图像的像素一一对应的权重，任一所述权重大于或者等于0且小于或者等于1，根据所述目标掩膜图像对所述待修复图像进行编码，得到所述待修复图像的编码特征图，所述编码特征图的每个特征值均是所述待修复图像的相应特征值与所述目标掩膜图像中对应的权重相乘得到，对所述编码特征图解码得到所述待修复图像对应的修复图像，解决了提取的待修复图像的特征准确性的问题，即提取的待修复图像的特征准确性较好。

Description

一种修复图像的方法、装置以及存储介质
技术领域
本申请涉及图像处理领域，具体涉及一种修复图像的方法、装置以及存储介质。
背景技术
纸质照片不易保存，致使其表面会留下很多折痕或划痕，从而严重影响照片的观赏。为了解决该问题，目前提供了多种图像修复技术。
其中，一种常规的图像修复方法是将待修复图像与二值掩膜图像作为输入数据。其中，二值掩膜图像是通过0和1标记待修复图像中的受损区域和未受损区域的图像，使得修复模型能够根据所标记的受损区域和未受损区域修复该待修复图像。
通常，二值掩膜图像借助人工标注出受损区域之后得到，而这样不但浪费人力，并且导致该种图像修复方法无法推广。目前还有一些自动估计掩膜图像的方法，这些方法通常设定一个阈值得到二值掩码，若阈值设置过低，则可能将受损像素归类为未受损像素；反之，若阈值设置过高，则可能将未受损像素误认为受损像素，而这样准确性相对较差，导致所提取的待修复图像的特征准确性也较差。
发明内容
针对现上述技术问题，本申请实施例提出了一种修复图像的方法、装置以及存储介质，以解决提取的待修复图像的特征准确性较差的问题。
本申请实施例的第一方面提供了一种修复图像的方法，所述方法包括：
根据待修复图像预测目标掩膜图像，所述目标掩膜图像包括与所述待修复图像的像素一一对应的权重，任一所述权重大于或者等于0且小于或者等于1，每个所述权重表征所述待修复图像中相应像素的未受损程度；
根据所述目标掩膜图像对所述待修复图像进行编码，得到所述待修复图像的编码特征图，所述编码特征图的每个特征值均是所述待修复图像的相应特征值与所述目标掩膜图像中对应的权重相乘得到；
对所述编码特征图解码得到所述待修复图像对应的修复图像。
可选地，所述根据所述目标掩膜图像对所述待修复图像进行编码，得到所述待修复图像的编码特征图，包括：
对所述待修复图像和所述目标掩膜图像进行多级编码，得到所述编码特征图。
可选地，其中，任一级编码操作包括：
从所述待修复图像的输入数据中提取所述待修复图像的第一初始特征图，所述待修复图像的输入数据是所述待修复图像数据或者上一级编码输出的特征图；
使用本级编码过程对应的降维规则对所述第一初始特征图降维得到第二初始特征图，以及对第一初始掩膜图像降维得到第二初始掩膜图像，所述第二初始特征图的特征值与所述第二初始掩膜图像的权重值一一对应，所述第一初始掩膜图像是所述目标掩膜图像或者所述上一级编码输出的掩膜图像；
将所述第二特征图的每个特征值与所述第二初始掩膜图像的权重值对应相乘，得到所述本级编码对应的特征图。
可选地，所述根据待修复图像预测目标掩膜图像，包括：
提取所述待修复图像的特征图，所述特征图表征所述待修复图像中每个像素的特征值；
根据所述特征图获得所述每个像素是否是未受损像素的概率分布；
根据所述每个像素对应的概率分布得到所述每个像素对应的权重，各个像素的权重组成所述目标掩膜图像。
可选地，其特征在于，
根据待修复图像预测目标掩膜图像包括：使用预训练的掩膜预测模型预测所述目标掩膜图像；
在根据所述目标掩膜图像对所述待修复图像进行编码，得到所述待修复图像的编码特征图之前，还包括：将所述待修复图像和所述目标掩膜图像输入预训练的图像修复模型。
可选地，还包括：
使用预配置的多个训练样本训练第一模型得到所述掩膜预测模型，以及训练第二模型得到所述图像修复模型，所述训练样本实现为受损图像，
其中，每个所述训练样本对应的受损图像均由任一二值掩膜图像和一个未受损图像得到。
可选地，所述使用预配置的多个训练样本训练第一模型得到所述掩膜预测模型包括：
将所述多个训练样本中的任一训练样本输入第一待训练模型，得到所述训练样本对应的预测掩膜图像，所述第一待训练模型根据所述第一模型得到；
计算所述预测掩膜图像与得到所述训练样本的二值掩膜图像的损失函数值；
若所述损失函数值收敛，将所述第一待训练模型确定为所述掩膜预测模型；
若所述损失函数值发散，调整所述第一待训练模型的参数得到新的第一待训练模型，重复执行所述将所述多个训练样本中的任一训练样本输入第一待训练模型的步骤。
可选地，在将所述第一待训练模型确定为所述掩膜预测模型之后，所述使用预配置的多个训练样本训练第二模型得到所述图像修复模型包括：
将所述多个训练样本中的任一训练样本输入所述掩膜预测模型，以预测所述训练样本对应的掩膜图像；
将所述训练样本和所述预测的掩膜图像输入第二待训练模型，得到所述训练样本对应的已修复图像，所述第二待训练模型根据所述第二模型得到；
计算所述已修复图像与所述训练样本对应的未受损图像的损失函数值，所述损失函数值包括所述已修复图像与所述未受损图像的重建损失，以及所述已修复图像与所述未受损图像的感知损失，所述重建损失表征所述已修复图像与所述未受损图像像素之间的像素值损失，所感知损失表征所述已修复图像与所述未受损图像像素之间的特征值损失；
若所述损失函数值收敛，将所述第二待训练模型确定为所述图像修复模型；
若所述损失函数值发散，调整所述第二待训练模型的参数得到新的第二待训练模型，重复执行将所述训练样本和所述预测的掩膜图像输入第二待训练模型，以得到所述训练样本对应的已修复图像的步骤。
本申请实施例的第二方面提供了一种修复图像装置，包括：
预测模块，用于根据待修复图像预测目标掩膜图像，所述目标掩膜图像包括与所述待修复图像的像素一一对应的权重，任一所述权重大于或者等于0且小于或者等于1，每个所述权重表征所述待修复图像中相应像素的未受损程度；
编码模块，用于根据所述目标掩膜图像对所述待修复图像进行编码，得到所述待修复图像的编码特征图，所述编码特征图的每个特征值均是所述待修复图像的相应特征值与所述目标掩膜图像中对应的权重相乘得到；
修复模块，用于对所述编码特征图解码得到所述待修复图像对应的修复图像。
本申请实施例的第三方面提供了一种存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可用来实现如前述各实施例所述的方法。
本申请实施例，通过根据待修复图像预测目标掩膜图像，所述目标掩膜图像包括与所述待修复图像的像素一一对应的权重，任一所述权重大于或者等于0且小于或者等于1，从而实现了不用人工标注获得的目标掩膜图像，而目标掩膜图像可以得到大规模的推广，根据所述目标掩膜图像对所述待修复图像进行编码，得到所述待修复图像的编码特征图，所述编码特征图的每个特征值均是所述待修复图像的相应特征值与所述目标掩膜图像中对应的权重相乘得到，对所述编码特征图解码得到所述待修复图像对应的修复图像，解决了提取的待修复图像的特征准确性的问题，即提取的待修复图像的特征准确性较好。
附图说明
通过参考附图会更加清楚的理解本申请的特征和优点，附图是示意性的而不应理解为对本申请进行任何限制，在附图中：
图1是本申请提供的一种修复图像的方法的流程示意图；
图2是本申请提供的一种掩膜预测模型的结构示意图；
图3是本申请提供的一种图像修复模型的结构示意图。
具体实施方式
在下面的详细描述中，通过示例阐述了本申请的许多具体细节，以便提供对相关披露的透彻理解。然而，对于本领域的普通技术人员来讲，本申请显而易见的可以在没有这些细节的情况下实施。应当理解的是，本申请中使用“***”、“装置”、“单元”和/或“模块”术语，是用于区分在顺序排列中不同级别的不同部件、元件、部分或组件的一种方法。然而，如果其他表达式可以实现相同的目的，这些术语可以被其他表达式替换。
本申请所用术语仅为了描述特定实施例，而非限制本申请范围。如本申请说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的特征、整体、步骤、操作、元素和/或组件，而该类表述并不构成一个排它性的罗列，其他特征、整体、步骤、操作、元素和/或组件也可以包含在内。
目前，图像修复技术被广泛应用， 常规的图像修复方法可以分为两大类：基于结构的图像修复方法和基于纹理合成的图像修复方法。
基于结构的图像修复方法适用于对划痕、污渍等小目标区域的修复，比较成熟的方法是基于变分的偏微分方程方法。该方法的基本原理是利用物理学中的热扩散方程将待修补区域周围的信息传播到待修补区域中，将修复过程转变为一系列的偏微分方程，然后通过数值迭代和智能优化的方法处理图像。但该方法需要求解大量偏微分方程，数字弥漫是求解过程中的必要受制因素，致使在修复区域内产生模糊点，并且运算量大，计算时间较长。
基于纹理合成的图像修复方法的整体思想是首先从待修补区域的边界上选取一个像素点，然后以该像素点为中心选取具有相同纹理特征的纹理快，其次在待修补区域周围寻找到与之最相似的纹理快，最后找到相似纹理快匹配之前的纹理快。这类方法适合修复受损区域较大的区域，但是需要全局搜索最匹配的图像块，耗时长，并且简单的图像块粘贴导致修复效果不自然。
基于深度学习的图像修复方法，通过感知图像未缺失区域的语义特征，并在缺失区域生成可能的内容。这类方法依托于高性能GPU，处理快速，并且能够提取图像不同层次的特征，有利于合成语义结构一致、纹理丰富的图像内容，修复效果逼真、自然。但这类方法大多要求必须有二值掩膜图像作为输入，用于指定图像中受损区域的位置。但二值掩膜图像通常需要通过用户手动标记得到，这将给用户带来较大的工作量，而且二值掩膜图像修复方法无法推广。目前还有一些自动估计掩膜图像的方法，这些方法通常设定一个阈值得到二值掩码，若阈值设置过低，则可能将受损像素归类为未受损像素；反之，若阈值设置过高，则可能将未受损像素误认为受损像素，而这样准确性相对较差，导致所提取的待修复图像的特征准确性也较差，对此，本申请提出了能够避免上述问题的一种修复图像的方法，具体如下：
如图1所示，本申请提供了一种修复图像的方法，包括：
步骤S10，根据待修复图像预测目标掩膜图像，所述目标掩膜图像包括与所述待修复图像的像素一一对应的权重，任一所述权重大于或者等于0且小于或者等于1，每个所述权重表征所述待修复图像中相应像素的未受损程度。
具体地，数值越接近1，表示该像素越有可能是未受损像素；反之，越接近0，表示越有可能是受损像素。
在一种实施例中，通常的掩膜图像为二值图像，例如图像的像素值为1表示未受损，像素值为0表示受损，其像素值范围在[0,1]之间，将其转化为二值图像最直接的方式为设置阈值。但问题在于难以设置一个对所有图像都合适的阈值。若阈值设置过低，则可能将许多受损像素归类为未受损；反之，若阈值设置过高，则可能将许多未受损像素误认为受损。而本申请不对目标掩膜图像进行二值化处理，即目标掩膜图像包括与所述待修复图像的像素一一对应的权重，任一权重大小为0到1之间，这种方法相比目前大多数方法所采用的普通卷积，无论是否为受损区域，对目标掩膜图像的每个位置的特征设置不相同的权重，避免了受损区域的无效信息对语义特征的提取产生干扰。这样的方式得到的目标掩膜图像，修复的图像效果比较理想，而且不用人工标注受损区域也能得到目标掩膜图像，有利于对目标掩膜图像的推广。
步骤S20，根据所述目标掩膜图像对所述待修复图像进行编码，得到所述待修复图像的编码特征图，所述编码特征图的每个特征值均是所述待修复图像的相应特征值与所述目标掩膜图像中对应的权重相乘得到。其中，目标掩膜图像对所述待修复图像进行编码，所采用的编码器如图3所示，编码器以待修复图像和目标掩膜图像为输入，编码器的关键部件是概率卷积层，用于得到所述待修复图像的编码特征图，以第一个概率卷积层为例，待修复图像用X表示，X∈RW×H×C，其中，W、H和C分别表示X的宽、高和通道数，目标掩膜图像用M表示，M∈RW×H，根据下式得到X的编码特征图：
Figure 396740DEST_PATH_IMAGE001
sum（）表示求和,⊙表示两个矩阵的点对点相乘，1∈RW×H×C表示元素值全为1的矩 阵，
Figure 782722DEST_PATH_IMAGE002
表示对特征值进行归一化，
Figure 283498DEST_PATH_IMAGE003
表示对图像像素值乘以不同的权重，以提取加 权的图像信息，b表示偏置，b∈RC’，A表示卷积核，卷积核的尺寸表示为k，通道数表示为n，滑 动步长表示为s,每一个卷积层所使用的k、n和s均在图2和图3中有标注，X'表示X的编码特 征图，X'∈RW'×H'×C'。
同时，概率卷积层也对目标掩膜图像进行更新，需要如下计算：
M'=max_pooling(M)
M'是更新后的目标掩膜图像，max_pooling()表示最大值池化，M'的步长与卷积核A相同，以保证更新后的目标掩膜图像M'与输出的特征图X'具有相同的尺寸。将所述得到的编码特征图X'和更新后的目标掩膜图像M'作为网络下一层的输入。将编码器最终输出的特征图表示为Xenc。
步骤S30，对所述编码特征图解码得到所述待修复图像对应的修复图像。所采用的解码器如图3所示，解码器以编码器最终输出的特征图Xenc作为输入，经过若干上采样层、卷积层和激活层，特征图逐渐恢复为与待修复图像一致的尺寸，最终输出修复图像。
通过所述编码特征图的每个特征值均是所述待修复图像的相应特征值与所述目标掩膜图像中对应的权重相乘得到，对所述编码特征图解码得到所述待修复图像对应的修复图像，进而解决了二值掩膜图像会出现提取特征不准确的情况发生，即目标掩膜图像获取的特征更加准确，从而提高了修复图像的效果。
在一种实施例中，所述根据所述目标掩膜图像对所述待修复图像进行编码，得到所述待修复图像的编码特征图，包括：
对所述待修复图像和所述目标掩膜图像进行多级编码，得到所述编码特征图。
可选地，将所述待修复图像和所述目标掩膜图像输入到编码器中，编码器依次包括概率卷积层，ReLU激活层，6个basic block1，所述待修复图像和所述目标掩膜图像经过编码器中的各个网络层的多级编码，获得所述编码特征图，其中每个basic block1包含一个概率卷积层，一个Batch Normalization层和一个ReLU激活层，通过编码得到编码特征图。
在一种实施例中，其中，任一级编码操作包括：
从所述待修复图像的输入数据中提取所述待修复图像的第一初始特征图，所述待修复图像的输入数据是所述待修复图像数据或者上一级编码输出的特征图，使用本级编码过程对应的降维规则对所述第一初始特征图降维得到第二初始特征图，以及对第一初始掩膜图像降维得到第二初始掩膜图像，所述第二初始特征图的特征值与所述第二初始掩膜图像的权重值一一对应，所述第一初始掩膜图像是所述目标掩膜图像或者所述上一级编码输出的掩膜图像，将所述第二特征图的每个特征值与所述第二初始掩膜图像的权重值对应相乘，得到所述本级编码对应的特征图。通过多级编码从而对待修复图像修复的区域特征提取更加准确，使待修复图像修复出来的图像效果更好。
在一种实施例中，所述根据待修复图像预测目标掩膜图像，包括：
提取所述待修复图像的特征图，所述特征图表征所述待修复图像中每个像素的特征值，根据所述特征图获得所述每个像素是否是未受损像素的概率分布，根据所述每个像素对应的概率分布得到所述每个像素对应的权重，各个像素的权重组成所述目标掩膜图像。
在一种实施例中，根据待修复图像预测目标掩膜图像包括：使用预训练的掩膜预测模型预测所述目标掩膜图像。
可选地，如图2所示，具体地，预训练的掩膜预测模型包括编码器和解码器，其中，待修复图像I和二值掩膜图像M输入到编码器中，编码器包括卷积层、ReLU层、3个basicblock1，每个basic block1包含一个卷积层，一个Batch Normalization层和一个ReLU激活层，经过上述多层的处理后，提取所述待修复图像的特征图，所述特征图表征所述待修复图像中每个像素的特征值，特征图输出到解码器中，解码器包括3个basic block2，一个conv层和一个sigmoid激活层，其中，每个basic block2包含一个conv层, 一个up-sampling层和一个Leaky ReLU激活层。在依次通过3个basic block2中，获得特征图的每个像素是否是未受损像素的概率分布，通过一个conv层和一个sigmoid激活层时，对所述各个像素的未受损概率对应设置权重，所述权重大小值在0和1之间，得到目标掩膜图像。
具体地，在根据所述目标掩膜图像对所述待修复图像进行编码，得到所述待修复图像的编码特征图之前，还包括：将所述待修复图像和所述目标掩膜图像输入预训练的图像修复模型。
如图3所示，可选地，预训练的图像修复模型包含一个编码器和一个解码器，将所述待修复图像和所述目标掩膜图像输入到编码器中，编码器依次包括概率卷积层，ReLU激活层，5个basic block1，所述待修复图像和所述目标掩膜图像经过编码器中的各个网络层的多级编码，获得所述编码特征图，其中，每个basic block1包含一个概率卷积层，一个Batch Normalization层和一个ReLU激活层，然后将所述编码特征图输入到解码器中，解码器包括6个basic block2，conv层和一个tanh激活层，最终输出修复图像，修复图像是对所述待修复图像修复得到的，其中，每个basic block2包含一个上采样层，一个概率卷积层，一个Leaky ReLU激活层。
在一种实施例中，还包括：
使用预配置的多个训练样本训练第一模型得到所述掩膜预测模型，以及训练第二模型得到所述图像修复模型，所述训练样本实现为受损图像，其中，每个所述训练样本对应的受损图像均由任一二值掩膜图像和一个未受损图像得到。
可选地，预先随机生成100幅256×256大小的二值掩膜图像，当然本申请是随机生成100幅256×256大小的二值掩膜图像，实际上，还可以是大于100幅二值掩膜图像，也可小于100幅二值掩膜图像，在此不做具体限定，受损区域为矩形形状，受损区域可以是圆形、椭圆、四边形、三角形等形状，除了上述形状外，还可以是其他形状，在此不做限定，未受损像素用1表示，受损像素用0表示，受损面积10%-50%，生成过程如下：
随机生成矩形的顶点坐标(x,y)、宽w和高h，1≤x，y≥256；80≤w，h≥180。
初始化一幅二值掩膜图像，二值掩膜图像大小为256×256，全部像素标记为1，将生成的矩形区域坐标（x:x+w, y:y+h）在一幅二值掩膜图像中标记为0。
将CelebA-HQ数据集（人脸数据集）的图像表示为Igt,Igt为未受损图像，采用线性插值方法，将图像大小调整为256×256，其中，使用CelebA-HQ数据集作为训练数据集，包含26000幅未受损的人脸图像，遍历所有图像。从上述100幅二值掩膜图像中随机选取一幅图像，表示为M。
将未受损图像上的像素值与二值掩膜图像上的像素值点对点相乘，得到受损图像I，可以表示为；
I(i,j)=Igt(i,j)×M(i,j)，1≤x，y≥256
其中(i,j)表示像素的坐标位置。
在一种实施例中，所述使用预配置的多个训练样本训练第一模型得到所述掩膜预测模型包括：
将所述多个训练样本中的任一训练样本输入第一待训练模型，得到所述训练样本对应的预测掩膜图像，所述第一待训练模型根据所述第一模型得到，计算所述预测掩膜图像与得到所述训练样本的二值掩膜图像的损失函数值，若所述损失函数值收敛，将所述第一待训练模型确定为所述掩膜预测模型，若所述损失函数值发散，调整所述第一待训练模型的参数得到新的第一待训练模型，重复执行所述将所述多个训练样本中的任一训练样本输入第一待训练模型的步骤。
可选地，根据公式，
Figure 147549DEST_PATH_IMAGE004
，得到预测掩膜图像与 得到所述训练样本的二值掩膜图像的损失函数值，
Figure 696342DEST_PATH_IMAGE005
表示预测的目标掩膜图像,M表示二 值掩膜图像。具体采用梯度下降算法，将学习率α设置为1×10-3，对第一模型网络中所有层 的参数W进行更新，更新过程如下：
Figure 987646DEST_PATH_IMAGE006
其中，W指各个网络层中的卷积核参数。得到更加准确的掩膜预测网络参数，若损失函数值发散，并再次执行训练第一待训练模型，直至损失函数值收敛。可选地，设置一收敛预设值，当损失函数值小于或等于收敛预设值时，则可认为损失函数值收敛。
在一种实施例中，在将所述第一待训练模型确定为所述掩膜预测模型之后，所述使用预配置的多个训练样本训练第二模型得到所述图像修复模型包括：
将所述多个训练样本中的任一训练样本输入所述掩膜预测模型，以预测所述训练样本对应的掩膜图像；
将所述训练样本和所述预测的掩膜图像输入第二待训练模型，得到所述训练样本对应的已修复图像，所述第二待训练模型根据所述第二模型得到；
计算所述已修复图像与所述训练样本对应的未受损图像的损失函数值，所述损失函数值包括所述已修复图像与所述未受损图像的重建损失，以及所述已修复图像与所述未受损图像的感知损失，所述重建损失表征所述已修复图像与所述未受损图像像素之间的像素值损失，所感知损失表征所述已修复图像与所述未受损图像像素之间的特征值损失；
若所述损失函数值收敛，将所述第二待训练模型确定为所述图像修复模型；
若所述损失函数值发散，调整所述第二待训练模型的参数得到新的第二待训练模型，重复执行将所述训练样本和所述预测的掩膜图像输入第二待训练模型，以得到所述训练样本对应的已修复图像的步骤。
可选地，根据如下算法：
Figure 972788DEST_PATH_IMAGE007
，其中，
Figure 906109DEST_PATH_IMAGE008
表示感知损失函数的权重，设置为0.05， Linpaint表示损失函数值，Lrec指重建损失，Lpercept感知损失。根据损失函数值结果来判断是否 收敛或发散。
具体地，根据公式：
Figure 43830DEST_PATH_IMAGE009
得到重建损失值，其中，Lrec指重建损失，Igt指未受损图像，Iout指已修复图像，N指图像的像素总数。
具体地，将已修复图像Iout输入到ImageNet数据集上预训练的VGG19网络中，提取 网络的第3、4、5个pooling层输出的特征图，分别记为
Figure 506035DEST_PATH_IMAGE010
、
Figure 729206DEST_PATH_IMAGE011
和
Figure 449906DEST_PATH_IMAGE012
，将未受损 图像Igt输入到ImageNet数据集上预训练的VGG19网络中，提取网络的第3、4、5个pooling层 输出的特征图，分别记为
Figure 442133DEST_PATH_IMAGE013
、
Figure 340819DEST_PATH_IMAGE014
和
Figure 316865DEST_PATH_IMAGE015
，根据如下公式：
Figure 60830DEST_PATH_IMAGE016
得到感知损失值，其中，Lpercept指感知损失，
Figure 422410DEST_PATH_IMAGE017
表示第t层特征图的元素总数。
在一种实施例中，采用梯度下降算法，将学习率α设置为1×10-3，对图像修复网络中所有层的参数P进行更新，具体过程如下：
Figure 491997DEST_PATH_IMAGE018
从而得到更加准确修复网络参数。
最后，任意给定一幅受损图像I，首先输入到已训练好的掩膜预测网络中，输出对 该图像的训练的掩膜图像
Figure 689761DEST_PATH_IMAGE005
，然后再将归一化后的受损图像与训练的掩膜图像
Figure 502996DEST_PATH_IMAGE005
输入到已 训练好的图像修复网络中，将图像修复网络的输出图像的每个像素值乘以255，则确认得到 修复完整的图像。
本申请还提供了一种修复图像装置，包括：预测模块，用于根据待修复图像预测目标掩膜图像，所述目标掩膜图像包括与所述待修复图像的像素一一对应的权重，任一所述权重大于或者等于0且小于或者等于1，每个所述权重表征所述待修复图像中相应像素的未受损程度；
编码模块，用于根据所述目标掩膜图像对所述待修复图像进行编码，得到所述待修复图像的编码特征图，所述编码特征图的每个特征值均是所述待修复图像的相应特征值与所述目标掩膜图像中对应的权重相乘得到；
修复模块，用于对所述编码特征图解码得到所述待修复图像对应的修复图像。
通过上述模块，避免了修复过程中的无效信息对语义特征的提取产生干扰，且解决了二值掩膜图像会出现提取特征不准确的情况发生，即目标掩膜图像获取的特征更加准确，从而提高了修复图像的效果。
本申请还提供了一种存储介质，该计算机可读存储介质可以是上述实施方式中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配设备中的存储介质。存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本申请的方法。
应当理解的是，本申请的上述具体实施方式仅仅用于示例性说明或解释本申请的原理，而不构成对本申请的限制。因此，在不偏离本申请的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。此外，本申请所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种修复图像的方法，其特征在于，所述方法包括：
根据待修复图像预测目标掩膜图像，所述目标掩膜图像包括与所述待修复图像的像素一一对应的权重，任一所述权重大于或者等于0且小于或者等于1，每个所述权重表征所述待修复图像中相应像素的未受损程度；
根据所述目标掩膜图像对所述待修复图像进行编码，得到所述待修复图像的编码特征图，所述编码特征图的每个特征值均是所述待修复图像的相应特征值与所述目标掩膜图像中对应的权重相乘得到；
对所述编码特征图解码得到所述待修复图像对应的修复图像。
2.根据权利要求1所述的修复图像的方法，其特征在于，所述根据所述目标掩膜图像对所述待修复图像进行编码，得到所述待修复图像的编码特征图，包括：
对所述待修复图像和所述目标掩膜图像进行多级编码，得到所述编码特征图。
3.根据权利要求2所述的修复图像的方法，其特征在于，其中，任一级编码操作包括：
从所述待修复图像的输入数据中提取所述待修复图像的第一初始特征图，所述待修复图像的输入数据是所述待修复图像数据或者上一级编码输出的特征图；
使用本级编码过程对应的降维规则对所述第一初始特征图降维得到第二初始特征图，以及对第一初始掩膜图像降维得到第二初始掩膜图像，所述第二初始特征图的特征值与所述第二初始掩膜图像的权重值一一对应，所述第一初始掩膜图像是所述目标掩膜图像或者所述上一级编码输出的掩膜图像；
将所述第二特征图的每个特征值与所述第二初始掩膜图像的权重值对应相乘，得到所述本级编码对应的特征图。
4.根据权利要求1所述的修复图像的方法，其特征在于，所述根据待修复图像预测目标掩膜图像，包括：
提取所述待修复图像的特征图，所述特征图表征所述待修复图像中每个像素的特征值；
根据所述特征图获得所述每个像素是否是未受损像素的概率分布；
根据所述每个像素对应的概率分布得到所述每个像素对应的权重，各个像素的权重组成所述目标掩膜图像。
5.根据权利要求1至4中任一项所述的修复图像的方法，其特征在于，
根据待修复图像预测目标掩膜图像包括：使用预训练的掩膜预测模型预测所述目标掩膜图像；
在根据所述目标掩膜图像对所述待修复图像进行编码，得到所述待修复图像的编码特征图之前，还包括：将所述待修复图像和所述目标掩膜图像输入预训练的图像修复模型。
6.根据权利要求5所述的修复图像的方法，其特征在于，还包括：
使用预配置的多个训练样本训练第一模型得到所述掩膜预测模型，以及训练第二模型得到所述图像修复模型，所述训练样本实现为受损图像，其中，每个所述训练样本对应的受损图像均由任一二值掩膜图像和一个未受损图像得到。
7.根据权利要求6所述的修复图像的方法，其特征在于，所述使用预配置的多个训练样本训练第一模型得到所述掩膜预测模型包括：
将所述多个训练样本中的任一训练样本输入第一待训练模型，得到所述训练样本对应的预测掩膜图像，所述第一待训练模型根据所述第一模型得到；
计算所述预测掩膜图像与得到所述训练样本的二值掩膜图像的损失函数值；
若所述损失函数值收敛，将所述第一待训练模型确定为所述掩膜预测模型；
若所述损失函数值发散，调整所述第一待训练模型的参数得到新的第一待训练模型，重复执行所述将所述多个训练样本中的任一训练样本输入第一待训练模型的步骤。
8.根据权利要求7所述的修复图像的方法，其特征在于，在将所述第一待训练模型确定为所述掩膜预测模型之后，所述使用预配置的多个训练样本训练第二模型得到所述图像修复模型包括：
将所述多个训练样本中的任一训练样本输入所述掩膜预测模型，以预测所述训练样本对应的掩膜图像；
将所述训练样本和所述预测的掩膜图像输入第二待训练模型，得到所述训练样本对应的已修复图像，所述第二待训练模型根据所述第二模型得到；
计算所述已修复图像与所述训练样本对应的未受损图像的损失函数值，所述损失函数值包括所述已修复图像与所述未受损图像的重建损失，以及所述已修复图像与所述未受损图像的感知损失，所述重建损失表征所述已修复图像与所述未受损图像像素之间的像素值损失，所感知损失表征所述已修复图像与所述未受损图像像素之间的特征值损失；
若所述损失函数值收敛，将所述第二待训练模型确定为所述图像修复模型；
若所述损失函数值发散，调整所述第二待训练模型的参数得到新的第二待训练模型，重复执行将所述训练样本和所述预测的掩膜图像输入第二待训练模型，以得到所述训练样本对应的已修复图像的步骤。
9.一种修复图像装置，其特征在于，包括：
预测模块，用于根据待修复图像预测目标掩膜图像，所述目标掩膜图像包括与所述待修复图像的像素一一对应的权重，任一所述权重大于或者等于0且小于或者等于1，每个所述权重表征所述待修复图像中相应像素的未受损程度；
编码模块，用于根据所述目标掩膜图像对所述待修复图像进行编码，得到所述待修复图像的编码特征图，所述编码特征图的每个特征值均是所述待修复图像的相应特征值与所述目标掩膜图像中对应的权重相乘得到；
修复模块，用于对所述编码特征图解码得到所述待修复图像对应的修复图像。
10.一种存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，用于执行上述方法权利要求1-8任意一项。
CN202111548137.7A 2021-12-17 2021-12-17 一种修复图像的方法、装置以及存储介质 Pending CN114170112A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111548137.7A CN114170112A (zh) 2021-12-17 2021-12-17 一种修复图像的方法、装置以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111548137.7A CN114170112A (zh) 2021-12-17 2021-12-17 一种修复图像的方法、装置以及存储介质

Publications (1)

Publication Number Publication Date
CN114170112A true CN114170112A (zh) 2022-03-11

Family

ID=80487226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111548137.7A Pending CN114170112A (zh) 2021-12-17 2021-12-17 一种修复图像的方法、装置以及存储介质

Country Status (1)

Country Link
CN (1) CN114170112A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024041235A1 (zh) * 2022-08-26 2024-02-29 腾讯科技（深圳）有限公司 图像处理方法、装置、设备、存储介质及程序产品

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024041235A1 (zh) * 2022-08-26 2024-02-29 腾讯科技（深圳）有限公司 图像处理方法、装置、设备、存储介质及程序产品

Similar Documents

Publication Publication Date Title
CN108510456B (zh) 基于感知损失的深度卷积神经网络的草图简化方法
CN111340047B (zh) 基于多尺度特征与前背景对比的图像语义分割方法及***
CN110443883B (zh) 一种基于dropblock的单张彩色图片平面三维重建方法
CN111223057B (zh) 基于生成对抗网络的增量式聚焦的图像到图像转换方法
CN113870124B (zh) 基于弱监督的双网络互激励学习阴影去除方法
CN110766708B (zh) 基于轮廓相似度的图像比较方法
CN114066871B (zh) 一种新冠肺炎病灶区域分割模型训练的方法
CN113111716B (zh) 一种基于深度学习的遥感影像半自动标注方法和装置
CN116682120A (zh) 基于深度学习的多语种马赛克图像文本识别方法
CN115861715B (zh) 基于知识表示增强的图像目标关系识别算法
CN116994140A (zh) 基于遥感影像的耕地提取方法、装置、设备和介质
CN111127360A (zh) 一种基于自动编码器的灰度图像迁移学习方法
CN113837191A (zh) 基于双向无监督域适应融合的跨星遥感图像语义分割方法
CN104899821A (zh) 一种用于文档类图像可视水印的擦除方法
CN114332070A (zh) 一种基于智能学习网络模型压缩的陨坑检测方法
CN111768326A (zh) 一种基于gan扩增图像前景物体的高容量数据保护方法
CN114170112A (zh) 一种修复图像的方法、装置以及存储介质
CN114581789A (zh) 一种高光谱图像分类方法及***
CN114529793A (zh) 一种基于门控循环特征融合的深度图像修复***及方法
CN112560719B (zh) 基于多尺度卷积-多核池化的高分辨率影像水体提取方法
CN111091580B (zh) 一种基于改进ResNet-UNet网络的立木图像分割方法
CN105069767A (zh) 基于表征学习与邻域约束嵌入的图像超分辨重构方法
CN117252782A (zh) 基于条件去噪扩散和掩膜优化的图像修复方法
CN113096133A (zh) 一种基于注意力机制的语义分割网络的构建方法
CN114862696A (zh) 一种基于轮廓和语义引导的人脸图像修复方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination