CN111047522B - 一种基于边缘生成的图像修复方法 - Google Patents

一种基于边缘生成的图像修复方法 Download PDF

Info

Publication number
CN111047522B
CN111047522B CN201911082748.XA CN201911082748A CN111047522B CN 111047522 B CN111047522 B CN 111047522B CN 201911082748 A CN201911082748 A CN 201911082748A CN 111047522 B CN111047522 B CN 111047522B
Authority
CN
China
Prior art keywords
image
edge
network
generation network
convolutional layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911082748.XA
Other languages
English (en)
Other versions
CN111047522A (zh
Inventor
林福宏
刘娟娟
周成成
陆月明
许海涛
安建伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Beijing University of Posts and Telecommunications
Original Assignee
University of Science and Technology Beijing USTB
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB, Beijing University of Posts and Telecommunications filed Critical University of Science and Technology Beijing USTB
Priority to CN201911082748.XA priority Critical patent/CN111047522B/zh
Publication of CN111047522A publication Critical patent/CN111047522A/zh
Application granted granted Critical
Publication of CN111047522B publication Critical patent/CN111047522B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于边缘生成的图像修复方法，能够有效解决图像修复中修复区域固定，生成图像模糊的问题。所述方法包括：生成缺损图像，提取缺损图像的边缘轮廓；构建边缘生成网络和内容生成网络，其中，内容生成网络采用U‑Net结构；在训练阶段：输入缺损图像和提取的边缘轮廓对边缘生成网络进行训练，输入已训练好的边缘生成网络生成的图像边缘特征、已训练好的纹理生成网络提取的缺损图像的纹理信息和缺损图像对内容生成网络进行训练；在修复阶段，将边缘生成网络生成的待修复图像的边缘特征、纹理生成网络提取的待修复图像的纹理信息和待修复图像输入到已训练好的内容生成网络，实现图像的原貌修复。本发明涉及人工智能、图像处理领域。

Description

一种基于边缘生成的图像修复方法
技术领域
本发明涉及人工智能、图像处理领域，特别是指一种基于边缘生成的图像修复方法。
背景技术
图像修复技术是计算机视觉的一个重要分支，属于深度学习、图像处理等多学科交叉的问题。图像修复是指利用图像已知区域的信息，去修复部分像素缺失的一种技术，目前被广泛应用到图像冗余目标去除、公安刑侦面部修复和生物医学图像领域。
现有技术中的图像修复方法，存在修复区域固定，生成图像模糊的问题。
发明内容
本发明要解决的技术问题是提供一种基于边缘生成的图像修复方法，以解决现有技术所存在的修复区域固定，生成图像模糊的问题。
为解决上述技术问题，本发明实施例提供一种基于边缘生成的图像修复方法，包括：
获取训练集图像，对图像进行处理，生成缺损图像，并提取缺损图像的边缘轮廓；其中，训练集图像为真实图像；
构建边缘生成网络和内容生成网络，其中，边缘生成网络、内容生成网络各自对应的一个判别网络，判别网络用于判别生成网络生成内容的真实性，内容生成网络采用U-Net结构；
在训练阶段：输入缺损图像和提取的边缘轮廓对边缘生成网络进行训练，输入已训练好的边缘生成网络生成的图像边缘特征、已训练好的纹理生成网络提取的缺损图像的纹理信息和缺损图像对内容生成网络进行训练；
在修复阶段，输入待修复图像到已训练好的边缘生成网络及纹理生成网络，将边缘生成网络生成的图像边缘特征、纹理生成网络提取的纹理信息和待修复图像输入到已训练好的内容生成网络，实现图像的原貌修复。
进一步地，所述获取训练集图像，对图像进行处理，生成缺损图像，并提取缺损图像的边缘轮廓包括：
对训练集图像进行归一化处理，生成预设大小的任意缺损图像，其中，所述缺损图像为灰度图；
提取缺损图像的边缘轮廓，并对边缘轮廓进行标注。
进一步地，边缘生成网络包括：卷积层1、与卷积层1相连的卷积层2、与卷积层2相连的卷积层3、与卷积层3相连的八个残差块、与八个残差块相连的卷积层4、与卷积层4相连的卷积层5和与卷积层5相连的卷积层6；
其中，卷积层1、2、3用于对输入的缺损图像和提取的边缘轮廓进行下采样；卷积层4、5、6用于对输入的缺损图像和提取的边缘轮廓进行上采样。
进一步地，纹理生成网络为已训练好的VGG-19网络，包括：卷积层1、与卷积层1相连的卷积层2、与卷积层2相连的卷积层3、与卷积层3相连的卷积层4、与卷积层4相连的卷积层5和与卷积层5相连的全连接层；其中，联合提取VGG-19网络的卷积层3和卷积层4的特征作为图像的纹理信息。
进一步地，U-Net结构的压缩通道采用编码器、扩展通道采用解码器；其中，U-Net是一种卷积神经网络。
进一步地，在训练过程中，边缘生成网络的损失函数表示为：
Figure BDA0002264454820000025
其中，
Figure BDA0002264454820000026
表示边缘生成网络G1的损失函数，λadv,1和λEF都表示正则化参数，LEF表示边缘特征损失，Ladv,1表示对抗损失；
边缘特征损失表示为：
Figure BDA0002264454820000021
其中，N表示边缘生成网络卷积层的数目；Ni表示第i个卷积层；Cr表示真实图像的边缘特征；Cp表示边缘生成网络G1生成的边缘特征，
Figure BDA0002264454820000022
Figure BDA0002264454820000023
表示输入的缺损图像的灰度图，
Figure BDA0002264454820000024
表示输入的缺损图像的边缘轮廓；
Figure BDA0002264454820000031
表示判别网络D1输入真实图像的边缘特征Cr和输入边缘生成网络G1生成的边缘特征Cp之间的均方误差；
对抗损失表示为：
Figure BDA0002264454820000032
其中，
Figure BDA0002264454820000033
表示判别网络D1输入Cr判别的结果，Igray表示真实图像的灰度图；
Figure BDA0002264454820000034
表示输入Cp的判别结果。
进一步地，纹理生成网络的损失函数表示为：
Figure BDA0002264454820000035
其中，
Figure BDA0002264454820000036
表示纹理生成网络G2的损失函数；Ig表示纹理生成网络提取的纹理信息，
Figure BDA0002264454820000037
Figure BDA0002264454820000038
表示输入的缺损图像，Igt表示真实图像；Ec(Ig,Igt)表示Ig和Igt之间的欧式距离。
进一步地，在训练过程中，内容生成网络的损失函数表示为：
Figure BDA0002264454820000039
其中，
Figure BDA00022644548200000310
表示内容生成网络G3的损失函数，λadv,3和λl1都表示正则化参数，Ladv,3表示对抗损失，Ll1表示重构损失；
对抗损失表示为：
Figure BDA00022644548200000311
其中，Igt表示真实图像；Cand表示内容生成网络的输入即边缘生成网络输出结果Cp和纹理生成网络输出结果Ig的叠加；Ip表示内容生成网络生成的预测图，Ip＝G3(Igt,Cand)；
Figure BDA00022644548200000312
表示判别网络D3对输入图像Igt和Cand的判别结果；
Figure BDA00022644548200000313
表示判别网络D3对内容生成网络生成的预测图的判别结果；
重构损失Ll1表示内容生成网络的生成图像Ip与真实图像Igt之间的差异，重构损失表示为：
Ll1＝||Ip-Igt||1。
进一步地，在内容生成网络训练过程中，使用判别网络D3将内容生成网络生成的预测图与真实图像进行对比，更新参数λadv,3和λl1，直到损失函数
Figure BDA0002264454820000041
的值大于预设的第一阈值。
本发明的上述技术方案的有益效果如下：
上述方案中，在修复阶段，具有U-Net结构的内容生成网络根据边缘生成网络生成的图像边缘特征、纹理生成网络提取的纹理信息，能够实现任意区域缺损的待修复图像的修复，从而有效地解决了图像修复中修复区域固定，生成图像模糊的问题，而且能够生成更符合真实图像的修复图像。
附图说明
图1为本发明实施例提供的基于边缘生成的图像修复方法的流程示意图；
图2为本发明实施例提供的基于边缘生成的图像修复方法的框架示意图；
图3为本发明实施例提供的边缘生成网络的结构示意图；
图4为本发明实施例提供的纹理生成网络的结构示意图；
图5为本发明实施例提供的内容生成网络的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明针对现有的修复区域固定，生成图像模糊的问题，提供一种基于边缘生成的图像修复方法。
实施例一
如图1所示，本发明实施例提供的基于边缘生成的图像修复方法，包括：
S101，获取训练集图像，对图像进行处理，生成缺损图像，并提取缺损图像的边缘轮廓；其中，训练集图像为真实图像；
S102，构建边缘生成网络和内容生成网络，其中，边缘生成网络、内容生成网络各自对应的一个判别网络，判别网络用于判别生成网络生成内容的真实性，内容生成网络采用U-Net结构；
S103，在训练阶段：输入缺损图像和提取的边缘轮廓对边缘生成网络进行训练，输入已训练好的边缘生成网络生成的图像边缘特征、已训练好的纹理生成网络提取的缺损图像的纹理信息和缺损图像对内容生成网络进行训练；
S104，在修复阶段，输入待修复图像到已训练好的边缘生成网络及纹理生成网络，将边缘生成网络生成的图像边缘特征、纹理生成网络提取的纹理信息和待修复图像输入到已训练好的内容生成网络，实现图像的原貌修复。
本发明实施例所述的基于边缘生成的图像修复方法，在修复阶段，具有U-Net结构的内容生成网络根据边缘生成网络生成的图像边缘特征、纹理生成网络提取的纹理信息，能够实现任意区域缺损的待修复图像的修复，从而有效地解决了图像修复中修复区域固定，生成图像模糊的问题，而且能够生成更符合真实图像的修复图像。
为了更好地理解本发明实施例提供的基于边缘生成的图像修复方法，对其进行详细说明，如图1和图2所示，具体可以包括以下步骤：
A1，获取训练图像集，对其进行预处理，具体的：
对训练集图像进行归一化处理，生成预设大小的任意缺损图像，其中，所述缺损图像为灰度图；
提取缺损图像的边缘轮廓，并对边缘轮廓进行标注。
本实施例中，例如，首先对训练集图像进行尺度归一化处理，生成像素大小为256×256的标准图像并产生其灰度图；接着，随机模拟产生缺损图像，最后，使用Canny边缘检测算法提取缺损图像的边缘轮廓，并对边缘轮廓进行标注，例如，用黑色绘制缺损图像的边缘轮廓。
A2，构建边缘生成网络和内容生成网络，并获取已经训练好的纹理生成网络。
本实施例中，边缘生成网络、内容生成网络各自对应的一个判别网络，判别网络相当于一个二分类器，用于判别生成网络生成内容的真实性，生成网络和判别网络通过互相博弈的方式来达到一个平衡，使得生成网络生成的结果能够“欺骗”判别网络；
本实施例中，由生成网络和判别网络组成生成的对抗网络(GAN)在图像修复过程中表现出很好的效果，通过生成网络和判别网络的博弈能够生成合理的图像结构，并且可以快速准确地评价修复结果。
本实施例中，将边缘生成网络应用到图像修复中，通过生成图像的边缘特征来保证图像语义信息的完整。由于修复的结果可能存在细节上的问题，例如局部存在模糊和阴影，这严重影响了图像修复的视觉效果，为此，引入纹理生成网络对图像的纹理信息进行提取，将边缘轮廓和纹理信息输入内容生成网络，使图像修复结果更接近原始图像。
本实施例中，图3为边缘生成网络的结构示意图，边缘生成网络包括：卷积层1、与卷积层1相连的卷积层2、与卷积层2相连的卷积层3、与卷积层3相连的八个残差块、与八个残差块相连的卷积层4、与卷积层4相连的卷积层5和与卷积层5相连的卷积层6；其中，卷积层1、2、3用于对输入的缺损图像和提取的边缘轮廓进行下采样；卷积层4、5、6用于对输入的缺损图像和提取的边缘轮廓进行上采样。
本实施例中，边缘生成网络先是由三层卷积进行下采样，然后通过八个残差块，最后是三层卷积进行上采样。卷积层1的像素大小是256×256，卷积层2的像素大小是128×128，卷积层3的像素大小是64×64，通过三层卷积进行下采样后，可以减小网络的内存占用率。八个残差块的像素大小是64×64，残差块的作用是加大网络的深度，以便于提取到更丰富的信息。接着是三层卷积，卷积层4的像素大小是64×64，卷积层5的像素大小是128×128，卷积层6的像素大小是256×256，通过三层卷积进行上采样后，图像可以恢复到原来的大小，然后输出。
本实施例中，图4为纹理生成网络的结构示意图，纹理生成网络利用的是已训练好的VGG-19网络，包括：卷积层1、与卷积层1相连的卷积层2、与卷积层2相连的卷积层3、与卷积层3相连的卷积层4、与卷积层4相连的卷积层5和与卷积层5相连的全连接层。卷积层1的像素大小是256×256，卷积层2的像素大小是128×128，卷积层3的像素大小是64×64，卷积层4的像素大小是32×32，卷积层5的像素大小是16×16。VGG-19网络本身是一个分类器，但是，本实施例只用VGG-19网络来提取特征，为了得到更好的纹理效果，联合提取VGG-19网络的卷积层3和卷积层4的特征，并将其作为图像的纹理信息。
本实施例中，图5为构建的内容生成网络的结构示意图，内容生成网络采用U-Net结构，形状类似为“U”形，左半边压缩通道采用编码器，右半边扩展通道采用解码器，使用这样的结构可以完成任意区域缺损的图像的修复。
在前述基于边缘生成的图像修复方法的具体实施方式中，进一步地，内容生成网络采用U-Net网络，U-Net网络的压缩通道采用编码器、扩展通道采用解码器；其中，U-Net网络是一种卷积神经网络。
A3，训练边缘生成网络和内容生成网络，具体可以包括以下步骤：
A31，输入缺损图像和提取的边缘轮廓对边缘生成网络进行训练；
本实施例中，边缘生成网络的输入由缺损图像的灰度图和提取的边缘轮廓组成，这样能够减少边缘生成网络的计算量；所述边缘生成网络用于生成缺损图像的边缘特征(即：边缘轮廓)并标注，例如，对生成的缺损图像的边缘特征以蓝色标注。
本实施例中，输入边缘生成网络的缺损图像的大小为256×256个像素，边缘生成网络的卷积核大小设置为5×5个像素，步长大小设置为2个像素。在训练过程中，边缘生成网络的损失函数为对抗损失Ladv,1和边缘特征损失的加权组合，表示为：
Figure BDA0002264454820000072
其中，
Figure BDA0002264454820000073
表示边缘生成网络G1的损失函数；λadv,1和λEF都表示正则化参数；LEF表示边缘特征损失，是为了确保生成的边缘特征与真实图像尽可能相近；Ladv,1表示对抗损失，目的是为了惩罚不真实的图像；
边缘特征损失表示为：
Figure BDA0002264454820000071
其中，N表示边缘生成网络卷积层的数目；Ni表示第i个卷积层；Cr表示真实图像的边缘特征；Cp表示边缘生成网络G1生成的边缘特征，
Figure BDA0002264454820000081
Figure BDA0002264454820000082
表示输入的缺损图像的灰度图，
Figure BDA0002264454820000083
表示输入的缺损图像的边缘轮廓；
Figure BDA0002264454820000084
表示判别网络D1输入真实图像的边缘特征Cr和输入边缘生成网络G1生成的边缘特征Cp之间的均方误差；
将边缘生成网络生成的边缘特征和真实图像进行博弈，获得对抗损失，对抗损失表示为：
Figure BDA0002264454820000085
其中，
Figure BDA0002264454820000086
表示判别网络D1输入Cr判别的结果，Igray表示真实图像的灰度图；
Figure BDA0002264454820000087
表示输入Cp的判别结果。
本实施例中，在将边缘生成网络训练过程中，使用判别网络D1将边缘生成网络的输出与真实图像进行对比，更新参数λadv,1和λEF，直到损失函数
Figure BDA0002264454820000088
的值大于预设的第二阈值。
A32，获取已训练好的纹理生成网络提取的缺损图像的纹理信息；
本实施例中，纹理生成网络的输入是缺损图像，输出是提取的纹理特征；即：纹理生成网络是用于提取缺损图像的纹理信息，使得图像不会出现局部模糊的情况。
本实施例中，纹理生成网络的损失函数表示为：
Figure BDA0002264454820000089
其中，
Figure BDA00022644548200000810
表示纹理生成网络G2的损失函数；Ig表示纹理生成网络提取的纹理信息，
Figure BDA00022644548200000811
Figure BDA00022644548200000812
表示输入的缺损图像，Igt表示真实图像；Ec(Ig,Igt)表示Ig和Igt之间的欧式距离，距离越小，纹理生成网络提取的纹理信息和真实图像越接近。
A33，输入已训练好的边缘生成网络生成的图像边缘特征、已训练好的纹理生成网络提取的缺损图像的纹理信息和缺损图像对内容生成网络进行训练。
本实施例中，用步骤A31和步骤A32的输出结果对内容生成网络(U-net)进行训练，即：内容生成网络的输入由边缘生成网络生成的图像边缘、纹理生成网络提取的纹理信息和缺损图像组成。内容生成网络用来修复缺损图像的语义内容(即：边缘特征和纹理信息)，使得生成的图像结果更加饱满，这样，具有U-Net结构的内容生成网络根据边缘生成网络生成的图像边缘特征、纹理生成网络提取的纹理信息，能够实现任意区域缺损的待修复图像的修复，从而有效地解决了图像修复中修复区域固定，生成图像模糊的问题，而且能够生成更符合真实图像的修复图像。
在训练过程中，内容生成网络的损失函数由对抗损失Ladv,3和重构损失Ll1组成，表示为：
Figure BDA0002264454820000091
其中，
Figure BDA0002264454820000092
表示内容生成网络G3的损失函数，λadv,3和λl1都表示正则化参数，Ladv,3表示对抗损失，Ll1表示重构损失；
对抗损失通过内容生成网络的预测结果和真实图像进行博弈而增加生成结果的真实性，对抗损失表示为：
Figure BDA0002264454820000093
其中，Igt表示真实图像；Cand表示内容生成网络的输入即边缘生成网络输出结果Cp和纹理生成网络输出结果Ig的叠加；Ip表示内容生成网络生成的预测图，Ip＝G3(Igt,Cand)；
Figure BDA0002264454820000094
表示判别网络D3对输入图像Igt和Cand的判别结果；
Figure BDA0002264454820000095
表示判别网络D3对内容生成网络生成的预测图的判别结果；
重构损失Ll1表示内容生成网络的生成图像Ip与真实图像之间的差异，重构损失表示为：
Ll1＝||Ip-Igt||1。
本实施例中，在内容生成网络训练过程中，使用判别网络D3将内容生成网络生成的预测图与真实图像进行对比，更新参数λadv,3和λl1，直到损失函数
Figure BDA0002264454820000101
的值大于预设的第一阈值。
A4，修复待修复的缺损图像(简称：待修复图像)。
本实施例中，在修复阶段，输入待修复图像到已训练好的边缘生成网络及纹理生成网络，将边缘生成网络生成的图像边缘特征、纹理生成网络提取的纹理信息和待修复图像输入到已训练好的内容生成网络，通过损失函数
Figure BDA0002264454820000102
获取参数λadv,3和λl1，实现图像的原貌修复。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于边缘生成的图像修复方法，其特征在于，包括：
获取训练集图像，对图像进行处理，生成缺损图像，并提取缺损图像的边缘轮廓；其中，训练集图像为真实图像；
构建边缘生成网络和内容生成网络，其中，边缘生成网络、内容生成网络各自对应的一个判别网络，判别网络用于判别生成网络生成内容的真实性，内容生成网络采用U-Net结构；
在训练阶段：输入缺损图像和提取的边缘轮廓对边缘生成网络进行训练，输入已训练好的边缘生成网络生成的图像边缘特征、已训练好的纹理生成网络提取的缺损图像的纹理信息和缺损图像对内容生成网络进行训练；
在修复阶段，输入待修复图像到已训练好的边缘生成网络及纹理生成网络，将边缘生成网络生成的图像边缘特征、纹理生成网络提取的纹理信息和待修复图像输入到已训练好的内容生成网络，实现图像的原貌修复；
边缘生成网络包括：卷积层1、与卷积层1相连的卷积层2、与卷积层2相连的卷积层3、与卷积层3相连的八个残差块、与八个残差块相连的卷积层4、与卷积层4相连的卷积层5和与卷积层5相连的卷积层6；
其中，卷积层1、2、3用于对输入的缺损图像和提取的边缘轮廓进行下采样；卷积层4、5、6用于对输入的缺损图像和提取的边缘轮廓进行上采样；
纹理生成网络为已训练好的VGG-19网络，包括：卷积层1、与卷积层1相连的卷积层2、与卷积层2相连的卷积层3、与卷积层3相连的卷积层4、与卷积层4相连的卷积层5和与卷积层5相连的全连接层；其中，联合提取VGG-19网络的卷积层3和卷积层4的特征作为图像的纹理信息。
2.根据权利要求1所述的基于边缘生成的图像修复方法，其特征在于，所述获取训练集图像，对图像进行处理，生成缺损图像，并提取缺损图像的边缘轮廓包括：
对训练集图像进行归一化处理，生成预设大小的任意缺损图像，其中，所述缺损图像为灰度图；
提取缺损图像的边缘轮廓，并对边缘轮廓进行标注。
3.根据权利要求1所述的基于边缘生成的图像修复方法，其特征在于，U-Net结构的压缩通道采用编码器、扩展通道采用解码器；其中，U-Net是一种卷积神经网络。
4.根据权利要求1所述的基于边缘生成的图像修复方法，其特征在于，在训练过程中，边缘生成网络的损失函数表示为：
Figure FDA00040768862400000210
其中，
Figure FDA00040768862400000211
表示边缘生成网络G1的损失函数，λadv,1和λEF都表示正则化参数，LEF表示边缘特征损失，Ladv,1表示对抗损失；
边缘特征损失表示为：
Figure FDA0004076886240000021
其中，N表示边缘生成网络卷积层的数目；Ni表示第i个卷积层；Cr表示真实图像的边缘特征；Cp表示边缘生成网络G1生成的边缘特征，
Figure FDA0004076886240000022
Figure FDA0004076886240000023
表示输入的缺损图像的灰度图，
Figure FDA0004076886240000024
表示输入的缺损图像的边缘轮廓；
Figure FDA0004076886240000025
表示判别网络D1输入真实图像的边缘特征Cr和输入边缘生成网络G1生成的边缘特征Cp之间的均方误差；
对抗损失表示为：
Figure FDA0004076886240000026
其中，
Figure FDA0004076886240000027
表示判别网络D1输入Cr判别的结果，Igray表示真实图像的灰度图；
Figure FDA0004076886240000028
表示输入Cp的判别结果。
5.根据权利要求1所述的基于边缘生成的图像修复方法，其特征在于，纹理生成网络的损失函数表示为：
Figure FDA0004076886240000029
其中，
Figure FDA0004076886240000031
表示纹理生成网络G2的损失函数；Ig表示纹理生成网络提取的纹理信息，
Figure FDA0004076886240000032
Figure FDA0004076886240000033
表示输入的缺损图像，Igt表示真实图像；Ec(Ig,Igt)表示Ig和Igt之间的欧式距离。
6.根据权利要求4所述的基于边缘生成的图像修复方法，其特征在于，在训练过程中，内容生成网络的损失函数表示为：
Figure FDA0004076886240000034
其中，
Figure FDA0004076886240000035
表示内容生成网络G3的损失函数，λadv,3和λl1都表示正则化参数，Ladv,3表示对抗损失，Ll1表示重构损失；
对抗损失表示为：
Figure FDA0004076886240000036
其中，Igt表示真实图像；Cand表示内容生成网络的输入即边缘生成网络输出结果Cp和纹理生成网络输出结果Ig的叠加；Ip表示内容生成网络生成的预测图，Ip＝G3(Igt,Cand)；
Figure FDA0004076886240000037
表示判别网络D3对输入图像Igt和Cand的判别结果；
Figure FDA0004076886240000038
表示判别网络D3对内容生成网络生成的预测图的判别结果；
重构损失Ll1表示内容生成网络的生成图像Ip与真实图像Igt之间的差异，重构损失表示为：
Ll1＝||Ip-Igt||1。
7.根据权利要求6述的基于边缘生成的图像修复方法，其特征在于，在内容生成网络训练过程中，使用判别网络D3将内容生成网络生成的预测图与真实图像进行对比，更新参数λadv,3和λl1，直到损失函数
Figure FDA0004076886240000039
的值大于预设的第一阈值。
CN201911082748.XA 2019-11-07 2019-11-07 一种基于边缘生成的图像修复方法 Active CN111047522B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911082748.XA CN111047522B (zh) 2019-11-07 2019-11-07 一种基于边缘生成的图像修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911082748.XA CN111047522B (zh) 2019-11-07 2019-11-07 一种基于边缘生成的图像修复方法

Publications (2)

Publication Number Publication Date
CN111047522A CN111047522A (zh) 2020-04-21
CN111047522B true CN111047522B (zh) 2023-04-07

Family

ID=70231825

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911082748.XA Active CN111047522B (zh) 2019-11-07 2019-11-07 一种基于边缘生成的图像修复方法

Country Status (1)

Country Link
CN (1) CN111047522B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI761077B (zh) * 2020-05-05 2022-04-11 王建華 指紋感測裝置與指紋識別方法
CN111612721B (zh) * 2020-05-22 2023-09-22 哈尔滨工业大学（深圳） 一种图像修复模型训练、卫星图像修复方法及装置
CN111968053B (zh) * 2020-08-13 2022-08-30 南京邮电大学 基于门控卷积生成对抗网络的图像修复方法
CN112381725B (zh) * 2020-10-16 2024-02-02 广东工业大学 基于深度卷积对抗生成网络的图像修复方法及装置
CN112465718B (zh) * 2020-11-27 2022-07-08 东北大学秦皇岛分校 一种基于生成对抗网络的两阶段图像修复方法
CN112801914A (zh) * 2021-02-09 2021-05-14 北京工业大学 一种基于纹理结构感知的二段式图像修复方法
CN113240613B (zh) * 2021-06-07 2022-08-30 北京航空航天大学 一种基于边缘信息重建的图像修复方法
CN113487512B (zh) * 2021-07-20 2024-07-02 陕西师范大学 一种基于边缘信息指导的数字图像修复方法及装置
CN114881864B (zh) * 2021-10-12 2023-01-03 北京九章云极科技有限公司 ***修复网络模型的训练方法及装置
CN114331903B (zh) * 2021-12-31 2023-05-12 电子科技大学 一种图像修复方法及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460746A (zh) * 2018-04-10 2018-08-28 武汉大学 一种基于结构和纹理分层预测的图像修复方法
CN108520503A (zh) * 2018-04-13 2018-09-11 湘潭大学 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法
CN109255776A (zh) * 2018-07-23 2019-01-22 中国电力科学研究院有限公司 一种输电线路开口销缺损自动识别方法
CN110020996A (zh) * 2019-03-18 2019-07-16 浙江传媒学院 一种基于先验知识约束的图像修复方法、***以及计算机设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10503998B2 (en) * 2016-11-07 2019-12-10 Gracenote, Inc. Recurrent deep neural network system for detecting overlays in images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460746A (zh) * 2018-04-10 2018-08-28 武汉大学 一种基于结构和纹理分层预测的图像修复方法
CN108520503A (zh) * 2018-04-13 2018-09-11 湘潭大学 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法
CN109255776A (zh) * 2018-07-23 2019-01-22 中国电力科学研究院有限公司 一种输电线路开口销缺损自动识别方法
CN110020996A (zh) * 2019-03-18 2019-07-16 浙江传媒学院 一种基于先验知识约束的图像修复方法、***以及计算机设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张桂梅 ; 李艳兵 ; .结合纹理结构的分数阶TV模型的图像修复.中国图象图形学报.(第05期),全文. *
田启川 ; 田茂新 ; .基于Chebyshev神经网络的图像复原算法.计算机工程.(第14期),全文. *
胡敏 ; 李良福 ; .基于生成式对抗网络的裂缝图像修复方法.计算机应用与软件.(第06期),全文. *

Also Published As

Publication number Publication date
CN111047522A (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
CN111047522B (zh) 一种基于边缘生成的图像修复方法
CN108520503B (zh) 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法
Wang et al. Multistage attention network for image inpainting
CN108961217B (zh) 一种基于正例训练的表面缺陷检测方法
CN110889813B (zh) 基于红外信息的低光图像增强方法
CN112184585B (zh) 一种基于语义边缘融合的图像补全方法及***
CN103700065B (zh) 一种特征分类学习的结构稀疏传播图像修复方法
CN103186894B (zh) 一种自适应分块的多聚焦图像融合方法
CN110689499A (zh) 一种基于密集扩张卷积自编码对抗网络的人脸图像修复方法
CN112150379A (zh) 基于感知判别增强生成对抗网络的图像去雾方法及装置
CN110895795A (zh) 改进的语义图像修补模型方法
CN114897742B (zh) 一种纹理和结构特征两次融合的图像修复方法
CN112884758B (zh) 一种基于风格迁移方法的缺陷绝缘子样本生成方法及***
CN111612708A (zh) 一种基于对抗生成网络的图像修复方法
CN113392711A (zh) 一种基于高层语义与噪声抑制的烟雾语义分割方法及***
CN113724354A (zh) 基于参考图颜色风格的灰度图像着色方法
CN115797216A (zh) 一种基于自编码网络的碑文文字修复模型及修复方法
CN115063318A (zh) 自适应频率分解的低光照图像增强方法与相关设备
CN116258854A (zh) 一种基于密集连接策略和图像梯度的路面裂缝分割方法
CN112488935A (zh) 基于纹理约束和泊松融合的生成对抗指静脉图像修复方法
CN114943894A (zh) 一种基于ConvCRF的高分遥感影像建筑物提取优化方法
Zhang et al. Consecutive context perceive generative adversarial networks for serial sections inpainting
CN116051407A (zh) 一种图像修复方法
CN117078553A (zh) 一种基于多尺度深度学习的图像去雾方法
CN116823794A (zh) 一种基于多域失真学习的无参考图像质量评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant