CN110675339A - 基于边缘修复和内容修复的图像修复方法及*** - Google Patents
基于边缘修复和内容修复的图像修复方法及*** Download PDFInfo
- Publication number
- CN110675339A CN110675339A CN201910870523.4A CN201910870523A CN110675339A CN 110675339 A CN110675339 A CN 110675339A CN 201910870523 A CN201910870523 A CN 201910870523A CN 110675339 A CN110675339 A CN 110675339A
- Authority
- CN
- China
- Prior art keywords
- image
- edge
- generator
- gray
- defect image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000007547 defect Effects 0.000 claims abstract description 68
- 238000009499 grossing Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000010586 diagram Methods 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims description 39
- 238000001914 filtration Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 7
- 238000003708 edge detection Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000005520 cutting process Methods 0.000 claims description 2
- 230000008439 repair process Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本公开公开了基于边缘修复和内容修复的图像修复方法及***，对原始缺损图像进行预处理，处理后得到灰度缺损图像；对灰度缺损图像进行平滑处理；从平滑处理后的灰度缺损图像中，提取出不完整的边缘图像和图像掩码；将图像掩码、灰度缺损图像和不完整的边缘图像作为边缘生成器的输入值，边缘生成器生成完整边缘结构图；将完整边缘结构图和原始缺损图像作为内容生成器的输入值，内容生成器生成缺失区域已被填充的图像。从而实现图像修复，本公开比传统方法考虑的更加全面，实践证明此方法对实际数据集是有效的。
Description
技术领域
本公开涉及图像处理技术领域，特别是涉及基于边缘修复和内容修复的图像修复方法及***。
背景技术
本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。
图像修补，指的是填补图像的缺失或空白，也可以是移除图像中不希望出现的目标物体。图像补全技术的研究是计算机视觉以及计算机图形学的一个具有重大意义的研究课题。对于带有损失区域的图像，由于我们并不知道原本图像的具体形式，我们只能尽可能地产生一些能够达到真实可信的像素去填补这种缺失。正因如此，图像修复实际是根据人类自己的视觉规则对图像进行分析，然后去修补缺失图像。
图像修复技术的改进主要依赖于对图像模型的研究和人类视觉认知规则。该领域的相关工作非常丰富，但由于各类图像纹理语义等结构的复杂性，图片的填充仍是一个巨大的挑战。传统的修复方法主要是基于像素的传播或扩散，以及基于块匹配的方法。如BSCB算法，Criminisi算法，基于分析字典的迭代修复算法等等，这些方法对于小型区域非常有效，但是当孔洞很大或纹理变化很大时，它们通常会产生明显的人工制造视觉效果。
在实现本公开的过程中，发明人发现现有技术中存在以下技术问题：
随着深度学***滑或模糊的图像。这是因为丢失像素的输出必然取决于输入的值，而这些输入必须提供给神经网络，以找出丢失的像素。这就导致图像中出现诸如颜色差异或模糊之类的现象。
发明内容
为了解决现有技术的不足，本公开提供了基于边缘修复和内容修复的图像修复方法及***；将修复过程分为对图像边缘和图像内容的修复，提出了一种基于部分卷积和边缘修复的图像修复方法，本公开构建了一个以图像的边缘结构作为引导，并融合掩码更新和部分卷积思想的修复模型。
第一方面，本公开提供了基于边缘修复和内容修复的图像修复方法；
基于边缘修复和内容修复的图像修复方法，包括：
对原始缺损图像进行预处理，处理后得到灰度缺损图像；
对灰度缺损图像进行平滑处理；
从平滑处理后的灰度缺损图像中，提取出不完整的边缘图像和图像掩码；
将图像掩码、灰度缺损图像和不完整的边缘图像作为边缘生成器的输入值，边缘生成器生成完整边缘结构图；
将完整边缘结构图和原始缺损图像作为内容生成器的输入值，内容生成器生成缺失区域已被填充的图像。
第二方面，本公开还提供了基于边缘修复和内容修复的图像修复***；
基于边缘修复和内容修复的图像修复***，包括：
预处理模块，其被配置为：对原始缺损图像进行预处理，处理后得到灰度缺损图像；
平滑处理模块，其被配置为：对灰度缺损图像进行平滑处理；
边缘图像提取模块，其被配置为：从平滑处理后的灰度缺损图像中，提取出不完整的边缘图像和图像掩码；
完整边缘结构图生成模块，其被配置为：将图像掩码、灰度缺损图像和不完整的边缘图像作为边缘生成器的输入值，边缘生成器生成完整边缘结构图；
内容填充模块，其被配置为：将完整边缘结构图和原始缺损图像作为内容生成器的输入值，内容生成器生成缺失区域已被填充的图像。
第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述方法的步骤。
第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述方法的步骤。
与现有技术相比，本公开的有益效果是：
1.本发明以一种人类绘画的视角来处理缺失图像的补全，提出了一个专门致力于修复破损图像边缘的生成网络，该网络划分成两个阶段，第一阶段通过学习输出一个较为粗略的边缘结构，第二阶段进一步训练得出更为精细的边缘结构预测结果。实验中我们以我们生成的边缘结构作为引导，应用到图像修补相关工作中，与众多基于深度学习的方法相比，我们的方法明显优于现有方法，获得了结构十分精细清晰的补全结果。
2.在修复效果上，本发明提出边缘补全和图像完成分步进行，并在网络的前向传播部分结合部分卷积的思想，得到了修复效果更清晰和高质量的补全结果。
3.在适用性和扩展性上，本发明建立的模型适用于各种自然图像，能够满足用户实际需要，并且提高了修复的性能，提高用户对图像视觉上的满意度。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1是第一个实施例的方法流程图；
图2(a)-图2(f)是第一个实施例的利用本发明以及其他方法修复效果比较图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一，本实施例提供了基于边缘修复和内容修复的图像修复方法；
如图1所示，基于边缘修复和内容修复的图像修复方法，包括：
S1：对原始缺损图像进行预处理，处理后得到灰度缺损图像；
S2：对灰度缺损图像进行平滑处理；
S3：从平滑处理后的灰度缺损图像中，提取出图像掩码和不完整的边缘图像；
S4：将图像掩码、灰度缺损图像和不完整的边缘图像作为边缘生成器的输入值，边缘生成器生成完整边缘结构图；
S5：将完整边缘结构图和原始缺损图像作为内容生成器的输入值，内容生成器生成缺失区域已被填充的图像。
利用本发明以及其他方法修复效果比较图如图2(a)-图2(f)所示。
作为一个或多个实施例，所述对原始缺损图像进行预处理，处理后得到灰度缺损图像；具体步骤包括：
裁剪原始缺损图像为256*256像素的图像，对裁剪后的图像全部进行灰度转换，得到灰度缺损图像。
作为一个或多个实施例，所述对灰度缺损图像进行平滑处理；具体步骤包括：对灰度缺损图像采用高斯滤波处理之后，再次使用中值滤波进行平滑处理。
应理解的，所述平滑处理的目的是减少噪声。
应理解的，在真实图像中有可能存在很多干扰噪声，其中脉冲噪声和高斯噪声比较常见。传统Canny算法使用的高斯滤波器对高斯噪声有平滑过滤效果，但过滤比较单一。而均值滤波其对高斯噪声的过滤效果更佳，中值滤波器对脉冲噪声处理更好。因此，我们可以使用中值滤波与均值滤波结合应用到传统Canny算法中。
作为一个或多个实施例，所述从平滑处理后的灰度缺损图像中，提取出不完整的边缘图像，采用Canny边缘检测算法来提取。
作为一个或多个实施例，所述从平滑处理后的灰度缺损图像中，使用灰度缺损图像与不完整的边缘图像作差，从而提取出图像掩码。
应理解的，传统Canny算法的双阈值一般是人为选定的，局限于单一图像，因此我们采用了由Ostu提出的双阈值自动选择法进行边缘的检测连接。
应理解的，由于输入图像被孔洞损坏，因此产生的分割图含有一些噪声。有些孔洞甚至可以当作突出的物体来处理。为了解决这个问题，我们使用二进制孔洞掩码来去除分割图中可能被误认为突出目标的区域。
作为一个或多个实施例，所述将图像掩码、灰度缺损图像和不完整的边缘图像作为边缘生成器的输入值，边缘生成器生成完整边缘结构图；其中边缘生成器是预训练得到的，边缘生成器预训练的步骤包括：
构建第一生成器和第一鉴别器；
构建第一训练集，所述第一训练集，包括：训练用的图像掩码、训练用的灰度缺损图像和训练用的不完整的边缘图像；
将第一训练集输入到第一生成器中，第一生成器生成训练用的完整边缘结构图；
第一鉴别器对第一生成器生成的训练用的完整边缘结构图与地面真值图像的完整边缘结构图进行判别，直到第一鉴别器区分不出真假；
得到的第一生成器即为边缘生成器。
应理解的，边缘生成器预训练阶段，不使用完整的边缘图，而是直接提取破损图像的不完整边缘图像和图像掩码作为生成器的输入，训练网络去生成完整的边缘图像。然后用地面真值图像(即完整无缺失的真实图像)作为附加条件，以地面真值的完整边缘结构图和第一生成器生成的边缘图作为第一鉴别器的输入，来预测边缘映射是否真实。此外，与自然图像在每个局部区域都有可以理解的分布不同，边缘图中的像素分布稀疏，包含的信息较少，因此第一鉴别器无法判断生成的分布是否接近真实分布。因此，如果只输入成对边缘图(生成的完整边缘和真值图像的边缘)给鉴别器，对抗性损失难以优化，训练容易失败。因此，要将地面真值图像作为附加条件，将图像和边缘图对作为鉴别器的输入。通过这种设置，生成的边缘不仅需要与原始的完整边缘图相似，还需要与真值图像的边缘对齐。
作为一个或多个实施例，所述将完整边缘结构图和原始缺损图像作为内容生成器的输入值，内容生成器生成缺失区域已被填充的图像；其中内容生成器是预训练得到的，内容生成器预训练的步骤包括：
构建第二生成器和第二鉴别器；
构建第二训练集，所述第二训练集，包括：训练用的完整边缘结构图和训练用的原始缺损图像；
将第二训练集输入到第二生成器中，第二生成器生成训练用的缺失区域已被填充的图像；
第二鉴别器对第二生成器生成的训练用的缺失区域已被填充的图像与真实缺失区域已被填充的图像进行判别，直到第二鉴别器区分不出真假；
得到的第二生成器即为内容生成器。
所述第一生成器和第二生成器均为U-net网络模型。
所述第一鉴别器和第二鉴别器均为全卷积PatchGAN鉴别器。
假设Igt为地面真值图像(即完整无缺失的真实图像)，分别用Iedge和Igray表示地面真值图像Igt的完整边缘结构图和对应灰度图。
网络的训练目标包括对抗性损失、内容损失和特征匹配损失：
其中λadv,1和λFM为正则化参数。
对抗性损失定义为：
由于边缘图中的元素稀疏，导致了数据的不平衡问题，因此很难确定每个像素的权重。为了解决这个问题，我们利用边缘map的固有性质，即，掩码中的每个像素都可以解释为该像素是原图像中边界像素的概率。
因此，将边缘map作为一个分布的样本，通过计算每个位置之间的二元交叉熵来计算与地面真值边缘的距离。
然后，采用焦距损失来平衡每个像素的重要性。
因为主要目标是完成缺失的部分，所以通过提供更大的权重，将更多的关注放在洞中的像素上。将这一损失表示为边缘补全的内容损失。
其中H为孔掩模，Le(x,y)为二元交叉熵损失函数，其中x和y分别为预测概率得分和地面真值概率。
特征匹配损失LFM比较了鉴别器中间层的激活图。通过迫使生成器生成与真实图像相似的表示，从而稳定了训练过程。
我们定义特征匹配损失LFM为：
其中L为鉴别器的最终卷积层，Ni为第i层激活元素个数，
为鉴别器第i层激活元素个数。
使用完整的地面真值边缘图以及带有缺失的RGB图像训练的内容生成器。训练的损失包括原始损失l1、对抗性损失、感知损失和风格损失。
为了确保适当的缩放，原始损失l1是归一化的掩码大小。
对抗性损失与边缘生成网络的对抗性损失类似，定义为：
感知损失Lperc通过定义预训练网络的激活映射之间的距离度量来惩罚在感知上与标签不相似的结果，定义为：
其中φi是预训练网络第i层的激活映射。
给定尺寸Cj×Hj×Wj的特征映射，计算风格损失：
其中是Cj×Cj的Gram矩阵由激活mapφj组成。
该阶段的总损失函数是：
在第一生成器G1中，以Mask(二值矩阵，其中1为缺失部分，0为未缺失部分)作为条件，使用带掩码的灰度图
的和它的边缘图
作为输入。这里，⊙表示哈达马积(Hadamard product)。使用第一生成器去生成预测出缺失区域的边缘map：
在第二生成器G2中，使用不完整的彩色图像作为输入,使用补全的完整边缘结构图为条件。
将地面真值边缘的背景区域与前一阶段破坏区域生成的边缘相结合，得到
构建复合边缘图。
第二生成器G2返回一个缺失区域已被填充的图像Icomp；
第一鉴别器D1和第二鉴别器D2采用基于70*70PatchGAN的相同架构。设Ck-s表示一个包含k个step s滤波器的4-4Convolution-Spectral Norm Leaky ReLU层。鉴别器的结构为C64-2、C128-2、C256-2、C512-1、C1-1。最后一个卷积层生成的分数可以预测70*70重叠图像补丁是真实的还是假的。本发明的技术方案保证了生成的图像缺失内容的真实可信性。
在网络的前向传播部分引入了部分卷积的思想。它使用堆叠的部分卷积运算和掩模更新步骤来执行图像修复，它包括卷积和掩码更新机制。
不使用完整的边缘图，而是直接提取破损图像的不完整边缘图像和掩码使作为生成器的输入，训练网络去生成完整的边缘图像。用地面真值作为附加条件，以其边缘图和生成的边缘图作为判别器的输入，来预测边缘映射是否真实。
表1本发明以及其他方法修复指标对比表
实施例二，本实施例还提供了基于边缘修复和内容修复的图像修复***；
基于边缘修复和内容修复的图像修复***，包括：
预处理模块，其被配置为：对原始缺损图像进行预处理，处理后得到灰度缺损图像；
平滑处理模块，其被配置为：对灰度缺损图像进行平滑处理；
边缘图像提取模块，其被配置为：从平滑处理后的灰度缺损图像中，提取出不完整的边缘图像和图像掩码；
完整边缘结构图生成模块，其被配置为：将图像掩码、灰度缺损图像和不完整的边缘图像作为边缘生成器的输入值，边缘生成器生成完整边缘结构图；
内容填充模块，其被配置为：将完整边缘结构图和原始缺损图像作为内容生成器的输入值，内容生成器生成缺失区域已被填充的图像。
本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成方法中的各个操作，为了简洁，在此不再赘述。
所述电子设备可以是移动终端以及非移动终端，非移动终端包括台式计算机，移动终端包括智能手机(Smart Phone，如Android手机、IOS手机等)、智能眼镜、智能手表、智能手环、平板电脑、笔记本电脑、个人数字助理等可以进行无线通信的移动互联网设备。
应理解，在本公开中，该处理器可以是中央处理单元CPU，该处理器还算可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本公开所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能的划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另外一点，所显示或讨论的相互之间的耦合或者直接耦合或者通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.基于边缘修复和内容修复的图像修复方法，其特征是，包括：
对原始缺损图像进行预处理，处理后得到灰度缺损图像；
对灰度缺损图像进行平滑处理；
从平滑处理后的灰度缺损图像中，提取出不完整的边缘图像和图像掩码；
将图像掩码、灰度缺损图像和不完整的边缘图像作为边缘生成器的输入值，边缘生成器生成完整边缘结构图；
将完整边缘结构图和原始缺损图像作为内容生成器的输入值，内容生成器生成缺失区域已被填充的图像。
2.如权利要求1所述的方法，其特征是，所述对原始缺损图像进行预处理，处理后得到灰度缺损图像；具体步骤包括：
裁剪原始缺损图像为256*256像素的图像，对裁剪后的图像全部进行灰度转换，得到灰度缺损图像。
3.如权利要求1所述的方法，其特征是，所述对灰度缺损图像进行平滑处理；具体步骤包括：对灰度缺损图像采用高斯滤波处理之后，再次使用中值滤波进行平滑处理。
4.如权利要求1所述的方法，其特征是，所述从平滑处理后的灰度缺损图像中，提取出不完整的边缘图像，采用Canny边缘检测算法来提取。
5.如权利要求1所述的方法，其特征是，所述从平滑处理后的灰度缺损图像中，使用灰度缺损图像与不完整的边缘图像作差，从而提取出图像掩码。
6.如权利要求1所述的方法，其特征是，所述将图像掩码、灰度缺损图像和不完整的边缘图像作为边缘生成器的输入值，边缘生成器生成完整边缘结构图；其中边缘生成器是预训练得到的，边缘生成器预训练的步骤包括：
构建第一生成器和第一鉴别器；
构建第一训练集，所述第一训练集，包括：训练用的图像掩码、训练用的灰度缺损图像和训练用的不完整的边缘图像；
将第一训练集输入到第一生成器中，第一生成器生成训练用的完整边缘结构图；
第一鉴别器对第一生成器生成的训练用的完整边缘结构图与地面真值图像的完整边缘结构图进行判别，直到第一鉴别器区分不出真假；
得到的第一生成器即为边缘生成器。
7.如权利要求1所述的方法，其特征是，所述将完整边缘结构图和原始缺损图像作为内容生成器的输入值，内容生成器生成缺失区域已被填充的图像；其中内容生成器是预训练得到的，内容生成器预训练的步骤包括：
构建第二生成器和第二鉴别器；
构建第二训练集，所述第二训练集，包括：训练用的完整边缘结构图和训练用的原始缺损图像；
将第二训练集输入到第二生成器中，第二生成器生成训练用的缺失区域已被填充的图像；
第二鉴别器对第二生成器生成的训练用的缺失区域已被填充的图像与真实缺失区域已被填充的图像进行判别，直到第二鉴别器区分不出真假；
得到的第二生成器即为内容生成器。
8.基于边缘修复和内容修复的图像修复***，其特征是，包括：
预处理模块，其被配置为：对原始缺损图像进行预处理，处理后得到灰度缺损图像；
平滑处理模块，其被配置为：对灰度缺损图像进行平滑处理；
边缘图像提取模块，其被配置为：从平滑处理后的灰度缺损图像中，提取出不完整的边缘图像和图像掩码；
完整边缘结构图生成模块，其被配置为：将图像掩码、灰度缺损图像和不完整的边缘图像作为边缘生成器的输入值，边缘生成器生成完整边缘结构图；
内容填充模块，其被配置为：将完整边缘结构图和原始缺损图像作为内容生成器的输入值，内容生成器生成缺失区域已被填充的图像。
9.一种电子设备，其特征是，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项方法所述的步骤。
10.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项方法所述的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910870523.4A CN110675339A (zh) | 2019-09-16 | 2019-09-16 | 基于边缘修复和内容修复的图像修复方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910870523.4A CN110675339A (zh) | 2019-09-16 | 2019-09-16 | 基于边缘修复和内容修复的图像修复方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110675339A true CN110675339A (zh) | 2020-01-10 |
Family
ID=69076974
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910870523.4A Pending CN110675339A (zh) | 2019-09-16 | 2019-09-16 | 基于边缘修复和内容修复的图像修复方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110675339A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111476213A (zh) * | 2020-05-19 | 2020-07-31 | 武汉大势智慧科技有限公司 | 一种基于道路影像的遮挡物覆盖区域填充方法和装置 |
| CN111553869A (zh) * | 2020-05-13 | 2020-08-18 | 北京航空航天大学 | 一种空基视角下的生成对抗网络图像补全方法 |
| CN111861901A (zh) * | 2020-06-05 | 2020-10-30 | 西安工程大学 | 一种基于gan网络的边缘生成图像修复方法 |
| CN112381725A (zh) * | 2020-10-16 | 2021-02-19 | 广东工业大学 | 基于深度卷积对抗生成网络的图像修复方法及装置 |
| CN112614066A (zh) * | 2020-12-23 | 2021-04-06 | 文思海辉智科科技有限公司 | 图像修复方法、装置及电子设备 |
| CN113487512A (zh) * | 2021-07-20 | 2021-10-08 | 陕西师范大学 | 一种基于边缘信息指导的数字图像修复方法及装置 |
| CN113496470A (zh) * | 2020-04-02 | 2021-10-12 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN113674176A (zh) * | 2021-08-23 | 2021-11-19 | 北京市商汤科技开发有限公司 | 图像修复方法及装置、电子设备和存储介质 |
| CN113744142A (zh) * | 2021-08-05 | 2021-12-03 | 南方科技大学 | 图像修复方法、电子设备及存储介质 |
| CN113781296A (zh) * | 2021-09-22 | 2021-12-10 | 亿图软件(湖南)有限公司 | 一种图像水彩化处理方法、装置、计算机设备及存储介质 |
| CN114077891A (zh) * | 2020-08-07 | 2022-02-22 | 北京达佳互联信息技术有限公司 | 风格转换模型的训练方法及虚拟建筑检测模型的训练方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101459843A (zh) * | 2008-12-31 | 2009-06-17 | 浙江师范大学 | 一种精确提取视频序列中损坏内容区域的方法 |
| CN105261051A (zh) * | 2015-09-25 | 2016-01-20 | 沈阳东软医疗***有限公司 | 一种获取图像掩码的方法及装置 |
| CN106023102A (zh) * | 2016-05-16 | 2016-10-12 | 西安电子科技大学 | 一种基于多尺度结构块的图像修复方法 |
| CN107437252A (zh) * | 2017-08-04 | 2017-12-05 | 山东师范大学 | 用于黄斑病变区域分割的分类模型构建方法和设备 |
| CN108460746A (zh) * | 2018-04-10 | 2018-08-28 | 武汉大学 | 一种基于结构和纹理分层预测的图像修复方法 |
| CN108537753A (zh) * | 2018-04-10 | 2018-09-14 | 武汉大学 | 一种基于上下文特征空间约束的图像修复方法 |
-
2019
- 2019-09-16 CN CN201910870523.4A patent/CN110675339A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101459843A (zh) * | 2008-12-31 | 2009-06-17 | 浙江师范大学 | 一种精确提取视频序列中损坏内容区域的方法 |
| CN105261051A (zh) * | 2015-09-25 | 2016-01-20 | 沈阳东软医疗***有限公司 | 一种获取图像掩码的方法及装置 |
| CN106023102A (zh) * | 2016-05-16 | 2016-10-12 | 西安电子科技大学 | 一种基于多尺度结构块的图像修复方法 |
| CN107437252A (zh) * | 2017-08-04 | 2017-12-05 | 山东师范大学 | 用于黄斑病变区域分割的分类模型构建方法和设备 |
| CN108460746A (zh) * | 2018-04-10 | 2018-08-28 | 武汉大学 | 一种基于结构和纹理分层预测的图像修复方法 |
| CN108537753A (zh) * | 2018-04-10 | 2018-09-14 | 武汉大学 | 一种基于上下文特征空间约束的图像修复方法 |
Non-Patent Citations (7)
| Title |
|---|
| DAN ZHAO等: "Parallel Image Completion with Edge and Color Map", 《MDPI》 * |
| DAN ZHAO等: "Parallel Image Completion with Edge and Color Map", 《MDPI》, 13 September 2019 (2019-09-13), pages 1 - 29 * |
| KAMYAR NAZERI等: "EdgeConnect: Generative Image Inpainting with Adversarial Edge Learning", 《ARXIV:1901.00212V2》 * |
| KAMYAR NAZERI等: "EdgeConnect: Generative Image Inpainting with Adversarial Edge Learning", 《ARXIV:1901.00212V2》, 5 January 2019 (2019-01-05), pages 1 - 17, XP081010575 * |
| 刘建伟等: "生成对抗网络在各领域应用研究进展", 《自动化学报》, 25 June 2019 (2019-06-25), pages 1 - 38 * |
| 曾接贤等: "基于优先权改进和块划分的图像修复", 《中国图象图形学报》 * |
| 曾接贤等: "基于优先权改进和块划分的图像修复", 《中国图象图形学报》, no. 09, 16 September 2017 (2017-09-16) * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113496470B (zh) * | 2020-04-02 | 2024-04-09 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN113496470A (zh) * | 2020-04-02 | 2021-10-12 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN111553869A (zh) * | 2020-05-13 | 2020-08-18 | 北京航空航天大学 | 一种空基视角下的生成对抗网络图像补全方法 |
| CN111476213A (zh) * | 2020-05-19 | 2020-07-31 | 武汉大势智慧科技有限公司 | 一种基于道路影像的遮挡物覆盖区域填充方法和装置 |
| CN111861901A (zh) * | 2020-06-05 | 2020-10-30 | 西安工程大学 | 一种基于gan网络的边缘生成图像修复方法 |
| CN114077891A (zh) * | 2020-08-07 | 2022-02-22 | 北京达佳互联信息技术有限公司 | 风格转换模型的训练方法及虚拟建筑检测模型的训练方法 |
| CN112381725A (zh) * | 2020-10-16 | 2021-02-19 | 广东工业大学 | 基于深度卷积对抗生成网络的图像修复方法及装置 |
| CN112381725B (zh) * | 2020-10-16 | 2024-02-02 | 广东工业大学 | 基于深度卷积对抗生成网络的图像修复方法及装置 |
| CN112614066A (zh) * | 2020-12-23 | 2021-04-06 | 文思海辉智科科技有限公司 | 图像修复方法、装置及电子设备 |
| CN113487512A (zh) * | 2021-07-20 | 2021-10-08 | 陕西师范大学 | 一种基于边缘信息指导的数字图像修复方法及装置 |
| CN113487512B (zh) * | 2021-07-20 | 2024-07-02 | 陕西师范大学 | 一种基于边缘信息指导的数字图像修复方法及装置 |
| CN113744142A (zh) * | 2021-08-05 | 2021-12-03 | 南方科技大学 | 图像修复方法、电子设备及存储介质 |
| CN113744142B (zh) * | 2021-08-05 | 2024-04-16 | 南方科技大学 | 图像修复方法、电子设备及存储介质 |
| CN113674176A (zh) * | 2021-08-23 | 2021-11-19 | 北京市商汤科技开发有限公司 | 图像修复方法及装置、电子设备和存储介质 |
| CN113674176B (zh) * | 2021-08-23 | 2024-04-16 | 北京市商汤科技开发有限公司 | 图像修复方法及装置、电子设备和存储介质 |
| CN113781296A (zh) * | 2021-09-22 | 2021-12-10 | 亿图软件(湖南)有限公司 | 一种图像水彩化处理方法、装置、计算机设备及存储介质 |
| CN113781296B (zh) * | 2021-09-22 | 2024-05-28 | 亿图软件(湖南)有限公司 | 一种图像水彩化处理方法、装置、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110675339A (zh) | 基于边缘修复和内容修复的图像修复方法及*** | |
| KR102640237B1 (ko) | 이미지 프로세싱 방법, 장치, 전자 디바이스 및 컴퓨터 판독가능 저장 매체 | |
| CN107330956B (zh) | 一种漫画手绘图无监督上色方法及装置 | |
| CN112132156B (zh) | 多深度特征融合的图像显著性目标检测方法及*** | |
| CN108171663B (zh) | 基于特征图最近邻替换的卷积神经网络的图像填充*** | |
| CN111178211A (zh) | 图像分割方法、装置、电子设备及可读存储介质 | |
| CN110516541B (zh) | 文本定位方法、装置、计算机可读存储介质和计算机设备 | |
| CN113642390B (zh) | 一种基于局部注意力网络的街景图像语义分割方法 | |
| CN111914654B (zh) | 一种文本版面分析方法、装置、设备和介质 | |
| CN110148088B (zh) | 图像处理方法、图像去雨方法、装置、终端及介质 | |
| CN111476213A (zh) | 一种基于道路影像的遮挡物覆盖区域填充方法和装置 | |
| CN111179196B (zh) | 一种基于分而治之的多分辨率深度网络图像去高光方法 | |
| CN112749578A (zh) | 一种基于深度卷积神经网络的遥感图像自动道路提取方法 | |
| CN112801914A (zh) | 一种基于纹理结构感知的二段式图像修复方法 | |
| CN113971644A (zh) | 基于数据增强策略选择的图像识别方法及装置 | |
| CN111860465A (zh) | 基于超像素的遥感图像提取方法、装置、设备及存储介质 | |
| CN116452511B (zh) | 钻爆法隧道掌子面围岩级别智能判识方法、装置及介质 | |
| CN113160081A (zh) | 一种基于感知去模糊的深度人脸图像修复方法 | |
| CN116798041A (zh) | 图像识别方法、装置和电子设备 | |
| CN110378852A (zh) | 图像增强方法、装置、计算机设备和存储介质 | |
| CN110135379A (zh) | 舌象分割方法及装置 | |
| CN115937121A (zh) | 基于多维度特征融合的无参考图像质量评价方法及*** | |
| CN116051407A (zh) | 一种图像修复方法 | |
| CN114841974A (zh) | 一种水果内部结构无损检测方法、***、电子设备及介质 | |
| CN114820381A (zh) | 一种基于结构信息嵌入和注意力机制的数字图像修复方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200110 |