CN114627006A - 一种基于深度解耦网络的渐进式图像修复方法 - Google Patents
一种基于深度解耦网络的渐进式图像修复方法 Download PDFInfo
- Publication number
- CN114627006A CN114627006A CN202210191314.9A CN202210191314A CN114627006A CN 114627006 A CN114627006 A CN 114627006A CN 202210191314 A CN202210191314 A CN 202210191314A CN 114627006 A CN114627006 A CN 114627006A
- Authority
- CN
- China
- Prior art keywords
- image
- texture
- feature
- module
- mask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000000750 progressive effect Effects 0.000 title claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims abstract description 28
- 230000006870 function Effects 0.000 claims abstract description 23
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 17
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 230000004927 fusion Effects 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims abstract description 12
- 230000008439 repair process Effects 0.000 claims abstract description 12
- 230000008447 perception Effects 0.000 claims abstract description 11
- 238000004040 coloring Methods 0.000 claims abstract description 9
- 239000004576 sand Substances 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 10
- 238000009877 rendering Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 3
- 230000008485 antagonism Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims description 2
- 238000004220 aggregation Methods 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 claims 1
- 230000009467 reduction Effects 0.000 claims 1
- 230000007547 defect Effects 0.000 abstract description 3
- 238000012549 training Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000035876 healing Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度解耦网络的渐进式图像修复方法。该方法包括以下步骤:首先进行特征提取和边缘提取;接着用部分卷积模块渐进式更新缺陷区域和掩码;再将纹理和结构特征输入到编解码器计算,计算过程中进行双向感知计算,进行纹理生成和结构重建,然后在获得第一次重建特征图像后对图像缺失区域进行着色;再进行特征融合和图像再次重建;最后输出并计算损失函数,通过损失函数对网络进行训练,优化修复过程。本发明修复方法优于其它方法。
Description
技术领域
本发明属于计算机视觉、图像绘制技术领域,具体涉及一种基于深度解耦网络的渐进式图像修复方法。
背景技术
图像修复[1]是指用视觉上真实和语义上一致的内容重建图像中受损区域的过程,并在许多实际应用中表现出良好的性能,如照片编辑、去除干扰物和修复受损部分。传统上,绘画算法试图通过渲染背景区域的缺失区域来画出孔洞,文献[1,2]中通过采用剩余图像的某些统计量来填补缺失区域。然而,它受限于现有的图像统计数据,无法填充语义感知的内容。文献[3]中通过采用剩余图像的某些统计量来填补缺失区域。然而,它受限于现有的图像统计数据,无法填充语义感知的内容。文献[4]中通过采用剩余图像的某些统计量来填补缺失区域。然而,它受限于现有的图像统计数据,无法填充语义感知的内容。基于斑块的方法[5]用来自源图像集合的斑块来填补缺失区域,通过使用剩余图像的某些统计学特征,使斑块的相似度达到最高。然而,这些方法在计算缺失区域和可用区域之间的补丁相似度时计算成本很高,而且很难重建具有丰富语义的模式。
近年来,深度学习方法[6]在图像绘制方面取得了明显的成功。大多数深度生成方法利用编码器-解码器架构进行重构和绘制,这些方法可以捕捉到更多的高层次语义,对具有非重复性模式的图像表现更好。然而,当缺失区域变大时,前景和背景像素之间的相关性就会减弱,导致语义模糊的结果。
参考文献
[1]Marcelo Bertalmio,Guillermo Sapiro,Vincent Caselles,and ColomaBallester,“Image inpainting,”inProceed-ings of the 27th annual conference onComputer graph-ics and interactive techniques,2000,pp.417–424.
[2]Coloma Ballester,Marcelo Bertalmio,Vicent Caselles,GuillermoSapiro,and Joan Verdera,“Filling-in by jointinterpolation of vector fieldsand gray levels,”IEEEtransactions on image processing,vol.10,no.8,pp.1200–1211,2001.
[3]Selim Esedoglu and Jianhong Shen,“Digital inpaintingbased on themumford–shah–euler image model,”Eu-ropean Journal of Applied Mathematics,vol.13,no.4,pp.353–370,2002.
[4]Connelly Barnes,Eli Shechtman,Adam Finkelstein,and Dan B Goldman,“Patchmatch:A randomizedcorrespondence algorithm for structural imageediting,”ACM Trans.Graph.,vol.28,no.3,pp.24,2009.
[5]Anat Levin,Assaf Zomet,and Yair Weiss,“Learninghow to inpaint fromglobal image statistics.,”inICCV,2003,vol.1,pp.305–312.
[6]Yi Wang,Xin Tao,Xiaojuan Qi,Xiaoyong Shen,and Ji-aya Jia,“Imageinpainting via generative multi-columnconvolutional neural networks,”inNeurIPS,2018.
发明内容
针对现有技术的不足,本发明的目的在于设计了一种基于深度解耦网络的渐进式图像修复方法,受人类绘图过程的启发,将纹理生成、结构重建和着色三个模块整合到一个网络中。
与现有方法对结构编码和纹理编码特征的简单重复使用不同,我们设计了一个双向的跨阶段特征感知模块来感知重建过程中的全局多尺度背景。此外,我们还开发了一个内容一致性注意力模块来进一步理解和捕捉背景中的纹理信息,并生成优雅的自然内容。
本发明的目的在于提出一种基于深度解耦网络的渐进式图像修复方法,包括如下步骤。
(1)特征提取和边缘提取
给定输入图像,对其进行归一化和标准化,并输入到特征提取模块,得到包含纹理信息的原图Ft,并通过边缘提取方法获得图像的轮廓Fs
(2)利用特征编解码器进行图像第一次修复。用两个结构相同,七层卷积层构成分别对原图和轮廓图进行特征编码的编码器进行特征编码,在修复的每一次卷积计算中,利用部分卷积计算来处理Ft,Fs,并更新它们的掩码;具体来说,给定一对特征Ft,Fs和输入掩码,由部分卷积层计算的特征图表示为:
其中Ft,Fs分别是原图像和经过边缘提取处理后的结构图像特征,Msource为初始的掩码,It、Is和Mi为每一次卷积计算输出的相应特征和掩码;
特征编解码器通过两个平行编解码器填充目标区域,进行纹理生成和结构重建;整体计算的过程表示为:
Ft=Ψdec_t(fcsa(Ψenc_t(It,Mi))),
Fs=Ψdec_s(fcsa(Ψenc_s(Is,Mi))),
其中Ψenc_t和Ψdec_t分别是由部分卷积计算组成的纹理特征的编解码器,Ψenc_s和Ψenc_s分别是是由部分卷积计算组成的边缘特征的编解码器,fcsa表示特征编解码器中嵌入的双向感知计算模块;其中:
fcsa表示的双向感知计算模块用于接收编码器输入的纹理和结构特征并进行双向感知计算,再送入解码器,纹理与结构的双向上下文信息的聚合过程表示为:
其中,T和S为编码器从不同阶段输出的纹理和结构特征图被表示为 和Ht=[T1;T2;T3;T4],Hs=[S1;S2;S3;S4],和α分别表示了softmax函数和实例规范化函数, 和为可学习参数。
双向一致的权重削弱了纹理和结构之间的语义距离,促进了两种特征的转化过程。
(3)对图像缺失区域进行着色。
将Ft送入卷积层进行图像修复,将图像转换成单色,然后,单色图像和掩码M被送入着色模块,通过设计颜色修复损失来引导回色;
其中g(·)是一个是卷积层,σ表示sigmoid激活函数。接下来将特征送入内容一致注意模块模块来进一步结合解码后的纹理和结构特征。具体来说,给定一个Fi的特征图C,我们首先提取3×3像素的斑块,计算它们的余弦相似度作为分数,表示为
其中sim(·)是余弦相似度函数,ci和cj分别对应于特征图的第i个和第j个补丁。为了更有效地获得特征空间中的相关纹理信息,我们进一步更新h为
然后,我们将先前提取的补丁与注意图相结合重构特征图
(4)输出并计算损失函数。深度解耦网络是用联合损失来训练的,首先设置一个中间损失Linter;
其中ω为BCELoss,Sgt为原图对应的结构图,S为输出的结构图图像,Igt为原图,T为输出的修复图像;
定义重建损失为:
其中Iout为最终输出图像,Igt为原图。
此外,一个对抗性的损失被用来保证重构图像的视觉真实性:
其中G为特征编解码器,D为判别器,Iout为最终输出图像,Igt为原图,Sgt为原图对应的结构图,Sout为输出的结构图图像;
此外,定义一个额外的色彩损失来指导着色模块,它表示为
其中Icol表示着色模块所输出的彩色图像,Igt为原图,M为缺失图像的掩码;
综上所述,网络总损失函数为。
其中λinter,λrec,λperc,λstyle,λadv和λcol为可调节参数,其中Lstyle是使用预训练和固定的VGG-16的感知损失和风格损失。
和现有技术相比,本发明的方法在三个方面不同于现有的工作,即:
(1)一个新颖的渐进式解耦模块,将包括纹理、结构和着色在内的多种优先信息整合到一个端到端的网络中;
(2)一个双向感知计算模块,其对双向的跨阶段特征进行感知,捕获跨分支的空间信息;
(3)用于图像再次重建的特征融合模块,其中包含一个内容一致注意模块,捕获跨分支和阶段的空间信息以指导模型合成自然一致的纹理。本发明的有益效果在于,
附图说明
图1为将受损图像、掩模图像和真实图像输入图像印染的渐进式解耦网络,得到输出的修复图像的流程图。
图2为用于图像修复的渐进式解耦网络的模型图。
图3为在Paris Street View数据集的修复效果。
图4为在DTD数据集的修复效果。
图5为在Place2数据集的修复效果。
具体实施方式
下面通过实施例进一步说明本发明。
实施例1:
我们在3个数据集上评估了我们的方法,包括Describable Textures Database(DTD),一个包含23个类别的纹理数据集。Places2 Challenge Dataset(Place2),一个由麻省理工学院发布的数据集,包含超过365个场景的8,000,000张图片,它非常适用于建立图像修复模型,因为它使模型能够从许多自然场景中学习分布。Paris Street View数据集,一个包含14,900张训练图像和100张测试图像的数据集,收集自巴黎街景,这个数据集主要关注城市中的建筑。
参看图1,首先特征提取和边缘提取,用部分卷积模块渐进式更新缺陷区域和掩码,然后将纹理和结构特征输入到编解码器,进行纹理生成和结构重建。进行编码和解码计算,并在其中嵌入了结构和纹理的双向感知计算层,在获得第一次重建特征图像后对图像缺失区域进行着色,然后进行特征融合和图像再次重建,最后输出并计算损失函数具体过程为:
给定输入图像,对其进行归一化和标准化,并输入到特征提取模块,得到包含纹理信息的原图Ft,并通过边缘提取方法获得图像的轮廓Fs图像的尺寸为256×256×3。
(2)利用特征编解码器进行图像第一次修复。用两个结构相同,七层卷积层构成分别对原图和轮廓图进行特征编码的编码器进行特征编码,在修复的每一次卷积计算中,利用部分卷积计算来处理Ft,Fs,并更新它们的掩码;具体来说,给定一对特征Ft,Fs和输入掩码,由部分卷积层计算的特征图表示为:
其中Ft,Fs分别是原图像和经过边缘提取处理后的结构图像特征,Msource为初始的掩码,It、Is和Mi为每一次卷积计算输出的相应特征和掩码;
特征编解码器通过两个平行编解码器填充目标区域,进行纹理生成和结构重建;整体计算的过程表示为:
Ft=Ψdec_t(fcsa(Ψenc_t(It,Mi))),
Fs=Ψdec_s(fcsa(Ψenc_s(Is,Mi))),
其中Ψenc_t和Ψdec_t分别是由部分卷积计算组成的纹理特征的编解码器,Ψenc_s和Ψenc_s分别是是由部分卷积计算组成的边缘特征的编解码器。
在本实施例中,编码器和解码器分别由七层卷积层组成,其中编码器第一层部分卷积计算的卷积核为7,输出通道数为64;第二层和第三层卷积核为5输出通道数为128和256;第四层到第七层卷积核为3,输出通道数为512。
其中解码器的卷积核全部设置为3,第一层到第三册输出通道数为512,第四层输出通道数为256,第五层输出通道数为128,第六层输出通道数为64,第七层输出通道数为3。fcsa表示特征编解码器中嵌入的双向感知计算模块;
(5)对图像缺失区域进行着色。
将Ft送入卷积层进行图像修复,将图像转换成单色,然后,单色图像和掩码M被送入着色模块,通过设计颜色修复损失来引导回色;
其中g(·)是一个是卷积层,σ表示sigmoid激活函数。接下来将特征送入内容一致注意模块来进一步结合解码后的纹理和结构特征。具体来说,给定一个Fi的特征图C,我们首先提取3×3像素的斑块,计算它们的余弦相似度作为分数,表示为
其中sim(·)是余弦相似度函数,ci和cj分别对应于特征图的第i个和第j个补丁。为了更有效地获得特征空间中的相关纹理信息,我们进一步更新h为
然后,我们将先前提取的补丁与注意图相结合重构特征图
(6)输出并计算损失函数。深度解耦网络是用联合损失来训练的,首先设置一个中间损失Linter;
其中ω为BCELoss,Sgt为原图对应的结构图,S为输出的结构图图像,Igt为原图,T为输出的修复图像;
定义重建损失为:
其中Iout为最终输出图像,Igt为原图。
此外,一个对抗性的损失被用来保证重构图像的视觉真实性:
其中G为特征编解码器,D为判别器,Iout为最终输出图像,Igt为原图,Sgt为原图对应的结构图,Sout为输出的结构图图像;
此外,定义一个额外的色彩损失来指导着色模块,它表示为
其中Icol表示着色模块所输出的彩色图像,Igt为原图,M为缺失图像的掩码;
综上所述,网络总损失函数为。
其中λinter,λrec,λperc,λstyle,λadv和λcol为可调节参数,其中Lstyle是使用预训练和固定的VGG-16的感知损失和风格损失。其中输入图像大小为256*256*3。参看图2,模型使用Pytorch实现,包含生成器和判别器两个部分,其中生成器包括了编解码模块,双向感知计算模块和特征融合模块。模型使用Adam进行优化。使用1e-4的学习率来训练模型。在微调过程中,学习率为1e-5。对于联合损失,我们根据经验设定λinter=1,λrec=10,λperc=0.1,λstyle=200,λadv=0.1和λcol=1。
为了评估模型的有效性,本发明选择了近年来的5种图像修复方法来进行比较,包括Pconv、CSTDG、RFR、Patch Match和Edge Connect。在三个数据集上进行了实验,并测量了定性和定量的结果,将本发明模型与以前的方法进行比较。此外,我们还进行了消融研究以检验我们模型的设计细节。
表1显示了在巴黎街景、Place2和DTD上取得的结果,其中本文提议的方法优于其他方法,清楚地证明了其有效性。
表1
图3显示了在Paris Street View数据集的修复效果。图4显示了在DTD数据集的修复效果。图5显示了在Place2数据集的修复效果,其中本文提议的方法在视觉上优于其他方法,证明了其有效性。
Claims (2)
1.一种基于深度解耦网络的渐进式图像修复方法,其特征在于,其首先输入图像和缺失区域的掩码,提取图像的边缘;接着用基于卷积神经网络构成的特征编解码器对图像进行特征提取和还原;利用基于双向感知计算模块接收编码器输出的纹理和结构特征并进行双向感知计算,以进行纹理生成和结构重建;然后在获得第一次重建特征图像后将掩码内的区域进行灰度化,并利用着色模块进行颜色校正;再利用特征融合模块进行特征融合和图像再次重建;最后输出并计算损失函数。
2.根据权利要求1所述的渐进式图像修复方法,其特征在于,具体步骤如下:
(1)特征提取和边缘提取
给定输入图像和缺失区域的掩码,对其进行归一化和标准化,得到包含纹理信息的原图Ft,并通过边缘提取获得图像的轮廓Fs;
(2)利用特征编解码器进行图像第一次修复
用两个结构相同,七层卷积层构成分别对原图和轮廓图进行特征编码的编码器进行特征编码,在修复的每一次卷积计算中,利用部分卷积计算来处理Ft,Fs,并更新它们的掩码;具体来说,给定一对特征Ft,Fs和输入掩码,由部分卷积层计算的特征图表示为:
It,Is,Mi=Pconvs(Ft,Fs,Msource).
其中Ft,Fs分别是原图像和经过边缘提取处理后的结构图像特征,Msource为初始的掩码,It、Is和Mi为每一次卷积计算输出的相应特征和掩码;
特征编解码器通过两个平行编解码器填充目标区域,进行纹理生成和结构重建;整体计算的过程表示为:
Ft=Ψdec_t(fcsa(Ψenc_t(It,Mi))),
Fs=Ψdec_s(fcsa(Ψenc_s(Is,Mi))),
其中Ψenc_t和Ψdec_t分别是由部分卷积计算组成的纹理特征的编解码器,Ψenc_s和Ψenc_s分别是是由部分卷积计算组成的边缘特征的编解码器,fcsa表示特征编解码器中嵌入的双向感知计算模块;其中:
fcsa表示的双向感知计算模块用于接收编码器输入的纹理和结构特征并进行双向感知计算,再送入解码器,纹理与结构的双向上下文信息的聚合过程表示为:
双向一致的权重削弱了纹理和结构之间的语义距离,促进了两种特征的转化过程;
(3)对图像缺失区域进行着色
将Ft送入卷积层进行图像修复,将图像转换成单色,然后,单色图像和掩码M被送入着色模块,通过颜色修复损失来引导回色;
(4)输入到特征融合模块进行图像再次重建
其中g(·)是一个是卷积层,σ表示sigmoid激活函数
特征融合模块,其中包含一个内容一致注意模块来进一步结合解码后的纹理和结构特征;具体来说,内容一致注意模块给定一个Fi的特征图C,我们首先提取3×3像素的斑块,计算它们的余弦相似度作为分数,表示为
其中sim(·)是余弦相似度函数,ci和cj分别对应于特征图的第i个和第j个补丁;为了更有效地获得特征空间中的相关纹理信息,进一步更新h为
再将先前提取的补丁与注意图相结合重构特征图:
(5)输出并计算损失函数
深度解耦网络是用联合损失来训练的,首先设置一个中间损失Linter;
其中ω()为BCELoss,Sgt为原图对应的结构图,S为输出的结构图图像,Igt为原图,T为输出的修复图像;
定义重建损失为:
其中Iout为最终输出图像,Igt为原图。
此外,一个对抗性的损失被用来保证重构图像的视觉真实性:
其中G为特征编解码器,D为判别器,Iout为最终输出图像,Igt为原图,Sgt为原图对应的结构图,Sout为输出的结构图图像;
此外,定义一个额外的色彩损失来指导着色模块,它表示为
其中Icol表示着色模块所输出的彩色图像,Igt为原图,M为缺失图像的掩码;
综上所述,网络总损失函数为。
其中λinter,λrec,λperc,λstyle,λadv和λcol为可调节参数,其中Lstyle是使用预训练和固定的VGG-16的感知损失和风格损失。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210191314.9A CN114627006B (zh) | 2022-02-28 | 2022-02-28 | 一种基于深度解耦网络的渐进式图像修复方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210191314.9A CN114627006B (zh) | 2022-02-28 | 2022-02-28 | 一种基于深度解耦网络的渐进式图像修复方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114627006A true CN114627006A (zh) | 2022-06-14 |
CN114627006B CN114627006B (zh) | 2022-12-20 |
Family
ID=81900862
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210191314.9A Active CN114627006B (zh) | 2022-02-28 | 2022-02-28 | 一种基于深度解耦网络的渐进式图像修复方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114627006B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115272529A (zh) * | 2022-09-28 | 2022-11-01 | 中国海洋大学 | 布局优先的多尺度解耦海洋遥感图像上色方法及*** |
CN115375598A (zh) * | 2022-08-22 | 2022-11-22 | 天津大学 | 一种无监督暗光图像增强方法及装置 |
CN115841625A (zh) * | 2023-02-23 | 2023-03-24 | 杭州电子科技大学 | 一种基于改进U-Net模型的遥感建筑物影像提取方法 |
CN116908760A (zh) * | 2023-07-11 | 2023-10-20 | 哈尔滨工业大学 | 一种基于深度解耦网络的mri偏置场修正方法及*** |
CN117196981A (zh) * | 2023-09-08 | 2023-12-08 | 兰州交通大学 | 一种基于纹理和结构调和的双向信息流方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111127346A (zh) * | 2019-12-08 | 2020-05-08 | 复旦大学 | 基于部分到整体注意力机制的多层次图像修复方法 |
CN111340122A (zh) * | 2020-02-29 | 2020-06-26 | 复旦大学 | 一种多模态特征融合的文本引导图像修复方法 |
CN111784602A (zh) * | 2020-06-28 | 2020-10-16 | 江西理工大学 | 一种生成对抗网络用于图像修复的方法 |
CN112801914A (zh) * | 2021-02-09 | 2021-05-14 | 北京工业大学 | 一种基于纹理结构感知的二段式图像修复方法 |
CN113160294A (zh) * | 2021-03-31 | 2021-07-23 | 中国科学院深圳先进技术研究院 | 图像场景深度的估计方法、装置、终端设备和存储介质 |
CN113240613A (zh) * | 2021-06-07 | 2021-08-10 | 北京航空航天大学 | 一种基于边缘信息重建的图像修复方法 |
CN113674334A (zh) * | 2021-07-06 | 2021-11-19 | 复旦大学 | 基于深度自注意力网络和局部特征编码的纹理识别方法 |
CN113902630A (zh) * | 2021-09-01 | 2022-01-07 | 西安电子科技大学 | 基于多尺度纹理特征分支的生成对抗网络图像修复方法 |
CN113989129A (zh) * | 2021-09-01 | 2022-01-28 | 西安电子科技大学 | 基于门控和上下文注意力机制的图像修复方法 |
-
2022
- 2022-02-28 CN CN202210191314.9A patent/CN114627006B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111127346A (zh) * | 2019-12-08 | 2020-05-08 | 复旦大学 | 基于部分到整体注意力机制的多层次图像修复方法 |
CN111340122A (zh) * | 2020-02-29 | 2020-06-26 | 复旦大学 | 一种多模态特征融合的文本引导图像修复方法 |
CN111784602A (zh) * | 2020-06-28 | 2020-10-16 | 江西理工大学 | 一种生成对抗网络用于图像修复的方法 |
CN112801914A (zh) * | 2021-02-09 | 2021-05-14 | 北京工业大学 | 一种基于纹理结构感知的二段式图像修复方法 |
CN113160294A (zh) * | 2021-03-31 | 2021-07-23 | 中国科学院深圳先进技术研究院 | 图像场景深度的估计方法、装置、终端设备和存储介质 |
CN113240613A (zh) * | 2021-06-07 | 2021-08-10 | 北京航空航天大学 | 一种基于边缘信息重建的图像修复方法 |
CN113674334A (zh) * | 2021-07-06 | 2021-11-19 | 复旦大学 | 基于深度自注意力网络和局部特征编码的纹理识别方法 |
CN113902630A (zh) * | 2021-09-01 | 2022-01-07 | 西安电子科技大学 | 基于多尺度纹理特征分支的生成对抗网络图像修复方法 |
CN113989129A (zh) * | 2021-09-01 | 2022-01-28 | 西安电子科技大学 | 基于门控和上下文注意力机制的图像修复方法 |
Non-Patent Citations (3)
Title |
---|
JINGYUAN LI ET AL.: "Progressive Reconstruction of Visual Structure for Image Inpainting", 《2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION》 * |
TENGFEI WANG ET AL.: "Image Inpainting with External-internal Learning and Monochromic Bottleneck", 《ARXIV》 * |
XIEFAN GUO ET AL.: "Image Inpainting via Conditional Texture and Structure Dual Generation", 《ARXIV》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115375598A (zh) * | 2022-08-22 | 2022-11-22 | 天津大学 | 一种无监督暗光图像增强方法及装置 |
CN115375598B (zh) * | 2022-08-22 | 2024-04-05 | 天津大学 | 一种无监督暗光图像增强方法及装置 |
CN115272529A (zh) * | 2022-09-28 | 2022-11-01 | 中国海洋大学 | 布局优先的多尺度解耦海洋遥感图像上色方法及*** |
CN115841625A (zh) * | 2023-02-23 | 2023-03-24 | 杭州电子科技大学 | 一种基于改进U-Net模型的遥感建筑物影像提取方法 |
CN116908760A (zh) * | 2023-07-11 | 2023-10-20 | 哈尔滨工业大学 | 一种基于深度解耦网络的mri偏置场修正方法及*** |
CN116908760B (zh) * | 2023-07-11 | 2024-05-14 | 哈尔滨工业大学 | 一种基于深度解耦网络的mri偏置场修正方法及*** |
CN117196981A (zh) * | 2023-09-08 | 2023-12-08 | 兰州交通大学 | 一种基于纹理和结构调和的双向信息流方法 |
CN117196981B (zh) * | 2023-09-08 | 2024-04-26 | 兰州交通大学 | 一种基于纹理和结构调和的双向信息流方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114627006B (zh) | 2022-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114627006B (zh) | 一种基于深度解耦网络的渐进式图像修复方法 | |
Yoo et al. | Photorealistic style transfer via wavelet transforms | |
CN109919830B (zh) | 一种基于美学评价的带参考人眼图像修复方法 | |
CN111127346A (zh) | 基于部分到整体注意力机制的多层次图像修复方法 | |
CN113989129A (zh) | 基于门控和上下文注意力机制的图像修复方法 | |
CN112686817B (zh) | 一种基于不确定性估计的图像补全方法 | |
CN114283080A (zh) | 一种多模态特征融合的文本指导图像压缩噪声去除方法 | |
CN110599411A (zh) | 一种基于条件生成对抗网络的图像修复方法及*** | |
CN112686816A (zh) | 一种基于内容注意力机制和掩码先验的图像补全方法 | |
Shen et al. | Single-shot semantic image inpainting with densely connected generative networks | |
CN110895795A (zh) | 改进的语义图像修补模型方法 | |
CN112801914A (zh) | 一种基于纹理结构感知的二段式图像修复方法 | |
Li et al. | Face inpainting via nested generative adversarial networks | |
CN112184582A (zh) | 一种基于注意力机制的图像补全方法及装置 | |
CN113837290A (zh) | 一种基于注意力生成器网络的无监督非成对图像翻译方法 | |
CN117058007A (zh) | 利用类特定修复神经网络的数字图像中的对象类修复 | |
CN114494387A (zh) | 一种生成数据集网络模型及雾图生成方法 | |
CN111932365B (zh) | 一种基于区块链的金融征信***及方法 | |
CN116523985B (zh) | 一种结构和纹理特征引导的双编码器图像修复方法 | |
CN116051407A (zh) | 一种图像修复方法 | |
CN111862061A (zh) | 图片美学质量的评估方法、***、设备和介质 | |
CN116109510A (zh) | 一种基于结构和纹理对偶生成的人脸图像修复方法 | |
Campana et al. | Variable-hyperparameter visual transformer for efficient image inpainting | |
CN116362995A (zh) | 一种基于标准先验的牙齿图像修复方法和*** | |
CN113378980B (zh) | 基于自适应上下文注意力机制的口罩遮挡人脸恢复方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |