CN113674176B - 图像修复方法及装置、电子设备和存储介质 - Google Patents
图像修复方法及装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN113674176B CN113674176B CN202110969546.8A CN202110969546A CN113674176B CN 113674176 B CN113674176 B CN 113674176B CN 202110969546 A CN202110969546 A CN 202110969546A CN 113674176 B CN113674176 B CN 113674176B
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- edge
- target
- image block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000003860 storage Methods 0.000 title claims abstract description 29
- 238000013528 artificial neural network Methods 0.000 claims abstract description 162
- 238000012549 training Methods 0.000 claims abstract description 143
- 230000008439 repair process Effects 0.000 claims abstract description 139
- 238000012545 processing Methods 0.000 claims abstract description 61
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 238000010422 painting Methods 0.000 claims description 32
- 238000004590 computer program Methods 0.000 claims description 15
- 230000000873 masking effect Effects 0.000 claims description 15
- 238000005520 cutting process Methods 0.000 claims description 12
- 230000000877 morphologic effect Effects 0.000 claims description 11
- 230000007797 corrosion Effects 0.000 claims description 8
- 238000005260 corrosion Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 description 40
- 238000010586 diagram Methods 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 238000013434 data augmentation Methods 0.000 description 6
- 238000010295 mobile communication Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000005530 etching Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本公开涉及一种图像修复方法及装置、电子设备和存储介质。所述方法包括：对待修复的目标图像进行边缘提取，得到所述目标图像对应的边缘图像；确定所述目标图像中待修复的目标图像块；在所述边缘图像中，确定所述目标图像块对应的第一边缘图像块；采用预先训练的第一神经网络对所述目标图像块和所述第一边缘图像块进行处理，得到所述目标图像块对应的修复图像块，其中，所述第一神经网络是预先采用训练图像集训练得到的，所述训练图像集中的训练图像是基于所述目标图像得到的。
Description
技术领域
本公开涉及图像技术领域，尤其涉及一种图像修复方法及装置、电子设备和存储介质。
背景技术
图像修复是指重建图像和/或视频中丢失或损坏的部分的过程。图像修复是计算机视觉领域的一个重要问题。在深度学习技术成为计算机视觉领域的主流技术以前，图像修复主要使用既定规则下的纹理、结构提取和传播的思路进行。在深度学习技术被广泛应用于计算机视觉领域之后，图像修复方面得到了较为迅速的发展，然而，图像修复的效果仍然有待提高。
发明内容
本公开提供了一种图像修复技术方案。
根据本公开的一方面，提供了一种图像修复方法，包括：
对待修复的目标图像进行边缘提取，得到所述目标图像对应的边缘图像；
确定所述目标图像中待修复的目标图像块；
在所述边缘图像中，确定所述目标图像块对应的第一边缘图像块；
采用预先训练的第一神经网络对所述目标图像块和所述第一边缘图像块进行处理，得到所述目标图像块对应的修复图像块，其中，所述第一神经网络是预先采用训练图像集训练得到的，所述训练图像集中的训练图像是基于所述目标图像得到的。
基于待修复的目标图像得到训练图像集，采用所述训练图像集训练第一神经网络，通过对目标图像进行边缘提取，得到目标图像对应的边缘图像，确定目标图像中待修复的目标图像块，在所述边缘图像中，确定目标图像块对应的第一边缘图像块，并采用预先训练的第一神经网络对目标图像块和第一边缘图像块进行处理，得到目标图像块对应的修复图像块，由此针对用于对目标图像进行修复的第一神经网络，仅采用基于目标图像得到的训练图像进行训练，从而能够解决图像的不同创作者(例如不同画家、不同拍摄者等)之间存在创作风格差异的问题，能够使目标图像的修复效果与目标图像的原风格相符，使修复效果更自然，且无需获取复杂、大规模的训练数据集用于第一神经网络的训练。
在一种可能的实现方式中，所述训练图像集包括多个训练图像对，所述多个训练图像对中的任一训练图像对包括原图样本和边图样本，其中，所述原图样本是从所述目标图像中裁剪出的图像样本，所述边图样本是从所述边缘图像中裁剪出的图像样本，且属于同一训练图像对的所述原图样本和所述边图样本对应于相同的裁剪位置；
在所述采用预先训练的第一神经网络对所述目标图像块和所述第一边缘图像块进行处理之前，所述方法还包括：
对于所述多个训练图像对中的任一训练图像对，对所述原图样本和所述边图样本进行损坏处理，得到所述原图样本对应的原图损坏样本和所述边图样本对应的边图损坏样本；
将所述原图损坏样本和所述边图损坏样本输入所述第一神经网络，经由所述第一神经网络得到所述原图损坏样本对应的原图修复样本；
根据所述原图修复样本与所述原图样本之间的差异，训练所述第一神经网络。
在该实现方式中，通过基于目标图像实现训练图像的数据增广，并基于由目标图像进行数据增广得到的训练图像进行无监督学习，由此能够使第一神经网络学习到目标图像的特征，从而能够使第一神经网络学习到针对目标图像进行图像修复的能力。
在一种可能的实现方式中，所述对所述原图样本和所述边图样本进行损坏处理，得到所述原图样本对应的原图损坏样本和所述边图样本对应的边图损坏样本，包括：
生成所述原图样本和所述边图样本对应的掩码；
采用所述掩码对所述原图样本进行掩码操作，得到所述原图样本对应的原图损坏样本；
采用所述掩码对所述边图样本进行掩码操作，得到所述边图样本对应的边图损坏样本。
通过采用该实现方式得到原图损坏样本和边图损坏样本，由此能够基于无监督学习实现第一神经网络的训练。
在一种可能的实现方式中，所述将所述原图损坏样本和所述边图损坏样本输入所述第一神经网络，经由所述第一神经网络得到所述原图损坏样本对应的原图修复样本，包括：
将所述边图损坏样本输入所述第一神经网络的第一子网络，经由所述第一子网络得到所述边图损坏样本对应的边图修复样本；
将所述原图损坏样本和所述边图修复样本输入所述第一神经网络的第二子网络，经由所述第二子网络得到所述原图损坏样本对应的原图修复样本。
在该实现方式中，第一子网络可以用于边缘结构的修复，第二子网络可以结合修复得到的边缘结构信息进行纹理修复，从而能够获得更好的修复效果。
在一种可能的实现方式中，所述根据所述原图修复样本与所述原图样本之间的差异，训练所述第一神经网络，包括：
根据所述原图修复样本与所述原图样本之间的差异，以及所述边图修复样本与所述边图样本之间的差异，训练所述第一神经网络。
在该实现方式中，在训练第一神经网络时，不仅考虑第二子网络输出的原图修复样本与原图样本之间的差异，还考虑第一子网络输出的边图修复样本与边图样本之间的差异，从而有助于进一步提高第一神经网络的修复效果。
在一种可能的实现方式中，所述采用预先训练的第一神经网络对所述目标图像块和所述第一边缘图像块进行处理，得到所述目标图像块对应的修复图像块，包括：
将所述第一边缘图像块输入预先训练的第一神经网络的第一子网络，经由所述第一子网络得到所述第一边缘图像块对应的第二边缘图像块；
采用所述第一神经网络的第二子网络对所述目标图像块和所述第二边缘图像块进行处理，得到所述目标图像块对应的修复图像块。
在该实现方式中，第一子网络可以用于进行目标图像块的边缘结构的修复，第二子网络可以结合修复得到的边缘结构信息进行目标图像块的纹理修复，从而能够针对目标图像获得更好的修复效果。
在一种可能的实现方式中，所述采用所述第一神经网络的第二子网络对所述目标图像块和所述第二边缘图像块进行处理，得到所述目标图像块对应的修复图像块，包括：
对所述目标图像块进行预处理，得到预处理后的目标图像块；
将所述预处理后的目标图像块和所述第二边缘图像块输入所述第一神经网络的第二子网络，经由所述第二子网络得到所述目标图像块对应的修复图像块。
在该实现方式中，通过对目标图像块进行预处理，得到预处理后的目标图像块，并将预处理后的目标图像块和第二边缘图像块输入第二子网络，经由第二子网络得到目标图像块对应的修复图像块，由此有助于获得更好的修复效果。
在一种可能的实现方式中，所述对所述目标图像块进行预处理，得到预处理后的目标图像块，包括：
根据所述目标图像块和所述第二边缘图像块，确定所述目标图像块中的纹理复制区域；
确定与所述目标图像块的纹理相似的目标纹理；
将所述目标纹理复制至所述纹理复制区域，得到预处理后的目标图像块。
在该实现方式中，通过对目标图像块的待修复区域中的部分区域采用纹理复制的方式进行修复，能够减少由于神经网络一次性修复较大块的区域所造成的瑕疵，从而能够使整体修复效果更自然。
在一种可能的实现方式中，所述根据所述目标图像块和所述第二边缘图像块，确定所述目标图像块中的纹理复制区域，包括：
对所述目标图像块中的待修复区域和所述第二边缘图像块中的边缘所在区域进行形态学操作，确定所述目标图像块中的目标修复区域，其中，所述待修复区域表示所述目标图像块中属于损坏区域中的未修复区域的区域；
将所述待修复区域中所述目标修复区域以外的区域确定为纹理复制区域。
在该实现方式中，通过对目标图像块中的待修复区域和第二边缘图像块中的边缘所在区域进行形态学操作，确定目标图像块中的目标修复区域，将待修复区域中目标修复区域以外的区域确定为纹理复制区域，通过第二子网络对目标修复区域进行修复，通过纹理复制对纹理复制区域进行修复，从而能够控制每次通过第二子网络修复的区域的大小，能够实现更精细化的修复。
在一种可能的实现方式中，所述对所述目标图像块中的待修复区域和所述第二边缘图像块中的边缘所在区域进行形态学操作，确定所述目标图像块中的目标修复区域，包括：
对所述目标图像块中的待修复区域进行腐蚀操作，得到第一掩码区域；
对所述第二边缘图像块中的边缘所在区域进行膨胀操作，得到第二掩码区域；
将所述第一掩码区域和所述第二掩码区域的并集确定为所述目标图像块中的目标修复区域。
根据该实现方式，能够控制每次通过第二子网络修复的区域的大小，能够实现更精细化的修复。
在一种可能的实现方式中，所述确定所述目标图像中待修复的目标图像块，包括：
响应于所述目标图像的损坏区域中存在未修复区域，在所述未修复区域中确定目标位置；
根据所述目标位置，从所述目标图像中确定待修复的目标图像块，其中，所述目标图像块包含所述目标位置。
在该实现方式中，在目标图像的损坏区域中存在未修复区域的情况下，在未修复区域中确定目标位置，并基于目标位置从目标图像中确定待修复的目标图像块，由此能够针对未修复区域进行修复，提高修复效率。
在一种可能的实现方式中，所述在所述未修复区域中确定目标位置，包括：
将所述未修复区域的边缘的任意一点确定为目标位置。
在该实现方式中，通过将未修复区域的边缘的任意一点作为目标位置，并基于目标位置从目标图像中确定待修复的目标图像块，由此从外向里逐步修复未修复区域，有助于进一步提高修复效果。
在一种可能的实现方式中，所述根据所述目标位置，从所述目标图像中确定待修复的目标图像块，包括：
以所述目标位置为几何中心，从所述目标图像中裁剪出第一预设尺寸的图像块作为待修复的目标图像块。
根据该实现方式裁剪出目标图像块，有助于使目标图像块中需要修复的区域的面积和不需要修复的区域的面积大致接近，从而有助于权衡修复效率和修复效果。
在一种可能的实现方式中，在所述得到所述目标图像块对应的修复图像块之后，所述方法还包括：
以所述目标位置为几何中心，从所述修复图像块中裁剪出第二预设尺寸的图像块作为替换图像块，其中，所述第二预设尺寸小于所述第一预设尺寸；
采用所述替换图像块替换所述目标图像中相应位置的图像块。
在该实现方式中，通过以目标位置为几何中心，从修复图像块中裁剪出第二预设尺寸的图像块作为替换图像块，并采用替换图像块替换目标图像中相应位置的图像块，由此能够实现更精细化的修复，进一步提高修复效果。
在一种可能的实现方式中，在所述响应于所述目标图像的损坏区域中存在未修复区域，在所述未修复区域中确定目标位置之前，所述方法还包括：
对所述目标图像进行预设类型的对象识别，确定所述目标图像中的预设类型的对象所在区域，并将所述预设类型的对象所在区域作为所述目标图像中的损坏区域。
根据该实现方式，能够从目标图像中去除预设类型的对象，并能够针对预设类型的对象所在区域获得较自然的修复效果。
在一种可能的实现方式中，在所述响应于所述目标图像的损坏区域中存在未修复区域，在所述未修复区域中确定目标位置之前，所述方法还包括：
将所述目标图像输入预先训练的第二神经网络，经由所述第二神经网络预测所述目标图像中的损坏区域，其中，所述第二神经网络是预先根据多个图像以及与多个图像一一对应的损坏区域的标注数据训练的。
在该实现方式中，通过将目标图像输入预先训练的第二神经网络，经由第二神经网络预测目标图像中的损坏区域，由此能够提高所确定的损坏区域的准确性，并能提高确定损坏区域的速度，节省图像修复时间。
在一种可能的实现方式中，所述目标图像为水墨画图像。
在该实现方式中，仅基于待修复的水墨画图像得到训练图像集，并基于该训练图像集进行第一神经网络的训练，以使第一神经网络基于待修复的水墨画图像自身进行特征学习，由此能够解决水墨画的不同画家之间艺术创作风格存在差异的问题，能够使该水墨画图像的修复效果与该水墨画图像的原风格相符，修复效果更自然，且无需大规模的水墨画图像数据支持神经网络的训练。
根据本公开的一方面，提供了一种图像修复装置，包括：
边缘提取模块，用于对待修复的目标图像进行边缘提取，得到所述目标图像对应的边缘图像；
第一确定模块，用于确定所述目标图像中待修复的目标图像块；
第二确定模块，用于在所述边缘图像中，确定所述目标图像块对应的第一边缘图像块；
第一修复模块，用于采用预先训练的第一神经网络对所述目标图像块和所述第一边缘图像块进行处理，得到所述目标图像块对应的修复图像块，其中，所述第一神经网络是预先采用训练图像集训练得到的，所述训练图像集中的训练图像是基于所述目标图像得到的。
在一种可能的实现方式中，所述训练图像集包括多个训练图像对，所述多个训练图像对中的任一训练图像对包括原图样本和边图样本，其中，所述原图样本是从所述目标图像中裁剪出的图像样本，所述边图样本是从所述边缘图像中裁剪出的图像样本，且属于同一训练图像对的所述原图样本和所述边图样本对应于相同的裁剪位置；
所述装置还包括：
损坏处理模块，用于对于所述多个训练图像对中的任一训练图像对，对所述原图样本和所述边图样本进行损坏处理，得到所述原图样本对应的原图损坏样本和所述边图样本对应的边图损坏样本；
第二修复模块，用于将所述原图损坏样本和所述边图损坏样本输入所述第一神经网络，经由所述第一神经网络得到所述原图损坏样本对应的原图修复样本；
训练模块，用于根据所述原图修复样本与所述原图样本之间的差异，训练所述第一神经网络。
在一种可能的实现方式中，所述损坏处理模块用于：
生成所述原图样本和所述边图样本对应的掩码；
采用所述掩码对所述原图样本进行掩码操作，得到所述原图样本对应的原图损坏样本；
采用所述掩码对所述边图样本进行掩码操作，得到所述边图样本对应的边图损坏样本。
在一种可能的实现方式中，所述第二修复模块用于：
将所述边图损坏样本输入所述第一神经网络的第一子网络，经由所述第一子网络得到所述边图损坏样本对应的边图修复样本；
将所述原图损坏样本和所述边图修复样本输入所述第一神经网络的第二子网络，经由所述第二子网络得到所述原图损坏样本对应的原图修复样本。
在一种可能的实现方式中，所述训练模块用于：
根据所述原图修复样本与所述原图样本之间的差异，以及所述边图修复样本与所述边图样本之间的差异，训练所述第一神经网络。
在一种可能的实现方式中，所述第一修复模块用于：
将所述第一边缘图像块输入预先训练的第一神经网络的第一子网络，经由所述第一子网络得到所述第一边缘图像块对应的第二边缘图像块；
采用所述第一神经网络的第二子网络对所述目标图像块和所述第二边缘图像块进行处理，得到所述目标图像块对应的修复图像块。
在一种可能的实现方式中，所述第一修复模块用于：
对所述目标图像块进行预处理，得到预处理后的目标图像块；
将所述预处理后的目标图像块和所述第二边缘图像块输入所述第一神经网络的第二子网络，经由所述第二子网络得到所述目标图像块对应的修复图像块。
在一种可能的实现方式中，所述第一修复模块用于：
根据所述目标图像块和所述第二边缘图像块，确定所述目标图像块中的纹理复制区域；
确定与所述目标图像块的纹理相似的目标纹理；
将所述目标纹理复制至所述纹理复制区域，得到预处理后的目标图像块。
在一种可能的实现方式中，所述第一修复模块用于：
对所述目标图像块中的待修复区域和所述第二边缘图像块中的边缘所在区域进行形态学操作，确定所述目标图像块中的目标修复区域，其中，所述待修复区域表示所述目标图像块中属于损坏区域中的未修复区域的区域；
将所述待修复区域中所述目标修复区域以外的区域确定为纹理复制区域。
在一种可能的实现方式中，所述第一修复模块用于：
对所述目标图像块中的待修复区域进行腐蚀操作，得到第一掩码区域；
对所述第二边缘图像块中的边缘所在区域进行膨胀操作，得到第二掩码区域；
将所述第一掩码区域和所述第二掩码区域的并集确定为所述目标图像块中的目标修复区域。
在一种可能的实现方式中，所述第一确定模块用于：
响应于所述目标图像的损坏区域中存在未修复区域，在所述未修复区域中确定目标位置；
根据所述目标位置，从所述目标图像中确定待修复的目标图像块，其中，所述目标图像块包含所述目标位置。
在一种可能的实现方式中，所述第一确定模块用于：
将所述未修复区域的边缘的任意一点确定为目标位置。
在一种可能的实现方式中，所述第一确定模块用于：
以所述目标位置为几何中心，从所述目标图像中裁剪出第一预设尺寸的图像块作为待修复的目标图像块。
在一种可能的实现方式中，所述装置还包括：
裁剪模块，用于以所述目标位置为几何中心，从所述修复图像块中裁剪出第二预设尺寸的图像块作为替换图像块，其中，所述第二预设尺寸小于所述第一预设尺寸；
替换模块，用于采用所述替换图像块替换所述目标图像中相应位置的图像块。
在一种可能的实现方式中，所述装置还包括：
对象识别模块，用于对所述目标图像进行预设类型的对象识别，确定所述目标图像中的预设类型的对象所在区域，并将所述预设类型的对象所在区域作为所述目标图像中的损坏区域。
在一种可能的实现方式中，所述装置还包括：
预测模块，用于将所述目标图像输入预先训练的第二神经网络，经由所述第二神经网络预测所述目标图像中的损坏区域，其中，所述第二神经网络是预先根据多个图像以及与多个图像一一对应的损坏区域的标注数据训练的。
在一种可能的实现方式中，所述目标图像为水墨画图像。
根据本公开的一方面，提供了一种电子设备，包括：一个或多个处理器；用于存储可执行指令的存储器；其中，所述一个或多个处理器被配置为调用所述存储器存储的可执行指令，以执行上述方法。
根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。
在本公开实施例中，基于待修复的目标图像得到训练图像集，采用所述训练图像集训练第一神经网络，通过对目标图像进行边缘提取，得到目标图像对应的边缘图像，确定目标图像中待修复的目标图像块，在所述边缘图像中，确定目标图像块对应的第一边缘图像块，并采用预先训练的第一神经网络对目标图像块和第一边缘图像块进行处理，得到目标图像块对应的修复图像块，由此针对用于对目标图像进行修复的第一神经网络，仅采用基于目标图像得到的训练图像进行训练，从而能够解决图像的不同创作者(例如不同画家、不同拍摄者等)之间存在创作风格差异的问题，能够使目标图像的修复效果与目标图像的原风格相符，使修复效果更自然，且无需获取复杂、大规模的训练数据集用于第一神经网络的训练。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1示出本公开实施例提供的图像修复方法的流程图。
图2示出本公开实施例提供的图像修复装置的框图。
图3示出本公开实施例提供的一种电子设备800的框图。
图4示出本公开实施例提供的一种电子设备1900的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
在本公开实施例中，基于待修复的目标图像得到训练图像集，采用所述训练图像集训练第一神经网络，通过对目标图像进行边缘提取，得到目标图像对应的边缘图像，确定目标图像中待修复的目标图像块，在所述边缘图像中，确定目标图像块对应的第一边缘图像块，并采用预先训练的第一神经网络对目标图像块和第一边缘图像块进行处理，得到目标图像块对应的修复图像块，由此针对用于对目标图像进行修复的第一神经网络，仅采用基于目标图像得到的训练图像进行训练，从而能够解决图像的不同创作者(例如不同画家、不同拍摄者等)之间存在创作风格差异的问题，能够使目标图像的修复效果与目标图像的原风格相符，使修复效果更自然，且无需获取复杂、大规模的训练数据集用于第一神经网络的训练。
下面结合附图对本公开实施例提供的图像修复方法进行详细的说明。图1示出本公开实施例提供的图像修复方法的流程图。在一种可能的实现方式中，所述图像修复方法可以由终端设备或服务器或其它处理设备执行。其中，终端设备可以是用户设备(UserEquipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(PersonalDigital Assistant，PDA)、手持设备、计算设备、车载设备或者可穿戴设备等。在一些可能的实现方式中，所述图像修复方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。如图1所示，所述图像修复方法包括步骤S11至步骤S14。
在步骤S11中，对待修复的目标图像进行边缘提取，得到所述目标图像对应的边缘图像。
在步骤S12中，确定所述目标图像中待修复的目标图像块。
在步骤S13中，在所述边缘图像中，确定所述目标图像块对应的第一边缘图像块。
在步骤S14中，采用预先训练的第一神经网络对所述目标图像块和所述第一边缘图像块进行处理，得到所述目标图像块对应的修复图像块，其中，所述第一神经网络是预先采用训练图像集训练得到的，所述训练图像集中的训练图像是基于所述目标图像得到的。
在本公开实施例中，目标图像可以为需要进行图像修复的任意图像。例如，目标图像的类型可以是绘画、照片、影视画面等等。
在一种可能的实现方式中，所述目标图像为水墨画图像。其中，水墨画图像可以表示图像内容为水墨画的图像。对于水墨画而言，不同画家之间存在艺术创作风格的差异。在该实现方式中，仅基于待修复的水墨画图像得到训练图像集，并基于该训练图像集进行第一神经网络的训练，以使第一神经网络基于待修复的水墨画图像自身进行特征学习，由此能够解决水墨画的不同画家之间艺术创作风格存在差异的问题，能够使该水墨画图像的修复效果与该水墨画图像的原风格相符，修复效果更自然，且无需大规模的水墨画图像数据支持神经网络的训练。
在本公开实施例中，可以采用Canny算子、Sobel算子等对目标图像进行边缘提取，得到目标对象对应的边缘图像。其中，不对边缘提取的具体方法进行限定。边缘图像的尺寸可以与目标图像的尺寸相同。在一种可能的实现方式中，边缘图像可以为二值图像，例如，边缘图像中属于边缘的像素的值可以为0，不属于边缘的像素的值可以为255，即，边缘图像中属于边缘的部分可以为黑色，不属于边缘的部分可以为白色。
在本公开实施例中，目标图像块可以表示目标图像中待修复的图像块。在本公开实施例中，可以每次仅修复一个图像块，在修复完成一个图像块之后，再修复另一个图像块。即，在本公开实施例中，每次可以仅从目标图像中确定一个待修复的目标图像块。当然，也可以同时修复两个以上图像块，在此不做限定。
在本公开实施例中，目标图像块和第一边缘图像块为目标图像和边缘图像中相同位置的图像块，且目标图像块与第一边缘图像块的尺寸相同。例如，目标图像块和第一边缘图像块的尺寸均为第一预设尺寸。例如，第一预设尺寸为256×256。在本公开实施例中，通过结合第一边缘图像块进行目标图像块的修复，由此能够利用目标图像块中的结构信息进行目标图像块的修复，从而能够获得更好的修复效果。
在本公开实施例中，第一神经网络可以是基于深度学习的神经网络。例如，第一神经网络可以采用生成对抗网络。通过采用生成对抗网络，可以利用生成对抗网络的强大的无监督学习能力针对目标图像进行特征学习。当然，本领域技术人员可以根据实际应用场景需求灵活选择第一神经网络的类型，在此不做限定。
在本公开实施例中，用于训练第一神经网络的训练图像集中的所有训练图像均是基于目标图像得到的，即，第一神经网络的训练不依赖于目标图像以外的图像。相关技术中，在训练用于图像修复的神经网络时，通常采用大量不同的图像训练神经网络，这样训练得到的神经网络对于某一特定的待修复图像而言，难以获得较自然的修复效果。在本公开实施例中，对于用于修复目标图像的第一神经网络，仅基于目标图像得到训练图像集，并基于该训练图像集进行第一神经网络的训练，以使第一神经网络基于目标图像自身进行特征学习，由此能够解决图像的不同创作者之间创作风格存在差异的问题，能够使目标图像的修复效果与目标图像的原风格相符，使修复效果更自然，且无需获取复杂、大规模的训练数据集用于第一神经网络的训练。
在一种可能的实现方式中，所述训练图像集包括多个训练图像对，所述多个训练图像对中的任一训练图像对包括原图样本和边图样本，其中，所述原图样本是从所述目标图像中裁剪出的图像样本，所述边图样本是从所述边缘图像中裁剪出的图像样本，且属于同一训练图像对的所述原图样本和所述边图样本对应于相同的裁剪位置；在所述采用预先训练的第一神经网络对所述目标图像块和所述第一边缘图像块进行处理之前，所述方法还包括：对于所述多个训练图像对中的任一训练图像对，对所述原图样本和所述边图样本进行损坏处理，得到所述原图样本对应的原图损坏样本和所述边图样本对应的边图损坏样本；将所述原图损坏样本和所述边图损坏样本输入所述第一神经网络，经由所述第一神经网络得到所述原图损坏样本对应的原图修复样本；根据所述原图修复样本与所述原图样本之间的差异，训练所述第一神经网络。
其中，原图样本的尺寸小于目标图像的尺寸，边图样本的尺寸小于边缘图像的尺寸，且原图样本的尺寸与边图样本的尺寸相同。原图损坏样本可以表示对原图样本进行损坏处理后得到的图像样本，原图损坏样本的尺寸可以与原图样本的尺寸相同。边图损坏样本可以表示对边图样本进行损坏处理后得到的图像样本，边图损坏样本的尺寸可以与边图样本的尺寸相同。原图修复样本可以表示第一神经网络基于原图损坏样本和边图损坏样本修复得到的图像样本，原图修复样本的尺寸可以与原图损坏样本的尺寸相同。
在该实现方式中，可以从目标图像和边缘图像中裁剪出多对原图样本和边图样本，每一对原图样本和边图样本组成一个训练图像对。其中，相应的原图样本和边图样本(即属于同一训练图像对的原图样本和边图样本)为目标图像和所述边缘图像中相同位置的图像块。原图样本和边图样本的尺寸可以均为第一预设尺寸。在该实现方式中，针对任一训练图像对，对原图样本和边图样本进行损坏处理，可以指对原图样本和边图样本中相同位置的像素进行损坏处理。其中，对原图样本和边图样本中相同位置的像素进行损坏处理，可以包括以下任意一项：将原图样本和边图样本中相同位置的像素的像素值修改为255，将原图样本和边图样本中相同位置的像素的像素值置为空，将原图样本和边图样本中相同位置的像素的像素值置为无效。当然，也可以采用其他方法对原图样本和边图样本中相同位置的像素进行损坏处理，在此不做限定。
在该实现方式中，通过基于目标图像实现训练图像的数据增广，并基于由目标图像进行数据增广得到的训练图像进行无监督学习，由此能够使第一神经网络学习到目标图像的特征，从而能够使第一神经网络学习到针对目标图像进行图像修复的能力。
作为该实现方式的一个示例，所述对所述原图样本和所述边图样本进行损坏处理，得到所述原图样本对应的原图损坏样本和所述边图样本对应的边图损坏样本，包括：生成所述原图样本和所述边图样本对应的掩码；采用所述掩码对所述原图样本进行掩码操作，得到所述原图样本对应的原图损坏样本；采用所述掩码对所述边图样本进行掩码操作，得到所述边图样本对应的边图损坏样本。在该示例中，所述掩码可以是掩码图像、二维矩阵等数据形式，在此不做限定。在一个例子中，所述掩码中的掩码区域的面积与原图样本的面积之间的比值小于或等于预设比例。例如，预设比例可以为20％。当然，本领域技术人员可以根据实际应用场景需求灵活设置预设比例，在此不做限定。其中，在所述掩码中，掩码区域的值可以为1，非掩码区域的值可以为0。掩码区域可以对应于原图样本和边图样本中需要进行损坏处理的区域，非掩码区域可以对应于原图样本和边图样本中不需要进行损坏处理的区域。采用所述掩码对原图样本进行掩码操作，可以表示对原图样本中掩码区域对应的图像区域进行损坏处理；采用所述掩码对边图样本进行掩码操作，可以表示对边图样本中掩码区域对应的图像区域进行损坏处理。在原图损失样本和边图损坏样本中，掩码区域对应的图像区域的像素值可以均为255。当然，也可以是其他值，在此不做限定。通过采用该示例得到原图损坏样本和边图损坏样本，由此能够基于无监督学习实现第一神经网络的训练。
作为该实现方式的一个示例，所述将所述原图损坏样本和所述边图损坏样本输入所述第一神经网络，经由所述第一神经网络得到所述原图损坏样本对应的原图修复样本，包括：将所述边图损坏样本输入所述第一神经网络的第一子网络，经由所述第一子网络得到所述边图损坏样本对应的边图修复样本；将所述原图损坏样本和所述边图修复样本输入所述第一神经网络的第二子网络，经由所述第二子网络得到所述原图损坏样本对应的原图修复样本。其中，边图修复样本可以表示第一子网络基于边图损坏样本修复得到的图像样本，边图修复样本的尺寸可以与边图损坏样本的尺寸相同。在该示例中，第一神经网络包括第一子网络和第二子网络，其中，两个子网络可以联合训练、共同优化，从而可以获得更好的训练效果。当然，两个子网络也可以分开训练。在该示例中，第一子网络可以用于边缘结构的修复，第二子网络可以结合修复得到的边缘结构信息进行纹理修复，从而能够获得更好的修复效果。
在一个例子中，所述根据所述原图修复样本与所述原图样本之间的差异，训练所述第一神经网络，包括：根据所述原图修复样本与所述原图样本之间的差异，以及所述边图修复样本与所述边图样本之间的差异，训练所述第一神经网络。在这个例子中，可以根据原图修复样本与原图样本之间的差异，以及边图修复样本与边图样本之间的差异，得到损失函数，并采用该损失函数训练第一神经网络。在这个例子中，在训练第一神经网络时，不仅考虑第二子网络输出的原图修复样本与原图样本之间的差异，还考虑第一子网络输出的边图修复样本与边图样本之间的差异，从而有助于进一步提高第一神经网络的修复效果。
在另一个例子中，可以不考虑所述边图修复样本与所述边图样本之间的差异，仅根据所述原图修复样本与所述原图样本之间的差异，训练第一神经网络。
在另一种可能的实现方式中，在训练第一神经网络时，可以不对目标图像和边缘图像进行裁剪。例如，可以对目标图像和边缘图像进行多次随机损坏处理，得到损坏区域不同的多组目标图像和边缘图像，并基于由此得到的多组损坏后的目标图像和边缘图像进行第一神经网络的训练。
在其他可能的实现方式中，还可以基于目标图像，采用其他用于图像的数据增广方法，得到所述训练图像集中的训练图像。例如，还可以对目标图像进行旋转、镜像、缩放、高斯噪声等中的至少一种处理，以进行数据增广，在此不做限定。
在本公开实施例中，第一神经网络训练的迭代次数可以由人为根据训练效果决定，或者，第一神经网络的迭代次数可以是预设次数。
在本公开实施例中，目标图像块与其对应的修复图像块相比，可以只有属于未修复区域的部分不同。即，第一神经网络可以仅对目标图像块中属于未修复区域的部分进行修复。其中，未修复区域可以表示目标图像中属于损坏区域且尚未被修复的区域，即，未修复区域可以表示目标图像中属于损坏区域且尚未被修复图像块或者替换图像块替换的区域。
在一种可能的实现方式中，所述采用预先训练的第一神经网络对所述目标图像块和所述第一边缘图像块进行处理，得到所述目标图像块对应的修复图像块，包括：将所述第一边缘图像块输入预先训练的第一神经网络的第一子网络，经由所述第一子网络得到所述第一边缘图像块对应的第二边缘图像块；采用所述第一神经网络的第二子网络对所述目标图像块和所述第二边缘图像块进行处理，得到所述目标图像块对应的修复图像块。其中，第二边缘图像块可以表示第一子网络对第一边缘图像块修复得到的图像块。第二边缘图像块的尺寸可以与第一边缘图像块的尺寸相同，例如，第二边缘图像块的尺寸和第一边缘图像块的尺寸可以均为256×256。在该实现方式中，第一子网络可以用于进行目标图像块的边缘结构的修复，第二子网络可以结合修复得到的边缘结构信息进行目标图像块的纹理修复，从而能够针对目标图像获得更好的修复效果。例如，目标图像为水墨画图像，针对水墨画的写意手法特征，可以先采用第一子网络进行边缘结构修复，再基于修复得到的边缘结构信息和水墨画图像原图进行纹理修复，由此能够先聚焦于画作的笔触和结构风格进行结构修复，再进行纹理修复，从而能够获得更自然的修复效果。
作为该实现方式的一个示例，所述采用所述第一神经网络的第二子网络对所述目标图像块和所述第二边缘图像块进行处理，得到所述目标图像块对应的修复图像块，包括：对所述目标图像块进行预处理，得到预处理后的目标图像块；将所述预处理后的目标图像块和所述第二边缘图像块输入所述第一神经网络的第二子网络，经由所述第二子网络得到所述目标图像块对应的修复图像块。在示例中，可以采用纹理复制、形态学操作、去噪、平滑处理等中的至少一种图像处理方法，对目标图像块进行预处理。通过对目标图像块进行预处理，得到预处理后的目标图像块，并将预处理后的目标图像块和第二边缘图像块输入第二子网络，经由第二子网络得到目标图像块对应的修复图像块，由此有助于获得更好的修复效果。
在一个示例中，所述对所述目标图像块进行预处理，得到预处理后的目标图像块，包括：根据所述目标图像块和所述第二边缘图像块，确定所述目标图像块中的纹理复制区域；确定与所述目标图像块的纹理相似的目标纹理；将所述目标纹理复制至所述纹理复制区域，得到预处理后的目标图像块。在该示例中，纹理复制区域可以表示目标图像块的待修复区域中，不通过第二子网络进行修复、而通过纹理复制进行修复的区域。在该示例中，可以从纹理库中，确定与目标图像块的纹理相似的目标纹理。其中，目标纹理可以是纹理库中与目标图像块的纹理相似的目标纹理，或者，目标纹理可以是纹理库中与基于目标图像块生成的纹理相似的纹理。其中，纹理库中的纹理可以根据目标图像生成的。例如，可以根据目标图像中的多个图像块的纹理，分别生成更多的纹理。例如，在纹理库中，若基于第一图像块生成的纹理与基于目标图像块生成的纹理的相似度最高，则可以将基于第一图像块生成的纹理作为目标纹理，其中，第一图像块表示目标图像中的任一图像块。在该示例中，通过对目标图像块的待修复区域中的部分区域采用纹理复制的方式进行修复，能够减少由于神经网络一次性修复较大块的区域所造成的瑕疵，从而能够使整体修复效果更自然。
在一个例子中，所述根据所述目标图像块和所述第二边缘图像块，确定所述目标图像块中的纹理复制区域，包括：对所述目标图像块中的待修复区域和所述第二边缘图像块中的边缘所在区域进行形态学操作，确定所述目标图像块中的目标修复区域，其中，所述待修复区域表示所述目标图像块中属于损坏区域中的未修复区域的区域；将所述待修复区域中所述目标修复区域以外的区域确定为纹理复制区域。其中，所述待修复区域为所述目标图像块的子区域，即，所述目标图像块包含所述待修复区域，所述待修复区域的面积小于或等于所述目标图像块的面积。并且，所述待修复区域属于目标图像的损坏区域中的未修复区域，即，所述待修复区域为所述未修复区域的子区域，所述待修复区域的面积小于或等于所述未修复区域的面积。在这个例子中，对目标图像块中的待修复区域和第二边缘图像块中的边缘所在区域所进行的形态学操作，可以包括腐蚀操作、膨胀操作、开运算、闭运算等中的至少之一。在这个例子中，通过对目标图像块中的待修复区域和第二边缘图像块中的边缘所在区域进行形态学操作，确定目标图像块中的目标修复区域，将待修复区域中目标修复区域以外的区域确定为纹理复制区域，通过第二子网络对目标修复区域进行修复，通过纹理复制对纹理复制区域进行修复，从而能够控制每次通过第二子网络修复的区域的大小，能够实现更精细化的修复。
例如，所述对所述目标图像块中的待修复区域和所述第二边缘图像块中的边缘所在区域进行形态学操作，确定所述目标图像块中的目标修复区域，包括：对所述目标图像块中的待修复区域进行腐蚀操作，得到第一掩码区域；对所述第二边缘图像块中的边缘所在区域进行膨胀操作，得到第二掩码区域；将所述第一掩码区域和所述第二掩码区域的并集确定为所述目标图像块中的目标修复区域。例如，可以进行5×5的腐蚀操作，在此不做限定。第一掩码区域可以表示对待修复区域进行腐蚀操作得到的区域。第二掩码区域可以表示对第二边缘图像块中的边缘所在区域进行膨胀操作得到的区域。根据这个例子，能够控制每次通过第二子网络修复的区域的大小，能够实现更精细化的修复。另外，通过将第一掩码区域和第二掩码区域的并集确定为目标图像块中的目标修复区域，能够使修复效果更为自然。
在另一个例子中，所述根据所述目标图像块和所述第二边缘图像块，确定所述目标图像块中的纹理复制区域，包括：对所述目标图像块中的待修复区域进行形态学操作，确定所述目标图像块中的目标修复区域；将所述待修复区域中所述目标修复区域以外的区域确定为纹理复制区域。例如，可以对所述目标图像块中的待修复区域进行腐蚀操作，得到所述目标图像块中的目标修复区域。
作为该实现方式的另一个示例，所述采用所述第一神经网络的第二子网络对所述目标图像块和所述第二边缘图像块进行处理，得到所述目标图像块对应的修复图像块，包括：将所述目标图像块和所述第二边缘图像块输入第二子网络，经由第二子网络得到所述目标图像块对应的修复图像块。在该示例中，可以不对目标图像块进行预处理得到预处理后的目标图像块。
在一种可能的实现方式中，所述确定所述目标图像中待修复的目标图像块，包括：响应于所述目标图像的损坏区域中存在未修复区域，在所述未修复区域中确定目标位置；根据所述目标位置，从所述目标图像中确定待修复的目标图像块，其中，所述目标图像块包含所述目标位置。其中，所述目标图像的损坏区域中存在未修复区域，可以表示所述目标图像的损坏区域中尚未被修复的区域的面积不为0。在该实现方式中，在目标图像的损坏区域中存在未修复区域的情况下，在未修复区域中确定目标位置，并基于目标位置从目标图像中确定待修复的目标图像块，由此能够针对未修复区域进行修复，提高修复效率。
作为该实现方式的一个示例，所述在所述未修复区域中确定目标位置，包括：将所述未修复区域的边缘的任意一点确定为目标位置。在该示例中，通过将未修复区域的边缘的任意一点作为目标位置，并基于目标位置从目标图像中确定待修复的目标图像块，由此从外向里逐步修复未修复区域，有助于进一步提高修复效果。
在其他示例中，还可以将未修复区域中的任意一点作为目标位置。
作为该实现方式的一个示例，所述根据所述目标位置，从所述目标图像中确定待修复的目标图像块，包括：以所述目标位置为几何中心，从所述目标图像中裁剪出第一预设尺寸的图像块作为待修复的目标图像块。根据该示例裁剪出目标图像块，有助于使目标图像块中需要修复的区域的面积和不需要修复的区域的面积大致接近，从而有助于权衡修复效率和修复效果。
当然，在其他示例中，目标位置也可以不为目标图像块的几何中心，只要目标图像块包含目标位置即可。
在一个例子中，在所述得到所述目标图像块对应的修复图像块之后，所述方法还包括：以所述目标位置为几何中心，从所述修复图像块中裁剪出第二预设尺寸的图像块作为替换图像块，其中，所述第二预设尺寸小于所述第一预设尺寸；采用所述替换图像块替换所述目标图像中相应位置的图像块。例如，第二预设尺寸可以为64×64。其中，替换图像块可以包括由第二子网络修复得到的部分和/或通过纹理复制得到的部分。在这个例子中，通过以目标位置为几何中心，从修复图像块中裁剪出第二预设尺寸的图像块作为替换图像块，并采用替换图像块替换目标图像中相应位置的图像块，由此能够实现更精细化的修复，进一步提高修复效果。
其中，采用替换图像块替换目标图像中相应位置的图像块后，目标图像的损坏区域中的未修复区域的范围将缩小，或者，将不再存在未修复区域(即损坏区域全部被修复)。
作为该实现方式的一个示例，在所述响应于所述目标图像的损坏区域中存在未修复区域，在所述未修复区域中确定目标位置之前，所述方法还包括：对所述目标图像进行预设类型的对象识别，确定所述目标图像中的预设类型的对象所在区域，并将所述预设类型的对象所在区域作为所述目标图像中的损坏区域。例如，预设类型的对象可以是人物等用户希望从目标图像中去除的对象。根据该示例，能够从目标图像中去除预设类型的对象，并能够针对预设类型的对象所在区域获得较自然的修复效果。例如，可以对水墨画图像中的人物等与预设类型的对象进行去除，以为后续的文化创意需求提供基础。
作为该实现方式的另一个示例，在所述响应于所述目标图像的损坏区域中存在未修复区域，在所述未修复区域中确定目标位置之前，所述方法还包括：将所述目标图像输入预先训练的第二神经网络，经由所述第二神经网络预测所述目标图像中的损坏区域，其中，所述第二神经网络是预先根据多个图像以及与多个图像一一对应的损坏区域的标注数据训练的。例如，可以采用人工标定了损坏区域的多个不同的图像训练第二神经网络，从而使第二神经网络学习到预测图像中的损坏区域的能力。通过将目标图像输入预先训练的第二神经网络，经由第二神经网络预测目标图像中的损坏区域，由此能够提高所确定的损坏区域的准确性，并能提高确定损坏区域的速度，节省图像修复时间。
本公开实施例提供的图像修复方法不仅可以用于各种不同类型的图像修复，还可以辅助艺术创作和历史艺术文化研究。下面通过一个具体的应用场景说明本公开实施例提供的图像修复方法。在该应用场景中，目标图像为目标水墨画图像。可以先对目标水墨画图像进行边缘提取，得到目标水墨画图像对应的边缘图像。
可以先基于目标水墨画图像，训练用于对目标水墨画图像进行修复的第一神经网络。其中，第一神经网络可以为生成对抗网络，第一神经网络可以包括第一子网络和第二子网络。可以从目标水墨画图像和边缘图像中的相同位置裁剪出256×256的原图样本和边图样本。可以生成原图样本和边图样本对应的掩码，采用该掩码对原图样本进行掩码操作，得到原图样本对应的原图损坏样本，并采用该掩码对边图样本进行掩码操作，得到边图样本对应的边图损坏样本。可以将边图损坏样本输入第一子网络，经由第一子网络得到边图损坏样本对应的边图修复样本。在得到边图修复样本之后，可以将原图损坏样本和边图修复样本输入第二子网络，经由第二子网络得到原图损坏样本对应的原图修复样本。可以根据原图修复样本与原图样本之间的差异，以及边图修复样本与边图样本之间的差异，训练第一神经网络，其中，第一子网络和第二子网络可以联合训练。
在第一神经网络训练完成后，可以采用预先训练的用于确定图像中的损坏区域的第二神经网络，确定目标水墨画图像中的损坏区域。可以以损坏区域的边缘的任意一点为几何中心，从目标水墨画图像中裁剪出256×256的图像块作为本次待修复的目标图像块。可以在边缘图像中，确定目标图像块对应的第一边缘图像块。可以将第一边缘图像块输入第一子网络，经由第一子网络得到第一边缘图像块对应的第二边缘图像块。可以对目标图像块中的待修复区域进行腐蚀操作，得到第一掩码区域，对第二边缘图像块中的边缘所在区域进行膨胀操作，得到第二掩码区域，并可以将第一掩码区域和第二掩码区域的并集确定为目标图像块中的目标修复区域，其中，待修复区域可以表示目标图像块中属于损坏区域的区域。可以将待修复区域中目标修复区域以外的区域确定为纹理复制区域。对纹理复制区域进行纹理复制，可以得到预处理后的目标图像块。可以将预处理后的目标图像块和第二边缘图像块输入第二子网络，经由第二子网络得到目标图像块对应的修复图像块。可以以修复图像块的几何中心为几何中心，裁剪出64×64的图像块作为替换图像块，并采用替换图像块替换目标水墨画图像中相应位置的图像块。
在损坏区域中存在未修复区域的情况下，可以以未修复区域的边缘的任意一点为几何中心，从目标水墨画图像中裁剪出256×256的图像块作为本次待修复的目标图像块。可以在边缘图像中，确定目标图像块对应的第一边缘图像块。可以将第一边缘图像块输入第一子网络，经由第一子网络得到第一边缘图像块对应的第二边缘图像块。可以对目标图像块中的待修复区域进行腐蚀操作，得到第一掩码区域，对第二边缘图像块中的边缘所在区域进行膨胀操作，得到第二掩码区域，并可以将第一掩码区域和第二掩码区域的并集确定为目标图像块中的目标修复区域，其中，待修复区域可以表示目标图像块中属于未修复区域的区域。可以将待修复区域中目标修复区域以外的区域确定为纹理复制区域。对纹理复制区域进行纹理复制，可以得到预处理后的目标图像块。可以将预处理后的目标图像块和第二边缘图像块输入第二子网络，经由第二子网络得到目标图像块对应的修复图像块。可以以修复图像块的几何中心为几何中心，裁剪出64×64的图像块作为替换图像块，并采用替换图像块替换目标水墨画图像中相应位置的图像块。可以重复以上步骤，直至损坏区域中不再存在未修复区域(即损坏区域全部被修复)。
可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
此外，本公开还提供了图像修复装置、电子设备、计算机可读存储介质、程序，上述均可用来实现本公开提供的任一种图像修复方法，相应技术方案和技术效果可参见方法部分的相应记载，不再赘述。
图2示出本公开实施例提供的图像修复装置的框图。如图2所示，所述图像修复装置包括：
边缘提取模块21，用于对待修复的目标图像进行边缘提取，得到所述目标图像对应的边缘图像；
第一确定模块22，用于确定所述目标图像中待修复的目标图像块；
第二确定模块23，用于在所述边缘图像中，确定所述目标图像块对应的第一边缘图像块；
第一修复模块24，用于采用预先训练的第一神经网络对所述目标图像块和所述第一边缘图像块进行处理，得到所述目标图像块对应的修复图像块，其中，所述第一神经网络是预先采用训练图像集训练得到的，所述训练图像集中的训练图像是基于所述目标图像得到的。
在一种可能的实现方式中，所述训练图像集包括多个训练图像对，所述多个训练图像对中的任一训练图像对包括原图样本和边图样本，其中，所述原图样本是从所述目标图像中裁剪出的图像样本，所述边图样本是从所述边缘图像中裁剪出的图像样本，且属于同一训练图像对的所述原图样本和所述边图样本对应于相同的裁剪位置；
所述装置还包括：
损坏处理模块，用于对于所述多个训练图像对中的任一训练图像对，对所述原图样本和所述边图样本进行损坏处理，得到所述原图样本对应的原图损坏样本和所述边图样本对应的边图损坏样本；
第二修复模块，用于将所述原图损坏样本和所述边图损坏样本输入所述第一神经网络，经由所述第一神经网络得到所述原图损坏样本对应的原图修复样本；
训练模块，用于根据所述原图修复样本与所述原图样本之间的差异，训练所述第一神经网络。
在一种可能的实现方式中，所述损坏处理模块用于：
生成所述原图样本和所述边图样本对应的掩码；
采用所述掩码对所述原图样本进行掩码操作，得到所述原图样本对应的原图损坏样本；
采用所述掩码对所述边图样本进行掩码操作，得到所述边图样本对应的边图损坏样本。
在一种可能的实现方式中，所述第二修复模块用于：
将所述边图损坏样本输入所述第一神经网络的第一子网络，经由所述第一子网络得到所述边图损坏样本对应的边图修复样本；
将所述原图损坏样本和所述边图修复样本输入所述第一神经网络的第二子网络，经由所述第二子网络得到所述原图损坏样本对应的原图修复样本。
在一种可能的实现方式中，所述训练模块用于：
根据所述原图修复样本与所述原图样本之间的差异，以及所述边图修复样本与所述边图样本之间的差异，训练所述第一神经网络。
在一种可能的实现方式中，所述第一修复模块24用于：
将所述第一边缘图像块输入预先训练的第一神经网络的第一子网络，经由所述第一子网络得到所述第一边缘图像块对应的第二边缘图像块；
采用所述第一神经网络的第二子网络对所述目标图像块和所述第二边缘图像块进行处理，得到所述目标图像块对应的修复图像块。
在一种可能的实现方式中，所述第一修复模块24用于：
对所述目标图像块进行预处理，得到预处理后的目标图像块；
将所述预处理后的目标图像块和所述第二边缘图像块输入所述第一神经网络的第二子网络，经由所述第二子网络得到所述目标图像块对应的修复图像块。
在一种可能的实现方式中，所述第一修复模块24用于：
根据所述目标图像块和所述第二边缘图像块，确定所述目标图像块中的纹理复制区域；
确定与所述目标图像块的纹理相似的目标纹理；
将所述目标纹理复制至所述纹理复制区域，得到预处理后的目标图像块。
在一种可能的实现方式中，所述第一修复模块24用于：
对所述目标图像块中的待修复区域和所述第二边缘图像块中的边缘所在区域进行形态学操作，确定所述目标图像块中的目标修复区域，其中，所述待修复区域表示所述目标图像块中属于损坏区域中的未修复区域的区域；
将所述待修复区域中所述目标修复区域以外的区域确定为纹理复制区域。
在一种可能的实现方式中，所述第一修复模块24用于：
对所述目标图像块中的待修复区域进行腐蚀操作，得到第一掩码区域；
对所述第二边缘图像块中的边缘所在区域进行膨胀操作，得到第二掩码区域；
将所述第一掩码区域和所述第二掩码区域的并集确定为所述目标图像块中的目标修复区域。
在一种可能的实现方式中，所述第一确定模块22用于：
响应于所述目标图像的损坏区域中存在未修复区域，在所述未修复区域中确定目标位置；
根据所述目标位置，从所述目标图像中确定待修复的目标图像块，其中，所述目标图像块包含所述目标位置。
在一种可能的实现方式中，所述第一确定模块22用于：
将所述未修复区域的边缘的任意一点确定为目标位置。
在一种可能的实现方式中，所述第一确定模块22用于：
以所述目标位置为几何中心，从所述目标图像中裁剪出第一预设尺寸的图像块作为待修复的目标图像块。
在一种可能的实现方式中，所述装置还包括：
裁剪模块，用于以所述目标位置为几何中心，从所述修复图像块中裁剪出第二预设尺寸的图像块作为替换图像块，其中，所述第二预设尺寸小于所述第一预设尺寸；
替换模块，用于采用所述替换图像块替换所述目标图像中相应位置的图像块。
在一种可能的实现方式中，所述装置还包括：
对象识别模块，用于对所述目标图像进行预设类型的对象识别，确定所述目标图像中的预设类型的对象所在区域，并将所述预设类型的对象所在区域作为所述目标图像中的损坏区域。
在一种可能的实现方式中，所述装置还包括：
预测模块，用于将所述目标图像输入预先训练的第二神经网络，经由所述第二神经网络预测所述目标图像中的损坏区域，其中，所述第二神经网络是预先根据多个图像以及与多个图像一一对应的损坏区域的标注数据训练的。
在一种可能的实现方式中，所述目标图像为水墨画图像。
在本公开实施例中，基于待修复的目标图像得到训练图像集，采用所述训练图像集训练第一神经网络，通过对目标图像进行边缘提取，得到目标图像对应的边缘图像，确定目标图像中待修复的目标图像块，在所述边缘图像中，确定目标图像块对应的第一边缘图像块，并采用预先训练的第一神经网络对目标图像块和第一边缘图像块进行处理，得到目标图像块对应的修复图像块，由此针对用于对目标图像进行修复的第一神经网络，仅采用基于目标图像得到的训练图像进行训练，从而能够解决图像的不同创作者(例如不同画家、不同拍摄者等)之间存在创作风格差异的问题，能够使目标图像的修复效果与目标图像的原风格相符，使修复效果更自然，且无需获取复杂、大规模的训练数据集用于第一神经网络的训练。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现和技术效果可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。其中，所述计算机可读存储介质可以是非易失性计算机可读存储介质，或者可以是易失性计算机可读存储介质。
本公开实施例还提出一种计算机程序，包括计算机可读代码，当所述计算机可读代码在电子设备中运行时，所述电子设备中的处理器执行用于实现上述方法。
本公开实施例还提供了一种计算机程序产品，用于存储计算机可读指令，指令被执行时使得计算机执行上述任一实施例提供的图像修复方法的操作。
本公开实施例还提供一种电子设备，包括：一个或多个处理器；用于存储可执行指令的存储器；其中，所述一个或多个处理器被配置为调用所述存储器存储的可执行指令，以执行上述方法。
电子设备可以被提供为终端、服务器或其它形态的设备。
图3示出本公开实施例提供的一种电子设备800的框图。例如，电子设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等终端。
参照图3，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理***，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到电子设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如互补金属氧化物半导体(CMOS)或电荷耦合装置(CCD)图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如无线网络(Wi-Fi)、第二代移动通信技术(2G)、第三代移动通信技术(3G)、***移动通信技术(4G)/通用移动通信技术的长期演进(LTE)、第五代移动通信技术(5G)或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器804，上述计算机程序指令可由电子设备800的处理器820执行以完成上述方法。
图4示出本公开实施例提供的一种电子设备1900的框图。例如，电子设备1900可以被提供为一服务器。参照图4，电子设备1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。
电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理，一个有线或无线网络接口1950被配置为将电子设备1900连接到网络，和一个输入输出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作***，例如微软服务器操作***(Windows ServerTM)，苹果公司推出的基于图形用户界面操作***(Mac OSXTM)，多用户多进程的计算机操作***(UnixTM),自由和开放原代码的类Unix操作***(LinuxTM)，开放原代码的类Unix操作***(FreeBSDTM)或类似。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。
本公开可以是***、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (19)
1.一种图像修复方法，其特征在于，包括：
对待修复的目标图像进行边缘提取，得到所述目标图像对应的边缘图像；
基于所述目标图像和所述边缘图像，得到训练图像集；其中，所述训练图像集包括多个训练图像对，所述多个训练图像对中的任一训练图像对包括原图样本和边图样本，其中，所述原图样本是从所述目标图像中裁剪出的图像样本，所述边图样本是从所述边缘图像中裁剪出的图像样本，且属于同一训练图像对的所述原图样本和所述边图样本对应于相同的裁剪位置；其中，所述训练图像集中的所有训练图像对均是基于所述目标图像和所述边缘图像得到的；
对于所述多个训练图像对中的任一训练图像对，对所述原图样本和所述边图样本进行损坏处理，得到所述原图样本对应的原图损坏样本和所述边图样本对应的边图损坏样本；
将所述原图损坏样本和所述边图损坏样本输入第一神经网络，经由所述第一神经网络得到所述原图损坏样本对应的原图修复样本；
根据所述原图修复样本与所述原图样本之间的差异，训练所述第一神经网络；
确定所述目标图像中待修复的目标图像块；
在所述边缘图像中，确定所述目标图像块对应的第一边缘图像块；
采用预先训练的第一神经网络对所述目标图像块和所述第一边缘图像块进行处理，得到所述目标图像块对应的修复图像块。
2.根据权利要求1所述的方法，其特征在于，所述对所述原图样本和所述边图样本进行损坏处理，得到所述原图样本对应的原图损坏样本和所述边图样本对应的边图损坏样本，包括：
生成所述原图样本和所述边图样本对应的掩码；
采用所述掩码对所述原图样本进行掩码操作，得到所述原图样本对应的原图损坏样本；
采用所述掩码对所述边图样本进行掩码操作，得到所述边图样本对应的边图损坏样本。
3.根据权利要求1所述的方法，其特征在于，所述将所述原图损坏样本和所述边图损坏样本输入第一神经网络，经由所述第一神经网络得到所述原图损坏样本对应的原图修复样本，包括：
将所述边图损坏样本输入所述第一神经网络的第一子网络，经由所述第一子网络得到所述边图损坏样本对应的边图修复样本；
将所述原图损坏样本和所述边图修复样本输入所述第一神经网络的第二子网络，经由所述第二子网络得到所述原图损坏样本对应的原图修复样本。
4.根据权利要求3所述的方法，其特征在于，所述根据所述原图修复样本与所述原图样本之间的差异，训练所述第一神经网络，包括：
根据所述原图修复样本与所述原图样本之间的差异，以及所述边图修复样本与所述边图样本之间的差异，训练所述第一神经网络。
5.根据权利要求1至4中任意一项所述的方法，其特征在于，所述采用预先训练的第一神经网络对所述目标图像块和所述第一边缘图像块进行处理，得到所述目标图像块对应的修复图像块，包括：
将所述第一边缘图像块输入预先训练的第一神经网络的第一子网络，经由所述第一子网络得到所述第一边缘图像块对应的第二边缘图像块；
采用所述第一神经网络的第二子网络对所述目标图像块和所述第二边缘图像块进行处理，得到所述目标图像块对应的修复图像块。
6.根据权利要求5所述的方法，其特征在于，所述采用所述第一神经网络的第二子网络对所述目标图像块和所述第二边缘图像块进行处理，得到所述目标图像块对应的修复图像块，包括：
对所述目标图像块进行预处理，得到预处理后的目标图像块；
将所述预处理后的目标图像块和所述第二边缘图像块输入所述第一神经网络的第二子网络，经由所述第二子网络得到所述目标图像块对应的修复图像块。
7.根据权利要求6所述的方法，其特征在于，所述对所述目标图像块进行预处理，得到预处理后的目标图像块，包括：
根据所述目标图像块和所述第二边缘图像块，确定所述目标图像块中的纹理复制区域；
确定与所述目标图像块的纹理相似的目标纹理；
将所述目标纹理复制至所述纹理复制区域，得到预处理后的目标图像块。
8.根据权利要求7所述的方法，其特征在于，所述根据所述目标图像块和所述第二边缘图像块，确定所述目标图像块中的纹理复制区域，包括：
对所述目标图像块中的待修复区域和所述第二边缘图像块中的边缘所在区域进行形态学操作，确定所述目标图像块中的目标修复区域，其中，所述待修复区域表示所述目标图像块中属于损坏区域中的未修复区域的区域；
将所述待修复区域中所述目标修复区域以外的区域确定为纹理复制区域。
9.根据权利要求8所述的方法，其特征在于，所述对所述目标图像块中的待修复区域和所述第二边缘图像块中的边缘所在区域进行形态学操作，确定所述目标图像块中的目标修复区域，包括：
对所述目标图像块中的待修复区域进行腐蚀操作，得到第一掩码区域；
对所述第二边缘图像块中的边缘所在区域进行膨胀操作，得到第二掩码区域；
将所述第一掩码区域和所述第二掩码区域的并集确定为所述目标图像块中的目标修复区域。
10.根据权利要求1至4中任意一项所述的方法，其特征在于，所述确定所述目标图像中待修复的目标图像块，包括：
响应于所述目标图像的损坏区域中存在未修复区域，在所述未修复区域中确定目标位置；
根据所述目标位置，从所述目标图像中确定待修复的目标图像块，其中，所述目标图像块包含所述目标位置。
11.根据权利要求10所述的方法，其特征在于，所述在所述未修复区域中确定目标位置，包括：
将所述未修复区域的边缘的任意一点确定为目标位置。
12.根据权利要求10所述的方法，其特征在于，所述根据所述目标位置，从所述目标图像中确定待修复的目标图像块，包括：
以所述目标位置为几何中心，从所述目标图像中裁剪出第一预设尺寸的图像块作为待修复的目标图像块。
13.根据权利要求12所述的方法，其特征在于，在所述得到所述目标图像块对应的修复图像块之后，所述方法还包括：
以所述目标位置为几何中心，从所述修复图像块中裁剪出第二预设尺寸的图像块作为替换图像块，其中，所述第二预设尺寸小于所述第一预设尺寸；
采用所述替换图像块替换所述目标图像中相应位置的图像块。
14.根据权利要求10所述的方法，其特征在于，在所述响应于所述目标图像的损坏区域中存在未修复区域，在所述未修复区域中确定目标位置之前，所述方法还包括：
对所述目标图像进行预设类型的对象识别，确定所述目标图像中的预设类型的对象所在区域，并将所述预设类型的对象所在区域作为所述目标图像中的损坏区域。
15.根据权利要求10所述的方法，其特征在于，在所述响应于所述目标图像的损坏区域中存在未修复区域，在所述未修复区域中确定目标位置之前，所述方法还包括：
将所述目标图像输入预先训练的第二神经网络，经由所述第二神经网络预测所述目标图像中的损坏区域，其中，所述第二神经网络是预先根据多个图像以及与多个图像一一对应的损坏区域的标注数据训练的。
16.根据权利要求1至4中任意一项所述的方法，其特征在于，所述目标图像为水墨画图像。
17.一种图像修复装置，其特征在于，包括：
边缘提取模块，用于对待修复的目标图像进行边缘提取，得到所述目标图像对应的边缘图像；基于所述目标图像和所述边缘图像，得到训练图像集；其中，所述训练图像集包括多个训练图像对，所述多个训练图像对中的任一训练图像对包括原图样本和边图样本，其中，所述原图样本是从所述目标图像中裁剪出的图像样本，所述边图样本是从所述边缘图像中裁剪出的图像样本，且属于同一训练图像对的所述原图样本和所述边图样本对应于相同的裁剪位置；其中，所述训练图像集中的所有训练图像对均是基于所述目标图像和所述边缘图像得到的；
损坏处理模块，用于对于所述多个训练图像对中的任一训练图像对，对所述原图样本和所述边图样本进行损坏处理，得到所述原图样本对应的原图损坏样本和所述边图样本对应的边图损坏样本；
第二修复模块，用于将所述原图损坏样本和所述边图损坏样本输入第一神经网络，经由所述第一神经网络得到所述原图损坏样本对应的原图修复样本；
训练模块，用于根据所述原图修复样本与所述原图样本之间的差异，训练所述第一神经网络；
第一确定模块，用于确定所述目标图像中待修复的目标图像块；
第二确定模块，用于在所述边缘图像中，确定所述目标图像块对应的第一边缘图像块；
第一修复模块，用于采用预先训练的第一神经网络对所述目标图像块和所述第一边缘图像块进行处理，得到所述目标图像块对应的修复图像块，其中，所述第一神经网络是预先采用训练图像集训练得到的，所述训练图像集中的训练图像是基于所述目标图像得到的。
18.一种电子设备，其特征在于，包括：
一个或多个处理器；
用于存储可执行指令的存储器；
其中，所述一个或多个处理器被配置为调用所述存储器存储的可执行指令，以执行权利要求1至16中任意一项所述的方法。
19.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至16中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110969546.8A CN113674176B (zh) | 2021-08-23 | 2021-08-23 | 图像修复方法及装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110969546.8A CN113674176B (zh) | 2021-08-23 | 2021-08-23 | 图像修复方法及装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113674176A CN113674176A (zh) | 2021-11-19 |
| CN113674176B true CN113674176B (zh) | 2024-04-16 |
Family
ID=78545327
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110969546.8A Active CN113674176B (zh) | 2021-08-23 | 2021-08-23 | 图像修复方法及装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113674176B (zh) |
Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007306487A (ja) * | 2006-05-15 | 2007-11-22 | Seiko Epson Corp | 欠陥画像検出方法、プログラム及び画像処理装置 |
| CN103886561A (zh) * | 2014-04-09 | 2014-06-25 | 武汉科技大学 | 基于数学形态学的Criminisi图像修复方法 |
| CN107564002A (zh) * | 2017-09-14 | 2018-01-09 | 广东工业大学 | 塑料管表面缺陷检测方法、***及计算机可读存储介质 |
| CN108460746A (zh) * | 2018-04-10 | 2018-08-28 | 武汉大学 | 一种基于结构和纹理分层预测的图像修复方法 |
| CN108961174A (zh) * | 2018-05-24 | 2018-12-07 | 北京飞搜科技有限公司 | 一种图像修复方法、装置以及电子设备 |
| WO2019136772A1 (zh) * | 2018-01-11 | 2019-07-18 | 深圳大学 | 一种模糊图像的复原方法、装置、设备及存储介质 |
| CN110310235A (zh) * | 2019-05-21 | 2019-10-08 | 北京至真互联网技术有限公司 | 眼底图像处理方法、装置及设备和存储介质 |
| CN110675339A (zh) * | 2019-09-16 | 2020-01-10 | 山东师范大学 | 基于边缘修复和内容修复的图像修复方法及*** |
| CN110706179A (zh) * | 2019-09-30 | 2020-01-17 | 维沃移动通信有限公司 | 一种图像处理方法及电子设备 |
| CN110852947A (zh) * | 2019-10-30 | 2020-02-28 | 浙江大学 | 一种基于边缘锐化的红外图像超分辨方法 |
| CN111127346A (zh) * | 2019-12-08 | 2020-05-08 | 复旦大学 | 基于部分到整体注意力机制的多层次图像修复方法 |
| WO2020108358A1 (zh) * | 2018-11-29 | 2020-06-04 | 腾讯科技（深圳）有限公司 | 图像修复方法、装置、计算机设备和存储介质 |
| CN111445415A (zh) * | 2020-03-30 | 2020-07-24 | 北京市商汤科技开发有限公司 | 图像修复方法及装置、电子设备和存储介质 |
| CN111815555A (zh) * | 2020-05-22 | 2020-10-23 | 武汉大学深圳研究院 | 对抗神经网络结合局部二值的金属增材制造图像检测方法及装置 |
| CN111968053A (zh) * | 2020-08-13 | 2020-11-20 | 南京邮电大学 | 基于门控卷积生成对抗网络的图像修复方法 |
| CN112258404A (zh) * | 2020-10-15 | 2021-01-22 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备和存储介质 |
| CN112801923A (zh) * | 2021-04-14 | 2021-05-14 | 江西博微新技术有限公司 | 文字处理方法、***、可读存储介质及计算机设备 |
| CN112837237A (zh) * | 2021-01-28 | 2021-05-25 | 商汤集团有限公司 | 视频修复方法及装置、电子设备和存储介质 |
| CN112884669A (zh) * | 2021-02-25 | 2021-06-01 | 电子科技大学 | 基于多尺度内容注意力机制的图像修复方法、存储介质和终端 |
| CN113128440A (zh) * | 2021-04-28 | 2021-07-16 | 平安国际智慧城市科技股份有限公司 | 基于边缘设备的目标物识别方法、装置、设备及存储介质 |
| CN113240613A (zh) * | 2021-06-07 | 2021-08-10 | 北京航空航天大学 | 一种基于边缘信息重建的图像修复方法 |
-
2021
- 2021-08-23 CN CN202110969546.8A patent/CN113674176B/zh active Active
Patent Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007306487A (ja) * | 2006-05-15 | 2007-11-22 | Seiko Epson Corp | 欠陥画像検出方法、プログラム及び画像処理装置 |
| CN103886561A (zh) * | 2014-04-09 | 2014-06-25 | 武汉科技大学 | 基于数学形态学的Criminisi图像修复方法 |
| CN107564002A (zh) * | 2017-09-14 | 2018-01-09 | 广东工业大学 | 塑料管表面缺陷检测方法、***及计算机可读存储介质 |
| WO2019136772A1 (zh) * | 2018-01-11 | 2019-07-18 | 深圳大学 | 一种模糊图像的复原方法、装置、设备及存储介质 |
| CN108460746A (zh) * | 2018-04-10 | 2018-08-28 | 武汉大学 | 一种基于结构和纹理分层预测的图像修复方法 |
| CN108961174A (zh) * | 2018-05-24 | 2018-12-07 | 北京飞搜科技有限公司 | 一种图像修复方法、装置以及电子设备 |
| WO2020108358A1 (zh) * | 2018-11-29 | 2020-06-04 | 腾讯科技（深圳）有限公司 | 图像修复方法、装置、计算机设备和存储介质 |
| CN110310235A (zh) * | 2019-05-21 | 2019-10-08 | 北京至真互联网技术有限公司 | 眼底图像处理方法、装置及设备和存储介质 |
| CN110675339A (zh) * | 2019-09-16 | 2020-01-10 | 山东师范大学 | 基于边缘修复和内容修复的图像修复方法及*** |
| CN110706179A (zh) * | 2019-09-30 | 2020-01-17 | 维沃移动通信有限公司 | 一种图像处理方法及电子设备 |
| CN110852947A (zh) * | 2019-10-30 | 2020-02-28 | 浙江大学 | 一种基于边缘锐化的红外图像超分辨方法 |
| CN111127346A (zh) * | 2019-12-08 | 2020-05-08 | 复旦大学 | 基于部分到整体注意力机制的多层次图像修复方法 |
| CN111445415A (zh) * | 2020-03-30 | 2020-07-24 | 北京市商汤科技开发有限公司 | 图像修复方法及装置、电子设备和存储介质 |
| CN111815555A (zh) * | 2020-05-22 | 2020-10-23 | 武汉大学深圳研究院 | 对抗神经网络结合局部二值的金属增材制造图像检测方法及装置 |
| CN111968053A (zh) * | 2020-08-13 | 2020-11-20 | 南京邮电大学 | 基于门控卷积生成对抗网络的图像修复方法 |
| CN112258404A (zh) * | 2020-10-15 | 2021-01-22 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备和存储介质 |
| CN112837237A (zh) * | 2021-01-28 | 2021-05-25 | 商汤集团有限公司 | 视频修复方法及装置、电子设备和存储介质 |
| CN112884669A (zh) * | 2021-02-25 | 2021-06-01 | 电子科技大学 | 基于多尺度内容注意力机制的图像修复方法、存储介质和终端 |
| CN112801923A (zh) * | 2021-04-14 | 2021-05-14 | 江西博微新技术有限公司 | 文字处理方法、***、可读存储介质及计算机设备 |
| CN113128440A (zh) * | 2021-04-28 | 2021-07-16 | 平安国际智慧城市科技股份有限公司 | 基于边缘设备的目标物识别方法、装置、设备及存储介质 |
| CN113240613A (zh) * | 2021-06-07 | 2021-08-10 | 北京航空航天大学 | 一种基于边缘信息重建的图像修复方法 |
Non-Patent Citations (6)
| Title |
|---|
| Deep Image Prior;Ulyanov D , Vedaldi A , Lempitsky V;arXiv;20171129;第1-10页 * |
| Generative image inpainting with adversarial edge learning;Nazeri K等;arXiv;第1-17页 * |
| 基于生成对抗网络的文物图像修复与评价;张磬瀚;孙刘杰;王文举;李佳昕;刘丽;;包装工程(第17期);第246-252页 * |
| 张磬瀚 ; 孙刘杰 ; 王文举 ; 李佳昕 ; 刘丽 ; .基于生成对抗网络的文物图像修复与评价.包装工程.2020,(第17期),第246-252页. * |
| 王海燕等.《大足石刻佛教造像脸部虚拟修复》.重庆大学出版社,2019,第75-76页. * |
| 纹理和边缘特征相结合的图像修复算法;任澍, 唐向宏, 康佳伦;计算机辅助设计与图形学学报;20131130;第25卷(第11期);第1682-1693页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113674176A (zh) | 2021-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110889469B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN112419328B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN110348537B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN110287874B (zh) | 目标追踪方法及装置、电子设备和存储介质 | |
| CN111445493B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN109816764B (zh) | 图像生成方法及装置、电子设备和存储介质 | |
| CN111881956B (zh) | 网络训练方法及装置、目标检测方法及装置和电子设备 | |
| CN111553864B (zh) | 图像修复方法及装置、电子设备和存储介质 | |
| CN111753822A (zh) | 文本识别方法及装置、电子设备和存储介质 | |
| CN112465843A (zh) | 图像分割方法及装置、电子设备和存储介质 | |
| CN111340048B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN111414963B (zh) | 图像处理方法、装置、设备和存储介质 | |
| CN109934240B (zh) | 特征更新方法及装置、电子设备和存储介质 | |
| CN111583142B (zh) | 图像降噪方法及装置、电子设备和存储介质 | |
| CN111311588B (zh) | 重定位方法及装置、电子设备和存储介质 | |
| CN112967264A (zh) | 缺陷检测方法及装置、电子设备和存储介质 | |
| CN111445415B (zh) | 图像修复方法及装置、电子设备和存储介质 | |
| CN111369482B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN114066858A (zh) | 模型训练方法及装置、电子设备和存储介质 | |
| CN110415258B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN109840890B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN110633715A (zh) | 图像处理方法、网络训练方法及装置、和电子设备 | |
| CN111553865B (zh) | 图像修复方法及装置、电子设备和存储介质 | |
| CN113538310A (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN112837237A (zh) | 视频修复方法及装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |