CN107993210A - 图像修复方法、装置及计算机可读存储介质 - Google Patents
图像修复方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN107993210A CN107993210A CN201711243443.3A CN201711243443A CN107993210A CN 107993210 A CN107993210 A CN 107993210A CN 201711243443 A CN201711243443 A CN 201711243443A CN 107993210 A CN107993210 A CN 107993210A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- sample image
- repaired
- error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008439 repair process Effects 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012549 training Methods 0.000 claims abstract description 29
- 230000008485 antagonism Effects 0.000 claims description 47
- 238000004590 computer program Methods 0.000 claims description 2
- 230000014509 gene expression Effects 0.000 claims 2
- 230000008901 benefit Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 13
- 230000000007 visual effect Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000000712 assembly Effects 0.000 description 3
- 238000000429 assembly Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本公开是关于一种图像修复方法、装置及计算机可读存储介质。采用该方法对图像进行修复时，首先，根据待修复样本图像、目标样本图像以及全卷积网络输出的结果样本图像，对所述全卷积网络进行训练，得到图像修复模型，最后，将待修复图像输入所述图像修复模型，以得到修复后的图像，因此，采用上述技术方案，利用全卷积网络的可处理大数据的优势，对全卷积网络进行训练，使得训练后得到的图像修复模型更为准确，因而，利用训练后得到的图像修复模型对图像进行修复，可提高图像修复的准确度。
Description
技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像修复方法、装置及计算机可读存储介质。
背景技术
图像修复是指对受到损坏的图像进行修复重建或者去除图像中表征多余物体的区域。通常情况下，人们常采用Photoshop等软件对需要修复的图像(也即待修复图像)进行修复，但是此种方法对修图技巧的要求比较高，因此，需要专业的技术人员对图像进行修复，成本较高，大多数人难以掌握，从而无法获得较好的修图效果。
发明内容
为克服相关技术中存在的问题，本公开提供一种图像修复方法、装置及计算机可读存储介质。
根据本公开实施例的第一方面，提供一种图像修复方法，包括：
根据待修复样本图像、目标样本图像以及全卷积网络输出的结果样本图像，对所述全卷积网络进行训练，得到图像修复模型；
将待修复图像输入所述图像修复模型，以得到修复后的图像。
可选地，根据待修复样本图像、目标样本图像以及全卷积网络输出的结果样本图像，对所述全卷积网络进行训练，得到图像修复模型，包括：
将所述待修复样本图像输入所述全卷积网络，得到所述结果样本图像；
根据所述结果样本图像与目标样本图像之间的逐像素误差，以及所述待修复样本图像与所述目标样本图像之间的对抗性误差，对所述全卷积网络进行训练，得到图像修复模型。
可选地，所述方法还包括：
根据以下公式，得到所述逐像素误差：
其中，Lpixel表示所述逐像素误差，N表示所述结果样本图像上的像素点总数或所述目标样本图像上的像素点总数，表示所述目标样本图像上的第i个像素点的像素值，pi表示所述结果样本图像上的第i个像素点的像素值；
根据以下公式，得到所述对抗性误差：
其中，Ladv表示所述对抗性误差，E()表示期望，G()表示所述对抗性误差的生成模型，D()表示所述对抗性误差的判别模型，S表示所述待修复样本图像，T表示所述目标样本图像。
可选地，根据所述结果样本图像与目标样本图像之间的逐像素误差，以及所述待修复样本图像与所述目标样本图像之间的对抗性误差，对所述全卷积网络进行训练，得到所述图像修复模型，包括：
根据以下公式，得到目标误差：
L＝Lpixel+αLadv
其中，L表示所述目标误差，α表示所述逐像素误差和所述对抗性误差之间的相对权重；
利用所述目标误差，对所述全卷积网络进行训练，得到所述图像修复模型。
可选地，将待修复图像输入所述图像修复模型，以得到修复后的图像，包括：
统计原始图像中需要保留的区域上各个像素点的像素值的均值；
将所述原始图像中需要去除的区域的像素值设置为所述均值，以得到所述待修复图像；
通过所述图像修复模型，对所述待修复图像中像素值为所述均值的区域进行像素重建，以得到所述修复后的图像。
根据本公开实施例的第二方面，提供一种图像修复装置，包括：
训练模块，被配置为根据待修复样本图像、目标样本图像以及全卷积网络输出的结果样本图像，对所述全卷积网络进行训练，得到图像修复模型；
修复模块，被配置为将待修复图像输入所述图像修复模型，以得到修复后的图像。
可选地，所述训练模块包括：
输入子模块，被配置为将所述待修复样本图像输入所述全卷积网络，得到所述结果样本图像；
训练子模块，被配置为根据所述结果样本图像与目标样本图像之间的逐像素误差，以及所述待修复样本图像与所述目标样本图像之间的对抗性误差，对所述全卷积网络进行训练，得到图像修复模型。
可选地，所述装置还包括：
逐像素误差获得模块，被配置为根据以下公式，得到所述逐像素误差：
其中，Lpixel表示所述逐像素误差，N表示所述结果样本图像上的像素点总数或所述目标样本图像上的像素点总数，表示所述目标样本图像上的第i个像素点的像素值，pi表示所述结果样本图像上的第i个像素点的像素值；
对抗性误差获得模块，被配置为根据以下公式，得到所述对抗性误差：
其中，Ladv表示所述对抗性误差，E()表示期望，G()表示所述对抗性误差的生成模型，D()表示所述对抗性误差的判别模型，S表示所述待修复样本图像，T表示所述目标样本图像。
可选地，所述训练子模块包括：
目标误差获得子模块，被配置为根据以下公式，得到目标误差：
L＝Lpixel+αLadv
其中，L表示所述目标误差，α表示所述逐像素误差和所述对抗性误差之间的相对权重；
图像修复模型获得子模块，被配置为利用所述目标误差，对所述全卷积网络进行训练，得到所述图像修复模型。
可选地，所述修复模块包括：
统计子模块，被配置为统计原始图像中需要保留的区域上各个像素点的像素值的均值；
获得子模块，被配置为将所述原始图像中需要去除的区域的像素值设置为所述均值，以得到所述待修复图像；
像素重建子模块，被配置为通过所述图像修复模型，对所述待修复图像中像素值为所述均值的区域进行像素重建，以得到所述修复后的图像。
根据本公开实施例的第三方面，提供一种图像修复装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
根据待修复样本图像、目标样本图像以及全卷积网络输出的结果样本图像，对所述全卷积网络进行训练，得到图像修复模型；
将待修复图像输入所述图像修复模型，以得到修复后的图像。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开第一方面所提供的图像修复方法的步骤。
在本公开实施例中，对图像进行修复时，首先，根据待修复样本图像、目标样本图像以及全卷积网络输出的结果样本图像，对所述全卷积网络进行训练，得到图像修复模型，最后，将待修复图像输入所述图像修复模型，以得到修复后的图像，因此，采用上述技术方案，利用全卷积网络的可处理大数据的优势，对全卷积网络进行训练，使得训练后得到的图像修复模型更为准确，因而，利用训练后得到的图像修复模型对图像进行修复，可提高图像修复的准确度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种图像修复方法的流程图。
图2A是根据一示例性实施例示出的一种原始图像的示意图。
图2B是根据一示例性实施例示出的一种掩码图的示意图。
图2C是根据一示例性实施例示出的一种待修复图像的示意图。
图3是根据一示例性实施例示出的一种图像修复方法包括的步骤S11的流程图。
图4是根据一示例性实施例示出的一种图像修复方法包括的步骤S11的另一流程图。
图5是根据一示例性实施例示出的一种图像修复方法包括的步骤S11的另一流程图。
图6是根据一示例性实施例示出的一种图像修复方法包括的步骤S12的流程图。
图7是根据一示例性实施例示出的一种图像修复装置的框图。
图8是根据一示例性实施例示出的一种图像修复装置中训练模块的框图。
图9是根据一示例性实施例示出的一种图像修复装置的另一框图。
图10是根据一示例性实施例示出的一种图像修复装置中训练子模块的框图。
图11是根据一示例性实施例示出的一种图像修复装置中修复模块的框图。
图12是根据一示例性实施例示出的一种用于图像修复的装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
相关技术中的图像修复方法大多是基于图像块匹配的方法，从待修复图像中的其他区域找到与需要修复的区域相匹配的图像块进行填充，使填充后的图像更接近与原图的视觉效果。采用上述方法在进行小面积修复时能取得不错的效果，但是，在需要修复的区域比较大时，由于无法找到与该区域相匹配的图像块进行填充，导致无法对该需要修复的区域进行修复，进而不能保证修复的准确度。因此，为了提高图像修复的准确度，使得修复后的图像尽可能可能的接近原始图像的视觉效果，本公开实施例提供一种图像修复方法。
请参考图1，图1是根据一示例性实施例示出的一种图像修复方法的流程图。如图1所示，本公开实施例提供的图像修复方法，包括以下步骤。
在步骤S11中，根据待修复样本图像、目标样本图像以及全卷积网络输出的结果样本图像，对所述全卷积网络进行训练，得到图像修复模型。
在步骤S12中，将待修复图像输入所述图像修复模型，以得到修复后的图像。
卷积网络主要是由卷积层和连接层组成，其中连接层要求输入图像的大小是固定的，在本公开实施例中，全卷积网络是在卷积网络的基础上形成的，不同于卷积网络，全卷积网络的末端处去掉了全连接层，仅有卷积层组成的网络，从而可以对任意大小的图像进行处理，且使输出和输入的图像尺寸相同。在训练过程中，输入的图像尺寸越大，相对应的图像中所包含的数据就越多，因此，采用全卷积网络能充分发挥大数据的优势。
由于全卷积网络中的系数是随机生成的，在全卷积网络中，利用该随机生成的系数，对图像进行修复，修复后图像的准确度和清晰度均无法保证。因此，在利用全卷积网络对图像进行处理之前，需要对该全卷积网络进行训练，以调整全卷积网络中的系数，使经过该全卷积网络修复后的图像效果尽可能接近原始图像的视觉效果。
对全卷积网络进行训练，可通过步骤S11实现。在步骤S11中，根据待修复样本图像、目标样本图像以及全卷积网络输出的结果样本图像，对全卷积网络进行训练，得到图像修复模型，训练全卷积网络的目的是为了使经过该全卷积网络修复后的图像，尽可能接近原始图像的视觉效果，因此，在本公开实施例中，目标样本图像即是原始图像。
在对全卷积网络进行训练的过程中，将待修复样本图像输入到全卷积网络后，经过全卷积网络的处理分析后输出的图像称之为全卷积网络输出的结果样本图像(以下简称结果样本图像)，然后将该结果样本图像与目标样本图像相比较，根据两者之间的差异，调整该全卷积网络中的系数，以减小两者之间的差值，重复多次上述方法，直到调整后的该全卷积网络中的系数，可使结果样本图像与目标样本图像之间的误差较小时，即可结束训练，得到图像修复模型，其中，图像修复模型是经过多次的训练而得到的，训练的系数越多，图像修复模型越准确。
通常情况下，应用在图像处理领域的全卷积网络的层数应大于等于4，在本公开实施例提供的图像修复方法中，假设全卷积网络的层数为4层，在将待修复样本图像输入到全卷积网络后，第一层卷积采用3×3的卷积核，以步长为1，对该待修复样本图像进行特征提取，识别图像信息，第二层卷积采用3×3的卷积核，以步长为2对第一层卷积层中提取到的特征进行增强，且将图像尺寸缩小为原来的1/2，第三层卷积采用1×1的卷积核，以步长为1对第二层卷积层中增强的特征进行映射，第四层卷积为反卷积层，卷积核的大小为3×3，以步长为2，对第三层卷积得到的特征进行升采样，将在第三层卷积层中缩小的图像增大，使得输出的结果样本图像和待修复样本图像的大小相同，其中，在第一层、第二层、第三层以及第四层卷积层中都对该待修复样本图像进行特征提取，进一步识别待修复样本图像的信息，使得结果样本图像与目标样本图像在视觉上更接近。以此完成对全卷积网络的训练，得到图像修复模型。
在执行完步骤S11，得到图像修复模型之后，执行步骤S12，对待修复图像进行修复。其中，待修复图像可按照如下方式获得：
在实际应用中，为了减少修复过程的工作量，对图像进行修复主要是对该图像中的需要修复的区域进行修复，而图像中不需要修复的区域则不进行修复。因此，在输入原始图像后，首先，根据用户自身需求，用户可手动在该原始图像I中标注出需要去除的区域，便于终端将需要去除的区域和无需去除的区域区分开来，接着，根据所标注的原始图像I，生成与原始图像对应的掩码图M，在该掩码图中白色部分用以表征原图中需要去除的区域，即是需要修复的区域，黑色部分用以表征原图中无需去除的区域，最后，终端根据原始图像和与原始图像对应的掩码图，可以得到待修复图像S。
示例地，请参考图2A，图2A是根据一示例性实施例示出的一种原始图像的示意图。用户对该原始图像进行编辑，将需要去除的区域标注出来，如图2A所示，原始图像中需要去除的区域为白色虚线框内的区域，接着，终端后台根据该原始图像，生成与之相对应的掩码图，如图2B所示，最后，终端根据原始图像和与原始图像对应的掩码图，可以得到待修复图像，如图2C所示。
在得到待修复图像之后，将待修复图像输入图像修复模型，以得到修复后的图像。在本公开实施例中，图像修复模型是经过多次对全卷积网络进行训练得到的，因此，经过该图像修复模型后，得到的修复后的图像更接近于原始图像的视觉效果。
在本公开实施例中，对图像进行修复时，首先，根据待修复样本图像、目标样本图像以及全卷积网络输出的结果样本图像，对所述全卷积网络进行训练，得到图像修复模型，最后，将待修复图像输入所述图像修复模型，以得到修复后的图像，因此，采用上述技术方案，利用全卷积网络的可处理大数据的优势，对全卷积网络进行训练，使得训练后得到的图像修复模型更为准确，因而，利用训练后得到的图像修复模型对图像进行修复，可提高图像修复的准确度。
可选地，图3是根据一示例性实施例示出的一种图像修复方法包括的步骤S11的流程图。如图3所示，步骤S11包括以下步骤。
在步骤S111中，将所述待修复样本图像输入所述全卷积网络，得到所述结果样本图像。
在步骤S112中，根据所述结果样本图像与目标样本图像之间的逐像素误差，以及所述待修复样本图像与所述目标样本图像之间的对抗性误差，对所述全卷积网络进行训练，得到图像修复模型。
对全卷积网络进行训练的过程，主要是根据全卷积网络输出的结果样本图像和目标样本图像之间的误差，调整全卷积网络中的系数的过程，旨在使训练后的全卷积网络输出的结果样本图像和目标样本图像在视觉效果上更为接近。因此，在本公开实施例中，首先，将待修复的样本图像输入到待训练的全卷积网络中，得到全卷积网络输出的结果样本图像。其中，待修复的样本图像是用户自定义的，在全卷积网络中每输入一个待修复的样本图像，都会得到与之相对应的结果样本图像。
由于全卷积网络中的系数是随机生成的，在训练全卷积网络时，将待修复样本图像输入到该全卷积网络中后，输出的结果样本图像与目标样本图像可能会有较大的误差，因此，在得到结果样本图像后，根据全卷积网络输出的结果样本图像与目标样本图像之间的逐像素误差，以及待修复样本图像与目标样本图像之间的对抗性误差，对该全卷积网络进行训练，也即是对该全卷积网络中的系数进行调整，直到全卷积网络输出的结果样本图像和目标样本图像在视觉效果上的接近程度满足预设要求为止，系数调整完毕之后的全卷积网络即为图像修复模型，其中，预设要求是用户根据自身要求的图像修复效果而预先设置的。
可选地，请参考图4，图4是根据一示例性实施例示出的一种图像修复方法包括的步骤S11的另一流程图。如图4所示，该方法还包括以下步骤。
在步骤S113中，根据以下公式，得到所述逐像素误差：
公式(1)中，Lpixel表示所述逐像素误差，N表示所述结果样本图像上的像素点总数或所述目标样本图像上的像素点总数，表示所述目标样本图像上的第i个像素点的像素值，pi表示所述结果样本图像上的第i个像素点的像素值。
在步骤S114中，根据以下公式，得到所述对抗性误差：
公式(2)中，Ladv表示所述对抗性误差，E()表示期望，G()表示所述对抗性误差的生成模型，D()表示所述对抗性误差的判别模型，S表示所述待修复样本图像，T表示所述目标样本图像。
在本公开实施例中，可采用以下两种误差函数来对全卷积网络进行训练。一种误差函数为逐像素误差函数，也即是全卷积网络输出的结果样本图像和目标样本图像之间的欧式距离。具体地，首先，统计结果样本图像或目标样本图像上的像素点总数的个数N，接着，分别确定结果样本图像和目标样本图像中各个像素点的像素值，然后，计算结果样本图像中第i个像素点与目标样本图像中第i个像素点之间的欧式距离，最后，将N个像素点的欧式距离叠加，即可得到逐像素误差。其中，全卷积网络出的结果样本图像和目标样本图像尺寸相同，即结果样本图像和目标样本图像中像素点数相同均为N，i的取值范围为[0,N-1]。
另一种误差函数为对抗性误差函数，该对抗性误差函数涉及到生成模型和判别模型，其中，生成模型用以基于待修复样本图像来生成图像，判别模型用以判别通过生成模型所生成的图像相比于目标样本图像的真实程度。因此，该对抗性误差函数可以使生成的图像更接近于真实的图像，进而使得全卷积网络输出的结果样本图像在视觉上更接近于目标样本图像。
可选地，请参考图5，图5是根据一示例性实施例示出的一种图像修复方法包括的步骤S11的另一流程图。如图5所示，图4中的步骤S112具体包括以下步骤。
在步骤S1121中，根据以下公式，得到目标误差：
L＝Lpixel+αLadv (3)
公式(3)中，L表示所述目标误差，α表示所述逐像素误差和所述对抗性误差之间的相对权重。
步骤S1122中，利用所述目标误差，对所述全卷积网络进行训练，得到所述图像修复模型。
根据公式(1)计算得到的逐像素误差、根据公式(2)得到的对抗性误差，以及两者之间的相对权重，按照公式(3)，得到目标误差，在目标误差中，相对权重α的数值是否准确可直接影响图像修复模型的准确度，因此，通常情况下，相对权重α可由专业技术人员根据其经验设定的。
在本公开实施例中，由于图像修复模型是通过逐像素误差函数和对抗性误差函数训练得到的，其中，利用逐像素误差函数得到的逐像素误差，尽可能提高了图像底层的像素信息的准确度，并且，利用对抗性误差函数得到的对抗性误差，尽可能提高了基于待修复样本图像而生成的图像真实性，因而利用该图像修复模型，能重建出更好的图像内容，使得修复后的图像在视觉效果上更接近于原始图像。
可选地，请参考图6，图6是根据一示例性实施例示出的一种图像修复方法包括的步骤S12的流程图。如图6所示，步骤S12具体包括以下步骤。
在步骤S121中，统计原始图像中需要保留的区域上各个像素点的像素值的均值。
在步骤S122中，将所述原始图像中需要去除的区域的像素值设置为所述均值，以得到所述待修复图像。
在步骤S123中，通过所述图像修复模型，对所述待修复图像中像素值为所述均值的区域进行像素重建，以得到所述修复后的图像。
将待修复的图像输入到图像模型中进行修复，具体地，是对原始图像中标注出的需要去除的区域进行修复，即是对位于需要去除的区域处的像素点的修复。通常情况下，为了保证图像修复的准确性，并不直接对位于需要去除的区域处的像素点进行像素重建，因此，在本公开实施例中，首先统计原始图像中标注的需要去除的区域之外的区域(简称需要保留的区域)的各个像素点的像素值，并计算出需要保留的区域的各个像素点的像素值的均值，接着，将该原始图像中需要去除的区域的各个像素点的像素值均设置为该均值，得到待修复图像，最后，将该待修复图像输入到已确定的图像修复模型中，在该模型中，利用上述经过训练调整好的系数，对待修复图像中像素值为均值的区域进行像素重建，即可输出修复后的图像。
采用上述技术方案，首先，将原始图像中需要去除的区域的像素点的像素值设置为均值，得到待修复图像，然后，对该待修复图像中像素值为均值的区域，在像素值为均值的基础上进行重建，得到修复后的图像，由于均值是根据原始图像中需要保留的区域的像素点的像素值确定的，所以在像素值为均值的基础上进行重建，能够提高所重建的像素点的像素值与需要保留的区域的像素点的像素值的接近程度，因而，按照该方法得出的修复后的图像的视觉效果与原始图像的视觉效果更为接近。
基于同一发明构思，本公开实施例还提供了一种图像修复装置。图7是根据一示例性实施例示出的一种图像修复装置的框图。参照图7，该装置700包括：
训练模块701，被配置为根据待修复样本图像、目标样本图像以及全卷积网络输出的结果样本图像，对所述全卷积网络进行训练，得到图像修复模型；
修复模块702，被配置为将待修复图像输入所述图像修复模型，以得到修复后的图像。
可选地，图8是根据一示例性实施例示出的一种图像修复装置中训练模块的框图。如图8所示，训练模块701包括：
输入子模块7011，被配置为将所述待修复样本图像输入所述全卷积网络，得到所述结果样本图像；
训练子模块7012，被配置为根据所述结果样本图像与目标样本图像之间的逐像素误差，以及所述待修复样本图像与所述目标样本图像之间的对抗性误差，对所述全卷积网络进行训练，得到图像修复模型。
可选地，图9是根据一示例性实施例示出的一种图像修复装置的另一框图。参照图9，该装置700除包括训练模块701和修复模块702之外，还包括：
逐像素误差获得模块703，被配置为根据以下公式，得到所述逐像素误差：
其中，Lpixel表示所述逐像素误差，N表示所述结果样本图像上的像素点总数或所述目标样本图像上的像素点总数，表示所述目标样本图像上的第i个像素点的像素值，pi表示所述结果样本图像上的第i个像素点的像素值；
对抗性误差获得模块704，被配置为根据以下公式，得到所述对抗性误差：
其中，Ladv表示所述对抗性误差，E()表示期望，G()表示所述对抗性误差的生成模型，D()表示所述对抗性误差的判别模型，S表示所述待修复样本图像，T表示所述目标样本图像。
可选地，图10是根据一示例性实施例示出的一种图像修复装置中训练子模块的框图。如图10所示，所述训练子模块7012包括：
目标误差获得子模块70121，被配置为根据以下公式，得到目标误差：
L＝Lpixel+αLadv
其中，L表示所述目标误差，α表示所述逐像素误差和所述对抗性误差之间的相对权重；
图像修复模型获得子模块70122，被配置为利用所述目标误差，对所述全卷积网络进行训练，得到所述图像修复模型。
可选地，图11是根据一示例性实施例示出的一种图像修复装置中修复模块的框图。如图11所示，所述修复模块702包括：
统计子模块7021，被配置为统计原始图像中需要保留的区域上各个像素点的像素值的均值；
获得子模块7022，被配置为将所述原始图像中需要去除的区域的像素值设置为所述均值，以得到所述待修复图像；
像素重建子模块7023，被配置为通过所述图像修复模型，对所述待修复图像中像素值为所述均值的区域进行像素重建，以得到所述修复后的图像。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开提供的图像修复方法的步骤。
图12是根据一示例性实施例示出的一种用于图像修复的装置800的框图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图12，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电力组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的图像修复方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电力组件806为装置800的各种组件提供电力。电力组件806可以包括电源管理***，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到装置800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述图像修复方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述图像修复方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (12)
1.一种图像修复方法，其特征在于，包括：
根据待修复样本图像、目标样本图像以及全卷积网络输出的结果样本图像，对所述全卷积网络进行训练，得到图像修复模型；
将待修复图像输入所述图像修复模型，以得到修复后的图像。
2.根据权利要求1所述的方法，其特征在于，根据待修复样本图像、目标样本图像以及全卷积网络输出的结果样本图像，对所述全卷积网络进行训练，得到图像修复模型，包括：
将所述待修复样本图像输入所述全卷积网络，得到所述结果样本图像；
根据所述结果样本图像与目标样本图像之间的逐像素误差，以及所述待修复样本图像与所述目标样本图像之间的对抗性误差，对所述全卷积网络进行训练，得到图像修复模型。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
根据以下公式，得到所述逐像素误差：
<mrow>
<msub>
<mi>L</mi>
<mrow>
<mi>p</mi>
<mi>i</mi>
<mi>x</mi>
<mi>e</mi>
<mi>l</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>N</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mi>N</mi>
</munderover>
<mo>|</mo>
<mo>|</mo>
<msub>
<mover>
<mi>p</mi>
<mo>^</mo>
</mover>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
</mrow>
其中，Lpixel表示所述逐像素误差，N表示所述结果样本图像上的像素点总数或所述目标样本图像上的像素点总数，表示所述目标样本图像上的第i个像素点的像素值，pi表示所述结果样本图像上的第i个像素点的像素值；
根据以下公式，得到所述对抗性误差：
<mrow>
<msub>
<mi>L</mi>
<mrow>
<mi>a</mi>
<mi>d</mi>
<mi>v</mi>
</mrow>
</msub>
<mo>=</mo>
<munder>
<mi>min</mi>
<mi>G</mi>
</munder>
<munder>
<mi>max</mi>
<mi>D</mi>
</munder>
<mi>E</mi>
<mo>&lsqb;</mo>
<mi>l</mi>
<mi>o</mi>
<mi>g</mi>
<mrow>
<mo>(</mo>
<mi>D</mi>
<mo>(</mo>
<mi>T</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mi>l</mi>
<mi>o</mi>
<mi>g</mi>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<mi>D</mi>
<mo>(</mo>
<mi>G</mi>
<mo>(</mo>
<mi>S</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
</mrow>
其中，Ladv表示所述对抗性误差，E()表示期望，G()表示所述对抗性误差的生成模型，D()表示所述对抗性误差的判别模型，S表示所述待修复样本图像，T表示所述目标样本图像。
4.根据权利要求3所述的方法，其特征在于，根据所述结果样本图像与目标样本图像之间的逐像素误差，以及所述待修复样本图像与所述目标样本图像之间的对抗性误差，对所述全卷积网络进行训练，得到所述图像修复模型，包括：
根据以下公式，得到目标误差：
L＝Lpixel+αLadv
其中，L表示所述目标误差，α表示所述逐像素误差和所述对抗性误差之间的相对权重；
利用所述目标误差，对所述全卷积网络进行训练，得到所述图像修复模型。
5.根据权利要求1所述的方法，其特征在于，将待修复图像输入所述图像修复模型，以得到修复后的图像，包括：
统计原始图像中需要保留的区域上各个像素点的像素值的均值；
将所述原始图像中需要去除的区域的像素值设置为所述均值，以得到所述待修复图像；
通过所述图像修复模型，对所述待修复图像中像素值为所述均值的区域进行像素重建，以得到所述修复后的图像。
6.一种图像修复装置，其特征在于，包括：
训练模块，被配置为根据待修复样本图像、目标样本图像以及全卷积网络输出的结果样本图像，对所述全卷积网络进行训练，得到图像修复模型；
修复模块，被配置为将待修复图像输入所述图像修复模型，以得到修复后的图像。
7.根据权利要求6所述的装置，其特征在于，所述训练模块包括：
输入子模块，被配置为将所述待修复样本图像输入所述全卷积网络，得到所述结果样本图像；
训练子模块，被配置为根据所述结果样本图像与目标样本图像之间的逐像素误差，以及所述待修复样本图像与所述目标样本图像之间的对抗性误差，对所述全卷积网络进行训练，得到图像修复模型。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
逐像素误差获得模块，被配置为根据以下公式，得到所述逐像素误差：
<mrow>
<msub>
<mi>L</mi>
<mrow>
<mi>p</mi>
<mi>i</mi>
<mi>x</mi>
<mi>e</mi>
<mi>l</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>N</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mi>N</mi>
</munderover>
<mo>|</mo>
<mo>|</mo>
<msub>
<mover>
<mi>p</mi>
<mo>^</mo>
</mover>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
</mrow>
其中，Lpixel表示所述逐像素误差，N表示所述结果样本图像上的像素点总数或所述目标样本图像上的像素点总数，表示所述目标样本图像上的第i个像素点的像素值，pi表示所述结果样本图像上的第i个像素点的像素值；
对抗性误差获得模块，被配置为根据以下公式，得到所述对抗性误差：
<mrow>
<msub>
<mi>L</mi>
<mrow>
<mi>a</mi>
<mi>d</mi>
<mi>v</mi>
</mrow>
</msub>
<mo>=</mo>
<munder>
<mi>min</mi>
<mi>G</mi>
</munder>
<munder>
<mi>max</mi>
<mi>D</mi>
</munder>
<mi>E</mi>
<mo>&lsqb;</mo>
<mi>l</mi>
<mi>o</mi>
<mi>g</mi>
<mrow>
<mo>(</mo>
<mi>D</mi>
<mo>(</mo>
<mi>T</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mi>l</mi>
<mi>o</mi>
<mi>g</mi>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<mi>D</mi>
<mo>(</mo>
<mi>G</mi>
<mo>(</mo>
<mi>S</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
</mrow>
其中，Ladv表示所述对抗性误差，E()表示期望，G()表示所述对抗性误差的生成模型，D()表示所述对抗性误差的判别模型，S表示所述待修复样本图像，T表示所述目标样本图像。
9.根据权利要求8所述的装置，其特征在于，所述训练子模块包括：
目标误差获得子模块，被配置为根据以下公式，得到目标误差：
L＝Lpixel+αLadv
其中，L表示所述目标误差，α表示所述逐像素误差和所述对抗性误差之间的相对权重；
图像修复模型获得子模块，被配置为利用所述目标误差，对所述全卷积网络进行训练，得到所述图像修复模型。
10.根据权利要求6所述的装置，其特征在于，所述修复模块包括：
统计子模块，被配置为统计原始图像中需要保留的区域上各个像素点的像素值的均值；
获得子模块，被配置为将所述原始图像中需要去除的区域的像素值设置为所述均值，以得到所述待修复图像；
像素重建子模块，被配置为通过所述图像修复模型，对所述待修复图像中像素值为所述均值的区域进行像素重建，以得到所述修复后的图像。
11.一种图像修复装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
根据待修复样本图像、目标样本图像以及全卷积网络输出的结果样本图像，对所述全卷积网络进行训练，得到图像修复模型；
将待修复图像输入所述图像修复模型，以得到修复后的图像。
12.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1-5中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711243443.3A CN107993210A (zh) | 2017-11-30 | 2017-11-30 | 图像修复方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711243443.3A CN107993210A (zh) | 2017-11-30 | 2017-11-30 | 图像修复方法、装置及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107993210A true CN107993210A (zh) | 2018-05-04 |
Family
ID=62034928
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711243443.3A Pending CN107993210A (zh) | 2017-11-30 | 2017-11-30 | 图像修复方法、装置及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107993210A (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108776959A (zh) * | 2018-07-10 | 2018-11-09 | Oppo（重庆）智能科技有限公司 | 图像处理方法、装置及终端设备 |
| CN108805828A (zh) * | 2018-05-22 | 2018-11-13 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| CN108885787A (zh) * | 2018-07-06 | 2018-11-23 | 深圳前海达闼云端智能科技有限公司 | 训练图像修复模型的方法、图像修复方法、装置、介质及设备 |
| CN108961174A (zh) * | 2018-05-24 | 2018-12-07 | 北京飞搜科技有限公司 | 一种图像修复方法、装置以及电子设备 |
| CN109003272A (zh) * | 2018-07-26 | 2018-12-14 | 北京小米移动软件有限公司 | 图像处理方法、装置及*** |
| CN109102468A (zh) * | 2018-06-27 | 2018-12-28 | 广州视源电子科技股份有限公司 | 图像增强方法、装置、终端设备及存储介质 |
| CN109584178A (zh) * | 2018-11-29 | 2019-04-05 | 腾讯科技（深圳）有限公司 | 图像修复方法、装置和存储介质 |
| CN109816615A (zh) * | 2019-03-06 | 2019-05-28 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备以及存储介质 |
| CN110930333A (zh) * | 2019-11-22 | 2020-03-27 | 北京金山云网络技术有限公司 | 图像修复方法、装置、电子设备及计算机可读存储介质 |
| CN111353965A (zh) * | 2020-02-28 | 2020-06-30 | Oppo广东移动通信有限公司 | 图像修复方法、装置、终端及存储介质 |
| CN111385457A (zh) * | 2018-12-27 | 2020-07-07 | 北京小米移动软件有限公司 | 图像处理方法、装置、电子设备、机器可读存储介质 |
| CN111445415A (zh) * | 2020-03-30 | 2020-07-24 | 北京市商汤科技开发有限公司 | 图像修复方法及装置、电子设备和存储介质 |
| CN111612715A (zh) * | 2020-05-20 | 2020-09-01 | 北京字节跳动网络技术有限公司 | 图像修复方法、装置和电子设备 |
| CN111783742A (zh) * | 2020-07-30 | 2020-10-16 | 支付宝(杭州)信息技术有限公司 | 一种防御对抗攻击的图像分类方法、业务决策方法及装置 |
| CN112258404A (zh) * | 2020-10-15 | 2021-01-22 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备和存储介质 |
| CN114549369A (zh) * | 2022-04-24 | 2022-05-27 | 腾讯科技（深圳）有限公司 | 数据修复方法、装置、计算机及可读存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104200224A (zh) * | 2014-08-28 | 2014-12-10 | 西北工业大学 | 基于深度卷积神经网络的无价值图像去除方法 |
| US20150178591A1 (en) * | 2013-12-18 | 2015-06-25 | New York University | System, method and computer-accessible medium for restoring an image taken through a window |
| CN105956576A (zh) * | 2016-05-18 | 2016-09-21 | 广东欧珀移动通信有限公司 | 一种图像美颜方法、装置及移动终端 |
| US20170061249A1 (en) * | 2015-08-26 | 2017-03-02 | Digitalglobe, Inc. | Broad area geospatial object detection using autogenerated deep learning models |
| CN107085716A (zh) * | 2017-05-24 | 2017-08-22 | 复旦大学 | 基于多任务生成对抗网络的跨视角步态识别方法 |
| CN107154023A (zh) * | 2017-05-17 | 2017-09-12 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
| CN107256541A (zh) * | 2017-06-15 | 2017-10-17 | 北京航空航天大学 | 一种基于卷积神经网络的多光谱遥感图像去雾方法 |
-
2017
- 2017-11-30 CN CN201711243443.3A patent/CN107993210A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150178591A1 (en) * | 2013-12-18 | 2015-06-25 | New York University | System, method and computer-accessible medium for restoring an image taken through a window |
| CN104200224A (zh) * | 2014-08-28 | 2014-12-10 | 西北工业大学 | 基于深度卷积神经网络的无价值图像去除方法 |
| US20170061249A1 (en) * | 2015-08-26 | 2017-03-02 | Digitalglobe, Inc. | Broad area geospatial object detection using autogenerated deep learning models |
| CN105956576A (zh) * | 2016-05-18 | 2016-09-21 | 广东欧珀移动通信有限公司 | 一种图像美颜方法、装置及移动终端 |
| CN107154023A (zh) * | 2017-05-17 | 2017-09-12 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
| CN107085716A (zh) * | 2017-05-24 | 2017-08-22 | 复旦大学 | 基于多任务生成对抗网络的跨视角步态识别方法 |
| CN107256541A (zh) * | 2017-06-15 | 2017-10-17 | 北京航空航天大学 | 一种基于卷积神经网络的多光谱遥感图像去雾方法 |
Non-Patent Citations (2)
| Title |
|---|
| DEEPAK PATHAK ET AL: "Context Encoders: Feature Learning by Inpainting", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
| SATOSHI IIZUKA ET AL: "Globally and locally consistent image completion", 《ACM TRANSACTIONS ON GRAPHICS》 * |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805828A (zh) * | 2018-05-22 | 2018-11-13 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| CN108961174A (zh) * | 2018-05-24 | 2018-12-07 | 北京飞搜科技有限公司 | 一种图像修复方法、装置以及电子设备 |
| CN109102468A (zh) * | 2018-06-27 | 2018-12-28 | 广州视源电子科技股份有限公司 | 图像增强方法、装置、终端设备及存储介质 |
| CN109102468B (zh) * | 2018-06-27 | 2021-06-01 | 广州视源电子科技股份有限公司 | 图像增强方法、装置、终端设备及存储介质 |
| CN108885787A (zh) * | 2018-07-06 | 2018-11-23 | 深圳前海达闼云端智能科技有限公司 | 训练图像修复模型的方法、图像修复方法、装置、介质及设备 |
| WO2020006762A1 (zh) * | 2018-07-06 | 2020-01-09 | 深圳前海达闼云端智能科技有限公司 | 训练图像修复模型的方法、图像修复方法、装置、介质及设备 |
| CN108885787B (zh) * | 2018-07-06 | 2021-11-05 | 达闼机器人有限公司 | 训练图像修复模型的方法、图像修复方法、装置、介质及设备 |
| CN108776959A (zh) * | 2018-07-10 | 2018-11-09 | Oppo（重庆）智能科技有限公司 | 图像处理方法、装置及终端设备 |
| CN109003272A (zh) * | 2018-07-26 | 2018-12-14 | 北京小米移动软件有限公司 | 图像处理方法、装置及*** |
| CN109003272B (zh) * | 2018-07-26 | 2021-02-09 | 北京小米移动软件有限公司 | 图像处理方法、装置及*** |
| CN109584178A (zh) * | 2018-11-29 | 2019-04-05 | 腾讯科技（深圳）有限公司 | 图像修复方法、装置和存储介质 |
| CN111385457A (zh) * | 2018-12-27 | 2020-07-07 | 北京小米移动软件有限公司 | 图像处理方法、装置、电子设备、机器可读存储介质 |
| CN109816615B (zh) * | 2019-03-06 | 2022-12-16 | 腾讯科技（深圳）有限公司 | 图像修复方法、装置、设备以及存储介质 |
| CN109816615A (zh) * | 2019-03-06 | 2019-05-28 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备以及存储介质 |
| CN110930333A (zh) * | 2019-11-22 | 2020-03-27 | 北京金山云网络技术有限公司 | 图像修复方法、装置、电子设备及计算机可读存储介质 |
| CN111353965A (zh) * | 2020-02-28 | 2020-06-30 | Oppo广东移动通信有限公司 | 图像修复方法、装置、终端及存储介质 |
| CN111445415A (zh) * | 2020-03-30 | 2020-07-24 | 北京市商汤科技开发有限公司 | 图像修复方法及装置、电子设备和存储介质 |
| CN111445415B (zh) * | 2020-03-30 | 2024-03-08 | 北京市商汤科技开发有限公司 | 图像修复方法及装置、电子设备和存储介质 |
| CN111612715A (zh) * | 2020-05-20 | 2020-09-01 | 北京字节跳动网络技术有限公司 | 图像修复方法、装置和电子设备 |
| CN111612715B (zh) * | 2020-05-20 | 2022-09-23 | 北京字节跳动网络技术有限公司 | 图像修复方法、装置和电子设备 |
| CN111783742A (zh) * | 2020-07-30 | 2020-10-16 | 支付宝(杭州)信息技术有限公司 | 一种防御对抗攻击的图像分类方法、业务决策方法及装置 |
| CN112258404A (zh) * | 2020-10-15 | 2021-01-22 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备和存储介质 |
| CN114549369A (zh) * | 2022-04-24 | 2022-05-27 | 腾讯科技（深圳）有限公司 | 数据修复方法、装置、计算机及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107993210A (zh) | 图像修复方法、装置及计算机可读存储介质 | |
| CN105809704B (zh) | 识别图像清晰度的方法及装置 | |
| CN104238875B (zh) | 应用程序角标添加方法及装置 | |
| CN105528786B (zh) | 图像处理方法及装置 | |
| CN108629354A (zh) | 目标检测方法及装置 | |
| CN107527059A (zh) | 文字识别方法、装置及终端 | |
| CN107944447A (zh) | 图像分类方法及装置 | |
| CN104243814B (zh) | 图像中物体布局的分析方法、图像拍摄提示方法及装置 | |
| CN107025419A (zh) | 指纹模板录入方法及装置 | |
| CN107609560A (zh) | 文字识别方法及装置 | |
| CN107845062A (zh) | 图像生成方法及装置 | |
| CN105095366B (zh) | 文字消息处理方法和装置 | |
| WO2020114236A1 (zh) | 关键点检测方法、装置、电子设备及存储介质 | |
| CN107169493A (zh) | 信息识别方法及装置 | |
| CN106778531A (zh) | 人脸定位方法及装置 | |
| CN109885174A (zh) | 手势操控方法、装置、移动终端及存储介质 | |
| CN107392166A (zh) | 肤色检测方法、装置及计算机可读存储介质 | |
| CN108040171A (zh) | 语音操作方法、装置及计算机可读存储介质 | |
| CN107967459A (zh) | 卷积处理方法、装置及存储介质 | |
| CN107679533A (zh) | 文字识别方法及装置 | |
| CN107766820A (zh) | 图像分类方法及装置 | |
| CN107944367A (zh) | 人脸关键点检测方法及装置 | |
| CN107948510A (zh) | 焦距调整的方法、装置及存储介质 | |
| CN109146498A (zh) | 人脸支付方法及相关装置 | |
| CN107748867A (zh) | 目标对象的检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180504 |
|
| RJ01 | Rejection of invention patent application after publication |