CN110008940B - 一种图像中移除目标物体的方法、装置及电子设备 - Google Patents
一种图像中移除目标物体的方法、装置及电子设备 Download PDFInfo
- Publication number
- CN110008940B CN110008940B CN201910481755.0A CN201910481755A CN110008940B CN 110008940 B CN110008940 B CN 110008940B CN 201910481755 A CN201910481755 A CN 201910481755A CN 110008940 B CN110008940 B CN 110008940B
- Authority
- CN
- China
- Prior art keywords
- image
- network model
- sub
- position information
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000012549 training Methods 0.000 claims description 156
- 230000008569 process Effects 0.000 claims description 42
- 238000004891 communication Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 abstract description 16
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000011176 pooling Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像中移除目标物体的方法、装置及电子设备，该方法包括：将包含待移除的目标物体的第一子图像的第一图像，及预先获取的所述第一子图像在所述第一图像中的目标位置信息输入到预先训练完成的网络模型中，获取所述网络模型输出的在所述第一图像中的所述目标位置信息处移除了所述第一子图像的第二图像。由于在本发明实施例中，通过使用预先训练完成的网络模型，将第一图像中的该目标位置信息中的第一子图像移除，得到第二图像。根据该网络模型输出的该第二图像效果较好。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像中移除目标物体的方法、装置及电子设备。
背景技术
随着图像采集技术的提高，人们对于图像的显示效果要求越来越高。例如，当在景区拍摄一张图像时，由于位于景区中的人较多，并且在进行拍摄的过程中景区中的人会来回走动，因此拍摄的图像中可能包含造成干扰的其他的人，此时需要将其他人的图像从该图像中移除出去，得到用户想要的图像。
现有技术中的将某个指定的物体从图像中移除，是在图像的各个通道中移除物体，并合成每个通道移除后的结果，得到最终移除了物体的图像。但是这种移除物体的方法存在一定的局限性，移除了物体后的图像效果较差。
发明内容
本发明实施例提供了一种图像中移除目标物体的方法、装置及电子设备，用以解决现有技术中移除了物体后的图像效果较差的问题。
本发明实施例提供了一种图像中移除目标物体的方法，所述方法包括：
将包含待移除的目标物体的第一子图像的第一图像，及预先获取的所述第一子图像在所述第一图像中的目标位置信息输入到预先训练完成的网络模型中，获取所述网络模型输出的在所述第一图像中的所述目标位置信息处移除了所述第一子图像的第二图像。
进一步地，所述网络模型的训练过程包括：
获取训练样本集中的每个第三图像，其中每个第三图像中包含待移除的物体的第二子图像；
针对每个第三图像，将该第三图像，及预先获取的该第三图像中待移除的物体的第二子图像在该第三图像中的第一位置信息输入到所述网络模型中，获取所述网络模型输出的在所述第三图像中的所述第一位置信息处移除了所述第二子图像的第四图像；将所述第四图像输入到预先训练完成的辨别器网络模型中，获取所述辨别器网络模型输出的辨别结果信息，其中所述辨别结果信息为真实图像或虚假图像；
根据每个辨别结果信息，对所述网络模型进行训练。
进一步地，所述网络模型的训练过程包括：
获取训练样本集中的每个第五图像，其中每个第五图像中包含待移除的物体的第三子图像；
针对每个第五图像，将该第五图像及预先获取的该第五图像中待移除的物体的第三子图像在该第五图像中的第二位置信息输入到所述网络模型中，获取所述网络模型输出的在所述第五图像中的所述第二位置信息处移除了所述第三子图像的第六图像，及包含所述物体的第七图像；将所述第六图像，所述第七图像及所述第二位置信息输入到所述网络模型的反向网络模型中，获取所述反向网络模型输出的在所述第六图像的所述第二位置信息处添加了所述第七图像中的物体的第八图像；
根据每个第五图像和第八图像的相似度，对所述网络模型进行训练。
进一步地，所述网络模型的训练过程包括：
获取训练样本集中的每个第九图像和每个第十图像，其中每个第十图像中包含待添加的物体的第四子图像；
针对每个第九图像，选取任一第十图像，将该第九图像，该第十图像及预先获取的所述第九图像中的第三位置信息输入到所述网络模型的反向网络模型中，获取所述反向网络模型输出的在所述第九图像的所述第三位置信息添加了所述第四子图像的第十一图像；将所述第十一图像和所述第三位置信息输入到所述网络模型中，获取所述网络模型输出的在所述第十一图像的所述第三位置信息移除了所述第三位置信息中的所述第四子图像的第十二图像；
根据每个第九图像和第十二图像的相似度，对所述网络模型进行训练。
进一步地，所述反向网络模型的训练过程包括：
获取训练样本集中的每个第十三图像和每个第十四图像，其中每个第十四图像中包含待添加的物体的第五子图像；
针对每个第十三图像，选取任一第十四图像，将该第十三图像，该第十四图像及预先获取的所述第十三图像中的第四位置信息输入到所述反向网络模型中，获取所述反向网络模型输出的在所述第十三图像的所述第四位置信息添加了所述第五子图像的第十五图像；将所述第十五图像输入到预先训练完成的辨别器网络模型中，获取所述辨别器网络模型输出的辨别结果信息，其中所述辨别结果信息为真实图像或虚假图像；
根据每个辨别结果信息，对所述反向网络模型进行训练。
进一步地，所述辨别器网络模型的训练过程包括：
获取样本图像，其中所述样本图像中标注了该样本图像对应的辨别标识信息，其中所述辨别标识信息包括真实图像和虚假图像；
将每个样本图像输入到所述辨别器网络模型中，根据辨别器网络模型针对每个样本图像输出的辨别结果信息，及每个样本图像对应的辨别标识信息，对所述辨别器网络模型进行训练，其中辨别结果信息标识输入的图像是真实图像还是虚假图像。
本发明实施例提供了一种图像中移除目标物体的装置，所述装置包括：
输入模块，网络模型模块；
所述输入模块，用于将包含待移除的目标物体的第一子图像的第一图像，及预先获取的所述第一子图像在所述第一图像中的目标位置信息输入到预先训练完成的所述网络模型中；
所述网络模型模块，用于在所述第一图像中的所述目标位置信息处移除所述第一子图像，输出在所述第一图像中的所述目标位置信息处移除了所述第一子图像的第二图像。
进一步地，所述装置还包括：
第一训练模块，用于获取训练样本集中的每个第三图像，其中每个第三图像中包含待移除的物体的第二子图像；针对每个第三图像，将该第三图像，及预先获取的该第三图像中待移除的物体的第二子图像在该第三图像中的第一位置信息输入到所述网络模型中，获取所述网络模型输出的在所述第三图像中的所述第一位置信息处移除了所述第二子图像的第四图像；将所述第四图像输入到预先训练完成的辨别器网络模型中，获取所述辨别器网络模型输出的辨别结果信息，其中所述辨别结果信息为真实图像或虚假图像；根据每个辨别结果信息，对所述网络模型进行训练。
进一步地，所述装置还包括：
第二训练模块，用于获取训练样本集中的每个第五图像，其中每个第五图像中包含待移除的物体的第三子图像；针对每个第五图像，将该第五图像及预先获取的该第五图像中待移除的物体的第三子图像在该第五图像中的第二位置信息输入到所述网络模型中，获取所述网络模型输出的在所述第五图像中的所述第二位置信息处移除了所述第三子图像的第六图像，及包含所述物体的第七图像；将所述第六图像，所述第七图像及所述第二位置信息输入到所述网络模型的反向网络模型中，获取所述反向网络模型输出的在所述第六图像的所述第二位置信息处添加了所述第七图像中的物体的第八图像；根据每个第五图像和第八图像的相似度，对所述网络模型进行训练。
进一步地，所述装置还包括：
第三训练模块，用于获取训练样本集中的每个第九图像和每个第十图像，其中每个第十图像中包含待添加的物体的第四子图像；针对每个第九图像，选取任一第十图像，将该第九图像，该第十图像及预先获取的所述第九图像中的第三位置信息输入到所述网络模型的反向网络模型中，获取所述反向网络模型输出的在所述第九图像的所述第三位置信息添加了所述第四子图像的第十一图像；将所述第十一图像和所述第三位置信息输入到所述网络模型中，获取所述网络模型输出的在所述第十一图像的所述第三位置信息移除了所述第三位置信息中的所述第四子图像的第十二图像；根据每个第九图像和第十二图像的相似度，对所述网络模型进行训练。
进一步地，所述装置还包括：
第四训练模块，用于获取训练样本集中的每个第十三图像和每个第十四图像，其中每个第十四图像中包含待添加的物体的第五子图像；针对每个第十三图像，选取任一第十四图像，将该第十三图像，该第十四图像及预先获取的所述第十三图像中的第四位置信息输入到所述反向网络模型中，获取所述反向网络模型输出的在所述第十三图像的所述第四位置信息添加了所述第五子图像的第十五图像；将所述第十五图像输入到预先训练完成的辨别器网络模型中，获取所述辨别器网络模型输出的辨别结果信息，其中所述辨别结果信息为真实图像或虚假图像；根据每个辨别结果信息，对所述反向网络模型进行训练。
进一步地，所述装置还包括：
第五训练模块，用于获取样本图像，其中所述样本图像中标注了该样本图像对应的辨别标识信息，其中所述辨别标识信息包括真实图像和虚假图像；将每个样本图像输入到所述辨别器网络模型中，根据辨别器网络模型针对每个样本图像输出的辨别结果信息，及每个样本图像对应的辨别标识信息，对所述辨别器网络模型进行训练，其中辨别结果信息标识输入的图像是真实图像还是虚假图像。
本发明实施例提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
所述存储器中存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行上述任一项所述方法的步骤。
本发明实施例提供了一种图像中移除目标物体的方法、装置及电子设备，所述方法包括：将包含待移除的目标物体的第一子图像的第一图像，及预先获取的所述第一子图像在所述第一图像中的目标位置信息输入到预先训练完成的网络模型中，获取所述网络模型输出的在所述第一图像中的所述目标位置信息处移除了所述第一子图像的第二图像。由于在本发明实施例中，通过使用预先训练完成的网络模型，将第一图像中的该目标位置信息中的第一子图像移除，得到第二图像。根据该网络模型输出的该第二图像效果较好。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例2提供的网络模型的训练过程示意图；
图2为本发明实施例3提供的网络模型的训练过程示意图；
图3为本发明实施例5提供的反向网络模型的训练过程示意图；
图4为本发明实施例7提供的一种图像中移除目标物体的装置结构示意图；
图5为本发明实施例8提供的一种电子设备结构示意图。
具体实施方式
下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例1：
本发明实施例提供了一种图像中移除目标物体的方法，所述方法包括：
将包含待移除的目标物体的第一子图像的第一图像，及预先获取的所述第一子图像在所述第一图像中的目标位置信息输入到预先训练完成的网络模型中，获取所述网络模型输出的在所述第一图像中的所述目标位置信息处移除了所述第一子图像的第二图像。
为了保证被移除目标物体后的图像的显示效果，本发明实施例采用预先训练完成的网络模型，对包含待移除的目标物体的图像进行处理。具体的，该网络模型可以是深度神经元网络模型中的任意一种网络模型，例如，该网络模型可以为深度残差网络模型，U型卷积神经网络模型或设计者自行设计的网络模型等。
在具体实施过程中，可以通过预先设计的图像检测程序获取目标物体在该第一图像中的目标位置信息，具体的可以是人工预先在该第一图像中标记方框的方式，其中该方框中完全包含该目标物体，通过图像检测程序获取该第一图像中标记方框的位置，从而确定目标位置信息，在本发明实施例中，对获取目标位置信息的过程不作限制。
为了获取到移除了第一子图像的第二图像，在本发明实施例中，将该第一图像，及预先获取的该第一子图像在该第一图像中的目标位置信息输入到预先训练完成的网络模型中，基于该预先训练完成的网络模型，在第一图像中的该目标位置信息处移除该第一子图像，从而输出第二图像，其中在第一图像中被移除了第一子图像后的区域被背景自然填充，以使输出的第二图像显示效果较好。在具体实施过程中，该网络模型不仅可以输出在第一图像中的该目标位置信息处移除第一子图像的第二图像，还可以输出包含该第一子图像的图像。
由于在本发明实施例中，通过使用预先训练完成的网络模型，将第一图像中的该目标位置信息中的第一子图像移除，得到第二图像。根据该网络模型输出的该第二图像显示效果较好。
实施例2：
为了提高移除目标物体后的图像的显示效果，在上述实施例的基础上，在本发明实施例中，所述网络模型的训练过程包括：
获取训练样本集中的每个第三图像，其中每个第三图像中包含待移除的物体的第二子图像；
针对每个第三图像，将该第三图像，及预先获取的该第三图像中待移除的物体的第二子图像在该第三图像中的第一位置信息输入到所述网络模型中，获取所述网络模型输出的在所述第三图像中的所述第一位置信息处移除了所述第二子图像的第四图像；将所述第四图像输入到预先训练完成的辨别器网络模型中，获取所述辨别器网络模型输出的辨别结果信息，其中所述辨别结果信息为真实图像或虚假图像；
根据每个辨别结果信息，对所述网络模型进行训练。
为了使网络模型输出的移除目标物体后的图像显示效果较好，在本发明实施例中，结合预先训练完成的辨别器网络模型对该网络模型进行训练。具体的，该辨别器网络模型可以是深度神经网络模型中的任意一种网络模型。该辨别器网络模型的作用是分辨一个图像是真实图像，还是虚假图像，该辨别器网络模型总是尽可能夸大网络模型输出的图像与真实图像之间的差别，从而使网络模型输出尽可能真实自然的图像。
在本发明实施例中，对训练样本集中的每个第三图像包含的内容或类型等不作限制。在获取训练样本集时，可以从现有的图像数据库中选取训练样本集，也可以由用户自行拍摄的图像构成训练样本集。其中，每个第三图像中包含一个物体，该物体可以是动物、人或物品等。
图1为本发明实施例提供的网络模型的训练过程示意图，具体的，针对每个第三图像，将该第三图像，及预先获取的该第三图像中待移除的物体的第二子图像在该第三图像中的第一位置信息输入到网络模型中，该网络模型经过若干层的卷积操作和池化操作，获取在该第三图像中的该第一位置信息处移除了该第二子图像的第四图像。之后，将该第四图像输入到预先训练完成的辨别器网络模型，该辨别器网络模型会识别该第四图像是真实图像还是虚假图像，具体的，第四图像在该辨别器网络模型经过若干层卷积和池化操作后，输出针对该第四图像的辨别结果信息，其中该辨别结果信息用于标识辨别器网络模型识别的该第四图像是真实图像还是虚假图像。根据每个辨别结果信息，对该网络模型进行训练。
实施例3：
为了提高移除目标物体后的图像的显示效果，在上述各实施例的基础上，在本发明实施例中，所述网络模型的训练过程包括：
获取训练样本集中的每个第五图像，其中每个第五图像中包含待移除的物体的第三子图像；
针对每个第五图像，将该第五图像及预先获取的该第五图像中待移除的物体的第三子图像在该第五图像中的第二位置信息输入到所述网络模型中，获取所述网络模型输出的在所述第五图像中的所述第二位置信息处移除了所述第三子图像的第六图像，及包含所述物体的第七图像；将所述第六图像，所述第七图像及所述第二位置信息输入到所述网络模型的反向网络模型中，获取所述反向网络模型输出的在所述第六图像的所述第二位置信息处添加了所述第七图像中的物体的第八图像；
根据每个第五图像和第八图像的相似度，对所述网络模型进行训练。
为了使网络模型输出的移除目标物体后的图像显示效果较好，在本发明实施例中，结合该网络模型的反向网络模型对该网络模型进行训练，其中，该网络模型的功能与该反向网络模型的功能恰好相反。该网络模型的功能是将输入图像中指定位置信息处的物体的图像移除；而该反向网络模型的功能是在输入图像的指定位置信息处添加一个物体的图像。根据上述描述的每个模型的不同功能，该网络模型还可以称为分离模型，该反向网络模型还可以称为合并模型。
结合反向网络模型对该网络模型进行训练遵循的原则是图像重构原则，即反向网络模型输出的第八图像需要与网络模型输入的第五图像尽可能相同。
在本发明实施例中，对训练样本集中的每个第五图像包含的内容或类型等不作限制。在获取训练样本集时，可以从现有的图像数据库中选取训练样本集，也可以由用户自行拍摄的图像构成训练样本集。其中，每个第五图像中包含一个物体，该物体可以是动物、人或物品等。
图2为本发明实施例提供的网络模型的训练过程示意图，具体的，针对每个第五图像，将该第五图像及预先获取的该第五图像中待移除的物体的第三子图像在该第五图像中的第二位置信息输入到该网络模型中，获取该网络模型输出的在该第五图像中的该第二位置信息处移除了该第三子图像的第六图像，及包含该物体的第七图像。之后，将该第六图像，该第七图像及该第二位置信息输入到该反向网络模型中，获取在该第六图像的该第二位置信息处添加了该第七图像中的物体的第八图像。根据每个第五图像和第八图像的相似度，对该网络模型进行训练。
其中，计算第五图像和第八图像的相似度的过程为现有技术，在本发明实施例中，对该过程不作赘述。
实施例4：
为了提高移除目标物体后的图像的显示效果，在上述各实施例的基础上，在本发明实施例中，所述网络模型的训练过程包括：
获取训练样本集中的每个第九图像和每个第十图像，其中每个第十图像中包含待添加的物体的第四子图像；
针对每个第九图像，选取任一第十图像，将该第九图像，该第十图像及预先获取的所述第九图像中的第三位置信息输入到所述网络模型的反向网络模型中，获取所述反向网络模型输出的在所述第九图像的所述第三位置信息添加了所述第四子图像的第十一图像；将所述第十一图像和所述第三位置信息输入到所述网络模型中，获取所述网络模型输出的在所述第十一图像的所述第三位置信息移除了所述第三位置信息中的所述第四子图像的第十二图像；
根据每个第九图像和第十二图像的相似度，对所述网络模型进行训练。
结合反向网络模型对该网络模型进行训练需要遵循的另一原则是网络模型输出的第十二图像需要与反向网络模型输入的第九图像尽可能相同。
在本发明实施例中，对训练样本集中的每个第九图像及每个第十图像中包含的内容或类型等不作限制。在获取训练样本集时，可以从现有的图像数据库中选取训练样本集，也可以由用户自行拍摄的图像构成训练样本集。其中，每个第十图像中包含一个待添加的物体的第四子图像，该物体可以是动物、人或物品等。较佳的，每个第十图像是包含待添加物体的无背景图像，即背景单一的图像，如果第十图像不是无背景图像，可以采用现有技术去除第十图像中的背景，在此不作赘述。
具体的，针对每个第九图像，随机选取一张第十图像作为该第九图像的待添加物体的图像。将该第九图像，该第十图像及预先获取的该第九图像中的第三位置信息输入到反向网络模型中，获取在该第九图像的该第三位置信息添加了该第四子图像的第十一图像。之后，将该第十一图像和该第三位置信息输入到该网络模型中，输出在该第十一图像的该第三位置信息处移除了该第三位置信息中的该第四子图像的第十二图像。根据每个第九图像和第十二图像的相似度，对该网络模型进行训练。
其中，计算第九图像和第十二图像的相似度的过程为现有技术，在本发明实施例中，对该过程不作赘述。
实施例5：
为了提高移除目标物体后的图像的显示效果，在上述各实施例的基础上，在本发明实施例中，所述反向网络模型的训练过程包括：
获取训练样本集中的每个第十三图像和每个第十四图像，其中每个第十四图像中包含待添加的物体的第五子图像；
针对每个第十三图像，选取任一第十四图像，将该第十三图像，该第十四图像及预先获取的所述第十三图像中的第四位置信息输入到所述反向网络模型中，获取所述反向网络模型输出的在所述第十三图像的所述第四位置信息添加了所述第五子图像的第十五图像；将所述第十五图像输入到预先训练完成的辨别器网络模型中，获取所述辨别器网络模型输出的辨别结果信息，其中所述辨别结果信息为真实图像或虚假图像；
根据每个辨别结果信息，对所述反向网络模型进行训练。
在具体实施过程中，网络模型和反向网络模型可以单独进行训练，在训练网络模型和反向网络模型时分别基于辨别器网络模型进行训练，也可以将网络模型与反向网络模型一起进行训练，具体的根据网络模型输入的图像和反向网络模型输出的图像进行对比，从而对两个模型进行训练，或者根据反向网络模型输入的图像和网络模型输出的图像进行对比，从而对两个模型进行训练，如上述实施例3和实施例4提供的训练方法。
为了使反向网络模型输出的添加了物体的图像显示效果较好，在本发明实施例中，结合预先训练完成的辨别器网络模型对该反向网络模型进行训练。具体的，该辨别器网络模型可以是深度神经网络模型中的任意一种网络模型。该辨别器网络模型的作用是分辨一个图像是真实图像，还是虚假图像，该辨别器网络模型总是尽可能夸大反向网络模型输出的图像与真实图像之间的差别，从而使反向网络模型输出尽可能真实自然的图像。
在本发明实施例中，对训练样本集中的每个第十三图像及每个第十四图像中包含的内容或类型等不作限制。在获取训练样本集时，可以从现有的图像数据库中选取训练样本集，也可以由用户自行拍摄的图像构成训练样本集。其中，每个第十四图像中包含一个待添加的物体的第五子图像，该物体可以是动物、人或物品等。
图3为本发明实施例提供的反向网络模型的训练过程示意图，具体的，针对每个第十三图像，随机选取一张第十四图像作为该第十三图像的待添加物体的图像。将该第十三图像，该第十四图像及预先获取的该第十三图像中的第四位置信息输入到反向网络模型中，获取在该第十三图像的该第四位置信息添加了该第五子图像的第十五图像。之后，将该第十五图像输入到预先训练完成的辨别器网络模型中，该辨别器网络模型会识别该第十四图像是真实图像还是虚假图像，具体的，第十四图像在该辨别器网络模型中经过若干层卷积和池化操作后，输出针对该第十四图像的辨别结果信息，其中该辨别结果信息用于标识辨别器网络模型识别的该第十四图像是真实图像还是虚假图像。根据每个辨别结果信息，对该反向网络模型进行训练。
实施例6：
为了提高移除目标物体后的图像的显示效果，在上述各实施例的基础上，在本发明实施例中，所述辨别器网络模型的训练过程包括：
获取样本图像，其中所述样本图像中标注了该样本图像对应的辨别标识信息，其中所述辨别标识信息包括真实图像和虚假图像；
将每个样本图像输入到所述辨别器网络模型中，根据辨别器网络模型针对每个样本图像输出的辨别结果信息，及每个样本图像对应的辨别标识信息，对所述辨别器网络模型进行训练，其中辨别结果信息标识输入的图像是真实图像还是虚假图像。
由于该辨别器网络模型的目的是为了识别图像是真实图像还是虚假图像，因此在对该辨别器网络模型进行训练之前，还需要获取样本图像，并对每个样本图像进行标注，具体的，在预先对每个样本图像进行标注时，用户根据每个样本图像是否真实，给每个样本图像标注一个标识信息，该标识信息可以标识样本图像是真实图像还是虚假图像。
在训练该辨别器网络模型时，可以先将标注的辨别标识信息是真实图像的样本图像分别输入到该辨别器网络模型中，根据辨别器网络模型输出的辨别结果信息，可以使该辨别器网络模型识别真实图像；其次将标注的辨别标识信息是虚假图像的样本图像输入到该辨别器网络模型中，根据辨别器网络模型输出的辨别结果信息，可以使该辨别器网络模型识别虚假图像。具体的，将每个样本图像输入到该辨别器网络模型中，输出每个样本图像对应的辨别结果信息，其中，辨别结果信息用于标识该样本图像是真实图像还是虚假图像；根据每个样本图像的辨别标识信息，及每个样本图像的辨别结果信息，对该辨别器网络模型进行训练。
下面以一个详细的实施例，介绍各网络模型的训练过程。
首先，需要获取训练样本集，具体的用户通过图像采集设备拍摄一张自然背景或室内背景的图像A，然后设置指定模特B在图像A的场景下拍摄一张包含模特B的图像A+，模特B在单一场景下拍摄一张图像C。
为了对辨别器网络模型进行训练，需要大量的真实图像和虚假图像。由于上述样本集中的样本图像均是由图像采集设备获取的，即图像A、图像A+、图像C，因此上述样本图像均为真实图像。将上述样本图像分别输入到辨别器网络模型中，根据辨别器网络模型输出的辨别结果信息，可以使该辨别器网络模型识别真实图像；另外通过现有技术中的合并方法，将上述的图像A和图像C合成的图像，或者通过现有技术中的目标物体去除方法，将从上述的图像A+分离出的图像作为虚假图像，将上述合成和/或分离后的图像分别输入到辨别器网络模型中根据辨别器网络模型输出的辨别结果信息，可以使该辨别器网络模型识别虚假图像。
完成了辨别器网络模型的训练后，可以基于辨别器网络模型对网络模型和该网络模型的反向网络模型进行训练。具体的，反向网络模型可以称为合并模型，网络模型可以称为分离模型。基于辨别器网络对反向网络模型的训练过程为，将上述采集的图像A，图像C以及待添加的图像C中的物体的子图像在图像A中的位置信息一并输入到反向网络模型中，该反向网络模型输出的在该图像A的该位置信息添加了子图像的图像A1；之后将该图像A1输入到训练完成的辨别器网络模型中，获取该辨别器网络模型输出的辨别结果信息；根据辨别结果信息，对该反向网络模型进行训练。
基于辨别器网络模型对网络模型的训练过程为，预先在上述采集的图像A+中标记一个方框，该方框中包含待移除的物体，记录该方框在该图像A+中的位置信息。将图像A+以及该位置信息一起输入到网络模型中，网络模型输出在该图像A+的该位置信息处移除了该物体的图像A2，将该图像A2输入到训练完成的辨别器网络模型中，获取该辨别器网络模型输出的辨别结果信息，根据辨别结果信息，对该网络模型进行训练。
统一训练网络模型和反向网络模型的过程需要遵循图像重构原则不被破坏，即反向网络模型输出的图像需要与网络模型输入的图像尽可能相同；网络模型输出的图像需要与反向网络模型输入的图像尽可能相同。
首先，将上述采集的图像A，图像C以及待添加的图像C中的物体的子图像在图像A中的位置信息一并输入到反向网络模型中，该反向网络模型输出的在该图像A的该位置信息添加了子图像的图像A3，之后，将该图像A3与该位置信息一起输入到网络模型中，该网络模型输出在该图像A3中的该位置信息处移除了该位置信息处包含的物体的图像A4，根据图像A与图像A4的相似度，对网络模型和反向网络模型进行训练。
或者，预先在上述采集的图像A+中标记一个方框，该方框中包含待移除的物体，记录该方框在该图像A+中的位置信息。将图像A+以及该位置信息一起输入到网络模型中，网络模型输出在该图像A+的该位置信息处移除了该物体的图像A5，及包含该物体的图像A6，将该图像A5，该图像A6及该位置信息一起输入到反向网络模型中，该反向网络模型输出在图像A5中的该位置信息处添加了图像A6的图像A7，根据图像A7与图像A+的相似度，对网络模型和反向网络模型进行训练。
实施例7：
图4为本发明实施例提供的一种图像中移除目标物体的装置结构示意图，该装置包括：输入模块401，网络模型模块402；
所述输入模块401，用于将包含待移除的目标物体的第一子图像的第一图像，及预先获取的所述第一子图像在所述第一图像中的目标位置信息输入到预先训练完成的所述网络模型中；
所述网络模型模块402，用于在所述第一图像中的所述目标位置信息处移除所述第一子图像，输出在所述第一图像中的所述目标位置信息处移除了所述第一子图像的第二图像。
进一步地，所述装置还包括：
第一训练模块403，用于获取训练样本集中的每个第三图像，其中每个第三图像中包含待移除的物体的第二子图像；针对每个第三图像，将该第三图像，及预先获取的该第三图像中待移除的物体的第二子图像在该第三图像中的第一位置信息输入到所述网络模型中，获取所述网络模型输出的在所述第三图像中的所述第一位置信息处移除了所述第二子图像的第四图像；将所述第四图像输入到预先训练完成的辨别器网络模型中，获取所述辨别器网络模型输出的辨别结果信息，其中所述辨别结果信息为真实图像或虚假图像；根据每个辨别结果信息，对所述网络模型进行训练。
进一步地，所述装置还包括：
第二训练模块404，用于获取训练样本集中的每个第五图像，其中每个第五图像中包含待移除的物体的第三子图像；针对每个第五图像，将该第五图像及预先获取的该第五图像中待移除的物体的第三子图像在该第五图像中的第二位置信息输入到所述网络模型中，获取所述网络模型输出的在所述第五图像中的所述第二位置信息处移除了所述第三子图像的第六图像，及包含所述物体的第七图像；将所述第六图像，所述第七图像及所述第二位置信息输入到所述网络模型的反向网络模型中，获取所述反向网络模型输出的在所述第六图像的所述第二位置信息处添加了所述第七图像中的物体的第八图像；根据每个第五图像和第八图像的相似度，对所述网络模型进行训练。
进一步地，所述装置还包括：
第三训练模块405，用于获取训练样本集中的每个第九图像和每个第十图像，其中每个第十图像中包含待添加的物体的第四子图像；针对每个第九图像，选取任一第十图像，将该第九图像，该第十图像及预先获取的所述第九图像中的第三位置信息输入到所述网络模型的反向网络模型中，获取所述反向网络模型输出的在所述第九图像的所述第三位置信息添加了所述第四子图像的第十一图像；将所述第十一图像和所述第三位置信息输入到所述网络模型中，获取所述网络模型输出的在所述第十一图像的所述第三位置信息移除了所述第三位置信息中的所述第四子图像的第十二图像；根据每个第九图像和第十二图像的相似度，对所述网络模型进行训练。
进一步地，所述装置还包括：
第四训练模块406，用于获取训练样本集中的每个第十三图像和每个第十四图像，其中每个第十四图像中包含待添加的物体的第五子图像；针对每个第十三图像，选取任一第十四图像，将该第十三图像，该第十四图像及预先获取的所述第十三图像中的第四位置信息输入到所述反向网络模型中，获取所述反向网络模型输出的在所述第十三图像的所述第四位置信息添加了所述第五子图像的第十五图像；将所述第十五图像输入到预先训练完成的辨别器网络模型中，获取所述辨别器网络模型输出的辨别结果信息，其中所述辨别结果信息为真实图像或虚假图像；根据每个辨别结果信息，对所述反向网络模型进行训练。
进一步地，所述装置还包括：
第五训练模块407，用于获取样本图像，其中所述样本图像中标注了该样本图像对应的辨别标识信息，其中所述辨别标识信息包括真实图像和虚假图像；将每个样本图像输入到所述辨别器网络模型中，根据辨别器网络模型针对每个样本图像输出的辨别结果信息，及每个样本图像对应的辨别标识信息，对所述辨别器网络模型进行训练，其中辨别结果信息标识输入的图像是真实图像还是虚假图像。
实施例8：
在上述各实施例的基础上，本发明实施例还提供了一种电子设备500，如图5所示，包括：处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信；
所述存储器503中存储有计算机程序，当所述程序被所述处理器501执行时，使得所述处理器501执行如下步骤：
将包含待移除的目标物体的第一子图像的第一图像，及预先获取的所述第一子图像在所述第一图像中的目标位置信息输入到预先训练完成的网络模型中，获取所述网络模型输出的在所述第一图像中的所述目标位置信息处移除了所述第一子图像的第二图像。
进一步地，所述网络模型的训练过程包括：
获取训练样本集中的每个第三图像，其中每个第三图像中包含待移除的物体的第二子图像；
针对每个第三图像，将该第三图像，及预先获取的该第三图像中待移除的物体的第二子图像在该第三图像中的第一位置信息输入到所述网络模型中，获取所述网络模型输出的在所述第三图像中的所述第一位置信息处移除了所述第二子图像的第四图像；将所述第四图像输入到预先训练完成的辨别器网络模型中，获取所述辨别器网络模型输出的辨别结果信息，其中所述辨别结果信息为真实图像或虚假图像；
根据每个辨别结果信息，对所述网络模型进行训练。
进一步地，所述网络模型的训练过程包括：
获取训练样本集中的每个第五图像，其中每个第五图像中包含待移除的物体的第三子图像；
针对每个第五图像，将该第五图像及预先获取的该第五图像中待移除的物体的第三子图像在该第五图像中的第二位置信息输入到所述网络模型中，获取所述网络模型输出的在所述第五图像中的所述第二位置信息处移除了所述第三子图像的第六图像，及包含所述物体的第七图像；将所述第六图像，所述第七图像及所述第二位置信息输入到所述网络模型的反向网络模型中，获取所述反向网络模型输出的在所述第六图像的所述第二位置信息处添加了所述第七图像中的物体的第八图像；
根据每个第五图像和第八图像的相似度，对所述网络模型进行训练。
进一步地，所述网络模型的训练过程包括：
获取训练样本集中的每个第九图像和每个第十图像，其中每个第十图像中包含待添加的物体的第四子图像；
针对每个第九图像，选取任一第十图像，将该第九图像，该第十图像及预先获取的所述第九图像中的第三位置信息输入到所述网络模型的反向网络模型中，获取所述反向网络模型输出的在所述第九图像的所述第三位置信息添加了所述第四子图像的第十一图像；将所述第十一图像和所述第三位置信息输入到所述网络模型中，获取所述网络模型输出的在所述第十一图像的所述第三位置信息移除了所述第三位置信息中的所述第四子图像的第十二图像；
根据每个第九图像和第十二图像的相似度，对所述网络模型进行训练。
进一步地，所述反向网络模型的训练过程包括：
获取训练样本集中的每个第十三图像和每个第十四图像，其中每个第十四图像中包含待添加的物体的第五子图像；
针对每个第十三图像，选取任一第十四图像，将该第十三图像，该第十四图像及预先获取的所述第十三图像中的第四位置信息输入到所述反向网络模型中，获取所述反向网络模型输出的在所述第十三图像的所述第四位置信息添加了所述第五子图像的第十五图像；将所述第十五图像输入到预先训练完成的辨别器网络模型中，获取所述辨别器网络模型输出的辨别结果信息，其中所述辨别结果信息为真实图像或虚假图像；
根据每个辨别结果信息，对所述反向网络模型进行训练。
进一步地，所述辨别器网络模型的训练过程包括：
获取样本图像，其中所述样本图像中标注了该样本图像对应的辨别标识信息，其中所述辨别标识信息包括真实图像和虚假图像；
将每个样本图像输入到所述辨别器网络模型中，根据辨别器网络模型针对每个样本图像输出的辨别结果信息，及每个样本图像对应的辨别标识信息，对所述辨别器网络模型进行训练，其中辨别结果信息标识输入的图像是真实图像还是虚假图像。
上述电子设备提到的通信总线可以是外设部件互连标准（Peripheral ComponentInterconnect，PCI）总线或扩展工业标准结构（Extended Industry StandardArchitecture，EISA）总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口502用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器（Random Access Memory，RAM），也可以包括非易失性存储器（Non-Volatile Memory，NVM），例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，包括中央处理器、网络处理器（NetworkProcessor，NP）等；还可以是数字指令处理器（Digital Signal Processing，DSP）、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
本发明是参照根据本发明实施例的方法、设备（***）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图中一个流程或多个流程，和／或方框图中一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图中一个流程或多个流程，和／或方框图中一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (17)
1.一种图像中移除目标物体的方法，其特征在于，所述方法包括：
将包含待移除的目标物体的第一子图像的第一图像，及预先获取的所述第一子图像在所述第一图像中的目标位置信息输入到预先训练完成的网络模型中，获取所述网络模型输出的在所述第一图像中的所述目标位置信息处移除了所述第一子图像的第二图像；
其中，所述网络模型的训练过程包括：
获取训练样本集中的每个第五图像，其中每个第五图像中包含待移除的物体的第三子图像；
针对每个第五图像，将该第五图像及预先获取的该第五图像中待移除的物体的第三子图像在该第五图像中的第二位置信息输入到所述网络模型中，获取所述网络模型输出的在所述第五图像中的所述第二位置信息处移除了所述第三子图像的第六图像，及包含所述物体的第七图像；将所述第六图像，所述第七图像及所述第二位置信息输入到所述网络模型的反向网络模型中，获取所述反向网络模型输出的在所述第六图像的所述第二位置信息处添加了所述第七图像中的物体的第八图像；
根据每个第五图像和第八图像的相似度，对所述网络模型进行训练。
2.如权利要求1所述的方法，其特征在于，所述网络模型的训练过程包括：
获取训练样本集中的每个第三图像，其中每个第三图像中包含待移除的物体的第二子图像；
针对每个第三图像，将该第三图像，及预先获取的该第三图像中待移除的物体的第二子图像在该第三图像中的第一位置信息输入到所述网络模型中，获取所述网络模型输出的在所述第三图像中的所述第一位置信息处移除了所述第二子图像的第四图像；将所述第四图像输入到预先训练完成的辨别器网络模型中，获取所述辨别器网络模型输出的辨别结果信息，其中所述辨别结果信息为真实图像或虚假图像；
根据每个辨别结果信息，对所述网络模型进行训练。
3.如权利要求1所述的方法，其特征在于，所述反向网络模型的训练过程包括：
获取训练样本集中的每个第十三图像和每个第十四图像，其中每个第十四图像中包含待添加的物体的第五子图像；
针对每个第十三图像，选取任一第十四图像，将该第十三图像，该第十四图像及预先获取的所述第十三图像中的第四位置信息输入到所述反向网络模型中，获取所述反向网络模型输出的在所述第十三图像的所述第四位置信息添加了所述第五子图像的第十五图像；将所述第十五图像输入到预先训练完成的辨别器网络模型中，获取所述辨别器网络模型输出的辨别结果信息，其中所述辨别结果信息为真实图像或虚假图像；
根据每个辨别结果信息，对所述反向网络模型进行训练。
4.如权利要求2或3所述的方法，其特征在于，所述辨别器网络模型的训练过程包括：
获取样本图像，其中所述样本图像中标注了该样本图像对应的辨别标识信息，其中所述辨别标识信息包括真实图像和虚假图像；
将每个样本图像输入到所述辨别器网络模型中，根据辨别器网络模型针对每个样本图像输出的辨别结果信息，及每个样本图像对应的辨别标识信息，对所述辨别器网络模型进行训练，其中辨别结果信息标识输入的图像是真实图像还是虚假图像。
5.一种图像中移除目标物体的方法，其特征在于，所述方法包括：
将包含待移除的目标物体的第一子图像的第一图像，及预先获取的所述第一子图像在所述第一图像中的目标位置信息输入到预先训练完成的网络模型中，获取所述网络模型输出的在所述第一图像中的所述目标位置信息处移除了所述第一子图像的第二图像；
其中，所述网络模型的训练过程包括：
获取训练样本集中的每个第九图像和每个第十图像，其中每个第十图像中包含待添加的物体的第四子图像；
针对每个第九图像，选取任一第十图像，将该第九图像，该第十图像及预先获取的所述第九图像中的第三位置信息输入到所述网络模型的反向网络模型中，获取所述反向网络模型输出的在所述第九图像的所述第三位置信息添加了所述第四子图像的第十一图像；将所述第十一图像和所述第三位置信息输入到所述网络模型中，获取所述网络模型输出的在所述第十一图像的所述第三位置信息移除了所述第三位置信息中的所述第四子图像的第十二图像；
根据每个第九图像和第十二图像的相似度，对所述网络模型进行训练。
6.如权利要求5所述的方法，其特征在于，所述网络模型的训练过程包括：
获取训练样本集中的每个第三图像，其中每个第三图像中包含待移除的物体的第二子图像；
针对每个第三图像，将该第三图像，及预先获取的该第三图像中待移除的物体的第二子图像在该第三图像中的第一位置信息输入到所述网络模型中，获取所述网络模型输出的在所述第三图像中的所述第一位置信息处移除了所述第二子图像的第四图像；将所述第四图像输入到预先训练完成的辨别器网络模型中，获取所述辨别器网络模型输出的辨别结果信息，其中所述辨别结果信息为真实图像或虚假图像；
根据每个辨别结果信息，对所述网络模型进行训练。
7.如权利要求5所述的方法，其特征在于，所述反向网络模型的训练过程包括：
获取训练样本集中的每个第十三图像和每个第十四图像，其中每个第十四图像中包含待添加的物体的第五子图像；
针对每个第十三图像，选取任一第十四图像，将该第十三图像，该第十四图像及预先获取的所述第十三图像中的第四位置信息输入到所述反向网络模型中，获取所述反向网络模型输出的在所述第十三图像的所述第四位置信息添加了所述第五子图像的第十五图像；将所述第十五图像输入到预先训练完成的辨别器网络模型中，获取所述辨别器网络模型输出的辨别结果信息，其中所述辨别结果信息为真实图像或虚假图像；
根据每个辨别结果信息，对所述反向网络模型进行训练。
8.如权利要求6或7所述的方法，其特征在于，所述辨别器网络模型的训练过程包括：
获取样本图像，其中所述样本图像中标注了该样本图像对应的辨别标识信息，其中所述辨别标识信息包括真实图像和虚假图像；
将每个样本图像输入到所述辨别器网络模型中，根据辨别器网络模型针对每个样本图像输出的辨别结果信息，及每个样本图像对应的辨别标识信息，对所述辨别器网络模型进行训练，其中辨别结果信息标识输入的图像是真实图像还是虚假图像。
9.一种图像中移除目标物体的装置，其特征在于，所述装置包括：输入模块和网络模型模块；
所述输入模块，用于将包含待移除的目标物体的第一子图像的第一图像，及预先获取的所述第一子图像在所述第一图像中的目标位置信息输入到预先训练完成的所述网络模型中；
所述网络模型模块，用于在所述第一图像中的所述目标位置信息处移除所述第一子图像，输出在所述第一图像中的所述目标位置信息处移除了所述第一子图像的第二图像；
其中，所述装置还包括：
第二训练模块，用于获取训练样本集中的每个第五图像，其中每个第五图像中包含待移除的物体的第三子图像；针对每个第五图像，将该第五图像及预先获取的该第五图像中待移除的物体的第三子图像在该第五图像中的第二位置信息输入到所述网络模型中，获取所述网络模型输出的在所述第五图像中的所述第二位置信息处移除了所述第三子图像的第六图像，及包含所述物体的第七图像；将所述第六图像，所述第七图像及所述第二位置信息输入到所述网络模型的反向网络模型中，获取所述反向网络模型输出的在所述第六图像的所述第二位置信息处添加了所述第七图像中的物体的第八图像；根据每个第五图像和第八图像的相似度，对所述网络模型进行训练。
10.如权利要求9所述的装置，其特征在于，所述装置还包括：
第一训练模块，用于获取训练样本集中的每个第三图像，其中每个第三图像中包含待移除的物体的第二子图像；针对每个第三图像，将该第三图像，及预先获取的该第三图像中待移除的物体的第二子图像在该第三图像中的第一位置信息输入到所述网络模型中，获取所述网络模型输出的在所述第三图像中的所述第一位置信息处移除了所述第二子图像的第四图像；将所述第四图像输入到预先训练完成的辨别器网络模型中，获取所述辨别器网络模型输出的辨别结果信息，其中所述辨别结果信息为真实图像或虚假图像；根据每个辨别结果信息，对所述网络模型进行训练。
11.如权利要求9所述的装置，其特征在于，所述装置还包括：
第四训练模块，用于获取训练样本集中的每个第十三图像和每个第十四图像，其中每个第十四图像中包含待添加的物体的第五子图像；针对每个第十三图像，选取任一第十四图像，将该第十三图像，该第十四图像及预先获取的所述第十三图像中的第四位置信息输入到所述反向网络模型中，获取所述反向网络模型输出的在所述第十三图像的所述第四位置信息添加了所述第五子图像的第十五图像；将所述第十五图像输入到预先训练完成的辨别器网络模型中，获取所述辨别器网络模型输出的辨别结果信息，其中所述辨别结果信息为真实图像或虚假图像；根据每个辨别结果信息，对所述反向网络模型进行训练。
12.如权利要求10或11所述的装置，其特征在于，所述装置还包括：
第五训练模块，用于获取样本图像，其中所述样本图像中标注了该样本图像对应的辨别标识信息，其中所述辨别标识信息包括真实图像和虚假图像；将每个样本图像输入到所述辨别器网络模型中，根据辨别器网络模型针对每个样本图像输出的辨别结果信息，及每个样本图像对应的辨别标识信息，对所述辨别器网络模型进行训练，其中辨别结果信息标识输入的图像是真实图像还是虚假图像。
13.一种图像中移除目标物体的装置，其特征在于，所述装置包括：输入模块和网络模型模块；
所述输入模块，用于将包含待移除的目标物体的第一子图像的第一图像，及预先获取的所述第一子图像在所述第一图像中的目标位置信息输入到预先训练完成的所述网络模型中；
所述网络模型模块，用于在所述第一图像中的所述目标位置信息处移除所述第一子图像，输出在所述第一图像中的所述目标位置信息处移除了所述第一子图像的第二图像；
其中，所述装置还包括：
第三训练模块，用于获取训练样本集中的每个第九图像和每个第十图像，其中每个第十图像中包含待添加的物体的第四子图像；针对每个第九图像，选取任一第十图像，将该第九图像，该第十图像及预先获取的所述第九图像中的第三位置信息输入到所述网络模型的反向网络模型中，获取所述反向网络模型输出的在所述第九图像的所述第三位置信息添加了所述第四子图像的第十一图像；将所述第十一图像和所述第三位置信息输入到所述网络模型中，获取所述网络模型输出的在所述第十一图像的所述第三位置信息移除了所述第三位置信息中的所述第四子图像的第十二图像；根据每个第九图像和第十二图像的相似度，对所述网络模型进行训练。
14.如权利要求13所述的装置，其特征在于，所述装置还包括：
第一训练模块，用于获取训练样本集中的每个第三图像，其中每个第三图像中包含待移除的物体的第二子图像；针对每个第三图像，将该第三图像，及预先获取的该第三图像中待移除的物体的第二子图像在该第三图像中的第一位置信息输入到所述网络模型中，获取所述网络模型输出的在所述第三图像中的所述第一位置信息处移除了所述第二子图像的第四图像；将所述第四图像输入到预先训练完成的辨别器网络模型中，获取所述辨别器网络模型输出的辨别结果信息，其中所述辨别结果信息为真实图像或虚假图像；根据每个辨别结果信息，对所述网络模型进行训练。
15.如权利要求13所述的装置，其特征在于，所述装置还包括：
第四训练模块，用于获取训练样本集中的每个第十三图像和每个第十四图像，其中每个第十四图像中包含待添加的物体的第五子图像；针对每个第十三图像，选取任一第十四图像，将该第十三图像，该第十四图像及预先获取的所述第十三图像中的第四位置信息输入到所述反向网络模型中，获取所述反向网络模型输出的在所述第十三图像的所述第四位置信息添加了所述第五子图像的第十五图像；将所述第十五图像输入到预先训练完成的辨别器网络模型中，获取所述辨别器网络模型输出的辨别结果信息，其中所述辨别结果信息为真实图像或虚假图像；根据每个辨别结果信息，对所述反向网络模型进行训练。
16.如权利要求14或15所述的装置，其特征在于，所述装置还包括：
第五训练模块，用于获取样本图像，其中所述样本图像中标注了该样本图像对应的辨别标识信息，其中所述辨别标识信息包括真实图像和虚假图像；将每个样本图像输入到所述辨别器网络模型中，根据辨别器网络模型针对每个样本图像输出的辨别结果信息，及每个样本图像对应的辨别标识信息，对所述辨别器网络模型进行训练，其中辨别结果信息标识输入的图像是真实图像还是虚假图像。
17.一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
所述存储器中存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行权利要求1-4或5-8任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910481755.0A CN110008940B (zh) | 2019-06-04 | 2019-06-04 | 一种图像中移除目标物体的方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910481755.0A CN110008940B (zh) | 2019-06-04 | 2019-06-04 | 一种图像中移除目标物体的方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110008940A CN110008940A (zh) | 2019-07-12 |
| CN110008940B true CN110008940B (zh) | 2020-02-11 |
Family
ID=67177959
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910481755.0A Active CN110008940B (zh) | 2019-06-04 | 2019-06-04 | 一种图像中移除目标物体的方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110008940B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111556278B (zh) * | 2020-05-21 | 2022-02-01 | 腾讯科技（深圳）有限公司 | 一种视频处理的方法、视频展示的方法、装置及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108846355A (zh) * | 2018-06-11 | 2018-11-20 | 腾讯科技（深圳）有限公司 | 图像处理方法、人脸识别方法、装置和计算机设备 |
| CN109727320A (zh) * | 2018-12-29 | 2019-05-07 | 三星电子（中国）研发中心 | 一种虚拟化身的生成方法和设备 |
| CN109727264A (zh) * | 2019-01-10 | 2019-05-07 | 南京旷云科技有限公司 | 图像生成方法、神经网络的训练方法、装置和电子设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180055708A (ko) * | 2016-11-16 | 2018-05-25 | 삼성전자주식회사 | 이미지를 처리하는 전자 장치 및 방법 |
-
2019
- 2019-06-04 CN CN201910481755.0A patent/CN110008940B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108846355A (zh) * | 2018-06-11 | 2018-11-20 | 腾讯科技（深圳）有限公司 | 图像处理方法、人脸识别方法、装置和计算机设备 |
| CN109727320A (zh) * | 2018-12-29 | 2019-05-07 | 三星电子（中国）研发中心 | 一种虚拟化身的生成方法和设备 |
| CN109727264A (zh) * | 2019-01-10 | 2019-05-07 | 南京旷云科技有限公司 | 图像生成方法、神经网络的训练方法、装置和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110008940A (zh) | 2019-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108154105B (zh) | 水下生物检测与识别方法、装置、服务器及终端设备 | |
| CN108875523B (zh) | 人体关节点检测方法、装置、***和存储介质 | |
| CN107105310B (zh) | 一种视频直播中人物形象替换方法、装置和一种录播*** | |
| CN110705405A (zh) | 目标标注的方法及装置 | |
| CN109002820A (zh) | 一种车牌识别方法、装置及相关设备 | |
| CN109410211A (zh) | 一种图像中目标物体的分割方法及装置 | |
| CN111028006B (zh) | 一种业务投放辅助方法、业务投放方法及相关装置 | |
| CN109685847B (zh) | 一种视觉目标检测模型的训练方法和装置 | |
| CN111067522A (zh) | 大脑成瘾结构图谱评估方法及装置 | |
| CN113807451A (zh) | 全景图像特征点匹配模型的训练方法、装置以及服务器 | |
| US11120308B2 (en) | Vehicle damage detection method based on image analysis, electronic device and storage medium | |
| CN111783812B (zh) | 违禁图像识别方法、装置和计算机可读存储介质 | |
| CN110008940B (zh) | 一种图像中移除目标物体的方法、装置及电子设备 | |
| CN113706513A (zh) | 基于图像检测的车损图像的分析方法、装置、设备及介质 | |
| CN107563257B (zh) | 视频理解方法及装置 | |
| CN112558956A (zh) | 一种对实体积木进行拍照实现编程的方法、装置及设备 | |
| CN109598201B (zh) | 动作检测方法、装置、电子设备及可读存储介质 | |
| CN114820755B (zh) | 一种深度图估计方法及*** | |
| CN113627576B (zh) | 扫码信息检测方法、装置、设备及存储介质 | |
| CN112329736B (zh) | 人脸识别方法及金融*** | |
| CN114898155A (zh) | 车辆定损方法、装置、设备及存储介质 | |
| CN110020624B (zh) | 图像识别方法、终端设备及存储介质 | |
| CN110135464B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN113724176A (zh) | 一种多摄像头动作捕捉无缝衔接方法、装置、终端及介质 | |
| CN116415019A (zh) | 虚拟现实vr图像识别方法及装置、电子设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240513 Address after: Room 6227, No. 999, Changning District, Shanghai 200050 Patentee after: Shenlan robot (Shanghai) Co.,Ltd. Country or region after: China Address before: 213611 room 103, building 4, chuangyangang, Changzhou science and Education City, No. 18, changwuzhong Road, Wujin District, Changzhou City, Jiangsu Province Patentee before: SHENLAN ARTIFICIAL INTELLIGENCE CHIP RESEARCH INSTITUTE (JIANGSU) Co.,Ltd. Country or region before: China |