CN109146830A - 用于生成训练数据的方法、装置、***和存储介质 - Google Patents

用于生成训练数据的方法、装置、***和存储介质 Download PDF

Info

Publication number
CN109146830A
CN109146830A CN201810785130.9A CN201810785130A CN109146830A CN 109146830 A CN109146830 A CN 109146830A CN 201810785130 A CN201810785130 A CN 201810785130A CN 109146830 A CN109146830 A CN 109146830A
Authority
CN
China
Prior art keywords
image
training data
foreground
identified
foreground image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810785130.9A
Other languages
English (en)
Inventor
李广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201810785130.9A priority Critical patent/CN109146830A/zh
Publication of CN109146830A publication Critical patent/CN109146830A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种用于生成训练数据的方法、装置、***和存储介质,该方法包括:获取包括场景的图像作为背景图像,并获取包括待识别对象的图像作为前景图像;以及将所述前景图像贴合在所述背景图像中的预定位置区域以生成融合图像,所述融合图像作为所述训练数据。根据本发明实施例的用于生成训练数据的方法、装置、***和存储介质通过将包括待识别对象的图像作为前景图像贴合在各类场景的背景图像中,能够快速生成待识别对象在各类场景下的图像,从而能够实现低成本、高效率地生成用于训练对待识别对象的检测和/或识别的训练数据。

Description

用于生成训练数据的方法、装置、***和存储介质
技术领域
本发明涉及物体识别深度学习技术领域,更具体地涉及一种用于生成训练数据的方法、装置、***和存储介质。
背景技术
物体识别深度学习检测和识别算法的常规流程是需要大量采集物体在各种场景下的图片,这样就可以保证模型对物体识别的泛化能力(模型效果好)。目前的流程都是通过人工采集和网络爬取来获取物体在各类场景下的图片,通常费时费力,而且项目周期长。
发明内容
本发明提出了一种关于用于生成训练数据的方案,其通过将包括待识别对象的图像作为前景图像贴合在各类场景的背景图像中,能够快速生成待识别对象在各类场景下的图像,从而能够实现低成本、高效率地生成用于训练对待识别对象的检测和/或识别的训练数据。下面简要描述本发明提出的关于用于生成训练数据的方案,更多细节将在后续结合附图在具体实施方式中加以描述。
根据本发明一方面,提供了一种用于生成训练数据的方法,所述方法包括:获取包括场景的图像作为背景图像,并获取包括待识别对象的图像作为前景图像;以及将所述前景图像贴合在所述背景图像中的预定位置区域以生成融合图像,所述融合图像作为所述训练数据。
在一个实施例中,所述方法还包括:在实施所述贴合之前,将所述前景图像的属性和所述背景图像的属性对齐。
在一个实施例中,所述属性包括颜色和/或角度。
在一个实施例中,所述将所述前景图像贴合在所述背景图像中的预定位置区域以生成融合图像是基于泊松克隆算法。
在一个实施例中,所述将所述前景图像贴合在所述背景图像中的预定位置区域以生成融合图像包括:分别计算所述前景图像的梯度场和所述背景图像的梯度场;基于所述前景图像的梯度场和所述背景图像的梯度场计算待生成图像的梯度场;基于所述待生成图像的梯度场计算所述待生成图像的散度;以及求解泊松重建方程的系数矩阵,并基于所述系数矩阵和所述待生成图像的散度计算所述待生成图像的每个像素点的像素值,以生成所述待生成图像作为所述融合图像。
在一个实施例中,所述获取包括待识别对象的图像作为前景图像包括:获取包括所述待识别对象的图像;以及从所述包括所述待识别对象的图像中将包括所述待识别对象的部分分割出来以作为所述前景图像。
在一个实施例中,所述获取所述前景图像还包括获取所述前景图像的标识信息和属性信息,所述训练数据还包括所述前景图像的标识信息、属性信息以及所述前景图像在所述融合图像中的位置信息。
根据本发明另一方面,提供了一种用于生成训练数据的装置,所述装置包括:获取模块,用于获取包括场景的图像作为背景图像,并获取包括待识别对象的图像作为前景图像;以及贴合模块,用于将所述前景图像贴合在所述背景图像中的预定位置区域以生成融合图像,所述融合图像作为所述训练数据。
在一个实施例中,所述贴合模块还用于:在实施所述贴合之前,将所述前景图像的属性和所述背景图像的属性对齐。
在一个实施例中,所述属性包括颜色和/或角度。
在一个实施例中,所述贴合模块将所述前景图像贴合在所述背景图像中的预定位置区域以生成融合图像是基于泊松克隆算法。
在一个实施例中,所述贴合模块将所述前景图像贴合在所述背景图像中的预定位置区域以生成融合图像包括:分别计算所述前景图像的梯度场和所述背景图像的梯度场;基于所述前景图像的梯度场和所述背景图像的梯度场计算待生成图像的梯度场;基于所述待生成图像的梯度场计算所述待生成图像的散度;以及求解泊松重建方程的系数矩阵,并基于所述系数矩阵和所述待生成图像的散度计算所述待生成图像的每个像素点的像素值,以生成所述待生成图像作为所述融合图像。
在一个实施例中,所述获取模块获取包括待识别对象的图像作为前景图像包括:获取包括所述待识别对象的图像;以及从所述包括所述待识别对象的图像中将包括所述待识别对象的部分分割出来以作为所述前景图像。
在一个实施例中,所述获取模块获取所述前景图像还包括获取所述前景图像的标识信息和属性信息,所述训练数据还包括所述前景图像的标识信息、属性信息以及所述前景图像在所述融合图像中的位置信息。
根据本发明又一方面,提供了一种用于生成训练数据的***,所述***包括存储装置和处理器,所述存储装置上存储有由所述处理器运行的计算机程序,所述计算机程序在被所述处理器运行时执行上述任一项所述的用于生成训练数据的方法。
根据本发明再一方面,提供了一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序在运行时执行上述任一项所述的用于生成训练数据的方法。
根据本发明实施例的用于生成训练数据的方法、装置、***和存储介质通过将包括待识别对象的图像作为前景图像贴合在各类场景的背景图像中,能够快速生成待识别对象在各类场景下的图像,从而能够实现低成本、高效率地生成用于训练对待识别对象的检测和/或识别的训练数据。
附图说明
通过结合附图对本发明实施例进行更详细的描述,本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解,并且构成说明书的一部分,与本发明实施例一起用于解释本发明,并不构成对本发明的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1示出用于实现根据本发明实施例的用于生成训练数据的方法、装置、***和存储介质的示例电子设备的示意性框图;
图2示出根据本发明实施例的用于生成训练数据的方法的示意性流程图;
图3示出根据本发明实施例的用于生成训练数据的装置的示意性框图;以及
图4示出根据本发明实施例的用于生成训练数据的***的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显,下面将参照附图详细描述根据本发明的示例实施例。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是本发明的全部实施例,应理解,本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例,本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
首先,参照图1来描述用于实现本发明实施例的用于生成训练数据的方法、装置、***和存储介质的示例电子设备100。
如图1所示,电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106以及输出装置108,这些组件通过总线***110和/或其它形式的连接机构(未示出)互连。应当注意,图1所示的电子设备100的组件和结构只是示例性的,而非限制性的,根据需要,所述电子设备也可以具有其他组件和结构。
所述处理器102可以是中央处理单元(CPU)、图形处理单元(GPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元,并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器102可以运行所述程序指令,以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据,例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如用户)输出各种信息(例如图像或声音),并且可以包括显示器、扬声器等中的一个或多个。
示例性地,用于实现根据本发明实施例的用于生成训练数据的方法和装置的示例电子设备可以为诸如智能手机、平板电脑等等移动终端。示例性地,用于实现根据本发明实施例的用于生成训练数据的方法和装置的示例电子设备也可以为任何具有计算能力的计算设备。
下面,将参考图2描述根据本发明实施例的用于生成训练数据的方法200。如图2所示,用于生成训练数据的方法200可以包括如下步骤:
在步骤S210,获取包括场景的图像作为背景图像,并获取包括待识别对象的图像作为前景图像。
在一个示例中,可以事先准备大量的包括各类场景的模板,然后通过图像采集装置(例如手机、相机等)实拍各类场景背景,以得到包括各类场景的大量的背景图像。在另一个示例中,可以通过互联网方法(例如通过网络爬取)得到包括各类场景的大量的背景图像。在其他示例中,可以通过任何其他合适的手段来获取包括场景的图像作为背景图像。示例性地,不同的背景图像可以包括不同场景下的图像。示例性地,不同的背景图像还可以包括同一场景下不同光照、不同角度等的图像。
在一个示例中,可以获取包括待识别对象(例如行人、人脸、动物、车辆、文字等)的图像,然后从包括待识别对象的图像中将包括待识别对象的部分分割出来作为前景图像。例如,可以拍摄待识别对象的图像,然后将该所拍摄图像中待识别对象的部分提取出来,剔除其余背景部分以得到包括该待识别对象的图像部分作为前景图像。在另一个示例中,所获取的前景图像可以为仅包括待识别对象的图像。在其他示例中,也可以直接从任何源获取包括或仅包括待识别对象的图像作为前景图像。
在步骤S220,将所述前景图像贴合在所述背景图像中的预定位置区域以生成融合图像,所述融合图像作为所述训练数据。
在本发明实施例中,由于融合图像中的待识别对象的位置是已知的,所以不需要在融合图像中标注待识别对象的位置,该融合图像可以直接用于训练,从而能够实现低成本、高效率地生成用于训练对待识别对象的检测和/或识别的训练数据。
在一个实施例中,可以基于泊松克隆(Seamless cloning)算法来将所述前景图像贴合在所述背景图像中的预定位置区域以生成融合图像。在一个示例中,所述将所述前景图像贴合在所述背景图像中的预定位置区域以生成融合图像可以包括:分别计算所述前景图像的梯度场和所述背景图像的梯度场;基于所述前景图像的梯度场和所述背景图像的梯度场计算待生成图像的梯度场(即采用前景图像的梯度场替换所述背景图像中的所述预定位置区域的梯度场);基于所述待生成图像的梯度场计算所述待生成图像的散度;以及求解泊松重建方程的系数矩阵,并基于所述系数矩阵和所述待生成图像的散度计算所述待生成图像的每个像素点的像素值,以生成所述待生成图像作为所述融合图像。例如泊松重建方程为Ax=b,其中A表示系数矩阵,x表示待生成图像中每个像素点的像素值,b表示待生成图像的散度,根据A和b即可求解出x。
在另一个示例中,所述将所述前景图像贴合在所述背景图像中的预定位置区域以生成融合图像可以包括:分别计算所述前景图像的梯度场和所述背景图像的除所述预定位置区域以外的梯度场;基于所述前景图像的梯度场和所述背景图像的除所述预定位置区域以外的梯度场计算待生成图像的梯度场(即,将所述前景图像的梯度场加上所述背景图像的除所述预定位置区域以外的梯度场即得到待生成图像的梯度场);基于所述待生成图像的梯度场计算所述待生成图像的散度;以及求解泊松重建方程的系数矩阵,并基于所述系数矩阵和所述待生成图像的散度计算所述待生成图像的每个像素点的像素值,以生成所述待生成图像作为所述融合图像。
在其他实施例中,还可以采用任何其他合适的方法来将所述前景图像贴合在所述背景图像中的预定位置区域以生成融合图像。
在一个实施例中,在将前景图像贴合在所述背景图像中的预定位置区域之前,可以首先将前景图像的属性和背景图像的属性对齐,例如可以将前景图像的颜色、角度等属性分别与背景图像的颜色、角度等属性各自对齐,这样可以使得背景图像与前景图像的融合效果更为自然。在其他实施例中,也可以对前景图像和背景图像实施其他任何合适的处理以提高二者的融合效果。
在本发明的实施例中,针对在步骤S210中获取的每张背景图像,可以在该背景图像中预先设定用于贴合前景图像的位置区域,也就是说,在贴合后形成的融合图像中,前景图像(即待识别对象)所在的位置区域是已知的。进一步地,在本发明的实施例中,在获取前景图像时,即可以同时获取前景图像的标识信息甚至属性信息。其中,前景图像的标识信息可以指示待识别对象的类别,例如指示待识别对象是行人、是人脸、是动物、是车辆、是文字还是其他的类别等。相应地,前景图像的属性信息可以指示待识别对象的各种属性。例如,当待识别对象为行人时,其属性信息可以包括行人的性别、年龄、衣着、姿态、发型等;当待识别对象为人脸时,其属性信息可以包括表情、性别、年龄、发型、是否化妆等;当待识别对象为车辆时,其属性信息可以包括车辆的品牌、车型、颜色、高度、车牌号等。因此,前景图像在贴合后形成的融合图像中的位置信息以及前景图像的标识信息和属性信息可以均是已知的,这样,在形成融合图像后可以直接作为用于训练对待识别对象的检测和/或识别的训练数据来使用,而无需进行标注,可进一步提高效率。
基于上面的描述,根据本发明实施例的用于生成训练数据的方法通过将包括待识别对象的图像作为前景图像贴合在各类场景的背景图像中,能够快速生成待识别对象在各类场景下的图像,从而能够实现低成本、高效率地生成用于训练对待识别对象的检测和/或识别的训练数据。
以上示例性地描述了根据本发明实施例的用于生成训练数据的方法。示例性地,根据本发明实施例的用于生成训练数据的方法可以在具有存储器和处理器的设备、装置或者***中实现。
此外,根据本发明实施例的用于生成训练数据的方法可以方便地部署到智能手机、平板电脑、个人计算机等移动设备上。替代地,根据本发明实施例的用于生成训练数据的方法还可以部署在服务器端(或云端)。替代地,根据本发明实施例的用于生成训练数据的方法还可以分布地部署在服务器端(或云端)和个人终端处。
下面结合图3描述本发明另一方面提供的用于生成训练数据的装置。图3示出了根据本发明实施例的用于生成训练数据的装置300的示意性框图。
如图3所示,根据本发明实施例的用于生成训练数据的装置300包括获取模块310和贴合模块320。所述各个模块可分别执行上文中结合图2描述的用于生成训练数据的方法的各个步骤/功能。以下仅对用于生成训练数据的装置300的各模块的主要功能进行描述,而省略以上已经描述过的细节内容。
获取模块310用于获取包括场景的图像作为背景图像,并获取包括待识别对象的图像作为前景图像。贴合模块320用于将所述前景图像贴合在所述背景图像中的预定位置区域以生成融合图像,所述融合图像作为所述训练数据。获取模块310和贴合模块320均可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。
在一个示例中,可以事先准备大量的包括各类场景的模板,然后通过图像采集装置(例如手机、相机等)实拍各类场景背景,以由获取模块310得到包括各类场景的大量的背景图像。在另一个示例中,获取模块310可以通过互联网方法(例如通过网络爬取)得到包括各类场景的大量的背景图像。在其他示例中,获取模块310可以通过任何其他合适的手段来获取包括场景的图像作为背景图像。示例性地,不同的背景图像可以包括不同场景下的图像。示例性地,不同的背景图像还可以包括同一场景下不同光照、不同角度等的图像。
在一个示例中,获取模块310可以获取包括待识别对象(例如行人、人脸、动物、车辆、文字等)的图像,然后从包括待识别对象的图像中将包括待识别对象的部分分割出来作为前景图像。例如,可以采用图像采集装置拍摄待识别对象的图像,然后获取模块310将该所拍摄图像中待识别对象的部分提取出来,剔除其余背景部分以得到包括该待识别对象的图像部分作为前景图像。在另一个示例中,获取模块310所获取的前景图像可以为仅包括待识别对象的图像。在其他示例中,获取模块310也可以直接从任何源获取包括或仅包括待识别对象的图像作为前景图像。
在一个实施例中,贴合模块320可以基于泊松克隆算法来将所述前景图像贴合在所述背景图像中的预定位置区域以生成融合图像。在一个示例中,所述贴合模块320将所述前景图像贴合在所述背景图像中的预定位置区域以生成融合图像可以包括:分别计算所述前景图像的梯度场和所述背景图像的梯度场;基于所述前景图像的梯度场和所述背景图像的梯度场计算待生成图像的梯度场(即采用前景图像的梯度场替换所述背景图像中的所述预定位置区域的梯度场);基于所述待生成图像的梯度场计算所述待生成图像的散度;以及求解泊松重建方程的系数矩阵,并基于所述系数矩阵和所述待生成图像的散度计算所述待生成图像的每个像素点的像素值,以生成所述待生成图像作为所述融合图像。
在另一个示例中,所述贴合模块320将所述前景图像贴合在所述背景图像中的预定位置区域以生成融合图像可以包括:分别计算所述前景图像的梯度场和所述背景图像的除所述预定位置区域以外的梯度场;基于所述前景图像的梯度场和所述背景图像的除所述预定位置区域以外的梯度场计算待生成图像的梯度场(即,将所述前景图像的梯度场加上所述背景图像的除所述预定位置区域以外的梯度场即得到待生成图像的梯度场);基于所述待生成图像的梯度场计算所述待生成图像的散度;以及求解泊松重建方程的系数矩阵,并基于所述系数矩阵和所述待生成图像的散度计算所述待生成图像的每个像素点的像素值,以生成所述待生成图像作为所述融合图像。
在其他实施例中,贴合模块320还可以采用任何其他合适的方法来将所述前景图像贴合在所述背景图像中的预定位置区域以生成融合图像。
在一个实施例中,在将前景图像贴合在所述背景图像中的预定位置区域之前,贴合模块320可以首先将前景图像的属性和背景图像的属性对齐,例如可以将前景图像的颜色、角度等属性分别与背景图像的颜色、角度等属性各自对齐,这样可以使得背景图像与前景图像的融合效果更为自然。在其他实施例中,贴合模块320也可以对前景图像和背景图像实施其他任何合适的处理以提高二者的融合效果。
在本发明的实施例中,针对所获取的每张背景图像,可以在该背景图像中预先设定用于贴合前景图像的位置区域,也就是说,在贴合后形成的融合图像中,前景图像(即待识别对象)所在的位置区域是已知的。进一步地,在本发明的实施例中,在获取模块310获取前景图像时,即可以同时获取前景图像的标识信息甚至属性信息。其中,前景图像的标识信息可以指示待识别对象的类别,例如指示待识别对象是行人、是人脸、是动物、是车辆、是文字还是其他的类别等。相应地,前景图像的属性信息可以指示待识别对象的各种属性。例如,当待识别对象为行人时,其属性信息可以包括行人的性别、年龄、衣着、姿态、发型等;当待识别对象为人脸时,其属性信息可以包括表情、性别、年龄、发型、是否化妆等;当待识别对象为车辆时,其属性信息可以包括车辆的品牌、车型、颜色、高度、车牌号等。因此,前景图像在贴合后形成的融合图像中的位置信息以及前景图像的标识信息和属性信息可以均是已知的,这样,在形成融合图像后可以直接作为用于训练对待识别对象的检测和/或识别的训练数据来使用,而无需进行标注,可进一步提高效率。
基于上面的描述,根据本发明实施例的用于生成训练数据的装置通过将包括待识别对象的图像作为前景图像贴合在各类场景的背景图像中,能够快速生成待识别对象在各类场景下的图像,从而能够实现低成本、高效率地生成用于训练对待识别对象的检测和/或识别的训练数据。
图4示出了根据本发明实施例的用于生成训练数据的***400的示意性框图。用于生成训练数据的***400包括存储装置410以及处理器420。
其中,存储装置410存储用于实现根据本发明实施例的用于生成训练数据的方法中的相应步骤的程序代码。处理器420用于运行存储装置410中存储的程序代码,以执行根据本发明实施例的用于生成训练数据的方法的相应步骤,并且用于实现根据本发明实施例的用于生成训练数据的装置中的相应模块。此外,用于生成训练数据的***400还可以包括图像采集装置(未在图4中示出),其可以用于采集背景图像和前景图像。当然,图像采集装置不是必需的,可直接接收来自其他源的背景图像和前景图像的输入。
在一个实施例中,在所述程序代码被处理器420运行时使得用于生成训练数据的***400执行以下步骤:获取包括场景的图像作为背景图像,并获取包括待识别对象的图像作为前景图像;以及将所述前景图像贴合在所述背景图像中的预定位置区域以生成融合图像,所述融合图像作为所述训练数据。
在一个实施例中,在所述程序代码被处理器420运行时还使得用于生成训练数据的***400执行以下步骤:在实施所述贴合之前,将所述前景图像的属性和所述背景图像的属性对齐。
在一个实施例中,所述属性包括颜色和/或角度。
在一个实施例中,在所述程序代码被处理器420运行时使得用于生成训练数据的***400执行的所述将所述前景图像贴合在所述背景图像中的预定位置区域以生成融合图像是基于泊松克隆算法。
在一个实施例中,在所述程序代码被处理器420运行时使得用于生成训练数据的***400执行的所述将所述前景图像贴合在所述背景图像中的预定位置区域以生成融合图像包括:分别计算所述前景图像的梯度场和所述背景图像的梯度场;基于所述前景图像的梯度场和所述背景图像的梯度场计算待生成图像的梯度场;基于所述待生成图像的梯度场计算所述待生成图像的散度;以及求解泊松重建方程的系数矩阵,并基于所述系数矩阵和所述待生成图像的散度计算所述待生成图像的每个像素点的像素值,以生成所述待生成图像作为所述融合图像。
在一个实施例中,在所述程序代码被处理器420运行时使得用于生成训练数据的***400执行的所述获取包括待识别对象的图像作为前景图像包括:获取包括所述待识别对象的图像;以及从所述包括所述待识别对象的图像中将包括所述待识别对象的部分分割出来以作为所述前景图像。
在一个实施例中,在所述程序代码被处理器420运行时使得用于生成训练数据的***400执行的所述获取所述前景图像还包括获取所述前景图像的标识信息和属性信息,所述训练数据还包括所述前景图像的标识信息、属性信息以及所述前景图像在所述融合图像中的位置信息。
此外,根据本发明实施例,还提供了一种存储介质,在所述存储介质上存储了程序指令,在所述程序指令被计算机或处理器运行时用于执行本发明实施例的用于生成训练数据的方法的相应步骤,并且用于实现根据本发明实施例的用于生成训练数据的装置中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。
在一个实施例中,所述计算机程序指令在被计算机运行时可以实现根据本发明实施例的用于生成训练数据的装置的各个功能模块,并且/或者可以执行根据本发明实施例的用于生成训练数据的方法。
在一个实施例中,所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行以下步骤:获取包括场景的图像作为背景图像,并获取包括待识别对象的图像作为前景图像;以及将所述前景图像贴合在所述背景图像中的预定位置区域以生成融合图像,所述融合图像作为所述训练数据。
在一个实施例中,所述计算机程序指令在被计算机或处理器运行时还使计算机或处理器执行以下步骤:在实施所述贴合之前,将所述前景图像的属性和所述背景图像的属性对齐。
在一个实施例中,所述属性包括颜色和/或角度。
在一个实施例中,所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行的所述将所述前景图像贴合在所述背景图像中的预定位置区域以生成融合图像是基于泊松克隆算法。
在一个实施例中,所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行的所述将所述前景图像贴合在所述背景图像中的预定位置区域以生成融合图像包括:分别计算所述前景图像的梯度场和所述背景图像的梯度场;基于所述前景图像的梯度场和所述背景图像的梯度场计算待生成图像的梯度场;基于所述待生成图像的梯度场计算所述待生成图像的散度;以及求解泊松重建方程的系数矩阵,并基于所述系数矩阵和所述待生成图像的散度计算所述待生成图像的每个像素点的像素值,以生成所述待生成图像作为所述融合图像。
在一个实施例中,所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行的所述获取包括待识别对象的图像作为前景图像包括:获取包括所述待识别对象的图像;以及从所述包括所述待识别对象的图像中将包括所述待识别对象的部分分割出来以作为所述前景图像。
在一个实施例中,所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行的所述获取所述前景图像还包括获取所述前景图像的标识信息和属性信息,所述训练数据还包括所述前景图像的标识信息、属性信息以及所述前景图像在所述融合图像中的位置信息。
根据本发明实施例的用于生成训练数据的装置中的各模块可以通过根据本发明实施例的用于生成训练数据的电子设备的处理器运行在存储器中存储的计算机程序指令来实现,或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。
根据本发明实施例的用于生成训练数据的方法、装置、***和存储介质通过将包括待识别对象的图像作为前景图像贴合在各类场景的背景图像中,能够快速生成待识别对象在各类场景下的图像,从而能够实现低成本、高效率地生成用于训练对待识别对象的检测和/或识别的训练数据。
根据本发明实施例,还提供了一种计算机程序,该计算机程序可以存储在云端或本地的存储介质上。在该计算机程序被计算机或处理器运行时用于执行本发明实施例的用于生成训练数据的方法的相应步骤,并且用于实现根据本发明实施例的用于生成训练数据的装置中的相应模块。
尽管这里已经参考附图描述了示例实施例,应理解上述示例实施例仅仅是示例性的,并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改,而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个设备,或一些特征可以忽略,或不执行。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该本发明的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如相应的权利要求书所反映的那样,其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解,除了特征之间相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述,仅为本发明的具体实施方式或对具体实施方式的说明,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种用于生成训练数据的方法,其特征在于,所述方法包括:
获取包括场景的图像作为背景图像,并获取包括待识别对象的图像作为前景图像;以及
将所述前景图像贴合在所述背景图像中的预定位置区域以生成融合图像,所述融合图像作为所述训练数据。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在实施所述贴合之前,将所述前景图像的属性和所述背景图像的属性对齐。
3.根据权利要求2所述的方法,其特征在于,所述属性包括颜色和/或角度。
4.根据权利要求1或2所述的方法,其特征在于,所述将所述前景图像贴合在所述背景图像中的预定位置区域以生成融合图像是基于泊松克隆算法。
5.根据权利要求4所述的方法,其特征在于,所述将所述前景图像贴合在所述背景图像中的预定位置区域以生成融合图像包括:
分别计算所述前景图像的梯度场和所述背景图像的梯度场;
基于所述前景图像的梯度场和所述背景图像的梯度场计算待生成图像的梯度场;
基于所述待生成图像的梯度场计算所述待生成图像的散度;以及
求解泊松重建方程的系数矩阵,并基于所述系数矩阵和所述待生成图像的散度计算所述待生成图像的每个像素点的像素值,以生成所述待生成图像作为所述融合图像。
6.根据权利要求1或2所述的方法,其特征在于,所述获取包括待识别对象的图像作为前景图像包括:
获取包括所述待识别对象的图像;以及
从所述包括所述待识别对象的图像中将包括所述待识别对象的部分分割出来以作为所述前景图像。
7.根据权利要求1或2所述的方法,其特征在于,所述获取所述前景图像还包括获取所述前景图像的标识信息和属性信息,所述训练数据还包括所述前景图像的标识信息、属性信息以及所述前景图像在所述融合图像中的位置信息。
8.一种用于生成训练数据的装置,其特征在于,所述装置包括:
获取模块,用于获取包括场景的图像作为背景图像,并获取包括待识别对象的图像作为前景图像;以及
贴合模块,用于将所述前景图像贴合在所述背景图像中的预定位置区域以生成融合图像,所述融合图像作为所述训练数据。
9.一种用于生成训练数据的***,其特征在于,所述***包括存储装置和处理器,所述存储装置上存储有由所述处理器运行的计算机程序,所述计算机程序在被所述处理器运行时执行如权利要求1-7中的任一项所述的用于生成训练数据的方法。
10.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序在运行时执行如权利要求1-7中的任一项所述的用于生成训练数据的方法。
CN201810785130.9A 2018-07-17 2018-07-17 用于生成训练数据的方法、装置、***和存储介质 Pending CN109146830A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810785130.9A CN109146830A (zh) 2018-07-17 2018-07-17 用于生成训练数据的方法、装置、***和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810785130.9A CN109146830A (zh) 2018-07-17 2018-07-17 用于生成训练数据的方法、装置、***和存储介质

Publications (1)

Publication Number Publication Date
CN109146830A true CN109146830A (zh) 2019-01-04

Family

ID=64800889

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810785130.9A Pending CN109146830A (zh) 2018-07-17 2018-07-17 用于生成训练数据的方法、装置、***和存储介质

Country Status (1)

Country Link
CN (1) CN109146830A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109727264A (zh) * 2019-01-10 2019-05-07 南京旷云科技有限公司 图像生成方法、神经网络的训练方法、装置和电子设备
CN110033463A (zh) * 2019-04-12 2019-07-19 腾讯科技(深圳)有限公司 一种前景数据生成及其应用方法、相关装置和***
CN110414480A (zh) * 2019-08-09 2019-11-05 威盛电子股份有限公司 训练图像产生方法与电子装置
CN110503146A (zh) * 2019-08-21 2019-11-26 杭州比智科技有限公司 数据增强方法、装置、计算设备及计算机存储介质
CN111462162A (zh) * 2019-01-18 2020-07-28 上海大学 一种特定类别图片的前景分割算法
CN111709873A (zh) * 2020-05-27 2020-09-25 北京百度网讯科技有限公司 图像转换模型生成器的训练方法和装置
CN111753836A (zh) * 2019-08-27 2020-10-09 北京京东尚科信息技术有限公司 文字识别方法、装置、计算机可读介质及电子设备
CN111783874A (zh) * 2020-06-29 2020-10-16 联想(北京)有限公司 一种样本生成方法、样本训练方法及装置
CN111899204A (zh) * 2020-07-30 2020-11-06 平安科技(深圳)有限公司 车损检测数据合成方法、装置及存储介质
CN112102315A (zh) * 2020-11-02 2020-12-18 腾讯科技(深圳)有限公司 医学影像处理方法、装置、计算机设备和存储介质
CN113688887A (zh) * 2021-08-13 2021-11-23 百度在线网络技术(北京)有限公司 图像识别模型的训练与图像识别方法、装置
CN113902956A (zh) * 2021-09-30 2022-01-07 北京百度网讯科技有限公司 融合模型的训练方法、图像融合方法、装置、设备及介质
CN114612744A (zh) * 2022-03-10 2022-06-10 平安科技(深圳)有限公司 一种检测模型训练方法、车辆损伤检测方法及终端设备
CN114820609A (zh) * 2022-06-29 2022-07-29 南昌大学 一种光伏组件el图像缺陷检测方法
CN117523341A (zh) * 2023-11-23 2024-02-06 中船(北京)智能装备科技有限公司 一种深度学习训练图像样本的生成方法、装置及设备
US11967081B2 (en) 2019-01-22 2024-04-23 Mitsubishi Electric Corporation Information processing apparatus, non-transitory computer-readable storage medium, and information processing method
CN117523341B (zh) * 2023-11-23 2024-06-21 中船(北京)智能装备科技有限公司 一种深度学习训练图像样本的生成方法、装置及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107154046A (zh) * 2017-04-06 2017-09-12 南京邮电大学 一种视频背景处理和隐私保护的方法
CN107767391A (zh) * 2017-11-02 2018-03-06 北京奇虎科技有限公司 风景图像处理方法、装置、计算设备及计算机存储介质
CN107808373A (zh) * 2017-11-15 2018-03-16 北京奇虎科技有限公司 基于姿态的样本图像合成方法、装置及计算设备
CN108156370A (zh) * 2017-12-07 2018-06-12 Tcl移动通信科技(宁波)有限公司 利用本地图片作为背景的拍照方法、存储介质及移动终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107154046A (zh) * 2017-04-06 2017-09-12 南京邮电大学 一种视频背景处理和隐私保护的方法
CN107767391A (zh) * 2017-11-02 2018-03-06 北京奇虎科技有限公司 风景图像处理方法、装置、计算设备及计算机存储介质
CN107808373A (zh) * 2017-11-15 2018-03-16 北京奇虎科技有限公司 基于姿态的样本图像合成方法、装置及计算设备
CN108156370A (zh) * 2017-12-07 2018-06-12 Tcl移动通信科技(宁波)有限公司 利用本地图片作为背景的拍照方法、存储介质及移动终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《美术大观》编辑部: "《中国美术教育学术论丛 艺术设计卷 6》", 31 October 2016 *
崔丽 等: "《Matlab小波分析与应用:30个案例分析》", 30 June 2016 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109727264A (zh) * 2019-01-10 2019-05-07 南京旷云科技有限公司 图像生成方法、神经网络的训练方法、装置和电子设备
CN111462162A (zh) * 2019-01-18 2020-07-28 上海大学 一种特定类别图片的前景分割算法
CN111462162B (zh) * 2019-01-18 2023-07-21 上海大学 一种特定类别图片的前景分割算法
US11967081B2 (en) 2019-01-22 2024-04-23 Mitsubishi Electric Corporation Information processing apparatus, non-transitory computer-readable storage medium, and information processing method
CN110033463B (zh) * 2019-04-12 2021-06-04 腾讯科技(深圳)有限公司 一种前景数据生成及其应用方法、相关装置和***
CN110033463A (zh) * 2019-04-12 2019-07-19 腾讯科技(深圳)有限公司 一种前景数据生成及其应用方法、相关装置和***
US11961237B2 (en) 2019-04-12 2024-04-16 Tencent Technology (Shenzhen) Company Limited Foreground data generation method and method for applying same, related apparatus, and system
CN110414480A (zh) * 2019-08-09 2019-11-05 威盛电子股份有限公司 训练图像产生方法与电子装置
CN110503146A (zh) * 2019-08-21 2019-11-26 杭州比智科技有限公司 数据增强方法、装置、计算设备及计算机存储介质
CN111753836A (zh) * 2019-08-27 2020-10-09 北京京东尚科信息技术有限公司 文字识别方法、装置、计算机可读介质及电子设备
CN111709873A (zh) * 2020-05-27 2020-09-25 北京百度网讯科技有限公司 图像转换模型生成器的训练方法和装置
CN111783874A (zh) * 2020-06-29 2020-10-16 联想(北京)有限公司 一种样本生成方法、样本训练方法及装置
WO2021139357A1 (zh) * 2020-07-30 2021-07-15 平安科技(深圳)有限公司 车损检测数据合成方法、装置、***及存储介质
CN111899204A (zh) * 2020-07-30 2020-11-06 平安科技(深圳)有限公司 车损检测数据合成方法、装置及存储介质
CN111899204B (zh) * 2020-07-30 2024-04-09 平安科技(深圳)有限公司 车损检测数据合成方法、装置及存储介质
CN112102315A (zh) * 2020-11-02 2020-12-18 腾讯科技(深圳)有限公司 医学影像处理方法、装置、计算机设备和存储介质
CN112102315B (zh) * 2020-11-02 2021-02-19 腾讯科技(深圳)有限公司 医学影像处理方法、装置、计算机设备和存储介质
CN113688887A (zh) * 2021-08-13 2021-11-23 百度在线网络技术(北京)有限公司 图像识别模型的训练与图像识别方法、装置
CN113902956A (zh) * 2021-09-30 2022-01-07 北京百度网讯科技有限公司 融合模型的训练方法、图像融合方法、装置、设备及介质
WO2023050868A1 (zh) * 2021-09-30 2023-04-06 北京百度网讯科技有限公司 融合模型的训练方法、图像融合方法、装置、设备及介质
CN114612744A (zh) * 2022-03-10 2022-06-10 平安科技(深圳)有限公司 一种检测模型训练方法、车辆损伤检测方法及终端设备
CN114820609A (zh) * 2022-06-29 2022-07-29 南昌大学 一种光伏组件el图像缺陷检测方法
CN117523341A (zh) * 2023-11-23 2024-02-06 中船(北京)智能装备科技有限公司 一种深度学习训练图像样本的生成方法、装置及设备
CN117523341B (zh) * 2023-11-23 2024-06-21 中船(北京)智能装备科技有限公司 一种深度学习训练图像样本的生成方法、装置及设备

Similar Documents

Publication Publication Date Title
CN109146830A (zh) 用于生成训练数据的方法、装置、***和存储介质
CN110084874B (zh) 对于三维模型的图像风格迁移
US20220383649A1 (en) System and method for facilitating graphic-recognition training of a recognition model
JP2022513272A (ja) 訓練深層学習ネットワークの3dモデルから大量訓練データセットを自動的に生成する方法及びシステム
CN106203305A (zh) 人脸活体检测方法和装置
CN110363213B (zh) 服装图像的认知分析和分类的方法和***
US9262853B2 (en) Virtual scene generation based on imagery
CN108876833A (zh) 图像处理方法、图像处理装置和计算机可读存储介质
CN108875932A (zh) 图像识别方法、装置和***及存储介质
CN108037823B (zh) 信息推荐方法、智能镜子及计算机可读存储介质
CN108876804A (zh) 抠像模型训练和图像抠像方法、装置和***及存储介质
CN109919211A (zh) 商品识别方法、装置、***和计算机可读介质
CN108875523A (zh) 人体关节点检测方法、装置、***和存储介质
US20210027514A1 (en) Method and system for creating animal type avatar using human face
US11256958B1 (en) Training with simulated images
CN108961149A (zh) 图像处理方法、装置和***及存储介质
CN108875515A (zh) 人脸识别方法、装置、***、存储介质和抓拍机
CN106132341B (zh) 形状的预测
CN108875731A (zh) 目标识别方法、装置、***及存储介质
CN108875483A (zh) 图像检测方法、装置、***和计算机可读介质
CN106651973A (zh) 图像结构化方法及装置
CN111008935A (zh) 一种人脸图像增强方法、装置、***及存储介质
CN107959798A (zh) 视频数据实时处理方法及装置、计算设备
CN111311480A (zh) 图像融合方法和装置
CN110490058A (zh) 行人检测模型的训练方法、装置、***和计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190104