CN109344904B - 生成训练样本的方法、***及存储介质 - Google Patents

生成训练样本的方法、***及存储介质 Download PDF

Info

Publication number
CN109344904B
CN109344904B CN201811199397.6A CN201811199397A CN109344904B CN 109344904 B CN109344904 B CN 109344904B CN 201811199397 A CN201811199397 A CN 201811199397A CN 109344904 B CN109344904 B CN 109344904B
Authority
CN
China
Prior art keywords
sample
image
features
layer
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811199397.6A
Other languages
English (en)
Other versions
CN109344904A (zh
Inventor
徐青松
李青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Ruizhen Technology Co.,Ltd.
Original Assignee
Hangzhou Glority Software Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Glority Software Ltd filed Critical Hangzhou Glority Software Ltd
Priority to CN201811199397.6A priority Critical patent/CN109344904B/zh
Publication of CN109344904A publication Critical patent/CN109344904A/zh
Application granted granted Critical
Publication of CN109344904B publication Critical patent/CN109344904B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种生成训练样本的方法,所述训练样本用于训练识别影像中的内容的模型,所述方法包括:获取第一样本的影像特征;以及以至少所述第一样本的影像特征来呈现包含第二样本中的内容的影像,从而生成所述训练样本。本公开还涉及一种生成训练样本的***和计算机可读存储介质。本公开能够增加样本的数量并保证样本的真实度高。

Description

生成训练样本的方法、***及存储介质
技术领域
本公开涉及一种生成训练样本的方法、***及存储介质。
背景技术
训练样本可以用来训练用于识别影像中的内容的模型。训练样本的真实度和数量均对被其训练的模型的识别准确性有影响。
因此,存在对新技术的需求。
发明内容
本公开的一个目的是提供一种生成训练样本的方法、***及存储介质。
根据本公开的第一方面,提供了一种生成训练样本的方法,所述训练样本用于训练识别影像中的内容的模型,所述方法包括:获取第一样本的影像特征;以及以至少所述第一样本的影像特征来呈现包含第二样本中的内容的影像,从而生成所述训练样本。
根据本公开的第二方面,提供了一种生成训练样本的***,所述训练样本用于训练识别影像中的内容的模型,所述***包括:一个或多个计算装置,所述一个或多个计算装置被配置为:获取第一样本的影像特征;以及以至少所述第一样本的影像特征来呈现包含第二样本中的内容的影像,从而生成所述训练样本。
根据本公开的第三方面,提供了一种生成训练样本的***,所述训练样本用于训练识别影像中的内容的模型,所述***包括:一个或多个处理器;以及一个或多个存储器,所述一个或多个存储器被配置为存储一系列计算机可执行的指令以及与所述一系列计算机可执行的指令相关联的计算机可访问的数据,其中,当所述一系列计算机可执行的指令被所述一个或多个处理器执行时,使得所述一个或多个处理器进行上述的方法。
根据本公开的第四方面,提供了一种非临时性计算机可读存储介质,其特征在于,所述非临时性计算机可读存储介质上存储有一系列计算机可执行的指令,当所述一系列计算机可执行的指令被一个或多个计算装置执行时,使得所述一个或多个计算装置进行上述的方法。
通过以下参照附图对本公开的示例性实施例的详细描述,本公开的其它特征及其优点将会变得清楚。
附图说明
构成说明书的一部分的附图描述了本公开的实施例,并且连同说明书一起用于解释本公开的原理。
参照附图,根据下面的详细描述,可以更加清楚地理解本公开,其中:
图1是示意性地示出根据本公开的一些实施例的生成训练样本的方法的至少一部分的流程图。
图2是示意性地示出根据本公开的一些实施例的生成训练样本的***的至少一部分的结构图。
图3是示意性地示出根据本公开的一些实施例的生成训练样本的***的至少一部分的结构图。
图4A至4C示意性地示出根据本公开的一些实施例的生成训练样本的方法的示例的示意图。
图5A至5D示意性地示出根据本公开的一些实施例的生成训练样本的方法的示例的示意图。
图6示意性地示出根据本公开的一些实施例的生成训练样本的方法的示例的示意图。
注意,在以下说明的实施方式中,有时在不同的附图之间共同使用同一附图标记来表示相同部分或具有相同功能的部分,而省略其重复说明。在本说明书中,使用相似的标号和字母表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
具体实施方式
以下将参照附图来详细描述本公开的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。在下面描述中,为了更好地解释本公开,阐述了许多细节,然而可以理解的是,在没有这些细节的情况下也可以实践本公开。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本公开及其应用或使用的任何限制。在这里示出和讨论的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
本公开提供了一种生成训练样本的方法,如图1所示,该方法包括:获取第一样本的影像特征(步骤S1),以及将第二样本中的内容与第一样本的影像特征结合以生成训练样本(步骤S2)。其中,第一样本或第二样本可以是用来训练用于识别影像中的内容的模型的影像,也可以是仅用来提供影像特征或内容的影像。根据本公开提供的方法,将一个样本中的内容与另一个样本的影像特征结合,可以生成新的样本,如此,能够增加样本的数量,有利于模型的训练。此外,在一些实施例中,生成的新的样本的内容和影像特征均是基于现有的真实存在的样本,能够使得生成的新的样本的真实度高,有利于模型的训练。
在一些实施例中,训练样本所用于的模型可以用来从包含单据的至少部分的影像中识别出单据的至少部分中的内容。训练样本所用于的模型可以是基于一个或多个神经网络的模型。包含单据的至少部分的影像可以是包含一整张单据的影像、包含一整张单据的一部分的影像、以及包含多张单据的影像(其中多张单据是指单据的来源多于一张单据,可以是第一整张单据加第二整张单据的一部分、第一整张单据加第二整张单据、以及第一整张单据的一部分加第二整张单据的一部分等)等。在这些情况下,第一样本或第二样本可以是包含一张单据的影像或包含多张单据的影像的至少部分。例如,第一样本或第二样本可以是至少包含图6中一个或多个以矩形框所标示的区域的影像。
本公开所称的“单据”是指在其上记载有信息的实体,这些信息以一些模式被布置在单据上,并由中文字、外文字、数字、符号、图形等中的一种或多种形式来承载。本公开所称的“单据”的一些具体示例可以是,***、账单、税单、收据、购物清单、餐饮小票、保险单、报销单、存款流水单、***对账单、快递单、行程单、车票、登机牌、专利公开文本的信息页、选票、调查问卷、评价表、签到表、申请表等各种由人工和/或机器填写的单据。本领域技术人员可以理解,本公开所称的“单据”不限于本文所列出的这些具体示例,而且不限于与金融或商业有关的票据,也不限于其上带有公章的单据,可以是带有打印字体的单据也可以是带有手写字体的单据,可以是具有规定和/或通用格式的单据也可以不是具有规定和/或通用格式的单据。
单据的影像是指以可视化方式呈现的单据,例如单据的图片、视频等。训练样本所用于的模型基于单据的影像,能够识别出由中文字、外文字、数字、符号、图形等中的一种或多种形式来承载的信息的内容。例如,训练样本所用于的模型能够识别出的单据的至少部分中的内容包括单据上所记载的以下各项中的一个或多个的组合:个人或单位(例如购买方、销售方等)的名称、单位的图形化标识(例如商标、***等)、条目的名称(例如商品或服务等的名称)、金额的货币种类、金额的数值、单据的识别码(例如编号、条形码、二维码等)、以及单据的图形化标识(例如单据本身的识别章等)。相应地,第二样本中的内容包括单据上所记载的以下各项中的一个或多个的组合:单位的名称、单位的图形化标识、条目的名称、金额的货币种类、金额的数值、单据的识别码、以及单据的图形化标识。
下面结合图6所示的一个具体的示意性的示例,来对训练样本所用于的模型、第一和第二样本、以及生成的训练样本进行说明。图6所示为一整张单据(在该示例中为增值税普通***)的影像,其中以矩形框标示出了多个区域。例如,在用数字标注出的多个区域中,包括与购买方的名称相关联的区域1、与购买方的纳税人识别号相关联的区域2、与销售方的名称相关联的区域3、与销售方的纳税人识别号相关联的区域4、与货物或服务的名称相关联的区域5、与货物或服务的金额相关联的区域6、与***的二维码相关联的区域7、与***的密码相关联的区域8、与开票的日期相关联的区域9、以及与购买方或销售方的单位的公章相关联的区域10等。
本公开的训练样本所用于的模型(以下简称“模型”)可以用来从包含单据的至少部分的影像中识别出单据的至少部分中的内容。例如,模型可以从包含(或仅包含)区域1的影像中识别出购买方的名称(即区域1中的内容),从包含(或仅包含)区域2的影像中识别出购买方的纳税人识别号(即区域2中的内容)等。包含或仅包含一个区域的影像可以参照图4A至4C。
用于从不同区域中识别内容的模型可以是不同的,也可以是相同的。在一些情况下,可以用同一个模型将单据中的各个区域中的内容识别出来。在一些情况下,可以用不同的模型来针对具有不同属性的区域,从而可以提高识别的准确性。例如,在图6所示的示例中,可以针对区域1、区域3、和区域5用同一个模型,例如第一模型,来识别,第一模型可以是对于文字(包括中文字、外文字、数字等)有较强的识别能力;相应地,用于训练第一模型的样本可以是包含(或仅包含)区域1、区域3、或区域5的影像,即这些影像均可以用作训练第一模型的样本。可以将来自多张票据样本的包含多个区域1、多个区域3、以及多个区域5的影像建立一个集合,该集合为用于训练第一模型的第一样本库。
在本公开的方法中,若要生成用于第一模型的新的训练样本,则使用的第一样本和第二样本可以均来自于第一样本库,在这些情况下,第一样本库既为生成的新的训练样本提供内容又提供影像特征。但在一些情况下,也可以是第二样本选自第一样本库,即第一样本库仅为生成的新的训练样本提供内容而不提供影像特征。在这些情况下,第一样本可以来自于用于训练其他模型的样本,还可以是来自于影像特征库中的一个或多个影像特征的组合,例如,可以是包含(或仅包含)其他区域的影像、或者整张单据的影像等。
类似地,可以针对区域2和区域4用同一个模型,例如第二模型,来识别,第二模型可以是对于数字和英文字母有较强的识别能力;相应地,包含(或仅包含)区域2或区域4的影像均可以作为训练第二模型的样本。可以将来自多张票据的区域2或区域4的影像的集合作为第二样本库,生成用于训练的第二模型的训练样本的方法中使用的第一和第二样本均可以是从第二样本库中选择的样本,也可以只有第二样本是从第二样本库中选择的样本。同样地,还可以针对区域7使用第三模型,其对二维码图形有较强的识别能力,针对第三模型的训练还建立有第三样本库;针对区域9使用第四模型,其对中文字和数字有较强的识别能力,针对第四模型的训练还建立有第四样本库;针对区域10使用第五模型,其对公章或***的图形有较强的识别能力,针对第五模型的训练还建立有第五样本库。
特别地,可以针对区域6和区域8用同一个模型,例如可以是对数字和字符有较强的识别能力的模型。当然,为了进一步地提高识别的精度和速度,也可以针对区域6和区域8分别用不同的模型,例如第六模型和第七模型,第六模型对数字和一些特定的符号(例如小数点、货币符号)有较强的识别能力,第七模型对数字和一些特定的符号(例如***密码中使用的字符)有较强的识别能力。
在一些情况下,本公开的方法中所使用的第二样本中的内容可以是来自于第一样本库中的一个或多个样本中的内容。在这些情况下,第二样本中的内容与第一样本的影像特征结合之后的生成的影像中包含有多个内容(可以是用于同一个模型的同种类的内容,也可以是用于不同模型的不同种类的内容)。在这些情况下,可以将包含多个内容的影像分别分割出来,其中包含同种类的内容的影像作为用于同一个模型的新的训练样本,包含不同种类的内容的影像作为用于不同模型的新的训练样本。
在一些实施例中,步骤S2中的将第二样本中的内容与第一样本的影像特征结合包括:以第一样本的影像特征呈现包含第二样本中的内容的影像。在一些实施例中,第一样本的影像特征可以包括主体特征和背景特征。第二样本只提供内容而不提供任何的影像特征,用第一样本的影像特征中的主体特征将第二样本中的内容特征化,然后将特征化之后的第二样本中的内容与具有第一样本的影像特征中的背景特征的背景叠加以生成训练样本。
在一些实施例中,第一样本的影像特征可以包括主体特征和背景特征。步骤S2中的将第二样本中的内容与第一样本的影像特征结合包括:将主体特征应用于第二样本中的内容(例如用主体特征将第二样本中的内容特征化)以建立第一图层,并基于背景特征建立第二图层(例如第二图层中包括第一样本的影像特征中的全部或部分背景特征),然后将第一图层和第二图层相叠加以产生叠加后的影像,并且在叠加时第一图层位于第二图层之上,所产生的叠加后的影像为生成的训练样本。
在一些实施例中,主体特征可以包括以下各项中的一个或多个的组合:字体、模糊、墨色、缺墨、溢墨、墨迹不匀、拉伸、以及挤缩等;背景特征可以包括以下各项中的一个或多个的组合:图形、文字、颜色、底纹、水印、明暗、光线、污渍、腐蚀、磨损、破损、以及打孔等。
在一个例子中,第二样本中的内容为以文字方式体现的单位的名称(例如为“A公司”),第一样本的影像特征中的主体特征包括字迹颜色特征、字迹状态(例如因缺墨而字迹浅淡)特征、以及字体(例如点阵字体)特征等,第一样本的影像特征中的背景特征包括单据的纸张的图形/文字特征、颜色特征、明暗(例如纸张颜色的明暗程度、明暗分布等)特征、以及光线照射(例如受光不均匀、高光、反光等)的特征等。以该例子进行步骤S2时,将来自第一样本的字迹颜色特征、字迹状态特征、以及字体特征应用到来自第二样本的内容“A公司”,使得“A公司”的字样具有第一样本的字迹颜色特征、字迹状态特征、以及字体特征,以建立作为主体的第一图层;并根据来自第一样本的单据的纸张的颜色特征、明暗特征、以及光线照射的特征建立作为背景的第二图层;然后将第一图层位于第二图层之上并使得第一图层和第二图层相叠加以产生叠加后的影像,可以将该叠加后的影像作为生成的训练样本。
如此,利用来自第二样本的内容以及来自第一样本的影像特征,使得生成的训练样本具有第二样本中的内容与第一样本的影像特征的结合。例如,使得第二样本中的内容以第一样本的影像特征中的主体特征来呈现,并与具有第一样本的影像特征中的背景特征的背景相叠加,从而生成训练样本。
在一些实施例中,第一样本的影像特征可以包括主体特征、背景特征和前景特征。第二样本只提供内容而不提供任何的影像特征,用第一样本的影像特征中的主体特征将第二样本中的内容特征化,然后将特征化之后的第二样本中的内容与具有第一样本的影像特征中的背景特征的背景、以及具有第一样本的影像特征中的前景特征的前景叠加,以生成训练样本。
在一些实施例中,主体特征可以包括以下各项中的一个或多个的组合:字体、模糊、墨色、缺墨、溢墨、墨迹不匀、拉伸、以及挤缩等;背景特征可以包括以下各项中的一个或多个的组合:图形、文字、颜色、底纹、水印、明暗、光线、污渍、腐蚀、磨损、破损、以及打孔等;前景特征可以包括以下各项中的一个或多个的组合:图形、文字、污渍、腐蚀、磨损、破损、以及打孔。
在一个例子中,第二样本中的内容为以图片方式体现的单位的公章,第一样本的影像特征中的主体特征包括公章的墨色特征、因溢墨而痕迹边缘不整齐或墨迹不匀的特征、因盖章时纸张移动而造成的公章痕迹被拉伸/挤缩特征等,第一样本的影像特征中的背景特征包括单据的纸张的颜色特征、以及底纹特征等,第一样本的影像特征中的前景特征包括图形/文字特征(例如在已经打印/书写完成的单据上人为增加的图形/文字标记)、污渍(例如墨渍、油渍、脏污等)特征等。以该例子进行步骤S2时,将来自第一样本的公章的墨色特征、因溢墨而痕迹边缘不整齐或墨迹不匀的特征、因盖章时纸张移动而造成的公章痕迹被拉伸/挤缩特征应用到来自第二样本的单位的公章的样式,使得单位的公章具有第一样本的影像特征中的主体特征,以建立作为主体的第一图层;根据来自第一样本的单据的纸张的颜色特征以及底纹特征建立作为背景的第二图层;根据来自第一样本的污渍特征建立作为前景的第三图层;然后将第一图层位于第二图层之上、第三图层位于第一图层之上,并使得第一、第二和第三图层相叠加以产生叠加后的影像,可以将该叠加后的影像作为生成的训练样本。
如此,利用来自第二样本的内容以及来自第一样本的影像特征,使得生成的训练样本具有第二样本中的内容与第一样本的影像特征的结合。例如,使得第二样本中的内容以第一样本的影像特征中的主体特征来呈现,并与具有第一样本的影像特征中的背景特征的背景、以及具有第一样本的影像特征中的前景特征的前景相叠加,从而生成训练样本。
在一些实施例中,第一样本的影像特征可以包括主体特征、背景特征、前景特征和整体特征。第二样本只提供内容而不提供任何的影像特征,用第一样本的影像特征中的主体特征将第二样本中的内容特征化,然后将特征化之后的第二样本中的内容与具有第一样本的影像特征中的背景特征的背景、以及具有第一样本的影像特征中的前景特征的前景叠加,然后对叠加后的影像应用整体特征以生成训练样本。
在一些实施例中,主体特征可以包括以下各项中的一个或多个的组合:字体、模糊、墨色、缺墨、溢墨、墨迹不匀、拉伸、以及挤缩等;背景特征可以包括以下各项中的一个或多个的组合:图形、文字、颜色、底纹、水印、明暗、光线、污渍、腐蚀、磨损、破损、以及打孔等;前景特征可以包括以下各项中的一个或多个的组合:图形、文字、污渍、腐蚀、磨损、破损、以及打孔;整体特征包括以下各项中的一个或多个的组合:光线、倾斜、折痕、褶皱、扭曲、腐蚀、磨损、破损、以及打孔。
在一个例子中,第二样本中的内容为以图片方式体现的单位的商标,第一样本的影像特征中的主体特征包括由于磨损或褪色导致的模糊特征等,第一样本的影像特征中的背景特征包括单据的纸张的水印特征、污渍特征等,第一样本的影像特征中的前景特征包括磨损特征等,第一样本的影像特征中的整体特征包括光线(例如光线照射不均匀、高光、反光等)特征、倾斜/扭曲(例如单据在包含单据或单据的一部分的影像中倾斜/扭曲等)特征、以及打孔(例如带孔打印纸两侧的孔、或单据被人为打出的孔等)特征等。以该例子进行步骤S2时,将第一样本的影像特征中的主体特征应用于来自第二样本的商标,即使得商标由于磨损或褪色导致的模糊,以建立作为主体的第一图层;根据来自第一样本的单据的纸张的水印特征和污渍特征建立作为背景的第二图层;根据来自第一样本的磨损特征建立作为前景的第三图层;然后将第一图层位于第二图层之上、第三图层位于第一图层之上,并使得第一、第二和第三图层相叠加以产生叠加后的影像;然后将来自第一样本的影像特征中的整体特征应用于叠加后的影像,即根据第一样本的光线特征、倾斜特征、扭曲特征、以及打孔特征等对叠加后的影像进行处理,以生成训练样本。
如此,利用来自第二样本的内容以及来自第一样本的影像特征,使得生成的训练样本具有第二样本中的内容与第一样本的影像特征的结合。例如,使得第二样本中的内容以第一样本的影像特征中的主体特征来呈现,并与具有第一样本的影像特征中的背景特征的背景、以及具有第一样本的影像特征中的前景特征的前景相叠加,然后将整体特征应用于叠加后的影像从而生成训练样本。
在一些实施例中,第一样本的影像特征可以包括主体特征、背景特征和整体特征。第二样本只提供内容而不提供任何的影像特征,用第一样本的影像特征中的主体特征将第二样本中的内容特征化,然后将特征化之后的第二样本中的内容与具有第一样本的影像特征中的背景特征的背景叠加,然后对叠加后的影像应用整体特征以生成训练样本。
在一些实施例中,主体特征可以包括以下各项中的一个或多个的组合:字体、模糊、墨色、缺墨、溢墨、墨迹不匀、拉伸、以及挤缩等;背景特征可以包括以下各项中的一个或多个的组合:图形、文字、颜色、底纹、水印、明暗、光线、污渍、腐蚀、磨损、破损、以及打孔等;整体特征包括以下各项中的一个或多个的组合:光线、倾斜、折痕、褶皱、扭曲、腐蚀、磨损、破损、以及打孔。
在一个例子中,第二样本中的内容为以文字方式体现的商品/服务名称,第一样本的影像特征中的主体特征包括字体/墨色特征等,第一样本的影像特征中的背景特征包括单据的纸张的颜色/腐蚀特征等,第一样本的影像特征中的整体特征包括折痕/褶皱特征、以及破损特征等。以该例子进行步骤S2时,将第一样本的字体/墨色特征应用于来自第二样本的商品/服务名称,以建立作为主体的第一图层;根据来自第一样本的单据的纸张的颜色/腐蚀特征建立作为背景的第二图层;然后将第一图层位于第二图层之上,并使得第一和第二图层相叠加以产生叠加后的影像;然后将来自第一样本的折痕/褶皱特征以及破损特征应用于叠加后的影像,以生成训练样本。
如此,利用来自第二样本的内容以及来自第一样本的影像特征,使得生成的训练样本具有第二样本中的内容与第一样本的影像特征的结合。例如,使得第二样本中的内容以第一样本的影像特征中的主体特征来呈现,并与具有第一样本的影像特征中的背景特征的背景相叠加,然后将整体特征应用于叠加后的影像从而生成训练样本。
在一些实施例中,步骤S2中的将第二样本中的内容与第一样本的影像特征结合包括:以第一样本的影像特征以及第二样本的影像特征呈现包含第二样本中的内容的影像。在一些实施例中,第一样本的影像特征可以包括背景特征,第二样本的影像特征可以包括主体特征。第二样本可以提供内容和体现主体特征的影像特征,将具有第二样本的主体特征的第二样本的内容与具有第一样本的影像特征中的背景特征的背景叠加以生成训练样本。
在一些实施例中,第一样本的影像特征可以包括背景特征,第二样本的影像特征可以包括主体特征。步骤S2中的将第二样本中的内容与第一样本的影像特征结合包括:将主体特征应用于第二样本中的内容以建立第一图层,若第二样本中的内容原本就以第二样本的影像特征中的主体特征呈现,则只需提取第二样本中以主体特征呈现的内容来建立第一图层即可;基于背景特征建立第二图层,然后将第一图层和第二图层相叠加以产生叠加后的影像,并且在叠加时第一图层位于第二图层之上,所产生的叠加后的影像为生成的训练样本。
在一些实施例中,第一样本的影像特征可以包括背景特征和前景特征,第二样本的影像特征可以包括主体特征。步骤S2中的将第二样本中的内容与第一样本的影像特征结合包括:将主体特征应用于第二样本中的内容以建立第一图层,若第二样本中的内容原本就以第二样本的影像特征中的主体特征呈现,则只需提取第二样本中以主体特征呈现的内容来建立第一图层即可;基于背景特征建立第二图层以及基于前景特征建立第三图层,然后将第一、第二和第三图层相叠加以产生叠加后的影像,并且在叠加时第一图层位于第二图层之上且第三图层位于第一图层之上,所产生的叠加后的影像为生成的训练样本。
在一些实施例中,第一样本的影像特征可以包括背景特征、前景特征和整体特征,第二样本的影像特征可以包括主体特征。步骤S2中的将第二样本中的内容与第一样本的影像特征结合包括:将主体特征应用于第二样本中的内容以建立第一图层,若第二样本中的内容原本就以第二样本的影像特征中的主体特征呈现,则只需提取第二样本中以主体特征呈现的内容来建立第一图层即可;基于背景特征建立第二图层以及基于前景特征建立第三图层,然后将第一、第二和第三图层相叠加(第一图层位于第二图层之上且第三图层位于第一图层之上)以产生叠加后的影像,然后对叠加后的影像应用整体特征以生成训练样本。
在一些实施例中,第一样本的影像特征可以包括背景特征和整体特征,第二样本的影像特征可以包括主体特征。步骤S2中的将第二样本中的内容与第一样本的影像特征结合包括:将主体特征应用于第二样本中的内容以建立第一图层,若第二样本中的内容原本就以第二样本的影像特征中的主体特征呈现,则只需提取第二样本中以主体特征呈现的内容来建立第一图层即可;基于背景特征建立第二图层,然后将第一和第二层相叠加(第一图层位于第二图层之上)以产生叠加后的影像,然后对叠加后的影像应用整体特征以生成训练样本。
上述这些实施例的具体示例与上文描述的具体示例相似,只是主体特征的来源为第二样本而不是第一样本,其他细节均类似,因此在此不做重复描述。
以上描述中,一些特征(例如腐蚀特征、磨损特征、以及打孔特征等)既可以是主体特征、前景特征、或背景特征,也可以是整体特征,可以由这些特征择一地包含(例如,可以仅由背景特征包含磨损特征),也可以由这些特征均包含(例如,可以是主体特征、前景特征、背景特征、或整体特征均包含磨损特征)。
此外,虽然在以上描述中,用“第一图层”、“第二图层”、“第三图层”来描述作为主体、背景、前景的各个图层,本领域技术人员应理解,“第一图层”、“第二图层”、“第三图层”中的任一个均可以由一层图层或多层图层来形成。在一些实施例中,在生成同一个训练样本的方法中所使用的多个第二图层中,不同的第二图层可以体现不同的背景特征,例如有的第二图层体现光线特征、有的体现水印特征等。类似地,在生成同一个训练样本的方法中所使用的多个第三图层中,不同的第三图层也可以体现不同的前景特征。
特别地,在生成同一个训练样本的方法中所使用的多个第一图层中,不同的第一图层可以是体现相同的内容但应用了不同的影像特征,也可以是不同的内容但应用了相同的影像特征,还可以是不同的内容但应用了不同的影像特征。例如,参照如图6所示的示例,多个第一图层中可以包括体现了区域1中的内容图层、体现了区域6中的内容的图层、以及体现了区域10中的内容图层等。其中,不同的区域可以以不同的影像特征来呈现,例如体现了区域1中的内容图层中应用的影像特征可以包括字体特征和模糊特征的组合、体现了区域6中的内容的图层中应用的影像特征可以包括缺墨特征、体现了区域10中的内容图层可以包括墨迹不匀和墨色特征的组合等。
在一些实施例中,第一样本和第二样本中的任一个为从样本库中随机选取的样本,然后可以通过例如图像处理技术或预先训练的模型来获取第一样本的影像特征,还可以通过例如图像处理技术或预先训练的模型来获得第二样本中的内容。此外,第二样本中的内容还可以为基于第二样本预先确定的,例如当第二样本用于前文所述的识别模型的应用时被识别出的内容。如此,可以通过样本库中已有的样本中的内容和影像特征的交叉组合来生成新的训练样本,从而能够在样本源有限的情况下极大地增加样本的数量,有利于模型的训练。此外,如此生成的新的样本的内容和影像特征均是基于现有的真实存在的样本,能够使得生成的新的样本的真实度高,有利于模型的训练。
在一些实施例中,可以不从样本库中选择第一样本再通过例如图像处理技术或预先训练的模型来获取第一样本的影像特征,而是从影像特征库中选取一个影像特征或多个影像特征的组合作为第一样本的影像特征。在这些情况下,从样本库中选择第二样本,将第二样本中的内容与从影像特征库中选取的一个或多个影像特征相结合,从而生成新的样本。在一些实施例中,可以不从样本库中选择第二样本再通过例如图像处理技术或预先训练的模型来获得第二样本中的内容,而是从样本内容库中选取的一个样本内容或多个样本内容的组合作为第二样本的内容。如此,可以提高增加样本数量的速度。
下面参照图4A至4C描述根据本公开的一些实施例的生成训练样本的方法的一个示例。在该示例中,图4A可以为第一样本的示意图,图4B可以为第二样本的示意图,图4C可以为生成的训练样本的示意图。在该示例中,第一样本和第二样本均为包含一张单据的部分的影像,该单据的部分为增值税普通***的密码区。本领域技术人员应理解,虽然该示例中的单据为增值税普通***,但本公开所适用的单据显然不止于此,其包括但不限于前文所列举的单据类型。第一样本和第二样本均可以为从样本库中随机选取的样本。
在步骤S1中,获取图4A所示的第一样本的影像特征,例如可以作为整体特征的光线特征(例如阴影)、折痕特征、和倾斜特征等。在步骤S2中,将如图4B所示的第二样本中的内容与第一样本的影像特征相结合,即以第一样本的光线特征、折痕特征、和倾斜特征来呈现包含第二样本中的内容的影像,从而生成如图4C所示的新的训练样本。
虽然在描述本公开的方法时,分解为步骤S1和S2来描述,但本领域技术人员应理解,步骤S1和S2之间也可以不是连续执行的。例如,可以先执行步骤S1获取了第一样本的影像特征之后,将第一样本的影像特征存储在影像特征库中,然后等到执行步骤S2时再从影像特征库中获取该影像特征。当存在多个第一样本时,可以先执行多次步骤S1以获取多个第一样本的影像特征并存储在影像特征库中,等到执行步骤S2时再分别从影像特征库中获取这些影像特征。
虽然在该示例中,第一样本、第二样本和生成的新样本均是单据的一部分,但本领域技术人员应理解,第一样本、第二样本和生成的新样本也可以是一整张单据、或多张单据等。
下面参照图5A至5D描述根据本公开的一些实施例的生成训练样本的方法的一个示例。在该示例中,图5A可以为第一样本的示意图,图5B可以为从第一样本中获取的包含影像特征的影像的示意图,图5C可以为将第二样本中的内容与如图5B所包含的影像特征相结合以生成的训练样本的示意图,图5D可以为基于图5C所示的样本所生成的训练样本的示意图。在该示例中,第一样本和第二样本均为包含一整张单据的影像。本领域技术人员应理解,虽然该示例中的单据为增值税普通***,但本公开所适用的单据显然不止于此,其包括但不限于前文所列举的单据类型。
在步骤S1中,获取图5A所示的第一样本的影像特征,例如可以作为背景特征的图形/文字特征(例如单据中各区域的分界线、各区域的格式主题等)、颜色特征、明暗特征等,以及可以作为整体特征的褶皱特征等,从而得到图5B所示的包含第一样本的影像特征的影像。如前所述,可以不在每次需要生成训练样本时均从如图5A所示的第一样本获取影像特征而得到如图5B所示的包含第一样本的影像特征的影像,而是预先从如图5A所示的第一样本中获取影像特征得到如图5B所示的影像,并将如图5B所示的影像存储起来,例如可以存储在影像特征库中,以便在需要生成训练样本时直接从影像特征库中获取如图5B所示的影像即可。
在步骤S2中,将从样本内容库中选取的样本内容作为第二样本的内容,并与如图5B所包含的影像特征相结合,即以第一样本的如上所述的影像特征来呈现包含第二样本中的内容的影像,从而生成如图5C所示的新的训练样本。该新的训练样本可以用于模型的训练。
在步骤S2之后,还可以基于如图5C所示的训练样本进一步生成新的训练样本,例如,可以将来自于影像特征库中的影像特征应用到如图5C所示的训练样本上,从而得到如图5D所示的新的训练样本。该新的训练样本也可以用于模型的训练。
虽然在该示例中,第一样本、第二样本和生成的新样本均是一整张单据,但本领域技术人员应理解,第一样本、第二样本和生成的新样本也可以是一张单据的一部分、或多张单据等。
特别地,使用图5A至5C、或图5A至5D所描述的方法还可以一次生成多个样本。在该示例中,图5A至5D所示的影像均为一整张单据的影像,但第一样本、第二样本和生成的新样本均是一张单据的一部分,即至少包含图6中一个或多个以矩形框所标示的区域的影像。
在该示例中,本公开的方法所包括的步骤S1、S2如上所述,在生成如图5C所示的影像之后,对图5C所示的影像进行区域分割,例如可以将图6中以矩形框所标示的区域均分割出来,其中的每一个区域的影像均为一个新的训练样本。类似地,在步骤S2之后还得到如图5D所示的影像的情况下,对图5D所示的影像进行区域分割,例如可以将图6中以矩形框所标示的区域均分割出来,其中的每一个区域的影像均为一个新的训练样本。如此,可以一次生成多个新的训练样本,并且能够保证样本的真实度高。
如前所述的,分割出来的区域的影像中,包含同种类的内容的影像作为用于同一个模型的新的训练样本,包含不同种类的内容的影像作为用于不同模型的新的训练样本。例如,若图6是经过以上结合图5A至5C、或图5A至5D所描述的方法之后的影像,则可以将分割出来的区域1、区域3、和区域5的影像作为用于第一模型的训练样本,将区域2和区域4的影像作为用于第二模型的训练样本,将区域7的影像作为用于第三模型的训练样本,将区域9的影像作为用于第四模型的训练样本,将区域10的影像作为用于第五模型的训练样本,将区域6的影像作为用于第六模型的训练样本,将区域8的影像作为用于第七模型的训练样本。
图2是示意性地示出根据本公开的一个实施例的生成训练样本的***200的至少一部分的结构图。本领域技术人员可以理解,***200只是一个示例,不应将其视为限制本公开的范围或本文所描述的特征。在该示例中,***200可以包括一个或多个计算装置210,一个或多个计算装置210被配置为:获取第一样本的影像特征;以及将第二样本中的内容与第一样本的影像特征结合以生成训练样本,该训练样本可以用于训练用于识别影像中的内容的模型。
本领域技术人员可以理解,以上描述的关于一个或多个计算装置210的各种操作,可以被配置为均在一个计算装置210中进行,也可以被配置为分布在多个计算装置210中进行。一个或多个计算装置210中的每一个均可以是仅具备计算功能的计算装置、还可以是同时具备计算与存储功能的装置。在一个或多个计算装置210具备存储功能的情况下,第一样本和第二样本以及进行生成训练样本的方法所需要的数据,均可以存储在一个或多个计算装置210中。在这种情况下,这些数据可以共同存储在一个计算装置210中,也可以分别存储在多个计算装置210中。
如图2所示,一个或多个计算装置210之间可以通过网络220互相连接。此外,一个或多个计算装置210中的每一个与其他装置元件也可以通过网络220进行连接。一个或多个处理器310中的每一个可以位于网络220的不同节点处,并且能够直接地或间接地与网络220的其他节点通信。虽然图2中仅示出了计算装置310,但本领域技术人员可以理解,***200还可以包括其他装置,其中每个不同的装置均位于网络220的不同节点处。可以使用各种协议和***将网络220和本文所描述的***中的组成部分(例如计算装置310)互连,以使得网络220可以是互联网、万维网、特定内联网、广域网或局域网的一部分。网络220可以利用诸如以太网、WiFi和HTTP等标准通信协议、对于一个或多个公司来说是专有的协议、以及前述协议的各种组合。虽然当如上所述来传递或接收信息时获得了某些优点,但是本文所描述的主题并不限于任何特定的信息传递方式。
虽然一个或多个计算装置310可以各自包括全尺寸的个人计算装置,但是它们可能可选地包括能够通过诸如互联网等网络与服务器无线地交换数据的移动计算装置。举例来说,一个或多个计算装置310可以是移动电话,或者是诸如带无线支持的PDA、平板PC或能够经由互联网获得信息的上网本等装置。在另一个示例中,一个或多个计算装置310可以是可穿戴式计算***。
图3是示意性地示出根据本公开的一个实施例的生成训练样本的***300的至少一部分的结构图。***300包括一个或多个处理器310和一个或多个存储器320,其中一个或多个处理器310与一个或多个存储器320可通信地连接。一个或多个存储器320中的一个或多个可以经由如图2中所示出的网络220连接至一个或多个处理器310,和/或可以直接地连接至或并入一个或多个处理器310中的任何一个中。一个或多个存储器320中的每一个可以存储可由一个或多个处理器310访问的内容,包括可以由一个或多个处理器310执行的指令321、以及可以由一个或多个处理器310来检索、操纵或存储的数据322。
指令321可以是将由一个或多个处理器310直接地执行的任何指令集,诸如机器代码,或者间接地执行的任何指令集,诸如脚本。本文中的术语“指令”、“应用”、“过程”、“步骤”和“程序”在本文中可以互换使用。指令321可以存储为目标代码格式以便由一个或多个处理器310直接处理,或者存储为任何其他计算机语言,包括按需解释或提前编译的独立源代码模块的脚本或集合。本文其他部分(例如描述本公开的方法的部分)更加详细地解释了指令321的功能、方法和例程。
一个或多个存储器320可以是能够存储可由一个或多个处理器310访问的内容的任何临时性或非临时性计算机可读存储介质,诸如硬盘驱动器、存储卡、ROM、RAM、DVD、CD、USB存储器、能写存储器和只读存储器等。一个或多个存储器320中的一个或多个可以包括分布式存储***,其中指令321和/或数据322可以存储在可以物理地位于相同或不同的地理位置处的多个不同的存储装置上。
一个或多个处理器310可以根据指令321来检索、存储或修改数据322。存储在一个或多个存储器320中的数据322可以包括上文所提及的第一样本、第一样本的影像特征、第二样本、第二样本的影像特征、第二样本的内容、生成的训练样本、样本库、影像特征库、样本内容库、用于识别影像中的内容的模型、第一图层、第二图层、以及第三图层等。本领域技术人员应理解,其他数据也可以被存储在一个或多个存储器320中。举例来说,虽然本文所描述的主题不受任何特定数据结构限制,但是数据322还可能存储在计算机寄存器(未示出)中,作为具有许多不同的字段和记录的表格或XML文档存储在关系型数据库中。数据322可以被格式化为任何计算装置可读格式,诸如但不限于二进制值、ASCII或统一代码。此外,数据322可以包括足以识别相关信息的任何信息,诸如编号、描述性文本、专有代码、指针、对存储在诸如其他网络位置处等其他存储器中的数据的引用或者被函数用于计算相关数据的信息。
一个或多个处理器310可以是任何常规处理器,诸如市场上可购得的中央处理单元(CPU)、图形处理单元(GPU)等。可替换地,一个或多个处理器310还可以是专用组件,诸如专用集成电路(ASIC)或其他基于硬件的处理器。虽然不是必需的,但是一个或多个处理器310可以包括专门的硬件组件来更快或更有效地执行特定的计算过程,诸如对单据的影像进行图像处理等。
虽然图3中示意性地将一个或多个处理器310及一个或多个存储器320示出在同一个框内,但是一个或多个处理器310或一个或多个存储器320可以实际上包括可能存在于同一个物理壳体内或不同的多个物理壳体内的多个处理器或存储器。例如,一个或多个存储器320中的一个可以是位于与一个或多个处理器310中的每一个的壳体不同的壳体中的硬盘驱动器或其他存储介质。因此,引用处理器或存储器应被理解成包括引用可能并行操作或可能非并行操作的处理器或存储器的集合。虽然以上描述的一些功能被指示为在具有单个处理器的单个计算装置上发生,但是本文所描述的主题的各个方面均可以由多个处理器310例如通过网络220相互通信来实现。
在说明书及权利要求中的词语“A或B”包括“A和B”以及“A或B”,而不是排他地仅包括“A”或者仅包括“B”,除非另有特别说明。
在本公开中,对“一个实施例”、“一些实施例”的提及意味着结合该实施例描述的特征、结构或特性包含在本公开的至少一个实施例、至少一些实施例中。因此,短语“在一个实施例中”、“在一些实施例中”在本公开的各处的出现未必是指同一个或同一些实施例。此外,在一个或多个实施例中,可以任何合适的组合和/或子组合来组合特征、结构或特性。
如在此所使用的,词语“示例性的”意指“用作示例、实例或说明”,而不是作为将被精确复制的“模型”。在此示例性描述的任意实现方式并不一定要被解释为比其它实现方式优选的或有利的。而且,本公开不受在上述技术领域、背景技术、发明内容或具体实施方式中所给出的任何所表述的或所暗示的理论所限定。
如在此所使用的,词语“基本上”意指包含由设计或制造的缺陷、器件或元件的容差、环境影响和/或其它因素所致的任意微小的变化。词语“基本上”还允许由寄生效应、噪音以及可能存在于实际的实现方式中的其它实际考虑因素所致的与完美的或理想的情形之间的差异。
上述描述可以指示被“连接”或“耦合”在一起的元件或节点或特征。如在此所使用的,除非另外明确说明,“连接”意指一个元件/节点/特征与另一种元件/节点/特征在电学上、机械上、逻辑上或以其它方式直接地连接(或者直接通信)。类似地,除非另外明确说明,“耦合”意指一个元件/节点/特征可以与另一元件/节点/特征以直接的或间接的方式在机械上、电学上、逻辑上或以其它方式连结以允许相互作用,即使这两个特征可能并没有直接连接也是如此。也就是说,“耦合”意图包含元件或其它特征的直接连结和间接连结,包括利用一个或多个中间元件的连接。
另外,仅仅为了参考的目的,还可以在下面描述中使用某种术语,并且因而并非意图限定。例如,除非上下文明确指出,否则涉及结构或元件的词语“第一”、“第二”和其它此类数字词语并没有暗示顺序或次序。
还应理解,“包括/包含”一词在本文中使用时,说明存在所指出的特征、整体、步骤、操作、单元和/或组件,但是并不排除存在或增加一个或多个其它特征、整体、步骤、操作、单元和/或组件以及/或者它们的组合。
在本公开中,术语“部件”和“***”意图是涉及一个与计算机有关的实体,或者硬件、硬件和软件的组合、软件、或执行中的软件。例如,一个部件可以是,但是不局限于,在处理器上运行的进程、对象、可执行态、执行线程、和/或程序等。通过举例说明,在一个服务器上运行的应用程序和所述服务器两者都可以是一个部件。一个或多个部件可以存在于一个执行的进程和/或线程的内部,并且一个部件可以被定位于一台计算机上和/或被分布在两台或更多计算机之间。
本领域技术人员应当意识到,在上述操作之间的边界仅仅是说明性的。多个操作可以结合成单个操作,单个操作可以分布于附加的操作中,并且操作可以在时间上至少部分重叠地执行。而且,另选的实施例可以包括特定操作的多个实例,并且在其他各种实施例中可以改变操作顺序。但是,其它的修改、变化和替换同样是可能的。因此,本说明书和附图应当被看作是说明性的,而非限制性的。
另外,本公开的实施方式还可以包括以下示例:
1.一种生成训练样本的方法,所述训练样本用于训练识别影像中的内容的模型,所述方法包括:
获取第一样本的影像特征;以及
以至少所述第一样本的影像特征来呈现包含第二样本中的内容的影像,从而生成所述训练样本。
2.根据1所述的方法,其特征在于,所述第一样本和所述第二样本中的任一个包括以下各项中的至少部分:包含一张单据的影像、以及包含多张单据的影像。
3.根据1所述的方法,其特征在于,所述第一样本的影像特征包括主体特征和背景特征,以至少所述第一样本的影像特征来呈现包含第二样本中的内容的影像包括:
将所述主体特征应用于所述第二样本中的内容以建立第一图层;
基于所述背景特征建立第二图层;以及
将所述第一图层和所述第二图层相叠加以产生叠加后的影像,其中所述第一图层位于所述第二图层之上。
4.根据3所述的方法,其特征在于,所述第一样本的影像特征还包括前景特征,以至少所述第一样本的影像特征来呈现包含第二样本中的内容的影像还包括:
基于所述前景特征建立第三图层;以及
将所述第一图层、所述第二图层、以及所述第三图层叠加以产生所述叠加后的影像,其中所述第一图层位于所述第二图层之上,并且所述第三图层位于所述第一图层之上。
5.根据3所述的方法,其特征在于,所述第一样本的影像特征还包括整体特征,以至少所述第一样本的影像特征来呈现包含第二样本中的内容的影像还包括:
将所述整体特征应用于所述叠加后的影像。
6.根据1所述的方法,其特征在于,以所述第一样本的影像特征以及所述第二样本的影像特征呈现包含所述第二样本中的内容的影像。
7.根据6所述的方法,其特征在于,所述第一样本的影像特征包括背景特征,所述第二样本的影像特征包括主体特征,以至少所述第一样本的影像特征来呈现包含第二样本中的内容的影像包括:
将所述主体特征应用于所述第二样本中的内容以建立第一图层;
基于所述背景特征建立第二图层;以及
将所述第一图层和所述第二图层相叠加以产生叠加后的影像,其中所述第一图层位于所述第二图层之上。
8.根据7所述的方法,其特征在于,所述第一样本的影像特征还包括前景特征,以至少所述第一样本的影像特征来呈现包含第二样本中的内容的影像还包括:
基于所述前景特征建立第三图层;以及
将所述第一图层、所述第二图层、以及所述第三图层叠加以产生所述叠加后的影像,其中所述第一图层位于所述第二图层之上,并且所述第三图层位于所述第一图层之上。
9.根据7所述的方法,其特征在于,所述第一样本的影像特征还包括整体特征,以至少所述第一样本的影像特征来呈现包含第二样本中的内容的影像还包括:
将所述整体特征应用于所述叠加后的影像。
10.根据1所述的方法,其特征在于,所述第一样本和所述第二样本中的任一个为从样本库中随机选取的样本。
11.根据1所述的方法,其特征在于,获取所述第一样本的影像特征包括:从影像特征库中选取一个影像特征或多个影像特征的组合作为所述第一样本的影像特征。
12.根据1所述的方法,其特征在于,所述第二样本中的内容为从样本内容库中选取的一个样本内容或多个样本内容的组合。
13.根据2所述的方法,其特征在于,所述第二样本中的内容包括单据上所记载的以下各项中的一个或多个的组合:单位的名称、单位的图形化标识、条目的名称、金额的货币种类、金额的数值、单据的识别码、以及单据的图形化标识。
14.根据3或7所述的方法,其特征在于,所述主体特征包括以下各项中的一个或多个的组合:字体、模糊、墨色、缺墨、溢墨、墨迹不匀、拉伸、以及挤缩。
15.根据3或7所述的方法,其特征在于,所述背景特征包括以下各项中的一个或多个的组合:图形、文字、颜色、底纹、水印、明暗、光线、污渍、腐蚀、磨损、破损、以及打孔。
16.根据4或8所述的方法,其特征在于,所述前景特征包括以下各项中的一个或多个的组合:图形、文字、污渍、腐蚀、磨损、破损、以及打孔。
17.根据5或9所述的方法,其特征在于,所述整体特征包括以下各项中的一个或多个的组合:光线、倾斜、折痕、褶皱、扭曲、腐蚀、磨损、破损、以及打孔。
18.一种生成训练样本的***,所述训练样本用于训练识别影像中的内容的模型,所述***包括:
一个或多个计算装置,所述一个或多个计算装置被配置为:
获取第一样本的影像特征;以及
以至少所述第一样本的影像特征来呈现包含第二样本中的内容的影像,从而生成所述训练样本。
19.一种生成训练样本的***,所述训练样本用于训练识别影像中的内容的模型,所述***包括:
一个或多个处理器;以及
一个或多个存储器,所述一个或多个存储器被配置为存储一系列计算机可执行的指令以及与所述一系列计算机可执行的指令相关联的计算机可访问的数据,
其中,当所述一系列计算机可执行的指令被所述一个或多个处理器执行时,使得所述一个或多个处理器进行如1-17中任一项所述的方法。
20.一种非临时性计算机可读存储介质,其特征在于,所述非临时性计算机可读存储介质上存储有一系列计算机可执行的指令,当所述一系列计算机可执行的指令被一个或多个计算装置执行时,使得所述一个或多个计算装置进行如1-17中任一项所述的方法。
虽然已经通过示例对本公开的一些特定实施例进行了详细说明,但是本领域的技术人员应该理解,以上示例仅是为了进行说明,而不是为了限制本公开的范围。在此公开的各实施例可以任意组合,而不脱离本公开的精神和范围。本领域的技术人员还应理解,可以对实施例进行多种修改而不脱离本公开的范围和精神。本公开的范围由所附权利要求来限定。

Claims (24)

1.一种生成训练样本的方法,所述训练样本用于训练识别影像中的内容的模型,所述方法包括:
获取第一样本的影像特征,其中所述第一样本的影像特征包括主体特征和背景特征;
将所述主体特征应用于第二样本中的内容以建立第一图层;
基于所述背景特征建立第二图层;以及
将所述第一图层和所述第二图层相叠加以产生叠加后的影像,从而生成所述训练样本,其中所述第一图层位于所述第二图层之上。
2.根据权利要求1所述的方法,其特征在于,所述第一样本和所述第二样本中的任一个包括以下各项中的至少部分:包含一张单据的影像、以及包含多张单据的影像。
3.根据权利要求1所述的方法,其特征在于,所述第一样本的影像特征还包括前景特征,所述方法还包括:
基于所述前景特征建立第三图层;以及
将所述第一图层、所述第二图层、以及所述第三图层叠加以产生所述叠加后的影像,从而生成所述训练样本,其中所述第一图层位于所述第二图层之上,并且所述第三图层位于所述第一图层之上。
4.根据权利要求1所述的方法,其特征在于,所述第一样本的影像特征还包括整体特征,所述方法还包括:
将所述整体特征应用于所述叠加后的影像,从而生成所述训练样本。
5.根据权利要求1所述的方法,其特征在于,所述第一样本和所述第二样本中的任一个为从样本库中随机选取的样本。
6.根据权利要求1所述的方法,其特征在于,获取所述第一样本的影像特征包括:从影像特征库中选取一个影像特征或多个影像特征的组合作为所述第一样本的影像特征。
7.根据权利要求1所述的方法,其特征在于,所述第二样本中的内容为从样本内容库中选取的一个样本内容或多个样本内容的组合。
8.根据权利要求1所述的方法,其特征在于,所述第二样本中的内容包括单据上所记载的以下各项中的一个或多个的组合:单位的名称、单位的图形化标识、条目的名称、金额的货币种类、金额的数值、单据的识别码、以及单据的图形化标识。
9.根据权利要求1所述的方法,其特征在于,所述主体特征包括以下各项中的一个或多个的组合:字体、模糊、墨色、缺墨、溢墨、墨迹不匀、拉伸、以及挤缩。
10.根据权利要求1所述的方法,其特征在于,所述背景特征包括以下各项中的一个或多个的组合:图形、文字、颜色、底纹、水印、明暗、光线、污渍、腐蚀、磨损、破损、以及打孔。
11.根据权利要求3所述的方法,其特征在于,所述前景特征包括以下各项中的一个或多个的组合:图形、文字、污渍、腐蚀、磨损、破损、以及打孔。
12.根据权利要求4所述的方法,其特征在于,所述整体特征包括以下各项中的一个或多个的组合:光线、倾斜、折痕、褶皱、扭曲、腐蚀、磨损、破损、以及打孔。
13.一种生成训练样本的方法,所述训练样本用于训练识别影像中的内容的模型,所述方法包括:
从影像特征库中选取一个影像特征或多个影像特征的组合作为主体特征,并且选取一个影像特征或多个影像特征的组合作为背景特征;
从样本内容库中选取一个样本内容或多个样本内容的组合作为样本内容;
将所述主体特征应用于所述样本内容以建立第一图层;
基于所述背景特征建立第二图层;以及
将所述第一图层和所述第二图层相叠加以产生叠加后的影像,从而生成所述训练样本。
14.根据权利要求13所述的方法,其特征在于,所述方法还包括:
从所述影像特征库中选取一个影像特征或多个影像特征的组合作为前景特征;
基于所述前景特征建立第三图层;以及
将所述第一图层、所述第二图层、以及所述第三图层叠加以产生所述叠加后的影像,从而生成所述训练样本。
15.根据权利要求13所述的方法,其特征在于,所述方法还包括:
从所述影像特征库中选取一个影像特征或多个影像特征的组合作为整体特征;
将所述整体特征应用于所述叠加后的影像。
16.根据权利要求13所述的方法,其特征在于,所述样本内容库包括单据上所记载的以下各项中的一个或多个:单位的名称、单位的图形化标识、条目的名称、金额的货币种类、金额的数值、单据的识别码、以及单据的图形化标识。
17.根据权利要求13所述的方法,其特征在于,所述主体特征包括以下各项中的一个或多个的组合:字体、模糊、墨色、缺墨、溢墨、墨迹不匀、拉伸、以及挤缩。
18.根据权利要求13所述的方法,其特征在于,所述背景特征包括以下各项中的一个或多个的组合:图形、文字、颜色、底纹、水印、明暗、光线、污渍、腐蚀、磨损、破损、以及打孔。
19.根据权利要求14所述的方法,其特征在于,所述前景特征包括以下各项中的一个或多个的组合:图形、文字、污渍、腐蚀、磨损、破损、以及打孔。
20.根据权利要求15所述的方法,其特征在于,所述整体特征包括以下各项中的一个或多个的组合:光线、倾斜、折痕、褶皱、扭曲、腐蚀、磨损、破损、以及打孔。
21.一种生成训练样本的***,所述训练样本用于训练识别影像中的内容的模型,所述***包括:
一个或多个计算装置,所述一个或多个计算装置被配置为:
获取第一样本的影像特征,其中所述第一样本的影像特征包括主体特征和背景特征;
将所述主体特征应用于第二样本中的内容以建立第一图层;
基于所述背景特征建立第二图层;以及
将所述第一图层和所述第二图层相叠加以产生叠加后的影像,从而生成所述训练样本,其中所述第一图层位于所述第二图层之上。
22.一种生成训练样本的***,所述训练样本用于训练识别影像中的内容的模型,所述***包括:
一个或多个计算装置,所述一个或多个计算装置被配置为:
从影像特征库中选取一个影像特征或多个影像特征的组合作为主体特征,并且选取一个影像特征或多个影像特征的组合作为背景特征;
从样本内容库中选取一个样本内容或多个样本内容的组合作为样本内容;
将所述主体特征应用于所述样本内容以建立第一图层;
基于所述背景特征建立第二图层;以及
将所述第一图层和所述第二图层相叠加以产生叠加后的影像,从而生成所述训练样本。
23.一种生成训练样本的***,所述训练样本用于训练识别影像中的内容的模型,所述***包括:
一个或多个处理器;以及
一个或多个存储器,所述一个或多个存储器被配置为存储一系列计算机可执行的指令以及与所述一系列计算机可执行的指令相关联的计算机可访问的数据,
其中,当所述一系列计算机可执行的指令被所述一个或多个处理器执行时,使得所述一个或多个处理器进行如权利要求1-20中任一项所述的方法。
24.一种非临时性计算机可读存储介质,其特征在于,所述非临时性计算机可读存储介质上存储有一系列计算机可执行的指令,当所述一系列计算机可执行的指令被一个或多个计算装置执行时,使得所述一个或多个计算装置进行如权利要求1-20中任一项所述的方法。
CN201811199397.6A 2018-10-16 2018-10-16 生成训练样本的方法、***及存储介质 Active CN109344904B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811199397.6A CN109344904B (zh) 2018-10-16 2018-10-16 生成训练样本的方法、***及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811199397.6A CN109344904B (zh) 2018-10-16 2018-10-16 生成训练样本的方法、***及存储介质

Publications (2)

Publication Number Publication Date
CN109344904A CN109344904A (zh) 2019-02-15
CN109344904B true CN109344904B (zh) 2020-10-30

Family

ID=65308757

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811199397.6A Active CN109344904B (zh) 2018-10-16 2018-10-16 生成训练样本的方法、***及存储介质

Country Status (1)

Country Link
CN (1) CN109344904B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136225B (zh) * 2019-03-29 2023-05-30 北京旷视科技有限公司 生成书面印刷数据的样本的方法、装置及计算机存储介质
CN110503100B (zh) * 2019-08-16 2022-05-03 湖南星汉数智科技有限公司 一种医疗单据识别方法、装置、计算机装置及计算机可读存储介质
TWI708190B (zh) 2019-11-15 2020-10-21 財團法人工業技術研究院 圖像辨識方法、物體辨識模型的訓練系統與物體辨識模型的訓練方法
CN111179379A (zh) * 2019-12-26 2020-05-19 湖南星汉数智科技有限公司 一种通用动车票数据集生成方法、装置、计算机装置及计算机可读存储介质
CN113468906B (zh) * 2021-07-12 2024-03-26 深圳思谋信息科技有限公司 图形码提取模型构建方法、识别方法、装置、设备和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101321240A (zh) * 2008-06-25 2008-12-10 华为技术有限公司 多图层叠加的方法及其装置
CN103679188A (zh) * 2012-09-12 2014-03-26 富士通株式会社 图像分类器生成方法和装置及图像分类方法和装置
CN106599892A (zh) * 2016-12-14 2017-04-26 四川长虹电器股份有限公司 基于深度学习的电视台标识别***
CN107729926A (zh) * 2017-09-28 2018-02-23 西北大学 一种基于高维空间变换的数据扩增方法、机器识别***
CN108564035A (zh) * 2018-04-13 2018-09-21 杭州睿琪软件有限公司 识别单据上记载的信息的方法及***

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080024469A1 (en) * 2006-07-31 2008-01-31 Niranjan Damera-Venkata Generating sub-frames for projection based on map values generated from at least one training image
CN102521599A (zh) * 2011-09-30 2012-06-27 中国科学院计算技术研究所 一种基于集成学习的模式训练和识别方法
CN102663786B (zh) * 2012-03-30 2015-02-11 惠州Tcl移动通信有限公司 一种图层叠加方法及采用该图层叠加方法的移动终端
CN103761503A (zh) * 2013-12-28 2014-04-30 辽宁师范大学 用于相关反馈图像检索的自适应训练样本选取方法
CN105069470A (zh) * 2015-07-29 2015-11-18 腾讯科技(深圳)有限公司 分类模型训练方法及装置
CN106096584A (zh) * 2016-06-29 2016-11-09 深圳市格视智能科技有限公司 可拓展的基于深度卷积神经网络的间隔棒识别方法
CN106815596A (zh) * 2016-12-08 2017-06-09 ***股份有限公司 一种图像分类器建立方法及装置
CN108805185B (zh) * 2018-05-29 2023-06-30 腾讯科技(深圳)有限公司 人脸识别方法、装置、存储介质及计算机设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101321240A (zh) * 2008-06-25 2008-12-10 华为技术有限公司 多图层叠加的方法及其装置
CN103679188A (zh) * 2012-09-12 2014-03-26 富士通株式会社 图像分类器生成方法和装置及图像分类方法和装置
CN106599892A (zh) * 2016-12-14 2017-04-26 四川长虹电器股份有限公司 基于深度学习的电视台标识别***
CN107729926A (zh) * 2017-09-28 2018-02-23 西北大学 一种基于高维空间变换的数据扩增方法、机器识别***
CN108564035A (zh) * 2018-04-13 2018-09-21 杭州睿琪软件有限公司 识别单据上记载的信息的方法及***

Also Published As

Publication number Publication date
CN109344904A (zh) 2019-02-15

Similar Documents

Publication Publication Date Title
CN109344904B (zh) 生成训练样本的方法、***及存储介质
CN108564035B (zh) 识别单据上记载的信息的方法及***
US10423827B1 (en) Image text recognition
EP3712812A1 (en) Recognizing typewritten and handwritten characters using end-to-end deep learning
US10896357B1 (en) Automatic key/value pair extraction from document images using deep learning
CN111461122B (zh) 一种证件信息检测与提取方法
US10528807B2 (en) System and method for processing and identifying content in form documents
US10769360B1 (en) Apparatus and method for processing an electronic document to derive a first electronic document with electronic-sign items and a second electronic document with wet-sign items
CN112464781A (zh) 基于图神经网络的文档图像关键信息提取及匹配方法
CN110738119B (zh) 一种票据识别方法、装置、设备及可读介质
CN113011349A (zh) 一种票据的要素识别方法、装置及存储介质
JP6795195B2 (ja) 文字種推定システム、文字種推定方法、および文字種推定プログラム
Jain et al. Passive classification of source printer using text-line-level geometric distortion signatures from scanned images of printed documents
CN112241727A (zh) 一种多票识别方法、***及可读存储介质
CN104951781A (zh) 字符辨识装置以及识别函数生成方法
CN112395995A (zh) 一种根据移动财务票据自动填单及审核的方法及***
Micenková et al. Stamp verification for automated document authentication
US10586133B2 (en) System and method for processing character images and transforming font within a document
CN114550189A (zh) 票据识别方法、装置、设备、计算机存储介质和程序产品
CN112508000B (zh) 一种用于ocr图像识别模型训练数据生成的方法及设备
Liang et al. Logical labeling of document images using layout graph matching with adaptive learning
US20240144711A1 (en) Reliable determination of field values in documents with removal of static field elements
Magotra et al. A Comparative analysis for identification and classification of text segmentation challenges in Takri Script
JP5432089B2 (ja) 印鑑登録装置
CN112101356A (zh) 一种图片中特定文本的定位方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211220

Address after: 310053 room d3201, 3rd floor, building 1 (North), No. 368, Liuhe Road, Binjiang District, Hangzhou, Zhejiang

Patentee after: Hangzhou Ruizhen Technology Co.,Ltd.

Address before: 310053 No. six, No. 368, Binjiang District Road, Zhejiang, Hangzhou

Patentee before: HANGZHOU GLORITY SOFTWARE Ltd.

TR01 Transfer of patent right