CN112183296A - 模拟票据图像生成、票据图像识别方法和装置 - Google Patents

Abstract

本申请涉及一种模拟票据图像生成方法、装置、计算机设备和存储介质。所述方法包括：获取票据图像：确定所述票据图像中的待替换掉文本；根据所述待替换文本的语义概念，在预建立的语料数据库中获取目标替换文本；将所述票据图像中的所述待替换掉文本替换为所述目标替换文本，得到模拟票据图像。采用本方法能够降低票据识别模型的训练成本。

Description

模拟票据图像生成、票据图像识别方法和装置

技术领域

本申请涉及计算机技术领域，特别是涉及一种模拟票据图像生成、票据图像识别方法、装置、计算机设备和存储介质。

背景技术

票据识别是金融行业非常迫切的需求。目前票据识别训练数据通常采用从众包平台分发下来的标注数据。由于金融票据保密程度非常高往往需要切片脱敏分发，但票据识别模型的训练往往又需要内容完整单据，这使得票据识别模型的训练数据获取难度高，也提高了票据识别模型的训练成本。

因此，现有技术中票据识别模型的训练成本较高。

发明内容

基于此，有必要针对上述技术问题，提供一种能够降低票据识别模型的训练成本的模拟票据图像生成、票据图像识别方法、装置、计算机设备和存储介质。

本发明实施例提出一种模拟票据图像生成方法，包括：

获取票据图像：

确定所述票据图像中的待替换掉文本；

根据所述待替换文本的语义概念，在预建立的语料数据库中获取目标替换文本；

将所述票据图像中的所述待替换掉文本替换为所述目标替换文本，得到模拟票据图像。

在其中一个实施例中，根据所述待替换文本的语义概念，在预建立的语料数据库中抽取目标替换文本，包括：

根据所述待替换文本的语义概念在所述语料数据库中获取与所述语义概念相同或相近的多个候选替换文本；

从所述多个候选替换文本中，随机抽取其中一个所述候选替换文本，作为所述目标替换文本。

在其中一个实施例中，所述将所述票据图像中的所述待替换掉文本替换为所述目标替换文本，得到模拟票据图像，包括：

对所述票据图像中的所述待替换掉文本进行抹除处理，得到票据模板图像；

获取所述票据模板图像对应的区域标注信息；所述区域标注信息为对所述票据模板图像的各个内容区域对应的语义概念进行预先标注得到的信息；

根据所述区域标注信息，在所述票据模板图像的各个内容区域中确定文字填充区域；所述文字填充区域所标注的语义概念与所述目标替换文本的语义概念相同；

将所述目标替换文本，添加到所述文字填充区域中，得到所述模拟票据图像。

在其中一个实施例中，所述将所述目标替换文本，添加到所述文字填充区域中，得到所述模拟票据图像，包括：

将所述目标替换文本，添加到所述文字填充区域中，得到内容变更后图像；

对所述内容变更后图像进行仿真处理，得到所述模拟票据图像。

在其中一个实施例中，所述将所述目标替换文本，添加到所述文字填充区域中，得到内容变更后图像，包括：

将所述目标替换文本添加至所述文字填充区域中，得到初始变更后图像；

对所述初始变更后图像中的文字边缘像素点进行像素填充处理，得到处理后图像，作为所述内容变更后图像，所述处理后图像中的文字边缘像素点与周围像素点之间的外观相似度符合预设条件；所述周围像素点与所述文字边缘像素点之间的像素距离小于预设的距离阈值。

在其中一个实施例中，所述对所述内容变更后图像进行仿真处理，得到所述模拟票据图像，包括：

随机生成所述内容变更后图像的噪声添加概率；

当所述噪声添加概率大于预设的概率阈值时，为所述内容变更后图像添加图像噪声，得到增噪后图像；

将所述增噪后图像，作为所述模拟票据图像。

在其中一个实施例中，所述对所述内容变更后图像进行仿真处理，得到所述模拟票据图像，包括：

获取预建立的票据背景数据库；所述票据背景数据库包括多张候选票据背景图像；

在所述多张候选票据背景图像中，随机抽取其中一张所述候选票据背景图像，作为目标票据背景图像；

将所述内容变更后图像与所述票据背景图像进行融合，得到融合后图像；其中，所述内容变更后图像为所述融合后图像中的前景；

将所述融合后图像，作为所述模拟票据图像。

在其中一个实施例中，所述对所述内容变更后图像进行仿真处理，得到所述模拟票据图像，包括：

对所述内容变更后图像进行图像畸变处理，得到畸变后图像；

将所述畸变后图像，作为所述模拟票据图像。

本发明实施例还提出一种票据图像识别方法，包括：

获取待识别票据图像；

将所述待识别票据图像输入至训练后的票据识别模型，得到针对所述待识别票据图像的文字识别结果；所述训练后的票据识别模型为采用模拟票据图像对初始票据识别模型进行训练得到的；所述模拟票据图像为根据上述中任一项所述的模拟票据图像生成方法得到的。

本发明实施例还提出一种模拟票据图像生成装置，所述装置包括：

获取模块，用于获取票据图像：

确定模块，用于确定所述票据图像中的待替换掉文本；

抽取模块，用于根据所述待替换文本的语义概念，在预建立的语料数据库中获取目标替换文本；

替换模块，用于将所述票据图像中的所述待替换掉文本替换为所述目标替换文本，得到模拟票据图像。

本发明实施例还提出一种票据图像识别装置，所述装置包括：

票据获取模块，用于获取待识别票据图像；

输入模块，用于将所述待识别票据图像输入至训练后的票据识别模型，得到针对所述待识别票据图像的文字识别结果；所述训练后的票据识别模型为采用模拟票据图像对初始票据识别模型进行训练得到的；所述模拟票据图像为根据上述的模拟票据图像生成装置得到的。

本发明实施例还提出一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法的步骤。

本发明实施例还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。

本发明实施例提出的模拟票据图像生成、票据图像识别方法、装置、计算机设备和存储介质，通过获取票据图像，并确定票据图像中的待替换掉文本，并在预建立的语料数据库中抽取与待替换掉文本在票据中具有相同的语义概念的目标替换文本；然后，在票据图像中，将待替换掉文本替换为目标替换文本，得到用于对票据识别模型进行训练的模拟票据图像，使得训练后的票据识别模型用于对输入的票据图像进行文本检测；如此，可以在票据图像的基础上，生成仿真程度高的且内容完整的用于对票据识别模型进行训练的模拟票据图像，有效降低了票据识别模型的训练数据获取难度，降低了票据识别模型的训练成本。

附图说明

图1为一个实施例中一种模拟票据图像生成方法的应用环境图；

图2为一个实施例中一种模拟票据图像生成方法的流程示意图；

图3为另一个实施例中一种模拟票据图像生成方法的流程示意图；

图4为一个实施例中一种票据图像识别方法的流程示意图；

图5为一个实施例中一种模拟票据图像生成装置的结构框图；

图6为一个实施例中一种票据图像识别装置的结构框图；

图7为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的一种模拟票据图像生成方法，可以应用于如图1所示的应用环境中。其中，计算机设备110获取票据图像：然后，计算机设备110确定所述票据图像中的待替换掉文本；然后，计算机设备110根据所述待替换文本的语义概念，最后，计算机设备110在预建立的语料数据库中获取目标替换文本；将所述票据图像中的所述待替换掉文本替换为所述目标替换文本，得到模拟票据图像。实际应用中，计算机设备110可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，也可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种模拟票据图像生成方法，以该方法应用于图1中的计算机设备为例进行说明，包括以下步骤：

步骤S210，获取票据图像。

实际应用中，票据图像可以是对各种***、消费凭证、支票等各种真实金融票据进行图像采集后得到的图像。实际应用中，票据图像也可以命名为真实票据图像。

具体实现中，在计算机设备需要获取票据识别模型的训练数据之前，计算机设备可以获取票据图像。具体来说，用户可以将各种***、消费凭证、支票等各种真实金融票据进行图像采集后得到的图像即票据图像上传至计算机设备以供计算机设备进行接收，进而使计算机设备获取票据图像。

步骤S220，确定票据图像中的待替换掉文本。

其中，待替换掉文本可以是指在票据图像中需要进行替换的文本。

具体实现中，当计算机设备获取到票据图像后，计算机设备确定票据图像中的待替换掉文本。

具体来说，计算机设备可以获取票据图像对应的区域标注数据。其中，该区域标注数据标注有票据图像中各个内容可变更区域。其中，该内容可变更区域中的文本则为待替换掉文本。

实际应用中，计算机设备可以获取票据图像对应的区域标注数据，根据该区域标注数据确定票据图像中各个内容可变更区域。最后，计算机设备将各个内容可变更区域中的文本，作为待替换掉文本。

步骤S230，根据待替换文本的语义概念，在预建立的语料数据库中获取目标替换文本。

其中，语义概念可以是指文本在票据中的语义对应的概念。例如，已知文本A为“X市某有限公司”、文本B为“Y市某有限公司”，则文本A和文本B在票据中的语义概念为公司名称。

具体实现中，票据图像对应的区域标注数据还记录有票据图像中各个内容可变更区域中的文本(即待替换掉文本)对应的语义概念。计算机设备在确定票据图像中的待替换掉文本后，计算机设备则根据票据图像对应的区域标注数据，获取待替换文本的语义概念。

当然，计算机设备也可以将待替换文本输入至预训练的神经网络(例如，一种训练好的语义概念识别模型)，通过该预训练的神经网络，识别出该待替换文本的语义概念。

然后，计算机设备则在预建立的语料数据库中，随机抽取在票据中与待替换掉文本具有相同或相似的语义概念的目标替换文本。

实际应用中，语料数据库可以是基于对预先采集到的大量真实票据携带的文本信息建立得到的。例如，针对“公司名称”这一语义概念，该语料数据库记录有与语义概念“公司名称”具有对应关系的且基于大量真实票据携带的文本信息确定的多个公司名称信息。

再例如，针对“商品名称”这一语义概念，该语料数据库记录有与语义概念“商品名称”具有对应关系的且基于大量真实票据携带的文本信息确定的多个商品名称信息。

步骤S240，将票据图像中的待替换掉文本替换为目标替换文本，得到模拟票据图像。

其中，模拟票据图像用于对票据识别模型进行训练。

其中，训练后的票据识别模型用于对输入的票据图像进行文本检测。

具体实现中，当计算机设备确定目标替换文本后，计算机设备则在票据图像中，将待替换掉文本替换为目标替换文本，得到模拟票据图像。

具体来说，计算机设备可以在票据图像中将待替换掉文本进行抹除处理，得到抹除处理后图像；其中，抹除处理后图像包括文字填充区域；该文字填充区域为对待替换掉文本所在的图像区域进行抹除处理后得到的区域；然后，计算机设备再将目标替换文本，添加到该文字填充区域中，得到模拟票据图像。

实际应用中，可以基于模拟票据图像生成用于对票据识别模型进行训练的训练样本。其中，该训练样本包括两个部分，包括：模拟票据图像以及该模拟票据图像对应的label数据即标注数据。

其中，当票据识别模型训练目标是训练文本区域检测时，则标注数据可以是每个文字区域的矩形坐标。当票据识别模型训练目标是训练文本内容检测时，则标注数据可以是每个文字区域的文字内容。

上述模拟票据图像生成方法中，通过获取票据图像，并确定票据图像中的待替换掉文本，并在预建立的语料数据库中抽取与待替换掉文本在票据中具有相同的语义概念的目标替换文本；然后，在票据图像中，将待替换掉文本替换为目标替换文本，得到用于对票据识别模型进行训练的模拟票据图像，使得训练后的票据识别模型用于对输入的票据图像进行文本检测；如此，可以在票据图像的基础上，生成仿真程度高的且内容完整的用于对票据识别模型进行训练的模拟票据图像，有效降低了票据识别模型的训练数据获取难度，也降低了票据识别模型的训练成本。

在另一个实施例中，将票据图像中的待替换掉文本替换为目标替换文本，得到模拟票据图像，包括：对票据图像中的待替换掉文本进行抹除处理，得到票据模板图像；获取票据模板图像对应的区域标注信息；根据区域标注信息，在票据模板图像的各个内容区域中确定文字填充区域；将目标替换文本，添加到文字填充区域中，得到模拟票据图像。

其中，区域标注信息为对票据模板图像的各个内容区域对应的语义概念进行预先标注得到的信息。

其中，文字填充区域所标注的语义概念与目标替换文本的语义概念相同。

实际应用中，不同类型、不同位置的内容区域具有对应的区域标注信息。

具体实现中，计算机设备在将票据图像中的待替换掉文本替换为目标替换文本，得到模拟票据图像的过程中，具体包括：计算机设备对票据图像中的待替换掉文本进行抹除处理，得到票据模板图像；然后，计算机设备获取票据模板图像对应的区域标注信息。然后，计算机设备基于该区域标注信息，确定票据图像中包括有待替换掉文本的文字填充区域。该文字填充区域为对待替换掉文本所在的图像区域进行抹除处理后得到的区域。即文字填充区域所标注的语义概念与目标替换文本的语义概念相同。

最后，计算机设备将目标替换文本，添加到文字填充区域中，得到模拟票据图像。

本实施例的技术方案，通过获取票据图像对应的区域标注信息；并根据区域标注信息，快速地确定票据图像中包括有需要添加目标替换文字的文字填充区域，进而可以实现快速地将票据图像中的待替换掉文本替换为目标替换文本，以得到模拟票据图像。

在另一个实施例中，在预建立的语料数据库中抽取目标替换文本，包括：根据待替换文本的语义概念在语料数据库中获取与语义概念相同或相近的多个候选替换文本；从多个候选替换文本中，随机抽取其中一个候选替换文本，作为目标替换文本。

具体实现中，计算机设备在预建立的语料数据库中抽取目标替换文本的过程中，具体包括：计算机设备获取与文字填充区域对应的语义概念信息。然后，基于该语义概念信息，在语料数据库中查询在票据中与待替换掉文本具有相同或相近的语义概念的多个候选替换文本。然后，计算机设备再从多个候选替换文本中，随机抽取其中一个候选替换文本，作为目标替换文本。

本实施例的技术方案，可以准确地在预建立的语料数据库中抽取出在票据中与待替换掉文本具有相同的语义概念的目标替换文本，便于后续对待替换掉文本进行替换。

在另一个实施例中，将目标替换文本，添加到文字填充区域中，得到模拟票据图像，包括：将目标替换文本，添加到文字填充区域中，得到内容变更后图像；对内容变更后图像进行仿真处理，得到模拟票据图像。

具体实现中，计算机设备在将目标替换文本，添加到文字填充区域中，得到模拟票据图像的过程中，具体包括：计算机设备将目标替换文本添加到文字填充区域中，得到内容变更后图像。具体来说，计算机设备可以随机将目标替换文本添加至文字填充区域中的任意位置中。最后，计算机设备通过为该内容变更后图像随机添加图像噪声、添加图片背景、扭曲畸变处理等方式，对内容变更后图像进行仿真处理，得到模拟票据图像。

本实施例的技术方案，通过对基于在票据图像对应的文字填充区域中，将待替换掉文本进行擦除处理，得到擦除后图像；将目标替换文本添加至在擦除后图像对应的文字填充区域中，得到内容变更后图像；对内容变更后图像进行仿真处理，使得模拟票据图像具有高的仿真程度，进而使基于该模拟票据图像训练得到的票据识别模型可以更加准确地生成该待识别票据图像对应的文字识别结果。

在另一个实施例中，将目标替换文本，添加到文字填充区域中，得到内容变更后图像，包括：将目标替换文本添加至文字填充区域中，得到初始变更后图像；对初始变更后图像中的文字边缘像素点进行像素填充处理，得到处理后图像，作为内容变更后图像。

其中，处理后图像中的文字边缘像素点与周围像素点之间的外观相似度符合预设条件。

其中，文字边缘像素点可以是指位于文字像素点边缘的像素点。

其中，周围像素点与文字边缘像素点之间的像素距离小于预设的距离阈值。

具体实现中，计算机设备在将目标替换文本添加至在擦除后图像对应的文字填充区域中，得到内容变更后图像的过程中，具体包括：计算机设备可以先将目标替换文本添加至在擦除后图像对应的文字填充区域中，得到初始变更后图像。然后，计算机设备在对初始变更后图像中的文字边缘像素点以邻域填充的方式进行像素填充处理，得到处理后图像。

具体来说，计算机设备可以在初始变更后图像中确定文字边缘像素点，作为待填充像素点。然后，计算机设备在图像矩阵中通过循环查找以该待填充像素点为中心的N×N个点。实际应用中，N可以等于5。然后，计算机设备查找到的各个像素点中剔除颜色值和文字颜色值相似的(即在指定颜色阈值范围内的像素点)；然后，在剩余的各个像素点中，获取标准差最小的区域，并然后获取其加权平均值，作为该待填充像素点的像素值。

本实施例的技术方案，通过将目标替换文本添加至在擦除后图像对应的文字填充区域中，得到初始变更后图像，并对初始变更后图像中的文字边缘像素点进行像素填充处理，得到处理后图像，并作为内容变更后图像，使得内容变更后图像中的目标替换文本更加接近真实场景下拍摄到的票据图像中的文字，提高了模拟票据图像的仿真程度，进而使基于该模拟票据图像训练得到的票据识别模型可以更加准确地生成该待识别票据图像对应的文字识别结果。

在另一个实施例中，对内容变更后图像进行仿真处理，得到模拟票据图像，包括：随机生成内容变更后图像的噪声添加概率；当噪声添加概率大于预设的概率阈值时，为内容变更后图像添加图像噪声，得到增噪后图像；将增噪后图像，作为模拟票据图像。

具体实现中，计算机设备在对内容变更后图像进行仿真处理，得到模拟票据图像的过程中，具体包括：计算机设备在得到内容变更后图像后，计算机设备可以随机生成与该内容变更后图像对应的噪声添加概率。然后，计算机设备通过该噪声添加概率判断是否需要为本次生成的内容变更后图像添加噪音。当计算机设备判断该噪声添加概率大于预设的概率阈值时，计算机设备则为内容变更后图像添加图像噪声，得到增噪后图像，作为模拟票据图像。

具体来说，计算机设备在为内容变更后图像添加图像噪声时，计算机设备可以在随机从噪音库中获取待添加噪声。其中，噪音库包括常规噪音和自定义噪音。其中，常规噪音包括高斯滤波、泊松滤波、椒盐滤波、轮廓滤波、深度平滑滤波、锐化滤波、自定义卷积核滤波、给定尺寸的等级滤波。

本实施例的技术方案，在对内容变更后图像进行仿真处理，得到模拟票据图像的过程中，通过随机生成内容变更后图像的噪声添加概率，并为内容变更后图像添加图像噪声，得到增噪后图像，作为模拟票据图像，可以使得到的模拟票据图像更加接近真实场景下拍摄到的票据图像，进而使基于该模拟票据图像训练得到的票据识别模型可以更加准确地生成该待识别票据图像对应的文字识别结果。

在另一个实施例中，对内容变更后图像进行仿真处理，得到模拟票据图像，包括：获取预建立的票据背景数据库；票据背景数据库包括多张候选票据背景图像；在多张候选票据背景图像中，随机抽取其中一张候选票据背景图像，作为目标票据背景图像；将内容变更后图像与票据背景图像进行融合，得到融合后图像；其中，内容变更后图像为融合后图像中的前景；将融合后图像，作为模拟票据图像。

其中，票据背景数据库可以是指储存有多张候选票据背景图像的数据库。

实际应用中，候选票据背景图像可以通过在多张具有显著特征的单据图像中截取背景部分而得到的图像。当然，票据背景数据库也可以命名为自定义背景库、单据背景库等。

具体实现中，计算机设备在对内容变更后图像进行仿真处理，得到模拟票据图像的过程中，具体包括：计算机设备在得到内容变更后图像后，计算机设备可以在预建立的票据背景数据库中，随机抽取一张候选票据背景图像，作为票据背景图像。然后，计算机设备再将内容变更后图像与票据背景图像进行融合，得到融合后图像。具体来说，计算机设备在进行图像处理的过程中，可以将内容变更后图像叠加在票据背景图像，得到融合后图像，作为模拟票据图像。以使内容变更后图像为融合后图像中的前景。

本实施例的技术方案，在对内容变更后图像进行仿真处理，得到模拟票据图像的过程中，通过在预建立的票据背景数据库中，查询票据背景图像：将内容变更后图像与票据背景图像进行融合，得到融合后图像；其中，内容变更后图像为融合后图像中的前景；将融合后图像，作为模拟票据图像；如此，可以使得到的模拟票据图像更加接近真实场景下拍摄到的票据图像，进而使基于该模拟票据图像训练得到的票据识别模型可以更加准确地生成该待识别票据图像对应的文字识别结果。

在另一个实施例中，对内容变更后图像进行仿真处理，得到模拟票据图像，包括：对内容变更后图像进行图像畸变处理，得到畸变后图像；将畸变后图像，作为模拟票据图像。

具体实现中，计算机设备在对内容变更后图像进行仿真处理，得到模拟票据图像的过程中，具体包括：计算机设备对内容变更后图像进行图像畸变处理，得到畸变后图像。具体来说，计算机设备可以在阈值范围内对内容变更后图像进行随机方向旋转、模拟倾斜等操作，并在阈值范围内对内容变更后图像的内容随机进行了扭曲畸变(其中，扭曲畸变可以采用各种矩阵变换算法，比如放射变换、透视变换等)，进而实现模仿图片卷曲变形。当然，还有基于深度神经网络的图像畸变算法，如，通过预训练的图像畸变模型，对内容变更后图像进行图像畸变处理，以得到畸变后图像。最后，计算机设备将畸变后图像，作为模拟票据图像。

本实施例的技术方案，在对内容变更后图像进行仿真处理，得到模拟票据图像的过程中，通过对内容变更后图像进行图像畸变处理，得到畸变后图像作为模拟票据图像，进而模拟出真实场景中票据卷曲变形的情况，使得到的模拟票据图像更加接近真实场景下拍摄到的票据图像，进而使基于该模拟票据图像训练得到的票据识别模型可以更加准确地生成该待识别票据图像对应的文字识别结果。

在另一个实施例中，如图3所示，提供了一种模拟票据图像生成方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：步骤S310，获取票据图像。步骤S320，确定所述票据图像中的待替换掉文本。步骤S330，根据所述待替换文本的语义概念在所述语料数据库中获取与所述语义概念相同或相近的多个候选替换文本。步骤S340，从所述多个候选替换文本中，随机抽取其中一个所述候选替换文本，作为目标替换文本。步骤S350，将所述票据图像中的所述待替换掉文本替换为所述目标替换文本，得到模拟票据图像；所述模拟票据图像用于对票据识别模型进行训练；训练后的票据识别模型用于对输入的票据图像进行文本检测。需要说明的是，上述步骤的具体限定可以参见上文对一种模拟票据图像生成方法的具体限定。

在一个实施例中，如图4所示，提供了一种票据图像识别方法，以该方法应用于图1中的计算机设备为例进行说明，包括以下步骤：

步骤S410，获取待识别票据图像。

具体实现中，当需要对待识别票据图像进行文本识别时，例如，票据文本内容识别、票据文本区域识别时，计算机设备获取待识别票据图像。

步骤S420，将待识别票据图像输入至训练后的票据识别模型，得到针对待识别票据图像的文字识别结果；训练后的票据识别模型为采用模拟票据图像对初始票据识别模型进行训练得到的；模拟票据图像为根据权利要求上述的模拟票据图像生成方法得到的。

具体实现中，当计算机设备获取到待识别票据图像后，计算机设备将待识别票据图像输入至训练后的票据识别模型。通过训练后的票据识别模型，确定针对待识别票据图像的文字识别结果。

其中，训练后的票据识别模型为采用模拟票据图像对初始票据识别模型进行训练得到的；模拟票据图像为根据权利要求上述的模拟票据图像生成方法得到的。

应该理解的是，虽然图2、图3和图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、图3和图4中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图5所示，提供了一种模拟票据图像生成装置，包括：

获取模块510，用于获取票据图像：

确定模块520，用于确定所述票据图像中的待替换掉文本；

抽取模块530，用于根据所述待替换文本的语义概念，在预建立的语料数据库中获取目标替换文本；

替换模块540，用于将所述票据图像中的所述待替换掉文本替换为所述目标替换文本，得到模拟票据图像。

在其中一个实施例中，所述抽取模块530，具体用于根据所述待替换文本的语义概念在所述语料数据库中获取与所述语义概念相同或相近的多个候选替换文本；从所述多个候选替换文本中，随机抽取其中一个所述候选替换文本，作为所述目标替换文本。

在其中一个实施例中，所述替换模块540，具体用于对所述票据图像中的所述待替换掉文本进行抹除处理，得到票据模板图像；获取所述票据模板图像对应的区域标注信息；所述区域标注信息为对所述票据模板图像的各个区域对应的语义概念进行预先标注得到的信息；根据所述区域标注信息，在所述票据模板图像的各个内容区域中确定文字填充区域；所述文字填充区域所标注的语义概念与所述目标替换文本的语义概念相同；将所述目标替换文本，添加到所述文字填充区域中，得到所述模拟票据图像。

在其中一个实施例中，所述替换模块540，具体用于将所述目标替换文本，添加到所述文字填充区域中，得到内容变更后图像；对所述内容变更后图像进行仿真处理，得到所述模拟票据图像。

在其中一个实施例中，所述替换模块540，具体用于将所述目标替换文本添加至所述文字填充区域中，得到初始变更后图像；对所述初始变更后图像中的文字边缘像素点进行像素填充处理，得到处理后图像，作为所述内容变更后图像，所述处理后图像中的文字边缘像素点与周围像素点之间的外观相似度符合预设条件；所述周围像素点与所述文字边缘像素点之间的像素距离小于预设的距离阈值。

在其中一个实施例中，所述替换模块540，具体用于随机生成所述内容变更后图像的噪声添加概率；当所述噪声添加概率大于预设的概率阈值时，为所述内容变更后图像添加图像噪声，得到增噪后图像；将所述增噪后图像，作为所述模拟票据图像。

在其中一个实施例中，所述替换模块540，具体用于获取预建立的票据背景数据库；所述票据背景数据库包括多张候选票据背景图像；在所述多张候选票据背景图像中，随机抽取其中一张所述候选票据背景图像，作为目标票据背景图像；将所述内容变更后图像与所述票据背景图像进行融合，得到融合后图像；其中，所述内容变更后图像为所述融合后图像中的前景；将所述融合后图像，作为所述模拟票据图像。

在其中一个实施例中，所述替换模块540，具体用于对所述内容变更后图像进行图像畸变处理，得到畸变后图像；将所述畸变后图像，作为所述模拟票据图像。

在一个实施例中，如图6所示，提供了一种票据图像识别装置，包括：

票据获取模块610，用于获取待识别票据图像；

输入模块620，用于将所述待识别票据图像输入至训练后的票据识别模型，得到针对所述待识别票据图像的文字识别结果；所述训练后的票据识别模型为采用模拟票据图像对初始票据识别模型进行训练得到的；所述模拟票据图像为根据上述的模拟票据图像生成装置得到的。

关于模拟票据图像生成、票据图像识别装置的具体限定可以参见上文中对于模拟票据图像生成、票据图像识别方法的限定，在此不再赘述。上述模拟票据图像生成、票据图像识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过***总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种模拟票据图像生成、票据图像识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述一种模拟票据图像生成、票据图像识别方法的步骤。此处一种模拟票据图像生成、票据图像识别方法的步骤可以是上述各个实施例的一种模拟票据图像生成、票据图像识别方法中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述一种模拟票据图像生成、票据图像识别方法的步骤。此处一种模拟票据图像生成、票据图像识别方法的步骤可以是上述各个实施例的一种模拟票据图像生成、票据图像识别方法中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种模拟票据图像生成方法，其特征在于，包括：

获取票据图像：

确定所述票据图像中的待替换掉文本；

根据所述待替换文本的语义概念，在预建立的语料数据库中获取目标替换文本；

将所述票据图像中的所述待替换掉文本替换为所述目标替换文本，得到模拟票据图像。

2.根据权利要求1所述的方法，其特征在于，根据所述待替换文本的语义概念，在预建立的语料数据库中抽取目标替换文本，包括：

根据所述待替换文本的语义概念在所述语料数据库中获取与所述语义概念相同或相近的多个候选替换文本；

从所述多个候选替换文本中，随机抽取其中一个所述候选替换文本，作为所述目标替换文本。

3.根据权利要求1所述的方法，其特征在于，所述将所述票据图像中的所述待替换掉文本替换为所述目标替换文本，得到模拟票据图像，包括：

对所述票据图像中的所述待替换掉文本进行抹除处理，得到票据模板图像；

获取所述票据模板图像对应的区域标注信息；所述区域标注信息为对所述票据模板图像的各个区域对应的语义概念进行预先标注得到的信息；

根据所述区域标注信息，在所述票据模板图像的各个内容区域中确定文字填充区域；所述文字填充区域所标注的语义概念与所述目标替换文本的语义概念相同；

将所述目标替换文本，添加到所述文字填充区域中，得到所述模拟票据图像。

4.根据权利要求3所述的方法，其特征在于，所述将所述目标替换文本，添加到所述文字填充区域中，得到所述模拟票据图像，包括：

将所述目标替换文本，添加到所述文字填充区域中，得到内容变更后图像；

对所述内容变更后图像进行仿真处理，得到所述模拟票据图像。

5.根据权利要求4所述的方法，其特征在于，所述将所述目标替换文本，添加到所述文字填充区域中，得到内容变更后图像，包括：

将所述目标替换文本添加至所述文字填充区域中，得到初始变更后图像；

对所述初始变更后图像中的文字边缘像素点进行像素填充处理，得到处理后图像，作为所述内容变更后图像，所述处理后图像中的文字边缘像素点与周围像素点之间的外观相似度符合预设条件；所述周围像素点与所述文字边缘像素点之间的像素距离小于预设的距离阈值。

6.根据权利要求4所述的方法，其特征在于，所述对所述内容变更后图像进行仿真处理，得到所述模拟票据图像，包括：

随机生成所述内容变更后图像的噪声添加概率；

当所述噪声添加概率大于预设的概率阈值时，为所述内容变更后图像添加图像噪声，得到增噪后图像；

将所述增噪后图像，作为所述模拟票据图像。

7.根据权利要求4所述的方法，其特征在于，所述对所述内容变更后图像进行仿真处理，得到所述模拟票据图像，包括：

获取预建立的票据背景数据库；所述票据背景数据库包括多张候选票据背景图像；

在所述多张候选票据背景图像中，随机抽取其中一张所述候选票据背景图像，作为目标票据背景图像；

将所述内容变更后图像与所述票据背景图像进行融合，得到融合后图像；其中，所述内容变更后图像为所述融合后图像中的前景；

将所述融合后图像，作为所述模拟票据图像。

8.根据权利要求4所述的方法，其特征在于，所述对所述内容变更后图像进行仿真处理，得到所述模拟票据图像，包括：

对所述内容变更后图像进行图像畸变处理，得到畸变后图像；

将所述畸变后图像，作为所述模拟票据图像。

9.一种票据图像识别方法，其特征在于，包括：

获取待识别票据图像；

将所述待识别票据图像输入至训练后的票据识别模型，得到针对所述待识别票据图像的文字识别结果；所述训练后的票据识别模型为采用模拟票据图像对初始票据识别模型进行训练得到的；所述模拟票据图像为根据权利要求1至8中任一项所述的模拟票据图像生成方法得到的。

10.一种模拟票据图像生成装置，其特征在于，所述装置包括：

获取模块，用于获取票据图像：

确定模块，用于确定所述票据图像中的待替换掉文本；

抽取模块，用于根据所述待替换文本的语义概念，在预建立的语料数据库中获取目标替换文本；

替换模块，用于将所述票据图像中的所述待替换掉文本替换为所述目标替换文本，得到模拟票据图像。

11.一种票据图像识别装置，其特征在于，所述装置包括：

票据获取模块，用于获取待识别票据图像；

输入模块，用于将所述待识别票据图像输入至训练后的票据识别模型，得到针对所述待识别票据图像的文字识别结果；所述训练后的票据识别模型为采用模拟票据图像对初始票据识别模型进行训练得到的；所述模拟票据图像为根据权利要求1至8中任一项所述的模拟票据图像生成方法得到的。

12.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的方法的步骤。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。

Images