CN108549881A - 证件文字的识别方法和装置 - Google Patents

Abstract

本申请涉及一种证件文字的识别方法和装置，其中的方法包括：获取待识别证件图片；利用文字区域检测模型对待识别证件图片进行检测，得到待识别证件图片的文字区域；利用文字识别模型对待识别证件图片的文字区域进行识别，得到识别的文字；文字识别模型和文字区域检测模型是基于数据库中的训练样本预先训练得到的；当接收到用户确认识别的文字识别正确的指令时，将识别的文字作为输出结果；当接收到用户确认识别的文字识别错误的指令时，接收用户输入的正确文字，将正确文字作为输出结果，以及将待识别证件图片以正确文字为真实标记，添加到数据库的训练样本中，更新数据库；基于更新的数据库，对文字区域检测模型和文字识别模型进行重新训练。

Description

证件文字的识别方法和装置

技术领域

本申请涉及文字识别技术领域，尤其涉及一种证件文字的识别方法和装置。

背景技术

相关技术中，随着科技的进步和社会的发展，证件已成为人们生活中必不可少的一部分。在使用证件的过程中，一般需要对证件上的文字进行识别。目前，识别证件上文字的主要方式有以下两种：一种方式是由专门的工作人员对于证件上的文字进行人工识别，效率低下，且受工作人员自身状态的影响，正确率不稳定；另一种方式是通过光学字符识别(Optical Character Recognition，OCR)文字识别技术来对证件上的文字进行识别，OCR文字识别技术具体是通过证件图片来识别证件上的文字，一旦出现了对于某个文字的识别的错误，再次遇到识别该文字的情况时，对于该文字的识别还会出错。

发明内容

为至少在一定程度上克服相关技术中存在的问题，本申请提供一种证件文字的识别方法和装置。

根据本申请实施例的第一方面，提供一种证件文字的识别方法，包括：

获取待识别证件图片；

利用文字区域检测模型对所述待识别证件图片进行检测，得到所述待识别证件图片的文字区域；

利用文字识别模型对所述待识别证件图片的文字区域进行识别，得到识别的文字；所述文字识别模型和所述文字区域检测模型是基于数据库中的训练样本预先训练得到的；

当接收到用户确认所述识别的文字识别正确的指令时，将所述识别的文字作为输出结果；

当接收到用户确认所述识别的文字识别错误的指令时，接收用户输入的正确文字，将所述正确文字作为输出结果，以及将所述待识别证件图片以所述正确文字为真实标记，添加到所述数据库的训练样本中，更新所述数据库；

基于更新的所述数据库，对所述文字区域检测模型和所述文字识别模型进行重新训练。

可选的，所述利用文字识别模型对所述待识别证件图片的文字区域进行识别，得到识别的文字之前，所述方法还包括：

对所述文字区域进行灰度化处理。

可选的，所述获取待识别证件图片包括：

通过服务器端接收客户端上传的待识别证件图片。

可选的，所述利用文字区域检测模型对所述待识别证件图片进行检测之前，所述方法还包括：

对所述待识别证件图片进行去背景以及降噪处理；

对经过去背景以及降噪处理的所述待识别证件图片进行特征强化操作；

对经过特征强化操作的所述待识别证件图片，通过边界检测技术识别证件边界位置；

根据所述边界位置对所述待识别证件图片进行裁剪、拉伸，使得裁剪、拉伸后的所述待识别证件图片上只包括证件图样；

根据裁剪、拉伸后的所述待识别证件图片中的方向标识，判断是否需要旋转图片，以矫正图片方向。

可选的，所述数据库的训练样本中包括真实图片和仿真图片；

所述将所述待识别证件图片以所述正确文字为真实标记，添加到所述数据库的训练样本中，更新所述数据库，包括：

将所述待识别证件图片作为真实图片添加到所述数据库的训练样本中，所述待识别证件的真实标记为所述正确文字；

获取所述待识别证件图片的图片特征，根据所述图片特征批量生成所述待识别证件图片的仿真图片，所述待识别证件图片的仿真图片的真实标记为所述正确文字。

可选的，所述文字区域检测模型包括VGG16卷积神经网络，双向反馈神经网络和贝叶斯分类器；所述利用文字区域检测模型对所述待识别证件图片进行检测，得到所述待识别证件图片的文字区域，包括：

将所述待识别证件图片输入所述VGG16卷积神经网络，提取得到所述待识别证件图片的特征；

将所述待识别证件图片的特征输入双向反馈神经网络，删除所述待识别证件图片的特征中的错误特征，以提纯所述待识别证件图片的特征；

采用贝叶斯分类器对经过提纯的所述待识别证件图片的特征中的特征点进行分类，得到文字特征和非文字特征，截取所述待识别证件图片中与所述文字特征对应的区域，得到文字区域。

可选的，所述文字识别模型包括卷积神经网络和双向反馈神经网络；

所述利用文字识别模型对所述待识别证件图片的文字区域进行识别，得到识别的文字，包括：

将所述待识别证件图片的文字区域输入卷积神经网络，提取所述文字区域的图片特征；

将所述文字区域的图片特征输入双向反馈神经网络，提取文字特征；

将文字特征转化为文字。

根据本申请实施例的第二方面，提供一种证件文字的识别装置，包括：

获取模块，用于获取待识别证件图片；

文字区域检测模块，用于利用文字区域检测模型对所述待识别证件图片进行检测，得到所述待识别证件图片的文字区域；

文字识别模块，用于利用文字识别模型对所述待识别证件图片的文字区域进行识别，得到识别的文字；所述文字识别模型和所述文字区域检测模型是基于数据库中的训练样本预先训练得到的；

输出模块，用于当接收到用户确认所述识别的文字识别正确的指令时，将所述识别的文字作为输出结果，当接收到用户确认所述识别的文字识别错误的指令时，接收用户输入的正确文字，将所述正确文字作为输出结果；

数据库更新模块，用于当接收到用户确认所述识别的文字识别错误的指令时，接收用户输入的正确文字，将所述待识别证件图片以所述正确文字为真实标记，添加到所述数据库的训练样本中，更新所述数据库；

模型更新训练模块，用于基于更新的所述数据库，对所述文字区域检测模型和所述文字识别模型进行重新训练。

可选的，所述文字识别模块还用于：

在利用文字识别模型对所述待识别证件图片的文字区域进行识别，得到识别的文字之前，对所述文字区域进行灰度化处理。

可选的，所述获取模块，具体用于通过服务器端接收客户端上传的待识别证件图片。

可选的，所述文字区域检测模块还用于：所述利用文字区域检测模型对所述待识别证件图片进行检测之前，对所述待识别证件图片进行去背景以及降噪处理；

对经过去背景以及降噪处理的所述待识别证件图片进行特征强化操作；

对经过特征强化操作的所述待识别证件图片，通过边界检测技术识别证件边界位置；

根据所述边界位置对所述待识别证件图片进行裁剪、拉伸，使得裁剪、拉伸后的所述待识别证件图片上只包括证件图样；

根据裁剪、拉伸后的所述待识别证件图片中的方向标识，判断是否需要旋转图片，以矫正图片方向。

可选的，所述数据库的训练样本中包括真实图片和仿真图片；

所述数据库更新训练模块，具体用于：

将所述待识别证件图片作为真实图片添加到所述数据库的训练样本中，所述待识别证件的真实标记为所述正确文字；

获取所述待识别证件图片的图片特征，根据所述图片特征批量生成所述待识别证件图片的仿真图片，所述待识别证件图片的仿真图片的真实标记为所述正确文字。

可选的，所述文字区域检测模型包括VGG16卷积神经网络，双向反馈神经网络和贝叶斯分类器；所述文字区域检测模块，具体用于：

将所述待识别证件图片输入所述VGG16卷积神经网络，提取得到所述待识别证件图片的特征；

将所述待识别证件图片的特征输入双向反馈神经网络，删除所述待识别证件图片的特征中的错误特征，以提纯所述待识别证件图片的特征；

采用贝叶斯分类器对经过提纯的所述待识别证件图片的特征中的特征点进行分类，得到文字特征和非文字特征，截取所述待识别证件图片中与所述文字特征对应的区域，得到文字区域。

可选的，所述文字识别模型包括卷积神经网络和双向反馈神经网络；

所述文字识别模块，具体用于：

将所述待识别证件图片的文字区域输入卷积神经网络，提取所述文字区域的图片特征；

将所述文字区域的图片特征输入双向反馈神经网络，提取文字特征；

将文字特征转化为文字。

根据本申请实施例的第三方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由处理器执行时，使得处理器能够执行一种证件文字的识别方法，所述方法包括：

获取待识别证件图片；

利用文字区域检测模型对所述待识别证件图片进行检测，得到所述待识别证件图片的文字区域；

利用文字识别模型对所述待识别证件图片的文字区域进行识别，得到识别的文字；所述文字识别模型和所述文字区域检测模型是基于数据库中的训练样本预先训练得到的；

当接收到用户确认所述识别的文字识别正确的指令时，将所述识别的文字作为输出结果；

当接收到用户确认所述识别的文字识别错误的指令时，接收用户输入的正确文字，将所述正确文字作为输出结果，以及将所述待识别证件图片以所述正确文字为真实标记，添加到所述数据库的训练样本中，更新所述数据库；

基于更新的所述数据库，对所述文字区域检测模型和所述文字识别模型进行重新训练。

可选的，所述利用文字识别模型对所述待识别证件图片的文字区域进行识别，得到识别的文字之前，所述方法还包括：

对所述文字区域进行灰度化处理。

可选的，所述获取待识别证件图片包括：

通过服务器端接收客户端上传的待识别证件图片。

可选的，所述利用文字区域检测模型对所述待识别证件图片进行检测之前，所述方法还包括：

对所述待识别证件图片进行去背景以及降噪处理；

对经过去背景以及降噪处理的所述待识别证件图片进行特征强化操作；

对经过特征强化操作的所述待识别证件图片，通过边界检测技术识别证件边界位置；

根据所述边界位置对所述待识别证件图片进行裁剪、拉伸，使得裁剪、拉伸后的所述待识别证件图片上只包括证件图样；

根据裁剪、拉伸后的所述待识别证件图片中的方向标识，判断是否需要旋转图片，以矫正图片方向。

可选的，所述数据库的训练样本中包括真实图片和仿真图片；

所述将所述待识别证件图片以所述正确文字为真实标记，添加到所述数据库的训练样本中，更新所述数据库，包括：

将所述待识别证件图片作为真实图片添加到所述数据库的训练样本中，所述待识别证件的真实标记为所述正确文字；

获取所述待识别证件图片的图片特征，根据所述图片特征批量生成所述待识别证件图片的仿真图片，所述待识别证件图片的仿真图片的真实标记为所述正确文字。

可选的，所述文字区域检测模型包括VGG16卷积神经网络，双向反馈神经网络和贝叶斯分类器；所述利用文字区域检测模型对所述待识别证件图片进行检测，得到所述待识别证件图片的文字区域，包括：

将所述待识别证件图片输入所述VGG16卷积神经网络，提取得到所述待识别证件图片的特征；

将所述待识别证件图片的特征输入双向反馈神经网络，删除所述待识别证件图片的特征中的错误特征，以提纯所述待识别证件图片的特征；

采用贝叶斯分类器对经过提纯的所述待识别证件图片的特征中的特征点进行分类，得到文字特征和非文字特征，截取所述待识别证件图片中与所述文字特征对应的区域，得到文字区域。

可选的，所述文字识别模型包括卷积神经网络和双向反馈神经网络；

所述利用文字识别模型对所述待识别证件图片的文字区域进行识别，得到识别的文字，包括：

将所述待识别证件图片的文字区域输入卷积神经网络，提取所述文字区域的图片特征；

将所述文字区域的图片特征输入双向反馈神经网络，提取文字特征；将文字特征转化为文字。

根据本申请实施例的第四方面，提供一种证件文字的识别装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：

获取待识别证件图片；

利用文字区域检测模型对所述待识别证件图片进行检测，得到所述待识别证件图片的文字区域；

利用文字识别模型对所述待识别证件图片的文字区域进行识别，得到识别的文字；所述文字识别模型和所述文字区域检测模型是基于数据库中的训练样本预先训练得到的；

当接收到用户确认所述识别的文字识别正确的指令时，将所述识别的文字作为输出结果；

当接收到用户确认所述识别的文字识别错误的指令时，接收用户输入的正确文字，将所述正确文字作为输出结果，以及将所述待识别证件图片以所述正确文字为真实标记，添加到所述数据库的训练样本中，更新所述数据库；

基于更新的所述数据库，对所述文字区域检测模型和所述文字识别模型进行重新训练。

可选的，所述处理器还被配置为：所述利用文字识别模型对所述待识别证件图片的文字区域进行识别，得到识别的文字之前，对所述文字区域进行灰度化处理。

可选的，所述获取待识别证件图片时，所述处理器被配置为：

通过服务器端接收客户端上传的待识别证件图片。

可选的，所述处理器还被配置为：

所述利用文字区域检测模型对所述待识别证件图片进行检测之前，对所述待识别证件图片进行去背景以及降噪处理；

对经过去背景以及降噪处理的所述待识别证件图片进行特征强化操作；

对经过特征强化操作的所述待识别证件图片，通过边界检测技术识别证件边界位置；

根据所述边界位置对所述待识别证件图片进行裁剪、拉伸，使得裁剪、拉伸后的所述待识别证件图片上只包括证件图样；

根据裁剪、拉伸后的所述待识别证件图片中的方向标识，判断是否需要旋转图片，以矫正图片方向。

可选的，所述数据库的训练样本中包括真实图片和仿真图片；

所述将所述待识别证件图片以所述正确文字为真实标记，添加到所述数据库的训练样本中，更新所述数据库时，所述处理器具体被配置为：

将所述待识别证件图片作为真实图片添加到所述数据库的训练样本中，所述待识别证件的真实标记为所述正确文字；

获取所述待识别证件图片的图片特征，根据所述图片特征批量生成所述待识别证件图片的仿真图片，所述待识别证件图片的仿真图片的真实标记为所述正确文字。

可选的，所述文字区域检测模型包括VGG16卷积神经网络，双向反馈神经网络和贝叶斯分类器；所述利用文字区域检测模型对所述待识别证件图片进行检测，得到所述待识别证件图片的文字区域时，所述处理器具体被配置为：

将所述待识别证件图片输入所述VGG16卷积神经网络，提取得到所述待识别证件图片的特征；

将所述待识别证件图片的特征输入双向反馈神经网络，删除所述待识别证件图片的特征中的错误特征，以提纯所述待识别证件图片的特征；

采用贝叶斯分类器对经过提纯的所述待识别证件图片的特征中的特征点进行分类，得到文字特征和非文字特征，截取所述待识别证件图片中与所述文字特征对应的区域，得到文字区域。

可选的，所述文字识别模型包括卷积神经网络和双向反馈神经网络；

所述利用文字识别模型对所述待识别证件图片的文字区域进行识别，得到识别的文字时，所述处理器具体被配置为：

将所述待识别证件图片的文字区域输入卷积神经网络，提取所述文字区域的图片特征；

将所述文字区域的图片特征输入双向反馈神经网络，提取文字特征；

将文字特征转化为文字。

本申请的实施例提供的技术方案可以包括以下有益效果：

通过文字区域检测网络模型和文字检测网络模型对待识别证件图片进行检测，识别证件上的文字，与相关技术中通过工作人员对证件上的文字信息进行识别读取的方式相比，避免了识别读取文字信息时，工人状态对于识别的正确率的影响，识别的效率和正确率都具有较大的提高。当识别的文字不正确时，可以将待识别证件图片以正确文本为真实标记添加到数据库，更新数据库，并重新根据数据库内的信息进行文字区域检测网络模型训练和文字检测网络模型训练，如此，可以针对识别文本出现错误的情况改变数据库、文字区域检测网络模型和文字检测网络模型，使得再次遇到识别该文字的情况时，可以识别出正确的文本。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是本申请一个实施例提供的一种证件文字的识别方法的流程示意图。

图2是本申请一个实施例提供的一种证件文字的识别装置的结构示意图。

图3是本申请另一个实施例提供的一种证件文字的识别装置的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的证件文字的识别方法和装置的例子。

图1是本申请一个实施例提供的一种证件文字的识别方法的流程示意图。参见图1，本实施例的方法可以包括：

步骤110、获取待识别证件图片；

步骤120、利用文字区域检测模型对待识别证件图片进行检测，得到待识别证件图片的文字区域；

步骤130、利用文字识别模型对待识别证件图片的文字区域进行识别，得到识别的文字；文字识别模型和文字区域检测模型是基于数据库中的训练样本预先训练得到的；

步骤140、当接收到用户确认识别的文字识别正确的指令时，将识别的文字作为输出结果；

步骤150、当接收到用户确认识别的文字识别错误的指令时，接收用户输入的正确文字，将正确文字作为输出结果，以及将待识别证件图片以正确文字为真实标记，添加到数据库的训练样本中，更新数据库；

步骤160、基于更新的数据库，对文字区域检测模型和文字识别模型进行重新训练。

通过文字区域检测网络模型和文字检测网络模型对待识别证件图片进行检测，识别证件上的文字，与相关技术中通过工作人员对证件上的文字信息进行识别读取的方式相比，避免了识别读取文字信息时，工人状态对于识别的正确率的影响，识别的效率和正确率都具有较大的提高。当识别的文字不正确时，可以将待识别证件图片以正确文本为真实标记添加到数据库，更新数据库，并重新根据数据库内的信息进行文字区域检测网络模型训练和文字检测网络模型训练，如此，可以针对识别文本出现错误的情况改变数据库、文字区域检测网络模型和文字检测网络模型，使得再次遇到识别该文字的情况时，可以识别出正确的文本。

一般服务器端相较于客户端，计算速度更快，计算精度更高，因此，较佳地，本实施例的执行主体为服务器或者服务器端的功能模块。客户端可以只进行待识别证件图片的上传，相应的，上述步骤110的具体实现方式可以是：通过服务器端接收客户端上传的待识别证件图片。如此，降低了对于客户端的硬件的要求。

为了提高文字识别的效果，较佳地，上述步骤120利用文字区域检测模型对待识别证件图片进行检测之前，还需要对待识别证件图片进行预处理。具体的，预处理包括：对待识别证件图片进行去背景以及降噪处理；对经过去背景以及降噪处理的待识别证件图片进行特征强化操作；对经过特征强化操作的待识别证件图片，通过边界检测技术识别证件边界位置；根据边界位置对待识别证件图片进行裁剪、拉伸，使得裁剪、拉伸后的待识别证件图片上只包括证件图样；根据裁剪、拉伸后的待识别证件图片中的方向标识，判断是否需要旋转图片，以矫正图片方向。

其中，特征强化操作包括：二值化操作、腐蚀操作、膨胀操作等。

其中，方向标识可以为证件图样中的人物头像、特定图案等在内的可以指明证件方向的标识。

本实施例的预处理方案中，去背景以及降噪处理可以减少无关信息对于利用文字区域检测模型对待识别证件图片进行检测时的干扰；特征强化操作可以使得待识别证件图片的特征更为明显；对待识别证件图片进行裁剪使得只保留证件图样，可以有效的减少无关信息对于利用文字区域检测模型对待识别证件图片进行检测时的干扰；对待识别证件图片进行拉伸，具体的，可以将同一类证件图样拉伸为相同大小，排除了客户端上传的带识别证件图片大小不一而造成的干扰，提高对于大小不同的证件图样上的文字的识别精度。根据待识别证件图片中的方向标识矫正图片方向，可以排除客户端上传的带识别证件图片朝向不一致而造成的干扰提高对于带识别证件图片上的文字的识别精度。

上述文字区域检测模块的具体结构有多种。例如，上述文字区域检测模型包括视觉几何组(Visual Geometry Group，VGG)16卷积神经网络，双向反馈神经网络和贝叶斯分类器；基于此，上述步骤120利用文字区域检测模型对待识别证件图片进行检测，得到待识别证件图片的文字区域，具体实现方式可以是：将待识别证件图片输入VGG16卷积神经网络，提取得到待识别证件图片的特征；将待识别证件图片的特征输入双向反馈神经网络，删除待识别证件图片的特征中的错误特征，以提纯待识别证件图片的特征；采用贝叶斯分类器对经过提纯的待识别证件图片的特征中的特征点进行分类，得到文字特征和非文字特征，截取待识别证件图片中与文字特征对应的区域，得到文字区域。

其中，将待识别证件图片的特征输入双向反馈神经网络，删除待识别证件图片的特征中的错误特征，以提纯待识别证件图片的特征；具体的实现方式可以是：待识别证件图片的特征传入双向反馈神经网络当中，根据上下文对待识别证件图片的特征信息进行筛选，删除其中上下文关联错误的特征息，以提纯待识别证件图片的特征。

其中，采用贝叶斯分类器对经过提纯的待识别证件图片的特征中的特征点进行分类，得到文字特征和非文字特征，截取待识别证件图片中与文字特征对应的区域，得到文字区域，具体实现方式可以是：使用贝叶斯分类器对经过双向反馈神经网络提纯过的待识别证件图片的特征按照该特征对应区域是否具有文字进行分类，找到对应区域具有文字的特征，并根据特征确定具有文字的区域的中心特征坐标点，计算中心特征点坐标映射回证件图片后对应的区域中心点坐标以及文字区域的宽度和高度并截取，得到文字区域。

较佳地，在上述步骤130利用文字识别模型对待识别证件图片的文字区域进行识别，得到识别的文字之前，还可以对文字区域进行灰度化处理。灰度化处理与一般技术中采用的二值化处理相比，可以保存更多特征。进一步的，在对文字区域进行灰度化处理前，还可以调节文字区域的亮度。亮度的具体值可以根据实际需要进行设置，例如，可以将亮度调节到140。如此，可以使得文字区域的特征更加明显。此外，还可以对文字区域进行大小设置，以提高对于大小不一的证件上的文字的识别。

上述文字识别模块的具体结构有多种。比如，上述文字识别模型可以包括卷积神经网络和双向反馈神经网络；利用文字识别模型对待识别证件图片的文字区域进行识别，得到识别的文字，包括：将待识别证件图片的文字区域输入卷积神经网络，提取文字区域的图片特征；将文字区域的图片特征输入双向反馈神经网络，提取文字特征；将文字特征转化为文字。

其中，使用卷积神经网络对待识别证件图片的文字区域进行卷积和池化处理。较佳的，使用卷积神经网络对待识别证件图片的文字区域进行卷积和池化处理。比如，可以经过卷积神经网络的处理得到高度为1,厚度为512的图片特征。

为了进一步的扩大数据库中训练样本的量，达到更好的训练效果，提高识别的正确率，较佳地，上述数据库的训练样本中包括真实图片和仿真图片。基于此，上述步骤150中将待识别证件图片以正确文字为真实标记，添加到数据库的训练样本中，更新数据库，具体实现方式可以是：将待识别证件图片作为真实图片添加到数据库的训练样本中，待识别证件的真实标记为正确文字；获取待识别证件图片的图片特征，根据图片特征批量生成待识别证件图片的仿真图片，待识别证件图片的仿真图片的真实标记为正确文字。

具体的，根据图片特征批量生成待识别证件图片的仿真图片的方法有以下两种。其一是使用Photo shop根据图片特征生成模板后通过Java Script进行批量生成，其二是通过开源计算机视觉库(Open Source Computer Vision Library，OpenCV)根据图片特征直接生成仿真数据。每一种卡证选择多个真实图片模板生成仿真模板。使用python和js编译器直接生成数据内容以及对应标签，再将数据内容添加到仿真模板当中。最后对仿真图片的扭曲度、明暗度、模糊化等参数进行调整。

在初次搭建数据库时，为了更好地生成仿真图片，发明人提出了以下方案，每一种卡证选择多个真实图片进行采样，生成仿真模板。使用python和Java Script编译器直接生成数据内容以及对应标签，再将数据内容添加到仿真模板当中，形成仿真图片。最后对仿真图片的扭曲度、明暗度、模糊化等参数进行调整。使得仿真图片更加接近真实图片。这种方案用在初次搭建数据库时，来提高数据库内的样本的量。与之对应的，上述步骤150中，将待识别证件图片以正确文字为真实标记，添加到数据库的训练样本中，更新数据库，具体实现方式可以是：将待识别证件图片作为真实图片添加到数据库的训练样本中，待识别证件的真实标记为正确文字；获取待识别证件图片的图片特征，根据图片特征和仿真模板批量生成待识别证件图片的仿真图片，待识别证件图片的仿真图片的真实标记为正确文字。

下面以一个具体的应用场景为例，对本实施例提供的证件文字的识别方法进行更加详细地说明。

本实施例的场景中，需要基于数据库的训练样本预先训练文字区域检测模块和文字识别模型。其中，得到数据库的训练样本的方式，可以参照以上相关实施例。其中，上述文字区域检测模型包括VGG16卷积神经网络，双向反馈神经网络和贝叶斯分类器，具体的训练过程可以参考相关技术，此处不再赘述。其中，上述文字识别模型可以包括卷积神经网络和双向反馈神经网络，具体的训练过程可以参考相关技术，此处不再赘述。基于此，本实施例的文字证件的识别流程如下：

客户端接收用户输入的待识别证件图片，将待识别证件图片上传至服务器端并保存该待识别证件图片；服务器端接收到待识别证件图片后，对待识别证件图片进行预处理，包括：去背景、降噪处理、特征强化操作、裁剪和拉伸，然后根据裁剪后的待识别证件图片中的方向标识判断是否需要旋转，若是，则旋转裁剪后的图片，使其方向正确，否则，说明裁剪后的图片的方向正确；服务器端对方向正确的待识别证件图片利用文字区域检测模型，进行文字区域检测，得到文字区域，具体步骤可以参见以上相关实施例；服务器端利用文字识别模型对文字区域进行识别，得到识别的文字；服务器端将识别的文字发送到客户端；由用户判断文字的识别是否正确，若服务器端接收到用户确认识别的文字识别正确的指令，则将识别的文字作为输出结果输出该识别的文字；若服务器接收到用户确认识别的文字识别错误的指令，则接收用户通过客户端输入并上传的正确文字，将正确文字作为输出结果，以及将正确文字和对应的待识别图片添加到数据库中，并更新数据库；基于更新的数据库，对文字区域检测模型训练和文字识别模型进行重新训练。其中，当文字识别正确时，客户端将识别的文字输出，当文字识别错误时，客户端将用户输入的正确文字输出。

图2是本申请一个实施例提供的一种证件文字的识别装置的结构示意图。参照图2，本实施例提供的证件文字的识别装置，包括：

获取模块201，用于获取待识别证件图片；

文字区域检测模块202，用于利用文字区域检测模型对待识别证件图片进行检测，得到待识别证件图片的文字区域；

文字识别模块203，用于利用文字识别模型对待识别证件图片的文字区域进行识别，得到识别的文字；文字识别模型和文字区域检测模型是基于数据库中的训练样本预先训练得到的；

输出模块204，用于当接收到用户确认识别的文字识别正确的指令时，将识别的文字作为输出结果，当接收到用户确认识别的文字识别错误的指令时，接收用户输入的正确文字，将正确文字作为输出结果；

数据库更新模块205，用于当接收到用户确认识别的文字识别错误的指令时，接收用户输入的正确文字，将待识别证件图片以正确文字为真实标记，添加到数据库的训练样本中，更新数据库；

模型更新训练模块206，用于基于更新的数据库，对文字区域检测模型和文字识别模型进行重新训练。

可选的，文字识别模块203还用于：

在利用文字识别模型对待识别证件图片的文字区域进行识别，得到识别的文字之前，对文字区域进行灰度化处理。

可选的，获取模块201，具体用于通过服务器端接收客户端上传的待识别证件图片。

可选的，文字区域检测模块202还用于：

利用文字区域检测模型对待识别证件图片进行检测之前，对待识别证件图片进行去背景以及降噪处理；

对经过去背景以及降噪处理的待识别证件图片进行特征强化操作；

对经过特征强化操作的待识别证件图片，通过边界检测技术识别证件边界位置；

根据边界位置对待识别证件图片进行裁剪、拉伸，使得裁剪、拉伸后的待识别证件图片上只包括证件图样；

根据裁剪、拉伸后的待识别证件图片中的方向标识，判断是否需要旋转图片，以矫正图片方向。

可选的，数据库的训练样本中包括真实图片和仿真图片；

数据库更新训练模块，具体用于：

将待识别证件图片作为真实图片添加到数据库的训练样本中，待识别证件的真实标记为正确文字；

获取待识别证件图片的图片特征，根据图片特征批量生成待识别证件图片的仿真图片，待识别证件图片的仿真图片的真实标记为正确文字。

可选的，文字区域检测模型包括VGG16卷积神经网络，双向反馈神经网络和贝叶斯分类器；文字区域检测模块，具体用于：

将待识别证件图片输入VGG16卷积神经网络，提取得到待识别证件图片的特征；

将待识别证件图片的特征输入双向反馈神经网络，删除待识别证件图片的特征中的错误特征，以提纯待识别证件图片的特征；

采用贝叶斯分类器对经过提纯的待识别证件图片的特征中的特征点进行分类，得到文字特征和非文字特征，截取待识别证件图片中与文字特征对应的区域，得到文字区域。

可选的，文字识别模型包括卷积神经网络和双向反馈神经网络；

文字识别模块，具体用于：

将待识别证件图片的文字区域输入卷积神经网络，提取文字区域的图片特征；

将文字区域的图片特征输入双向反馈神经网络，提取文字特征；

将文字特征转化为文字。

本申请实施例还提供一种非临时性计算机可读存储介质，当存储介质中的指令由处理器执行时，使得处理器能够执行一种证件文字的识别方法，该方法包括：

获取待识别证件图片；

利用文字区域检测模型对待识别证件图片进行检测，得到待识别证件图片的文字区域；

利用文字识别模型对待识别证件图片的文字区域进行识别，得到识别的文字；文字识别模型和文字区域检测模型是基于数据库中的训练样本预先训练得到的；

当接收到用户确认识别的文字识别正确的指令时，将识别的文字作为输出结果；

当接收到用户确认识别的文字识别错误的指令时，接收用户输入的正确文字，将正确文字作为输出结果，以及将待识别证件图片以正确文字为真实标记，添加到数据库的训练样本中，更新数据库；

基于更新的数据库，对文字区域检测模型和文字识别模型进行重新训练。

可选的，利用文字识别模型对待识别证件图片的文字区域进行识别，得到识别的文字之前，本实施例的方法还包括：

对文字区域进行灰度化处理。

可选的，获取待识别证件图片包括：

通过服务器端接收客户端上传的待识别证件图片。

可选的，利用文字区域检测模型对待识别证件图片进行检测之前，本实施例的方法还包括：

对待识别证件图片进行去背景以及降噪处理；

对经过去背景以及降噪处理的待识别证件图片进行特征强化操作；

对经过特征强化操作的待识别证件图片，通过边界检测技术识别证件边界位置；

根据边界位置对待识别证件图片进行裁剪、拉伸，使得裁剪、拉伸后的待识别证件图片上只包括证件图样；

根据裁剪、拉伸后的待识别证件图片中的方向标识，判断是否需要旋转图片，以矫正图片方向。

可选的，数据库的训练样本中包括真实图片和仿真图片；

将待识别证件图片以正确文字为真实标记，添加到数据库的训练样本中，更新数据库，包括：

将待识别证件图片作为真实图片添加到数据库的训练样本中，待识别证件的真实标记为正确文字；

获取待识别证件图片的图片特征，根据图片特征批量生成待识别证件图片的仿真图片，待识别证件图片的仿真图片的真实标记为正确文字。

可选的，文字区域检测模型包括VGG16卷积神经网络，双向反馈神经网络和贝叶斯分类器；利用文字区域检测模型对待识别证件图片进行检测，得到待识别证件图片的文字区域，包括：

将待识别证件图片输入VGG16卷积神经网络，提取得到待识别证件图片的特征；

将待识别证件图片的特征输入双向反馈神经网络，删除待识别证件图片的特征中的错误特征，以提纯待识别证件图片的特征；

采用贝叶斯分类器对经过提纯的待识别证件图片的特征中的特征点进行分类，得到文字特征和非文字特征，截取待识别证件图片中与文字特征对应的区域，得到文字区域。

可选的，文字识别模型包括卷积神经网络和双向反馈神经网络；

利用文字识别模型对待识别证件图片的文字区域进行识别，得到识别的文字，包括：

将待识别证件图片的文字区域输入卷积神经网络，提取文字区域的图片特征；

将文字区域的图片特征输入双向反馈神经网络，提取文字特征；将文字特征转化为文字。

图3是本申请另一个实施例提供的一种证件文字的识别装置的结构示意图。参见图3，本实施例的装置包括：处理器301；用于存储处理器可执行指令的存储器302；其中，处理器301被配置为：

获取待识别证件图片；

利用文字区域检测模型对待识别证件图片进行检测，得到待识别证件图片的文字区域；

利用文字识别模型对待识别证件图片的文字区域进行识别，得到识别的文字；文字识别模型和文字区域检测模型是基于数据库中的训练样本预先训练得到的；

当接收到用户确认识别的文字识别正确的指令时，将识别的文字作为输出结果；

当接收到用户确认识别的文字识别错误的指令时，接收用户输入的正确文字，将正确文字作为输出结果，以及将待识别证件图片以正确文字为真实标记，添加到数据库的训练样本中，更新数据库；

基于更新的数据库，对文字区域检测模型和文字识别模型进行重新训练。

可选的，所述处理器还被配置为：利用文字识别模型对待识别证件图片的文字区域进行识别，得到识别的文字之前，对文字区域进行灰度化处理。

可选的，获取待识别证件图片时，处理器被配置为：

通过服务器端接收客户端上传的待识别证件图片。

可选的，处理器还被配置为：

利用文字区域检测模型对待识别证件图片进行检测之前，对待识别证件图片进行去背景以及降噪处理；

对经过去背景以及降噪处理的待识别证件图片进行特征强化操作；

对经过特征强化操作的待识别证件图片，通过边界检测技术识别证件边界位置；

根据边界位置对待识别证件图片进行裁剪、拉伸，使得裁剪、拉伸后的待识别证件图片上只包括证件图样；

根据裁剪、拉伸后的待识别证件图片中的方向标识，判断是否需要旋转图片，以矫正图片方向。

可选的，数据库的训练样本中包括真实图片和仿真图片；

将待识别证件图片以正确文字为真实标记，添加到数据库的训练样本中，更新数据库时，处理器具体被配置为：

将待识别证件图片作为真实图片添加到数据库的训练样本中，待识别证件的真实标记为正确文字；

获取待识别证件图片的图片特征，根据图片特征批量生成待识别证件图片的仿真图片，待识别证件图片的仿真图片的真实标记为正确文字。

可选的，文字区域检测模型包括VGG16卷积神经网络，双向反馈神经网络和贝叶斯分类器；利用文字区域检测模型对待识别证件图片进行检测，得到待识别证件图片的文字区域时，处理器具体被配置为：

将待识别证件图片输入VGG16卷积神经网络，提取得到待识别证件图片的特征；

将待识别证件图片的特征输入双向反馈神经网络，删除待识别证件图片的特征中的错误特征，以提纯待识别证件图片的特征；

采用贝叶斯分类器对经过提纯的待识别证件图片的特征中的特征点进行分类，得到文字特征和非文字特征，截取待识别证件图片中与文字特征对应的区域，得到文字区域。

可选的，文字识别模型包括卷积神经网络和双向反馈神经网络；

利用文字识别模型对待识别证件图片的文字区域进行识别，得到识别的文字时，处理器具体被配置为：

将待识别证件图片的文字区域输入卷积神经网络，提取文字区域的图片特征；

将文字区域的图片特征输入双向反馈神经网络，提取文字特征；

将文字特征转化为文字。

可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。

需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是指至少两个。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种证件文字的识别方法，其特征在于，包括：

获取待识别证件图片；

利用文字区域检测模型对所述待识别证件图片进行检测，得到所述待识别证件图片的文字区域；

利用文字识别模型对所述待识别证件图片的文字区域进行识别，得到识别的文字；所述文字识别模型和所述文字区域检测模型是基于数据库中的训练样本预先训练得到的；

当接收到用户确认所述识别的文字识别正确的指令时，将所述识别的文字作为输出结果；

当接收到用户确认所述识别的文字识别错误的指令时，接收用户输入的正确文字，将所述正确文字作为输出结果，以及将所述待识别证件图片以所述正确文字为真实标记，添加到所述数据库的训练样本中，更新所述数据库；

基于更新的所述数据库，对所述文字区域检测模型和所述文字识别模型进行重新训练。

2.根据权利要求1所述的方法，其特征在于，所述利用文字识别模型对所述待识别证件图片的文字区域进行识别，得到识别的文字之前，所述方法还包括：

对所述文字区域进行灰度化处理。

3.根据权利要求1所述的方法，其特征在于，所述获取待识别证件图片包括：

通过服务器端接收客户端上传的待识别证件图片。

4.根据权利要求1所述的方法，其特征在于，所述利用文字区域检测模型对所述待识别证件图片进行检测之前，所述方法还包括：

对所述待识别证件图片进行去背景以及降噪处理；

对经过去背景以及降噪处理的所述待识别证件图片进行特征强化操作；

对经过特征强化操作的所述待识别证件图片，通过边界检测技术识别证件边界位置；

根据所述边界位置对所述待识别证件图片进行裁剪、拉伸，使得裁剪、拉伸后的所述待识别证件图片上只包括证件图样；

根据裁剪、拉伸后的所述待识别证件图片中的方向标识，判断是否需要旋转图片，以矫正图片方向。

5.根据权利要求1所述的方法，其特征在于，所述数据库的训练样本中包括真实图片和仿真图片；

所述将所述待识别证件图片以所述正确文字为真实标记，添加到所述数据库的训练样本中，更新所述数据库，包括：

将所述待识别证件图片作为真实图片添加到所述数据库的训练样本中，所述待识别证件的真实标记为所述正确文字；

获取所述待识别证件图片的图片特征，根据所述图片特征批量生成所述待识别证件图片的仿真图片，所述待识别证件图片的仿真图片的真实标记为所述正确文字。

6.根据权利要求1所述的方法，其特征在于，所述文字区域检测模型包括VGG16卷积神经网络，双向反馈神经网络和贝叶斯分类器；所述利用文字区域检测模型对所述待识别证件图片进行检测，得到所述待识别证件图片的文字区域，包括：

将所述待识别证件图片输入所述VGG16卷积神经网络，提取得到所述待识别证件图片的特征；

将所述待识别证件图片的特征输入双向反馈神经网络，删除所述待识别证件图片的特征中的错误特征，以提纯所述待识别证件图片的特征；

采用贝叶斯分类器对经过提纯的所述待识别证件图片的特征中的特征点进行分类，得到文字特征和非文字特征，截取所述待识别证件图片中与所述文字特征对应的区域，得到文字区域。

7.根据权利要求1所述的方法，其特征在于，所述文字识别模型包括卷积神经网络和双向反馈神经网络；

所述利用文字识别模型对所述待识别证件图片的文字区域进行识别，得到识别的文字，包括：

将所述待识别证件图片的文字区域输入卷积神经网络，提取所述文字区域的图片特征；

将所述文字区域的图片特征输入双向反馈神经网络，提取文字特征；

将文字特征转化为文字。

8.一种证件文字的识别装置，其特征在于，包括：

获取模块，用于获取待识别证件图片；

文字区域检测模块，用于利用文字区域检测模型对所述待识别证件图片进行检测，得到所述待识别证件图片的文字区域；

文字识别模块，用于利用文字识别模型对所述待识别证件图片的文字区域进行识别，得到识别的文字；所述文字识别模型和所述文字区域检测模型是基于数据库中的训练样本预先训练得到的；

输出模块，用于当接收到用户确认所述识别的文字识别正确的指令时，将所述识别的文字作为输出结果，当接收到用户确认所述识别的文字识别错误的指令时，接收用户输入的正确文字，将所述正确文字作为输出结果；

数据库更新模块，用于当接收到用户确认所述识别的文字识别错误的指令时，接收用户输入的正确文字，将所述待识别证件图片以所述正确文字为真实标记，添加到所述数据库的训练样本中，更新所述数据库；

模型更新训练模块，用于基于更新的所述数据库，对所述文字区域检测模型和所述文字识别模型进行重新训练。

9.根据权利要求8所述的装置，其特征在于，所述文字识别模块还用于：

在利用文字识别模型对所述待识别证件图片的文字区域进行识别，得到识别的文字之前，对所述文字区域进行灰度化处理。

10.根据权利要求8所述的装置，其特征在于，所述获取模块，具体用于通过服务器端接收客户端上传的待识别证件图片。