CN108229299B - 证件的识别方法和装置、电子设备、计算机存储介质 - Google Patents

证件的识别方法和装置、电子设备、计算机存储介质 Download PDF

Info

Publication number
CN108229299B
CN108229299B CN201711050768.XA CN201711050768A CN108229299B CN 108229299 B CN108229299 B CN 108229299B CN 201711050768 A CN201711050768 A CN 201711050768A CN 108229299 B CN108229299 B CN 108229299B
Authority
CN
China
Prior art keywords
image
certificate
text
text box
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711050768.XA
Other languages
English (en)
Other versions
CN108229299A (zh
Inventor
梁鼎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201711050768.XA priority Critical patent/CN108229299B/zh
Publication of CN108229299A publication Critical patent/CN108229299A/zh
Application granted granted Critical
Publication of CN108229299B publication Critical patent/CN108229299B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Character Input (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种证件的识别方法和装置、电子设备、计算机存储介质，其中，方法包括：将待识别图像输入神经网络；经所述神经网络获取所述待识别图像中各证件图像包括的文本框中的文字内容；将所述文本框中的文字内容与格式信息进行匹配；根据所述文本框中的文字内容匹配的格式信息，确认所述证件图像的证件类型。基于本发明上述实施例提供的方法，实现了通过文字内容自动识别当前待处理图像中包括的证件图像的证件类型，实现了证件的自动识别和查验，不需要人工指定证件类型和正副页，提高了处理效率的同时，节省了人工。

Description

证件的识别方法和装置、电子设备、计算机存储介质
技术领域
本发明涉及图像识别技术，尤其是一种证件的识别方法和装置、电子设备、计算机存储介质。
背景技术
证件是指用来证明身份、经历等的证书和文件。在实际应用中，常常需要对证件进行识别和审核，以便确定身份、经历等信息，通常对于证件的识别是通过人工完成的。例如：机动车驾驶证是机动车驾驶人员被许可驾驶的证件，机动车行驶证是准予机动车行驶的法定证件。这两类证件在处理交通问题、申请牌照、买卖车辆及征信时经常被用到，但证件审核和查验需要大量的人力。
发明内容
本发明实施例提供一种证件的识别技术。
本发明实施例提供的一种证件的识别方法，包括：
将待识别图像输入神经网络；所述待识别图像中包括至少一个证件图像，每个所述证件图像包括至少一个具有格式信息，所述格式信息用于识别对应类型的证件图像；
经所述神经网络获取所述待识别图像中各证件图像包括的文本框中的文字内容；
将所述文本框中的文字内容与格式信息进行匹配；
根据所述文本框中的文字内容匹配的格式信息，确认所述证件图像的证件类型。
在基于本发明上述方法的另一个实施例中，将所述文本框中的文字内容与格式信息进行匹配，包括：
基于所述证件图像中已知的格式信息，获得分别对应各所述格式信息的正则表达式；
将各所述文本框中的文字内容分别与所述获得的正则表达式进行匹配。
在基于本发明上述方法的另一个实施例中，根据所述文本框中的文字内容匹配的格式信息，确认所述证件图像的证件类型，包括：
根据匹配的格式信息获取所述证件图像中包括信息的种类和位置；
通过所述获取的信息的种类和位置与证件模板进行匹配，根据所述匹配的证件模板确定所述证件图像的类型；所述证件模板包括设定种类和位置的格式信息。
在基于本发明上述方法的另一个实施例中，所述根据匹配的格式信息获取所述证件图像中包括信息的种类和位置，包括：
根据与所述文本框中的文字内容匹配的格式信息获得所述文本框包括的信息的种类，根据所述文本框在所述证件图像中的位置获得所述信息的位置。
在基于本发明上述方法的另一个实施例中，经所述神经网络获取所述待识别图像中各证件图像包括的文本框中的文字内容，包括：
利用第一神经网络对所述待识别图像中证件图像进行特征提取，基于得到的特征获得所述证件图像中的文本框和所述文本框的位置；
利用第二神经网络对所述获得的文本框进行文字识别，得到所述文本框中的文字内容。
在基于本发明上述方法的另一个实施例中，基于得到的特征获得所述证件图像中的文本框和所述文本框的位置，包括：
通过预设的候选区域在所述得到的特征图上移动，基于候选区域中包括的所有像素均预测为文字的所述候选区域获得文本框；所述候选区域包括预设的固定宽度和可变高度；
基于所述包括的所有像素均预测为文字的候选区域确定所述获得的文本框的坐标，根据所述文本框的坐标确定所述文本框的位置。
在基于本发明上述方法的另一个实施例中，所述利用第二神经网络对所述获得的文本框进行文字识别之前，还包括：
基于所述文本框的位置将所述文本框从所述证件图像中剪裁出来，得到文本图像；
在宽高比不变的基础上，将所述文本图像进行缩放得到缩放后的文本图像；所述缩放后的文本图像高度为设定高度值，且宽度大于或等于设定宽度值；或者，所述缩放后的文本图像宽度为设定宽度值，且高度大于或等于设定高度值。
在基于本发明上述方法的另一个实施例中，所述利用第二神经网络对所述获得的文本框进行文字识别，包括：
利用第二神经网络将所述缩放后的文本图像处理为高度为1的特征图；
基于CTC连续时序分类模型对所述特征图进行解码，得到长度对应所述特征图宽度的标签序列；
基于所述标签序列获得所述文本图像中的文字内容；所述标签序列包括至少一个标签，每个所述标签用于表示一个文字。
在基于本发明上述方法的另一个实施例中，基于所述标签序列获得所述文本图像中的文字内容，包括：
基于空格将所述标签序列分割为至少两个子序列，将所述子序列中连续的相同标签合并为一个标签；
基于每个所述子序列中的标签获得对应的文字内容；
按所述子序列的顺序连接所述获得的文字内容，得到所述文本图像中的文字内容。
在基于本发明上述方法的另一个实施例中，所述将待识别图像输入神经网络之前，还包括：
利用第三神经网络和第四神经网络对所述待识别图像进行处理，获得所述待识别图像中的证件图像。
在基于本发明上述方法的另一个实施例中，所述利用第三神经网络和第四神经网络对所述待识别图像进行处理，包括：
经第三神经网络对所述待识别图像进行特征提取，基于提取到的特征图获取设定大小的备选区域；所述备选区域与证件模板框的大小相适配，所述证件模板框标注有证件类型；
基于第四神经网络从所述备选区域中获取证件图像；所述证件图像与所述预先标注的证件模板框的交并比大于预设阈值。
在基于本发明上述方法的另一个实施例中，所述基于第四神经网络从所述备选区域中获取证件图像，包括：
基于第四神经网络计算所述备选区域与所述预先标注的证件模板框的交并比，获取与所述证件模板框交并比大于预设阈值的所述备选区域；
基于所述证件模板框对所述获取的备选区域进行范数回归，将回归后的备选区域作为证件图像。
在基于本发明上述方法的另一个实施例中，获得所述待识别图像中的证件图像之后，还包括：
对所述证件图像进行特征提取，基于提取的特征对所述证件图像进行范数回归，获得所述证件图像的顶点坐标。
在基于本发明上述方法的另一个实施例中，所述将待识别图像输入神经网络之前，还包括：
基于所述证件图像的位置坐标对所述获得的证件图像进行转正处理，得到平铺证件图像。
在基于本发明上述方法的另一个实施例中，基于所述证件图像的位置坐标对所述获得的证件图像进行转正处理，包括：
基于所述证件图像的位置坐标获得所述证件图像的顶点坐标；
基于获得的所述证件图像的顶点坐标进行投影变换实现对证件图像的进行转正处理。
在基于本发明上述方法的另一个实施例中，基于所述证件图像的位置坐标获得所述证件图像的顶点坐标之后，还包括：
基于所述证件图像的位置坐标获得所述证件图像的边框坐标，基于所述两个顶点坐标和顶点坐标之间的边框坐标获得所述证件图像的边框，计算所述边框的曲率；
基于所述边框的曲率确定所述边框是否为曲线，将所述边框为曲线的证件图像处理为边框为直线的证件图像。
根据本发明实施例的一个方面，提供的一种证件的识别装置，包括：
输入单元，用于将待识别图像输入神经网络；所述待识别图像中包括至少一个证件图像，每个所述证件图像包括至少一个具有格式信息，所述格式信息用于识别对应类型的证件图像；
检测识别单元，用于经所述神经网络获取所述待识别图像中各证件图像包括的文本框中的文字内容；
匹配单元，用于将所述文本框中的文字内容与格式信息进行匹配；
类型判断单元，用于根据所述文本框中的文字内容匹配的格式信息，确认所述证件图像的证件类型。
在基于本发明上述装置的另一个实施例中，所述匹配单元，具体用于基于所述证件图像中已知的格式信息，获得分别对应各所述格式信息的正则表达式；将各所述文本框中的文字内容分别与所述获得的正则表达式进行匹配。
在基于本发明上述装置的另一个实施例中，所述类型判断单元，包括：
信息判断模块，用于根据匹配的格式信息获取所述证件图像中包括信息的种类和位置；
模板匹配模块，用于通过所述获取的信息的种类和位置与证件模板进行匹配，根据所述匹配的证件模板确定所述证件图像的类型；所述证件模板包括设定种类和位置的格式信息。
在基于本发明上述装置的另一个实施例中，所述信息判断模块，具体用于根据与所述文本框中的文字内容匹配的格式信息获得所述文本框包括的信息的种类，根据所述文本框在所述证件图像中的位置获得所述信息的位置。
在基于本发明上述装置的另一个实施例中，所述检测识别单元，包括：
检测模块，用于利用第一神经网络对所述待识别图像中证件图像进行特征提取，基于得到的特征获得所述证件图像中的文本框和所述文本框的位置；
识别模块，用于利用第二神经网络对所述获得的文本框进行文字识别，得到所述文本框中的文字内容。
在基于本发明上述装置的另一个实施例中，所述检测模块，具体用于通过预设的候选区域在所述得到的特征图上移动，基于候选区域中包括的所有像素均预测为文字的所述候选区域获得文本框；所述候选区域包括预设的固定宽度和可变高度；基于所述包括的所有像素均预测为文字的候选区域确定所述获得的文本框的坐标，根据所述文本框的坐标确定所述文本框的位置。
在基于本发明上述装置的另一个实施例中，所述检测识别单元，还包括：
剪裁模块，用于基于所述文本框的位置将所述文本框从所述证件图像中剪裁出来，得到文本图像；
缩放模块，用于在宽高比不变的基础上，将所述文本图像进行缩放得到缩放后的文本图像；所述缩放后的文本图像高度为设定高度值，且宽度大于或等于设定宽度值；或者，所述缩放后的文本图像宽度为设定宽度值，且高度大于或等于设定高度值。
在基于本发明上述装置的另一个实施例中，所述识别模块，包括：
图像处理模块，用于利用第二神经网络将所述缩放后的文本图像处理为高度为1的特征图；
解码模块，用于基于CTC连续时序分类模型对所述特征图进行解码，得到长度对应所述特征图宽度的标签序列；
内容识别模块，用于基于所述标签序列获得所述文本图像中的文字内容；所述标签序列包括至少一个标签，每个所述标签用于表示一个文字。
在基于本发明上述装置的另一个实施例中，所述内容识别模块，具体用于基于空格将所述标签序列分割为至少两个子序列，将所述子序列中连续的相同标签合并为一个标签；基于每个所述子序列中的标签获得对应的文字内容；按所述子序列的顺序连接所述获得的文字内容，得到所述文本图像中的文字内容。
在基于本发明上述装置的另一个实施例中，还包括：
证件识别单元，用于利用第三神经网络和第四神经网络对所述待识别图像进行处理，获得所述待识别图像中的证件图像。
在基于本发明上述装置的另一个实施例中，所述证件识别单元，包括：
备选证件模块，用于经第三神经网络对所述待识别图像进行特征提取，基于提取到的特征图获取设定大小的备选区域；所述备选区域与证件模板框的大小相适配，所述证件模板框标注有证件类型；
证件获取模块，用于基于第四神经网络从所述备选区域中获取证件图像；所述证件图像与所述预先标注的证件模板框的交并比大于预设阈值。
在基于本发明上述装置的另一个实施例中，所述证件获取模块，具体用于基于第四神经网络计算所述备选区域与所述预先标注的证件模板框的交并比，获取与所述证件模板框交并比大于预设阈值的所述备选区域；基于所述证件模板框对所述获取的备选区域进行范数回归，将回归后的备选区域作为证件图像。
在基于本发明上述装置的另一个实施例中，所述证件识别单元，还用于对所述证件图像进行特征提取，基于提取的特征对所述证件图像进行范数回归，获得所述证件图像的顶点坐标。
在基于本发明上述装置的另一个实施例中，还包括：
转正单元，用于基于所述证件图像的位置坐标对所述获得的证件图像进行转正处理，得到平铺证件图像。
在基于本发明上述装置的另一个实施例中，所述转正单元，具体用于基于所述证件图像的位置坐标获得所述证件图像的顶点坐标；基于获得的所述证件图像的顶点坐标进行投影变换实现对证件图像的转正处理。
在基于本发明上述装置的另一个实施例中，所述转正单元，还用于基于所述证件图像的位置坐标获得所述证件图像的边框坐标，基于所述两个顶点坐标和顶点坐标之间的边框坐标获得所述证件图像的边框，计算所述边框的曲率；基于所述边框的曲率确定所述边框是否为曲线，将所述边框为曲线的证件图像处理为边框为直线的证件图像。
根据本发明实施例的一个方面，提供的一种电子设备，包括处理器，所述处理器包括如上所述的证件的识别装置。
根据本发明实施例的一个方面，提供的一种电子设备，包括：存储器，用于存储可执行指令；
以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成如上所述证件的识别方法的操作。
根据本发明实施例的一个方面，提供的一种计算机存储介质，用于存储计算机可读取的指令，所述指令被执行时执行如上所述证件的识别方法的操作。
基于本发明上述实施例提供的一种证件的识别方法和装置、电子设备、计算机存储介质，将待识别图像输入神经网络；经神经网络获取待识别图像中各证件图像包括的文本框中的文字内容；通过神经网络识别到待识别图像包括的文本框中的文字内容，以便于后续根据文本框中的文字内容判断该证件的类型，无需人工参与识别；将文本框中的文字内容与格式信息进行匹配；根据匹配的格式信息确认证件图像的证件类型；实现了通过文字内容自动识别当前待处理图像中包括的证件图像的类型，实现了证件的自动识别和查验，不需要人工指定证件类型和正副页，提高了处理效率的同时，节省了人工。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本发明的实施例，并且连同描述一起用于解释本发明的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：
图1为本发明证件的识别方法一个实施例的流程图。
图2a-b为本发明证件的识别方法中对证件图像转正一个具体示例的示意图。
图3为本发明证件的识别装置一个实施例的结构示意图。
图4为用来实现本申请实施例的终端设备或服务器的电子设备的结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本发明实施例可以应用于计算机***/服务器，其可与众多其它通用或专用计算***环境或配置一起操作。适于与计算机***/服务器一起使用的众所周知的计算***、环境和/或配置的例子包括但不限于：个人计算机***、服务器计算机***、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的***、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机***、大型计算机***和包括上述任何***的分布式云计算技术环境，等等。
计算机***/服务器可以在由计算机***执行的计算机***可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机***/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算***存储介质上。
图1为本发明证件的识别方法一个实施例的流程图。如图1所示，该实施例方法包括：
步骤101，将待识别图像输入神经网络。
其中，待识别图像中包括至少一个证件图像，每个证件图像包括至少一个具有格式信息，所述格式信息用于识别对应类型的证件图像。
步骤102，经神经网络获取待识别图像中各证件图像包括的文本框中的文字内容。
具体地，可通过一个神经网络实现检测图像中的文本框和识别文本框中的文字内容，或通过两个神经网络分布实现检测图像中的文本框和识别文本框中的文字内容。
步骤103，将文本框中的文字内容与格式信息进行匹配。
具体地，匹配可以是基于正则表达式进行匹配的，正则表达式RegularExpression，又称规则表达式，是计算机科学的一个概念。正则表通常被用来检索、替换那些符合某个模式(规则)的文本。正则表达式是对字符串(包括普通字符(例如，a到z之间的字母)和特殊字符(称为“元字符”))操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。正则表达式是一种文本模式，模式描述在搜索文本时要匹配的一个或多个字符串。
步骤104，根据文本框中的文字内容匹配的格式信息，确认证件图像的证件类型。
基于本发明上述实施例提供的一种证件的识别方法，将待识别图像输入神经网络；经神经网络获取待识别图像中各证件图像包括的文本框中的文字内容；通过神经网络识别到待识别图像包括的文本框中的文字内容，以便于后续根据文本框中的文字内容判断该证件的类型，无需人工参与识别；将文本框中的文字内容与格式信息进行匹配；根据匹配的格式信息确认证件图像的证件类型；实现了通过文字内容自动识别当前待处理图像中包括的证件图像的类型，实现了证件的自动识别和查验，不需要人工指定证件类型和正副页，提高了处理效率的同时，节省了人工。
在本发明证件的识别方法上述实施例的一个具体示例中，操作103包括：
基于证件图像中已知的格式信息，获得分别对应各格式信息的正则表达式；
将各文本框中的文字内容分别与获得的正则表达式进行匹配。
本实施例中，正则表达式是对字符串操作的一种逻辑公式，通过事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”(本实施例中指设定格式信息的正则表达式)，这个“规则字符串”用来表达对字符串的一种过滤逻辑。
给定一个正则表达式和另一个字符串，可以达到如下的目的：给定的字符串是否符合正则表达式的过滤逻辑(称作“匹配”)，本实施例中应用的该过滤逻辑获得与格式信息匹配的文字内容，例如：匹配身份证号的正则表达式为“([1-9]\d{7}((0\d)|(1[0-2]))(([0|1|2]\d)|3[0-1])\d{3})|([1-9]\d{5}[1-9]\d{3}((0\d)|(1[0-2]))(([0|1|2]\d)|3[0-1])((\d{4})|\d{3}[x]))$”，符合该正则表达式的字符串被认为是身份证号码；还可以通过正则表达式，从字符串中获取想要的特定部分。
在本发明证件的识别方法上述各实施例的一个具体示例中，操作104包括：
根据匹配的格式信息获取证件图像中包括信息的种类和位置；
通过获取的信息的种类和位置与证件模板进行匹配，根据匹配的证件模板确定证件图像的类型；证件模板包括设定种类和位置的格式信息。
本实施例中，先通过正则表达式匹配到证件中的信息的种类和位置，信息包括：身份证号、车牌号、档案编号、日期等；由于每种证件包括的信息的种类和位置都不同，因此，可基于匹配的信息的种类和位置确定证件的类型以及正副页；为提高处理速度，可以先匹配部分文本框中的文字内容，将证件类型缩小范围，根据缩小范围后的证件模板再进行比对和填空，实现快速确认证件的类型；例如：匹配到身份证号即可将证件类型范围缩小至驾驶证正页或副页正面，匹配到车牌号可将范围缩小至行驶证等，经过多种信息缩小范围，最终确定证件类型。已知证件类型后，即可通过文本框和文本框中的文字内容对剩余字段进行比对和填空，将剩余未匹配的文字区域匹配到剩余未填充的文字字段。
在本发明证件的识别方法上述各实施例的一个具体示例中，根据匹配的格式信息获取证件图像中包括信息的种类和位置，包括：
根据与文本框中的文字内容匹配的格式信息获得文本框包括的信息的种类，根据文本框在所述证件图像中的位置获得信息的位置。
在本实施例中，通过与文本框相匹配的格式信息确定证件图像中该文本框中信息的种类，通过文本框的坐标确定该信息的位置。
本发明证件的识别方法的另一个实施例，在上述各实施例的基础上，操作102包括：
利用第一神经网络对待识别图像中证件图像进行特征提取，基于得到的特征获得证件图像中的文本框和文本框的位置；
利用第二神经网络对获得的文本框进行文字识别，得到文本框中的文字内容。
在本实施例中，分别通过两个神经网络对证件图像进行文本框检测和文字内容识别，检测文本框的过程即通过神经网络获得文本内容位置的过程；获得文本框和文本框位置后，通过第二神经网络将文字内容进行识别，获得文本框中的文字内容。
在本发明证件的识别方法上述各实施例的一个具体示例中，基于得到的特征获得证件图像中的文本框和文本框的位置，包括：
通过预设的候选区域在得到的特征图上移动，基于候选区域中包括的所有像素均预测为文字的候选区域获得文本框；候选区域包括预设的固定宽度和可变高度；
基于包括的所有像素均预测为文字的候选区域确定文本框的坐标，根据文本框的坐标确定文本框的位置。
本实施例，具体实施过程可以包括：文字检测基于CTPN(Connectionist TextProposal Network，连接文字建议网络)的网络结构，首先利用VGG网络对图片进行特征提取得到feature map特征图，再通过预设固定宽度，不同高度(因为文字大多很长，如果宽度不固定容易出现将文字中的某几个字选作负样本的情况)的Ancanchor(候选区域)，对之前提取的feature map特征图上的每一个像素进行预测，预测它是否为文字以及所对应文字的坐标，同时在网络中加入LSTM长短期记忆网络，由于图片中的文字大多宽度很大，加入LSTM可以更好地利用文字区域周围的信息，使得文本的连续性语义信息在训练和测试中得到应用，最终得到较高准确率较快速度的检测结果(图片中文字所在的位置)。
在本发明证件的识别方法上述各实施例的一个具体示例中，利用第二神经网络对获得的文本框进行文字识别之前，还包括：
基于文本框的位置将文本框从证件图像中剪裁出来，得到文本图像；
在宽高比不变的基础上，将文本图像进行缩放得到缩放后的文本图像；缩放后的文本图像高度为设定高度值，且宽度大于或等于设定值；或者，缩放后的文本图像宽度为设定宽度值，且高度大于或等于设定高度值。
在本实施例中，已知文本框的位置即可将证件图像从待处理图像中剪裁处理，作为单独的文本图像；将每张得到的文本图像按比例缩放，使得图像高度为设定高度值(如：32像素)，缩放后宽度小于设定宽度值(如：32像素)的文本图像将被废弃，符合条件的文本图像作为文字识别模型的输入；或将图像宽度缩放为设定宽度值(如：32像素)，缩放后高度小于该设定高度值(如：32像素)的文本图像将被废弃，符合条件的文字图像作为文字识别模型的输入。
在本发明证件的识别方法上述各实施例的一个具体示例中，利用第二神经网络对获得的文本框进行文字识别，包括：
利用第二神经网络将缩放后的文本图像处理为高度为1的特征图；
基于CTC连续时序分类模型进行解码，得到长度对应特征图宽度的标签序列；
基于标签序列获得文本图像中的文字内容；标签序列包括至少一个标签，每个标签用于表示一个文字。
本实施例中，通过第二神经网络进行池化操作，得到高度为1的特征图，具体可以是：通过4次池化操作将原高度32依次变为16、8、4、2，最后使用一个填充为0，使用卷积核为2的卷积层将高度变为1，经过上述操作得到一个高度为1的特征图，该特征图的宽度与输入图片宽度相关；然后，将得到的特征图转置，对通道这一维度做全连接，将通道数映射为5000维左右，最终输出维数比实际需要识别的汉字字符种类数多1，最后用CTC(Connectionist Temporal Classification，连接时序分类)进行解码；得到一个标签序列，每个标签对应一个文字；通过标签即可确定文字内容。CTC解码的具体过程包括：先对输出的特征图用Softmax归一化得到概率分布矩阵，矩阵行数为全连接的通道数，列数为特征图的宽度，每一列和为1，表示该位置每个汉字的概率，第0类表示空白，获得每一列的最大值的序号作为该位置的标签，得到一个长度为特征图宽度的标签序列。
在本发明证件的识别方法上述各实施例的一个具体示例中，基于标签序列获得文本图像中的文字内容，包括：
基于空格将标签序列分割为至少两个子序列，将子序列中连续的相同标签合并为一个标签；
基于每个子序列中的标签获得对应的文字内容；
按子序列的顺序连接获得的文字内容，得到文本图像中的文字内容。
在本实施例中，在得到的标签序列中，有个别位置对应的标签为第0类，即该位置为空白，在证件中，空白表示间隔或区分，因此以空白将序列分为若干子序列，使每个子序列中不包含空白，在各子序列中将连续相同的标签合并为一个，最终按顺序连接所有子序列作为最后文字识别标签，再将标签映射为对应的文字内容。
本发明证件的识别方法的又一个实施例，在上述各实施例的基础上，操作101之前，还包括：
利用第三神经网络和第四神经网络对待识别图像进行处理，获得待识别图像中的证件图像和证件图像的位置坐标。
在本实施例中，对于一个待处理图像中包括一个或两个以上证件图像的情况，首先需要通过第三神经网络和第四神经网络对待识别图像进行处理，识别出待处理图像中的所有证件图像，并确定所有证件图像的位置坐标，以便后续对每个证件图像的类型进行识别。
在本发明证件的识别方法上述各实施例的一个具体示例中，利用第三神经网络和第四神经网络对待识别图像进行处理，包括：
经第三神经网络对待识别图像进行特征提取，基于提取到的特征图获取设定大小的备选区域；备选区域与证件模板框的大小相适配，证件模板框标注有证件类型；
基于第四神经网络从备选区域中获取证件图像；证件图像与预先标注的证件模板框的交并比大于预设阈值。
本实施例中，通过预设的证件模板框从特征图中获取备选区域，从备选区域中筛选得到证件图像，实现了从待处理图像中识别所有证件图像。
在本发明证件的识别方法上述各实施例的一个具体示例中，基于第四神经网络从备选区域中获取证件图像，包括：
基于第四神经网络计算备选区域与预先标注的证件模板框的交并比，获取与证件模板框交并比大于预设阈值的备选区域；
基于证件模板框对获取的备选区域进行范数回归，将回归后的备选区域作为证件图像。
本实施例中，具体可通过RPN(region proposal network，区域建议网络)对事先设定好的一系列固定的Anchor(备选区域)进行判断，计算Anchor与预先标注的证件模板框的IOU(Intersection over Union，交并比)，选择IOU大于阈值的Anchor为正样本；同时RPN回归Anchor所对应的证件模板框的坐标，将回归后的Anchor备选区域作为证件图像。
在本发明证件的识别方法上述各实施例的一个具体示例中，获得待识别图像中的证件图像和证件图像的位置坐标，包括：
对证件图像进行特征提取，基于提取的特征对证件图像进行范数回归，获得证件图像的顶点坐标。
本实施中，通过对证件图像进行范数回归，确定了证件图像的顶点坐标，根据各顶点坐标即可确定当前证件图像的位置，并对图像的倾斜情况有所了解，为下一步转正提供了基础。
本发明证件的识别方法的还一个实施例，在上述各实施例的基础上，所述将待识别图像输入神经网络之前，还包括：
基于证件图像的位置坐标对获得的证件图像进行转正处理，得到平铺证件图像。
本实施例中，基于获得的证件图像的顶点坐标可以确定当前证件图像是否需要转正，通过位置坐标对证件图像进行转正，使本实施例适用范围更广，克服了现有技术中需要对证件对齐拍摄的问题，对于扭曲或倾斜的证件实现自动转正，使得文字方向均为水平方向。
在本发明证件的识别方法上述各实施例的一个具体示例中，基于证件图像的位置坐标对获得的证件图像进行转正处理，包括：
基于证件图像的位置坐标获得证件图像的顶点坐标；基于获得的证件图像的顶点坐标进行投影变换实现对证件图像的进行转正处理。
本实施例中，预测证件图像四个顶点变换后对应的四点，得到四点对应关系即可计算出投影矩阵，图2a-b为本发明证件的识别方法中对证件图像转正一个具体示例的示意图。如图2a所示，为待转正的证件图像；如图2b所示，为基于图2a的证件图像转正后的图像，具体转正过程包括：证件图像的顶点坐标记为(xi，yi)，目标点记为(Xi，Yi)，投影矩阵M为3x3矩阵，M(3,3)＝1，应满足公式(1)：
Figure BDA0001453122540000171
其中，Si是尺度参数，用于归一化；M为投影矩阵。通过求解公式(1)得到投影矩阵M，对图片进行投影变换。投影变换需要将目标图上的每个点的像素对应到原图中位置选择像素进行填充，像素填充采用双线性插值实现，通过公式(2)实现填充：
Figure BDA0001453122540000172
即目标点(Xi，Yi)在原图中对应的位置为
Figure BDA0001453122540000173
将该位置的像素值赋予目标点即可。
在本发明证件的识别方法上述各实施例的一个具体示例中，基于证件图像的位置坐标获得证件图像的顶点坐标之后，还包括：
基于证件图像的位置坐标获得证件图像的边框坐标，基于两个顶点坐标和顶点坐标之间的边框坐标获得证件图像的边框，计算边框的曲率；
基于边框的曲率确定边框是否为曲线，将边框为曲线的证件图像处理为边框为直线的证件图像。
本实施例中，曲线的曲率(curvature)就是针对曲线上某个点的切线方向角对弧长的转动率，通过微分来定义，表明曲线偏离直线的程度。数学上表明曲线在某一点的弯曲程度的数值。当曲率为0时，该曲线为直线，此时，直接应用投影变换即可实现对证件图像的转正处理；而当曲率不为0时，需要将边框为曲线的证件图像处理为边框为直线的证件图像，再进行投影变换实现对证件图像的转正处理。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图3为本发明证件的识别装置一个实施例的结构示意图。该实施例的装置可用于实现本发明上述各方法实施例。如图3所示，该实施例的装置包括：
输入单元31，用于将待识别图像输入神经网络。
其中，待识别图像中包括至少一个证件图像，每个证件图像包括至少一个具有格式信息，所述格式信息用于识别对应类型的证件图像。
检测识别单元32，用于经神经网络获取待识别图像中各证件图像包括的文本框中的文字内容。
匹配单元33，用于将文本框中的文字内容与格式信息进行匹配。
类型判断单元34，用于根据文本框中的文字内容匹配的格式信息，确认证件图像的证件类型。
基于本发明上述实施例提供的一种证件的识别装置，将待识别图像输入神经网络；经神经网络获取待识别图像中各证件图像包括的文本框中的文字内容；通过神经网络识别到待识别图像中的文本框中的文字内容，以便于后续根据文本框和文字内容判断该证件的类型，无需人工参与识别；将文本框中的文字内容与格式信息进行匹配；根据匹配的格式信息确认证件图像的证件类型；实现了通过文字内容自动识别当前待处理图像中包括的证件图像的类型，实现了证件的自动识别和查验，不需要人工指定证件类型和正副页，提高了处理效率的同时，节省了人工。
在本发明证件的识别装置上述实施例的一个具体示例中，匹配单元33，具体用于基于证件图像中已知的格式信息，获得分别对应各格式信息的正则表达式；将各文本框中的文字内容分别与获得的正则表达式进行匹配。
在本发明证件的识别装置上述各实施例的一个具体示例中，类型判断单元34，包括：
信息判断模块，用于根据匹配的格式信息获取证件图像中包括信息的种类和位置；
模板匹配模块，用于通过获取的信息的种类和位置与证件模板进行匹配，根据匹配的证件模板确定证件图像的类型；证件模板包括设定种类和位置的格式信息。
在本发明证件的识别装置上述实施例的一个具体示例中，信息判断模块，具体用于根据与文本框中的文字内容匹配的格式信息获得文本框包括的信息的种类，根据文本框在证件图像中的位置获得信息的位置；信息种类和位置的组合节课确定证件图像对应哪一种证件模板，进而确定证件图像的证件类型。
本发明证件的识别装置的另一个实施例，在上述各实施例的基础上，检测识别单元32，包括：
检测模块，用于利用第一神经网络对待识别图像中证件图像进行特征提取，基于得到的特征获得证件图像中的文本框和文本框的位置；
识别模块，用于利用第二神经网络对获得的文本框进行文字识别，得到文本框中的文字内容。
在本实施例中，分别通过两个神经网络对证件图像进行文本框检测和文字内容识别，检测文本框的过程即通过神经网络获得文本内容位置的过程；获得文本框和文本框位置后，通过第二神经网络将文字内容进行识别，获得文本框中的文字内容。
在本发明证件的识别装置上述实施例的一个具体示例中，检测模块，具体用于通过预设的候选区域在得到的特征图上移动，基于候选区域中包括的所有像素均预测为文字的候选区域获得文本框；候选区域包括预设的固定宽度和可变高度；基于包括的所有像素均预测为文字的候选区域确定获得的文本框的坐标，根据文本框的坐标确定文本框的位置。
在本发明证件的识别装置上述实施例的一个具体示例中，检测识别单元，还包括：
剪裁模块，用于基于文本框的位置将文本框从证件图像中剪裁出来，得到文本图像；
缩放模块，用于在宽高比不变的基础上，将文本图像进行缩放得到缩放后的文本图像；缩放后的文本图像高度为设定高度值，且宽度大于或等于设定宽度值；或者，缩放后的文本图像宽度为设定宽度值，且高度大于或等于设定高度值。
在本发明证件的识别装置上述实施例的一个具体示例中，识别模块，包括：
图像处理模块，用于利用第二神经网络将缩放后的文本图像处理为高度为1的特征图；
解码模块，用于基于CTC连续时序分类模型对特征图进行解码，得到长度对应特征图宽度的标签序列；
内容识别模块，用于基于标签序列获得文本图像中的文字内容；标签序列包括至少一个标签，每个标签用于表示一个文字。
在本发明证件的识别装置上述实施例的一个具体示例中，内容识别模块，具体用于基于空格将标签序列分割为至少两个子序列，将子序列中连续的相同标签合并为一个标签；基于每个子序列中的标签获得对应的文字内容；按子序列的顺序连接获得的文字内容，得到文本图像中的文字内容。
本发明证件的识别装置的又一个实施例，在上述各实施例的基础上，还包括：
证件识别单元，用于利用第三神经网络和第四神经网络对待识别图像进行处理，获得待识别图像中的证件图像。
在本实施例中，对于一个待处理图像中包括一个或两个以上证件图像的情况，首先需要通过第三神经网络和第四神经网络对待识别图像进行处理，识别出待处理图像中的所有证件图像，并确定所有证件图像的位置坐标，以便后续对每个证件图像的类型进行识别。
在本发明证件的识别装置上述各实施例的一个具体示例中，证件识别单元，包括：
备选证件模块，用于经第三神经网络对待识别图像进行特征提取，基于提取到的特征图获取设定大小的备选区域；备选区域与证件模板框的大小相适配，证件模板框标注有证件类型；
证件获取模块，用于基于第四神经网络从备选区域中获取证件图像；证件图像与预先标注的证件模板框的交并比大于预设阈值。
在本发明证件的识别装置上述各实施例的一个具体示例中，证件获取模块，具体用于基于第四神经网络计算备选区域与预先标注的证件模板框的交并比，获取与证件模板框交并比大于预设阈值的备选区域；基于证件模板框对获取的备选区域进行范数回归，将回归后的备选区域作为证件图像。
在本发明证件的识别装置上述各实施例的一个具体示例中，证件识别单元，还用于对证件图像进行特征提取，基于提取的特征对证件图像进行范数回归，获得证件图像的顶点坐标。
本发明证件的识别装置的还一个实施例，在上述各实施例的基础上，还包括：
转正单元，用于基于证件图像的位置坐标对获得的证件图像进行转正处理，得到平铺证件图像。
本实施例中，基于获得的证件图像的顶点坐标可以确定当前证件图像是否需要转正，通过位置坐标对证件图像进行转正，使本实施例适用范围更广，克服了现有技术中需要对证件对齐拍摄的问题，对于扭曲或倾斜的证件实现自动转正，使得文字方向均为水平方向。
在本发明证件的识别装置上述各实施例的一个具体示例中，转正单元，具体用于基于证件图像的位置坐标获得证件图像的顶点坐标；基于获得的证件图像的顶点坐标进行投影变换实现对证件图像的转正处理。
在本发明证件的识别装置上述各实施例的一个具体示例中，转正单元，还用于基于证件图像的位置坐标获得证件图像的边框坐标，基于两个顶点坐标和顶点坐标之间的边框坐标获得证件图像的边框，计算边框的曲率；基于边框的曲率确定边框是否为曲线，将边框为曲线的证件图像处理为边框为直线的证件图像。
根据本发明实施例的一个方面，提供的一种电子设备，包括处理器，处理器包括本发明上述任一实施例所述的证件的识别装置。
根据本发明实施例的一个方面，提供的一种电子设备，包括：存储器，用于存储可执行指令；
以及处理器，用于与存储器通信以执行可执行指令从而完成本发明证件的识别方法上述任一实施例的操作。
根据本发明实施例的一个方面，提供的一种计算机存储介质，用于存储计算机可读取的指令，所述指令被执行时执行本发明证件的识别方法上述任一实施例的操作。
本发明实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图4，其示出了适于用来实现本申请实施例的终端设备或服务器的电子设备400的结构示意图：如图4所示，计算机***400包括一个或多个处理器、通信部等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)401，和/或一个或多个图像处理器(GPU)413等，处理器可以根据存储在只读存储器(ROM)402中的可执行指令或者从存储部分408加载到随机访问存储器(RAM)403中的可执行指令而执行各种适当的动作和处理。通信部412可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡。
处理器可与只读存储器402和/或随机访问存储器430中通信以执行可执行指令，通过总线404与通信部412相连、并经通信部412与其他目标设备通信，从而完成本申请实施例提供的任一项方法对应的操作，例如，将待识别图像输入神经网络；经神经网络获取待识别图像中各证件图像包括的文本框中的文字内容；将文本框中的文字内容与格式信息进行匹配；根据文本框中的文字内容匹配的格式信息，确认证件图像的证件类型。
此外，在RAM 403中，还可存储有装置操作所需的各种程序和数据。CPU401、ROM402以及RAM403通过总线404彼此相连。在有RAM403的情况下，ROM402为可选模块。RAM403存储可执行指令，或在运行时向ROM402中写入可执行指令，可执行指令使处理器401执行上述通信方法对应的操作。输入/输出(I/O)接口405也连接至总线404。通信部412可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。
以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。
需要说明的，如图4所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图4的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信部可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本发明公开的保护范围。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本申请实施例提供的方法步骤对应的指令，例如，将待识别图像输入神经网络；经神经网络获取待识别图像中各证件图像包括的文本框中的文字内容；将文本框中的文字内容与格式信息进行匹配；根据文本框中的文字内容匹配的格式信息，确认证件图像的证件类型。在这样的实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时，执行本申请的方法中限定的上述功能。
可能以许多方式来实现本发明的方法和装置、设备。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和装置、设备。用于方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (31)

1.一种证件的识别方法，其特征在于，包括：
经第三神经网络对待识别图像进行特征提取，基于提取到的特征图获取设定大小的备选区域；所述备选区域与证件模板框的大小相适配，所述证件模板框标注有证件类型；
基于第四神经网络从所述备选区域中获取证件图像；所述证件图像与所述预先标注的证件模板框的交并比大于预设阈值，获得所述待识别图像中的证件图像；
将所述待识别图像输入第五神经网络；所述待识别图像中包括至少一个证件图像，每个所述证件图像包括至少一个格式信息，所述格式信息用于识别对应类型的证件图像；
经所述第五神经网络获取所述待识别图像中各证件图像包括的文本框中的文字内容；
将所述文本框中的文字内容与格式信息进行匹配；
根据所述文本框中的文字内容匹配的格式信息，确认所述证件图像的证件类型。
2.根据权利要求1所述的方法，其特征在于，将所述文本框中的文字内容与格式信息进行匹配，包括：
基于所述证件图像中已知的格式信息，获得分别对应各所述格式信息的正则表达式；
将各所述文本框中的文字内容分别与所述获得的正则表达式进行匹配。
3.根据权利要求1所述的方法，其特征在于，根据所述文本框中的文字内容匹配的格式信息，确认所述证件图像的证件类型，包括：
根据匹配的格式信息获取所述证件图像中包括信息的种类和位置；
通过所述获取的信息的种类和位置与证件模板进行匹配，根据所述匹配的证件模板确定所述证件图像的类型；所述证件模板包括设定种类和位置的格式信息。
4.根据权利要求3所述的方法，其特征在于，所述根据匹配的格式信息获取所述证件图像中包括信息的种类和位置，包括：
根据与所述文本框中的文字内容匹配的格式信息获得所述文本框包括的信息的种类，根据所述文本框在所述证件图像中的位置获得所述信息的位置。
5.根据权利要求1-4任一所述的方法，其特征在于，经所述第五神经网络获取所述待识别图像中各证件图像包括的文本框中的文字内容，包括：
利用第一神经网络对所述待识别图像中证件图像进行特征提取，基于得到的特征获得所述证件图像中的文本框和所述文本框的位置；
利用第二神经网络对所述获得的文本框进行文字识别，得到所述文本框中的文字内容。
6.根据权利要求5所述的方法，其特征在于，基于得到的特征获得所述证件图像中的文本框和所述文本框的位置，包括：
通过预设的候选区域在所述得到的特征图上移动，基于候选区域中包括的所有像素均预测为文字的所述候选区域获得文本框；所述候选区域包括预设的固定宽度和可变高度；
基于所述包括的所有像素均预测为文字的候选区域确定所述获得的文本框的坐标，根据所述文本框的坐标确定所述文本框的位置。
7.根据权利要求5所述的方法，其特征在于，所述利用第二神经网络对所述获得的文本框进行文字识别之前，还包括：
基于所述文本框的位置将所述文本框从所述证件图像中剪裁出来，得到文本图像；
在宽高比不变的基础上，将所述文本图像进行缩放得到缩放后的文本图像；所述缩放后的文本图像高度为设定高度值，且宽度大于或等于设定宽度值；或者，所述缩放后的文本图像宽度为设定宽度值，且高度大于或等于设定高度值。
8.根据权利要求7所述的方法，其特征在于，所述利用第二神经网络对所述获得的文本框进行文字识别，包括：
利用第二神经网络将所述缩放后的文本图像处理为高度为1的特征图；
基于CTC连续时序分类模型对所述特征图进行解码，得到长度对应所述特征图宽度的标签序列；
基于所述标签序列获得所述文本图像中的文字内容；所述标签序列包括至少一个标签，每个所述标签用于表示一个文字。
9.根据权利要求8所述的方法，其特征在于，基于所述标签序列获得所述文本图像中的文字内容，包括：
基于空格将所述标签序列分割为至少两个子序列，将所述子序列中连续的相同标签合并为一个标签；
基于每个所述子序列中的标签获得对应的文字内容；
按所述子序列的顺序连接所述获得的文字内容，得到所述文本图像中的文字内容。
10.根据权利要求1所述的方法，其特征在于，所述基于第四神经网络从所述备选区域中获取证件图像，包括：
基于第四神经网络计算所述备选区域与所述预先标注的证件模板框的交并比，获取与所述证件模板框交并比大于预设阈值的所述备选区域；
基于所述证件模板框对所述获取的备选区域进行范数回归，将回归后的备选区域作为证件图像。
11.根据权利要求1所述的方法，其特征在于，获得所述待识别图像中的证件图像之后，还包括：
对所述证件图像进行特征提取，基于提取的特征对所述证件图像进行范数回归，获得所述证件图像的顶点坐标。
12.根据权利要求1所述的方法，其特征在于，所述将待识别图像输入第五神经网络之前，还包括：
基于所述证件图像的位置坐标对所述获得的证件图像进行转正处理，得到平铺证件图像。
13.根据权利要求12所述的方法，其特征在于，基于所述证件图像的位置坐标对所述获得的证件图像进行转正处理，包括：
基于所述证件图像的位置坐标获得所述证件图像的顶点坐标；
基于获得的所述证件图像的顶点坐标进行投影变换实现对证件图像的进行转正处理。
14.根据权利要求13所述的方法，其特征在于，基于所述证件图像的位置坐标获得所述证件图像的顶点坐标之后，还包括：
基于所述证件图像的位置坐标获得所述证件图像的边框坐标，基于两个顶点坐标和顶点坐标之间的边框坐标获得所述证件图像的边框，计算所述边框的曲率；
基于所述边框的曲率确定所述边框是否为曲线，将所述边框为曲线的证件图像处理为边框为直线的证件图像。
15.一种证件的识别装置，其特征在于，包括：
证件识别单元，包括：备选证件模块和证件获取模块；所述备选证件模块，用于经第三神经网络对待识别图像进行特征提取，基于提取到的特征图获取设定大小的备选区域；所述备选区域与证件模板框的大小相适配，所述证件模板框标注有证件类型；
所述证件获取模块，用于基于第四神经网络从所述备选区域中获取证件图像；所述证件图像与所述预先标注的证件模板框的交并比大于预设阈值；
输入单元，用于将所述待识别图像输入第五神经网络；所述待识别图像中包括至少一个证件图像，每个所述证件图像包括至少一个具有格式信息，所述格式信息用于识别对应类型的证件图像；
检测识别单元，用于经所述第五神经网络获取所述待识别图像中各证件图像包括的文本框中的文字内容；
匹配单元，用于将所述文本框中的文字内容与格式信息进行匹配；
类型判断单元，用于根据所述文本框中的文字内容匹配的格式信息，确认所述证件图像的证件类型。
16.根据权利要求15所述的装置，其特征在于，所述匹配单元，具体用于基于所述证件图像中已知的格式信息，获得分别对应各所述格式信息的正则表达式；将各所述文本框中的文字内容分别与所述获得的正则表达式进行匹配。
17.根据权利要求15所述的装置，其特征在于，所述类型判断单元，包括：
信息判断模块，用于根据匹配的格式信息获取所述证件图像中包括信息的种类和位置；
模板匹配模块，用于通过所述获取的信息的种类和位置与证件模板进行匹配，根据所述匹配的证件模板确定所述证件图像的类型；所述证件模板包括设定种类和位置的格式信息。
18.根据权利要求17所述的装置，其特征在于，所述信息判断模块，具体用于根据与所述文本框中的文字内容匹配的格式信息获得所述文本框包括的信息的种类，根据所述文本框在所述证件图像中的位置获得所述信息的位置。
19.根据权利要求15-18任一所述的装置，其特征在于，所述检测识别单元，包括：
检测模块，用于利用第一神经网络对所述待识别图像中证件图像进行特征提取，基于得到的特征获得所述证件图像中的文本框和所述文本框的位置；
识别模块，用于利用第二神经网络对所述获得的文本框进行文字识别，得到所述文本框中的文字内容。
20.根据权利要求19所述的装置，其特征在于，所述检测模块，具体用于通过预设的候选区域在所述得到的特征图上移动，基于候选区域中包括的所有像素均预测为文字的所述候选区域获得文本框；所述候选区域包括预设的固定宽度和可变高度；基于所述包括的所有像素均预测为文字的候选区域确定所述获得的文本框的坐标，根据所述文本框的坐标确定所述文本框的位置。
21.根据权利要求20所述的装置，其特征在于，所述检测识别单元，还包括：
剪裁模块，用于基于所述文本框的位置将所述文本框从所述证件图像中剪裁出来，得到文本图像；
缩放模块，用于在宽高比不变的基础上，将所述文本图像进行缩放得到缩放后的文本图像；所述缩放后的文本图像高度为设定高度值，且宽度大于或等于设定宽度值；或者，所述缩放后的文本图像宽度为设定宽度值，且高度大于或等于设定高度值。
22.根据权利要求21所述的装置，其特征在于，所述识别模块，包括：
图像处理模块，用于利用第二神经网络将所述缩放后的文本图像处理为高度为1的特征图；
解码模块，用于基于CTC连续时序分类模型对所述特征图进行解码，得到长度对应所述特征图宽度的标签序列；
内容识别模块，用于基于所述标签序列获得所述文本图像中的文字内容；所述标签序列包括至少一个标签，每个所述标签用于表示一个文字。
23.根据权利要求22所述的装置，其特征在于，所述内容识别模块，具体用于基于空格将所述标签序列分割为至少两个子序列，将所述子序列中连续的相同标签合并为一个标签；基于每个所述子序列中的标签获得对应的文字内容；按所述子序列的顺序连接所述获得的文字内容，得到所述文本图像中的文字内容。
24.根据权利要求15所述的装置，其特征在于，所述证件获取模块，具体用于基于第四神经网络计算所述备选区域与所述预先标注的证件模板框的交并比，获取与所述证件模板框交并比大于预设阈值的所述备选区域；基于所述证件模板框对所述获取的备选区域进行范数回归，将回归后的备选区域作为证件图像。
25.根据权利要求15所述的装置，其特征在于，所述证件识别单元，还用于对所述证件图像进行特征提取，基于提取的特征对所述证件图像进行范数回归，获得所述证件图像的顶点坐标。
26.根据权利要求25所述的装置，其特征在于，还包括：
转正单元，用于基于所述证件图像的位置坐标对所述获得的证件图像进行转正处理，得到平铺证件图像。
27.根据权利要求26所述的装置，其特征在于，所述转正单元，具体用于基于所述证件图像的位置坐标获得所述证件图像的顶点坐标；基于获得的所述证件图像的顶点坐标进行投影变换实现对证件图像的转正处理。
28.根据权利要求27所述的装置，其特征在于，所述转正单元，还用于基于所述证件图像的位置坐标获得所述证件图像的边框坐标，基于两个顶点坐标和顶点坐标之间的边框坐标获得所述证件图像的边框，计算所述边框的曲率；基于所述边框的曲率确定所述边框是否为曲线，将所述边框为曲线的证件图像处理为边框为直线的证件图像。
29.一种电子设备，其特征在于，包括处理器，所述处理器包括权利要求15至28任意一项所述的证件的识别装置。
30.一种电子设备，其特征在于，包括：存储器，用于存储可执行指令；
以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成权利要求1至14任意一项所述证件的识别方法的操作。
31.一种计算机存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行权利要求1至14任意一项所述证件的识别方法的操作。
CN201711050768.XA 2017-10-31 2017-10-31 证件的识别方法和装置、电子设备、计算机存储介质 Active CN108229299B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711050768.XA CN108229299B (zh) 2017-10-31 2017-10-31 证件的识别方法和装置、电子设备、计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711050768.XA CN108229299B (zh) 2017-10-31 2017-10-31 证件的识别方法和装置、电子设备、计算机存储介质

Publications (2)

Publication Number Publication Date
CN108229299A CN108229299A (zh) 2018-06-29
CN108229299B true CN108229299B (zh) 2021-02-26

Family

ID=62654922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711050768.XA Active CN108229299B (zh) 2017-10-31 2017-10-31 证件的识别方法和装置、电子设备、计算机存储介质

Country Status (1)

Country Link
CN (1) CN108229299B (zh)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109034165B (zh) * 2018-07-06 2022-03-01 北京中安未来科技有限公司 一种证件图像的裁切方法、装置、***及存储介质
CN109284750A (zh) * 2018-08-14 2019-01-29 北京市商汤科技开发有限公司 票据识别方法及装置、电子设备及存储介质
CN109325494B (zh) * 2018-08-27 2021-09-17 腾讯科技（深圳）有限公司 图片处理方法、任务数据处理方法和装置
CN109389038A (zh) 2018-09-04 2019-02-26 阿里巴巴集团控股有限公司 一种信息的检测方法、装置及设备
CN109409421B (zh) * 2018-10-09 2021-12-07 杭州诚道科技股份有限公司 基于卷积神经网络的机动车、驾驶人档案图像识别方法
CN109389118A (zh) * 2018-10-09 2019-02-26 河南八六三软件股份有限公司 基于ocr的证件信息识别采集方法
CN109359647A (zh) * 2018-10-16 2019-02-19 翟红鹰 识别多种证件的方法、设备及计算机可读存储介质
CN109583438B (zh) * 2018-10-17 2019-11-08 龙马智芯（珠海横琴）科技有限公司 电子图像的文字的识别方法及图像处理装置
CN111144400B (zh) * 2018-11-06 2024-03-29 北京金山云网络技术有限公司 身份证信息的识别方法、装置、终端设备及存储介质
CN111325194B (zh) * 2018-12-13 2023-12-29 杭州海康威视数字技术股份有限公司 一种文字识别方法、装置及设备、存储介质
CN109344815B (zh) * 2018-12-13 2021-08-13 深源恒际科技有限公司 一种文档图像分类方法
CN109934219B (zh) * 2019-01-23 2021-04-13 成都数之联科技有限公司 一种判断网络餐饮商家证照缺失的方法
CN111783756B (zh) * 2019-04-03 2024-04-16 北京市商汤科技开发有限公司 文本识别方法及装置、电子设备和存储介质
CN110321895A (zh) * 2019-04-30 2019-10-11 北京市商汤科技开发有限公司 证件识别方法和装置、电子设备、计算机可读存储介质
CN110222695B (zh) * 2019-06-19 2021-11-02 拉扎斯网络科技（上海）有限公司 一种证件图片处理方法及装置、介质、电子设备
CN110427819B (zh) * 2019-06-26 2022-11-29 深圳职业技术学院 一种识别图像中ppt边框的方法及相关设备
CN112183513B (zh) * 2019-07-03 2023-09-05 杭州海康威视数字技术股份有限公司 一种图像中文字的识别方法、装置、电子设备及存储介质
CN110363199A (zh) * 2019-07-16 2019-10-22 济南浪潮高新科技投资发展有限公司 基于深度学习的证件图像文本识别方法及***
CN110427909B (zh) * 2019-08-09 2023-04-28 连连银加信息技术有限公司 一种移动端驾驶证检测方法、***及电子设备和存储介质
CN110378328B (zh) * 2019-09-16 2019-12-13 图谱未来(南京)人工智能研究院有限公司 一种证件图像处理方法及装置
CN110647881B (zh) * 2019-09-19 2023-09-05 腾讯科技（深圳）有限公司 确定图像对应的卡片类型的方法、装置、设备及存储介质
CN112560834B (zh) * 2019-09-26 2024-05-10 武汉金山办公软件有限公司 一种坐标预测模型生成方法、装置及图形识别方法、装置
CN110942061A (zh) * 2019-10-24 2020-03-31 泰康保险集团股份有限公司 文字识别方法、装置、设备和计算机可读介质
CN111046736B (zh) * 2019-11-14 2021-04-16 北京房江湖科技有限公司 一种提取文本信息的方法、装置和存储介质
US11275934B2 (en) * 2019-11-20 2022-03-15 Sap Se Positional embeddings for document processing
CN111178346B (zh) * 2019-11-22 2023-12-08 京东科技控股股份有限公司 文字区域的定位方法、装置、设备及存储介质
CN112861836B (zh) * 2019-11-28 2022-04-22 马上消费金融股份有限公司 文本图像处理方法、文本及卡证图像质量评价方法和装置
CN110929725B (zh) * 2019-12-06 2023-08-29 深圳市碧海扬帆科技有限公司 证件分类方法、装置及计算机可读存储介质
CN111243159A (zh) * 2020-01-20 2020-06-05 支付宝实验室(新加坡)有限公司 伪造证件的识别方法、装置及电子设备
CN113111228A (zh) * 2020-02-13 2021-07-13 北京明亿科技有限公司 基于正则表达式的接处警文本车牌号码提取方法和装置
CN111414816B (zh) * 2020-03-04 2024-03-08 东软医疗***股份有限公司 信息提取方法、装置、设备和计算机可读存储介质
CN111639648B (zh) * 2020-05-26 2023-09-19 浙江大华技术股份有限公司 证件识别方法、装置、计算设备和存储介质
CN111860480B (zh) * 2020-06-30 2021-11-09 湖南三湘银行股份有限公司 一种基于多识别参量的网上银行服务方法
CN112001331B (zh) * 2020-08-26 2024-06-18 上海高德威智能交通***有限公司 图像识别方法、装置、设备及存储介质
CN112016438B (zh) * 2020-08-26 2021-08-10 北京嘀嘀无限科技发展有限公司 一种基于图神经网络识别证件的方法及***
CN112580499A (zh) * 2020-12-17 2021-03-30 上海眼控科技股份有限公司 文本识别方法、装置、设备及存储介质
CN112434197A (zh) * 2021-01-27 2021-03-02 博智安全科技股份有限公司 文本内容的逆向提取方法、装置、设备及存储介质
CN112818823B (zh) * 2021-01-28 2024-04-12 金科览智科技(北京)有限公司 一种基于票据内容和位置信息的文本抽取方法
CN113239910B (zh) * 2021-07-12 2021-11-09 平安普惠企业管理有限公司 证件识别方法、装置、设备及存储介质
CN114005131A (zh) * 2021-11-02 2022-02-01 京东科技信息技术有限公司 一种证件文字识别方法及装置
CN113920513B (zh) * 2021-12-15 2022-04-19 中电云数智科技有限公司 基于自定义通用模板的文本识别方法及设备
CN114332865B (zh) * 2022-03-11 2022-06-03 北京锐融天下科技股份有限公司 一种证件ocr识别方法及***
CN116403203B (zh) * 2023-06-06 2023-08-29 武汉精臣智慧标识科技有限公司 一种标签生成方法、***、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102637180A (zh) * 2011-02-14 2012-08-15 汉王科技股份有限公司 基于正则表达式的文字后处理方法和装置
CN104933034A (zh) * 2014-03-20 2015-09-23 无锡伍新网络科技有限公司 个人填表信息辅助翻译方法及装置
CN105809164A (zh) * 2016-03-11 2016-07-27 北京旷视科技有限公司 文字识别方法和装置
CN106056114A (zh) * 2016-05-24 2016-10-26 腾讯科技（深圳）有限公司 名片内容识别方法和装置
CN106203454A (zh) * 2016-07-25 2016-12-07 重庆中科云丛科技有限公司 证件版式分析的方法及装置
CN106446899A (zh) * 2016-09-22 2017-02-22 北京市商汤科技开发有限公司 文字检测方法和装置、及文字检测训练方法和装置
CN106778525A (zh) * 2016-11-25 2017-05-31 北京旷视科技有限公司 身份认证方法和装置
CN107292823A (zh) * 2017-08-20 2017-10-24 平安科技（深圳）有限公司 电子装置、***分类的方法及计算机可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8406480B2 (en) * 2009-02-17 2013-03-26 International Business Machines Corporation Visual credential verification

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102637180A (zh) * 2011-02-14 2012-08-15 汉王科技股份有限公司 基于正则表达式的文字后处理方法和装置
CN104933034A (zh) * 2014-03-20 2015-09-23 无锡伍新网络科技有限公司 个人填表信息辅助翻译方法及装置
CN105809164A (zh) * 2016-03-11 2016-07-27 北京旷视科技有限公司 文字识别方法和装置
CN106056114A (zh) * 2016-05-24 2016-10-26 腾讯科技（深圳）有限公司 名片内容识别方法和装置
CN106203454A (zh) * 2016-07-25 2016-12-07 重庆中科云丛科技有限公司 证件版式分析的方法及装置
CN106446899A (zh) * 2016-09-22 2017-02-22 北京市商汤科技开发有限公司 文字检测方法和装置、及文字检测训练方法和装置
CN106778525A (zh) * 2016-11-25 2017-05-31 北京旷视科技有限公司 身份认证方法和装置
CN107292823A (zh) * 2017-08-20 2017-10-24 平安科技（深圳）有限公司 电子装置、***分类的方法及计算机可读存储介质

Also Published As

Publication number Publication date
CN108229299A (zh) 2018-06-29

Similar Documents

Publication Publication Date Title
CN108229299B (zh) 证件的识别方法和装置、电子设备、计算机存储介质
US11314969B2 (en) Semantic page segmentation of vector graphics documents
CN108229303B (zh) 检测识别和检测识别网络的训练方法及装置、设备、介质
CN109829453B (zh) 一种卡证中文字的识别方法、装置以及计算设备
CN108304775B (zh) 遥感图像识别方法、装置、存储介质以及电子设备
CN108229341B (zh) 分类方法和装置、电子设备、计算机存储介质
CN112016438B (zh) 一种基于图神经网络识别证件的方法及***
CN110866495A (zh) 票据图像识别方法及装置和设备、训练方法和存储介质
US10423827B1 (en) Image text recognition
CN110942074B (zh) 字符切分识别方法、装置、电子设备、存储介质
CN111080660A (zh) 一种图像分割方法、装置、终端设备及存储介质
CN110598703B (zh) 一种基于深度神经网络的ocr识别方法及装置
CN112749695A (zh) 文本识别的方法和装置
CN113158895A (zh) 票据识别方法、装置、电子设备及存储介质
CN112686243A (zh) 智能识别图片文字的方法、装置、计算机设备及存储介质
CN112818852A (zh) ***校验方法、装置、设备及存储介质
JP7320570B2 (ja) 画像を処理するための方法、装置、機器、媒体およびプログラム
CN106663212B (zh) 文字识别装置、文字识别方法以及计算机可读存储介质
CN114140649A (zh) 票据分类方法、票据分类装置、电子设备和存储介质
CN112651399B (zh) 检测倾斜图像中同行文字的方法及其相关设备
CN108230332B (zh) 文字图像的处理方法和装置、电子设备、计算机存储介质
CN114022891A (zh) 扫描文本的关键信息提取方法、装置、设备及存储介质
CN112381458A (zh) 项目评审方法、项目评审装置、设备及存储介质
CN112418206A (zh) 基于位置检测模型的图片分类方法及其相关设备
CN115984588A (zh) 图像背景相似度分析方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant