CN111738979B - 证件图像质量自动检查方法及*** - Google Patents

Abstract

本发明涉及一种证件图像质量自动检查方法，属于图像处理领域。该方法包括：输入证件图像，在证件图像中定位出证件区域；通过透视变换对证件区域图像进行校正；对校正后证件图像的内容进行可识别性判定，如可识别，输出识别内容后进行下一步；如不可识别，直接输出质量检查结果；根据不同质量检查指标并根据指标真假值判断，对校正后证件图像进行质量检查指标分类并输出二分类结果；输出证件图像质量检查结果。本发明技术方案保证了效率和质量，特别是图像质检的稳定性。

Description

证件图像质量自动检查方法及***

技术领域

本发明涉及图像处理领域，尤其是一种证件图像质量自动检查方法及***。

背景技术

随着互联网金融的发展，身份证作为业务办理中的重要证件，在***网上业务的时候都需要上传本人有效身份证，进行身份查验和图像留底。

但是上传的身份证图像由于是个人在移动端或者是PC网页端上传的，采集设备主要是手机、PAD、高拍仪、扫描仪等等，其中由于操作不规范、设备多样性、光照负责等等，导致上传的图像存在诸多问题，导致不符合监管部门的要求，为业务开展增加风险。银行、保险、证券等网金部门投入很大的人力、物力进行人工质检。

正常的身份证图像如图1所示(出于保护个人隐私目的，证件信息不是真实的)。

异常的身份证图像如图2所示有如下几种：假证、复印件、翻拍、裁边、水印、反光、遮挡等情况。

发明介绍

针对业务需求，发明人分析了身份证上传影像存在的7中常见问题，假证、复印件、翻拍、裁边、水印、反光、遮挡等，提出了一种证件图像质量自动检查方法及***。通过我们的自动算法，可以解决99％的人工质检的问题，降低至少80％以上的工作量，仅算法不确定的或者存可信度比较低的图像才需要人工介入，保证了效率和质量，特别是图像质检的稳定性。

根据本发明的第一方面，提供一种证件图像质量自动检查方法，所述证件图像包括证件区域，其特征在于，所述方法包括：

步骤1：输入证件图像，在证件图像中定位出证件区域；

步骤2：通过透视变换对证件区域图像进行校正；

步骤3：对校正后证件图像的内容进行可识别性判定，如可识别，输出识别内容后进行步骤4；如不可识别，直接输出质量检查结果；

步骤4：根据不同质量检查指标并根据指标真假值判断，对校正后证件图像进行质量检查指标分类并输出二分类结果；

步骤5：输出证件图像质量检查结果。

进一步的，所述证件图像包括但不限于身份证图像、户口簿图像、社保卡图像、驾驶证图像等。

进一步的，步骤1中，对证件区域进行定位的具体方法如下：

对证件区域边缘的四个点的坐标拟合，据此定位证件区域；

或，采用第一UNet型实例分割全卷积神经网络得到证件区域的掩膜(Mask)，然后进行边界拟合，据此定位证件区域。

进一步的，步骤2具体为：

对证件区域的四边形进行透视变换，得到校正后证件图像。

进一步的，步骤3具体包括：

步骤31：将校正后证件图像送入第二UNet型实例分割全卷积神经网络，分割出文字区域；

步骤32：基于整行文字识别技术通过预训练的整行文字识别模型对文字区域内的文本行内容进行识别；

步骤33：如可识别，对识别出来的每一行文字，按照版式关系、关键字和内容进行结构化，得到结构化的识别内容；如不可识别，直接输出质量检查结果。

进一步的，所述步骤32中，所述整行文字识别技术为基于CRNN网络的整行文字识别技术。

进一步的，对整行文字识别模型进行预训练过程如下：

输入文字识别模型图片训练集，标注文字区域对应的文本信息，无需标注字符分割信息，直接送入CRNN网络，采用CTC技术计算Loss，进行梯度更新，得到预训练的整行识别神经网络模型。

进一步的，步骤4具体包括：

步骤41：对校正后证件图像进行归一化处理后，进行图像特征提取；

步骤42：根据不同质量检查指标，并基于提取的图像特征进行指标真假值判断，对校正后证件区域图像进行质量检查指标分类并输出二分类结果。

进一步的，步骤4中，所述质量检查指标分类包括但不限于：是否为真实证件、是否为复印件、是否为翻拍件、是否有水印、是否有反光区域/光斑、证件边缘是否完整。

进一步的，步骤4中，所述二分类结果包括但不限于：

是真实证件、不是真实证件；是复印件、不是复印件；是翻拍件、不是翻拍件；有水印、无水印；有裁边、无裁边；有反光区域/光斑、反光区域/光斑；证件图像有遮挡、证件图像无遮挡。

进一步的，所述步骤4还包括：如校正后证件图像有反光区域，则采用第三UNet型实例分割全卷积神经网络进行反光区域的分割和标注。

进一步的，

所述步骤4还包括：如校正后证件图像有遮挡，则继续进行以下判断：

输入证件图像有遮挡的校正后证件区域图像并进行归一化处理；

采用第四UNet型实例分割全卷积神经网络得到证件区域的掩膜；

获取掩膜的边缘，对边缘进行分析得到线段；

对线段进行平滑处理得到线带凸包；

分析线带凸包，确定是否满足凸多边形，如不满足，对遮挡位置进行定位；

输出分析结果。

进一步的，所述第一、第二、第三以及第四UNet型实例分割全卷积神经网络相同。

进一步的，所述第一、第二、第三以及第四UNet型实例分割全卷积神经网络彼此不同。

根据本发明的第二方面，提供一种证件图像质量自动检查***，所述***包括：处理器和用于存储可执行指令的存储器；其中，所述处理器被配置为执行所述可执行指令，以执行如以上任一方面所述的证件图像质量自动检查方法。

根据本发明的第三方面，提供一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如以上任一方面所述的证件图像质量自动检查方法。

本发明的有益效果：

本发明通过机器自动算法完成身份证图像质量检查，降低人工成本，提高图像质量检查速度，保证图像质量检查质量稳定。

可以被用于互联网金融领域，比如手机银行开户、网上购买保险、网上证券开户等等领域。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1示出现有技术中正常身份证图像；

图2示出现有技术中各种异常身份证图像情况；

图3示出根据本发明实施例的证件图像质量自动检查方法流程图；

图4示出根据本发明实施例的定位结果图；

图5示出根据本发明实施例的透视变换效果图；

图6示出根据本发明实施例的图像OCR结果；

图7示出根据本发明实施例的图像多分类和反光分割网络；

图8示出根据本发明实施例的光斑检测结果；

图9示出根据本发明实施例的身份证边缘遮挡判断流程；

图10示出根据本发明实施例的身份证边缘判断中间结果。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

本公开的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。

此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

多个，包括两个或者两个以上。

和/或，应当理解，对于本公开中使用的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

实施例

本实施例以身份证为例，提供了一种证件图像质量检查方法，整个流程图如图3所示。

各步骤介绍：

1、身份证区域定位

利用深度学习网络对身份证图像进行定位，定位到图像中身份证的区域，定位方法可以采用身份证边缘的四个点的坐标拟合，也可以采用图像分割的方法，得到身份证图像的mask(图4)。本文采用图像分割的方法得到mask，然后进行边界拟合，得到身份证的四边形区域，这种方法是一种经典的图像分割方法，主干网络简单而且可以达到像素级别的精度，为后续步骤提供高可靠的边界信息。相应的，可以根据分割神经网络给出四边形区域的类别(身份证人像面、身份证国徽面、其他非身份证)。

2、身份证图像透视变换

如图5所示，将四边形进行透视变换，得到校正后的身份证图像，称作校正后证件图像。透视变换是一种比较成熟和经典的算法，可采用图像处理教科书中有相关的原理和算法实现，在此不再赘述。

3、身份证内容识别

通过身份证OCR模块，识别身份证上的内容并结构化：

步骤301：将校正后证件图像送入实例分割全卷积神经网络FCN。

整个实例分割网络采用一个UNet型网络设计，先通过一个5层的卷积层，进行图像的特征提取，然后上采样并融合上一层的卷积结果，最后得到一个1/2(可以根据分割的目标不同，选择不同的尺度如1,1/2，1/4，1/8等)图像大小的64位特征图Featuremap，根据分割的需求，输出不同的分数图(scoresmap)：

1)输出一个文字方向分数图(Direction scoresmap)，每一个像素所在视野区域内文字的方向信息，归一化在[0，1]，对应[0，2π]的角度。

2)输出文本实例对象分割图Objectmap，即文本实例对象分数图(scoresmap)。输出值的取值范围在[0，1]。

3)输出8紧邻方向的链接信息——称作八邻域像素链接图Linkmap，每一个方向上2个scoresmap，对应正链接(Pos-Link)和负链接(Neg-Link)，输出值也是经过softmax之后的，取值范围在[0,1]之间。

实例分割全卷积神经网络FCN的训练过程如下：

1)样本标注

所有的实例对象都采用矢量线段来表述，对于线条使用有线线段和线宽描述，对于实例如文字等，采用多边形进行描述；对于文字方向，则标记每一个字符矩形框内为一个方向，字符方向为字头朝向，定义向上(正向)为0度角，一个字符框内的所有像素为一个方向。

2)训练过程

将样本集分为训练集和测试集，通过训练集对神经网络进行训练，得到全卷积神经网络的模型，然后通过测试集对模型进行测试，以确定算法的泛化能力，如果效果不佳则继续修改参数重新训练，直到训练的模型在测试集上能够达到预设的准确率。如果准确率不能满足要求，则继续增加训练样本，增加样本的多样性，重新进行训练，然后进行测试，如此循环。如此，输出准确率满足要求的全卷积神经网络模模型。

步骤302：通过深度学习网络进行整行文字识别；

步骤303：对识别出来的每一行文字，按照版式关系、关键字和内容进行结构化，最后得到识别结构化结果。图6是OCR识别结果。

4、校正后身份证图像真假、复印件、翻拍、裁边、水印、反光、遮挡等二分类

将校正图像进行归一化，然后输入神经网络进行图像的特征提取，然后进行全连接层输出分类信息；对于图像分类，技术上可以单独做分类，也可以复用前面的特征提取器，同时进行多个分类任务。本实施采用了最大化的复用，包括分类和分割，在分类网络输出端输出7分类，每个分类2个节点，总共输出2*7个节点，每两个节点代表一类输出。采用多任务分类的方法，而且采用了在原有的网络基础上输出对应的信息，一个是最大行的利用了网络，也是保证了网络的精度，提高了整个算法网络的间接性和精度。输出节点情况如表1所示，此处阈值设定为0.5，可以根据不同学习算法结果进行调整。

表1输出节点分配表格

	真	假
			真***	map[0]>0.5	map[1]>0.5
复印件	map[2]>0.5	map[3]>0.5
			翻拍	map[4]>0.5	map[5]>0.5
水印	map[6]>0.5	map[7]>0.5
			反光	map[8]>0.5	map[9]>0.5
遮挡	map[10]>0.5	map[11]>0.5
			裁边	map[12]>0.5	map[13]>0.5

如图7所示，分割的实现可采用UNet型网络设计的实例分割网络，先通过一个5层的卷积层，进行图像的特征提取，然后上采样并融合上一层的卷积结果，最后得到一个1/2(可以根据分割的目标不同，选择不同的尺度如1,1/2,1/4,1/8等)图像大小的64位特征图Featuremap，根据分割的需求，输出不同的分数图(scoresmap)。

5、校正后身份证图像反光区域提取

基于深度学习网络，分割出身份证图像上的反光区域，圈定反光区域轮廓。结果如图8所示。在本发明的方案中步骤4和步骤5的图像特征抽取部分可以通用相同的卷积层。具体如图7。当然，步骤4和5也可以采用各自自己的网络。

6、身份证原图身份证区域边缘遮挡分析

通过图1中的mask，或者重新采用更大尺度分割网络的mask。可以分析边缘是否残缺，来分析边缘是否被手指或者其他物体遮挡了。

步骤如图9所示：

输入证件图像有遮挡的校正后证件区域图像并进行归一化处理；

采用UNet型实例分割全卷积神经网络得到证件区域的掩膜；

获取掩膜的边缘，对边缘进行分析得到线段；

对线段进行平滑处理得到线带凸包；

分析线带凸包，确定是否满足凸多边形，如不满足，对遮挡位置进行定位，定位方式为：①按照身份证先寻找两条长边，看看是否能够找到；②如果能找到则继续找身份证的另外两条短边；③身份证四个1/4圆的倒角是否是正确外凸方向；从则3个方面来检查，查看是边的问题还是角的问题。

输出分析结果，如图10所示。

在这里复用了之前网络的输出，可以最大化的节省计算资源；通过在原图中上找到边缘信息，可以最大化的保留原始精度；同时通过凸包分析，能够快速的得到边缘是否有被遮挡，同时可以提取出遮挡边缘点精确位置；

7、返回身份证图像质量检查结果

根据客户需要返回身份证质检结果，xml或者json结构，包括之下表2内容或者其中的子级。

表2身份证质检检查结果集合

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (5)

1.一种证件图像质量自动检查方法，所述证件图像包括证件区域，其特征在于，所述方法包括：

步骤1：输入证件图像，在证件图像中定位出证件区域；

步骤2：通过透视变换对证件区域图像进行校正；

步骤3：对校正后证件图像的内容进行可识别性判定，如可识别，输出识别内容后进行步骤4；如不可识别，直接输出质量检查结果；

步骤4：根据不同质量检查指标并根据指标真假值判断，对校正后证件图像进行质量检查指标分类并输出二分类结果；

步骤5：输出证件图像质量检查结果，

其中，步骤4具体包括：

步骤41：对校正后证件图像进行归一化处理后，进行图像特征提取；

步骤42：根据不同质量检查指标，并基于提取的图像特征进行指标真假值判断，对校正后证件区域图像进行质量检查指标分类并输出二分类结果，

其中，所述质量检查指标分类包括但不限于：是否为真实证件、是否为复印件、是否为翻拍件、是否有水印、是否有反光区域/光斑、证件边缘是否完整；所述二分类结果包括但不限于：是真实证件、不是真实证件；是复印件、不是复印件；是翻拍件、不是翻拍件；有裁边、无裁边；有水印、无水印；有反光区域、无反光区域；证件图像有遮挡、证件图像无遮挡，

其中，所述步骤4还包括：如校正后证件图像有反光区域，则采用第三UNet型实例分割全卷积神经网络进行反光区域的分割和标注；

其中，所述步骤4还包括：如校正后证件图像有遮挡，则继续进行以下判断：

输入证件图像有遮挡的校正后证件区域图像并进行归一化处理；

采用第四UNet型实例分割全卷积神经网络得到证件区域的掩膜；

获取掩膜的边缘，对边缘进行分析得到线段；

对线段进行平滑处理得到线带凸包；

分析线带凸包，确定是否满足凸多边形，如不满足，对遮挡位置进行定位；

输出分析结果。

2.根据权利要求1所述的证件图像质量自动检查方法，其特征在于，步骤1中，对证件区域进行定位的具体方法如下：

对证件区域边缘的四个点的坐标拟合，据此定位证件区域；

或，采用第一UNet型实例分割全卷积神经网络得到证件区域的掩膜，然后进行边界拟合，据此定位证件区域。

3.根据权利要求1所述的证件图像质量自动检查方法，其特征在于，步骤3具体包括：

步骤31：将校正后证件图像送入第二UNet型实例分割全卷积神经网络，分割出文字区域；

步骤32：采用基于CRNN网络的整行文字识别技术通过预训练的整行文字识别模型对文字区域内的文本行内容进行识别；

步骤33：如可识别，对识别出来的每一行文字，按照版式关系、关键字和内容进行结构化，得到结构化的识别内容；如不可识别，直接输出“不可识别”的质量检查结果。

4.一种证件图像质量自动检查***，所述***包括：处理器和用于存储可执行指令的存储器；其中，所述处理器被配置为执行所述可执行指令，以执行如权利要求1至3任一项所述的证件图像质量自动检查方法。

5.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的证件图像质量自动检查方法。