CN112686248B - 证件增减类别检测方法、装置、可读存储介质和终端 - Google Patents

Abstract

本发明提供了一种证件增减类别检测方法、装置、可读存储介质和终端，方法首先存储器内存储多种类别证件的标准图片作为注册图片；其次，检测待检测证件，获得输入图片，对待输入图片经过图像处理；最后，处理的图片与注册图片对比，通过相似度确定检测图片的所属类别，以此对新增证件进行快速高效筛选确定类别。检测方案可以提高复杂拍摄场景下新增证件类别的判断准确度和效率，在安保、金融等领域可得到广泛应用。

Description

证件增减类别检测方法、装置、可读存储介质和终端

技术领域

本发明涉及信息检测或智能视觉技术领域，具体涉及一种证件增减类别检测方法、装置、可读存储介质和终端。

背景技术

对于证件图像识别，在安防、金融、企事业信息管理领域需要快速高效识别身份信息。早期的份证的信息大多需要人工录入，效率十分低下，而且长时间的识别过程也会使人眼疲劳，所以人工录入已经不适应于当今计算机等领域飞速发展的现状。

随着人工智能的兴起，图像识别技术逐步应用于安全、军事、医疗、智能交通等领域，人脸识别和指纹识别等技术越来越多的使用到公共安全、金融和航空航天等安全领域。在军事领域，图像识别主要应用于目标的侦查和识别，通过自动化的图像识别技术来进行敌方目标的识别并进行打击；在医疗领域，通过图像识别技术可以进行各类医学图像分析和诊断，一方面可以大大降低医疗的成本，另一方面也有助于提高医疗质量和效率；在交通领域不仅可以进行车牌识别，同时也可以应用到前沿的自动驾驶领域，实现对道路、车辆和行人的清晰识别，提高生活的便利并且降低人们出行成本。虽然已出现了自动识别或自动提取证件信息的技术，然而对于复杂场景，如证件在视觉内未对准、光照不均、外光场干扰、杂物覆盖等，导致证件轮廓与图像背景边界模糊，不利于证件边界的精确提取，从而导致证件号码检测效率降低或失败。为此也出现了一些解决方案如下。

传统方法：采用边缘检测算法，应用边缘检测算子定位证件边缘，应用边缘点直线拟合确定证件边缘直线与边缘直线交点信息从而确定证件偏转角度，对证件进行旋转，再应用图像处理方法检测证件号码位置，准确检测证件边缘点是该方法的核心步骤，而边缘检测算子对图像背景复杂程度要求较高，若图像背景前景区域梯度变化小，或背景区域存在大量边缘信息情况下，将导致证件边缘点检测失败，从而无法实现证件号码的检测。

深度学习方法：该方法在模型训练阶段应用大量标注数据对深度网络进行训练，拟合网络参数，实现OCR(Optical Character Recognition，光学字符识别)检测算法的建模，在模型预测阶段，将整张图像作为网络的输入，通过网络前向推理实现字符区域的检测。该方法为目前较为流行的字符检测方法，而对于证件号码检测任务，该方法存在如下缺陷(1)非证件区域图像也参加了网络推理过程，一方面浪费了计算资源，另一方面对于非证件区域存在做的字符存在误检测需要额外增加处理逻辑进行剔除；(2)该方案计算资源消耗较大，相比本提案训练和推理时间长；(3)因神经网络的不可解释行，该方法定位的字符区域边框存无法精确定位字符最小外接矩形框，甚至会切掉部分字符区域，即传统的证件图像光学识别(OCR)技术主要面向高清扫描的图像，该方法要求识别的图像拥有干净的背景、使用规范的印刷体并具有较高的分辨率。但是，自然场景中存在文本背景噪声大、文本分布不规范和自然光源影响等问题，OCR技术在实际自然场景中检测率并不理想，针对证件等证件识别给后面步骤的字符识别带来压力。

此外，虽然AI技术已经应用于各行各业，能够满足部分结合实际应用场景的需求，但随着待检测目标或待识别目标、如银行业中客户检测目标会不定期新增或者删除，出现检测目标增加时往往需要完成样本的采集、标注、模型训练、部署等工作，优化过程周期长、效率低下。

基于以上情况，证件(包含身份证、银行卡、工作证等)的智能检测及证件类别新增的检测中，不能根据实际应用场景的变化、检测目标的增减做出快速响应。即检测目标的增减变化、实际应用场景的多样化给现代证件识别提出了更高的要求。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种证件增减类别检测方法、装置、可读存储介质和终端，其能解决上述问题。

设计原理：首先存储器内存储多种类别证件的标准图片作为注册图片；其次，检测待检测证件，获得输入图片，对待输入图片经过图像处理；最后处理的图片与注册图片对比，通过相似度确定检测图片的所属类别，以此对新增证件进行快速高效筛选确定类别。

技术方案：本发明的目的采用以下技术方案实现。

一种证件增减类别检测方法，方法包括：第一步，证件初检，对于通过图像采集单元输入的图片利用深度学习模型寻找相应的潜在证件区域，得到一个初步且粗糙的证件区域掩膜；第二步，标准化，对第一步获得的粗糙掩膜进行精细化修正，得到高质量的证件区域掩膜，利用该掩膜在原图中提取证件区域，对于得到的证件照进行仿射矫正变换，将其变换为预设定的证件照尺寸，输出矫正证件图片；第三步，图像比对，将第二步输出的矫正证件图片与注册图片比对，判定输入图片所属类别并输出。

优选的，第一步的证件初检包括以下步骤：S11提取特征，输入图片后，将图片缩放为适合分割网络的输入图片大小，再用Unet网络模型对于输入数据提取深度特征，得到特征图；S12计算概率，对于特征图中的每个位置的特征进行二分类判断，求得每个位置的特征属于证件区域的概率值，得到属于证件区域的概率分布图；S13阈值截断，根据预先设定的阈值将概率分布图进行二值化，将大于阈值的概率设置为1，小于阈值的概率设置为0，获得0-1掩膜图；S14粗分割掩膜，将0-1掩膜图上采样至与原始输入同样大小的尺寸，得到一张初步的证件粗分割掩膜图；S15合法区域筛选，统计粗分割掩膜图中每个孤立的证件区域面积a，如果a≤μ-3σ,则认为该区域a为非法区域，从粗分割掩膜中剔除，以此通过合法区域筛选将部分错误区域进行过滤。其中，证件区域面积值分布服从正态分布，a≤μ-3σ出现的概率小于0.5％，当a出现a≤μ-3σ时则判断a值为异常值。μ代表证件区域面积分布的期望值；σ代表证件区域面积分布的标准差。

优选的，在第二步标准化中，对第一步经筛选后的掩膜图中的合法区域进行精细化掩膜修正，包括以下步骤：S21提取区域轮廓特征，轮廓特征是一张二值掩膜图，整体是一条闭合的不规则曲线，二值掩膜图不改变证件照矩形凸集的性质；S22求取轮廓凸包,在原始轮廓的基础上求取该轮廓的最小凸包，将部分分割缺失的区域进行填补，同时使轮廓边缘平滑；S23直线拟合，使用霍夫变换对凸包的多个线段组成的不规则凸多边形进行直线拟合，以对凸包进行描述；S24求取顶点，对直线拟合中的所有合法直线读取两两求取交点，以此寻找证件照四个顶点的分布范围，并且在求取顶点的过程中，对于两条直线平行的情况不做考虑；S25顶点合法筛选,设置筛选条件对于顶点进行合法性检查,筛选条件中设置了容忍值tol，横坐标[0-tol,width+tol]，纵坐标[0-tol,height+tol]定义为合法顶点坐标,其中width，height代表原始图像的宽度和高度，若某顶点的坐标超出了原始图像尺寸而没有超过tol，则将该顶点坐标纠正到原始图像边缘处，即：

其中，min(x_crosspoint,width)中x_crosspoint最大值不能超过原始图片width，max(min(x_crosspoint,width),0)最小值不能小于0；同理，min(y_crosspoint,height)将y_crosspoint最大值不能超过原始图片height，max(min(y_corsspoint,height),0)最小值不能小于0。

S26顶点聚类，对比标准银行卡存在四个顶点，根据已求得的所有合法顶点，通过无监督聚类算法K-means将所有顶点聚为四类，其中每一类的质心即为某一个顶点的坐标，共得到四个顶点坐标；S27顶点排序，为方便后续操作，通过以下步骤确定四个顶点的排序：1)根据四个顶点坐标求取中心点坐标；2)以中心点建立极坐标系，并构造从中心点指向各顶点的向量，依次求出各向量与极轴的夹角；3)按照夹角的大小由大到小的顺序对四个顶点进行排序；4)寻找证件区域的左上角点，并从左上角点开始，按照“左上-右上-右下-左下”的顺序进行排列；S28区域填充，在找到并按顺序排列顶点坐标之后，将四个顶点构成的四边形区域进行二值填充，形成一个二进制掩膜；S29仿射变换输出矫正图片，对重新确定四个顶点的证件区域，根据预先设定的目标证件照大小对证件区域进行仿射变换，I_output＝WI_input，其中，W为证件区域与目标证件大小之间的仿射变换矩阵；以此，对每一个证件区域都进行相应的修正操作，并将修正后得到的证件图片作为矫正图片输出并保存到指定的文件路径处。

优选的，在步骤S23中，通过霍夫变换对凸包进行直线拟合的最小检测直线长度设置为100，直线之间最大间隔设置为20。

优选的，在步骤S25中，容忍值tol设为50。

优选的，在步骤S26中，K-means的具体算法为：1)随机选取4个聚类质心点μ₀、μ₁、μ₂、μ₃；2)对于每一个顶点坐标(x_i,y_i)，通过计算与每个聚类质心的欧氏距离，找到最小距离的质心点作为其对应的质心点并标注为对应类别j：

重新计算4个质心的坐标；4)重复2)和3)过程直到收敛。

||(x_i,y_i)-μ_j||₂,j＝0,1,2,3：计算质心点j与类别j所有顶点之间欧几里得范数；

调整质心点，使得四个质心点的欧几里得范数和最小。

优选的，在步骤S27的步骤4)中，左上的坐标点坐标值之和最小，并以最小坐标值之和的顶点为左上顶点，并以此为起点重新排列坐标顺序，以确定四个顶点的顺序。

优选的，第三步的图像对比包括以下步骤：

S31图片二值化，将注册图片A和待分类图片B进行二值化，其对应向量为x₁ x₂x₃......x_n和y₁ y₂ y₃......y_n；

S32计算向量夹角余弦值，待分类图片B的向量与注册图片A的向量的向量夹角余弦值为：

S33相似度判定，夹角的余弦越小两张图片越不相关：当夹角的余弦值接近于1时，两张图片相似；当两张图片向量夹角余弦等于1时，两张图片相同；其中，最相关或相同的注册图片A判定为待分类图片B、即输入图片的所属类别并输出。

一种证件检测装置，装置包括电讯连接的获取输入单元、图像处理单元、图像对比分类单元和证件类别输出单元；获取输入单元，通过摄像组件获取待检测证件的检测图片及标准的注册图片；图像处理单元，通过处理器中的深度学习算法对输入图片进行处理，依次获得初步的粗糙的证件区域掩膜、精细化修正掩膜、仿射矫正变换后的矫正图像；图像对比分类单元，通过处理器中的比对算法将矫正图像与存储器存储的注册图片对比分类；证件类别输出单元，处理器将输入图片对比分选后的所属类别结果在显示器上显示并存储至存储器。

一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令运行时执行前述方法的步骤。

一种终端，包括存储器和处理器，所述存储器上储存有注册图片和能够在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行前述方法的步骤。

相比现有技术，本发明的有益效果在于：通过体前存储多种证件的标准图片，提供准确的对比对象，提高了对比和筛选准确性；采用的对比算法简单高效且准确，提高了比对筛选效率；通过本发明可以实现快速响应应用场景下的检测目标变化，提高了证件识别的应用范围，在安保、金融等领域可得到广泛应用。

附图说明

图1为本发明证件增减类别检测方法的流程图；

图2为证件初检的方法流程图；

图3为证件图像标准化的流程图；

图4为图像比对的相似度对比示例图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

第一实施例

一种证件增减类别检测方法，参见图1，方法包括以下步骤。

第一步，证件初检，对于通过图像采集单元输入的图片利用深度学习模型寻找相应的潜在证件区域，得到一个初步且粗糙的证件区域掩膜。

第二步，标准化，对第一步获得的粗糙掩膜进行精细化修正，得到高质量的证件区域掩膜，利用该掩膜在原图中提取证件区域，对于得到的证件照进行仿射矫正变换，将其变换为预设定的证件照尺寸，输出矫正证件图片。

第三步，图像比对，将第二步输出的矫正证件图片与注册图片比对，判定输入图片所属类别并输出。

进一步的，证件新增类别检测过程分三个阶段，前两个阶段是对图片分割由粗到细的分割优化模型(two-stage and coarse-to-fine refinement segmentation)。如图1所示，在第一阶段，我们对于输入图片利用深度学习模型寻找相应的潜在证件区域，得到一个初步的、较为粗糙的证件区域掩膜；在第二阶段，利用传统的图像处理技术，对第一阶段的粗糙掩膜进行精细化修正，得到高质量的证件区域掩膜，利用该掩膜在原图中提取证件区域，对于得到的证件照进行仿射矫正变换，将其变换为预设定的证件照尺寸。第三阶段是证件照和注册图片比对，输出输入图片所属类别。

第一阶段的检测、即第一步的证件初检中，寻找证件区域这一目标主要由提取特征、计算概率、阈值截断这几个子操作完成，最终得到一个初步的粗分割掩膜。如图2所示，在用户输入图片后，将其缩放为适合分割网络的输入图片大小，之后采用经典的Unet网络模型对于输入数据提取深度特征；接着对于特征图中的每个位置的特征进行二分类判断，求得每个位置的特征属于证件区域的概率值，至此，得到了一张属于证件区域的概率分布图；接下来根据预先设定的阈值将这张概率分布图进行二值化操作，将大于阈值的概率设置为1，小于阈值的概率设置为0，然后我们将这张0-1掩膜图上采样至与原始输入同样大小的尺寸。至此第一阶段操作完毕，我们得到一张初步的证件分割掩膜图。具体步骤如下。

S11提取特征，输入图片后，将图片缩放为适合分割网络的输入图片大小，再用Unet网络模型对于输入数据提取深度特征，得到特征图。

S12计算概率，对于特征图中的每个位置的特征进行二分类判断，求得每个位置的特征属于证件区域的概率值，得到属于证件区域的概率分布图。

S13阈值截断，根据预先设定的阈值将概率分布图进行二值化，将大于阈值的概率设置为1，小于阈值的概率设置为0，获得0-1掩膜图。

S14粗分割掩膜，将0-1掩膜图上采样至与原始输入同样大小的尺寸，得到一张初步的证件粗分割掩膜图。

S15合法区域筛选，统计粗分割掩膜图中每个孤立的证件区域面积a，如果a≤μ-3σ,则认为该区域a为非法区域，从粗分割掩膜中剔除，以此通过合法区域筛选将部分错误区域进行过滤。

其中，证件区域面积值分布服从正态分布，a≤μ-3σ出现的概率小于0.5％，当a出现a≤μ-3σ时则判断a值为异常值。μ代表证件区域面积分布的期望值；σ代表证件区域面积分布的标准差。

Unet网络模型，属于分割网络，Unet借鉴了FCN网络，其网络结构包括两个对称部分：前面一部分网络与普通卷积网络相同，使用了3x3的卷积和池化下采样，能够抓住图像中的上下文信息(也即像素间的关系)；后面部分网络则是与前面基本对称，使用的是3x3卷积和上采样，以达到输出图像分割的目的。此外，网络中还用到了特征融合，将前面部分下采样网络的特征与后面上采样部分的特征进行了融合以获得更准确的上下文信息，达到更好的分割效果。且，Unet使用了加权的softmax损失函数，对于每一个像素点都有自己的权重，这使得网络更加重视边缘像素的学习。采用这种模型更适应于证件边缘非直线的微小凹凸变化。

在第一阶段的基础上，进行第二阶段的精细化掩膜修正(refinement)。如图3所示，对于第一阶段得到的掩膜图中的所有合法区域，都要逐一进行修正处理。在第二步标准化中，对于每一个合法证件区域，即对第一步经筛选后的掩膜图中的合法区域进行精细化掩膜修正，参见图3，包括以下步骤。

S21提取区域轮廓特征，轮廓特征是一张二值掩膜图，整体是一条闭合的不规则曲线，二值掩膜图不改变证件照矩形凸集的性质。

在进行接下来的操作时，首先引入一条性质以保证以下操作的合法性。

性质定义：凸集经过仿射变换作用后仍为凸集。证件照的良好性质之一在于其为规则矩形形状，是一种标准的凸集集合，无论该凸集在采集阶段经过怎样的仿射变换，均不能改变其凸集的性质。

S22求取轮廓凸包,在原始轮廓的基础上求取该轮廓的最小凸包，将部分分割缺失的区域进行填补，同时使轮廓边缘平滑。

由于上一步的轮廓提取完全依赖于分割模型的结果，在某些不平滑的边缘处凹凸不平，这与证件照的性质不吻合。故在原始轮廓的基础上求取该轮廓的最小凸包，将部分分割缺失的区域进行填补，同时使轮廓边缘更加平滑。

S23直线拟合，使用霍夫变换对凸包的多个线段组成的不规则凸多边形进行直线拟合，以对凸包进行描述。具体实施例中，在步骤S23中，通过霍夫变换对凸包进行直线拟合的最小检测直线长度设置为100，直线之间最大间隔设置为20。

其中，霍夫变换是一种特征检测(feature extraction)，被广泛应用在图像分析(image analysis)、计算机视觉(computer vision)以及数位影像处理(digital imageprocessing)，霍夫变换是用来辨别找出物件中的特征，例如：线条。本方案即用其来精确地解析定义的证件边缘直线。

S24求取顶点，对直线拟合中的所有合法直线读取两两求取交点，以此寻找证件照四个顶点的分布范围，具体的，S23中所有检测得到的合法直线，均可以得到直线的解析式表达。针对所有的合法直线，读其两两求取交点，这一步操作旨在于寻找证件照四个顶点的分布范围。并且在求取顶点的过程中，对于两条直线平行的情况不做考虑。

S25顶点合法筛选,在所有得到的顶点中，并非所有顶点都是合法的，因此，设置了筛选条件对于顶点进行合法性检查，为后续步骤提高了准确率和处理速度。具体的，设置筛选条件对于顶点进行合法性检查,筛选条件中设置了容忍值tol，横坐标[0-tol,width+tol]，纵坐标[0-tol,height+tol]定义为合法顶点坐标,其中width，height代表原始图像的宽度和高度，具体实施例中，容忍值tol设为50。且，若某顶点的坐标超出了原始图像尺寸而没有超过tol，则将该顶点坐标纠正到原始图像边缘处，即：

其中，min(x_crosspoint,width)将x_crosspoint最大值不能超过原始图片width，max(min(x_crosspoint,width),0)最小值不能小于0；

同理，min(y_crosspoint,height)将y_crosspoint最大值不能超过原始图片height，max(min(y_corsspoint,height),0)最小值不能小于0。

S26顶点聚类，对比标准银行卡存在四个顶点，根据已求得的所有合法顶点，通过无监督聚类算法K-means将所有顶点聚为四类，其中每一类的质心即为某一个顶点的坐标，共得到四个顶点坐标。

其中，K-means的具体算法为：

1)随机选取4个聚类质心点μ₀、μ₁、μ₂、μ₃；

2)对于每一个顶点坐标(x_i,y_i)，通过计算与每个聚类质心的欧氏距离，找到最小距离的质心点作为其对应的质心点并标注为对应类别j

||(x_i,y_i)-μ_j||₂,j＝0,1,2,3为计算质心点j与类别j所有顶点之间欧几里得范数；

为调整质心点，使得四个质心点的欧几里得范数和最小。

3)重新计算4个质心的坐标；

4)重复2)和3)过程直到收敛。

其中，K-means是最常用的基于欧式距离的聚类算法，它是数值的、非监督的、非确定的、迭代的，该算法旨在最小化一个目标函数——误差平方函数(所有的观测点与其中心点的距离之和)，其认为两个目标的距离越近，相似度越大，由于具有出色的速度和良好的可扩展性，Kmeans聚类算法算得上是最著名的聚类方法。

S27顶点排序，为方便后续操作，通过以下步骤确定四个顶点的排序：

1)根据四个顶点坐标求取中心点坐标；

2)以中心点建立极坐标系，并构造从中心点指向各顶点的向量，依次求出各向量与极轴的夹角；

3)按照夹角的大小由大到小的顺序对四个顶点进行排序；

4)寻找证件区域的左上角点，并从左上角点开始，按照“左上-右上-右下-左下”的顺序进行排列。

其中，在步骤S27的步骤4)中，左上的坐标点坐标值之和最小，并以最小坐标值之和的顶点为左上顶点，并以此为起点重新排列坐标顺序，以确定四个顶点的顺序。

S28区域填充，在找到并按顺序排列顶点坐标之后，将四个顶点构成的四边形区域进行二值填充，形成一个二进制掩膜。

S29仿射变换输出矫正图片，对重新确定四个顶点的证件区域，根据预先设定的目标证件照大小对证件区域进行仿射变换，I_output＝WI_input，其中，W为证件区域与目标证件大小之间的仿射变换矩阵；以此，对每一个证件区域都进行相应的修正操作，并将修正后得到的证件图片作为矫正图片输出并保存到指定的文件路径处。

图像对比，第三步的图像对比包括以下步骤。

S31图片二值化，将注册图片A和待分类图片B进行二值化，其对应向量为x₁ x₂x₃......x_n和y₁ y₂ y₃......y_n；

S32计算向量夹角余弦值，待分类图片B的向量与注册图片A的向量的向量夹角余弦值为：

S33相似度判定，夹角的余弦越小两张图片越不相关：参见图4，当夹角的余弦值接近于1时，两张图片相似；当两张图片向量夹角余弦等于1时，两张图片相同；其中，最相关或相同的注册图片A判定为待分类图片B、即输入图片的所属类别并输出。

本发明中采集的图像，是通过摄像头采集的图像，可以是一张静态图像(即：单独采集的图像)，也可以是一张视频中图像(即从采集的视频中按照预设标准或随机选取的一张图像)，均可用于本发明证件的图像源，本发明实施例对于图像的来源、性质、大小等等所有属性均无限制。

本领域技术人员基于本公开实施例的记载可以知悉，除了神经网络外，在本公开实施例还可以利用例如但不限于：基于图像处理的字符检测算法(例如，基于直方图粗分割和奇异值特征的字符/号码检测算法，基于二进小波变换的字符/号码检测算法，等等)，对采集图像进行字符检测。另外，除了神经网络外，在本公开实施例也可以利用例如但不限于：基于图像处理的证件检测算法(例如，边缘检测法，数学形态学法，基于纹理分析的定位方法，行检测和边缘统计法，遗传算法，霍夫(Hough)变换和轮廓线法，基于小波变换的方法，等等)，等等，对采集图像进行证件检测。

本公开实施例中，通过神经网络对采集图像进行边缘检测时，可以预先利用样本图像对神经网络进行训练，使得训练好的神经网络能够实现对图像中边缘直线的有效检测。

第二实施例

本发明还提供了一种证件检测装置，装置包括电讯连接的获取输入单元、图像处理单元、图像对比分类单元和证件类别输出单元。

其中，获取输入单元，通过摄像组件获取待检测证件的检测图片及标准的注册图片；获取单元利用硬件设备，包括但不限于手机，IPAD，普通摄像头，CCD工业相机、扫描仪等，对证件正面进行图像信息采集，注意采集到的图像应完全的包含证件的四条边界，并且倾斜不超过正负20°，且人眼能分辨证件号码和边缘直线。

图像处理单元，通过处理器中的深度学习算法对输入图片进行处理，依次获得初步的粗糙的证件区域掩膜、精细化修正掩膜、仿射矫正变换后的矫正图像。具体的，通过处理器中的比对算法将矫正图像与存储器存储的注册图片对比分类。利用存储在存储器中的算法、程序等，通过处理器对获得的图像进行相应的处理和数据提取。

证件类别输出单元，处理器将输入图片对比分选后的所属类别结果在显示器上显示并存储至存储器。其中，显示器包括但不限于平板电脑、计算机、手机等的显示屏，将处理器提取的证件对比分类显示。

第三实施例

本发明还提供了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令运行时执行前述方法的步骤。其中，所述的证件检测方法请参见前述部分的详细介绍，此处不再赘述。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。

第四实施例

本发明还提供了一种终端，包括存储器和处理器，所述存储器上储存有能够在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行前述方法的步骤。其中，所述的证件号码检测方法请参见前述部分的详细介绍，此处不再赘述。

上述方案解决了在复杂背景情况下，证件轮廓与图像背景边界模糊，不利于证件新增类别或项目的准确归类问题。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、装置、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种证件增减类别检测方法，其特征在于，方法包括以下步骤：

第一步，证件初检，对于通过图像采集单元输入的图片利用深度学习模型寻找相应的潜在证件区域，得到一个初步且粗糙的证件区域掩膜；

第二步，标准化，对第一步获得的粗糙掩膜进行精细化修正，得到高质量的证件区域掩膜，利用该掩膜在原图中提取证件区域，对于得到的证件照进行仿射矫正变换，将其变换为预设定的证件照尺寸，输出矫正证件图片；其中，对第一步经筛选后的掩膜图中的合法区域进行精细化掩膜修正，包括以下步骤：

S21提取区域轮廓特征，轮廓特征是一张二值掩膜图，整体是一条闭合的不规则曲线，二值掩膜图不改变证件照矩形凸集的性质；

S22求取轮廓凸包,在原始轮廓的基础上求取该轮廓的最小凸包，将部分分割缺失的区域进行填补，同时使轮廓边缘平滑；

S23直线拟合，使用霍夫变换对凸包的多个线段组成的不规则凸多边形进行直线拟合，以对凸包进行描述；

S24求取顶点，对直线拟合中的所有合法直线读取两两求取交点，以此寻找证件照四个顶点的分布范围，并且在求取顶点的过程中，对于两条直线平行的情况不做考虑；

S25顶点合法筛选,设置筛选条件对于顶点进行合法性检查,筛选条件中设置了容忍值tol，横坐标[0-tol,width+tol]，纵坐标[0-tol,height+tol]定义为合法顶点坐标,其中width，height代表原始图像的宽度和高度，若某顶点的坐标超出了原始图像尺寸而没有超过tol，则将该顶点坐标纠正到原始图像边缘处，即：

min(x_crosspoint,width)中x_crosspoint最大值不超过原始图片width，max(min(x_crosspoi_nt,width),0)中最小值不能小于0；

min(y_crosspoint,height)中y_crosspoint最大值不超过原始图片height，max(min(y_corsspoint,height),0)中最小值不能小于0；

S26顶点聚类，对比标准银行卡存在四个顶点，根据已求得的所有合法顶点，通过无监督聚类算法K-means将所有顶点聚为四类，其中每一类的质心即为某一个顶点的坐标，共得到四个顶点坐标；

S27顶点排序，为方便后续操作，通过以下步骤确定四个顶点的排序：1)根据四个顶点坐标求取中心点坐标；2)以中心点建立极坐标系，并构造从中心点指向各顶点的向量，依次求出各向量与极轴的夹角；3)按照夹角的大小由大到小的顺序对四个顶点进行排序；4)寻找证件区域的左上角点，并从左上角点开始，按照“左上-右上-右下-左下”的顺序进行排列；

S28区域填充，在找到并按顺序排列顶点坐标之后，将四个顶点构成的四边形区域进行二值填充，形成一个二进制掩膜；

S29仿射变换输出矫正图片，对重新确定四个顶点的证件区域，根据预先设定的目标证件照大小对证件区域进行仿射变换，I_output＝WI_input，其中，W为证件区域与目标证件大小之间的仿射变换矩阵；以此，对每一个证件区域都进行相应的修正操作，并将修正后得到的证件图片作为矫正图片输出并保存到指定的文件路径处；第三步，图像比对，将第二步输出的矫正证件图片与注册图片比对，判定输入图片所属类别并输出。

2.根据权利要求1所述的方法，其特征在于，第一步的证件初检包括以下步骤：

S11提取特征，输入图片后，将图片缩放为适合分割网络的输入图片大小，再用Unet网络模型对于输入数据提取深度特征，得到特征图；

S12计算概率，对于特征图中的每个位置的特征进行二分类判断，求得每个位置的特征属于证件区域的概率值，得到属于证件区域的概率分布图；

S13阈值截断，根据预先设定的阈值将概率分布图进行二值化，将大于阈值的概率设置为1，小于阈值的概率设置为0，获得0-1掩膜图；

S14粗分割掩膜，将0-1掩膜图上采样至与原始输入同样大小的尺寸，得到一张初步的证件粗分割掩膜图；

S15合法区域筛选，统计粗分割掩膜图中每个孤立的证件区域面积a，如果a≤μ-3σ,则认为该区域a为非法区域，从粗分割掩膜中剔除，以此通过合法区域筛选将部分错误区域进行过滤；

证件区域面积值分布服从正态分布，a≤μ-3σ出现的概率小于0.5％，当a出现a≤μ-3σ时则判断a值为异常值；其中，μ代表证件区域面积分布的期望值，σ代表证件区域面积分布的标准差。

3.根据权利要求1所述的方法，其特征在于：在步骤S23中，通过霍夫变换对凸包进行直线拟合的最小检测直线长度设置为100，直线之间最大间隔设置为20。

4.根据权利要求1所述的方法，其特征在于：在步骤S26中，K-means的具体算法为：

1)随机选取4个聚类质心点μ₀、μ₁、μ₂、μ₃；

2)对于每一个顶点坐标(x_i,y_i)，通过计算与每个聚类质心的欧氏距离，找到最小距离的质心点作为其对应的质心点并标注为对应类别j：argmin_j||(x_i,y_i)-μ_j||₂,j＝0,1,2,3；；其中，||(x_i,y_i)-μ_j||₂,j＝0,1,2,3为计算质心点j与类别j所有顶点之间欧几里得范数；argmin_j||(x_i,y_i)-μ_j||₂,j＝0,1,2,3为调整质心点，使得四个质心点的欧几里得范数和最小；

3)重新计算4个质心的坐标；

4)重复2)和3)过程直到收敛。

5.根据权利要求1所述的方法，其特征在于：在步骤S27的步骤4)中，左上的坐标点坐标值之和最小，并以最小坐标值之和的顶点为左上顶点，并以此为起点重新排列坐标顺序，以确定四个顶点的顺序。

6.根据权利要求1所述的方法，其特征在于：第三步的图像对比包括以下步骤：

S31图片二值化，将注册图片A和待分类图片B进行二值化，其对应向量为x₁ x₂ x₃……x_n和y₁ y₂ y₃......y_n；

S32计算向量夹角余弦值，待分类图片B的向量与注册图片A的向量的向量夹角余弦值为：

S33相似度判定，夹角的余弦越小两张图片越不相关：当夹角的余弦值接近于1时，两张图片相似；当两张图片向量夹角余弦等于1时，两张图片相同；其中，最相关或相同的注册图片A判定为待分类图片B、即输入图片的所属类别并输出。

7.一种采用权利要求1-6任一项证件增减类别检测方法的证件检测装置，其特征在于：所述装置包括电讯连接的获取输入单元、图像处理单元、图像对比分类单元和证件类别输出单元；获取输入单元，通过摄像组件获取待检测证件的检测图片及标准的注册图片；图像处理单元，通过处理器中的深度学习算法对输入图片进行处理，依次获得初步的粗糙的证件区域掩膜、精细化修正掩膜、仿射矫正变换后的矫正图像；图像对比分类单元，通过处理器中的比对算法将矫正图像与存储器存储的注册图片对比分类；证件类别输出单元，处理器将输入图片对比分选后的所属类别结果在显示器上显示并存储至存储器。

8.一种计算机可读存储介质，其上存储有计算机指令，其特征在于：所述计算机指令运行时执行权利要求1-6任一项所述方法的步骤。

9.一种终端，包括存储器和处理器，其特征在于：所述存储器上储存有注册图片和能够在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行权利要求1-6任一项所述方法的步骤。

Images