CN111062338A - 一种证照人像一致性比对方法及其*** - Google Patents
一种证照人像一致性比对方法及其*** Download PDFInfo
- Publication number
- CN111062338A CN111062338A CN201911319574.4A CN201911319574A CN111062338A CN 111062338 A CN111062338 A CN 111062338A CN 201911319574 A CN201911319574 A CN 201911319574A CN 111062338 A CN111062338 A CN 111062338A
- Authority
- CN
- China
- Prior art keywords
- portrait
- license
- comparison model
- deep learning
- different
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 239000013598 vector Substances 0.000 claims abstract description 79
- 238000013135 deep learning Methods 0.000 claims abstract description 40
- 230000006870 function Effects 0.000 claims description 35
- 238000013528 artificial neural network Methods 0.000 claims description 27
- 238000012549 training Methods 0.000 claims description 26
- 238000011176 pooling Methods 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 14
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000003491 array Methods 0.000 claims description 7
- 210000005252 bulbus oculi Anatomy 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 6
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000005286 illumination Methods 0.000 abstract 1
- 230000035945 sensitivity Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000012550 audit Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Probability & Statistics with Applications (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种证照人像一致性比对方法及其***，通过人脸特征识别进行人像裁剪建立样本集，搭建并训练深度学习证照人像比对模型，计算能够正确区分不同样本与相似样本的阈值，将待检测的两个证照人像输入深度学习证照人像比对模型获得两个特征向量，计算两个特征向量的余弦距离，将这个余弦距离的值与阈值相减，即可得出两个证照人像是否一致。本发明有益效果：相较于传统的人工比对，能够更准确地表达人像的图像特征，对明显不同衣服、发型能够敏感地辨别，对相同人像在不同光照背景、不同比例大小的图像也可以有效地区分，减少污染、模糊等恶劣条件的干扰。
Description
技术领域
本发明涉及一种证照人像一致性比对方法及其***，属于图像识别领域。
背景技术
客户在银行办理业务时，需要提供身份证原件和身份证复印件，银行后台保留身份证复印件作为留档，后续办理其他业务时，银行中心人员需要拍照并比对客户个人身份证照片和银行电子***内部留存的证件照是否为同一张证件。
证照人像对比在传统银行业务里是由专门的审核人员负责人工肉眼审核，而银行大多数业务都需要进行身份证审核验证，该业务要耗费大量人力资源，且当审核人员工作疲劳时会影响到对比的正确率，进而影响到客户业务的办理。例如，当身份证上人像和留底复印件上人像在发型，穿着，脸型等方面类似时，审核员工可能判定为同一证件或者需要经过二次审核才能确认；另一种情况，当前台员工进行身份证拍照时，因为环境光变化，拍摄设备抖动等干扰，造成身份证拍摄出现模糊，扭曲，污染等瑕疵，审核人员经过多次比对判定为不同证件需要重新拍摄。
发明内容
为了解决上述技术问题，本发明提供一种证照人像一致性比对方法及其***，建立深度学习***，通过神经网络使用机器自动审核证照人像代替人工审核，准确度高，速度快。
本发明的技术方案一：
一种证照人像一致性比对方法，包括如下步骤：
S1：获取含有证照人像的图片，所述含有证照人像的图片包括：同一证件的不同特征图像，不同证件的图像，其中，所述不同特征为拍摄参数不同；
S2：识别所述含有证照人像的图片中的人像，将人像按设定的尺寸进行裁剪并保存为样本文件，对属于同一证件的样本文件标注为同类，对不属于同一证件的样本文件标注为不同类；
S3：将所有样本文件分成训练集和测试集；
S4：搭建深度学习人像比对模型，所述深度学习人像比对模型的神经网络主干采用50层残差卷积网络，输入所述样本文件，经过卷积网络的多层卷积和池化处理，输出一个512维的特征向量，所述512维的特征向量接入全连接层，所述全连接层将所述512维的特征向量转化为一个数组，数组的值表示输入的所述样本文件是同类和不同类的概率，其中，所述神经网络设置一损失函数连接所述全连接层，通过所述损失函数运算使得所述深度学习人像比对模型运行结果趋于最优解；
S5：将S3步骤得到的训练集中的样本文件输入到S4步骤搭建的深度学习人像比对模型中进行训练，直至所述全连接层输出的数组预测类型正确的概率达到最高，得到能正确表达证照人像类别特征的证照人像比对模型；
S6：将所述测试集中的样本文件输入到所述证照人像比对模型中，将所有同类样本文件经过所述深度学习人像比对模型输出的512维的特征向量两两组合，并计算每个组合中两个特征向量的差值，记为同类数组；
将所有不同类样本文件经过所述深度学习人像比对模型输出的512维的特征向量两两组合，并计算每个组合中两个特征向量的差值，记为不同类数组；
将两个数组代入ROC曲线算法获得阈值，则高于该阈值的两个样本为同类样本，低于该阈值的两个样本为不同类样本；
S7：将一对待验证证照人像图像通过S2步骤处理，得到归一化图像，分别输入到所述证照人像比对模型中，输出两个证照人像的512维特征描述向量，计算所述两个特征向量的差值，将所述差值与S6步骤得到的所述阈值相减，当结果为正时，判定为两个证照人像一致，当结果为负时，判定为两个证照人像不一致。
S2步骤具体为：
S21：检测人脸的关键点，将所述含有证照人像的图片输入到MTCNN多任务卷积神经网络中，所述MTCNN多任务卷积神经网络通过卷积池化识别到人脸5个关键点，并建立关键点外包围框，所述关键点为人脸的两个眼珠，一个鼻尖，两个嘴角；
S22：以所述关键点外包围框，向外扩展设定的宽度和高度比例，得到四个角点坐标，将四个角点坐标相连裁切得到人像，其中，向外扩展设定的宽度和高度比例分别为30％和40％。
S1步骤中，通过改变拍摄角度，环境光强、拍摄距离，拍摄设备来获取同一证件的不同特征图像。
S4步骤中，所述Arcface损失函数具体为：
其中，
L为损失值，N代表样本的数量，i代表第i个样本，j代表第j个类别，yi代表第i个样本所属的类别的分数，s和m为模型的超参数，W为深度模型的权重，X为输入的特征向量，θ为输入向量X与权重W之间的夹角，T表示的是对这个向量的转置。
S6步骤中，所述计算每个组合中两个特征向量的差值的方法为余弦距离计算方法。
技术方案二
一种证照人像一致性比对***，包括存储器和处理器，所述存储器存储有指令，所述指令适于由处理器加载并执行以下步骤：
S1：获取含有证照人像的图片，所述含有证照人像的图片包括：同一证件的不同特征图像，不同证件的图像，其中，所述不同特征图像为拍摄参数不同；
S2：识别所述含有证照人像的图片中的人像，将人像按设定的尺寸进行裁剪并保存为样本文件，对属于同一证件的样本文件标注为同类，对不属于同一证件的样本文件标注为不同类；
S3：将所有样本文件分成训练集和测试集；
S4：搭建深度学习人像比对模型，所述深度学习人像比对模型的神经网络主干采用50层残差卷积网络，输入所述样本文件，经过卷积网络的多层卷积和池化处理，输出一个512维的特征向量，所述512维的特征向量接入全连接层，所述全连接层将所述512维的特征向量转化为一个数组，数组的值表示输入的所述样本文件是同类和不同类的概率，其中，所述神经网络设置一损失函数连接所述全连接层，通过所述损失函数运算使得所述深度学习人像比对模型运行结果趋于最优解；
S5：将S3步骤得到的训练集中的样本文件输入到S4步骤搭建的深度学习人像比对模型中进行训练，直至所述全连接层输出的数组预测类型正确的概率达到最高，得到能正确表达证照人像类别特征的证照人像比对模型；
S6：将所述测试集中的样本文件输入到所述证照人像比对模型中，将所有同类样本文件经过所述深度学习人像比对模型输出的512维的特征向量两两组合，并计算每个组合中两个特征向量的差值，记为同类数组；
将所有不同类样本文件经过所述深度学习人像比对模型输出的512维的特征向量两两组合，并计算每个组合中两个特征向量的差值，记为不同类数组；
将两个数组代入ROC曲线算法获得阈值，则高于该阈值的两个样本为同类样本，低于该阈值的两个样本为不同类样本；
S7：将一对待验证证照人像图像通过S2步骤处理，得到归一化图像，分别输入到所述证照人像比对模型中，输出两个证照人像的512维特征描述向量，计算所述两个特征向量的差值，将所述差值与S6步骤得到的所述阈值相减，当结果为正时，判定为两个证照人像一致，当结果为负时，判定为两个证照人像不一致。
S2步骤具体为：
S21：检测人脸的关键点，将所述含有证照人像的图片输入到MTCNN多任务卷积神经网络中，所述MTCNN多任务卷积神经网络通过卷积池化识别到人脸5个关键点，并建立关键点外包围框，所述关键点为人脸的两个眼珠，一个鼻尖，两个嘴角；
S22：以所述关键点外包围框，向外扩展设定的宽度和高度比例，得到四个角点坐标，将四个角点坐标相连裁切得到人像，其中，向外扩展设定的宽度和高度比例分别为30％和40％。
S1步骤中，通过改变拍摄角度，环境光强、拍摄距离，拍摄设备来获取同一证件的不同特征图像。
S4步骤中，所述损失函数为Arcface损失函数，具体为：
其中，
L为损失值，N代表样本的数量，i代表第i个样本，j代表第j个类别，yi代表第i个样本所属的类别的分数，s和m为模型的超参数，W为深度模型的权重，X为输入的特征向量，θ为输入向量X与权重W之间的夹角，T表示的是对这个向量的转置。
S6步骤中，所述计算每个组合中两个特征向量的差值的方法为余弦距离计算方法。
本发明具有如下有益效果：
1、本发明的一种证照人像一致性比对方法及其***，通过MTCNN多任务卷积神经网络来实现人脸特征识别，确保人像裁剪位置的一致性；
2、本发明的一种证照人像一致性比对方法及其***，通过搭建神经网络进行证照人像特征提取和比对，精度高，效率快；
3、本发明的一种证照人像一致性比对方法及其***，搭建的神经网络采用arcface损失函数，直接关注特征的角度可分性，人为设置分类间隔m以缩小类内间距和拉大类间差距，使得模型的拟合性能更强，准确性更高；
4、本发明的一种证照人像一致性比对方法及其***，通过计算余弦距离和ROC曲线算法获得最佳阈值，准确性高。
附图说明
图1为本发明的一种证照人像一致性比对方法及其***的流程图；
图2为本发明的一种证照人像一致性比对方法及其***的使用的MTCNN人脸关键点检测示意图；
图3为本发明的一种证照人像一致性比对方法及其***的人像裁剪示意图；
图4为本发明的一种证照人像一致性比对方法及其***的ROC曲线算法示意图。
具体实施方式
下面结合附图和具体实施例来对本发明进行详细的说明。
实施例一
如图1所示，一种证照人像一致性比对方法，包括如下步骤：
S1：获取含有证照人像的图片，所述含有证照人像的图片包括：同一证件的不同特征图像，不同证件的图像，其中，所述不同特征为拍摄参数不同。
证照人像一致性比对是比对两个人像是不是完全一致，即是不是同一个证件，这里的同一个人像指完全一样的，同一个人不同发型穿着的两张头像都不能算一致。在银行工作流程中，客户身份证原件没有变化，只是要重新扫描身份证和***里原来保存的图像作对比，然后获取的样本里基于同一个证件可能经过多次拍摄参数的调整，或者各种图像处理比如缩放，裁剪的记为一类，其他完全不一样的记为两类，经过训练神经网络能识别这个图片就是相同一类，还是不同的。
S1步骤中，通过改变拍摄角度，环境光强、拍摄距离，拍摄设备来获取同一证件的不同特征图像。
除了在拍摄过程中改变拍摄条件来获得同一证件的不同图像，还可以通过对同一证件的基准图像进行图像处理，例如模糊，加噪声，扭曲等使得图像发生变化。
S2：识别所述含有证照人像的图片中的人像，将人像按设定的尺寸进行裁剪并保存为样本文件，对属于同一证件的样本文件标注为同类，对不属于同一证件的样本文件标注为不同类。
训练时可以分为多组，每一组都有一个基准的证件图像，另外包括这个基准证件的同类图像，和其他不同类图像，例如，在甲组训练组中，甲的多张证件照图像记为同类，乙丙丁等证件照图像记为不同类；在乙组训练组中，乙的多张证件照图像记为同类，甲丙丁等证件照图像记为不同类，其中，甲在本组中被记为同类，在乙组中被记为不同类。通过多组训练可以提高模型的准确性。
S3：将所有样本文件分成训练集和测试集。
在本实施例中，将所有样本文件按8:2的比例分成训练集和测试集，此时训练数据和测试数据的量比较平衡。
S4：搭建深度学习人像比对模型，所述深度学习人像比对模型的神经网络主干采用50层残差卷积网络，输入所述样本文件，经过卷积网络的多层卷积和池化处理，输出一个512维的特征向量，所述512维的特征向量接入全连接层，所述全连接层将所述512维的特征向量转化为一个数组，数组的值表示输入的所述样本文件是同类和不同类的概率，其中，所述神经网络设置一损失函数连接所述全连接层，通过所述损失函数运算使得所述深度学习人像比对模型运行结果趋于最优解。
这个512维的向量是用来表征这个图像的各种特征，是机器自己用来表述一个图像的，可以理解为当前图像的唯一ID。训练神经网络就是为了获得一个能最好的表述图像特征的模型。全连接层的作用是，通过不断的训练，使得全连接层的预测正确的概率越来越大，进而使得表述图像的512维向量越来越准确。
全连接层将经过卷积池化以后输出的多维向量转化为一个数组，执行的是预测工作。
S4步骤中，所述损失函数为Arcface损失函数，具体为：
其中，
L为损失值，N代表样本的数量，i代表第i个样本，j代表第j个类别，yi代表第i个样本所属的类别的分数，s和m为模型的超参数，W为深度模型的权重，X为输入的特征向量，θ为输入向量X与权重W之间的夹角，T表示的是对这个向量的转置。
损失函数(loss function)是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。在应用中，损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估模型。在深度学习中，损失函数的计算结果表示卷积网络层的输出结果与实际标注结果的一个差异值，常用的损失函数为softmax，但softmax只在欧式空间里学习特征，只考虑样本是否能正确分类，并没有考虑类内和类间距离，即不能优化特征使得正样本对得到高相似度而负样本对得到低相似度。本实施例采用Arcface损失函数，Arcface损失函数直接关注特征的角度可分性，人为设置分类间隔m以缩小类内间距和拉大类间差距，使得模型的拟合性能更强。
S5：将S3步骤得到的训练集中的样本文件输入到S4步骤搭建的深度学习人像比对模型中进行训练，直至所述全连接层输出的数组预测类型正确的概率达到最高，得到能正确表达证照人像类别特征的证照人像比对模型。
S6：将所述测试集中的样本文件输入到所述证照人像比对模型中，将所有同类样本文件经过所述深度学习人像比对模型输出的512维的特征向量两两组合，并计算每个组合中两个特征向量的差值，记为同类数组。
将所有不同类样本文件经过所述深度学习人像比对模型输出的512维的特征向量两两组合，并计算每个组合中两个特征向量的差值，记为不同类数组；
将两个数组代入ROC曲线算法获得阈值，则高于该阈值的两个样本为同类样本，低于该阈值的两个样本为不同类样本。
S6步骤中，所述计算每个组合中两个特征向量的差值的方法为余弦距离计算方法。
计算两个空间点阵数组之间的差值可以使用多种计算方法，欧氏距离，标准化欧氏距离，马氏距离，余弦距离，汉明距离，曼哈顿距离等。其中使用余弦距离计算方法对于512维的向量更加精确，结果之间差异明显。
两个样本每个对应一个输出的向量，这个向量是512维的。计算所有同类余弦距离和不同类余弦距离，然后用算法计算出一个阈值。类似找出所有的值然后画在图上，会发现在某一个点处上面的组合大部分同类，下面的组合大部分非同类，则这个点就是阈值，当然ROC不是这么简单计算的，他是一种现有的数学方法，专门用来计算这种情况。
ROC曲线指受试者工作特征曲线/接收器操作特性曲线(receiver operatingcharacteristic curve),是反映敏感性和特异性连续变量的综合指标,是用构图法揭示敏感性和特异性的相互关系，它通过将连续变量设定出多个不同的临界值，从而计算出一系列敏感性和特异性，再以敏感性为纵坐标、(1-特异性)为横坐标绘制成曲线，曲线下面积越大，诊断准确性越高。在ROC曲线上，最靠近坐标图左上方的点为敏感性和特异性均较高的临界值。
将所有同类样本和不同类样本的两个特征向量的余弦距离带入ROC算法中获得ROC曲线，如图4所示，最接近的顶点的纵坐标true值为0.87，则设定阈值为0.87。
S7：将一对待验证证照人像图像通过S2步骤处理，得到归一化图像，分别输入到所述证照人像比对模型中，输出两个证照人像的512维特征描述向量，计算所述两个特征向量的差值，将所述差值与S6步骤得到的所述阈值相减，当结果为正时，判定为两个证照人像一致，当结果为负时，判定为两个证照人像不一致。
如图3所示，S2步骤具体为：
S21：检测人脸的关键点，将所述含有证照人像的图片输入到MTCNN多任务卷积神经网络中，所述MTCNN多任务卷积神经网络通过卷积池化识别到人脸5个关键点，并建立关键点外包围框，所述关键点为人脸的两个眼珠，一个鼻尖，两个嘴角；
S22：以所述关键点外包围框，向外扩展设定的宽度和高度比例，得到四个角点坐标，将四个角点坐标相连裁切得到人像，其中，向外扩展设定的宽度和高度比例分别为30％和40％。
通过人脸关键点定位并扩展比例，能够获得整副人脸图像，同时又减少了多余部分对后续识别的干扰。且无论原图像大小如何，输出的图像都为同一比例。
步骤S21中，如图2所示，将所述含有证照人像的图片输入到MTCNN多任务卷积神经网络中，所述MTCNN多任务卷积神经网络通过卷积池化识别到人脸5个关键点，并获得关键点外包围框。
MTCNN执行人脸关键点检测时，自动根据关键点连线外扩绘制外包围框。
本发明的一种证照人像一致性比对方法及其***，通过MTCNN多任务卷积神经网络来实现人脸特征识别，确保人像裁剪位置的一致性；通过搭建神经网络进行证照人像特征提取和比对，精度高，效率快；搭建的神经网络采用arcface损失函数，直接关注特征的角度可分性，人为设置分类间隔m以缩小类内间距和拉大类间差距，使得模型的拟合性能更强，准确性更高；通过计算余弦距离和ROC曲线算法获得最佳阈值，准确性高。
实施例二
一种证照人像一致性比对***，包括存储器和处理器，所述存储器存储有指令，所述指令适于由处理器加载并执行以下步骤：
S1：获取含有证照人像的图片，所述含有证照人像的图片包括：同一证件的不同特征图像，不同证件的图像，其中，所述不同特征图像为拍摄参数不同；
S2：识别所述含有证照人像的图片中的人像，将人像按设定的尺寸进行裁剪并保存为样本文件，对属于同一证件的样本文件标注为同类，对不属于同一证件的样本文件标注为不同类；
S3：将所有样本文件分成训练集和测试集；
S4：搭建深度学习人像比对模型，所述深度学习人像比对模型的神经网络主干采用50层残差卷积网络，输入所述样本文件，经过卷积网络的多层卷积和池化处理，输出一个512维的特征向量，所述512维的特征向量接入全连接层，所述全连接层将所述512维的特征向量转化为一个数组，数组的值表示输入的所述样本文件是同类和不同类的概率，其中，所述神经网络设置一损失函数连接所述全连接层，通过所述损失函数运算使得所述深度学习人像比对模型运行结果趋于最优解；
S5：将S3步骤得到的训练集中的样本文件输入到S4步骤搭建的深度学习人像比对模型中进行训练，直至所述全连接层输出的数组预测类型正确的概率达到最高，得到能正确表达证照人像类别特征的证照人像比对模型；
S6：将所述测试集中的样本文件输入到所述证照人像比对模型中，将所有同类样本文件经过所述深度学习人像比对模型输出的512维的特征向量两两组合，并计算每个组合中两个特征向量的差值，记为同类数组；
将所有不同类样本文件经过所述深度学习人像比对模型输出的512维的特征向量两两组合，并计算每个组合中两个特征向量的差值，记为不同类数组；
将两个数组代入ROC曲线算法获得阈值，则高于该阈值的两个样本为同类样本，低于该阈值的两个样本为不同类样本。
S7：将一对待验证证照人像图像通过S2步骤处理，得到归一化图像，分别输入到所述证照人像比对模型中，输出两个证照人像的512维特征描述向量，计算所述两个特征向量的差值，将所述差值与S6步骤得到的所述阈值相减，当结果为正时，判定为两个证照人像一致，当结果为负时，判定为两个证照人像不一致。
S2步骤具体为：
S21：检测人脸的关键点，将所述含有证照人像的图片输入到MTCNN多任务卷积神经网络中，所述MTCNN多任务卷积神经网络通过卷积池化识别到人脸5个关键点，并建立关键点外包围框，所述关键点为人脸的两个眼珠，一个鼻尖，两个嘴角；
S22：以所述关键点外包围框，向外扩展设定的宽度和高度比例，得到四个角点坐标，将四个角点坐标相连裁切得到人像，其中，向外扩展设定的宽度和高度比例分别为30％和40％。
S1步骤中，通过改变拍摄角度，环境光强、拍摄距离，拍摄设备来获取同一证件的不同特征图像。
S4步骤中，所述损失函数为Arcface损失函数，具体为：
其中，
L为损失值，N代表样本的数量，i代表第i个样本，j代表第j个类别，yi代表第i个样本所属的类别的分数，s和m为模型的超参数，W为深度模型的权重，X为输入的特征向量，θ为输入向量X与权重W之间的夹角，T表示的是对这个向量的转置。
S6步骤中，所述计算每个组合中两个特征向量的差值的方法为余弦距离计算方法。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包含在本发明的专利保护范围内。
Claims (10)
1.一种证照人像一致性比对方法，其特征在于，包括如下步骤：
S1：获取含有证照人像的图片，所述含有证照人像的图片包括：同一证件的不同特征图像，不同证件的图像，其中，所述不同特征为拍摄参数不同；
S2：识别所述含有证照人像的图片中的人像，将人像按设定的尺寸进行裁剪并保存为样本文件，对属于同一证件的样本文件标注为同类，对不属于同一证件的样本文件标注为不同类；
S3：将所有样本文件分成训练集和测试集；
S4：搭建深度学习人像比对模型，所述深度学习人像比对模型的神经网络主干采用50层残差卷积网络，输入所述样本文件，经过卷积网络的多层卷积和池化处理，输出一个512维的特征向量，所述512维的特征向量接入全连接层，所述全连接层将所述512维的特征向量转化为一个数组，数组的值表示输入的所述样本文件是同类和不同类的概率，其中，所述神经网络设置一损失函数连接所述全连接层，通过所述损失函数运算使得所述深度学习人像比对模型运行结果趋于最优解；
S5：将S3步骤得到的训练集中的样本文件输入到S4步骤搭建的深度学习人像比对模型中进行训练，直至所述全连接层输出的数组预测类型正确的概率达到最高，得到能正确表达证照人像类别特征的证照人像比对模型；
S6：将所述测试集中的样本文件输入到所述证照人像比对模型中，将所有同类样本文件经过所述深度学习人像比对模型输出的512维的特征向量两两组合，并计算每个组合中两个特征向量的差值，记为同类数组；
将所有不同类样本文件经过所述深度学习人像比对模型输出的512维的特征向量两两组合，并计算每个组合中两个特征向量的差值，记为不同类数组；
将两个数组代入ROC曲线算法获得阈值，则高于该阈值的两个样本为同类样本，低于该阈值的两个样本为不同类样本；
S7：将一对待验证证照人像图像通过S2步骤处理，得到归一化图像，分别输入到所述证照人像比对模型中，输出两个证照人像的512维特征描述向量，计算所述两个特征向量的差值，将所述差值与S6步骤得到的所述阈值相减，当结果为正时，判定为两个证照人像一致，当结果为负时，判定为两个证照人像不一致。
2.根据权利要求1所述的一种证照人像一致性比对方法，其特征在于：S2步骤具体为：
S21：检测人脸的关键点，将所述含有证照人像的图片输入到MTCNN多任务卷积神经网络中，所述MTCNN多任务卷积神经网络通过卷积池化识别到人脸5个关键点，并建立关键点外包围框，所述关键点为人脸的两个眼珠，一个鼻尖，两个嘴角；
S22：以所述关键点外包围框，向外扩展设定的宽度和高度比例，得到四个角点坐标，将四个角点坐标相连裁切得到人像，其中，向外扩展设定的宽度和高度比例分别为30％和40％。
3.根据权利要求1所述的一种证照人像一致性比对方法，其特征在于：S1步骤中，通过改变拍摄角度，环境光强、拍摄距离，拍摄设备来获取同一证件的不同特征图像。
4.根据权利要求1所述的一种证照人像一致性比对方法，其特征在于：S4步骤中，所述损失函数为Arcface损失函数，具体为：
其中，
L为损失值，N代表样本的数量，i代表第i个样本，j代表第j个类别，yi代表第i个样本所属的类别的分数，s和m为模型的超参数，W为深度模型的权重，X为输入的特征向量，θ为输入向量X与权重W之间的夹角，T表示的是对这个向量的转置。
5.根据权利要求1所述的一种证照人像一致性比对方法，其特征在于：S6步骤中，所述计算每个组合中两个特征向量的差值的方法为余弦距离计算方法。
6.一种证照人像一致性比对***，其特征在于，包括存储器和处理器，所述存储器存储有指令，所述指令适于由处理器加载并执行以下步骤：
S1：获取含有证照人像的图片，所述含有证照人像的图片包括：同一证件的不同特征图像，不同证件的图像，其中，所述不同特征图像为拍摄参数不同；
S2：识别所述含有证照人像的图片中的人像，将人像按设定的尺寸进行裁剪并保存为样本文件，对属于同一证件的样本文件标注为同类，对不属于同一证件的样本文件标注为不同类；
S3：将所有样本文件分成训练集和测试集；
S4：搭建深度学习人像比对模型，所述深度学习人像比对模型的神经网络主干采用50层残差卷积网络，输入所述样本文件，经过卷积网络的多层卷积和池化处理，输出一个512维的特征向量，所述512维的特征向量接入全连接层，所述全连接层将所述512维的特征向量转化为一个数组，数组的值表示输入的所述样本文件是同类和不同类的概率，其中，所述神经网络设置一损失函数连接所述全连接层，通过所述损失函数运算使得所述深度学习人像比对模型运行结果趋于最优解；
S5：将S3步骤得到的训练集中的样本文件输入到S4步骤搭建的深度学习人像比对模型中进行训练，直至所述全连接层输出的数组预测类型正确的概率达到最高，得到能正确表达证照人像类别特征的证照人像比对模型；
S6：将所述测试集中的样本文件输入到所述证照人像比对模型中，将所有同类样本文件经过所述深度学习人像比对模型输出的512维的特征向量两两组合，并计算每个组合中两个特征向量的差值，记为同类数组；
将所有不同类样本文件经过所述深度学习人像比对模型输出的512维的特征向量两两组合，并计算每个组合中两个特征向量的差值，记为不同类数组；
将两个数组代入ROC曲线算法获得阈值，则高于该阈值的两个样本为同类样本，低于该阈值的两个样本为不同类样本；
S7：将一对待验证证照人像图像通过S2步骤处理，得到归一化图像，分别输入到所述证照人像比对模型中，输出两个证照人像的512维特征描述向量，计算所述两个特征向量的差值，将所述差值与S6步骤得到的所述阈值相减，当结果为正时，判定为两个证照人像一致，当结果为负时，判定为两个证照人像不一致。
7.根据权利要求6所述的一种证照人像一致性比对***，其特征在于：S2步骤具体为：
S21：检测人脸的关键点，将所述含有证照人像的图片输入到MTCNN多任务卷积神经网络中，所述MTCNN多任务卷积神经网络通过卷积池化识别到人脸5个关键点，并建立关键点外包围框，所述关键点为人脸的两个眼珠，一个鼻尖，两个嘴角；
S22：以所述关键点外包围框，向外扩展设定的宽度和高度比例，得到四个角点坐标，将四个角点坐标相连裁切得到人像，其中，向外扩展设定的宽度和高度比例分别为30％和40％。
8.根据权利要求6所述的一种证照人像一致性比对***，其特征在于：S1步骤中，通过改变拍摄角度，环境光强、拍摄距离，拍摄设备来获取同一证件的不同特征图像。
9.根据权利要求6所述的一种证照人像一致性比对***，其特征在于：S4步骤中，所述损失函数为Arcface损失函数，具体为：
其中，
L为损失值，N代表样本的数量，i代表第i个样本，j代表第j个类别，yi代表第i个样本所属的类别的分数，s和m为模型的超参数，W为深度模型的权重，X为输入的特征向量，θ为输入向量X与权重W之间的夹角，T表示的是对这个向量的转置。
10.根据权利要求6所述的一种证照人像一致性比对***，其特征在于：S6步骤中，所述计算每个组合中两个特征向量的差值的方法为余弦距离计算方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911319574.4A CN111062338B (zh) | 2019-12-19 | 2019-12-19 | 一种证照人像一致性比对方法及其*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911319574.4A CN111062338B (zh) | 2019-12-19 | 2019-12-19 | 一种证照人像一致性比对方法及其*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111062338A true CN111062338A (zh) | 2020-04-24 |
| CN111062338B CN111062338B (zh) | 2023-11-17 |
Family
ID=70302451
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911319574.4A Active CN111062338B (zh) | 2019-12-19 | 2019-12-19 | 一种证照人像一致性比对方法及其*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111062338B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111652285A (zh) * | 2020-05-09 | 2020-09-11 | 济南浪潮高新科技投资发展有限公司 | 一种茶饼类别识别方法、设备及介质 |
| CN118230344A (zh) * | 2024-05-22 | 2024-06-21 | 盛视科技股份有限公司 | 基于字词识别的多语种证件的全页识别方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106127103A (zh) * | 2016-06-12 | 2016-11-16 | 广州广电运通金融电子股份有限公司 | 一种离线身份认证的方法和装置 |
| CN106934408A (zh) * | 2015-12-29 | 2017-07-07 | 北京大唐高鸿数据网络技术有限公司 | 基于卷积神经网络的身份证照片分类方法 |
| WO2017133009A1 (zh) * | 2016-02-04 | 2017-08-10 | 广州新节奏智能科技有限公司 | 一种基于卷积神经网络的深度图像人体关节定位方法 |
| CN108009528A (zh) * | 2017-12-26 | 2018-05-08 | 广州广电运通金融电子股份有限公司 | 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质 |
-
2019
- 2019-12-19 CN CN201911319574.4A patent/CN111062338B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106934408A (zh) * | 2015-12-29 | 2017-07-07 | 北京大唐高鸿数据网络技术有限公司 | 基于卷积神经网络的身份证照片分类方法 |
| WO2017133009A1 (zh) * | 2016-02-04 | 2017-08-10 | 广州新节奏智能科技有限公司 | 一种基于卷积神经网络的深度图像人体关节定位方法 |
| CN106127103A (zh) * | 2016-06-12 | 2016-11-16 | 广州广电运通金融电子股份有限公司 | 一种离线身份认证的方法和装置 |
| CN108009528A (zh) * | 2017-12-26 | 2018-05-08 | 广州广电运通金融电子股份有限公司 | 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111652285A (zh) * | 2020-05-09 | 2020-09-11 | 济南浪潮高新科技投资发展有限公司 | 一种茶饼类别识别方法、设备及介质 |
| CN118230344A (zh) * | 2024-05-22 | 2024-06-21 | 盛视科技股份有限公司 | 基于字词识别的多语种证件的全页识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111062338B (zh) | 2023-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110348319B (zh) | 一种基于人脸深度信息和边缘图像融合的人脸防伪方法 | |
| CN105389593B (zh) | 基于surf特征的图像物体识别方法 | |
| WO2018086543A1 (zh) | 活体判别方法、身份认证方法、终端、服务器和存储介质 | |
| US8064653B2 (en) | Method and system of person identification by facial image | |
| CN103136504B (zh) | 人脸识别方法及装置 | |
| CN100423020C (zh) | 一种基于结构主元分析的人脸识别方法 | |
| US8666122B2 (en) | Assessing biometric sample quality using wavelets and a boosted classifier | |
| CN111126240B (zh) | 一种三通道特征融合人脸识别方法 | |
| CN104464079A (zh) | 基于模板特征点及其拓扑结构的多币种面值识别方法 | |
| CN112488211A (zh) | 一种织物图像瑕疵分类方法 | |
| CN107862267A (zh) | 基于完全对称局部韦伯描述子的人脸识别特征提取算法 | |
| CN109740572A (zh) | 一种基于局部彩色纹理特征的人脸活体检测方法 | |
| CN108960142B (zh) | 基于全局特征损失函数的行人再识别方法 | |
| CN111832405A (zh) | 一种基于hog和深度残差网络的人脸识别方法 | |
| CN111274883A (zh) | 基于多尺度hog特征和深层特征的合成素描人脸识别方法 | |
| CN111062338B (zh) | 一种证照人像一致性比对方法及其*** | |
| CN115240280A (zh) | 人脸活体检测分类模型的构建方法、检测分类方法及装置 | |
| CN113095158A (zh) | 一种基于对抗生成网络的笔迹生成方法及装置 | |
| CN112115835A (zh) | 一种基于人脸关键点的证件照局部异常检测方法 | |
| Lu et al. | Cut and compare: End-to-end offline signature verification network | |
| CN113436735A (zh) | 基于人脸结构度量的体重指数预测方法、设备和存储介质 | |
| CN108010015A (zh) | 一种指静脉影像质量评价方法及其*** | |
| Andiani et al. | Face recognition for work attendance using multitask convolutional neural network (MTCNN) and pre-trained facenet | |
| Li et al. | An improved PCB defect detector based on feature pyramid networks | |
| JP4749884B2 (ja) | 顔判別装置の学習方法、顔判別方法および装置並びにプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |