CN112115834A - 一种基于小样本匹配网络的标准证件照检测方法 - Google Patents

Abstract

本发明公开了一种基于小样本匹配网络证件照检测方法。本发明提出了小样本匹配网络，该网络由双向GRU网络，带有注意力机制的GRU网络和注意力块组成。用双向GRU网络和带有注意力机制的GRU网络分别对支持集S和测试批B中的样本进行编码，其中S是两个网络共同的输入，并且两个网络的GRU部分是参数共享的。注意力块用于计算映射到新空间的S中各样本与B中样本间的余弦距离，借助注意力机制得到一个标签的线性组合，通过softmax函数映射为概率，将概率值最大的类别作为预测标签输出，从而解决在异常样本稀缺情况下的检测模型训练困难问题。本发明能准确地识别出证件照的异常，根据预测标签判断证件照是否标准，根据标签含义得知异常的部位。

Description

一种基于小样本匹配网络的标准证件照检测方法

技术领域

本发明涉及图像分类和迁移学习的技术领域，具体涉及一种基于小样本匹配网络的方法。

背景技术

证件是当今社会不可或缺的身份核实方式，而证件照是验证身份最直接也最重要的环节，及时验证证件照是否符合标准往往决定着证件的审核周期。由于不同人照片质量差别较大，通常需要专门的审核人员进行人力验证，这样既耗时出错率又高，有时由于没有说清问题原因，同一个人同样的问题往往还会重复出现；除此之外，一些偏远地区可能还会出现审核人员不足的问题，这些都极大的限制了证件照的审核速度，所以开发出一种计算机自动识别异常的技术是十分重要的。

好的模型通常需要依靠大量的样本及其详尽的标注来提升模型性能，并且正负样本数量也要均衡，但有时异常样本难以采集导致数量过少，这将极大影响模型的性能。例如基于多标签深度卷积网络的证件照分类方法(基于caffe框架)中使用了56382个样本，分为7类，负样本数量每个样本要标注7个标签，整个过程既费时又费力。除此之外，现有的模型往往还有结构复杂，识别度不高，鲁棒性不强等问题。

发明内容

本发明主要是针对上述现有技术的缺陷提供的一种新的解决方案，一方面能准确而快速的检测出证件照是否存在异常，节省了大量的人力，工作效率显著提高。另一方面克服了异常样本过少的难题，只需要收集少量异常样本并打上标签即可对模型进行训练，而不是收集大量的正常和异常数据训练模型，这样在保持高预测率的前提下大大减少了训练周期和成本。

本发明采用的技术方案为：

(1)收集标准证件照和异常证件照并进行标注形成证件照数据集；所述异常证件照的异常情况包括眼睛异常，鼻子异常，耳朵异常，嘴巴异常和浓妆，标注时将对应异常的标签标注出来，标准证件照则标注“标准照”的标签。

(2)构建已经预训练的小样本匹配网络；

使用证件照训练集先对小样本匹配网络进行预训练，初始化参数，便于后续训练，该网络包括attGRU块和BiGRU块，Attention Kernel块。

attGRU块和BiGRU块共享一个GRU网络。它们分别对支持集样本x_i和测试批样本

进行编码，将其映射到一个新的特征空间，使得后续余弦距离的计算更合理和准确。

GRU的具体细节如下：

图3是对GRU内部更详细的描述，其中h′_i是当前记忆内容。GRU的函数表示为h_i＝GRU(x_i,h_i-1)，其中x_i是当前步的输入，h_i-1是上一步的输出，h_i是当前步的输出。GRU通过更新门和重置门控制信息。

更新门：输入h_i-1和x_i分别经过线性变换，得到的结果合计为X，X经过sigmoid层后输出的结果z_i即为更新门，z_i用来决定保留多少信息；

重置门：输入h_i-1和x_i分别经过线性变换，得到的结果合计为Y，Y经过sigmoid层后输出的结果e_i即为重置门，e_i用来决定h_i-1中遗忘多少信息。

所述的attGRU块是带有注意力机制的GRU，用于对测试批B编码，B中当前参与训练的样本记为

编码记为

把S作为f的参数使得

在不同的S中有不同的编码，即

的编码与S的选择相关，是对测试批B卷积后的结果，g(S)是支持集S的编码，K是GRU的步数。

编码的处理公式为：

其中a(h_k-1,g(x_i))是GRU的注意力核，r_k-1是借助注意力机制计算出S中各样本的重要程度(也是S中各标签的重要程度)。因为x_i是支持集S中的样本，所以借助注意力机制就可以达到让S参与

编码的目的。

BiGRU块是双向的GRU，与前面讲的GRU不同之处是GRU只考虑任务受先前信息影响，而双向的GRU可以让任务之后的信息也能返回来影响任务。BiGRU块用于对支持集S编码，记为

把S作为g的参数使得x_i的编码与S中的其他样本有关，在不同的S中亦有不同的编码。g′(x_i)是对支持集S卷积后的结果，其中

把S加入到编码过程的目的是将f和g两个特征空间通过S联系起来。这样做一方面使得

与g(x_i,S)余弦距离的计算更加合理而准确，达到匹配的目的。另一方面

的分类结果可能随S的改变而变化，增加模型的适应性。

Attention Kernel块是本方案小样本学习的关键，实现了网络的匹配功能。通过计算

与g(x_i,S)的余弦距离，将与支持集S中相似度最高的x_i的标签y_j标注给测试批B中的

如图2所示。

Attention Kernel块是与度量学习相关的。

的细节描述如下：

其中

是注意力机制(Attation)，用于输出

对于S中不同样本x_i的注意力值；

用于计算

与g(x_i,S)的余弦距离；k是支持集S的大小；

是对于新样本的输出，即S上的类Attation线性组合，也就是对于离

最远的x_i，其在cosine度量下的Attation是0，那么其值就是和

相似的x_i所对应标签的权重融合。这组权重经过softmax层，输出的最大概率值，表示注意力最高，也就是我们最终的预测标签y。

可以计算输入

对于S中不同x_i的注意力值，将S中注意力最高的样本x_i的标签y_j与

匹配，这个y_j就是预测标签(即y)，这样就做到了关注S中最重要的样本。值得注意的是，S是一个小规模数据集，这样就可以巧妙的避开用大量数据集训练网络的缺点，达到我们小样本学习的目的。

经过这一块后，测试批B的图像

打上了预测的标签y，根据预测标签就可以知道证件照是否标准，若不标准还可以根据标签含义得知异常的部位。

小样本匹配网络训练的目标函数为：

其中θ是小样本匹配网络的参数；x是需要预测标签的图片；L是支持集的类别集合(眼睛异常，鼻子异常等)；

(3)采用步骤(1)中的证件照数据集对小样本匹配网络进行训练，得到证件照检测模型；

将证件照数据集划分为训练集和测试集，对于训练集中的标准证件照和异常证件照共计六种类别的图像均随机采样样本作为支持集S，随机采样其中一个类别及其样本作为测试批B；这样划分的目的是让预测值与真实值间有对比参照，这样就可以计算误差修正模型。

将训练集采样得到的支持集S和训练批B直接输入到小样本匹配网络中进行训练，训练策略为：以支持集S为条件训练测试批B，使得在B上的误差最小化，换句话说是利用在S中学习的结果预测B的标签，最小化B的预测值与真实值之间的误差。

将测试集输入到模型中进行测试，最终得到证件照检测模型。

(4)将待测证件照的图像输入到证件照检测模型，并识别证件照是否标准，若不标准，模型则自动标注对应的异常标签。

本发明的有益效果：

(1)本发明可以快速而准确的识别出证件照是否符合标准，若不标准还可根据预测标签的含义得知异常的部位，帮助人们改善拍照的照片质量，同时可以根据不同人群的需要，整个过程不需要人力进行逐张筛选，节省了大量的人力和财力，提高工作效率。

(2)本发明解决了训练模型时异常样本过少的问题，凭借自身强大的泛化能力可以很好的进行训练，训练集只需要少量的异常证件照并打上标签，输入到模型中即可训练出较为理想的模型。

附图说明

图1是本发明的工作流程图；

图2是本发明的小样本匹配网络图；

图3是本发明的GRU结构示意图。

具体实施方式

下面结合附图和具体实施例对本发明作出进一步说明。

实施例1：如图1所示，本发明提供一种基于小样本匹配网络的方法，包括：

(1)收集标准证件照和异常证件照并进行标注形成证件照数据集；

在网上自动爬取并人工收集多种具有证件照特征的图像，包括不限于戴眼镜，戴口罩，浓妆等。

(2.2)：对采集的所有图像进行人工筛选，删除不符合证件照特征的图像。

(2.3)：从步骤(2.2)中删除重复的图像

(2.4)：对收集到的15320张图像人工标注标签，其中异常图像有3210张。图像可分为标准照，眼睛异常，鼻子异常，耳朵异常，嘴巴异常，浓妆共6类，即步骤(2.3)得到的图像具有上述某种异常，则人工标注对应异常的标签，否则标注“标准照”的标签。具体来说，每个样本x_i即证件照对应着一种标签y_j，即每个样本即证件照只对应一种异常，若样本x_i有对应的标签y_j，则y_j＝1，否则y_j＝0。接着将15320张证件照都人工标注标签，这15320张证件照合在一起即为我们的证件照数据集。

(2)构建已经预训练的小样本匹配网络；

(3)采用步骤(1)中的证件照数据集对小样本匹配网络进行训练，得到证件照检测模型；

(3.1)将15320张证件照集D按7比3划分为训练集和测试集:

D_train＝{(x_i,y_j)|1≤i≤10724,1≤j≤6}

D_test＝{(x_i,y_j)|1≤i≤4596,1≤j≤6}

对于训练集中的6种图像分类，每个类别随机采样15个样本作为支持集S∈D，随机采样其中一个类别及其15个样本作为测试批B∈D。这样划分的目的是让预测值与真实值间有对比参照，这样就可以计算误差修正模型。

(3.2)具体训练过程如下：

如图1所示，将支持集S输入到BiGRU块，先对S进行卷积得到g′(x_i)，将g′(x_i)输入到双向GRU中得到对S的编码g(S)；接着将g(S)输入到attGRU块得到GRU的注意力核a(h_k-1,g(x_i))，将注意力核作用的结果r_k-1和对测试批B进行卷积得到的

输入到GRU中得到对B的编码

将

和g(S)输入Attention Kernel块计算得到小样本匹配网络的注意力

接下来输出概率值最大的标签即为可为

标注预测标签y；最后根据目标函数进行优化得到模型。根据预测标签就可以知道证件照是否标准，若不标准还可以根据标签含义得知异常的部位。

(3.3)将测试集D_test输入模型中进行测试，最终得到证件照检测模型。

(4)将待测证件照的图像进输入到证件照检测模型内，并识别证件照是否标准，若不标准，模型则自动标注对应的异常标签。经过统计，待测证件照检测的正确率达到了98％，但是异常样本只占了总量的约五分之一，这已经完全可以满足我们的需求。

本发明的保护范围包括但不限于上述实施方式，本发明的保护范围以权利要求说明书为准，本领域的普通技术人员在本发明的启示下还可以做出很多形式的具体转换，这些均属于本发明的保护范围之内。

Claims (4)

1.一种基于小样本匹配网络的标准证件照检测方法，其特征在于，包括如下步骤：

(1)收集标准证件照和异常证件照并进行标注形成证件照数据集；

(2)构建已经预训练的小样本匹配网络；

(3)采用步骤(1)中的证件照数据集对小样本匹配网络进行训练，得到证件照检测模型；

(4)将待测证件照的图像输入到证件照检测模型，并识别证件照是否标准，若不标准，模型则自动标注对应的异常标签。

2.根据权利要求1所述的基于小样本匹配网络的标准证件照检测方法，其特征在于：

所述异常证件照的异常情况包括眼睛异常，鼻子异常，耳朵异常，嘴巴异常和浓妆，且每张异常证件照只包含一种异常情况，标注时将对应异常的标签标注出来，标准证件照则标注“标准照”的标签。

3.根据权利要求1所述的基于小样本匹配网络的标准证件照检测方法，其特征在于，所述步骤(2)中小样本匹配网络包括attGRU模块，BiGRU模块和Attention Kernel模块；

所述的attGRU块用于对测试批B编码，记为

BiGRU用于对支持集S编码，记为g(x_i,S)；

Attention Kernel通过注意力机制

计算

与g(x_i,S)的相似度，在面对新样本

时关注S中最重要的x_i，从而为

标注该x_i的标签，记为预测标签y，根据预测标签确定证件照是否标准，若不标准则根据标签含义得知异常的部位。

4.根据权利要求1所述的基于小样本匹配网络的标准证件照检测方法，其特征在于，步骤(3)的具体过程为：

将证件照数据集划分为训练集D_train和测试集D_test，对于训练集中的标准证件照和异常证件照共计六种类别的图像均随机采样样本作为支持集S，随机采样其中一个类别及其样本作为测试批B；

将训练集采样得到的支持集S和训练批B输入到小样本匹配网络进行训练，训练策略为：以支持集S为条件训练测试批B，利用在S中学习的结果预测B的标签，最小化B的预测值与真实值之间的误差；

将测试集输入到模型中进行测试，得到最终的证件照检测模型。

Images