CN115273202A - 一种人脸比对方法、***、设备及存储介质 - Google Patents

一种人脸比对方法、***、设备及存储介质 Download PDF

Info

Publication number
CN115273202A
CN115273202A CN202210949819.7A CN202210949819A CN115273202A CN 115273202 A CN115273202 A CN 115273202A CN 202210949819 A CN202210949819 A CN 202210949819A CN 115273202 A CN115273202 A CN 115273202A
Authority
CN
China
Prior art keywords
face
module
convolution
faces
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210949819.7A
Other languages
English (en)
Inventor
韦涛
杜欢
梁勇
吴康杰
李鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Asean Information Harbor Co ltd
Original Assignee
China Asean Information Harbor Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Asean Information Harbor Co ltd filed Critical China Asean Information Harbor Co ltd
Priority to CN202210949819.7A priority Critical patent/CN115273202A/zh
Publication of CN115273202A publication Critical patent/CN115273202A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开了一种人脸比对方法、***、设备及存储介质，属于计算机视觉技术领域，解决现有人脸比对方法稳定性差、对比速度较慢的技术问题，方法包括：构建一个基于卷积神经网络的轻量级的人脸检测模块，用于对人脸图像进行检测得到一系列人脸候选框；对人脸候选框的位置信息进行解码，并转换为原图上的人脸候选框信息；根据每个人脸候选框对人脸预测的得分筛选出若干个人脸候选框作为检测结果，并根据检测结果将人脸部分从原图上裁剪出来，作为输入图像；构建一个基于卷积神经网络的人脸特征提取模块，将输入图像输入到人脸特征提取模块，得到一系列人脸信息量化的特征值；根据两个人脸的特征值计算两个人脸的相似程度，并判断是否为同一个人。

Description

一种人脸比对方法、***、设备及存储介质
技术领域
本发明涉及计算机视觉技术领域，更具体地说，它涉及一种人脸比对方法、***、设备及存储介质。
背景技术
人脸比对技术又称为人脸验证技术，即判断两张图像中的人脸是否为同一个人，目前已经在国家安全、军事安全、公共安全、民事和经济等领域得到了广泛的应用，例如刷脸出入的门禁***、刷脸支付的金融***等，具有十分重要的研究价值和研究意义。
在现有的技术中，使用LBP算子提取人脸图像特征来获取整张图像的LBP编码图像，再将LBP编码图像分为若干个区域并获取对应的LBP编码直方图，从而获取整个图像的LBP编码直方图，当进行人脸验证时，使用基于直方图的图像相似度计算函数来计算两张比对图像的特征距离，若特征距离大于设定阈值便认为是同一个人的人脸。该方法的好处是能够在一定范围内减少因为没有完全对准人脸区域而造成的误差。
上述人脸比对方法存在诸多弊端，如模糊图像、侧脸、反光以及遮挡都会对人脸识别过程造成影响，稳定性不高，同时，这种方法在实际应用中的比对速度较慢，在某些场景下达不到实时性的要求，具有一定的局限性。
发明内容
本发明要解决的技术问题是针对现有技术的上述不足，本发明的目的一是提供一种稳定性好、比对速度快的人脸比对方法。
本发明的目的二是提供一种稳定性好、比对速度快的人脸比对***。
本发明的目的三是提供一种计算机设备。
本发明的目的四是提供一种计算机可读存储介质。
为了实现上述目的一，本发明提供一种人脸比对方法，包括：
步骤S1.构建一个基于卷积神经网络的轻量级的人脸检测模块，用于对人脸图像进行检测来确定人脸的位置信息，得到一系列人脸候选框；
步骤S2.对所述人脸候选框的位置信息进行解码，将每个人脸候选框转换为原图上的人脸候选框信息；
步骤S3.根据原图上的每个人脸候选框对人脸预测的得分score筛选出若干个人脸候选框作为检测结果，并根据检测结果将人脸部分从原图上裁剪出来，作为后续人脸特征提取模块的输入图像；
步骤S4.构建一个基于卷积神经网络的人脸特征提取模块，将所述输入图像输入到所述人脸特征提取模块，得到一系列人脸信息量化的特征值；
步骤S5.根据两个人脸的特征值计算两个人脸的相似程度，根据相似程度判断两个人脸是否为同一个人。
作为进一步地改进，在步骤S1中，构建人脸检测模块的过程如下：
步骤S11，构建输入层，为了满足卷积神经网络固定尺寸输入的要求，输入层将图像的尺寸调整为500×500×3；
步骤S12，构建轻量级卷积子模块，子模块主要由两种尺度的卷积核组成，分别为3×3的卷积核及1×1的卷积核，3×3卷积核个数为64个，1×1卷积核个数为32个；模块中卷积层的连接方式为1×1卷积核接在3×3卷积核之后，同时在1×1卷积核之后接一个非线性激活操作；
步骤S13，在输入层之后连接3个卷积子模块，然后通过一个Flatten层将卷积模块输出的特征图展平，再通过两个全连接层对卷积层的信息整合，最后通过一个Reshape层输出5×5×2个回归框的信息(bx,by,bw,bh,confidence,score)，其中，(bx,by)为回归框的中心点坐标，bw为回归框的宽度，bh为回归框的高度，confidence为回归框的置信度得分，acore为回归框包含人脸的得分，5×5×2表示将原图划分为5×5个区域，模型在每个区域预测2个回归框的位置信息。
进一步地，在步骤S2中，将回归框的位置信息解码，针对每一个回归框，使用如下公式将其转换为原图上的人脸候选框信息：
Figure BDA0003788722270000031
Figure BDA0003788722270000032
Figure BDA0003788722270000033
Figure BDA0003788722270000034
其中，(tx,ty)为原图上人脸候选框的中心点坐标；tw和th分别为宽度和高度；w表示原图宽度，h表示原图高度；S表示将原图划分为S×S个区域，S为5；xoffset表示该回归框所属区域的横坐标，yoffset表示该回归框所属区域的纵坐标。
进一步地，在步骤S3中，首先根据每个人脸候选框对人脸预测的得分score从大到小进行排列，选取得分较大的前m个候选框；然后根据回归框的置信度confidence对这m个候选框使用非极大值抑制算法进行二次筛选，选取筛选后的n个候选框作为人脸检测的结果，m、n为设定值。
进一步地，若二次筛选后的候选框不足n个，则将筛选后的所有候选框作为检测结果。
进一步地，在步骤S4中，构建人脸特征提取模块的过程如下：
步骤S41.构建输入层，对输入图像进行预处理，预处理过程主要是将输入图像调整为统一尺寸；
步骤S42.在输入层之后连接3个轻量级卷积子模块，作用是为了加速特征提取的过程，同时增加网络的非线性表达能力，从而更好地提取人脸特征；
步骤S43.构建Inception模块，该模块位于轻量级卷积子模块之后，由3种尺度的卷积层和一个最大池化层构成，3种尺度的卷积核大小分别为1×1、3×3和5×5，3个卷积层和1个池化层以并联的方式连接，在模块的最后将4个网络层的输出拼接起来作为Inception模块的输出；
步骤S44.构建残差模块，该模块位于Inception模块之后，包含两个卷积层，所用的卷积核大小都为3×3，模块的输入特征图会被这两个卷积层卷积，然后将卷积得到的特征图与输入特征图逐位相加，将相加后得到的新特征图作为残差模块的输出；
步骤S45.在残差模块之后连接两个全连接层，对卷积层的信息进行整合，最后通过k个神经元的全连接层输出，这k个神经元也即模块对人脸提取的k维特征向量。
进一步地，在步骤S5中，所述k维特征向量可以映射为k维特征空间的一个特征点，两个人脸的特征向量就可以映射为两个特征点，这两个特征点的距离代表了两个人脸的相似程度，离得越近表明两个人脸越相似；使用余弦距离作为两个特征点的相似度距离，具体计算过程如下：
计算两个人脸特征向量(x1,x2,...,xk)和(y1,y2,...,yk)的点积，如下式所示：
dotXY＝(x1,x2,...,xk)×(y1,y2,...,yk)T
分别计算两个人脸特征向量的二范数，如下式所示：
Figure BDA0003788722270000041
Figure BDA0003788722270000042
根据点积和范数计算两个特征向量的余弦距离，如下式所示：
Figure BDA0003788722270000043
余弦距离为两个人脸的相似度距离，若该距离大于阈值，则认为两个人脸是同一个人；否则认为两个人脸不是同一个人。
为了实现上述目的二，本发明提供一种人脸比对***，包括：
人脸检测模块，用于对人脸图像进行检测来确定人脸的位置信息，得到一系列人脸候选框；
解码模块，用于对所述人脸候选框的位置信息进行解码，将每个人脸候选框转换为原图上的人脸候选框信息；
筛选模块，用于根据原图上的每个人脸候选框对人脸预测的得分score筛选出若干个人脸候选框作为检测结果，并根据检测结果将人脸部分从原图上裁剪出来，作为后续人脸特征提取模块的输入图像；
人脸特征提取模块，用于对所述输入图像进行特征提取，得到一系列人脸信息量化的特征值；
相似度比对模块，用于根据两个人脸的特征值计算两个人脸的相似程度，根据相似程度判断两个人脸是否为同一个人。
为了实现上述目的三，本发明提供一种计算机设备，包括存储器、处理器；所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序，以实现如上述的一种人脸比对方法。
为了实现上述目的四，本发明提供一种计算机可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如上述的一种人脸比对方法。
有益效果
本发明与现有技术相比，具有的优点为：
本发明通过构建一系列基于卷积神经网络的模块实现了人脸检测、人脸特征提取、人脸比对的过程，与其他现有的人脸比对技术相比，使用卷积神经网络提取人脸特征，提高了人脸特征提取的质量，同时对网络结构进行一系列改进，提高了特征提取的速度，从而提升人脸比对的效率。
附图说明
图1为本发明的总体流程图；
图2为本发明实际应用比对两个人脸的流程图。
具体实施方式
下面结合附图中的具体实施例对本发明做进一步的说明。
参阅图1、2，一种人脸比对方法，包括：
步骤S1.构建一个基于卷积神经网络的轻量级的人脸检测模块，用于对人脸图像进行检测来确定人脸的位置信息，得到一系列人脸候选框；
步骤S2.对人脸候选框的位置信息进行解码，将每个人脸候选框转换为原图上的人脸候选框信息；
步骤S3.根据原图上的每个人脸候选框对人脸预测的得分score筛选出若干个人脸候选框作为检测结果，并根据检测结果将人脸部分从原图上裁剪出来，作为后续人脸特征提取模块的输入图像；
步骤S4.构建一个基于卷积神经网络的人脸特征提取模块，将输入图像输入到人脸特征提取模块，得到一系列人脸信息量化的特征值；
步骤S5.根据两个人脸的特征值计算两个人脸的相似程度，根据相似程度判断两个人脸是否为同一个人。
在步骤S1中，构建人脸检测模块的过程如下：
步骤S11，构建输入层，为了满足卷积神经网络固定尺寸输入的要求，输入层将图像的尺寸调整为500×500×3；
步骤S12，构建轻量级卷积子模块，子模块主要由两种尺度的卷积核组成，分别为3×3的卷积核及1×1的卷积核，3×3卷积核个数为64个，1×1卷积核个数为32个；模块中卷积层的连接方式为1×1卷积核接在3×3卷积核之后，同时在1×1卷积核之后接一个非线性激活操作；这样做的好处是1×1的卷积核不会改变它的输入特征图的尺寸(不损失特征图的分辨率)，同时还能降低输入特征图的宽度，另外，在1×1卷积核之后加一个非线性激活操作，能够增加网络的非线性表达能力；
步骤S13，在输入层之后连接3个卷积子模块，然后通过一个Flatten层将卷积模块输出的特征图展平，再通过两个全连接层对卷积层的信息整合，最后通过一个Reshape层输出5×5×2个回归框的信息(bx,by,bw,bh,confidence,score)，其中，(bx,by)为回归框的中心点坐标，bw为回归框的宽度，bh为回归框的高度，confidence为回归框的置信度得分，score为回归框包含人脸的得分，5×5×2表示将原图划分为5×5个区域，模型在每个区域预测2个回归框的位置信息。
在步骤S2中，人脸检测基础模块输出的回归框信息为模型初步预测提出的一系列人脸候选框，且预测的位置信息为归一化后的值，因此，要获得实际的人脸位置信息，需要对这些候选框的位置信息解码，并对这些候选框做进一步的筛选处理。将回归框的位置信息解码，针对每一个回归框，使用如下公式将其转换为原图上的人脸候选框信息：
Figure BDA0003788722270000071
Figure BDA0003788722270000072
Figure BDA0003788722270000073
Figure BDA0003788722270000074
其中，(tx,ty)为原图上人脸候选框的中心点坐标；tw和th分别为宽度和高度；w表示原图宽度，h表示原图高度；S表示将原图划分为S×S个区域，本发明将原图划分为5×5个区域，因此S为5；xoffset表示该回归框所属区域的横坐标，yoffset表示该回归框所属区域的纵坐标。
在步骤S3中，首先根据每个人脸候选框对人脸预测的得分score从大到小进行排列，选取得分较大的前m个候选框；然后根据回归框的置信度confidence对这m个候选框使用非极大值抑制算法进行二次筛选，选取筛选后的n个候选框作为人脸检测的结果，m、n为设定值。若二次筛选后的候选框不足n个，则将筛选后的所有候选框作为检测结果。
在步骤S4中，对比两张人脸是否一致，可以将两张人脸信息量化为一系列特征值，再通过比对两者特征值的相似度来判断两者是否为同一个人，因此以卷积神经网络为基础，构建一个人脸特征提取模块来提取人脸特征。构建人脸特征提取模块的过程如下：
步骤S41.构建输入层，对输入图像进行预处理，预处理过程主要是将输入图像调整为统一尺寸；由于人脸检测模块输出的人脸部分图像大小不一，而特征提取模块中包含全连接层，因此需要将其调整为统一尺寸；
步骤S42.在输入层之后连接3个轻量级卷积子模块，作用是为了加速特征提取的过程，同时增加网络的非线性表达能力，从而更好地提取人脸特征；
步骤S43.构建Inception模块，该模块位于轻量级卷积子模块之后，由3种尺度的卷积层和一个最大池化层构成，3种尺度的卷积核大小分别为1×1、3×3和5×5，3个卷积层和1个池化层以并联的方式连接，在模块的最后将4个网络层的输出拼接起来作为Inception模块的输出；引入该模块的好处是能在多个尺度提取人脸的特征，保证提取到的人脸特征足够丰富，从而增加比对的准确性；
步骤S44.构建残差模块，该模块位于Inception模块之后，包含两个卷积层，所用的卷积核大小都为3×3，模块的输入特征图会被这两个卷积层卷积，然后将卷积得到的特征图与输入特征图逐位相加，将相加后得到的新特征图作为残差模块的输出；引入该模块是为了使模型在训练时能够更容易收敛，同时能够增加模型的拟合能力；
步骤S45.在残差模块之后连接两个全连接层，对卷积层的信息进行整合，最后通过k个神经元的全连接层输出，这k个神经元也即模块对人脸提取的k维特征向量。
在步骤S5中，k维特征向量可以映射为k维特征空间的一个特征点，两个人脸的特征向量就可以映射为两个特征点，这两个特征点的距离代表了两个人脸的相似程度，离得越近表明两个人脸越相似，因此人脸比对的问题就转换为了计算人脸特征点相似度距离的问题；使用余弦距离作为两个特征点的相似度距离，具体计算过程如下：
计算两个人脸特征向量(x1,x2,...,xk)和(y1,y2,...,yk)的点积，如下式所示：
dotXY＝(x1,x2,...,xk)×(y1,y2,...,yk)T
分别计算两个人脸特征向量的二范数，如下式所示：
Figure BDA0003788722270000091
Figure BDA0003788722270000092
根据点积和范数计算两个特征向量的余弦距离，如下式所示：
Figure BDA0003788722270000093
余弦距离为两个人脸的相似度距离，若该距离大于阈值，则认为两个人脸是同一个人；否则认为两个人脸不是同一个人。
一种人脸比对***，包括：
人脸检测模块，用于对人脸图像进行检测来确定人脸的位置信息，得到一系列人脸候选框；
解码模块，用于对人脸候选框的位置信息进行解码，将每个人脸候选框转换为原图上的人脸候选框信息；
筛选模块，用于根据原图上的每个人脸候选框对人脸预测的得分sxore筛选出若干个人脸候选框作为检测结果，并根据检测结果将人脸部分从原图上裁剪出来，作为后续人脸特征提取模块的输入图像；
人脸特征提取模块，用于对输入图像进行特征提取，得到一系列人脸信息量化的特征值；
相似度比对模块，用于根据两个人脸的特征值计算两个人脸的相似程度，根据相似程度判断两个人脸是否为同一个人。
一种计算机设备，包括存储器、处理器；存储器用于存储计算机程序；处理器用于执行计算机程序，以实现如上述的一种人脸比对方法。
一种计算机可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时用于实现如上述的一种人脸比对方法。
实际应用
下面以运营商网点核验人员办理业务时留存的证件照和现场照为例分析两张图像的人脸比对过程，通常证件照中只包含1个人脸，而现场照中可能包含多个人脸。
1.将证件照、现场照的尺寸统一调整为500×500×3；
2.对证件照进行人脸检测，将证件照输入人脸检测模块，从人脸检测模块输出50个回归框的信息，对回归框的位置信息(bs,by,bw,bh)使用下式进行解码：
Figure BDA0003788722270000101
Figure BDA0003788722270000111
Figure BDA0003788722270000112
Figure BDA0003788722270000113
针对该实施例，S的取值为5，w的取值为500，h的取值为500。根据(tx,ty,tw,th)得到解码后的一系列原图上的候选框位置以及它们对应的置信度得分confidence和人脸预测得分score；
3.筛选证件照人脸候选框，根据每个候选框的score从大到小进行排列，选取得分较大的前10个候选框，然后根据confidence对这10个候选框使用非极大值抑制算法进行二次筛选，选取筛选后的1个候选框作为证件照人脸检测的结果；
4.对现场照进行人脸检测，将现场照输入人脸检测基础模块，从人脸检测基础模块输出50个回归框的信息，对回归框的位置信息(bx,by,bw,bh)使用下式进行解码：
Figure BDA0003788722270000114
Figure BDA0003788722270000115
Figure BDA0003788722270000116
Figure BDA0003788722270000117
针对该实施例，S的取值为5，w的取值为500，h的取值为500。根据(tx,ty,tw,th)得到解码后的一系列原图上的候选框位置以及它们对应的置信度得分confidence和人脸预测得分score；
5.筛选现场照人脸候选框，根据每个候选框的score从大到小进行排列，选取得分较大的前20个候选框，然后根据confidence对这20个候选框使用非极大值抑制算法进行二次筛选，选取筛选后的5个候选框作为现场照人脸检测的结果，若筛选后的候选框不足5个，则剩余候选框均作为现场照人脸检测结果；
6.针对第3步提取的证件照人脸检测结果，先对其进行图像预处理，将其尺寸调整为224×224×3，然后输入到人脸特征提取模块，经过模块一系列卷积操作后，通过160个神经元的全连接层输出160维特征向量(x1,x2,...,x160)；
7.针对第5步提取的现场照人脸检测结果(可能有多个)，分别对其进行图像预处理，将尺寸统一调整为224×224×3，然后分别输入到人脸特征提取模块，经过模块一系列卷积操作后，通过160个神经元的全连接层输出160维特征向量(i1,i2,...,i160)、(j1,j2,...,j160)、(k1,k2,...,k160)...，将这些向量放入一个现场照人脸特征向量集合中；
8.从现场照人脸特征向量集合中不放回取出一个特征向量，通过余弦距离公式计算其与证件照人脸特征向量的相似度距离，也即该现场照人脸与证件照人脸的相似程度，将结果放入一个比对集合中；
9.重复步骤8，直到现场照人脸特征向量集合中的所有向量均与证件照人脸特征向量计算相似度距离，也即现场照中的所有人脸均与证件照人脸比对完毕；
10.从比对集合中取相似度最大的值作为现场照与证件照的人脸比对结果，将该值与设定的人脸比对阈值threshold比较，若大于该阈值，则认为现场照与证件照人脸比对通过；反之，则认为两者人脸比对不通过。
以上仅是本发明的优选实施方式，应当指出对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些都不会影响本发明实施的效果和专利的实用性。

Claims (10)

1.一种人脸比对方法，其特征在于，包括：
步骤S1.构建一个基于卷积神经网络的轻量级的人脸检测模块，用于对人脸图像进行检测来确定人脸的位置信息，得到一系列人脸候选框；
步骤S2.对所述人脸候选框的位置信息进行解码，将每个人脸候选框转换为原图上的人脸候选框信息；
步骤S3.根据原图上的每个人脸候选框对人脸预测的得分score筛选出若干个人脸候选框作为检测结果，并根据检测结果将人脸部分从原图上裁剪出来，作为后续人脸特征提取模块的输入图像；
步骤S4.构建一个基于卷积神经网络的人脸特征提取模块，将所述输入图像输入到所述人脸特征提取模块，得到一系列人脸信息量化的特征值；
步骤S5.根据两个人脸的特征值计算两个人脸的相似程度，根据相似程度判断两个人脸是否为同一个人。
2.根据权利要求1所述的一种人脸比对方法，其特征在于，在步骤S1中，构建人脸检测模块的过程如下：
步骤S11，构建输入层，为了满足卷积神经网络固定尺寸输入的要求，输入层将图像的尺寸调整为500×500×3；
步骤S12，构建轻量级卷积子模块，子模块主要由两种尺度的卷积核组成，分别为3×3的卷积核及1×1的卷积核，3×3卷积核个数为64个，1×1卷积核个数为32个；模块中卷积层的连接方式为1×1卷积核接在3×3卷积核之后，同时在1×1卷积核之后接一个非线性激活操作；
步骤S13，在输入层之后连接3个卷积子模块，然后通过一个Flatten层将卷积模块输出的特征图展平，再通过两个全连接层对卷积层的信息整合，最后通过一个Reshape层输出5×5×2个回归框的信息(bx,by,bw,bh,confidence,score)，其中，(bx,by)为回归框的中心点坐标，bw为回归框的宽度，bh为回归框的高度，confidence为回归框的置信度得分，acore为回归框包含人脸的得分，5×5×2表示将原图划分为5×5个区域，模型在每个区域预测2个回归框的位置信息。
3.根据权利要求2所述的一种人脸比对方法，其特征在于，在步骤S2中，将回归框的位置信息解码，针对每一个回归框，使用如下公式将其转换为原图上的人脸候选框信息：
Figure FDA0003788722260000021
Figure FDA0003788722260000022
Figure FDA0003788722260000023
Figure FDA0003788722260000024
其中，(tx,ty)为原图上人脸候选框的中心点坐标；tw和th分别为宽度和高度；w表示原图宽度，h表示原图高度；S表示将原图划分为S×S个区域，S为5；xoffset表示该回归框所属区域的横坐标，yoffset表示该回归框所属区域的纵坐标。
4.根据权利要求2所述的一种人脸比对方法，其特征在于，在步骤S3中，首先根据每个人脸候选框对人脸预测的得分score从大到小进行排列，选取得分较大的前m个候选框；然后根据回归框的置信度confidence对这m个候选框使用非极大值抑制算法进行二次筛选，选取筛选后的n个候选框作为人脸检测的结果，m、n为设定值。
5.根据权利要求4所述的一种人脸比对方法，其特征在于，若二次筛选后的候选框不足n个，则将筛选后的所有候选框作为检测结果。
6.根据权利要求1所述的一种人脸比对方法，其特征在于，在步骤S4中，构建人脸特征提取模块的过程如下：
步骤S41.构建输入层，对输入图像进行预处理，预处理过程主要是将输入图像调整为统一尺寸；
步骤S42.在输入层之后连接3个轻量级卷积子模块，作用是为了加速特征提取的过程，同时增加网络的非线性表达能力，从而更好地提取人脸特征；
步骤S43.构建Inception模块，该模块位于轻量级卷积子模块之后，由3种尺度的卷积层和一个最大池化层构成，3种尺度的卷积核大小分别为1×1、3×3和5×5，3个卷积层和1个池化层以并联的方式连接，在模块的最后将4个网络层的输出拼接起来作为Inception模块的输出；
步骤S44.构建残差模块，该模块位于Inception模块之后，包含两个卷积层，所用的卷积核大小都为3×3，模块的输入特征图会被这两个卷积层卷积，然后将卷积得到的特征图与输入特征图逐位相加，将相加后得到的新特征图作为残差模块的输出；
步骤S45.在残差模块之后连接两个全连接层，对卷积层的信息进行整合，最后通过k个神经元的全连接层输出，这k个神经元也即模块对人脸提取的k维特征向量。
7.根据权利要求6所述的一种人脸比对方法，其特征在于，在步骤S5中，所述k维特征向量可以映射为k维特征空间的一个特征点，两个人脸的特征向量就可以映射为两个特征点，这两个特征点的距离代表了两个人脸的相似程度，离得越近表明两个人脸越相似；使用余弦距离作为两个特征点的相似度距离，具体计算过程如下：
计算两个人脸特征向量(x1,x2,...,xk)和(y1,y2,...,yk)的点积，如下式所示：
dotXY＝(x1,x2,...,xk)×(y1,y2,...,yk)T
分别计算两个人脸特征向量的二范数，如下式所示：
Figure FDA0003788722260000031
Figure FDA0003788722260000041
根据点积和范数计算两个特征向量的余弦距离，如下式所示：
Figure FDA0003788722260000042
余弦距离为两个人脸的相似度距离，若该距离大于阈值，则认为两个人脸是同一个人；否则认为两个人脸不是同一个人。
8.一种人脸比对***，其特征在于，包括：
人脸检测模块，用于对人脸图像进行检测来确定人脸的位置信息，得到一系列人脸候选框；
解码模块，用于对所述人脸候选框的位置信息进行解码，将每个人脸候选框转换为原图上的人脸候选框信息；
筛选模块，用于根据原图上的每个人脸候选框对人脸预测的得分score筛选出若干个人脸候选框作为检测结果，并根据检测结果将人脸部分从原图上裁剪出来，作为后续人脸特征提取模块的输入图像；
人脸特征提取模块，用于对所述输入图像进行特征提取，得到一系列人脸信息量化的特征值；
相似度比对模块，用于根据两个人脸的特征值计算两个人脸的相似程度，根据相似程度判断两个人脸是否为同一个人。
9.一种计算机设备，其特征在于，包括存储器、处理器；所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序，以实现如权利要求1-7任意一项所述的一种人脸比对方法。
10.一种计算机可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如权利要求1-7任意一项所述的一种人脸比对方法。
CN202210949819.7A 2022-08-09 2022-08-09 一种人脸比对方法、***、设备及存储介质 Pending CN115273202A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210949819.7A CN115273202A (zh) 2022-08-09 2022-08-09 一种人脸比对方法、***、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210949819.7A CN115273202A (zh) 2022-08-09 2022-08-09 一种人脸比对方法、***、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115273202A true CN115273202A (zh) 2022-11-01

Family

ID=83748799

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210949819.7A Pending CN115273202A (zh) 2022-08-09 2022-08-09 一种人脸比对方法、***、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115273202A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115690934A (zh) * 2023-01-05 2023-02-03 武汉利楚商务服务有限公司 基于批量人脸识别的师生考勤打卡方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115690934A (zh) * 2023-01-05 2023-02-03 武汉利楚商务服务有限公司 基于批量人脸识别的师生考勤打卡方法及装置

Similar Documents

Publication Publication Date Title
CN110287960B (zh) 自然场景图像中曲线文字的检测识别方法
CN111639692B (zh) 一种基于注意力机制的阴影检测方法
CN109145745B (zh) 一种遮挡情况下的人脸识别方法
CN111968150B (zh) 一种基于全卷积神经网络的弱监督视频目标分割方法
WO2017080196A1 (zh) 基于人脸图像的视频分类方法和装置
CN111709313B (zh) 基于局部和通道组合特征的行人重识别方法
CN110826558B (zh) 图像分类方法、计算机设备和存储介质
CN113361495A (zh) 人脸图像相似度的计算方法、装置、设备及存储介质
CN105184225B (zh) 一种多国纸币图像识别方法和装置
CN113920400A (zh) 一种基于改进YOLOv3的金属表面缺陷检测方法
CN114419406A (zh) 图像变化检测方法、训练方法、装置和计算机设备
CN115273202A (zh) 一种人脸比对方法、***、设备及存储介质
CN109359530B (zh) 一种智能视频监控方法及装置
CN113837230A (zh) 基于自适应注意力机制的图像描述生成方法
CN109101984B (zh) 一种基于卷积神经网络的图像识别方法及装置
CN111931757A (zh) 基于mdlbp分块直方图和pca降维的指静脉快速排序方法及装置
CN112418262A (zh) 车辆再识别的方法、客户端及***
CN116403237A (zh) 一种基于关联信息与注意力机制的遮挡行人重识别方法
CN114463732A (zh) 一种基于知识蒸馏的场景文本检测方法及装置
CN111062338B (zh) 一种证照人像一致性比对方法及其***
CN114677535A (zh) 域适应图像分类网络的训练方法、图像分类方法及装置
CN114332915A (zh) 人体属性检测方法、装置、计算机设备及存储介质
CN112767427A (zh) 一种补偿边缘信息的低分辨率图像识别算法
CN111126444A (zh) 分类器集成方法
Chu et al. Similarity based filter pruning for efficient super-resolution models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination