CN111178228A - 一种基于深度学习的人脸识别方法 - Google Patents
一种基于深度学习的人脸识别方法 Download PDFInfo
- Publication number
- CN111178228A CN111178228A CN201911362913.7A CN201911362913A CN111178228A CN 111178228 A CN111178228 A CN 111178228A CN 201911362913 A CN201911362913 A CN 201911362913A CN 111178228 A CN111178228 A CN 111178228A
- Authority
- CN
- China
- Prior art keywords
- face
- model
- image
- deep learning
- recognizing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的人脸识别方法,包括以下步骤:S1:获取包含人脸的图像;S2:使用第一模型对所述图像的人脸进行检测;S3:使用第二模型对S2中检测后的图像进行人脸预筛;S4:根据预筛结果建立人脸数据集;S5:使用所述人脸数据集对第三模型进行训练;S6:使用训练好的所述第三模型进行人脸识别。本方法减少了大规模数据下纯人工入库可能造成的误检漏检问题,同时也减少了录入人员的工作量,且保证准确率的同时,加快预筛速度。构建深度神经网络模型对人脸图像进行训练,使非正面、俯视的人脸特征能够得到充分训练,减少重复图片干扰。
Description
技术领域
本发明涉及深度学习领域,特别是一种基于深度学习的人脸识别方法。
背景技术
人脸识别,指对输入的图像或视频,检测出的人脸区域进行面部特征编码,进而依据人脸的面部特征进行身份识别的过程。主要过程分为人脸检测与对齐,人脸特征编码,人脸识别三个步骤。人脸识别作为非接触识别的有效方式,具有安全性,智能型,便利性。已作为身份识别的主要手段,被广泛应用于交通,公共安全,金融等诸多领域。目前,公知的人脸识别技术分为传统模式识别方法与基于深度学***衡,且随着数据量的增大,标注的难度也会随之增大。
发明内容
有鉴于此,在机场监控的识别环境下,为了克服大规模人脸库录入精度和大规模数据集下训练精度的问题,本公开提出了一种基于深度学习的人脸识别方法。具体内容如下:
一种基于深度学习的人脸识别方法,包括以下步骤:
S1:获取包含人脸的图像;
S2:使用第一模型对所述图像的人脸进行检测;
S3:使用第二模型对S2中检测后的图像进行人脸预筛;
S4:根据预筛结果建立人脸数据集;
S5:使用所述人脸数据集对第三模型进行训练;
S6:使用训练好的所述第三模型进行人脸识别。
进一步的,所述S2使用第一模型对所述视频流中每一帧图像的人脸进行检测,包括:使用第一模型对所述图像的人脸区域进行提取并对齐。
进一步的,所述S2使用第一模型对所述视频流中每一帧图像的人脸进行检测,还包括:记录所述人脸的欧拉角和置信度。
进一步的,所述S3:使用第二模型对S2中检测后图像进行人脸预筛,包括:使用所述第二模型对所述检测后的图像提取特征,并与现有数据库做相似度比较,得到待选身份图片。
进一步的,所述与现有数据库做相似度比较,得到待选身份图片,包括:取相似度降序前N个身份作为待选身份,5≤N≤20。
进一步的,所述S5:使用所述人脸数据集对第三模型进行训练,包括:
S51:对所述人脸数据库的图片进行裁剪,使用所述第三模型对裁剪后的图像提取人脸特征;
S52:对提取的所述人脸特征进行损失计算;
S53:根据所述人脸数据库的关键点坐标计算欧拉角,并根据俯仰角更新损失。
进一步的,所述损失计算的函数为:
其中,s、m1、m2为参数常量;N为训练单批量容量,i为单个样本序号,范围为1至N;对于每个单个样本i而言,yi为其输入特征,j为该批次内除i样本外剩余样本的集合。
进一步的,所述根据俯仰角更新损失,计算公式为:
L1=W*X*L
其中W为欧拉角权重,X为欧拉角输入矩阵。
进一步的,所述S5:使用所述人脸数据集对第三模型进行训练,还包括:对所述损失进行最低阈值的判断,对于阈值小于当前损失的0.05倍的值进行抛弃。
本发明的有益效果在于:
本方法减少了大规模数据下纯人工入库可能造成的误检漏检问题,同时也减少了录入人员的工作量,且保证准确率的同时,加快预筛速度。构建深度神经网络模型对人脸图像进行训练,使非正面、俯视的人脸特征能够得到充分训练,减少重复图片干扰。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本发明一个实施例提供的人脸数据集建立流程图;
图2示出了本发明一个实施例提供的第三模型训练流程图。
具体实施方式
下面将参照附图更加详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
本实施例给出了基于本算法对人脸识别的一种实施方式。
一种基于深度学习的人脸识别方法,如图1所示,首先建立人脸数据集,包括以下步骤:
S1:获取包含人脸的图像。
以机场监控视频作为输入,进行实时人脸抓取并保存图像至本地。初始化frcnn网络中非极大值抑制流程的阈值(0.7),单张图片最多检测人脸数(5),视频输入路数。
S2:使用第一模型对所述视频流中每一帧图像的人脸进行检测。
具体为:使用第一模型对所述图像的人脸区域进行提取并对齐,记录所述人脸的欧拉角和置信度。所述第一模型为FRCNN(Faster-R-CNN)网络模型,通过FRCNN网络模型作为人脸检测器对视频流逐帧做人脸检测,若图像存在一个或多个人脸,保存经级联回归树(GBDT)对齐后的人脸图像和人脸关键点信息(双眼,鼻尖,嘴角共五点坐标)至本地,人脸关键点信息是为了后续获取欧拉角等做准备。
级联回归属于人脸对齐中的判别方法。人脸对齐的最终目的就是在已知的人脸方框(一般由人脸检测确定人脸的位置)上定位其准确地形状。
S3:使用第二模型对S2中检测后的图像进行人脸预筛。
预筛过程为:使用所述第二模型对所述检测后的图像提取特征,并与现有数据库做相似度比较,得到待选身份图片。取相似度降序前5个身份作为待选身份。具体为:所述第二模型为RESRNET18-COMBINEFACE模型,取S2第一模型检测后的图片集的极小子集(容量约为十分之一),对RESRNET18-COMBINEFACE进行训练,获得训练好的RESRNET18-COMBINEFACE模型对检测后的图像提取特征,并与现有数据库数据逐身份做余弦相似度比较,取相似度降序前N(本示例为5)个身份作为待选身份。
余弦相似度用向量空间中两向量夹角的余弦值作为衡量两个个体之间差异的大小。余弦值越接近1,表明两个向量的夹角越接近0度,则两个向量越相似。余弦相似度衡量的是2个向量间的夹角大小,通过夹角的余弦值表示结果,因此2个向量的余弦相似度为:
其中,A和B为向量。余弦相似度的取值为[-1,1],值越大表示越相似。
将ARCFACE(附加角度裕度的损失函数,也称为insightface)和COSFACE(余弦余量)算法结合成为COMBINEFACE。
采用RESRNET18-COMBINEFACE模型做预筛,克服了大规模人脸库录入精度的问题,并大大缩减了工作量。
S4:根据预筛结果建立人脸数据集。
人工对当前图片和待选身份图片进行身份确定,入库图片,身份信息以及关键点信息。
建立好数据集后,开始人脸识别训练流程,如图2所示,包括以下步骤:
S5:使用所述人脸数据集对第三模型进行训练。
S51:首先对模型进行初始化,指定训练过程中梯度下降方式为批次随机梯度下降,批次容量为128,学习率初始值为0.01,并加载训练数据(S2中第一模型检测后的图片集),对所述图片集的图片进行裁剪,保证人脸图像在112×112大小。所述第三模型为RESNET50-COMBINEFACE网络模型,将裁剪后的人脸图像数据集送入进RESNET50-COMBINEFACE网络模型中提取人脸特征。
S52:对提取的所述人脸特征进行损失计算。
根据COMBINEFACE的损失函数公式计算基本损失:
其中,s、m1、m2为参数常量,N为训练单批量容量,yi为输入特征。s=0.9,m1=0.4,m2=0.15,序号为i的样本RESNET50输出θi为512维归一化后向量,同批次其他样本θj也是,带入公式计算获得损失值。
S53:根据所述人脸数据库的关键点坐标计算欧拉角,并根据俯仰角更新损失。
L1=W*X*L
其中W为欧拉角权重,X为欧拉角输入矩阵。此举是为了增强模型对俯仰角的敏感度,使人脸不同的角度特征表达差异更明显。
训练过程还包括:
在训练初期,S541:利用随机梯度下降法更新网络模型的权重与偏置。
在训练末期,S542:对所述损失进行最低阈值的判断,对于阈值小于当前损失的0.05倍的情况,认为该数据易造成模型的过拟合,降低识别能力,因此对其进行抛弃,避免了大规模人脸识别后期拟合不均的问题。
S6:使用训练好的所述第三模型进行人脸识别。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
最后需要说明的是:以上所述仅为本发明的较佳实施例,仅用于说明本发明的技术方案,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (9)
1.一种基于深度学习的人脸识别方法,其特征在于,包括以下步骤:
S1:获取包含人脸的图像;
S2:使用第一模型对所述图像的人脸进行检测;
S3:使用第二模型对S2中检测后的图像进行人脸预筛;
S4:根据预筛结果建立人脸数据集;
S5:使用所述人脸数据集对第三模型进行训练;
S6:使用训练好的所述第三模型进行人脸识别。
2.根据权利要求1所述的基于深度学习的人脸识别方法,其特征在于,所述S2使用第一模型对所述视频流中每一帧图像的人脸进行检测,包括:使用第一模型对所述图像的人脸区域进行提取并对齐。
3.根据权利要求2所述的基于深度学习的人脸识别方法,其特征在于,所述S2使用第一模型对所述视频流中每一帧图像的人脸进行检测,还包括:记录所述人脸的欧拉角和置信度。
4.根据权利要求1所述的基于深度学习的人脸识别方法,其特征在于,所述S3:使用第二模型对S2中检测后图像进行人脸预筛,包括:使用所述第二模型对所述检测后的图像提取特征,并与现有数据库做相似度比较,得到待选身份图片。
5.根据权利要求4所述的基于深度学习的人脸识别方法,其特征在于,所述与现有数据库做相似度比较,得到待选身份图片,包括:取相似度降序前N个身份作为待选身份,5≤N≤20。
6.根据权利要求1所述的基于深度学习的人脸识别方法,其特征在于,所述S5:使用所述人脸数据集对第三模型进行训练,包括:
S51:对所述人脸数据库的图片进行裁剪,使用所述第三模型对裁剪后的图像提取人脸特征;
S52:对提取的所述人脸特征进行损失计算;
S53:根据所述人脸数据库的关键点坐标计算欧拉角,并根据俯仰角更新损失。
8.根据权利要求6所述的基于深度学习的人脸识别方法,其特征在于,所述根据俯仰角更新损失,计算公式为:
L1=W*X*L
其中W为欧拉角权重,X为欧拉角输入矩阵。
9.根据权利要求6所述的基于深度学习的人脸识别方法,其特征在于,所述S5:使用所述人脸数据集对第三模型进行训练,还包括:对所述损失进行最低阈值的判断,对于阈值小于当前损失的0.05倍的值进行抛弃。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911362913.7A CN111178228A (zh) | 2019-12-26 | 2019-12-26 | 一种基于深度学习的人脸识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911362913.7A CN111178228A (zh) | 2019-12-26 | 2019-12-26 | 一种基于深度学习的人脸识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111178228A true CN111178228A (zh) | 2020-05-19 |
Family
ID=70657467
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911362913.7A Pending CN111178228A (zh) | 2019-12-26 | 2019-12-26 | 一种基于深度学习的人脸识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111178228A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111797696A (zh) * | 2020-06-10 | 2020-10-20 | 武汉大学 | 一种现场自主学习的人脸识别***和方法 |
CN113239727A (zh) * | 2021-04-03 | 2021-08-10 | 国家计算机网络与信息安全管理中心 | 一种人物的检测和识别方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107506717A (zh) * | 2017-08-17 | 2017-12-22 | 南京东方网信网络科技有限公司 | 无约束场景中基于深度变换学习的人脸识别方法 |
CN107808149A (zh) * | 2017-11-17 | 2018-03-16 | 腾讯数码(天津)有限公司 | 一种人脸信息标注方法、装置和存储介质 |
CN109359526A (zh) * | 2018-09-11 | 2019-02-19 | 深圳大学 | 一种人脸姿态估计方法、装置和设备 |
US20190130167A1 (en) * | 2017-10-28 | 2019-05-02 | Altumview Systems Inc. | Enhanced face-detection and face-tracking for resource-limited embedded vision systems |
CN109829414A (zh) * | 2019-01-25 | 2019-05-31 | 华南理工大学 | 一种基于标签不确定性和人体组件模型的行人再识别方法 |
CN110096965A (zh) * | 2019-04-09 | 2019-08-06 | 华东师范大学 | 一种基于头部姿态的人脸识别方法 |
-
2019
- 2019-12-26 CN CN201911362913.7A patent/CN111178228A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107506717A (zh) * | 2017-08-17 | 2017-12-22 | 南京东方网信网络科技有限公司 | 无约束场景中基于深度变换学习的人脸识别方法 |
US20190130167A1 (en) * | 2017-10-28 | 2019-05-02 | Altumview Systems Inc. | Enhanced face-detection and face-tracking for resource-limited embedded vision systems |
CN107808149A (zh) * | 2017-11-17 | 2018-03-16 | 腾讯数码(天津)有限公司 | 一种人脸信息标注方法、装置和存储介质 |
CN109359526A (zh) * | 2018-09-11 | 2019-02-19 | 深圳大学 | 一种人脸姿态估计方法、装置和设备 |
CN109829414A (zh) * | 2019-01-25 | 2019-05-31 | 华南理工大学 | 一种基于标签不确定性和人体组件模型的行人再识别方法 |
CN110096965A (zh) * | 2019-04-09 | 2019-08-06 | 华东师范大学 | 一种基于头部姿态的人脸识别方法 |
Non-Patent Citations (2)
Title |
---|
HENG-WEI HSU等: "QuatNet: Quaternion-Based Head Pose Estimation With Multiregression Loss", 《IEEE TRANSACTIONS ON MULTIMEDIA》 * |
吴迎年 等: "基于集成学习的人眼定位和头部状态检测研究", 《***仿真学报》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111797696A (zh) * | 2020-06-10 | 2020-10-20 | 武汉大学 | 一种现场自主学习的人脸识别***和方法 |
CN111797696B (zh) * | 2020-06-10 | 2022-04-15 | 武汉大学 | 一种现场自主学习的人脸识别***和方法 |
CN113239727A (zh) * | 2021-04-03 | 2021-08-10 | 国家计算机网络与信息安全管理中心 | 一种人物的检测和识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110321873B (zh) | 基于深度学习卷积神经网络的敏感图片识别方法及*** | |
WO2019119505A1 (zh) | 人脸识别的方法和装置、计算机装置及存储介质 | |
KR101546137B1 (ko) | 인물 인식 장치 및 방법 | |
CN103679159B (zh) | 人脸识别方法 | |
US20070286497A1 (en) | System and Method for Comparing Images using an Edit Distance | |
CN103870811B (zh) | 一种用于视频监控的正面人脸快速判别方法 | |
CN111191695A (zh) | 一种基于深度学习的网站图片篡改检测方法 | |
JP2003187229A (ja) | 顔メタデータ生成方法および装置、並びに顔類似度算出方法および装置 | |
CN113779308B (zh) | 一种短视频检测和多分类方法、装置及存储介质 | |
CN104573711B (zh) | 基于文本‑物体‑场景关系的物体和场景的图像理解方法 | |
CN111401171B (zh) | 一种人脸图像的识别方法、装置、电子设备和存储介质 | |
CN110414299A (zh) | 一种基于计算机视觉的猴脸亲缘关系分析方法 | |
TW201917636A (zh) | 一種基於線上學習的人臉辨識方法與系統 | |
CN111178228A (zh) | 一种基于深度学习的人脸识别方法 | |
CN112150692A (zh) | 一种基于人工智能的门禁控制方法及*** | |
US9002115B2 (en) | Dictionary data registration apparatus for image recognition, method therefor, and program | |
CN111275058B (zh) | 一种基于行人重识别的安全帽佩戴与颜色识别方法及装置 | |
CN110879985B (zh) | 一种抗噪声数据的人脸识别模型训练方法 | |
CN112381047A (zh) | 一种人脸表情图像的增强识别方法 | |
JPH07302327A (ja) | 物体画像検出方法及び検出装置 | |
CN112861742A (zh) | 人脸识别方法、装置、电子设备及存储介质 | |
CN108984648A (zh) | 数字动画的主特征提取及动画视频的检索和篡改检测方法 | |
CN111950452A (zh) | 一种人脸识别方法 | |
CN111753618A (zh) | 图像识别方法、装置、计算机设备及计算机可读存储介质 | |
CN115457623A (zh) | 停留时长检测方法、装置及服务器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200519 |
|
WD01 | Invention patent application deemed withdrawn after publication |