CN110472570A - 一种基于自适应权重的人脸识别多路径深度神经网络方法 - Google Patents

一种基于自适应权重的人脸识别多路径深度神经网络方法 Download PDF

Info

Publication number
CN110472570A
CN110472570A CN201910748497.8A CN201910748497A CN110472570A CN 110472570 A CN110472570 A CN 110472570A CN 201910748497 A CN201910748497 A CN 201910748497A CN 110472570 A CN110472570 A CN 110472570A
Authority
CN
China
Prior art keywords
face
recognition
neural network
multipath
adaptive weighting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910748497.8A
Other languages
English (en)
Inventor
虞钉钉
胡贤良
方建勇
应俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xuhui Excellent Health Information Technology Co Ltd
Original Assignee
Xuhui Excellent Health Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xuhui Excellent Health Information Technology Co Ltd filed Critical Xuhui Excellent Health Information Technology Co Ltd
Priority to CN201910748497.8A priority Critical patent/CN110472570A/zh
Publication of CN110472570A publication Critical patent/CN110472570A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像识别技术领域,尤其为一种基于自适应权重的人脸识别多路径深度神经网络方法,技术方案包括如下步骤:首先,构建一种适用于人脸识别的多路径神经网络;其次,基于人脸识别的任务建立相应的多路径损失函数;最后利用自适应权重算法,进行训练,在训练过程中算法会根据相应的阈值自适应调整不同路径网络的损失权重,得到最终的模型;本发明通过多路径神经网络的建立,完成了端到端的人脸识别过程,通过自适应权重算法进行深度网络的训练,显著提高了训练的效果,还可以适用于不同远近的人脸,大大增加了实际应用的性能,可很好的满足市场的需求,有利于本发明在市场的大面积推广使用。

Description

一种基于自适应权重的人脸识别多路径深度神经网络方法
技术领域
本发明属于图像识别技术领域,具体涉及一种基于自适应权重的人脸识别多路径深度神经网络方法。
背景技术
人脸识别是是基于人的脸部信息进行身份识别的一种新兴技术,它通过特定的算法提取人的特征,并进行识别,人脸识别是近几年来图像处理领域的热门课题之一,该技术现已经被广泛用于各种实际场景中,包括火车站、大型商场等等。
完整的人脸识别的流程包括人脸检测、人脸特征提取和识别。目前,人脸识别采用的最广泛的方法是基于深度神经网络模型的算法。神经网络模型是基于上世纪40年代被提出的神经元模型,在80年代成为研究热潮,但受到计算机硬件的限制,在90年代开始遇冷,直到2012年随着ImageNet的竞赛,再次成为研究热点,现在的主流人脸识别模型都是基于卷积神经网络,卷积神经网络最早由LeCun提出,该网络被用于手写体识别任务,卷积神经网络最核心的操作就是卷积操作,卷积操作是一种提取图像特征非常有效的技术手段,因此,卷积神经网络被大量应用于图像识别、分类等领域。
当前,在人脸识别领域,最常见的模型包括DeepFace、DeepID、FaceNet等等。DeepFace模型通过人脸的关键点信息,通过建模经过一系列操作以后得到对齐的3D人脸,然后将对齐以后的3D人脸利用深度神经网络进行特征的提取,最后利用siamense网络进行两张人脸距离的计算,来进行人脸识别。DeepID首先通过SDM方法检测出人脸的关键点信息,然后利用这些信息进行数据增强,也是利用深度卷积神经网络进行提取特征,最后得到一个160维的特征向量,根据该特征向量再进行分类。而FaceNet则通过深度卷积神经网络,将图像映射到一个欧式空间,然后通过定义一个新的三元损失函数来进行训练。
上述的主流模型效果很好,但是大部分都需要对图像进行对齐,需要先通过人脸检测以后进行裁剪或其他操作以后才能进行人脸识别,没有一个从端到端的人脸模型,除此以外,神经网络模型的训练也是很耗费时间和算力,是一个很复杂的过程。
发明内容
本发明的目的在于,针对现有的人脸识别的深度网络模型的局限性,提出一种基于自适应权重的人脸识别多路径深度神经网络方法,这种方法能进行端到端的训练和结果的输出,输入不需进行人脸区域裁剪的原图像,能最终输出人脸的特征信息,进行人脸识别,同时,利用自适应权重的训练方法,加快深度模型的训练。
为实现上述目的,本发明提供如下技术方案:一种基于自适应权重的人脸识别多路径深度神经网络方法,包括以下步骤:
S1:构建一种适用于人脸识别的多路径神经网络;
S2:基于人脸识别的任务建立相应的多路径损失函数;
S3:利用自适应权重算法,进行训练,在训练过程中算法会根据相应的阈值自适应调整不同路径网络的损失权重,得到最终的模型。
首先,构建一种适用于人脸识别的多路径神经网络:该神经网络的结构主要包括二个部分,这两个部分为并列的两个支路,其中一个支路是通过包含卷积层、池化层、全连接层等神经网络模型进行人脸区域的检测,另一个支路是通过包含卷积层、池化层、嵌入层在内的深度神经网络模型进行人脸识别的支路,其中人脸检测的支路的输出信息会添加到人脸识别支路的某一卷层后,因此,最终两个支路会汇合在一起,最终输出包含人脸信息的128维的特征向量,通过特征向量之间的距离运算,可以进行人脸识别,其次,基于人脸识别的任务建立相应的多路径损失函数:该多路径深度神经网络的损失函数由两部分构成,一部分是人脸检测支路的边框回归的损失函数Lreg,另一个部分是人脸识别支路也就是最终输出的三元损失函数Ltriple,其定义如下:
其中ti是包含平移和尺度缩放的四维向量,w为训练的参数,I为输出;为输入图像的特征向量,为跟当前图像属于同一个人的特征向量,为输入图像最不接近的其他人的特征向量,总的损失函数定义如下:
L=αLres+βLtriple
其中,α和β是两个支路部分的损失权重。
最后利用自适应权重算法,进行训练,在训练过程中算法会根据相应的阈值自适应调整不同路径网络的损失权重,得到最终的模型:自适应权重算法是通过自适应调节α和β的比值来进行模型的训练,该算法是通过两部分损失的变化率,来调节α和β的比值,当一方损失函数下降减缓时,通过调节比值来加快训练。
优选的,所述构建一种适用于人脸识别的多路径神经网络是指构建两条或两条以上卷积神经网络的并行分支。
优选的,在S2中的所述损失函数定义如下:
L=αLres+βLtriple
其中,Lres是人脸检测支路的损失函数Ltriple是人脸识别支路的损失函数,α和β是各自的权重超参数。
优选的,所述自适应权重算法是通过自适应调节比值r来进行模型的训练,该算法是通过判断两部分损失的变化率是否满足相关的阈值t,来调节α和β的比值,当一方损失函数下降减缓时,通过调节比值来加快训练。
优选的,所述卷积神经网络的组成部分为卷积层、池化层、全连接层。
优选的,两条或两条以上的所述卷积神经网络的并行分支会在最后进行汇合,最终经过一个嵌入层或所述全连接层,得到一个人脸的特征向量。
优选的,所述自适应调节比值r的定义为:r=α/β。
优选的,所述自适应权重算法的阈值t的范围为-1~1,包括-1和1。
优选的,所述特征向量的维数范围为32~512维,包括32和512。
与现有技术相比,本发明的有益效果是:
1、本发明通过多路径神经网络的建立,完成了端到端的人脸识别过程。
2、本发明通过自适应权重算法进行深度网络的训练,提高了训练的效果。
3、本发明可以适用于不同远近的人脸,大大增加了实际应用的性能。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明的多路径深度神经网络方法流程图;
图2为本发明一个实施例的多路径深度神经网络的模型图;
图3为本发明一个实施例的自适应权重算法流程图;
图4为本发明一个实施例的人脸识别效果图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1-4,本发明提供以下技术方案:一种基于自适应权重的人脸识别多路径深度神经网络方法,包括以下步骤:
S1:构建一种适用于人脸识别的多路径神经网络;
S2:基于人脸识别的任务建立相应的多路径损失函数;
S3:利用自适应权重算法,进行训练,在训练过程中算法会根据相应的阈值自适应调整不同路径网络的损失权重,得到最终的模型。
具体的,构建一种适用于人脸识别的多路径神经网络是指构建两条或两条以上卷积神经网络的并行分支。
具体的,在S2中的损失函数定义如下:
L=αLres+βLtriple
其中,Lres是人脸检测支路的损失函数Ltriple是人脸识别支路的损失函数,α和β是各自的权重超参数。
具体的,自适应权重算法是通过自适应调节比值r来进行模型的训练,该算法是通过判断两部分损失的变化率是否满足相关的阈值t,来调节α和β的比值,当一方损失函数下降减缓时,通过调节比值来加快训练。
具体的,卷积神经网络的组成部分为卷积层、池化层、全连接层。
具体的,两条或两条以上的卷积神经网络的并行分支会在最后进行汇合,最终经过一个嵌入层或全连接层,得到一个人脸的特征向量。
具体的,自适应调节比值r的定义为:r=α/β。
具体的,自适应权重算法的阈值t的范围为-1~1,包括-1和1。
具体的,特征向量的维数范围为32~512维,包括32和512。
本发明的工作原理及使用流程:首先,构建一种适用于人脸识别的多路径神经网络。人脸识别的完整流程涉及到人脸检测和人脸识别两个过程,为了实现端到端的人脸识别,我们采用多路径的神经网络。该神经网络结构可参见图2,该神经网络具有多个分支,主要结构包括二个部分,这两个部分为并列的两个支路,其中一个支路是通过包含多个卷积层、池化层和全连接层等的神经网络来进行人脸区域的检测,另一个支路是通过包含卷积层、池化层、嵌入层在内的深度神经网络进行人脸特征的提取。通过计算提取后的人脸特征的距离来进行识别,上述模型可以参见图2,其中人脸检测的支路的输出信息会被添加到人脸识别支路的某一卷层后,所以,人脸识别支路的前半部分网络被用于提取图片的特征,而后半部分确定了相应的人脸位置因素之后,会针对该部分区域的人脸,进行更进一步的人脸特征提取,最后经过一个嵌入层或者全连接层,得到一个128维的特征向量,通过计算特征向量之间的余弦距离来进行人脸识别,其次,根据人脸目标的任务建立相应的多路径损失函数,该多路径深度神经网络的损失函数由两部分构成,一部分是人脸检测支路的边框回归的损失函数Lreg,另一个部分是人脸识别支路也就是最终输出的三元损失函数Ltriple,其定义如下:
由于是二维图像,所以Lreg中ti=(tx′ty′tw′th)是包含平移和尺度缩放的四维向量,tx是x轴方向的平移量,ty是y轴方向的平移量,tw是x轴方向的缩放量,th是y轴方向的缩放量,w为训练的参数,I为输入;而Ltriple为输入图像经过深度网络得到的特征向量,为跟当前图像属于同一个人且最接近的特征向量,为输入图像最不接近的其他人的特征向量,该损失函数的目的是让深度网络能将不同人脸映射到两个相距一定距离的不同的区域。
总的损失函数定义如下:
L=αLres+βLtriple
其中,α和β是两个支路部分的损失权重。
最后利用自适应权重算法,进行训练得到模型。自适应权重算法是通过自适应调节比值r=α/β来进行模型的训练,该算法是通过两部分损失的变化率,来调节α和β的比值,当一方损失函数下降减缓时,通过调节比值来加快训练。该算法的一次自适应调节流程图可参考图3,输入图像s,阈值t,以及初始比值r,将图像通过深度网络模型,得到两部分损失函数Lreg和Ltriple。计算这两部分损失函数值的下降率,当其中Lreg下降率低于阈值t,而Ltriple下降率高于,则r扩大成2倍;反之,r减少二分之一,其余情况,不调整r。在模型训练中,每次迭代训练都会经过该流程,通过该自适应权重算法,可以有效提高训练效率。利用该方法可以进行人脸识别,图4就是一个具体实施例的人脸识别图,***数据库中存有相关人脸的特征数据,当读取一张人脸图像时,运用上述方法,***会得到数据库中与之最接近的注册人脸,并进行显示,完成人脸识别。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于自适应权重的人脸识别多路径深度神经网络方法,其特征在于,包括以下步骤:
S1:构建一种适用于人脸识别的多路径神经网络;
S2:基于人脸识别的任务建立相应的多路径损失函数;
S3:利用自适应权重算法,进行训练,在训练过程中算法会根据相应的阈值自适应调整不同路径网络的损失权重,得到最终的模型。
2.根据权利要求1所述的一种基于自适应权重的人脸识别多路径深度神经网络方法,其特征在于:所述构建一种适用于人脸识别的多路径神经网络是指构建两条或两条以上卷积神经网络的并行分支。
3.根据权利要求1所述的一种基于自适应权重的人脸识别多路径深度神经网络方法,其特征在于:在S2中的所述损失函数定义如下:
L=αLres+βLtriple
其中,Lres是人脸检测支路的损失函数Ltriple是人脸识别支路的损失函数,α和β是各自的权重超参数。
4.根据权利要求1所述的一种基于自适应权重的人脸识别多路径深度神经网络方法,其特征在于:所述自适应权重算法是通过自适应调节比值r来进行模型的训练,该算法是通过判断两部分损失的变化率是否满足相关的阈值t,来调节α和β的比值,当一方损失函数下降减缓时,通过调节比值来加快训练。
5.根据权利要求2所述的一种基于自适应权重的人脸识别多路径深度神经网络方法,其特征在于:所述卷积神经网络的组成部分为卷积层、池化层、全连接层。
6.根据权利要求5所述的一种基于自适应权重的人脸识别多路径深度神经网络方法,其特征在于:两条或两条以上的所述卷积神经网络的并行分支会在最后进行汇合,最终经过一个嵌入层或所述全连接层,得到一个人脸的特征向量。
7.根据权利要求4所述的一种基于自适应权重的人脸识别多路径深度神经网络方法,其特征在于:所述自适应调节比值r的定义为:r=α/β。
8.根据权利要求4所述的一种基于自适应权重的人脸识别多路径深度神经网络方法,其特征在于:所述自适应权重算法的阈值t的范围为-1~1,包括-1和1。
9.根据权利要求6所述的一种基于自适应权重的人脸识别多路径深度神经网络方法,其特征在于:所述特征向量的维数范围为32~512维,包括32和512。
CN201910748497.8A 2019-08-14 2019-08-14 一种基于自适应权重的人脸识别多路径深度神经网络方法 Pending CN110472570A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910748497.8A CN110472570A (zh) 2019-08-14 2019-08-14 一种基于自适应权重的人脸识别多路径深度神经网络方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910748497.8A CN110472570A (zh) 2019-08-14 2019-08-14 一种基于自适应权重的人脸识别多路径深度神经网络方法

Publications (1)

Publication Number Publication Date
CN110472570A true CN110472570A (zh) 2019-11-19

Family

ID=68511053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910748497.8A Pending CN110472570A (zh) 2019-08-14 2019-08-14 一种基于自适应权重的人脸识别多路径深度神经网络方法

Country Status (1)

Country Link
CN (1) CN110472570A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111582094A (zh) * 2020-04-27 2020-08-25 西安交通大学 并行选取超参数设计多分支卷积神经网络识别行人的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106886763A (zh) * 2017-01-20 2017-06-23 东北电力大学 实时检测人脸的***及其方法
CN107563439A (zh) * 2017-08-31 2018-01-09 湖南麓川信息科技有限公司 一种识别清洗食材图片的模型及识别食材类别的方法
CN107871106A (zh) * 2016-09-26 2018-04-03 北京眼神科技有限公司 人脸检测方法和装置
CN108805077A (zh) * 2018-06-11 2018-11-13 深圳市唯特视科技有限公司 一种基于三元组损失函数的深度学习网络的人脸识别***
CN109255831A (zh) * 2018-09-21 2019-01-22 南京大学 基于多任务学习的单视图人脸三维重建及纹理生成的方法
CN109948568A (zh) * 2019-03-26 2019-06-28 东华大学 基于arm微处理器和深度学习的嵌入式人脸识别***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871106A (zh) * 2016-09-26 2018-04-03 北京眼神科技有限公司 人脸检测方法和装置
CN106886763A (zh) * 2017-01-20 2017-06-23 东北电力大学 实时检测人脸的***及其方法
CN107563439A (zh) * 2017-08-31 2018-01-09 湖南麓川信息科技有限公司 一种识别清洗食材图片的模型及识别食材类别的方法
CN108805077A (zh) * 2018-06-11 2018-11-13 深圳市唯特视科技有限公司 一种基于三元组损失函数的深度学习网络的人脸识别***
CN109255831A (zh) * 2018-09-21 2019-01-22 南京大学 基于多任务学习的单视图人脸三维重建及纹理生成的方法
CN109948568A (zh) * 2019-03-26 2019-06-28 东华大学 基于arm微处理器和深度学习的嵌入式人脸识别***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111582094A (zh) * 2020-04-27 2020-08-25 西安交通大学 并行选取超参数设计多分支卷积神经网络识别行人的方法
CN111582094B (zh) * 2020-04-27 2022-04-22 西安交通大学 并行选取超参数设计多分支卷积神经网络识别行人的方法

Similar Documents

Publication Publication Date Title
CN107886064B (zh) 一种基于卷积神经网络的人脸识别场景适应的方法
CN109559287A (zh) 一种基于DenseNet生成对抗网络的语义图像修复方法
CN109523463A (zh) 一种基于条件生成对抗网络的人脸老化方法
CN102256065B (zh) 基于视频监控网络的视频自动浓缩方法
CN109871777A (zh) 一种基于注意力机制的行为识别***
CN109543745A (zh) 基于条件对抗自编码网络的特征学习方法及图像识别方法
Ming et al. Simple triplet loss based on intra/inter-class metric learning for face verification
CN108830252A (zh) 一种融合全局时空特征的卷积神经网络人体动作识别方法
CN109828251A (zh) 基于特征金字塔轻量卷积神经网络的雷达目标识别方法
CN105574510A (zh) 一种步态识别方法及装置
CN110378208B (zh) 一种基于深度残差网络的行为识别方法
CN106096535A (zh) 一种基于双线性联合cnn的人脸验证方法
CN109741318A (zh) 基于有效感受野的单阶段多尺度特定目标的实时检测方法
CN107145889A (zh) 基于具有RoI池化的双CNN网络的目标识别方法
CN105678231A (zh) 一种基于稀疏编码和神经网络的行人图片检测方法
CN107909104A (zh) 一种图片的人脸聚类方法、装置及存储介质
CN103927531A (zh) 一种基于局部二值和粒子群优化bp神经网络的人脸识别方法
CN110032925A (zh) 一种基于改进胶囊网络与算法的手势图像分割与识别方法
CN108509834B (zh) 基于多元对数高斯分布下视频特征的图结构规约方法
CN113963032A (zh) 一种融合目标重识别的孪生网络结构目标跟踪方法
CN109726619A (zh) 一种基于参数共享的卷积神经网络人脸识别方法及***
CN110175248A (zh) 一种基于深度学习和哈希编码的人脸图像检索方法和装置
CN113505719B (zh) 基于局部-整体联合知识蒸馏算法的步态识别模型压缩***及方法
CN107832753B (zh) 一种基于四值权重与多重分类的人脸特征提取方法
CN111985332A (zh) 一种基于深度学习的改进损失函数的步态识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191119

WD01 Invention patent application deemed withdrawn after publication