CN105678249B - 针对注册人脸和待识别人脸图片质量不同的人脸识别方法 - Google Patents
针对注册人脸和待识别人脸图片质量不同的人脸识别方法 Download PDFInfo
- Publication number
- CN105678249B CN105678249B CN201511031057.9A CN201511031057A CN105678249B CN 105678249 B CN105678249 B CN 105678249B CN 201511031057 A CN201511031057 A CN 201511031057A CN 105678249 B CN105678249 B CN 105678249B
- Authority
- CN
- China
- Prior art keywords
- quality
- face
- layer
- facial image
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种针对注册人脸和待识别人脸图片质量不同的人脸识别方法,其特征在于,包括以下步骤:第一步、构建一个NH层的高质量卷积神经子网络,及一个NL层的低质量卷积神经子网络:第二步、利用样本集对高质量卷积神经子网络及低质量卷积神经子网络,学习得到参数θH、WH、θL、WL,其中,样本集包括多对数据对,每对数据对由一张高质量的人脸图像及一张低质量的人脸图像组成;第三步、在人脸识别***中注册高质量的人脸图像,实时捕获低质量的人脸图像后,将低质量的人脸图像与已注册的高质量的人脸图像一一比对。本发明提供了一种更加高效、更加鲁棒的人脸识别方法。
Description
技术领域
本发明涉及一种人脸识别方法。
背景技术
已有的人脸识别都是基于***中已注册人脸和待识别人脸图像的质量相同的假设。而实际应用中的人脸识别,比如视频监控应用中,通常都是已注册人脸和待识别人脸质量存在很大不同,通常情况是数据库***中注册的人脸图像质量高(正脸、分辨率高、光照条件良好等),而监控视频中采集到的待识别人脸图像质量低(侧脸、分辨率低、光照较暗、模糊等)。如果仅仅是将已注册人脸和待识别人脸变换到同一尺寸,会导致极大的信息损失,从而影响人脸识别的精度。
发明内容
本发明的目的是提供一种更加高效、更加鲁棒的人脸识别方法。
为了达到上述目的,本发明的技术方案是提供了一种针对注册人脸和待识别人脸图片质量不同的人脸识别方法,其特征在于:针对不同质量的图像训练不同的神经网络以提取特征,并通过度量学习的方法来计算两不同质量图像特征之间的距离,该算法包括以下步骤:
第一步、构建一个NH层的高质量卷积神经子网络,待学习参数为θH、WH,及一个NL层的低质量卷积神经子网络,待学习参数为θL、WL,NH>NL,将目标函数J定义为:
式中:g(·)表示罗杰斯特损失函数,τ表示边缘位置,
μ表示与边缘的最小距离,li用于标定第i个由高质量的人脸图像和低质量的人脸图像
构成的人脸对中的脸是否为同一个人的人脸,如果第i个由高质量的人脸图像和低质量
的人脸图像构成的人脸对中的脸是同一个人的脸,则li=1,否则,li=-1,表示第i个由高质量的人脸图像和低质量的人脸图像构
成的人脸对中的两张脸之间的距离,表示高质量卷积神经子网络的未经过特征对齐
的输出,表示低质量卷积神经子网络的未经过特征对齐的输出,表示高质量卷积
神经子网络的第n层滤波器,表示低质量卷积神经子网络的第n层滤波器,λ表示卷积神
经子网络的正则项系数,γ表示用于特征对齐的全连接层的正则项系数,表示向量的F
范数;
第二步、利用样本集对高质量卷积神经子网络及低质量卷积神经子网络,学习得到参数θH、WH、θL、WL,其中,样本集包括多对数据对,每对数据对由一张高质量的人脸图像及一张低质量的人脸图像组成;
第三步、在人脸识别***中注册高质量的人脸图像,实时捕获低质量的人脸图像后,将低质量的人脸图像与已注册的高质量的人脸图像一一比对,第i对已注册的高质量的人脸图像与低质量的人脸图像的比对步骤包括:
步骤3.1、分别将高质量的人脸图像及低质量的人脸图像输入训练后的高质量卷积神经子网络及低质量卷积神经子网络,得到对齐后的输出及
步骤3.2、计算人脸图像与人脸图像之间的距离若则人脸图像与人脸图像属
于同一个人,否则,属于不同人。
优选地,所述高质量卷积神经子网络为8层,第一层为高质量图像输入层,最后一层为高质量图像全连接层,由高质量图像输入层至高质量图像全连接层依次为:卷积层一、最大池化层一、卷积层二、最大池化层二、卷积层三、最大池化层三。
优选地,所述低质量卷积神经子网络为6层,第一层为低质量图像输入层,最后一层为低质量图像全连接层,由低质量图像输入层至低质量图像全连接层依次为:卷积层一、最大池化层一、卷积层二、最大池化层二。
本发明在两个公共数据集上与其他方法进行比较,包括COX和PaSC。识别率可以作为衡量算法鲁棒性和高效性的评判标准,性能评估是用ROC曲线来展现的。
在两个数据集的不同实验设置情况下,本发明与现有最好技术的准确率对比,如下表所示(该表表示在PaSC和COX两个数据集上面不同方法的人脸认证准确率)。
注:SRDML表示本发明提供的算法。
附图说明
图1为高质量卷积神经子网络的网络结构;
图2为低质量卷积神经子网络的网络结构;
图3特征对齐示意图;
图4为在COX数据集上面,本发明方法与现有最好技术的ROC曲线的对比图;
图5A为本发明在椒盐噪声影响下的鲁棒性分析图;
图5B为本发明在高斯噪声影响下的鲁棒性分析图;
图5C为本发明在遮挡的影响下的鲁棒性分析图;
图6为不同分辨率下本发明的算法高效性示意图;
图7A及图7B为本发明方法在PaSC数据集上部分人脸距离度量的结果,图7A为高质量图像的特征分布图,图7B为低质量图像的特征分布图,图中,subject1至subject5为不同个人。
具体实施方式
为使本发明更明显易懂,兹以优选实施例,并配合附图作详细说明如下。
本发明需要解决给定一个人脸图像对,判断该图像对是否属于同一个人的问题。
详细说明如下:数据集中第i个人脸对可以表示成分别表示高、低质量的人脸
图像。基于深度神经网络的方法会学习到的更加具有区分性的特征表达然后通过映射WH和WL得到相似性的度量
算法的目标是解决如下问题:当人脸对属于同一个人的时候,d2≤τ-μ;当人脸对属于不同
人的时候,d2≥τ+μ。
本发明提供了一种针对注册人脸和待识别人脸图片质量不同的人脸识别方法,包括以下步骤:
第一步、构建一个NH层的高质量卷积神经子网络,待识别参数为θH、WH,及一个NL层的低质量卷积神经子网络,待识别参数为θL、WL,NH>NL。
对于高质量卷积神经子网络而言,其输入的图像尺寸更大,因此其神经网络的层数更深;对于低质量卷积神经子网络而言,其输入的图像尺寸更小,因此其神经网络的层数略浅。如图1及图2所示,在本实施例中,高质量卷积神经子网络为8层,第一层为高质量图像输入层,最后一层为高质量图像全连接层,由高质量图像输入层至高质量图像全连接层依次为:卷积层一、最大池化层一、卷积层二、最大池化层二、卷积层三、最大池化层三。
低质量卷积神经子网络为6层,第一层为低质量图像输入层,最后一层为低质量图像全连接层,由低质量图像输入层至低质量图像全连接层依次为:卷积层一、最大池化层一、卷积层二、最大池化层二。
在图1及图2中,最外圈的数字表示图像的尺寸大小,而位于外圈左下角的数字表示对应的通道数,例如对于图1的第一层高质量图像输入层而言,其图像大小为134*107,对应的通道数为3。由此可见,高质量卷积神经子网络的输入尺寸更大,低质量卷积神经子网络的输入尺寸更小。而且两个子网络的输入尺寸是由所有训练样本尺寸的中位数决定的。每一层的中间方框的一圈数字表示该层的滤波器的尺寸,用于进行卷积操作;卷积层的方块对应的数字表示经过卷积后的特征图的尺寸和对应的通道数,通过卷积运算,可以使原信号特征增强,并且降低噪音。例如对于图1的第一层高质量图像输入层而言,其滤波器尺寸为9*9。由图1及图2可知,图像在经过最大池化层操作后,池化后的特征具有更低的维度,同时还会改善结果(不容易过拟合)。图1及图2中,最后一层,即全连接层的长方体的数字表示对应神经元的个数,全连接层的操作相当于特征对齐的过程。
在本实施例中,特征对齐的过程参见图3,最底层神经元的颜色较浅部分表示与人脸中眼睛特征有关的神经元,颜色较深部分表示与人脸中嘴巴特征有关的神经元。实验证明,关于某个人脸器官的特征只与部分神经元有关,这部分神经元此时处于激活状态。本发明的方法正是利用了这个原理,通过WH和WL分别将提取出来的特征根据目标函数做特征对齐操作。特征对齐是通过WH和WL来把映射到同一个空间。
由于已注册人脸的图像质量远高于待识别人脸的图像质量,本发明分别训练两个不同的子网络来提取已注册人脸和待识别人脸的特征(高质量的人脸图像)、(低质量的人脸图像)。对于高质量卷积神经子网络,输入的图像尺寸更大,神经网络的层数更深;对于低质量卷积神经子网络,输入的图像尺寸更小,神经网络的层数略浅。在两个卷积神经子网络学习到参数θH、θL,得到特征后,再在最后一层,即全连接层进行特征对齐,全连接层中的参数WH、WL也是需要学习的。
在高质量卷积神经子网络及低质量卷积神经子网络构建好以后,本发明的方法定
义了一个更加有效、更加具有区分性的距离度量目标函数。之间的距离可以表示为其中θH和θL分别是高质量图像作为输入的卷积神经网
络和低质量图像作为输入的卷积神经网络要学习的参数。本发明用li来标定是否为
同一个人的人脸。如果属于同一个人,则li=1,否则li=-1。为了使学习到的卷积神经
网络提取到的人脸特征更具有区分性,本发明对人脸之间的距离添加如下约束:其中τ表示边缘位置,μ表示与边缘的最小距离。该约束的含义是如果属于同一个人,则希望他们之间的距离d2≤τ-μ;否则希望他们之间的距离d2≥τ+μ。
这样就保证了属于不同人脸对之间的距离至少比属于相同人脸对之间的距离大2μ,从而有
助于人脸识别。因此本发明定义如下的目标函数J:
式中,是罗杰斯特损失函数,β表示用来控制回归的陡峭程度的参数,表示高质量卷积神经子网络的第,n层滤波器,表示低质量卷积神经子网络的第n层滤波器,λ表示卷积神经子网络的正则项系数,γ表示用于特征对齐的全连接层的正则项系数,表示向量的F范数。
第二步、利用样本集对高质量卷积神经子网络及低质量卷积神经子网络,学习得到参数θH、WH、θL、WL,其中,样本集包括多对数据对,每对数据对由一张高质量的人脸图像及一张低质量的人脸图像组成。
第三步、在人脸识别***中注册高质量的人脸图像,实时捕获低质量的人脸图像后,将低质量的人脸图像与已注册的高质量的人脸图像一一比对,第i对已注册的高质量的人脸图像与低质量的人脸图像的比对步骤包括:
步骤3.1、分别将高质量的人脸图像及低质量的人脸图像输入训练后的高质量卷积神经子网络及低质量卷积神经子网络,得到对齐后的输出及
步骤3.2、计算人脸图像与人脸图像之间的距离若则人脸图像与人脸图像属于同
一个人,否则,属于不同人。
在COX数据集上面,本发明方法与现有最好技术的ROC曲线的对比,如图4所示。不同噪声下,本发明提供的算法鲁棒性的分析,如图5A至图5C所示。不同分辨率下,本发明提供的算法高效性的示例如图6所示。SRDML表示本发明提供的算法。
本发明方法在PaSC数据集上部分人脸距离度量的结果,如图7A及图7B所示。图中,每种颜色代表同一个人。对于每个人,本发明选择100张图片,其中50张是高质量的人脸图像,50张是低质量的人脸图像。分别将不同质量的图片经过高质量卷积神经子网络和低质量卷积神经子网络后提取到的特征通过PCA降维到二维特征空间,然后在图示中显示出来。通过示例图,可以观察到算法在不同质量的人脸图像点云上取得了很好的聚类效果。
针对***中已注册人脸和待识别人脸图片质量不同的鲁棒人脸识别研究是在深度学习框架Caffe下实现的。
Claims (3)
1.一种针对注册人脸和待识别人脸图片质量不同的人脸识别方法,其特征在于,针对不同质量的图像训练不同的神经网络以提取特征,并通过度量学习的方法来计算两不同质量图像特征之间的距离,该方法包括以下步骤:
第一步、构建一个NH层的高质量卷积神经子网络,待识别参数为θH、WH,及一个NL层的低质量卷积神经子网络,待识别参数为θL、WL,θH及θL为待识别的人脸特征表达参数,WH及WL为特征对齐参数,NH>NL,将目标函数J定义为:
式中:g(·)表示罗杰斯特损失函数,τ表示边缘位置,μ表示与边缘的最小距离,li用于标定第i个由高质量的人脸图像和低质量的人脸图像构成的人脸对中的两张脸是否为同一个人的人脸,如果第i个由高质量的人脸图像和低质量的人脸图像构成的人脸对中的两张脸为同一个人的脸,则li=1,否则,li=-1,表示第i幅人脸图像与第i幅人脸图像之间的距离,表示高质量卷积神经子网络的未经过对齐输出,表示低质量卷积神经子网络的未经过对齐输出,表示高质量卷积神经子网络的第n层滤波器,表示低质量卷积神经子网络的第n层滤波器,λ表示卷积神经子网络的正则项系数,γ表示用于特征对齐的全连接层的正则项系数,表示向量的F范数;
第二步、利用样本集对高质量卷积神经子网络及低质量卷积神经子网络,学习得到参数θH、WH、θL、WL,其中,样本集包括多对数据对,每对数据对由一张高质量的人脸图像及一张低质量的人脸图像组成;
第三步、在人脸识别***中注册高质量的人脸图像,实时捕获低质量的人脸图像后,将低质量的人脸图像与已注册的高质量的人脸图像一一比对,第i对已注册的高质量的人脸图像与低质量的人脸图像的比对步骤包括:
步骤3.1、分别将高质量的人脸图像及低质量的人脸图像输入训练后的高质量卷积神经子网络及低质量卷积神经子网络,得到对齐后的输出及
步骤3.2、计算人脸图像与人脸图像之间的距离|若则人脸图像与人脸图像属于同一个人,否则,属于不同人。
2.如权利要求1所述的一种针对注册人脸和待识别人脸图片质量不同的人脸识别方法,其特征在于,所述高质量卷积神经子网络为8层,第一层为高质量图像输入层,最后一层为高质量图像全连接层,由高质量图像输入层至高质量图像全连接层依次为:卷积层一、最大池化层一、卷积层二、最大池化层二、卷积层三、最大池化层三。
3.如权利要求1所述的一种针对注册人脸和待识别人脸图片质量不同的人脸识别方法,其特征在于,所述低质量卷积神经子网络为6层,第一层为低质量图像输入层,最后一层为低质量图像全连接层,由低质量图像输入层至低质量图像全连接层依次为:卷积层一、最大池化层一、卷积层二、最大池化层二。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201511031057.9A CN105678249B (zh) | 2015-12-31 | 2015-12-31 | 针对注册人脸和待识别人脸图片质量不同的人脸识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201511031057.9A CN105678249B (zh) | 2015-12-31 | 2015-12-31 | 针对注册人脸和待识别人脸图片质量不同的人脸识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105678249A CN105678249A (zh) | 2016-06-15 |
CN105678249B true CN105678249B (zh) | 2019-05-07 |
Family
ID=56298415
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201511031057.9A Active CN105678249B (zh) | 2015-12-31 | 2015-12-31 | 针对注册人脸和待识别人脸图片质量不同的人脸识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105678249B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106169075A (zh) * | 2016-07-11 | 2016-11-30 | 北京小米移动软件有限公司 | 身份验证方法及装置 |
CN108509961A (zh) * | 2017-02-27 | 2018-09-07 | 北京旷视科技有限公司 | 图像处理方法和装置 |
CN106910176B (zh) * | 2017-03-02 | 2019-09-13 | 中科视拓(北京)科技有限公司 | 一种基于深度学习的人脸图像去遮挡方法 |
CN107341463B (zh) * | 2017-06-28 | 2020-06-05 | 苏州飞搜科技有限公司 | 一种结合图像质量分析与度量学习的人脸特征识别方法 |
CN108269254B (zh) * | 2018-01-17 | 2020-12-01 | 百度在线网络技术(北京)有限公司 | 图像质量评估方法和装置 |
CN111435431A (zh) * | 2019-01-15 | 2020-07-21 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7236615B2 (en) * | 2004-04-21 | 2007-06-26 | Nec Laboratories America, Inc. | Synergistic face detection and pose estimation with energy-based models |
CN104866900A (zh) * | 2015-01-29 | 2015-08-26 | 北京工业大学 | 一种反卷积神经网络训练方法 |
CN105205479A (zh) * | 2015-10-28 | 2015-12-30 | 小米科技有限责任公司 | 人脸颜值评估方法、装置及终端设备 |
-
2015
- 2015-12-31 CN CN201511031057.9A patent/CN105678249B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7236615B2 (en) * | 2004-04-21 | 2007-06-26 | Nec Laboratories America, Inc. | Synergistic face detection and pose estimation with energy-based models |
CN104866900A (zh) * | 2015-01-29 | 2015-08-26 | 北京工业大学 | 一种反卷积神经网络训练方法 |
CN105205479A (zh) * | 2015-10-28 | 2015-12-30 | 小米科技有限责任公司 | 人脸颜值评估方法、装置及终端设备 |
Also Published As
Publication number | Publication date |
---|---|
CN105678249A (zh) | 2016-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105678249B (zh) | 针对注册人脸和待识别人脸图片质量不同的人脸识别方法 | |
CN108038456B (zh) | 一种人脸识别***中的防欺骗方法 | |
CN107154023B (zh) | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 | |
Fiaschi et al. | Learning to count with regression forest and structured labels | |
CN103116763B (zh) | 一种基于hsv颜色空间统计特征的活体人脸检测方法 | |
CN110998598A (zh) | 对***纵图像的检测 | |
CN105956572A (zh) | 一种基于卷积神经网络的活体人脸检测方法 | |
Riggan et al. | Thermal to visible synthesis of face images using multiple regions | |
Wang et al. | Head pose estimation with combined 2D SIFT and 3D HOG features | |
CN104504362A (zh) | 基于卷积神经网络的人脸检测方法 | |
CN109800643A (zh) | 一种活体人脸多角度的身份识别方法 | |
CN110533077A (zh) | 用于高光谱图像分类的形状自适应卷积深度神经网络方法 | |
CN104021384B (zh) | 一种人脸识别方法及装置 | |
CN108021869A (zh) | 一种结合高斯核函数的卷积神经网络跟踪方法 | |
CN102063627B (zh) | 基于多小波变换的自然图像和计算机生成图像的识别方法 | |
Suri et al. | On matching faces with alterations due to plastic surgery and disguise | |
WO2013075295A1 (zh) | 低分辨率视频的服装识别方法及*** | |
CN107368819B (zh) | 人脸识别方法及*** | |
Tian et al. | Face anti-spoofing by learning polarization cues in a real-world scenario | |
CN100416592C (zh) | 基于数据流形的人脸自动识别方法 | |
Erdogmus et al. | Spoofing attacks to 2D face recognition systems with 3D masks | |
CN108090460A (zh) | 基于韦伯多方向描述子的人脸表情识别特征提取算法 | |
Tang et al. | Real-time head pose estimation using random regression forests | |
CN103984918B (zh) | 一种基于类内及类间变化的人脸图像识别方法 | |
CN109766860A (zh) | 基于改进的Adaboost算法的人脸检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |