CN107909053A - 一种基于等级学习级联卷积神经网络的人脸检测方法 - Google Patents
一种基于等级学习级联卷积神经网络的人脸检测方法 Download PDFInfo
- Publication number
- CN107909053A CN107909053A CN201711237085.5A CN201711237085A CN107909053A CN 107909053 A CN107909053 A CN 107909053A CN 201711237085 A CN201711237085 A CN 201711237085A CN 107909053 A CN107909053 A CN 107909053A
- Authority
- CN
- China
- Prior art keywords
- face
- detection
- image
- detected
- weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种基于等级学习级联卷积神经网络的人脸检测方法,涉及计算机识别技术领域;使用全卷积神经网络作为人脸检测的基网络,对训练样本进行检测难度的分类,训练得到等级划分模型,建立修正卷积神经网络的架构,对基网络无法检测的训练样本进行训练,得到修正检测模型,利用上述等级划分模型及修正检测模型进行图像中人脸检测:先将图像输入到等级划分模型,判断该图像中人脸的检测难度,若该图像中人脸是难检测人脸,将其输入到修正卷积神经网络进行检测。
Description
技术领域
本发明公开一种人脸检测方法,涉及计算机识别技术领域,具体地说是一种基于等级学习级联卷积神经网络的人脸检测方法。
背景技术
随着科技的发展、人们生活水平的提高,人脸检测在金融、电子商务、安防等领域的应用越来越广,其市场规模达到将近千亿级别。虽然现有的人脸检测方法已能够达到一定的检测精度,但仍有许多缺陷,比如现有的人脸检测方法在光照、遮挡等复杂环境场景下,不能比较准确地进行人脸识别,因此不能令人满意,另外,现有方法并未考虑到检测难度的差异性,对于较难检测的人脸和较容易检测人脸使用同一个模型检测,导致对复杂场景下的人脸难以正确检测,从而降低了检测的效率。
本发明提供一种基于等级学习级联卷积神经网络的人脸检测方法,针对人脸的检测精度进行划分,然后使用复杂的修正网络对难检测人脸进行精准检测,使用简单的基网络对易检测人脸进行检测,在提高难检测人脸检测精度的同时,提高了检测效率。
发明内容
本发明提供一种基于等级学习级联卷积神经网络的人脸检测方法,针对人脸的检测精度进行划分,然后使用复杂的修正网络对难检测人脸进行精准检测,使用简单的基网络对易检测人脸进行检测,在提高难检测人脸检测精度的同时,提高了检测效率。
本发明提出的具体方案是:
一种基于等级学习级联卷积神经网络的人脸检测方法:
使用全卷积神经网络作为人脸检测的基网络,将人脸图像作为训练样本输入到基网络,获得训练样本的检测结果,与groundtruth进行比较,检测正确的检测难度标记为1,检测错误的检测难度标记为0,
对训练样本进行检测难度的分类,训练得到等级划分模型,
建立修正卷积神经网络的架构,对基网络无法检测的训练样本进行训练,设置图像中每个人脸的权重,进行迭代优化,不断更新权重,得到修正检测模型,
利用上述等级划分模型及修正检测模型进行图像中人脸检测:先将图像输入到等级划分模型,判断该图像中人脸的检测难度,若输出为0,说明该图像中人脸是易检测人脸,则将其输入到基网络进行检测,若等级划分模型输出为 1,说明该图像中人脸是难检测人脸,将其输入到修正卷积神经网络进行检测。
所述的方法将Alexnet中的全连接层改为1×1的卷积层,作为基网络的主要结构。
所述的方法将Resnet作为修正卷积神经网络的主要架构。
所述的方法对基网络无法检测的训练样本进行训练时,设置图像中每个人脸的权重的初始化权重公式为:
在上式中,变量x表示图像中的一个人脸,变量q表示检测正确的人脸的个数,变量p表示检测错误的人脸的个数,ΩC表示检测正确错误的人脸,ΩB表示检测正确的人脸集合。
所述的方法进行迭代优化,不断更新权重的权重更新公式:
在上式中,变量un-1表示上一次迭代是样本x的权重,acc表示被上次迭代中目标检测的正确率,Ωerr表示上次迭代中被错误检测的人脸集合,Ωacc表示上次迭代中被正确检测的人脸集合。
本发明的有益之处是:
本发明提供一种基于等级学习级联卷积神经网络的人脸检测方法,利用本发明中等级划分模型及修正检测模型进行图像中人脸检测:先将图像输入到等级划分模型,判断该图像中人脸的检测难度,若输出为0,说明该图像中人脸是易检测人脸,则将其输入到基网络进行检测,若等级划分模型输出为1,说明该图像中人脸是难检测人脸,将其输入到修正卷积神经网络进行检测。针对人脸的检测精度进行划分,然后使用复杂的修正网络对难检测人脸进行精准检测,使用简单的基网络对易检测人脸进行检测,在提高难检测人脸检测精度的同时,提高了检测效率。
附图说明
图1本发明人脸检测流程示意图,
图2本发明方法流程示意图。
具体实施方式
本发明提供一种基于等级学习级联卷积神经网络的人脸检测方法:
使用全卷积神经网络作为人脸检测的基网络,将人脸图像作为训练样本输入到基网络,获得训练样本的检测结果,与groundtruth进行比较,检测正确的检测难度标记为1,检测错误的检测难度标记为0,
对训练样本进行检测难度的分类,训练得到等级划分模型,
建立修正卷积神经网络的架构,对基网络无法检测的训练样本进行训练,设置图像中每个人脸的权重,进行迭代优化,不断更新权重,得到修正检测模型,
利用上述等级划分模型及修正检测模型进行图像中人脸检测:先将图像输入到等级划分模型,判断该图像中人脸的检测难度,若输出为0,说明该图像中人脸是易检测人脸,则将其输入到基网络进行检测,若等级划分模型输出为 1,说明该图像中人脸是难检测人脸,将其输入到修正卷积神经网络进行检测。
结合附图对本发明做一步说明。
利用本发明方法,使用Alexnet的结构作为基网络的主要结构,Alexnet 中的全连接层改为1×1的卷积层,将训练样本输入到基检测网络,获得训练样本的检测结果,将训练样本的检测结果与groundtruth进行比较,检测正确的检测难度标记为1,检测错误的检测难度标记为0,再使用Alexnet作为等级划分模型,对训练样本进行检测难度的分类,将训练样本及其获得的检测难度标记输入到Alexnet,训练得到等级划分模型,根据等级划分模型的分类结果即可得到样本的检测难度;
建立修正卷积神经网络的架构,修正卷积神经网络主要用于对受光照、遮挡等因素影响的难以正确检测的人脸进行检测,使用结构较为复杂的Resnet 作为修正卷积神经网络的主要架构,为了进一步提高对难检测样本的检测准确性,在训练时,设置图像中每个人脸的权重,初始化权重公式:
在上式中,变量x表示图像中的一个人脸,变量q表示检测正确的人脸的个数,变量p表示检测错误的人脸的个数,ΩC表示检测正确错误的人脸,ΩB表示检测正确的人脸集合,由上式可以看出,在训练过程中,检测错误的人脸的权重要大于检测正确的人脸的权重,
每次迭代优化中,不断更新权重,权重更新公式:
在上式中,变量un-1表示上一次迭代是样本x的权重,acc表示被上次迭代中目标检测的正确率,Ωerr表示上次迭代中被错误检测的人脸集合,Ωacc表示上次迭代中被正确检测的人脸集合,由于训练精度一般是大于50%的,所以被分错的样本的权重要大于分对样本的权重;
对于一幅待检测人脸图像,首先输入到等级划分模型,判断该人脸的检测难度,如果输出为0,说明该人脸是易检测人脸,则将其输入到基检测网络进行检测,如果等级划分模型输出为1,说明该人脸是难检测人脸,将其输入到修正网络进行检测。
利用本发明方法能够解决复杂场景下人脸的准确检测问题,即使人脸模糊也能较为正确的检测出来,配合极少量的摄像头,可以形成新的人脸检测方案,可用于金融身份验证、智能安防、电子商务等领域。检测精度和模型效率的提高则可提高产品竞争力,可以带来良好的经济效益和社会效益。
Claims (5)
1.一种基于等级学习级联卷积神经网络的人脸检测方法,其特征是
使用全卷积神经网络作为人脸检测的基网络,将人脸图像作为训练样本输入到基网络,获得训练样本的检测结果,与groundtruth进行比较,检测正确的检测难度标记为1,检测错误的检测难度标记为0,
对训练样本进行检测难度的分类,训练得到等级划分模型,
建立修正卷积神经网络的架构,对基网络无法检测的训练样本进行训练,设置图像中每个人脸的权重,进行迭代优化,不断更新权重,得到修正检测模型,
利用上述等级划分模型及修正检测模型进行图像中人脸检测:先将图像输入到等级划分模型,判断该图像中人脸的检测难度,若输出为0,说明该图像中人脸是易检测人脸,则将其输入到基网络进行检测,若等级划分模型输出为1,说明该图像中人脸是难检测人脸,将其输入到修正卷积神经网络进行检测。
2.根据权利要求1所述的方法,其特征是将Alexnet中的全连接层改为1×1的卷积层,作为基网络的主要结构。
3.根据权利要求1或2所述的方法,其特征是将Resnet作为修正卷积神经网络的主要架构。
4.根据权利要求3所述的方法,其特征是对基网络无法检测的训练样本进行训练时,设置图像中每个人脸的权重的初始化权重公式为:
在上式中,变量x表示图像中的一个人脸,变量q表示检测正确的人脸的个数,变量p表示检测错误的人脸的个数,ΩC表示检测正确错误的人脸,ΩB表示检测正确的人脸集合。
5.根据权利要求4所述的方法,其特征是进行迭代优化,不断更新权重的权重更新公式:
在上式中,变量un-1表示上一次迭代是样本χ的权重,acc表示被上次迭代中目标检测的正确率,Ωerr表示上次迭代中被错误检测的人脸集合,Ωacc表示上次迭代中被正确检测的人脸集合。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711237085.5A CN107909053B (zh) | 2017-11-30 | 2017-11-30 | 一种基于等级学习级联卷积神经网络的人脸检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711237085.5A CN107909053B (zh) | 2017-11-30 | 2017-11-30 | 一种基于等级学习级联卷积神经网络的人脸检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107909053A true CN107909053A (zh) | 2018-04-13 |
CN107909053B CN107909053B (zh) | 2020-06-26 |
Family
ID=61849568
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711237085.5A Active CN107909053B (zh) | 2017-11-30 | 2017-11-30 | 一种基于等级学习级联卷积神经网络的人脸检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107909053B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108681714A (zh) * | 2018-05-18 | 2018-10-19 | 济南浪潮高新科技投资发展有限公司 | 一种基于个性化学习的手指静脉识别***及方法 |
CN109064217A (zh) * | 2018-07-16 | 2018-12-21 | 阿里巴巴集团控股有限公司 | 基于用户等级的核身策略确定方法、装置及电子设备 |
CN109117786A (zh) * | 2018-08-09 | 2019-01-01 | 百度在线网络技术(北京)有限公司 | 基于神经网络模型的数据处理方法、装置及可读存储介质 |
CN109614929A (zh) * | 2018-12-11 | 2019-04-12 | 济南浪潮高新科技投资发展有限公司 | 基于多粒度代价敏感卷积神经网络的人脸检测方法及*** |
WO2020134010A1 (zh) * | 2018-12-27 | 2020-07-02 | 北京字节跳动网络技术有限公司 | 对图像关键点提取模型的训练及图像关键点提取 |
CN111899264A (zh) * | 2020-06-18 | 2020-11-06 | 济南浪潮高新科技投资发展有限公司 | 一种目标图像分割方法、设备及介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103020602A (zh) * | 2012-10-12 | 2013-04-03 | 北京建筑工程学院 | 基于神经网络的人脸识别方法 |
EP2869239A2 (en) * | 2013-11-04 | 2015-05-06 | Facebook, Inc. | Systems and methods for facial representation |
CN105912990A (zh) * | 2016-04-05 | 2016-08-31 | 深圳先进技术研究院 | 人脸检测的方法及装置 |
CN106600538A (zh) * | 2016-12-15 | 2017-04-26 | 武汉工程大学 | 一种基于区域深度卷积神经网络的人脸超分辨率算法 |
CN107239736A (zh) * | 2017-04-28 | 2017-10-10 | 北京智慧眼科技股份有限公司 | 基于多任务级联卷积神经网络的人脸检测方法及检测装置 |
-
2017
- 2017-11-30 CN CN201711237085.5A patent/CN107909053B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103020602A (zh) * | 2012-10-12 | 2013-04-03 | 北京建筑工程学院 | 基于神经网络的人脸识别方法 |
EP2869239A2 (en) * | 2013-11-04 | 2015-05-06 | Facebook, Inc. | Systems and methods for facial representation |
CN105912990A (zh) * | 2016-04-05 | 2016-08-31 | 深圳先进技术研究院 | 人脸检测的方法及装置 |
CN106600538A (zh) * | 2016-12-15 | 2017-04-26 | 武汉工程大学 | 一种基于区域深度卷积神经网络的人脸超分辨率算法 |
CN107239736A (zh) * | 2017-04-28 | 2017-10-10 | 北京智慧眼科技股份有限公司 | 基于多任务级联卷积神经网络的人脸检测方法及检测装置 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108681714A (zh) * | 2018-05-18 | 2018-10-19 | 济南浪潮高新科技投资发展有限公司 | 一种基于个性化学习的手指静脉识别***及方法 |
CN109064217A (zh) * | 2018-07-16 | 2018-12-21 | 阿里巴巴集团控股有限公司 | 基于用户等级的核身策略确定方法、装置及电子设备 |
CN109064217B (zh) * | 2018-07-16 | 2021-11-05 | 创新先进技术有限公司 | 基于用户等级的核身策略确定方法、装置及电子设备 |
CN109117786A (zh) * | 2018-08-09 | 2019-01-01 | 百度在线网络技术(北京)有限公司 | 基于神经网络模型的数据处理方法、装置及可读存储介质 |
CN109117786B (zh) * | 2018-08-09 | 2021-11-30 | 百度在线网络技术(北京)有限公司 | 基于神经网络模型的数据处理方法、装置及可读存储介质 |
CN109614929A (zh) * | 2018-12-11 | 2019-04-12 | 济南浪潮高新科技投资发展有限公司 | 基于多粒度代价敏感卷积神经网络的人脸检测方法及*** |
WO2020134010A1 (zh) * | 2018-12-27 | 2020-07-02 | 北京字节跳动网络技术有限公司 | 对图像关键点提取模型的训练及图像关键点提取 |
CN111899264A (zh) * | 2020-06-18 | 2020-11-06 | 济南浪潮高新科技投资发展有限公司 | 一种目标图像分割方法、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN107909053B (zh) | 2020-06-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107909053A (zh) | 一种基于等级学习级联卷积神经网络的人脸检测方法 | |
CN109583324A (zh) | 一种基于单点多盒检测器的指针仪表读数自动识别方法 | |
CN106991368A (zh) | 一种基于深度卷积神经网络的指静脉验证身份识别方法 | |
CN109583357A (zh) | 一种改进lbp和轻量卷积神经网络级联的人脸识别方法 | |
CN103324938A (zh) | 训练姿态分类器及物体分类器、物体检测的方法及装置 | |
CN112801094B (zh) | 一种指针式仪表图像倾斜校正方法 | |
CN108537264A (zh) | 基于深度学习的异源图像匹配方法 | |
CN104850844B (zh) | 一种基于快速构建图像特征金字塔的行人检测方法 | |
CN106548169A (zh) | 基于深度神经网络的模糊文字增强方法及装置 | |
CN110188694B (zh) | 一种基于压力特征的穿鞋足迹序列识别方法 | |
CN103984929B (zh) | 扭曲指纹的校正方法及*** | |
CN104239862A (zh) | 一种人脸识别方法 | |
CN109508661A (zh) | 一种基于物体检测和姿态估计的举手者检测方法 | |
CN107516322A (zh) | 一种基于对数极空间的图像物体大小和旋转估计计算方法 | |
CN104809724A (zh) | 多波段遥感影像的自动精配准方法 | |
CN113158955B (zh) | 基于聚类引导和成对度量三元组损失的行人重识别方法 | |
CN107679469A (zh) | 一种基于深度学习的非极大值抑制方法 | |
CN107798308A (zh) | 一种基于短视频训练法的人脸识别方法 | |
CN107633527B (zh) | 基于全卷积神经网络的目标追踪方法及装置 | |
Goyal et al. | Yoga pose perfection using deep learning: An algorithm to estimate the error in yogic poses | |
CN108491719A (zh) | 一种改进朴素贝叶斯算法的安卓恶意程序检测方法 | |
CN113947140A (zh) | 人脸特征提取模型的训练方法和人脸特征提取方法 | |
CN110046669A (zh) | 基于素描图像的半耦合度量鉴别字典学习的行人检索方法 | |
CN109685823A (zh) | 一种基于深度森林的目标跟踪方法 | |
CN108830195A (zh) | 基于现场可编程门阵列fpga的图像分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20200529 Address after: 250100 Ji'nan high tech Zone, Shandong, No. 1036 wave road Applicant after: INSPUR GROUP Co.,Ltd. Address before: 250100, Ji'nan province high tech Zone, Sun Village Branch Road, No. 2877, building, floor, building, on the first floor Applicant before: JINAN INSPUR HI-TECH INVESTMENT AND DEVELOPMENT Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |