CN109886159B - 一种非限定条件下的人脸检测方法 - Google Patents
一种非限定条件下的人脸检测方法 Download PDFInfo
- Publication number
- CN109886159B CN109886159B CN201910091271.5A CN201910091271A CN109886159B CN 109886159 B CN109886159 B CN 109886159B CN 201910091271 A CN201910091271 A CN 201910091271A CN 109886159 B CN109886159 B CN 109886159B
- Authority
- CN
- China
- Prior art keywords
- image
- network
- face
- face detection
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种非限定条件下的人脸检测方法,包括如下步骤:S1)图像预处理;S2)设计基于深度卷积的人脸检测网络;S3)人脸检测网络前向传播;S4)采用非极大值抑制算法;S5)得到最终检测结果。本发明的优点为:适用范围广,效果和速度均可达到state‑of‑art级别,有助于提升行人坐标准确性,降低误检发生概率,缓解深层网络梯度弥散问题,加快网络收敛过程。
Description
技术领域
本发明涉及计算机图像处理技术领域,具体涉及一种基于深度卷积神经网络、结合多尺度特征金字塔的非限定条件下的人脸检测方法。
背景技术
人脸检测技术作为多种视觉任务的基础,在图像处理与模式识别领域占据十分重要的地位。近些年,伴随着基于神经网络的人工智能的快速发展,人脸检测技术越来越多地应用在各类视觉任务中,例如人证比对、会议签到、人脸闸机、人脸识别等任务的前提即为高精度、高准确率的人脸检测方法。
早期的人脸检测技术依赖手工构造特征,配合传统机器学习进行。例如著名的Haar特征和使用AdaBoost算法的人脸检测算法,利用滑动窗口对图像进行扫描,对滑动窗口内的目标提取Haar特征,再使用AdaBoost算法进行分类。该算法不但时间消耗巨大,而且效果也不尽如人意。
随着人工智能技术的不断进步,基于神经网络的目标检测方法层出不穷,最具代表性的方法有MTCNN、YOLO、SSD以及Faster RCNN。其中,MTCNN采用小型神经网络分类配合滑动窗口进行快速检测,可达到不错的检测效果和速度,但是泛化性能较差,对特定场景需要重新训练;YOLO和SSD采用深层次的卷积网络,通过一次性对每个特征图的锚点进行分类和偏差回归实现检测过程,此类方法在速度上较快,泛化性能较好,但在精度上有所损失;二阶段的Faster RCNN算法性能相对其他几种是最好的,但是由于全连接层的介入使得计算量极具增加,难以应用于要求实时性的工业应用场景。
发明内容
本发明的目的是提供一种有助于提升行人坐标准确性、降低误检发生概率、缓解深层网络梯度弥散问题、加快网络收敛过程的非限定条件下的人脸检测方法。
为了达到上述目的,本发明通过以下技术方案来实现:
一种非限定条件下的人脸检测方法,包括如下步骤:
S1)图像预处理
对于从网上收集到的公开数据集,对所有的图片进行水平翻转作数据增强;
对于自行收集的1080p视频数据,提取可用于人脸检测的视频帧,对每一帧进行人脸手工或机器标注,对视频帧中出现的每个人脸进行尺度缩小,在缩小的图像上裁切包含人脸的图像作为最终的训练图像;
S2)设计基于深度卷积的人脸检测网络
以VGG16作为卷积层提取特征,删除最后的全连接层,增加inception结构和扩张卷积结构;整个网络包含6个block,在低层的3个feature map相对较大的block使用特征金字塔进行特征融合,在每个融合后的卷积模块后加一个3*3的卷积层,然后将低层的3个输出和其他3个未进行特征融合的卷积模块的最后一层输出均增加分类损失函数和回归损失函数;
将人工标注的多尺度的图像样本减去ImageNet均值(104,117,123)并归一化到[0,1],然后通过网络数据层输入到网络中进行训练;对各层的分类损失函数采用均匀分布初始化权重;采用随机梯度下降算法优化网络权重,训练网络模型直至收敛;
S3)人脸检测网络前向传播
将步骤S1)中得到的训练图像输入到训练好的网络模型中做前向传播操作,计算各层特征金字塔输出的分类结果和回归结果,分类结果表示该锚点的目标是行人或背景的概率,回归结果表示预测结果相对于锚点的偏差;
筛选出锚点目标为行人的概率超过阈值的锚点,再去除锚点对应预测的偏差,用预测出的偏差修正锚点坐标,得到初步的预测结果P1;
S4)采用非极大值抑制算法
对初步得到的检测结果P1按照概率进行排序,过滤掉局部非最大概率的检测结果,得到预测结果P2;
S5)得到最终检测结果
预测结果为目标框的左上角坐标(x1,y1)与目标框的宽和高(x2,y2),过滤超出图像范围的预测结果;
若x2大于图像宽度,x2修改为图像宽度;若y2大于图像高度,y2修改为图像高度;若x1,y1小于0,将x1,y1修正为0;
得到最终的检测结果P3。
进一步地,在步骤S1)中,所述对视频帧中出现的每个人脸进行的尺度缩小,在原有图像尺寸上分别缩小至[*0.9,*0.8,*0.7],在缩小的图像上截取700*700像素的包含人脸的图像,然后在700*700像素的图像上裁剪640*640像素的图像作为最终的训练图像。
本发明与现有技术相比,具有以下优点:
本发明一种非限定条件下的人脸检测方法,以VGG16作为卷积层提取特征,使用特征金字塔结构设计人脸检测网络,再联合各层的分类损失函数和回归损失函数,提升人脸检测的效果,尤其是小目标人脸检测的效果。本发明可应用于各种类型的视频监控检测***,尤其是人脸卡口相机的监控,本发明适用范围广,效果和速度均可达到state-of-art级别,有助于提升行人坐标准确性,降低误检发生概率,缓解深层网络梯度弥散问题,加快网络收敛过程。
附图说明
图1是本发明一种非限定条件下的人脸检测方法的流程示意图。
图2是本发明一种非限定条件下的人脸检测方法的人脸检测网络结构示意图。
具体实施方式
下面结合附图,对本发明的实施例作进一步详细的描述。
本发明一种非限定条件下的人脸检测方法,经过训练后得到的网络模型,可以实现端到端的人脸检测;当视频帧进入网络,输出检测结果的概率和目标的位置信息;经过非极大值抑制和概率筛选,可得到人脸的具体坐标。
一种非限定条件下的人脸检测方法,包括如下步骤:
S1)图像预处理
对于从网上收集到的公开数据集,采用水平翻转作数据增强;
对于自行收集的1080p视频数据,提取可用于人脸检测的视频帧,对每一帧进行人脸手工或机器标注,对视频帧中出现的每个人脸进行尺度缩小,在原有图像尺寸上分别缩小至[*0.9,*0.8,*0.7],在缩小的图像上截取700*700像素的包含人脸的图像,然后在700*700像素的图像上裁剪640*640像素的图像作为最终的训练图像。
S2)设计基于深度卷积的人脸检测网络
以VGG16作为卷积层提取特征,删除最后的全连接层,增加inception结构和扩张卷积结构;整个网络包含6个block,block是将网络整体截成6个部分,每个部分的featuremap的大小都不一样,在低层的3个block使用特征金字塔进行特征融合,特征金字塔指的是多种尺度的特征,在每个融合后的卷积模块后加一个3*3的卷积层,该卷积层不改变特征图的大小,可防止两个不同层特征融合后发生混叠效应,然后将低层的3个输出和其他3个未进行特征融合的卷积模块的最后一层输出均增加分类损失函数和回归损失函数;
将人工标注的多尺度的图像样本减去ImageNet均值(104,117,123)并归一化到[0,1],然后通过网络数据层输入到网络中进行训练,训练数据包含图像以及图像中包含所有人脸的坐标信息;对各层的分类损失函数通过均匀分配的方式配置权重;采用随机梯度下降算法优化网络权重,训练网络模型直至收敛。
S3)人脸检测网络前向传播
将步骤S1)中得到的训练图像输入到训练好的网络模型中做前向传播操作,利用Softmax函数计算各层特征金字塔输出的分类结果,利用逻辑回归函数计算各层特征金字塔输出的回归结果,分类结果表示该锚点的目标是行人或背景的概率,回归结果表示预测结果相对于锚点的偏差;回归偏差offset={dx,dy,dw,dh},其中dx,dy,dw,dh表示预测结果对于当前设置的anchor box的横坐标偏移量、纵坐标偏移量、宽度偏移倍数和高度偏移倍数。锚点表示为anchor={x,y,w,h},其中(x,y)表示当前使用的anchor box的中心坐标,w和h表示宽和高;
筛选出锚点目标为行人的概率超过阈值的锚点,再去除锚点对应预测的偏差,用预测出的偏差修正锚点坐标,得到初步的预测结果P1={x+dx-w*dw/2,y+dy-h*dh/2,x+dx+w*dw/2,y+dy+h*dh/2},预测结果是左上角的坐标和右下角的坐标。
S4)采用非极大值抑制算法
对初步得到的检测结果P1按照概率进行排序,进行非极大值抑制处理,遍历每一个候选框,将与之交并比超过0.35且概率较小的候选框去除,过滤掉局部非最大概率的检测结果,得到预测结果P2。
S5)得到最终检测结果
预测结果P2为目标框的左上角坐标(x1,y1)与目标框的宽和高(x2,y2),过滤超出图像范围的预测结果;
若x2大于图像宽度,x2修改为图像宽度;若y2大于图像高度,y2修改为图像高度;若x1,y1小于0,将x1,y1修正为0;
得到最终的检测结果P3。
以上所述仅是本发明优选实施方式,应当指出,对于本技术领域的普通技术人员,在不脱离本发明构思的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明保护范围内。
Claims (2)
1.一种非限定条件下的人脸检测方法,其特征在于包括如下步骤:
S1)图像预处理
对于从网上收集到的公开数据集,对所有的图片进行水平翻转作数据增强;
对于自行收集的1080p视频数据,提取可用于人脸检测的视频帧,对每一帧进行人脸手工或机器标注,对视频帧中出现的每个人脸进行尺度缩小,在缩小的图像上裁切包含人脸的图像作为最终的训练图像;
S2)设计基于深度卷积的人脸检测网络
以VGG16作为卷积层提取特征,删除最后的全连接层,增加inception结构和扩张卷积结构;整个网络包含6个block,在低层的3个feature map相对较大的block使用特征金字塔进行特征融合,在每个融合后的卷积模块后加一个3*3的卷积层,然后将低层的3个输出和其他3个未进行特征融合的卷积模块的最后一层输出均增加分类损失函数和回归损失函数;
将人工标注的多尺度的图像样本减去ImageNet均值(104,117,123)并归一化到[0,1],然后通过网络数据层输入到网络中进行训练;对各层的分类损失函数采用均匀分布初始化权重;采用随机梯度下降算法优化网络权重,训练网络模型直至收敛;
S3)人脸检测网络前向传播
将步骤S1)中得到的训练图像输入到训练好的网络模型中做前向传播操作,计算各层特征金字塔输出的分类结果和回归结果,分类结果表示锚点的目标是行人或背景的概率,回归结果表示预测结果相对于锚点的偏差;
筛选出锚点目标为行人的概率超过阈值的锚点,再去除锚点对应预测的偏差,用预测出的偏差修正锚点坐标,得到初步的预测结果P1;
S4)采用非极大值抑制算法
对初步得到的检测结果P1按照概率进行排序,过滤掉局部非最大概率的检测结果,得到预测结果P2;
S5)得到最终检测结果
预测结果为目标框的左上角坐标(x1,y1)与目标框的宽和高(x2,y2),过滤超出图像范围的预测结果;
若x2大于图像宽度,x2修改为图像宽度;若y2大于图像高度,y2修改为图像高度;若x1,y1小于0,将x1,y1修正为0;
得到最终的检测结果P3。
2.根据权利要求1所述的一种非限定条件下的人脸检测方法,其特征在于:在步骤S1)中,所述对视频帧中出现的每个人脸进行的尺度缩小,在原有图像尺寸上分别缩小至[*0.9,*0.8,*0.7],在缩小的图像上截取700*700像素的包含人脸的图像,然后在700*700像素的图像上裁剪640*640像素的图像作为最终的训练图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910091271.5A CN109886159B (zh) | 2019-01-30 | 2019-01-30 | 一种非限定条件下的人脸检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910091271.5A CN109886159B (zh) | 2019-01-30 | 2019-01-30 | 一种非限定条件下的人脸检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109886159A CN109886159A (zh) | 2019-06-14 |
CN109886159B true CN109886159B (zh) | 2021-03-26 |
Family
ID=66927482
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910091271.5A Active CN109886159B (zh) | 2019-01-30 | 2019-01-30 | 一种非限定条件下的人脸检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109886159B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110827432B (zh) * | 2019-11-11 | 2021-12-28 | 深圳算子科技有限公司 | 一种基于人脸识别的课堂考勤方法及*** |
CN111898410A (zh) * | 2020-06-11 | 2020-11-06 | 东南大学 | 无约束场景下的基于上下文推理的人脸检测方法 |
CN111985439A (zh) * | 2020-08-31 | 2020-11-24 | 中移(杭州)信息技术有限公司 | 人脸检测方法、装置、设备和存储介质 |
CN112734682B (zh) * | 2020-12-31 | 2023-08-01 | 杭州芯炬视人工智能科技有限公司 | 人脸检测表面向量数据加速方法、***、计算机设备和存储介质 |
CN112967254A (zh) * | 2021-03-08 | 2021-06-15 | 中国计量大学 | 基于胸部ct影像肺部疾病识别和检测方法 |
CN113989869A (zh) * | 2021-07-23 | 2022-01-28 | 北京眼神智能科技有限公司 | 人脸检测方法、装置、电子设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108830196A (zh) * | 2018-05-31 | 2018-11-16 | 上海贵和软件技术有限公司 | 基于特征金字塔网络的行人检测方法 |
CN108898078A (zh) * | 2018-06-15 | 2018-11-27 | 上海理工大学 | 一种多尺度反卷积神经网络的交通标志实时检测识别方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11157814B2 (en) * | 2016-11-15 | 2021-10-26 | Google Llc | Efficient convolutional neural networks and techniques to reduce associated computational costs |
US10902598B2 (en) * | 2017-01-27 | 2021-01-26 | Arterys Inc. | Automated segmentation utilizing fully convolutional networks |
CN107403141B (zh) * | 2017-07-05 | 2020-01-10 | 中国科学院自动化研究所 | 人脸检测方法及装置、计算机可读存储介质、设备 |
CN107944442B (zh) * | 2017-11-09 | 2019-08-13 | 北京智芯原动科技有限公司 | 基于改进卷积神经网络的对象检测装置及方法 |
CN108520219B (zh) * | 2018-03-30 | 2020-05-12 | 台州智必安科技有限责任公司 | 一种卷积神经网络特征融合的多尺度快速人脸检测方法 |
CN108734211B (zh) * | 2018-05-17 | 2019-12-24 | 腾讯科技(深圳)有限公司 | 图像处理的方法和装置 |
CN109034090A (zh) * | 2018-08-07 | 2018-12-18 | 南通大学 | 一种基于肢体动作的情感识别***及方法 |
CN109145854A (zh) * | 2018-08-31 | 2019-01-04 | 东南大学 | 一种基于级联卷积神经网络结构的人脸检测方法 |
-
2019
- 2019-01-30 CN CN201910091271.5A patent/CN109886159B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108830196A (zh) * | 2018-05-31 | 2018-11-16 | 上海贵和软件技术有限公司 | 基于特征金字塔网络的行人检测方法 |
CN108898078A (zh) * | 2018-06-15 | 2018-11-27 | 上海理工大学 | 一种多尺度反卷积神经网络的交通标志实时检测识别方法 |
Non-Patent Citations (3)
Title |
---|
"Very Deep Convolutional Networks for Text Classification";Holger Schwenk等;《Computer Science 》;20170127;1-10 * |
"基于深度学习的非限定条件下人脸识别研究";夏洋洋;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170715;I138-825 * |
"深度学习辅助的多行人跟踪算法";王慧燕等;《中国图象图形学报》;20170316;第22卷(第3期);349-357 * |
Also Published As
Publication number | Publication date |
---|---|
CN109886159A (zh) | 2019-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109886159B (zh) | 一种非限定条件下的人脸检测方法 | |
CN110728200B (zh) | 一种基于深度学习的实时行人检测方法及*** | |
WO2020108362A1 (zh) | 人体姿态检测方法、装置、设备及存储介质 | |
CN108304798B (zh) | 基于深度学习及运动一致性的街面秩序事件视频检测方法 | |
CN108416266B (zh) | 一种利用光流提取运动目标的视频行为快速识别方法 | |
WO2021238019A1 (zh) | 基于Ghost卷积特征融合神经网络实时车流量检测***及方法 | |
CN110070091B (zh) | 用于街景理解的基于动态插值重建的语义分割方法及*** | |
CN112308860A (zh) | 基于自监督学习的对地观测图像语义分割方法 | |
CN107545263B (zh) | 一种物体检测方法及装置 | |
CN110334762B (zh) | 一种基于四叉树结合orb和sift的特征匹配方法 | |
CN111914698B (zh) | 图像中人体的分割方法、分割***、电子设备及存储介质 | |
CN112950477B (zh) | 一种基于双路径处理的高分辨率显著性目标检测方法 | |
CN112464851A (zh) | 一种基于视觉感知的智能电网异物入侵检测方法及*** | |
CN110991444A (zh) | 面向复杂场景的车牌识别方法及装置 | |
CN110889360A (zh) | 一种基于切换卷积网络的人群计数方法及*** | |
CN110991374B (zh) | 一种基于rcnn的指纹奇异点检测方法 | |
CN112801021B (zh) | 基于多级语义信息的车道线检测方法及*** | |
CN109741358B (zh) | 基于自适应超图学习的超像素分割方法 | |
CN113449656B (zh) | 一种基于改进的卷积神经网络的驾驶员状态识别方法 | |
CN113177956A (zh) | 一种面向无人机遥感影像的语义分割方法 | |
CN110751150A (zh) | 一种基于fpga的二值神经网络车牌识别方法及*** | |
CN110570450A (zh) | 一种基于级联的上下文感知框架的目标跟踪方法 | |
CN116152696A (zh) | 一种工控***智慧安防图像识别方法及*** | |
Ran et al. | Adaptive fusion and mask refinement instance segmentation network for high resolution remote sensing images | |
CN110427920B (zh) | 一种面向监控环境的实时行人解析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |