CN109446964A - 基于端到端单级多尺度检测器的面部检测分析方法及装置 - Google Patents

Abstract

本发明公开了一种基于端到端单级多尺度检测器的驾驶员面部检测及其属性分析方法及装置。该方法包括了端到端训练方法的设计，全单级多尺度检测器网络架构的设计，百万级驾驶员面部数据处理方法的设计。本发明首次使用了单级多尺度检测器进行驾驶员面部定位及其属性分析，充分发挥了在限制性场景下单级多尺度检测器速度快、效率高、准确性好的特点，并且在检测的同时完成面部属性分析，可以最大程度满足执法人员对于驾驶员信息的需求。本发明自适应能力强，速度快，计算消耗低，便于移植，能够实时地在嵌入式平台中完成各类目标检测及分析任务。

Description

基于端到端单级多尺度检测器的面部检测分析方法及装置

技术领域

本发明属于智能视频监控领域，具体涉及一种基于端到端单级多尺度检测器的驾驶员面部检测及其属性分析方法及装置。

背景技术

在深度学***均正确率仅有40％左右，但运行速度是较快的；从2012年深度学***均正确率也由40％不断提高到了如今的80％，甚至在一些复杂的场景下，物体检出率超越了人类，然而检测效率一直是亟待解决的大问题。随着近年来人工智能芯片的使用门槛逐渐降低，性能不断提升，越来越多复杂的深度学***台得以实现。但是基于物体检测网络的复杂性和特殊性，嵌入式平台的实时运行依然是非常大的挑战。所以如何能够实现物体检测网络的轻、小、快、准四个特性是当前学界和行业中研究的热门。

从90年代末期到2012年，绝大多数物体检测算法都是通过传统的机器学习方式来实现的，包括使用DPM，多级联方式等。尽管很多方法速度都很快，但是由于传统检测算法更多地是采用人为定义的特征，往往不能够很好反应物体真正的特征，并且对噪声和图像变化具有很弱地鲁棒性，所以当物体形变较大和图像质量发生变化时是具有明显缺陷的，而这些缺陷已经慢慢被深度学习算法逐渐弱化或完全解决。

自2012年以来，深度学习在物体检测领域已经有了长足的发展，其中不论是单级、多级、还是进行级联的物体检测器都得到了学界和行业的广泛验证，但是不同的方案依然存在各自的缺陷：

1.单级检测器：端到端网络，速度最快，模型结构较小，但是对于小物体检出率低，并且整体检出率和准确率也低于多级和级联检测器；

2.多级检测器：需要分段训练，检出率和准确率最高，但是需要花费较大的计算代价，速度最慢，无法达到实时；

3.级联检测器：需要分段训练，性价比最高，但是单类物体检测效果最好，不适用于多分类物体检测和属性分析。

针对在限制性场景下特定目标的检测与属性分析，需要具备以下特征：检测速度快，定位准，要降低漏检与误检率，并且要能够对检出物体进行属性分析。对此上述三种方案均无法完美解决。

发明内容

本发明的目的是提供一种基于端到端单级多尺度检测器的面部检测分析方法及装置，充分发挥单级检测器端到端训练和检测高效的优势，重新设计了多尺度特征不变形的检测方法并融合了属性分析模块，可以在限制性场景下精准检测分析驾驶员面部信息。

为达到上述目的，本发明的技术方案是这样实现的：

一种基于端到端单级多尺度检测器的面部检测分析方法，包括：

S1、端到端网络架构设计：将驾驶员面部检测及其属性分析任务分解为面部检测、面部定位、面部属性分析三类任务，将所述三类任务进行端到端训练和检测设计；

S2、单级多尺度检测器设计：采用稠密连接设计检测网络的主网络，通过融合特征得到最终的面部检测与定位结果；

S3、面部属性分析网络设计：得到融合特征后，如果给出的结果是面部，共用同一个融合特征进行多分类任务。

进一步的，步骤S1所述端到端训练的流程包括：

S11、传入一张完整的图像，对整个图像进行随机裁剪；

S12、裁剪出的图片交并比IOU大于0.6，为正样本，否则为负样本；

S13、负样本不具备定位和属性，仅用于是否为面部的二分类训练；

S14、正样本首先进行二分类训练，然后进行回归定位训练，最后将面部图片进行属性分析训练，三者使用同样的输入但是相互独立，并且一同输出，实现端到端的训练。

进一步的，步骤S2具体步骤包括：

S21、所述稠密连接采用公式x_l＝H_l([x₀，x₁，x₂，...，x_i-1])，将0至(l-1)层的特征图输出做合并，其中H_l包括批归一化、激励层和3x3卷积层；

S22、进入多尺度特征金字塔分层检测网络，对不同尺度的特征金字塔结果继续做稠密连接，并融合所述不同尺度的特征金字塔给出最终检测结果；

S23、通过融合特征得到最终的面部检测与定位结果。

进一步的，步骤S3具体方法包括：

从多层金字塔检测网络得到融合特征后，如果给出的结果是面部，进行四个分支的多分类任务：

1.性别：二分类；

2.年龄：20–70之间每5年一个段，20以下一个段，70以上一个段，共14类；

3.眼镜：二分类；

4.帽子：二分类；

四个多分类任务共用同一个融合特征，仅使用四个不同的全连接进行分类，减少参数量，加速计算。

本发明的另一方面，还提供了一种基于端到端单级多尺度检测器的面部检测分析装置，包括：

端到端网络架构设计模块：将驾驶员面部检测及其属性分析任务分解为面部检测、面部定位、面部属性分析三类任务，将所述三类任务进行端到端训练和检测设计；

单级多尺度检测器设计模块：采用稠密连接设计检测网络的主网络，通过融合特征得到最终的面部检测与定位结果；

面部属性分析网络设计模块：得到融合特征后，如果给出的结果是面部，共用同一个融合特征进行多分类任务。

进一步的，端到端网络架构设计模块包括：

裁剪单元：传入一张完整的图像，对整个图像进行随机裁剪；

样本判断单元：裁剪出的图片交并比IOU大于0.6，为正样本，否则为负样本；

负样本训练单元：负样本不具备定位和属性，仅用于是否为面部的二分类训练；

正样本训练单元：正样本首先进行二分类训练，然后进行回归定位训练，最后将面部图片进行属性分析训练，三者使用同样的输入但是相互独立，并且一同输出，实现端到端的训练。

进一步的，单级多尺度检测器设计模块包括：

稠密连接单元：所述稠密连接采用公式x_l＝H_l([x₀，x₁，x₂，...，x_i-1])，将0至(l-1)层的特征图输出做合并，其中H_l包括批归一化、激励层和3x3卷积层；

多尺度金字塔单元：进入多尺度特征金字塔分层检测网络，对不同尺度的特征金字塔结果继续做稠密连接，并融合所述不同尺度的特征金字塔给出最终检测结果；

结果单元：通过融合特征得到最终的面部检测与定位结果。

进一步的，面部属性分析网络设计模块包括多分类任务单元，用于：

从多层金字塔检测网络得到融合特征后，如果给出的结果是面部，进行四个分支的多分类任务：

1.性别：二分类；

2.年龄：20–70之间每5年一个段，20以下一个段，70以上一个段，共14类；

3.眼镜：二分类；

4.帽子：二分类；

四个多分类任务共用同一个融合特征，仅使用四个不同的全连接进行分类，减少参数量，加速计算。

与现有技术相比，本发明具有如下的有益效果：

通过本发明使得在前端嵌入式平台中进行驾驶员面部检测及分析这一复杂任务得以实时运行。本发明优化了单级多尺度检测网络的架构；实现了分类、定位、属性分析多任务的端到端训练，既高效又节省资源；本发明采用了稠密连接策略，确保网络可以不依赖预训练模型就能够训练到理想的效果；端到端单级多尺度检测器不仅可以覆盖全图各个尺度，还能够快速精准定位面部，从而使用最优质量的面部图片进行属性分析，效果优异。

本发明首次使用了单级多尺度检测器进行驾驶员面部定位及其属性分析，充分发挥了在限制性场景下单级多尺度检测器速度快、效率高、准确性好的特点，并且在检测的同时完成面部属性分析，可以最大程度满足执法人员对于驾驶员信息的需求。端到端单级多尺度检测器也具有模型轻便，模块集成度高等特点，可以很好地实现在嵌入式平台上应用深度学***台中完成各类目标检测及分析任务。

通过本发明，目前前端嵌入式平台实测单一检测分析可实现46fps，配合车辆检测算法可以实现全自动交通抓拍及分析的效果，满足了实际产品和行业的需求。目前已经被广泛应用于智能监控，智能交通，卡口抓拍机等领域和产品中，为客户带来了良好的体验。

附图说明

图1是本发明实施例的端到端训练的流程示意图；

图2是本发明实施例的稠密连接主网络的结构示意图；

图3是本发明实施例的多尺度特征金字塔分层检测网络结构示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

本发明具体技术方案主要分三个方面来实现：

I、端到端网络架构设计

端到端网络架构包括端到端的训练与检测。驾驶员面部检测及其属性分析可以将任务分解为三类，面部检测、面部定位、面部属性分析(包括驾驶员性别、驾驶员年龄，是否戴眼镜、是否戴帽子)。其中面部检测为二分类问题，即判断给定区域是否包含面部；面部定位为回归问题，即给出当前区域面部的精确位置；面部属性为多标签分类问题，即需要同时给出面部不同的类别属性。传统深度学习方法会将三类任务分配到多级检测器中训练，这样不仅耗时，而且易用性差，所以我们将三类任务进行端到端训练和检测设计，方案流程图如图1所示：

其中IOU为交并比，若检测框与物体的交集面积除以二者并集面积大于0.6时，可认为检测框中存在面部，否则就认为不包含面部，这里设定的数值较大的原因就在于必须面部信息足够多时才能够进行属性分析，否则会导致结果不准确。

整个训练流程如图1所示，首先传入一张完整的图像，然后对整个图像进行随机裁剪，如果裁剪出的图片IOU大于0.6，那么就是正样本，否则就是负样本；负样本不具备定位和属性，所以仅用于是否为面部的二分类训练。正样本首先进行二分类训练，然后进行回归定位训练，最后将面部图片进行属性分析训练，三者使用同样的输入但是相互独立，并且可以一同输出，从而实现了端到端的训练。

II、单级多尺度检测器设计

绝大多数的单级检测器都需要依赖于预训练模型，必须有一个良好地预训练模型才能够较好地训练出检测网络。为了消除这一弊端，采用了稠密连接的思想来设计检测网络的主网络，让网络能够更好地结合浅层与深层特征信息，共同学习，从而达到不使用预训练模型也能够充分学习特征的目的。稠密连接主网络的结构如图2所示：

其中，稠密连接模块的公式为x_l＝H_l([x₀，x₁，x₂，...，x_i-1])，表示将0～(l-1)层的特征图输出做合并。其中H_l包括批归一化、激励层和3x3卷积层等。

经过了稠密连接主网络将会进入多尺度特征金字塔分层检测网络，这里将会对不同尺度的特征金字塔结果继续做稠密连接，并融合共6层特征金字塔给出最终检测结果，可以保证覆盖全图所有尺度并且可以精准定位。多尺度特征金字塔分层检测网络结构如图3所示，最终通过融合特征得到最终的面部检测与定位结果。

III、面部属性分析网络设计

从多层金字塔检测网络得到融合特征后，如果给出的结果是面部，那么进行四个分支的多分类任务：

1.性别：二分类任务

2.年龄：20–70之间每5年一个段，20以下一个段，70以上一个段，共14类

3.眼镜：二分类

4.帽子：二分类

四个多分类任务共用同一个融合特征，仅使用四个不同的全连接进行分类，减少参数量，加速计算。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例公开如上，然而，并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当然会利用揭示的技术内容作出些许更动或修饰，成为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均属于本发明技术方案的范围内。

Claims (8)

1.一种基于端到端单级多尺度检测器的面部检测分析方法，其特征在于，包括：

S1、端到端网络架构设计：将驾驶员面部检测及其属性分析任务分解为面部检测、面部定位、面部属性分析三类任务，将所述三类任务进行端到端训练和检测设计；

S2、单级多尺度检测器设计：采用稠密连接设计检测网络的主网络，通过融合特征得到最终的面部检测与定位结果；

S3、面部属性分析网络设计：得到融合特征后，如果给出的结果是面部，共用同一个融合特征进行多分类任务。

2.根据权利要求1所述的方法，其特征在于，步骤S1所述端到端训练的流程包括：

S11、传入一张完整的图像，对整个图像进行随机裁剪；

S12、裁剪出的图片交并比IOU大于0.6，为正样本，否则为负样本；

S13、负样本不具备定位和属性，仅用于是否为面部的二分类训练；

S14、正样本首先进行二分类训练，然后进行回归定位训练，最后将面部图片进行属性分析训练，三者使用同样的输入但是相互独立，并且一同输出，实现端到端的训练。

3.根据权利要求1所述的方法，其特征在于，步骤S2具体步骤包括：

S21、所述稠密连接采用公式x_i＝H_i([x₀，x₁，x₂，...，x_i-1])，将0至(l-1)层的特征图输出做合并，其中H_i包括批归一化、激励层和3x3卷积层；

S22、进入多尺度特征金字塔分层检测网络，对不同尺度的特征金字塔结果继续做稠密连接，并融合所述不同尺度的特征金字塔给出最终检测结果；

S23、通过融合特征得到最终的面部检测与定位结果。

4.根据权利要求1所述的方法，其特征在于，步骤S3具体方法包括：

从多层金字塔检测网络得到融合特征后，如果给出的结果是面部，进行四个分支的多分类任务：

1.性别：二分类；

2.年龄：20–70之间每5年一个段，20以下一个段，70以上一个段，共14类；

3.眼镜：二分类；

4.帽子：二分类；

四个多分类任务共用同一个融合特征，仅使用四个不同的全连接进行分类，减少参数量，加速计算。

5.一种基于端到端单级多尺度检测器的面部检测分析装置，其特征在于，包括：

端到端网络架构设计模块：将驾驶员面部检测及其属性分析任务分解为面部检测、面部定位、面部属性分析三类任务，将所述三类任务进行端到端训练和检测设计；

单级多尺度检测器设计模块：采用稠密连接设计检测网络的主网络，通过融合特征得到最终的面部检测与定位结果；

面部属性分析网络设计模块：得到融合特征后，如果给出的结果是面部，共用同一个融合特征进行多分类任务。

6.根据权利要求5所述的装置，其特征在于，端到端网络架构设计模块包括：

裁剪单元：传入一张完整的图像，对整个图像进行随机裁剪；

样本判断单元：裁剪出的图片交并比IOU大于0.6，为正样本，否则为负样本；

负样本训练单元：负样本不具备定位和属性，仅用于是否为面部的二分类训练；

正样本训练单元：正样本首先进行二分类训练，然后进行回归定位训练，最后将面部图片进行属性分析训练，三者使用同样的输入但是相互独立，并且一同输出，实现端到端的训练。

7.根据权利要求5所述的装置，其特征在于，单级多尺度检测器设计模块包括：

稠密连接单元：所述稠密连接采用公式x_i＝H_i([x₀，x₁，x₂，...，x_i-1])，将0至(l-1)层的特征图输出做合并，其中H_i包括批归一化、激励层和3x3卷积层；

多尺度金字塔单元：进入多尺度特征金字塔分层检测网络，对不同尺度的特征金字塔结果继续做稠密连接，并融合所述不同尺度的特征金字塔给出最终检测结果；

结果单元：通过融合特征得到最终的面部检测与定位结果。

8.根据权利要求5所述的装置，其特征在于，面部属性分析网络设计模块包括多分类任务单元，用于：

从多层金字塔检测网络得到融合特征后，如果给出的结果是面部，进行四个分支的多分类任务：

1.性别：二分类；

2.年龄：20–70之间每5年一个段，20以下一个段，70以上一个段，共14类；

3.眼镜：二分类；

4.帽子：二分类；

四个多分类任务共用同一个融合特征，仅使用四个不同的全连接进行分类，减少参数量，加速计算。