CN108197613A - 一种基于深度卷积级联网络的人脸检测优化算法 - Google Patents

Abstract

本发明提供了一种基于深度卷积级联网络的人脸检测优化算法，具体包括如下步骤：利用深度级联网络检测出人脸可能出现的区域，也就是热区；对热区进行更新，将不在热区内的区域全部置零；把得到的整图进行数据稀疏压缩。本发明在很大程度上减少了冗余的运算量，提高了算法的运行效率。使CNN网络人脸检测算法在前端嵌入式平台上效率能提升20～30％，而且本发明的方法不会损失检测精度，为深度卷积网络在前端更快的运行提供了较好的一个解决方案，为后期网络的规模运用奠定了基础。

Description

一种基于深度卷积级联网络的人脸检测优化算法

技术领域

本发明属于自动检测技术领域，尤其是涉及一种基于深度卷积级联网络的人脸检测优化算法。

背景技术

随着深度学习技术的飞速发展,在目标检测及识别等领域都取得了很大的突破.宽而深的网络带来了较好的效果，但计算量也大得惊人，如何才能使得CNN网络能在嵌入式上运行是目前面临的一个问题。

解决此问题一般的做法是

1、设计更轻的CNN网络来减少计算量，但小的网络一般都是以牺牲精度为代价。

2、根据不同的嵌入式平台采用特有的指令来进行加速，编写调试费时费力。

3、选用带有CNN网络的硬核来实现，效率虽然不是问题,但成本相对较高。

发明内容

有鉴于此，本发明旨在提出一种基于深度卷积级联网络的人脸检测优化算法，以减少冗余计算量，提高检测率。

为达到上述目的，本发明的技术方案是这样实现的：

一种基于深度卷积级联网络的人脸检测优化算法，具体包括如下步骤：

(1)利用深度级联网络检测出人脸可能出现的区域，也就是热区；

(2)对热区进行更新，将不在热区内的区域全部置零；

(3)把得到的整图进行数据稀疏压缩。

进一步的，所述步骤(1)具体包括如下步骤：

(11)采用深度级联网络，利用第一层深度网络快速确定目标的疑似区域；

(12)金字塔类脸区域进行填充，干扰区域清零，并对填充图进行扩张；

(13)将填充后的人脸热区和原图相与，得出最终送入后续网络的人脸热区map。

进一步的，所述步骤(2)具体包括步骤：

(21)根据视频的帧号将处理帧分为奇偶两个处理分支；

(22)对奇数帧进行全图检测同时生成热区map，并将生成的热区传给偶数帧处理分支；

(23)偶数帧处理分支对热区map进行数据稀疏处理，送入CNN网络进行运算。

进一步的，所诉步骤(3)具体包括如下步骤：

(31)将金字塔图像和对应的热度图按像素相与，将非人脸区域全部归0；

(32)将生成的图转化为稀疏矩阵。

相对于现有技术，本发明所述的一种基于深度卷积级联网络的人脸检测优化算法具有以下优势：

本发明在很大程度上减少了冗余的运算量，提高了算法的运行效率。使CNN网络人脸检测算法在前端嵌入式平台上效率能提升20～30％，而且本发明的方法不会损失检测精度，为深度卷积网络在前端更快的运行提供了较好的一个解决方案，为后期网络的规模运用奠定了基础。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例所述的一种基于深度卷积级联网络的人脸检测优化算法的示意图；

图2为本发明实施例所述的人脸定位的深度网络模型结构示意图；

图3为本发明实施例所述的图像数据稀疏示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面将参考附图并结合实施例来详细说明本发明。

如图1所示，本发明提出一种基于深度卷积级联网络的人脸检测优化算法，在很大程度上大大减少了冗余计算量,提高了检测率。本发明的技术方案主要分人脸热区计算、更新及数据稀疏三个大的方面来实现。由第一层深度网络快速检测出人脸可能出现的区域即热区,并根据上述流程的方法,对热区进行更新，将不在热区内的区域全部置零，并把得到的整图进行数据稀疏压缩，减少后续网络的数据计算量.

1、热区计算：

由于采用的是深度级联网络，前层网络的作用是快速检测出类似人脸的区域，后续网络进行去除伪目标，校正目标位置。本发明正是采用了前层网络的这个特点，将热区计算分为三个步骤来实现,具体如下:

1)利用第一层深度网络快速确定目标的疑似区域，即热区。

图2为对于输入为12*12大小的3通道图像的人脸定位的深度网络模型结构,其中Conv表示卷积核得大小,MP表示卷积核移动步长,face classification表示输入的12*12大小的图像块是否是人脸,bounding box regression表示网络回归出的人脸的具***置。

以12*12作为基本单元对输入图像进行扫描,来判别每个位置是否为人脸，并回归得出模板大小人脸的坐标位置，设定一定的系数(可根据实际需要自行定义，一般在0.6～0.99之间均可，数值越大，金字塔层数越多)将图像作金字塔变换，这样可使得图像中任意大小的人脸都能遍历到模板尺度，从而实现了多尺度人脸的检测，在代码实现过程中，可采用全卷积的模式，使得计算更简单。

2)金字塔类脸区域进行填充，干扰区域清零，并对填充图进行扩张，避免由于目标运动造成的漏检。具体步骤为将face classification为1的bounding box所在的金字塔图像,进行bounding box填充,其余位置清零，为了避免目标运动造成的位置偏差，将填充图进行扩张，一般保持中心不变，填充宽高变为原bounding box的2倍既可.

3)将填充后的人脸热区和原图相与，得出最终送入后续网络的人脸热区map。

2、热区更新。

由于场景中的目标是不断运动的，且不时会有新的目标出现，为了防止发生漏检测，本发明采取了热区更新算法，对出现人脸的疑似区域进行实时更新。具体步骤如下：

1)根据视频的帧号将处理帧分为奇偶两个处理分支。

2)对奇数帧进行全图检测同时生成热区map。并将生成的热区传给偶数帧处理分支。

3)偶数帧处理分支对热区map进行数据稀疏处理，后送入CNN网络进行运算。

3、图像数据稀疏

稀疏矩阵向量乘法可在很多情况下代替稠密矩阵运算，可以大量节省内存占用，减少计算开销。矩阵向量乘法不同于矩阵和矩阵的乘法，这是完全访存密集型的计算，我们主要的优化方向是提升访存效率或减少访存开销。

其中图像数据稀疏可通过下面的示例来说明如图3所示，这里我们以三元组表示方法来表示稀疏矩阵为例，上边的稀疏矩阵可以表示为：((1,4,22),(1,7,15),(2,2,11),(3,4,-6),(4,6,39),(6,3,28))。用三元组表表示的稀疏矩阵不仅节约了空间，而且使得矩阵某些运算的时间比经典算法还少。当然稀疏矩阵的方法还有很多，可根据实际情况选择更快更好的矩阵稀疏方法。

本发明的图像数据稀疏主要有下面几步：

1)将金字塔图像和对应的热度图按像素相与，将非人脸区域全部归0。

2)并将生成的图转化为稀疏矩阵。

3)采用线性运算库,直接把稠密矩阵转换为稀疏矩阵,用于,神经网络卷积计算.其定义转换格式如下；

采用Eigen语法定义动态浮点型矩阵：并调用类函授进行稀疏转换。

Eigen::Map<const Eigen::Matrix<float,Eigen::Dynamic,Eigen::Dynamic,Eigen::RowMajor>>mat_b(B,mat_b_row,mat_b_col)；

mat_b.sparseView(0.3f)

4)CNN卷积层采用稀疏矩阵进行卷积运算，提高运算效率，这也是本方案提高效率的关键点之一。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于深度卷积级联网络的人脸检测优化算法，其特征在于：具体包括如下步骤：

(1)利用深度级联网络检测出人脸可能出现的区域，也就是热区；

(2)对热区进行更新，将不在热区内的区域全部置零；

(3)把得到的整图进行数据稀疏压缩。

2.根据权利要求1所述的一种基于深度卷积级联网络的人脸检测优化算法，其特征在于：所述步骤(1)具体包括如下步骤：

(11)采用深度级联网络，利用第一层深度网络快速确定目标的疑似区域；

(12)金字塔类脸区域进行填充，干扰区域清零，并对填充图进行扩张；

(13)将填充后的人脸热区和原图相与，得出最终送入后续网络的人脸热区map。

3.根据权利要求1所述的一种基于深度卷积级联网络的人脸检测优化算法，其特征在于：所述步骤(2)具体包括步骤：

(21)根据视频的帧号将处理帧分为奇偶两个处理分支；

(22)对奇数帧进行全图检测同时生成热区map，并将生成的热区传给偶数帧处理分支；

(23)偶数帧处理分支对热区map进行数据稀疏处理，送入CNN网络进行运算。

4.根据权利要求1所述的一种基于深度卷积级联网络的人脸检测优化算法，其特征在于：所诉步骤(3)具体包括如下步骤：

(31)将金字塔图像和对应的热度图按像素相与，将非人脸区域全部归0；

(32)将生成的图转化为稀疏矩阵。