CN111739070A - 一种基于渐进校准式网络的实时多姿态人脸检测算法 - Google Patents

Abstract

本发明属于人脸检测技术领域，具体为一种基于渐进校准式网络的实时多姿态人脸检测算法。本发明针对人脸检测时旋转和有遮挡的问题，将人脸的旋转问题分为三个阶段去解决，每一个阶段都将人脸进行一定范围的角度校准，在最后一个阶段再对校准后的人脸图像进行最终的检测和精确角度判定。本发明在CASIA‑WebFace数据集的基础上，通过遮挡物标注、人脸关键点定位、遮挡人脸合成、图像旋转等数据增强一系列过程，构造了一个旋转、有遮挡的SORF人脸数据集用于网络模型的训练及测试。本发明能够在保证检测实时性的基础上，有效地检测旋转、有遮挡的人脸，在常见的公开数据集上也取得了优异的效果。

Description

一种基于渐进校准式网络的实时多姿态人脸检测算法

技术领域

本发明属于人脸检测技术领域，具体为一种基于渐进校准式网络的实时多姿态人脸检测算法。

背景技术

随着信息化社会的日益发展,具有非接触、非侵扰、直观、简便等优点的人脸检测和识别技术，其相关产品和应用在生活中随处可见，已经成功被用于手机刷脸解锁、拍照锁定人脸、自助刷脸付款、人脸美颜等各种场景公共安防领域，摄像头监控、宾馆入住身份验证、火车站刷脸检票等应用。在实际的运用场景下，人脸的旋转和遮挡难以在采集图像的过程中避免，如拍摄设备与人脸的角度偏差会造成图像中人脸的旋转，人物的穿着(口罩、墨镜、刘海等)会造成图像中人脸的部分信息被遮挡。人脸图像的旋转和遮挡问题都会使得人脸检测效果变差。

主流的人脸检测算法都是将图像以二维像素矩阵的方式进行加工处理，将满足特定计算结果的区域判定为人脸，在检测的过程中，旋转会破坏了人脸的方位特征，遮挡则会破坏人脸的几何特征，这些都会使得检测算法无法准确、快速地对人脸进行检测判断，影响了人脸检测的效果。减小甚至消除旋转和遮挡对人脸检测算法的负面影响势在必行。解决这些问题、提高人脸检测算法的鲁棒性，有利于将人脸检测技术更好地落地并应用于真实场景下，为后续进一步的人脸相关技术应用提供更好的基础支撑，同时也为今后解决类似问题提供了一种思路，对目标检测算法的发展和应用有着深远的影响。

发明内容

本发明的目的在于提供一种基于渐进校准式网络的实时多姿态人脸检测算法，可应用于人脸检测***，以解决旋转和遮挡对人脸检测的负面影响。

本发明针对人脸检测时旋转和有遮挡的问题，将人脸的旋转问题分为三个阶段去解决，每一个阶段都将人脸进行一定范围的角度校准，在最后一个阶段再对校准后的人脸图像进行最终的检测和精确角度判定。本发明在CASIA-WebFace数据集的基础上，通过遮挡物标注、人脸关键点定位、遮挡人脸合成、图像旋转等数据增强一系列过程，构造了一个旋转、有遮挡的SORF人脸数据集用于网络模型的训练及测试。本发明能够在保证检测实时性的基础上，有效地检测旋转、有遮挡的人脸，在常见的公开数据集上也取得了优异的效果。本发明的技术方案具体介绍如下。

本发明提供一种基于渐进校准式网络的实时多姿态人脸检测算法，具体步骤如下：

1)基于CASIAWebFace数据集，先进行遮挡物标注和人脸关键点定位，然后依次遮挡人脸合成和图像旋转，构造有遮挡、旋转的人脸数据集SOR；

2)对步骤1)中获得的SOR中的图像进行处理，对得到的人脸候选框进行由粗到细三个阶段的检测，每一个阶段都将人脸进行一定范围的角度校准，在最后一个阶段再对校准后的人脸图像进行最终的检测和精确角度判定。

本发明中，步骤1)中，人脸关键点采用Dlib人脸关键点检测的方法在人脸图像上获得。

本发明中，步骤1)中，将遮挡物与人脸进行合成时，采用了薄板样条变形TPS方法对遮挡物图像进行变形，使其与需要贴图的人脸图像中的指定位置相吻合；利用非线性插值的方法填充变形后图像中的缺省值；

将遮挡物变形后，与人脸图像对应位置的图像合成如公式(10)所示。

Output＝Occlusion×Opacity+Input×(1-Opacity) (1)

其中Occlusion为遮挡物的像素值，Input为输入人脸图像的像素值，Opacity为遮挡物的透明度。

本发明中，步骤1)中，利用左右眼坐标计算人脸的初始偏转角度α，再通过旋转指定角度的方式得到带有旋转和遮挡的人脸图像；其中：左、右眼的坐标(x_i,y_i)分别进行平均后得到代表左右眼的两个点(x_L,y_L)和(x_R,y_R)，以这两个点的连线作为人脸的初始偏转角度α，如公式(11)所示：

本发明对于旋转人脸检测的问题，通过基于渐进校准式网络的深度学习模型进行解决；对于有遮挡人脸检测的问题，通过构造有遮挡人脸数据集，即扩充训练集的方式进行解决。和现有技术相比，本发明的有益效果在于：

(1)本发明提出了一种解决旋转、有遮挡人脸检测问题的方法，本发明的人脸检测在实际应用中能满足有效性、鲁棒性、实时性的要求；

(2)本发明以遮挡物合成的方式，在现有公开数据集的基础上，构造了旋转、有遮挡的人脸数据集SORF，使得用该数据集训练得到的网络模型对旋转、有遮挡的人脸具有更好的检测效果，同时对受控人脸的检测具有较好的泛化能力；

(2)提出了一种基于渐进校准式网络的旋转人脸检测方法，该方法分为多个阶段、逐步地对旋转人脸图像进行的人脸检测与角度校准，降低了对人脸进行旋转角度预测的难度，提升了人脸检测与角度校准的准确性。

(3)利用级联网络模型，由粗到精地对人脸图像进行处理，大大提升了人脸检测的效率。

附图说明

图1是本发明算法的流程框图。

图2是墨镜、口罩关键点示意图。

图3是墨镜、口罩贴图位置(蓝色为墨镜，绿色为口罩)。

图4是遮挡人脸合成示意图。

图5是旋转图像示意图。

图6是第一阶段网络结构。

图7是第二阶段网络结构。

图8是第三阶段网络结构。

图9是本发明实施例中算法人脸检测流程示意图。

具体实施方式

图1为本发明提供的一种基于渐进校准式网络的实时多姿态人脸检测算法设计的整体***流程框图。其主要包括SORF数据集构建和网络模型。

一、SORF数据集构建

本发明基于CASIAWebFace数据集，具体采用了遮挡物合成的方式，通过人脸关键点与遮挡物(墨镜、口罩)关键点定位，将墨镜、口罩与人脸进行合成，得到有遮挡的人脸图像；同时，利用人脸关键点计算人脸的初始偏转角度，再通过旋转指定角度的方式得到最终的带有旋转和遮挡的人脸图像，构建了有遮挡、旋转的人脸数据集SORF(SyntheticOccluded and Rotated Faces)。

本发明数据集构建方法包括遮挡物关键点标注、人脸关键点定位、遮挡人脸合成、图像旋转四个阶段。

1.遮挡物关键点标注

本发明墨镜和口罩为遮挡物，与人脸图像进行合成，模拟真实场景下的有遮挡人脸情况。首先在互联网上人工采集了若干单独墨镜与口罩的图片，即未穿戴在人脸上的墨镜与口罩图片，以人工标注的方式进行关键点的标注，其中墨镜选取10个点作为关键点，口罩选取12个点作为关键点，如图2所示。

2.人脸关键点定位

本发明选取了Dlib人脸关键点检测的方法，在每一张人脸图像上获得68个关键点。利用这68个关键点中的部分关键点进行计算，确定墨镜和口罩的在人脸图像中的贴图位置，如图3所示。

3.遮挡人脸合成

本发明采用了TPS(薄板样条变形)方法对遮挡物图像进行变形，使其与需要贴图的人脸图像中的指定位置相吻合。本发明利用非线性插值的方法填充变形后图像中的缺省值。

将遮挡物变形后，与人脸图像对应位置的图像合成如公式(10)所示。

Output＝Occlusion×Opacity+Input×(1-Opacity) (3)

其中Occlusion为遮挡物的像素值，Input为输入人脸图像的像素值，Opacity为遮挡物的透明度。由此可以得到合成后的遮挡人脸图像，如图4所示。

4.图像旋转

本发明利用人脸关键点进行计算，将左、右眼的坐标分别进行平均后得到代表左右眼的两个点，以这两个点的连线作为人脸的初始偏转角度，如公式(11)所示。

得到人脸的偏转角度α后，对图像进行θ-α的旋转后即可得到最终的旋转角度为θ的有遮挡人脸图像，如图5所示。

二、网络模型

本发明选择了滑动窗口的候选框采集方式在图像上采集初始的人脸候选框，采用了图像金字塔的方式，将图像缩放到不同的尺寸下，固定滑动窗口的大小，从而能够采集原图像中不同尺度的区域；选择了非极大值抑制NMS的方式对其进行整合，对采集到的大量的候选框进行预测和得分判定，在这些表示同一个检测目标的候选框中，选择得分最高的作为最终结果，舍去其余得分并非极大值的候选框。

本发明网络模型分为三个阶段，采用有粗到精的人脸检测策略。

1)第一阶段的检测网络模型采用了简单的卷积层结构，对大量的候选人脸框进行粗略的筛选，同时，对人脸候选框进行第一次角度判别，将所有人脸都校准至正脸方向(角度范围[-90°,90°])。其具体的网络参数如表1，网络结构如图6所示。

表1第一阶段网络模型参数

第一阶段网络模型的输入图像是对原图像使用滑动窗口的方式取得的，对于不同大小的滑动窗口，均将其缩放到24*24的图像大小进行处理。对于每一个滑动窗口所取得的图像，第一阶段有3个检测任务，分别是人脸/非人脸的分类、包围盒回归、旋转角度分类，如公式(1)所示。

[f,t,g]＝F₁(x) (5)

其中F₁为第一阶段的人脸检测器，f为人脸置信度得分，越高代表是人脸的概率越大，通过对f设置阈值即可以去除置信度低的候选人脸框，从而达到筛选的目的，t为表示人脸包围盒的特征向量，g为人脸方向的得分，即人脸为正脸的概率。

1)人脸/非人脸分类任务：对候选框进行人脸/非人脸的预测分类。该分类任务的损失函数使用了softmax损失函数，如公式(2)所示。

2)人脸包围盒回归任务：目标是回归精准的人脸包围盒(长宽相等的正方形)，其特征向量t由包围盒左上角坐标(a,b)和宽度w三个参数组成，其具体的计算方式如公式(3)所示。

其中带*上标的为该参数对应的真实值。

对于包围盒的特征向量t的回归任务，损失函数使用了smooth L1损失函数，如公式(4)所示

3)旋转角度分类任务：在第一阶段中，本发明将人脸的方向进行简单的二分类处理，即朝上(正脸)或朝下(倒立)，其损失函数如公式(5)所示。

根据上述三个任务的损失函数，可以得到第一阶段整个检测任务的总体损失函数如公式(6)所示

其中λ_reg和λ_cal均为用于调整各个损失函数间比重的平衡因子。

通过对这个损失函数的迭代优化，第一阶段的网络模型即可实现过滤大量非人脸窗口的功能，余下则作为此阶段输出的人脸候选框。同时，可依据人脸方向的得分g，如公式(7)所示，将此阶段的人脸角度θ₁做以下判别：

0°代表人脸朝上，180°代表人脸朝下。这样一来，只需要将判断为朝下的人脸旋转180°，则经过此阶段后的人脸将被校准至朝上，即人脸旋转角度的范围从[-180°,180°]缩小为[-90°,90°]。

2)第二阶段具体的网络参数如表2所示，网络结构如图7所示。

表2第二阶段网络模型参数

网络类型	核大小	步长	输出尺寸
				输入	/	/	24*24*3
Conv1	3*3	1	22*22*20
				MP1	3*3	2	11*11*20
Conv2	3*3	1	9*9*40
				MP2	3*3	2	4*4*40
Conv3	2*2	1	3*3*70
				FC	/	/	140

第二阶段的人脸旋转角分类为3类。由于经过第一阶段的初步校准后，人脸旋转角度范围已经是在[-90°,90°]以内，因此第二阶段再对这个角度范围进一步划分，即[-90°,45°],[-45°,45°]，[45°,90°]三个范围，对应的人脸旋转角3个分类如公式(8)所示：

其中g为经过softmax计算后的旋转角分类概率。与第一阶段类似，对于旋转角度不为0的两个分类，对人脸再次做相应的旋转校准，即对[-90°,45°]内的人脸旋转90°，对[45°,90°]内的人脸旋转-90°，这样所有的人脸都将处于[-45°,45°]的正脸角度范围内3)第三阶段将可以对这些候选人脸框进行精确的人脸检测、包围盒回归以及计算确切的人脸偏转角度。具体的网络参数如表3所示，网络结构如图8所示。

表3第三阶段网络模型参数

网络类型	核大小	步长	输出尺寸
				输入	/	/	48*48*3
Conv1	3*3	1	46*46*24
				MP1	3*3	2	23*23*24
Conv2	3*3	1	21*21*48
				MP2	3*3	2	10*10*48
Conv3	3*3	1	8*8*96
				MP3	2*2	2	4*4*96
Conv4	2*2	1	3*3*192
				FC	/	/	384

经过第三阶段网络模型对候选人脸框的处理，可以得到该阶段对旋转角度的精确预测值θ₃，再结合前两阶段的校准角度θ₁和θ₂，可以计算出人脸完整的平面旋转角度θ_RIP，如公式(9)所示。

θ_RIP＝θ₁+θ₂+θ₃ (13)

该计算方式采用了级联回归的思想，将每一阶段的计算量相叠加，得到最终的结果。本发明算法人脸检测流程如图9所示。

实施例1

本发明所使用的数据集包括了FDDB，WIDER FACE，AR及本发明构建的旋转、有遮挡人脸数据集SORF。

为了评价本发明构造的SORF数据集质量，对目前已有的SSH算法，共使用了三种不同的训练集WIDER FACE、CASIA-WebFace、SORF对目前已有的SSH算法的进行模型训练，对比其在SORF测试集及AR数据集上的检测效果，结果如表4所示。

表4SORF数据集质量评价实验：训练集对SSH算法效果影响实验(单位：％)

利用SORF训练集得到的模型在其测试集上的检测结果取得了93.5％的准确率，相比其他两组测试，分别提升了25.3％和17.9％，证明了使用SORF数据集能够有效的提升算法对于旋转、有遮挡人脸检测的鲁棒性。

在构建的SORF数据集上，本发明算法与MTCNN、SSH、PCN这些主流人脸检测算法进行了多组对比实验，每个算法的人脸检测模型均由SORF数据集中的训练集部分训练所得，且SORF的测试集与训练集没有交叉重叠。实验通过调整人脸检测时的阈值，测试了多组准确率与召回率的情况，并计算对应的F₁分数，其结果如表5所示。

表5 SORF数据集对比实验结果(单位：％)

由表中数据可以看到，本发明提出的算法在SORF数据集上的表现明显高于其它三种算法，其F₁分数相比第二名的PCN算法提升了2％至3％。这表明了本发明算法对于旋转、有遮挡人脸图像的检测相比其他算法有了显著的提升，符合其鲁棒性强的特点。

在目前两个主流的人脸检测数据集FDDB和WIDER FACE上对本发明算法和其他人脸检测算法进行对比实验，以验证其在公开数据集上是否同样具有人脸检测的有效性和鲁棒性。在FDDB数据集上的实验测试结果如表6所示，在WIDER FACE数据集上的实验测试结果如表7所示。

FDDB数据集一般用误检数(FP即为检测返回结果中，非人脸的数量)一定时，算法召回率的高低来评价算法的检测效果。WIDER FACE数据集包含了Easy、Medium、Hard三个测试集，检测难度依次提升。

表6 FDDB数据集对比实验结果(单位：％)

表7 Wider Face数据集对比实验结果(单位：％)

算法	Easy	Medium	Hard
				MTCNN	84.8	82.5	59.8
SSH	93.1	92.1	84.5
				PCN	87.2	84.6	72.1
本发明	90.8	88.6	80.5

本发明的算法在检测效果上略差于效果最好的SSH算法，但其差距并不大，基本在4％以内。这表明了本发明算法在公开数据集上虽然无法达到最优的效果，但其成绩仍然处于令人满意的范围内，与主流优秀的检测算法并无太大差距。通过这个实验，证明了本发明算法除了对旋转、有遮挡人脸的检测有着显著效果，对公开数据集中的人脸图像仍具有泛化性。

对不同人脸检测算法用3个不同尺寸的图像数据集进行了检测速度的对比实验，结果如表8所示。

表8检测速度对比实验结果

本发明提出的算法是基于PCN算法的，相较PCN而言采用了更为紧凑的角度检测范围，因此检测速度略微有所下降，仍明显快于其它算法，证明了本发明检测算法的实时性。

本发明为了寻找本发明算法在训练集、算法模型上的最优选择，提高了本发明人脸检测模型在实际应用中的效果，通过消融实验的方式，研究了网络训练集构成比例、网络第一、二阶段角度校准范围对实验结果的影响。

将SORF与CASIA-WebFace混合作为训练集，对训练集中SORF和CASIA-WebFace所占的不同比例进行了实验，测试其训练得到的模型在SORF数据集以及CASIA-WebFace数据集上的人脸检测准确率，实验结果如表9所示。

表9训练集构成比例实验结果(单位：％)

从表9中可以看到，虽然只使用SORF数据集训练得到的模型也能在无遮挡任务中取得不错的检测效果，但将SORF数据集与无遮挡的原数据集混合使用可以同时在有遮挡和无遮挡任务中取得出色的结果。通过对比训练集构成比例的影响，本发明选择了在训练集中1:1使用SORF和CASIA-WebFace数据，这样可以在略微降低对有遮挡人脸图像检测准确率的同时，较大幅度的提升对无遮挡人脸图像的检测效果。

为了探究第一、第二阶段校准的角度范围对检测结果的影响，表10中的角度范围表示该阶段所要处理的人脸旋转角度的范围，校准区间划分则表明了将待检测的角度范围划分为若干个子区间，每个子区间的角度范围。根据表10所示，共进行了4组对比实验，以第一组为例：第一阶段角度范围360°表示此阶段将会对360°范围内的人脸图像进行校准，校准区间为两个180°的区间，即人脸朝上和朝下；第二阶段的角度范围180表示此阶段将会对180°范围内的人脸图像进行校准，校准区间为三个，分别为人脸朝左的45°、朝右的45°和正脸的90°，最终将人脸都校准到正脸的角度范围内。

表10角度校准范围实验

从表中数据可以看到，当把第一阶段的区间划分得更为详细后，准确率在一定程度上得到了提升，但与此同时检测速度也出现了下降。第四组的准确率相较前三组有了显著的提升。第四组实验与前三组不同的是，前三组的第二阶段的角度校准范围都是与第一阶段校准后的相一致，但在第四组实验中，第一阶段校准后的角度范围为90°，第二阶段却依然对180°角度范围进行校准，这么做可以将第一阶段中因为处于两个区间边界处而错检的人脸进行二次检测，相当于一次纠错的过程，对准确率有不小的提升。虽然第四组实验的FPS略微有所降低，但也满足实时性的要求，在此基础上，其更高的准确率显然在实际应用中更为重要。因此本发明算法选用这一组参数用于实际的算法模型中。

Claims (6)

1.一种基于渐进校准式网络的实时多姿态人脸检测算法，其特征在于，具体步骤如下：

1)基于CASIAWebFace数据集，先进行遮挡物标注和人脸关键点定位，然后依次遮挡人脸合成和图像旋转，构造有遮挡、旋转的人脸数据集SOR；

2)对步骤1)中获得的SOR中的图像进行处理，对得到的人脸候选框进行由粗到细三个阶段的检测，每一个阶段都将人脸进行一定范围的角度校准，在最后一个阶段再对校准后的人脸图像进行最终的检测和精确角度判定。

2.根据权利要求1所述的实时多姿态人脸检测算法，其特征在于，步骤1)中，人脸关键点采用Dlib人脸关键点检测的方法在人脸图像上获得。

3.根据权利要求1所述的实时多姿态人脸检测算法，其特征在于，步骤1)中，将遮挡物与人脸进行合成时，采用了薄板样条变形TPS方法对遮挡物图像进行变形，使其与需要贴图的人脸图像中的指定位置相吻合；利用非线性插值的方法填充变形后图像中的缺省值；将遮挡物变形后，与人脸图像对应位置的图像合成如公式(10)所示。

Output＝Occlusion×Opacity+Input×(1-Opacity) (1)

其中Occlusion为遮挡物的像素值，Input为输入人脸图像的像素值，Opacity为遮挡物的透明度。

4.根据权利要求1所述的实时多姿态人脸检测算法，其特征在于，步骤1)中，利用左右眼坐标计算人脸的初始偏转角度α，再通过旋转指定角度的方式得到带有旋转和遮挡的人脸图像；其中：左、右眼的坐标(x_i,y_i)分别进行平均后得到代表左右眼的两个点(x_L,y_L)和(x_R,y_R)，以这两个点的连线作为人脸的初始偏转角度α，如公式(11)所示：

5.根据权利要求1所述的实时多姿态人脸检测算法，其特征在于，步骤2)中，对步骤1)中获得的SOR中的图像进行处理的方法如下：采用滑动窗口的候选框采集方式采集初始的人脸候选框，采用图像金字塔的方式，将图像缩放，固定滑动窗口的大小，采集原图像中不同尺度的区域；采用非极大值抑制NMS的方式进行整合，对采集到的大量的候选框进行预测和得分判定，针对同一个检测目标的候选框，选择得分最高的作为最终结果。

6.根据权利要求1所述的实时多姿态人脸检测算法，其特征在于，三个阶段的检测策略如下：

一)第一阶段，通过由输入层、卷积核大小为3*3步长为2的第一卷积层、卷积核大小为3*3步长为2的第二卷积层、卷积核大小为3*3步长为2的第三卷积层和全连接层组成的第一阶段网络模型对大量的候选人脸框进行粗略的筛选，同时对人脸候选框进行第一次角度判别，将所有人脸都校准至正脸方向，即角度范围[-90°,90°]；

第一阶段网络模型的输入图像是对原图像使用滑动窗口的方式取得的，对于每一个滑动窗口所取得的图像，第一阶段有3个检测任务，分别是人脸/非人脸的分类、包围盒回归、旋转角度分类，如公式(1)所示：

[f,t,g]＝F₁(x) (3)

其中F₁为第一阶段的人脸检测器，f为人脸置信度得分，通过对f设置阈值即可以去除置信度低的候选人脸框，t为表示人脸包围盒的特征向量，g为人脸方向的得分，即人脸为正脸的概率；

1)人脸/非人脸分类任务：对候选框进行人脸/非人脸的预测分类，该分类任务的损失函数使用了softmax损失函数，如公式(2)所示：

2)人脸包围盒回归任务：目标是回归精准的人脸包围盒，即长宽相等的正方形，其特征向量t由包围盒左上角坐标(a,b)和宽度w三个参数组成，其具体的计算方式如公式(3)所示：

其中带*上标的为该参数对应的真实值；

对于包围盒的特征向量t的回归任务，损失函数使用了smooth L1损失函数，如公式(4)所示：

3)旋转角度分类任务：在第一阶段中，将人脸的方向进行简单的二分类处理，即朝上和人脸或朝下和倒立，其损失函数如公式(5)所示：

根据上述三个任务的损失函数，得到第一阶段整个检测任务的总体损失函数如公式(6)所示：

其中λ_reg和λ_cal均为用于调整各个损失函数间比重的平衡因子；

通过对这个损失函数的迭代优化，第一阶段的网络模型即可实现过滤大量非人脸窗口的功能，余下则作为此阶段输出的人脸候选框，同时，可依据人脸方向的得分g，如公式(7)所示，将此阶段的人脸角度θ₁做以下判别：

0°代表人脸朝上，180°代表人脸朝下；

经过第一阶段，将判断为朝下的人脸旋转180°，使得人脸被校准至朝上，即人脸旋转角度的范围从[-180°,180°]缩小为[-90°,90°]；

二)第二阶段，第二阶段网络模型由输入层、卷积核大小为3*3步长为1的第一卷积层、卷积核大小为3*3步长为2的第一激活层、卷积核大小为3*3步长为1的第二卷积层、卷积核大小为3*3步长为2的第二激活层、卷积核大小为2*2步长为1的第三卷积层和全连接层组成；

第二阶段的人脸旋转角分类为3类，即[-90°,45°],[-45°,45°]，[45°,90°]三个范围，对应的人脸旋转角3个分类如公式(8)所示：

其中g_i为经过softmax计算后的旋转角分类概率；

经第二阶段，对于旋转角度不为0的两个分类，对人脸再次做相应的旋转校准，即对[-90°,45°]内的人脸旋转90°，对[45°,90°]内的人脸旋转-90°，使得所有的人脸都将处于[-45°,45°]的正脸角度范围内；

三)第三阶段，采用由输入层、卷积核大小为3*3步长为1的第一卷积层、卷积核大小为3*3步长为2的第一激活层、卷积核大小为3*3步长为1的第二卷积层、卷积核大小为3*3步长为2的第二激活层、卷积核大小为2*2步长为1的第三卷积层、卷积核大小为2*2步长为2的第三激活层、卷积核大小为2*2步长为1的第四卷积层和全连接层组成的第三阶段网络模型对候选人脸框进行精确的人脸检测、包围盒回归以及计算确切的人脸偏转角度；

经过第三阶段网络模型对候选人脸框的处理，得到该阶段对旋转角度的精确预测值θ₃，再结合前两阶段的校准角度θ₁和θ₂，计算出人脸完整的平面旋转角度θ_RIP，如公式(9)所示。

θ_RIP＝θ₁+θ₂+θ₃ (11)。

Images