CN115984934A - 人脸位姿估计模型的训练方法、人脸位姿估计方法及装置 - Google Patents

Abstract

本公开涉及人工智能领域，提供了人脸位姿估计模型的训练方法、人脸位姿估计方法及装置。该方法包括：获取人脸图像并将其输入预先构建的初始人脸位姿估计模型中，得到人脸图像的偏航角损失值、俯仰角损失值和翻滚角损失值；基于偏航角损失值、俯仰角损失值和翻滚角损失值对初始人脸位姿估计模型进行迭代训练，直至得到预设的迭代终止条件，获得最终人脸位姿估计模型。本公开提供的初始人脸位姿估计模型的网络结构具有轻量化和较强的特征提取能力，模型的推理速度快且精度高，对算力的要求不高，可以部署在算力较小的边缘端使用。

Description

人脸位姿估计模型的训练方法、人脸位姿估计方法及装置

技术领域

本公开涉及人工智能领域，尤其涉及人脸位姿估计模型的训练方法、人脸位姿估计方法及装置。

背景技术

人脸姿态估计是人脸识别***、人机交互***、门禁***及其他应用场景中非常关键的一步，良好的人脸姿态估计将有助于提高人脸识别的精确度，提升***的性能。

目前，传统的人脸位姿估计模型的计算量普遍较大，模型的推理速度较慢且精度仍较低，且对算力的要求较高，难以将模型部署在算力较小的边缘端使用。

发明内容

有鉴于此，本公开实施例提供了一种人脸位姿估计模型的训练方法、人脸位姿估计方法及装置，以解决现有的人脸位姿估计模型的计算量普遍较大，模型的推理速度较慢且精度仍较低，且对算力的要求较高，难以将模型部署在算力较小的边缘端使用的问题。

本公开实施例的第一方面，提供了一种人脸位姿估计模型的训练方法，包括：

获取人脸图像，并将人脸图像输入预先构建的初始人脸位姿估计模型中，得到人脸图像的偏航角损失值、俯仰角损失值和翻滚角损失值；

基于偏航角损失值、俯仰角损失值和翻滚角损失值对初始人脸位姿估计模型进行迭代训练，直至得到预设的迭代终止条件，获得最终人脸位姿估计模型；

其中，初始人脸位姿估计模型包括第一特征提取网络、第二特征提取网络、第三特征提取网络、特征融合网络和损失计算网络；第一特征提取网络包括第一深度可分离卷积层、第一批归一化层、第一激活函数层和第一平均池化层；第二特征提取网络包括第二深度可分离卷积层、第二批归一化层、第二激活函数层、第一注意力层和第二平均池化层；第三特征提取网络包括第三深度可分离卷积层、第三批归一化层、第三激活函数层、第二注意力层。

本公开实施例的第二方面，提供了一种人脸位姿估计方法，包括：

获取待识别人脸图像；

将待识别人脸图像输入最终人脸位姿估计模型，输出待识别人脸图像的偏航角度、俯仰角度和翻滚角度，其中，最终人脸位姿估计模型是由如第一方面的人脸位姿估计模型的训练方法训练得到的。

本公开实施例的第三方面，提供了一种人脸位姿估计模型的训练装置，包括：

获取模块，被配置为获取人脸图像，并将人脸图像输入预先构建的初始人脸位姿估计模型中，得到人脸图像的偏航角损失值、俯仰角损失值和翻滚角损失值；

训练模块，被配置为基于偏航角损失值、俯仰角损失值和翻滚角损失值对初始人脸位姿估计模型进行迭代训练，直至得到预设的迭代终止条件，获得最终人脸位姿估计模型；

其中，初始人脸位姿估计模型包括第一特征提取网络、第二特征提取网络、第三特征提取网络、特征融合网络和损失计算网络；第一特征提取网络包括第一深度可分离卷积层、第一批归一化层、第一激活函数层和第一平均池化层；第二特征提取网络包括第二深度可分离卷积层、第二批归一化层、第二激活函数层、第一注意力层和第二平均池化层；第三特征提取网络包括第三深度可分离卷积层、第三批归一化层、第三激活函数层、第二注意力层。

本公开实施例的第四方面，提供了一种人脸位姿估计装置，包括：

图像获取模块，被配置为获取待识别人脸图像；

识别模块，被配置为将待识别人脸图像输入最终人脸位姿估计模型，输出待识别人脸图像的偏航角度、俯仰角度和翻滚角度，其中，最终人脸位姿估计模型是由如第一方面的人脸位姿估计模型的训练方法训练得到的。

本公开实施例的第五方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。

本公开实施例的第六方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。

本公开实施例与现有技术相比，其有益效果至少包括：通过获取人脸图像，并将人脸图像输入预先构建的初始人脸位姿估计模型中，得到人脸图像的偏航角损失值、俯仰角损失值和翻滚角损失值；基于偏航角损失值、俯仰角损失值和翻滚角损失值对初始人脸位姿估计模型进行迭代训练，直至得到预设的迭代终止条件，获得最终人脸位姿估计模型；其中，初始人脸位姿估计模型包括第一特征提取网络、第二特征提取网络、第三特征提取网络、特征融合网络和损失计算网络；第一特征提取网络包括第一深度可分离卷积层、第一批归一化层、第一激活函数层和第一平均池化层；第二特征提取网络包括第二深度可分离卷积层、第二批归一化层、第二激活函数层、第一注意力层和第二平均池化层；第三特征提取网络包括第三深度可分离卷积层、第三批归一化层、第三激活函数层、第二注意力层。本公开提供的初始人脸位姿估计模型的网络结构具有轻量化和较强的特征提取能力，模型的推理速度快且精度高，对算力的要求不高，可以部署在算力较小的边缘端使用。

附图说明

为了更清楚地说明本公开实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本公开实施例提供的一种人脸位姿估计模型的训练方法的流程示意图；

图2是本公开实施例提供的人脸位姿估计模型的训练方法中的一种初始人脸位姿估计模型的网络结构示意图；

图3是本公开实施例提供的人脸位姿估计模型的训练方法中的一种特征融合网络的网络结构示意图；

图4是本公开实施例提供的人脸位姿估计模型的训练方法中的一种损失计算网络的网络结构示意图；

图5是本公开实施例提供的一种人脸位姿估计方法的流程示意图；

图6是本公开实施例提供的一种人脸位姿估计模型的训练装置的结构示意图；

图7是本公开实施例提供的一种人脸位姿估计装置的结构示意图；

图8是本公开实施例提供的一种电子设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本公开实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本公开的描述。

下面将结合附图详细说明根据本公开实施例的一种人脸位姿估计模型的训练方法、人脸位姿估计方法及装置。

图1是本公开实施例提供的一种人脸位姿估计模型的训练方法的流程示意图。如图1所示，该人脸位姿估计模型的训练方法包括：

步骤S101，获取人脸图像，并将人脸图像输入预先构建的初始人脸位姿估计模型中，得到人脸图像的偏航角损失值、俯仰角损失值和翻滚角损失值。

人脸图像，一般是指通过摄像装置(如单目摄像头、双目摄像头等)采集到的包含人脸的图像。

图2是本公开实施例提供的初始人脸位姿估计模型的网络结构示意图。如图2所示，该初始人脸位姿估计模型包括第一特征提取网络201(以下简称“block1”)、第二特征提取网络202(以下简称“block2”)、第三特征提取网络203(以下简称“block3”)、特征融合网络204(以下简称“Multi-features Fusion”)和损失计算网络205；第一特征提取网络201包括第一深度可分离卷积层(Depth wise Separable Conv)2011、第一批归一化层(BN)2012、第一激活函数层(激活函数Relu)2013和第一平均池化层(Average Pooling)2014；第二特征提取网络202包括第二深度可分离卷积层(Depth wise Separable Conv)2021、第二批归一化层(BN)2022、第二激活函数层(激活函数Relu)2023、第一注意力层(Transformerencoder)2024和第二平均池化层(Average Pooling)2025；第三特征提取网络203包括第三深度可分离卷积层(Depth wise Separable Conv)2031、第三批归一化层(BN)2032、第三激活函数层(激活函数Relu)2033、第二注意力层(Transformer encoder)2034。

步骤S102，基于偏航角损失值、俯仰角损失值和翻滚角损失值对初始人脸位姿估计模型进行迭代训练，直至得到预设的迭代终止条件，获得最终人脸位姿估计模型。

作为一示例，假设从安装在售楼大厅的摄像装置处采集到N张人脸图像(N为≥1的正整数)，并将这N张人脸图像输入到预先构建的初始人脸位姿估计模型中，经过第一轮训练后，输出每一张人脸图像的偏航角损失值(Loss_yaw)、俯仰角损失值(Loss_pitch)和翻滚角损失值(Loss_roll)。接着，采用经过第一轮训练后得到的偏航角损失值(Loss_yaw)、俯仰角损失值(Loss_pitch)和翻滚角损失值(Loss_roll)反向传播，去指导初始人脸位姿估计模型进一步优化，以得到更好的人脸位姿预测效果。按照上述步骤，进行第二轮训练......直至达到预设的训练轮次阈值(可以根据实际情况设置，例如，可以是50轮、60轮、70轮等)，或者是达到预设的模型精度，即视为达到预设的迭代终止条件，获得最终人脸位姿估计模型。

本公开实施例提供的技术方案，通过获取人脸图像，并将人脸图像输入预先构建的初始人脸位姿估计模型中，得到人脸图像的偏航角损失值、俯仰角损失值和翻滚角损失值；基于偏航角损失值、俯仰角损失值和翻滚角损失值对初始人脸位姿估计模型进行迭代训练，直至得到预设的迭代终止条件，获得最终人脸位姿估计模型；其中，初始人脸位姿估计模型包括第一特征提取网络、第二特征提取网络、第三特征提取网络、特征融合网络和损失计算网络；第一特征提取网络包括第一深度可分离卷积层、第一批归一化层、第一激活函数层和第一平均池化层；第二特征提取网络包括第二深度可分离卷积层、第二批归一化层、第二激活函数层、第一注意力层和第二平均池化层；第三特征提取网络包括第三深度可分离卷积层、第三批归一化层、第三激活函数层、第二注意力层。本公开提供的初始人脸位姿估计模型的网络结构具有轻量化和较强的特征提取能力，模型的推理速度快且精度高，对算力的要求不高，可以部署在算力较小的边缘端使用。

在一些实施例中，将人脸图像输入预先构建的初始人脸位姿估计模型中，得到人脸图像的偏航角损失值、俯仰角损失值和翻滚角损失值，具体包括：

利用第一特征提取网络对人脸图像进行特征提取，得到第一特征图；

将第一特征图输入第二特征提取网络中进行特征提取，得到第二特征图；

将第二特征图输入第三特征提取网络中进行特征提取，得到第三特征图；

将第二特征图和第三特征图输入特征融合网络中进行特征融合，得到融合特征图；

将融合特征图输入损失计算网络中，计算得到融合特征图的偏航角损失值、俯仰角损失值和翻滚角损失值。

结合图2，第一特征提取网络201由三个block1组成，其中，每个block1包括第一深度可分离卷积层(Depth wise Separable Conv)2011、第一批归一化层(BN)2012、第一激活函数层(激活函数Relu)2013和第一平均池化层(Average Pooling)2014。

假设输入第一特征提取网络201中的是维度为[128,128,3](H,W,C)的人脸图像f，其中，H代表图片高度，W代表图片宽度，C代表通道数；经过第一特征提取网络201对人脸图像f进行特征提取后，输出维度为[16,16,128](H,W,C)的第一特征图f1。接着，将第一特征图f1输入第二特征提取网络202中进行特征提取，得到维度为[8,8,256](H,W,C)的第二特征图f2。之后，再将第二特征图f2输入第三特征提取网络203中进行特征提取，得到维度为[4,4,512](H,W,C)的第三特征图f3。然后，将第二特征图f2和第三特征图f3输入特征融合网络204中进行特征融合，得到维度为[8,8,256](H,W,C)的融合特征图(fused feature)。最后，将融合特征图输入损失计算网络205中，计算得到该融合特征图的偏航角损失值Loss_yaw、俯仰角损失值Loss_pitch和翻滚角损失值Loss_roll。

在一些实施例中，将第一特征图输入第二特征提取网络中进行特征提取，得到第二特征图，具体包括：

将第一特征图输入第二深度可分离卷积层、第二批归一化层、第二激活函数层中进行特征提取，得到第一提取特征图；

将第一提取特征图输入第一注意力层中，得到第一提取特征图的第一全局特征信息；

将第一全局特征信息和第一提取特征图输入第二平均池化层，输出第二特征图。

结合图2，第二特征提取网络202包括两个Depth wise Separable Conv(第二深度可分离卷积层2021)+BN(第二批归一化层2022)+Relu(第二激活函数层2023)网络层，一个第一注意力层(Transformer encoder)2024和一个第二平均池化层(Average Pooling)2025。

结合上述示例，将维度为[16,16,128](H,W,C)的第一特征图f1输入第二特征提取网络202的两个Depth wise Separable Conv(第二深度可分离卷积层2021)+BN(第二批归一化层2022)+Relu(第二激活函数层2023)网络层中进行特征提取，得到维度为[16,16,256](H,W,C)的第一提取特征图。结合，将该第一提取特征图输入第一注意力层2024中，得到第一提取特征图的第一全局特征信息。之后，再将第一全局特征信息和维度为[16,16,256](H,W,C)的第一提取特征图输入到第二平均池化层2025中，输出维度为[8,8,256](H,W,C)的第二特征图f2。

在一些实施例中，将第一提取特征图输入第一注意力层中，得到第一提取特征图的第一全局特征信息，包括：

对第一提取特征图进行矩阵变换处理，得到第一变换矩阵；

将第一变换矩阵输入第一注意力层中，得到第一特征参数、第二特征参数和第三特征参数；

根据第一特征参数、第二特征参数和第三特征参数，确定第一提取特征图的第一全局特征信息。

结合上述示例，将上述维度为[16,16,256](H,W,C)的第一提取特征图进行矩阵变换处理，即采用reshape函数(reshape函数是MATLAB中将指定的矩阵变换成特定维数矩阵一种函数，且矩阵中元素个数不变，函数可以重新调整矩阵的行数、列数、维数)进行处理，得到特征维度为[16*16,256](H*W,C)的第一变换矩阵。

接着，将第一变换矩阵输入到第一注意力层2024中，得到第一特征参数W_k、第二特征参数W_q和第三特征参数W_v，并生成相应的key、query和value。key代表人脸图像f中的其他像素点，query代表人脸图像f中的当前像素点，value代表当前像素点与其他相素点之间的相似度。

令，K＝f*W_k，Q＝f*W_q，V＝f*W_v，其中，W_k∈R^C×C'，W_q∈R^C×C'，W_v∈R^C×C，对于生成的Q和K，采用下述公式(1)计算权重系数a。

C'表示Q和K的维度，K^T表示K的转置。

将上述计算得到的权重系数a代入下述公式(2)中，计算得到第一全局特征信息f^att。

f^att＝a*V                (2)。

之后，将上述计算得到的第一全局特征信息f^att和维度为[16,16,256](H,W,C)的第一提取特征图输入到第二平均池化层2025中，输出维度为[8,8,256](H,W,C)的第二特征图f2。

结合图2，第三特征提取网络203包括第三深度可分离卷积层2031(DepthwiseSeparableConv)、第三批归一化层(BN)2032、第三激活函数层(Relu)2033、第二注意力层(Transformer encoder)2034。

将上述得到的第二特征图f2输入第三特征提取网络203中，经第三深度可分离卷积层2031(DepthwiseSeparableConv)、第三批归一化层(BN)2032、第三激活函数层(Relu)2033、第二注意力层(Transformer encoder)2034进行特征提取后，得到第三特征图f3。

第一注意力层2024、第二注意力层2034的特征提取流程基本相同。

在本公开实施例中，通过在第二特征提取网络202、第三特征提取网络203中设置的第一注意力层2024、第二注意力层2034，可以有效地增强网络的特征提取能力，获得更加全面的图像特征，有利于提高后续的人脸位姿估计精确度。

在一些实施例中，特征融合网络包括上采样层、第四平均池化层、第一全连接层、第四激活函数层。

将第二特征图和第三特征图输入特征融合网络中进行特征融合，得到融合特征图，包括：

利用上采样层、第四平均池化层、第一全连接层、第四激活函数层对第三特征图进行处理，得到第四特征图；

对第四特征图和第二特征图进行融合，得到融合特征图。

图3是本公开实施例提供的一种特征融合网络204的网络结构示意图。如图3所示，该特征融合网络204包括上采样层(upsample)301、第四平均池化层(Average Pooling)302、第一全连接层(FC)303、第四激活函数层(sigmoid函数层)304。

在一些实施例中，利用上采样层、第四平均池化层、第一全连接层、第四激活函数层对第三特征图进行处理，得到第四特征图，包括：

利用上采样层对第三特征图进行处理，得到上采样特征图；

将上采样特征图输入第四平均池化层中，输出平均特征图；

将平均特征图依次输入第一全连接层、第四激活函数层，得到平均特征图的通道权重系数；

根据通道权重系数和第三特征图，计算得到第四特征图。

作为一示例，将上述得到的维度为[4,4,512](H,W,C)的第三特征图f3先输入上采样层(upsample)301中进行处理，得到维度为[8,8,256](H,W,C)的上采样特征图。然后，将上采样特征图输入第四平均池化层(Average Pooling)302中，输出平均特征图。之后，再将平均特征图依次输入第一全连接层(FC)303、第四激活函数层(sigmoid函数层)304中进行特征提取，得到该平均特征图的通道权重系数；之后，将该平均特征图的通道权重系数与第三特征图f3相乘，计算得到第四特征图f4。最后，将第四特征图f4与第二特征图f2相加，得到维度为[8,8,256](H,W,C)的融合特征图(fused feature)。

本公开实施例提供的特征融合网络，可根据不同层的特征对当前层的预测目标有着不同的重要程度或关联度，对不同层特征根据重要程度给予不同的权重系数，使融合后的特征含有更丰富的语义信息。具体的，第二特征图f2通常含有人脸图像的空间特征的低层语义信息，第三特征图f3则通常含有人脸图像的一些抽象特征的高层语义信息。通过上述方式将第二特征图f2和第三特征图f3进行融合，可以得到更丰富的语义信息，有利于提高模型的人脸位姿估计精确度。

在一些实施例中，损失计算网络包括偏航角损失计算层、俯仰角损失计算层和翻滚角损失计算层；

将融合特征图输入损失计算网络中，计算得到融合特征图的偏航角损失值、俯仰角损失值和翻滚角损失值，包括：

将融合特征图输入偏航角损失计算层中，计算得到偏航角损失值；

将融合特征图输入俯仰角损失计算层中，计算得到俯仰角损失值；

将融合特征图输入翻滚角损失计算层中，计算得到翻滚角损失值。

图4是本公开实施例提供的一种损失计算网络205的网络结构示意图。如图4所示，该损失计算网络205包括偏航角损失计算层2051、俯仰角损失计算层2052和翻滚角损失计算层2053。其中，偏航角损失计算层2051包括FC全连接层、softmax层；俯仰角损失计算层2052包括FC全连接层、softmax层；翻滚角损失计算层2053包括FC全连接层、softmax层。

作为一示例，将上述获得的融合特征图(fused feature)分别输入到偏航角损失计算层2051、俯仰角损失计算层2052和翻滚角损失计算层2053中，计算得到偏航角损失值、俯仰角损失值和翻滚角损失值。

在一些实施例中，将融合特征图输入偏航角损失计算层中，计算得到偏航角损失值，包括：

计算融合特征图的交叉熵损失值、均值损失值和方差损失值；

确定均值损失值的第一权重系数和方差损失值的第二权重系数；

根据交叉熵损失值、均值损失值、方差损失值、第一权重系数和第二权重系数，计算融合特征图的偏航角损失值。

下面以将融合特征图(fused feature)输入偏航角损失计算层2051中计算得到偏航角损失值Loss_yaw为例进行详细说明。

通过将融合特征图(fused feature)输入偏航角损失计算层2051中进行处理，并根据下述公式(3)计算得到融合特征图的交叉熵损失值L_c。

根据下述公式(4)、(5)计算得到融合特征图的均值损失值L_m。均值损失是用于惩罚估计的角度分布的均值与真实角度之间的不同。

根据下述公式(6)、(7)计算得到融合特征图的方差损失值L_v。方差损失用于惩罚估计的角度分布的方差，以获得一个集中的分布。

上式(1)～(7)中，N表示当前batch(批)的样本数，M表示类别数，y_i表示真实的偏航角度，p_ij表示经过softmax层输出的第i个样本的第j个类别的偏航角度的概率值，i表示样本索引值，j表示类别索引值，m_i表示i个样本的偏航角度分布的均值，v_i表示i个样本的偏航角度分布的方差值。

这里的类别是指将偏航角度[-90°，90°]划分为多个角度区间，例如，可以划分为[-90°，-80°]，[-80°，-70°]......[80°，90°]共18个角度区间，一个角度区间代表一个偏航角度类别(如[-90°，-80°]表示类别1，[-80°，-70°]表示类别2......[80°，90°]表示类别18)，此时，M为1,2,3,4,......18。

根据下述公式(8)计算融合特征图的偏航角损失值Loss_yaw。

Loss_{_yaw}＝L_c+α1*Lm+α2*L_v           (8)。

式(8)中，α1表示均值损失值的第一权重系数，α2表示方差损失值的第二权重系数。

当α1＝0.1，α2＝0.01时，获得最终人脸位姿估计模型对人脸位姿的估计的精确度较好。第一权重系数和第二权重系数可根据经验进行参数调整确定，在此不做具体限定。

类似的，关于融合特征图的俯仰角损失值Loss_pitch和翻滚角损失值Loss_roll的确定方式与上述融合特征图的偏航角损失值Loss_yaw的确定方式类似，故可参照上述步骤，分别将融合特征图输入俯仰角损失计算层2052和翻滚角损失计算层2053中，计算得到融合特征图的俯仰角损失值Loss_pitch和翻滚角损失值Loss_roll，具体的计算过程在此不再赘述。

本公开实施例，通过上述损失计算网络205中的偏航角损失计算层2051、俯仰角损失计算层2052和翻滚角损失计算层2053分别计算出融合特征图的偏航角损失值Loss_yaw、俯仰角损失值Loss_pitch和翻滚角损失值Loss_roll，各个角度的损失值均充分考虑到了该融合特征图的均值损失、方差损失和softmax损失，通过这三个损失值指导模型的进一步优化迭代训练，可有效地提高最终人脸位姿估计模型对人脸位姿的估计精确度，从而有利于进一步提升模型的可靠性和实用性。

图5是本公开实施例提供的一种人脸位姿估计方法的流程示意图。如图3所示，该人脸位姿估计方法包括：

步骤S501，获取待识别人脸图像。

步骤S502，将待识别人脸图像输入最终人脸位姿估计模型，输出待识别人脸图像的偏航角度、俯仰角度和翻滚角度，其中，最终人脸位姿估计模型是由上述的人脸位姿估计模型的训练方法训练得到的。

本公开实施例提供的人脸位姿估计方法，利用深度可分离卷积和注意力机制的有机结合，设计出了一种轻量并高效的特征提取网络，该特征提取网络不仅可有效地提取出人脸图像的全局信息，且对算力的要求不高，可部署在边缘端使用，模型推理速度快、精确度较高；此外，通过将均值损失、方差损失和softmax损失联合应用于人脸位姿估计模型的迭代训练，可更好地指导初始人脸位姿估计模型的网络优化，从而得到精确度更高的最终人脸位姿估计模型，进而提升最终人脸位姿估计模型的实用性和可靠性。

上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。

下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。

图6是本公开实施例提供的一种人脸位姿估计模型的训练装置的示意图。

如图6所示，该人脸位姿估计模型的训练装置包括：

获取模块601，被配置为获取人脸图像，并将人脸图像输入预先构建的初始人脸位姿估计模型中，得到人脸图像的偏航角损失值、俯仰角损失值和翻滚角损失值；

训练模块602，被配置为基于偏航角损失值、俯仰角损失值和翻滚角损失值对初始人脸位姿估计模型进行迭代训练，直至得到预设的迭代终止条件，获得最终人脸位姿估计模型；

其中，初始人脸位姿估计模型包括第一特征提取网络、第二特征提取网络、第三特征提取网络、特征融合网络和损失计算网络；第一特征提取网络包括第一深度可分离卷积层、第一批归一化层、第一激活函数层和第一平均池化层；第二特征提取网络包括第二深度可分离卷积层、第二批归一化层、第二激活函数层、第一注意力层和第二平均池化层；第三特征提取网络包括第三深度可分离卷积层、第三批归一化层、第三激活函数层、第二注意力层。

在一些实施例中，将人脸图像输入预先构建的初始人脸位姿估计模型中，得到人脸图像的偏航角损失值、俯仰角损失值和翻滚角损失值，包括：

利用第一特征提取网络对人脸图像进行特征提取，得到第一特征图；

将第一特征图输入第二特征提取网络中进行特征提取，得到第二特征图；

将第二特征图输入第三特征提取网络中进行特征提取，得到第三特征图；

将第二特征图和第三特征图输入特征融合网络中进行特征融合，得到融合特征图；

将融合特征图输入损失计算网络中，计算得到融合特征图的偏航角损失值、俯仰角损失值和翻滚角损失值。

在一些实施例中，将第一特征图输入第二特征提取网络中进行特征提取，得到第二特征图，包括：

将第一特征图输入第二深度可分离卷积层、第二批归一化层、第二激活函数层中进行特征提取，得到第一提取特征图；

将第一提取特征图输入第一注意力层中，得到第一提取特征图的第一全局特征信息；

将第一全局特征信息和第一提取特征图输入第二平均池化层，输出第二特征图。

在一些实施例中，将第一提取特征图输入第一注意力层中，得到第一提取特征图的第一全局特征信息，包括：

对第一提取特征图进行矩阵变换处理，得到第一变换矩阵；

将第一变换矩阵输入第一注意力层中，得到第一特征参数、第二特征参数和第三特征参数；

根据第一特征参数、第二特征参数和第三特征参数，确定第一提取特征图的第一全局特征信息。

在一些实施例中，特征融合网络包括上采样层、第四平均池化层、第一全连接层、第四激活函数层。

将第二特征图和第三特征图输入特征融合网络中进行特征融合，得到融合特征图，包括：

利用上采样层、第四平均池化层、第一全连接层、第四激活函数层对第三特征图进行处理，得到第四特征图；

对第四特征图和第二特征图进行融合，得到融合特征图。

在一些实施例中，利用上采样层、第四平均池化层、第一全连接层、第四激活函数层对第三特征图进行处理，得到第四特征图，包括：

利用上采样层对第三特征图进行处理，得到上采样特征图；

将上采样特征图输入第四平均池化层中，输出平均特征图；

将平均特征图依次输入第一全连接层、第四激活函数层，得到平均特征图的通道权重系数；

根据通道权重系数和第三特征图，计算得到第四特征图。

在一些实施例中，损失计算网络205包括偏航角损失计算层2051、俯仰角损失计算层2051和翻滚角损失计算层2053；

将融合特征图输入损失计算网络中，计算得到融合特征图的偏航角损失值、俯仰角损失值和翻滚角损失值，包括：

将融合特征图输入偏航角损失计算层中，计算得到偏航角损失值；

将融合特征图输入俯仰角损失计算层中，计算得到俯仰角损失值；

将融合特征图输入翻滚角损失计算层中，计算得到翻滚角损失值。

在一些实施例中，将融合特征图输入偏航角损失计算层中，计算得到偏航角损失值，包括：

计算融合特征图的交叉熵损失值、均值损失值和方差损失值；

确定均值损失值的第一权重系数和方差损失值的第二权重系数；

根据交叉熵损失值、均值损失值、方差损失值、第一权重系数和第二权重系数，计算融合特征图的偏航角损失值。

图7是本公开实施例提供的一种人脸位姿估计装置的示意图。如图7所示，该人脸位姿估计装置包括：

图像获取模块701，被配置为获取待识别人脸图像；

识别模块702，被配置为将待识别人脸图像输入最终人脸位姿估计模型，输出待识别人脸图像的偏航角度、俯仰角度和翻滚角度，其中，最终人脸位姿估计模型是由上述述的人脸位姿估计模型的训练方法训练得到的。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。

图8是本公开实施例提供的电子设备8的示意图。如图8所示，该实施例的电子设备8包括：处理器801、存储器802以及存储在该存储器802中并且可在处理器801上运行的计算机程序803。处理器801执行计算机程序803时实现上述各个方法实施例中的步骤。或者，处理器801执行计算机程序803时实现上述各装置实施例中各模块/单元的功能。

电子设备8可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备8可以包括但不仅限于处理器801和存储器802。本领域技术人员可以理解，图8仅仅是电子设备8的示例，并不构成对电子设备8的限定，可以包括比图示更多或更少的部件，或者不同的部件。

处理器801可以是中央处理单元(Central Processing Unit，CPU)，也可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

存储器802可以是电子设备8的内部存储单元，例如，电子设备8的硬盘或内存。存储器802也可以是电子设备8的外部存储设备，例如，电子设备8上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。存储器802还可以既包括电子设备8的内部存储单元也包括外部存储设备。存储器802用于存储计算机程序以及电子设备所需的其它程序和数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本公开实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围，均应包含在本公开的保护范围之内。

Claims (13)

1.一种人脸位姿估计模型的训练方法，其特征在于，包括：

获取人脸图像，并将所述人脸图像输入预先构建的初始人脸位姿估计模型中，得到所述人脸图像的偏航角损失值、俯仰角损失值和翻滚角损失值；

基于所述偏航角损失值、俯仰角损失值和翻滚角损失值对所述初始人脸位姿估计模型进行迭代训练，直至得到预设的迭代终止条件，获得最终人脸位姿估计模型；

其中，所述初始人脸位姿估计模型包括第一特征提取网络、第二特征提取网络、第三特征提取网络、特征融合网络和损失计算网络；所述第一特征提取网络包括第一深度可分离卷积层、第一批归一化层、第一激活函数层和第一平均池化层；所述第二特征提取网络包括第二深度可分离卷积层、第二批归一化层、第二激活函数层、第一注意力层和第二平均池化层；所述第三特征提取网络包括第三深度可分离卷积层、第三批归一化层、第三激活函数层、第二注意力层。

2.根据权利要求1所述的方法，其特征在于，将所述人脸图像输入预先构建的初始人脸位姿估计模型中，得到所述人脸图像的偏航角损失值、俯仰角损失值和翻滚角损失值，包括：

利用所述第一特征提取网络对所述人脸图像进行特征提取，得到第一特征图；

将所述第一特征图输入所述第二特征提取网络中进行特征提取，得到第二特征图；

将所述第二特征图输入所述第三特征提取网络中进行特征提取，得到第三特征图；

将所述第二特征图和第三特征图输入所述特征融合网络中进行特征融合，得到融合特征图；

将所述融合特征图输入所述损失计算网络中，计算得到所述融合特征图的偏航角损失值、俯仰角损失值和翻滚角损失值。

3.根据权利要求2所述的方法，其特征在于，将所述第一特征图输入所述第二特征提取网络中进行特征提取，得到第二特征图，包括：

将所述第一特征图输入第二深度可分离卷积层、第二批归一化层、第二激活函数层中进行特征提取，得到第一提取特征图；

将所述第一提取特征图输入所述第一注意力层中，得到所述第一提取特征图的第一全局特征信息；

将所述第一全局特征信息和所述第一提取特征图输入所述第二平均池化层，输出第二特征图。

4.根据权利要求3所述的方法，其特征在于，将所述第一提取特征图输入所述第一注意力层中，得到所述第一提取特征图的第一全局特征信息，包括：

对所述第一提取特征图进行矩阵变换处理，得到第一变换矩阵；

将所述第一变换矩阵输入所述第一注意力层中，得到第一特征参数、第二特征参数和第三特征参数；

根据所述第一特征参数、第二特征参数和第三特征参数，确定所述第一提取特征图的第一全局特征信息。

5.根据权利要求2所述的方法，其特征在于，所述特征融合网络包括上采样层、第四平均池化层、第一全连接层、第四激活函数层；

将所述第二特征图和第三特征图输入所述特征融合网络中进行特征融合，得到融合特征图，包括：

利用上采样层、第四平均池化层、第一全连接层、第四激活函数层对所述第三特征图进行处理，得到第四特征图；

对所述第四特征图和第二特征图进行融合，得到融合特征图。

6.根据权利要求5所述的方法，其特征在于，利用上采样层、第四平均池化层、第一全连接层、第四激活函数层对所述第三特征图进行处理，得到第四特征图，包括：

利用所述上采样层对所述第三特征图进行处理，得到上采样特征图；

将所述上采样特征图输入所述第四平均池化层中，输出平均特征图；

将所述平均特征图依次输入所述第一全连接层、第四激活函数层，得到所述平均特征图的通道权重系数；

根据所述通道权重系数和所述第三特征图，计算得到第四特征图。

7.根据权利要求2所述的方法，其特征在于，所述损失计算网络包括偏航角损失计算层、俯仰角损失计算层和翻滚角损失计算层；

将所述融合特征图输入所述损失计算网络中，计算得到所述融合特征图的偏航角损失值、俯仰角损失值和翻滚角损失值，包括：

将所述融合特征图输入所述偏航角损失计算层中，计算得到偏航角损失值；

将所述融合特征图输入所述俯仰角损失计算层中，计算得到俯仰角损失值；

将所述融合特征图输入所述翻滚角损失计算层中，计算得到翻滚角损失值。

8.根据权利要求7所述的方法，其特征在于，将所述融合特征图输入所述偏航角损失计算层中，计算得到偏航角损失值，包括：

计算所述融合特征图的交叉熵损失值、均值损失值和方差损失值；

确定所述均值损失值的第一权重系数和所述方差损失值的第二权重系数；

根据所述交叉熵损失值、均值损失值、方差损失值、第一权重系数和第二权重系数，计算所述融合特征图的偏航角损失值。

9.一种人脸位姿估计方法，其特征在于，包括：

获取待识别人脸图像；

将所述待识别人脸图像输入最终人脸位姿估计模型，输出所述待识别人脸图像的偏航角度、俯仰角度和翻滚角度，其中，所述最终人脸位姿估计模型是由如权利要求1～8任一项所述的人脸位姿估计模型的训练方法训练得到的。

10.一种人脸位姿估计模型的训练装置，其特征在于，包括：

获取模块，被配置为获取人脸图像，并将所述人脸图像输入预先构建的初始人脸位姿估计模型中，得到所述人脸图像的偏航角损失值、俯仰角损失值和翻滚角损失值；

训练模块，被配置为基于所述偏航角损失值、俯仰角损失值和翻滚角损失值对所述初始人脸位姿估计模型进行迭代训练，直至得到预设的迭代终止条件，获得最终人脸位姿估计模型；

其中，所述初始人脸位姿估计模型包括第一特征提取网络、第二特征提取网络、第三特征提取网络、特征融合网络和损失计算网络；所述第一特征提取网络包括第一深度可分离卷积层、第一批归一化层、第一激活函数层和第一平均池化层；所述第二特征提取网络包括第二深度可分离卷积层、第二批归一化层、第二激活函数层、第一注意力层和第二平均池化层；所述第三特征提取网络包括第三深度可分离卷积层、第三批归一化层、第三激活函数层、第二注意力层。

11.一种人脸位姿估计装置，其特征在于，包括：

图像获取模块，被配置为获取待识别人脸图像；

识别模块，被配置为将所述待识别人脸图像输入最终人脸位姿估计模型，输出所述待识别人脸图像的偏航角度、俯仰角度和翻滚角度，其中，所述最终人脸位姿估计模型是由如权利要求1～8任一项所述的人脸位姿估计模型的训练方法训练得到的。

12.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至9中任一项所述方法的步骤。

13.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述方法的步骤。

Images