CN110633665A - 识别方法、设备和存储介质 - Google Patents

Abstract

本申请实施例公开了一种识别方法、设备和存储介质，所述方法包括：获得至少两张人脸图像；针对所述至少两张人脸图像中的各个人脸图像，获得所述人脸图像的至少一个通道图像；基于所述至少一个通道图像，获得所述人脸图像的通道注意力图和空间注意力图，其中所述通道注意力图至少表征为人脸目标区的图像，所述空间注意力图至少表征为目标区在人脸图像中的位置；基于所述人脸图像的空间注意力图，获得所述人脸图像的特征图；基于各个人脸图像的特征图，对人脸的疲劳状态进行识别。

Description

识别方法、设备和存储介质

技术领域

本申请涉及图像处理技术，具体涉及一种识别方法、设备和存储介质。

背景技术

相关技术中，为检测在疲劳状态下车辆驾驶存在安全性不足的问题，可通过人脸图像进行人的疲劳状态的识别。识别方案多数按照如下的三个步骤进行：采集人脸图像，对人脸图像的特定区域如人眼等进行识别，判断疲劳状态。其中，为保证识别准确性，通常选择多个特定区域，通过人眼、嘴巴、眉毛等图像区域的结合来判断疲劳状态。而在实际应用中，考虑到不同个体如司机的五官存在差异，自然地，疲劳状态也随之存在差异，可见相关技术中的识别疲劳状态的方法的准确性还有待提高。

发明内容

为解决现有存在的技术问题，本申请实施例提供一种识别方法，至少能够提高对疲劳状态的检测准确性。

本申请实施例的技术方案是这样实现的：

本申请实施例提供一种识别方法，所述方法包括：

获得至少两张人脸图像；

针对所述至少两张人脸图像中的各个人脸图像，

获得所述人脸图像的至少一个通道图像；

基于所述至少一个通道图像，获得所述人脸图像的通道注意力图和空间注意力图，其中所述通道注意力图至少表征为人脸目标区的图像，所述空间注意力图至少表征为目标区在人脸图像中的位置；

基于所述人脸图像的空间注意力图，获得所述人脸图像的特征图；

基于各个人脸图像的特征图，对人脸的疲劳状态进行识别。

前述方案中，所述基于各个人脸图像的特征图，对人脸的疲劳状态进行识别，包括：

基于各个人脸图像的特征图，获得相邻图像间的上下文信息，所述上下文信息表征为在图像上人脸目标区的变化；

依据上下文信息，获得人脸为疲劳状态的第一概率值和/或人脸为非疲劳状态的第二概率值；

依据第一概率值和/或第二概率值，对人脸的疲劳状态进行识别。

前述方案中，所述基于所述至少一个通道图像，获得所述人脸图像的通道注意力图和空间注意力图，包括：

基于所述人脸图像的至少一个通道图像，获得所述人脸图像的通道注意力图；

基于所述人脸图像的通道注意力图，获得所述人脸图像的空间注意力图；

基于所述人脸图像的空间注意力图，获得所述人脸图像的特征图。

前述方案中，所述方法包括：

获得所述人脸图像的三个通道图像；

对所述通道图像进行第一压缩，得到两个第一目标图像，所述第一压缩为在空间维度上进行图像的压缩；

基于至少两个第一目标图像，获得各个通道图像的权重参数；

基于所述人脸图像的各个通道图像及所述各个通道图像的权重参数，得到人脸图像的通道注意力图。

前述方案中，所述基于所述人脸图像的通道注意力图，获得所述人脸图像的空间注意力图，包括：

将所述通道注意力图进行第二压缩，得到两个第二目标图像，所述第二压缩为在通道维度上进行图像的压缩；

基于至少两个第二目标图像，获得所述第二目标图像的权重参数；

根据所述第二目标图像和所述权重参数，得到所述人脸图像的空间注意力图。

前述方案中，所述通道图像为所述人脸图像在N个卷积层中的至少两个层中各个层的通道图像，其中N为大于等于2的正整数；

相应的，所述基于所述至少一个通道图像，获得所述人脸图像的通道注意力图和空间注意力图，基于所述人脸图像的空间注意力图，获得所述人脸图像的特征图，包括：

基于相应层的通道图像，获得所述人脸图像在所述相应层的通道注意力图和空间注意力图；

基于所述人脸图像在所述相应层的空间注意力图，获得所述人脸图像在所述相应层的特征图。

前述方案中，所述方法还包括：

基于各个人脸图像在所述至少两个层中各个层的特征图，得到各个人脸图像的特征图。

前述方案中，所述依据第一概率值和/或第二概率值，对人脸的疲劳状态进行识别，包括：

在第一概率值大于第二概率值的情况下，确定为疲劳状态；

在第一概率值小于第二概率值的情况下，确定为非疲劳状态。

本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现前述方法的步骤。

本申请实施例提供一种图像处理设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行前述方法的步骤。

本申请实施例的识别方法、设备和存储介质，所述方法包括：获得至少两张人脸图像；针对所述至少两张人脸图像中的各个人脸图像，获得所述人脸图像的至少一个通道图像；基于所述至少一个通道图像，获得所述人脸图像的通道注意力图和空间注意力图，其中所述通道注意力图至少表征为人脸目标区的图像，所述空间注意力图至少表征为目标区在人脸图像中的位置；基于所述人脸图像的空间注意力图，获得所述人脸图像的特征图；基于各个人脸图像的特征图，对人脸的疲劳状态进行识别。

本申请实施例中结合通道信息和空间特性，从人脸图像的通道信息和空间特性这两个角度出发得到人脸图像的特征图，使得特征图更为准确，至少可提高疲劳状态的识别准确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请提供的识别方法的第一实施例的实现流程示意图；

图2为本申请提供的识别方法的第二实施例的实现流程示意图；

图3为本申请提供的识别方法的第三实施例的实现流程示意图；

图4为本申请提供的识别方法的第四实施例的实现流程示意图；

图5为本申请提供的CBAM注意力模块实施例的工作原理示意图；

图6为本申请提供的识别设备实施例的硬件构成示意图；

图7为本申请提供的识别设备实施例的组成结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚明白，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请提供的识别方法的第一实施例，应用于识别设备，如图1所示，所述方法包括：

步骤(S)101：获得至少两张人脸图像；

本步骤中，采集两张及以上的人脸图像。

S102：针对所述至少两张人脸图像中的各个人脸图像，获得所述人脸图像的至少一个通道图像；

S103：基于所述至少一个通道图像，获得所述人脸图像的通道注意力图和空间注意力图，其中所述通道注意力图至少表征为人脸目标区的图像，所述空间注意力图至少表征为目标区在人脸图像中的位置；

S104：基于所述人脸图像的空间注意力图，获得所述人脸图像的特征图；

S105：基于各个人脸图像的特征图，对人脸的疲劳状态进行识别。

执行步骤101～105的实体为识别设备。其中，步骤102～104为对步骤101获得至少两张人脸图像中的各个人脸图像进行的操作以获得各个人脸图像的特征图的过程；步骤105可基于步骤101获得的各个人脸图像的特征图对疲劳状态进行识别。

本领域技术人员应该而知，人脸图像按照图像属性如图像色彩可进行通道图像的划分，不同的通道图像(通道信息)一般代表着人脸图像的不同的特征信息。本申请实施例中，基于人脸图像的通道图像进行人脸图像的特征图的获取，可保证特征图获取的准确性。此外，视人眼、嘴巴等特定区域为人脸目标区，人眼、嘴巴等特定区在人脸图像中的位置视为空间特性，则本申请实施例中结合通道信息和空间特性，从人脸图像的通道信息和空间特性这两个角度出发得到人脸图像的特征图，使得特征图更为准确，进而可提高疲劳状态的识别准确性。

对于前述的人脸图像按照图像属性如图像色彩可进行通道图像的划分，举个例子，如按照RGB(红绿蓝)的色彩属性可将人脸图像划分为R通道图像、G通道图像和B通道图像，不同的通道图像代表着人脸图像在红、绿、蓝不同色彩上的特征。

本申请提供的识别方法的第二实施例，应用于识别设备，如图2所示，所述方法包括：

S201：获得至少两张人脸图像；

本步骤中，采集两张及以上的人脸图像。

S202：针对所述至少两张人脸图像中的各个人脸图像，获得所述人脸图像的至少一个通道图像；

S203：基于所述至少一个通道图像，获得所述人脸图像的通道注意力图和空间注意力图，其中所述通道注意力图至少表征为人脸目标区的图像，所述空间注意力图至少表征为目标区在人脸图像中的位置；

S204：基于所述人脸图像的空间注意力图，获得所述人脸图像的特征图；

S205：基于各个人脸图像的特征图，获得相邻图像间的上下文信息，所述上下文信息表征为在图像上人脸目标区的变化；

S206：依据上下文信息，获得人脸为疲劳状态的第一概率值和/或人脸为非疲劳状态的第二概率值；

S207：依据第一概率值和/或第二概率值，对人脸的疲劳状态进行识别。

执行步骤201～207的实体为识别设备。

本申请实施例中，从人脸图像的通道信息和空间特性这两个角度出发得到人脸图像的特征图，使得获得的特征图更为准确，进而可提高疲劳状态的识别准确性。此外，不仅仅基于单个人脸图像的特征，还考虑到了相邻图像之间的关联，基于相邻图像间的上下文信息如相邻图像之间人脸目标区的变化情况进行疲劳状态的识别，可进一步保证疲劳状态识别的准确性，也可实现对驾驶员状态的高精度识别。

作为一种实现方式，步骤207也即所述依据第一概率值和/或第二概率值，对人脸的疲劳状态进行识别，可以为：在第一概率值大于第二概率值的情况下，确定为疲劳状态；在第一概率值小于第二概率值的情况下，确定为非疲劳状态。基于第一和第二概率值间的大小关系确定是否为疲劳状态，可保证识别准确性的同时，在工程上带来了易于实现的有益效果。

在前述的识别方法的第一实施例和/或第二实施例中，如图3所示，所述基于所述至少一个通道图像，获得所述人脸图像的通道注意力图和空间注意力图，为：

S301：基于所述人脸图像的至少一个通道图像，获得所述人脸图像的通道注意力图；

S302：基于所述人脸图像的通道注意力图，获得所述人脸图像的空间注意力图；

S303：基于所述人脸图像的空间注意力图，获得所述人脸图像的特征图。

执行步骤301～303的实体为识别设备。在前述步骤中，先计算人脸图像的通道注意力图，再依据通道注意力图计算空间注意力图，并得到人脸图像的特征图。从人脸图像的通道信息和空间特性这两个角度出发进行疲劳状态的识别，可进一步提高疲劳状态的识别准确性和精度。

作为一种具体实现方式，基于前述的步骤301～303，所述方法还包括：

获得所述人脸图像的三个通道图像；对所述三个通道图像进行第一压缩，得到两个第一目标图像，所述第一压缩为在空间维度上进行图像的压缩；基于至少两个第一目标图像，获得各个通道图像的权重参数；基于所述人脸图像的各个通道图像及所述各个通道图像的权重参数，得到人脸图像的通道注意力图。此处，在将人脸图像进行通道图像的划分后，基于被空间压缩后的通道图像，得到各个通道图像的权重参数，对通道图像进行权重的分配，经过前述的方案相当于将有用的通道图像(含有目标区的通道图像)进行突显，淡化无用的通道图像的作用。

作为一种具体实现方式，基于前述的步骤301～303，所述基于所述人脸图像的通道注意力图，获得所述人脸图像的空间注意力图，可以为：

将所述通道注意力图进行第二压缩，得到两个第二目标图像，所述第二压缩为在通道维度上进行图像的压缩；基于至少两个第二目标图像，获得所述第二目标图像的权重参数；根据所述第二目标图像和所述权重参数，得到所述人脸图像的空间注意力图。此处，基于被进行通道维度的压缩后的(第二)目标图像，得到(第二)目标图像的权重参数，并获得人脸图像的空间注意力图，经过前述的方案相当于将有用的通道图像中人眼、嘴巴等特定区域在人脸图像中的位置进行突显，淡化对疲劳状态检测用途不大的图像区域如鼻子、耳朵等区域的位置。

在前述方案中，所述通道图像为所述人脸图像在N个卷积层中的至少两个层中各个层的通道图像，其中N为大于等于2的正整数；

相应的，所述基于所述至少一个通道图像，获得所述人脸图像的通道注意力图和空间注意力图，基于所述人脸图像的空间注意力图，获得所述人脸图像的特征图，包括：

基于相应层的通道图像，获得所述人脸图像在所述相应层的通道注意力图和空间注意力图；基于所述人脸图像在所述相应层的空间注意力图，获得所述人脸图像在所述相应层的特征图；基于各个人脸图像在所述至少两个层中各个层的特征图，得到各个人脸图像的特征图以基于各个人脸图像的特征图对人脸的疲劳状态进行识别。

本领域技术人员应该而知，卷积层可用于求取人脸图像的特征图，不同的卷积层得到人脸图像的不同特征信息，如低卷积层用于求取人脸的轮廓位置、边缘位置等低层信息，高卷积层用于求取人脸的轮廓细节、边缘细节等高层信息，本申请实施例中在N个卷积层的部分卷积层中从人脸图像的通道信息和空间特性这两个角度出发进行疲劳状态的识别，可保证识别准确性的同时。由于采用卷积层进行特征图的提取还可保证鲁棒性。

下面结合附图4和图5及具体实施例对本申请作进一步详细的说明。

本申请实施例中，为保证对识别疲劳状态的准确性和鲁棒性，采用基于注意力(Convolutional Block Attention Module，CBAM)的卷积神经网络和双向门控循环单元(Gated Recurrent Unit，GRU)模型进行驾驶员的疲劳状态的检测。

本领域技术人员应该而知，基于CBAM的卷积神经网络可视为内嵌有CBAM注意力模块的卷积神经网络，至少包括CBAM注意力模块和卷积神经网络。其中，卷积神经网络至少包括多个卷积层、全连接层和输出层。CBAM注意力模块提供的注意力机制能够将更多的精力关注到值得关注的地方。在人脸图像中值得关注的地方为人眼、嘴巴等对疲劳状态的识别有帮助的区域。进一步的，本申请实施例中的CBAM注意力模块包括通道注意力模块和空间注意力模块。通道注意力模块用于区分输入的多个通道图像中哪些通道图像值得关注，哪些通道图像需要淡化对其的关注。空间注意力模块用于确定出人眼、嘴巴等对疲劳状态检测有帮助的区域在值得关注的通道图像中的位置。本申请实施例中，基于CBAM的卷积神经网络，先利用CBAM注意力模块将值得关注的通道图像确定出，再将人眼、嘴巴等对疲劳状态检测有帮助的区域在值得关注的通道图像中的位置确定出，并基于CBAM注意力模块的如上确定结果输入至卷积层进行人脸图像的特征提取，相当于在输入卷积层之间先通过CBAM注意力模块将人脸图像中的有用信息进行提取，卷积层利用该提取的有用信息进行人脸图像的特征提取，进而可保证特征图的准确性，基于该特征图进行疲劳状态识别的准确性也被提高。

如图4所示，本申请实施例的基于CBAM的卷积神经网络和双向门控循环单元(Gated Recurrent Unit，GRU)模型进行驾驶员的疲劳状态的检测的主要过程如下所述：

步骤401：通过图像采集装置对驾驶员脸部图像进行拍摄，得到人脸视频；

本步骤中，所述图像采集装置可以是任何能够采集到脸部图像的装置如红外相机、鱼眼相机、平面相机、深度相机等。本申请实施例中，利用红外相机对驾驶员的脸部进行拍摄。在实际应用中，可采用3.5mm(毫米)焦距、60度视角的红外相机进行驾驶员脸部图像的拍摄。考虑到在实际应用中红外相机可在白天、也可在黑天进行脸部图像的拍摄。为满足夜间拍摄的需求，本申请实施例中的红外相机需额外搭配850nm(纳米)的红外光源进行补光，同时使用850nm的窄带滤光片减少其他波长光线的干扰。对红外相机的这种设计可保证脸部图像的拍摄清晰性和准确性，可为后续方案提供清晰和准确的人脸图像，可提高鲁棒性。

步骤402：从人脸视频中进行多张人脸图像的采集，得到人脸图像序列；

本步骤中，从人脸视频中随机读取一定时长内的人脸视频，对该一定时长内的人脸视频按照一定采集频率进行人脸图像的采集，如对30s内的人脸视频进行12帧/秒的采集频率的采集，得到30s×12帧/秒＝360张人脸图像。可以理解，本申请实施例中为顺序采集，可按照时间信息将采集到的360张人脸图像组成人脸图像序列。

步骤403：将人脸图像序列中的各个人脸图像输入至基于CBAM的卷积神经网络，得到人脸图像序列的特征向量；

本申请实施例中的卷积神经网络采用深度卷积神经网络，共包括有10层，其中卷积层为7层，全连接层为2层，输出层为1层。本领域技术人员可以理解，7层卷积层中的各个卷积层依次连接，第7层卷积层、2个全连接层、输出层依次连接。其中，可以理解在深度卷积神经网络中卷积层的作用在于求取特征图。如，低卷积层用于求取人脸的轮廓位置、边缘位置等低层信息，高卷积层用于求取人脸的轮廓细节、边缘细节等高层信息。本申请实施例中的卷积层使用的卷积核的大小和数量可以为任何合理的数值。例如，7个卷积层依次使用30、60、120、240、240、480、960个卷积核，卷积核大小分别为16*16、12*12、9*9、7*7、5*5、3*3、2*2。考虑到计算复杂度，本申请实施例中还需要在第1、2、3、5卷积层之后接入一个最大池化层，用以降低数据的维度，以避免计算量过大。

本申请实施例中，在第1、2、4、7层卷积层进行卷积之前，加入CBAM注意力模块。CBAM注意力模块包括通道注意力模块和空间注意力模块。以在第1层卷积层进行卷积之前先经过CBAM注意力模块的处理为例进行说明：将人脸图像序列中的任意一个人脸图像按照R、G、B分量划分得到三个通道图像，通道图像可用矩阵F来表示，其维度为H×W×C来表示。其中，H和W表示为空间维度的参数，H表示为通道图像的长，W表示为通道图像的高；C表征为通道维度的参数，取值为通道图像的数量，此处C＝3。CBAM注意力模块的工作原理如图5所示。在CBAM注意力模块中，需要将三个通道图像先经过通道注意力模块的处理，从三个通道图像中挑选出值得关注的通道图像和需要淡化对其关注的通道图像。具体的，

将三个通道图像进行空间维度上的压缩，具体是进行空间的全局平均池化和最大池化，各得到一个1×1×C的图像(第一目标图像)。再将这两个经过空间维度压缩的第一目标图像送入至两层全连接的神经网络中。本领域技术人员应该而知，第一目标图像和第二目标图像作为两层全连接神经网络的输入，每个输入均与全连接神经网络的两层中第一层的各个神经元(作为节点)进行连接，第一层的各个神经元的输出作为第二层神经元的输入，与第二层的各个神经元进行连接，每个连接都有一个权重参数，并采用逻辑函数-Sigmoid函数作为激活函数。可以理解，将经过空间维度压缩的两个第一目标图像送入至两层全连接的神经网络中，相当于对三个通道图像进行权重参数的分配。经过两层全连接神经网络的自动学习，可以为三个通道图像中值得关注的图像分配较大的权重参数，为需要淡化对其关注的图像分配较小的权重参数。其中，值得关注的图像通常是三个通道图像中具有有用信息多的图像如含有人眼、嘴巴等特定区域较多的图像，需要淡化对其关注的通道图像往往包括的有用信息较少。在全连接神经网络中，对各个通道图像的权重参数的分配需要遵守为各个通道图像分配的权重参数之和为1的约束条件。假定经过两层全连接神经网络的自动学习，得到的权重参数为Mc矩阵，则将其与矩阵F相乘即可得到通道注意力图F1。可以理解，Mc矩阵与矩阵F相乘，相当于将三个通道图像中各个通道图像与各自的权重参数进行相乘，包含更多有用信息的通道图像对应的权重较大，从而在通道注意力图对包含更多有用信息的通道图像进行了突显，对包含有用信息较少的通道图像进行了淡化。

在经过通道注意力模块的处理之后，需要经过空间注意力模块的处理。进一步的，将通道注意力图F1进行通道维度上的压缩，具体的，将F1进行平均池化和最大池化操作，得到两个H×W×1的图像(第二目标图像)，并将这两个图像进行拼接。拼接后的图像经过激活函数为Sigmoid卷积核为5×5的卷积层的处理，得到权重系数Ms矩阵。权重系数Ms和矩阵F1相乘即可得到空间注意力图F2。空间注意力图F2相当于从空间特性上将通道图像中的各个坐标点的位置进行确定，在值得关注的通道图像中值得关注的坐标点如人眼、嘴巴等特定区域的坐标点其权重参数通常较大，不值得关注的坐标点如人脸背景的坐标点的权重参数通常较小。可以理解，在前述的经过通道注意力模块的处理得到的F1中已经对包含更多有用信息的通道图像利用较大的权重参数进行了突显，再经过空间注意力模块的处理，相当于对在包含更多有用信息的通道图像中对疲劳状态检测有帮助的如人眼、嘴巴等特定区域进行位置的确定。在经过如上处理后，将空间注意力图F2输入至第1个卷积层中进行卷积处理，得到人脸图像在该层的特征图。

以上描述的内容为以第1个卷积层进行卷积之前加入CBAM注意力模块为例，对其它加入有CBAM注意力模块的其它卷积层如第2、4、7个卷积层的处理可参见前述对第1个卷积层加入有CBAM注意力模块的过程，具体不赘述。值得说明的是，针对在第1个卷积层之前加入的CBAM注意力模块，其输入F为采集的(原始)人脸图像的三通道分量。而在第2、4、7个卷积层之前加入的CBAM注意力模块，由于在第2、4、7个卷积层之前已经存在有卷积层，该卷积层进行了相应层的特征图的提取，所以其输入为人脸图像的特征图的三通道分量。

针对人脸图像序列中的各个人脸图像，进行以上7个卷积层的依次处理，得到各个人脸图像的特征图，将各个人脸图像的特征图输入至全连接层，经输出层的输出得到各个人脸图像的特征向量。假定全连接层采用1024个神经元，则输出层的输出矩阵Fa，其维度为360×1024。采集到的360张人脸图像的各个人脸图像经过如上部分卷积层嵌入有CBAM注意力模块的深度卷积神经网络的处理，得到每张人脸图像的1024个特征向量。

前述方案中，基于CBAM的深度卷积神经网络，先利用CBAM注意力模块从多个通道图像中将值得关注的通道图像筛选出，再将人眼、嘴巴等对疲劳状态检测有帮助的区域在值得关注的通道图像中的位置确定出，并基于CBAM注意力模块的如上确定结果输入至卷积层进行人脸图像的特征提取，相当于在输入卷积层之间先通过CBAM注意力模块将人脸图像中的有用信息进行提取，卷积层利用该提取的有用信息再进行人脸图像的特征提取，进而可保证特征图的准确性，基于该特征图进行疲劳状态识别的准确性也被提高。

步骤404：人脸图像序列的特征向量输入至GRU模型，进而得到针对采集到的人脸图像序列进行疲劳状态的识别结果。

本领域技术人员应该而知，GRU模型是长短期记忆网络LSTM(Long Short-TermMemory)的一个变形，用于预测在时间上中各个事件之间的关联性。本申请实施例中，人脸图像序列中的各个人脸图像按照时间进行排序，将人脸图像序列中的各个人脸图像逐一输入至GRU模型中，可得到相邻两张人脸图像之间的上下文信息。例如，根据人眼区域从相邻两张图像中的第1张人脸图像至第2张人脸图像中的变化如从在第1张图像中的睁开到第2张图像中的闭合，确定人眼在该相邻两张图像中进行了眨眼操作。还根据嘴巴区域在第1张图像中的张开到第2张图像中的闭合，确定嘴巴在该相邻两张图像中进行了张嘴和闭合。本申请实施例中的GRU模型预先训练有在疲劳状态下对疲劳状态检测有帮助的人脸区域如人眼、嘴巴等区域的图像变化和在非疲劳状态下的这些区域的图像变化，GRU模型中基于上下文信息和预先训练好的信息，针对采集到的360张人脸图像，利用归一化指数函数(softmax)函数计算人脸为疲劳状态的概率和非疲劳状态的概率。假定计算出为疲劳状态的概率值为第一概率值、为非疲劳状态的概率为第二概率值，比较第一概率值和第二概率值的大小，选取取值较大的概率值作为比较结果。具体的，在第一概率值大于第二概率值的情况下，确定为基于采集到的360张人脸图像判断出人脸为疲劳状态；在第一概率值小于第二概率值的情况下，确定为基于采集到的360张人脸图像判断出人脸为非疲劳状态，进而基于采集到的360张人脸图像实现对疲劳状态的识别。

前述方案中，以深度卷积神经网络包括10层，卷积层为7层，在第1、2、4、7层卷积层进行卷积之前加入CBAM注意力模块为例，可以理解，深度卷积神经网络可以为任何合理的层，如30层、45层，其中卷积层也可以为任何合理的层数如21层。CBAM注意力模块可以加入至任何一个合理的卷积层之前。对此不做具体限定。可以根据实际情况而灵活设定。前述方案中的GRU模型可以为单向的GRU模型还可以为双向GRU模型，对此不做具体赘述。

前述方案中，利用基于CBAM的卷积神经网络和GRU模型进行驾驶员的疲劳状态的检测，在卷积神经网络中的至少部分卷积层之前先通过CBAM注意力模块将人脸图像中的有用信息进行提取，再通过卷积层进行人脸图像的特征提取，进而可保证特征图的准确性，基于该特征图进行疲劳状态识别的准确性也被提高。此外，使用CBAM注意力模块的卷积神经网络，可以更好的自动学习到更多的图像特征，关注图像的特定区域，比如驾驶员的眼睛和嘴巴这些区域。CBAM注意力模块为轻量型模型，几乎不会带来太大的资源上的消耗。在不会消耗大多计算资源的情况下即可得到准确的识别结果。此外，使用GRU模型进行疲劳状态的判断，基于人脸图像序列可以更好的挖掘出不同人脸图像之间的关系，基于不同人脸图像之间的上下文信息进行疲劳状态的识别，可提高识别精度。利用卷积神经网络进行识别可提高鲁棒性。

本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时至少用于执行图1至图5任一所示方法的步骤。所述计算机可读存储介质具体可以为存储器。所述存储器可以为如图6所示的存储器62。

本申请实施例还提供了一种识别设备。图6为本申请实施例的识别设备的硬件结构示意图，如图6所示，识别设备包括：用于进行数据传输的通信组件63、至少一个处理器61和用于存储能够在处理器61上运行的计算机程序的存储器62。终端中的各个组件通过总线***64耦合在一起。可理解，总线***64用于实现这些组件之间的连接通信。总线***64除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图6中将各种总线都标为总线***64。

其中，所述处理器61执行所述计算机程序时至少执行图1至图5任一所示方法的步骤。

可以理解，存储器62可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本申请实施例描述的存储器62旨在包括但不限于这些和任意其它适合类型的存储器。

上述本申请实施例揭示的方法可以应用于处理器61中，或者由处理器61实现。处理器61可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器61中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器61可以是通用处理器、DSP，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器61可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器62，处理器61读取存储器62中的信息，结合其硬件完成前述方法的步骤。

在示例性实施例中，识别设备可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、FPGA、通用处理器、控制器、MCU、微处理器(Microprocessor)、或其他电子元件实现，用于执行前述的识别方法。

本申请实施例提供一种识别设备，如图7所示，包括：第一获得单元701、第二获得单元702、第三获得单元703、第四获得单元704和识别单元705；其中，

第一获得单元701，用于获得至少两张人脸图像；

第二获得单元702，用于针对所述至少两张人脸图像中的各个人脸图像，获得所述人脸图像的至少一个通道图像；

第三获得单元703，用于基于所述至少一个通道图像，获得所述人脸图像的通道注意力图和空间注意力图，其中所述通道注意力图至少表征为人脸目标区的图像，所述空间注意力图至少表征为目标区在人脸图像中的位置；

第四获得单元704，用于基于所述人脸图像的空间注意力图，获得所述人脸图像的特征图；

识别单元705，用于基于各个人脸图像的特征图，对人脸的疲劳状态进行识别。

在一个可选的实施例中，所述识别单元705，用于基于各个人脸图像的特征图，获得相邻图像间的上下文信息，所述上下文信息表征为在图像上人脸目标区的变化；依据上下文信息，获得人脸为疲劳状态的第一概率值和/或人脸为非疲劳状态的第二概率值；依据第一概率值和/或第二概率值，对人脸的疲劳状态进行识别。

在一个可选的实施例中，第三获得单元703，用于基于所述人脸图像的至少一个通道图像，获得所述人脸图像的通道注意力图；基于所述人脸图像的通道注意力图，获得所述人脸图像的空间注意力图；基于所述人脸图像的空间注意力图，获得所述人脸图像的特征图。进一步的，所述第三获得单元703，用于获得所述人脸图像的三个通道图像；对所述通道图像进行第一压缩，得到两个第一目标图像，所述第一压缩为在空间维度上进行图像的压缩；基于至少两个第一目标图像，获得各个通道图像的权重参数；基于所述人脸图像的各个通道图像及所述各个通道图像的权重参数，得到人脸图像的通道注意力图；将所述通道注意力图进行第二压缩，得到两个第二目标图像，所述第二压缩为在通道维度上进行图像的压缩；基于至少两个第二目标图像，获得所述第二目标图像的权重参数；根据所述第二目标图像和所述权重参数，得到所述人脸图像的空间注意力图。

在一个可选的实施例中，所述通道图像为所述人脸图像在N个卷积层中的至少两个层中各个层的通道图像，其中N为大于等于2的正整数；

相应的，所述第三获得单元703，用于基于相应层的通道图像，获得所述人脸图像在所述相应层的通道注意力图和空间注意力图；

所述第四获得单元704，用于基于所述人脸图像在所述相应层的空间注意力图，获得所述人脸图像在所述相应层的特征图。基于各个人脸图像在所述至少两个层中各个层的特征图，得到各个人脸图像的特征图。

在一个可选的实施例中，识别单元705，用于在第一概率值大于第二概率值的情况下，确定为疲劳状态；在第一概率值小于第二概率值的情况下，确定为非疲劳状态。

上述实施例提供的识别设备与前述的识别方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。前述的第一获得单元701、第二获得单元702、第三获得单元703、第四获得单元704和识别单元705均可由数字信号处理(DSP)、中央处理器(CPU)、逻辑编程阵列(FPGA)、控制器(MCU)等来实现。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种识别方法，其特征在于，所述方法包括：

获得至少两张人脸图像；

针对所述至少两张人脸图像中的各个人脸图像，

获得所述人脸图像的至少一个通道图像；

基于所述至少一个通道图像，获得所述人脸图像的通道注意力图和空间注意力图，其中所述通道注意力图至少表征为人脸目标区的图像，所述空间注意力图至少表征为目标区在人脸图像中的位置；

基于所述人脸图像的空间注意力图，获得所述人脸图像的特征图；

基于各个人脸图像的特征图，对人脸的疲劳状态进行识别。

2.根据权利要求1所述的方法，其特征在于，所述基于各个人脸图像的特征图，对人脸的疲劳状态进行识别，包括：

基于各个人脸图像的特征图，获得相邻图像间的上下文信息，所述上下文信息表征为在图像上人脸目标区的变化；

依据上下文信息，获得人脸为疲劳状态的第一概率值和/或人脸为非疲劳状态的第二概率值；

依据第一概率值和/或第二概率值，对人脸的疲劳状态进行识别。

3.根据权利要求1所述的方法，其特征在于，所述基于所述至少一个通道图像，获得所述人脸图像的通道注意力图和空间注意力图，包括：

基于所述人脸图像的至少一个通道图像，获得所述人脸图像的通道注意力图；

基于所述人脸图像的通道注意力图，获得所述人脸图像的空间注意力图；

基于所述人脸图像的空间注意力图，获得所述人脸图像的特征图。

4.根据权利要求3所述的方法，其特征在于，所述方法包括：

获得所述人脸图像的三个通道图像；

对所述通道图像进行第一压缩，得到两个第一目标图像，所述第一压缩为在空间维度上进行图像的压缩；

基于至少两个第一目标图像，获得各个通道图像的权重参数；

基于所述人脸图像的各个通道图像及所述各个通道图像的权重参数，得到人脸图像的通道注意力图。

5.根据权利要求3或4所述的方法，其特征在于，所述基于所述人脸图像的通道注意力图，获得所述人脸图像的空间注意力图，包括：

将所述通道注意力图进行第二压缩，得到两个第二目标图像，所述第二压缩为在通道维度上进行图像的压缩；

基于至少两个第二目标图像，获得所述第二目标图像的权重参数；

根据所述第二目标图像和所述权重参数，得到所述人脸图像的空间注意力图。

6.根据权利要求1至4任一项所述的方法，其特征在于，所述通道图像为所述人脸图像在N个卷积层中的至少两个层中各个层的通道图像，其中N为大于等于2的正整数；

相应的，所述基于所述至少一个通道图像，获得所述人脸图像的通道注意力图和空间注意力图，基于所述人脸图像的空间注意力图，获得所述人脸图像的特征图，包括：

基于相应层的通道图像，获得所述人脸图像在所述相应层的通道注意力图和空间注意力图；

基于所述人脸图像在所述相应层的空间注意力图，获得所述人脸图像在所述相应层的特征图。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

基于各个人脸图像在所述至少两个层中各个层的特征图，得到各个人脸图像的特征图。

8.根据权利要求2所述的方法，其特征在于，所述依据第一概率值和/或第二概率值，对人脸的疲劳状态进行识别，包括：

在第一概率值大于第二概率值的情况下，确定为疲劳状态；

在第一概率值小于第二概率值的情况下，确定为非疲劳状态。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至8任一所述方法的步骤。

10.一种图像处理设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至8任一所述方法的步骤。

Images