CN113657212A - 一种疲劳检测方法及相关装置 - Google Patents

Abstract

本申请公开了一种疲劳检测方法及相关装置，该方法包括：对当前帧图像进行检测，得到当前帧图像中目标的人脸区域和若干人脸关键点；基于人脸区域，获得当前帧图像的空间信息；确定若干人脸关键点的运动轨迹，并基于人脸关键点的运动轨迹获得当前帧图像的时间信息；利用当前帧图像的空间信息和时间信息，得到目标的第一疲劳值，通过本申请所提供的技术方案可以较好地实现在对驾驶人员无约束的前提下，更为准确地检测驾驶人员的疲劳值。

Description

一种疲劳检测方法及相关装置

技术领域

本申请涉及疲劳检测领域，特别是涉及一种疲劳检测方法及相关装置。

背景技术

在机动车驾驶过程中，驾驶人员出现疲劳状态时，其对车辆的控制能力、注意力、应对突发事件的反应能力都会出现下降，进而会导致车辆失控。而通过检测驾驶人员的疲劳状态，可实现驾驶员驾驶异常情况的提醒，降低事故发生风险。故需要一种无检测约束的、且可以准确检测到驾驶人员疲劳值的技术方案。

发明内容

本申请主要解决的技术问题是提供一种疲劳检测方法及相关装置，可以实现在对驾驶人员无约束的前提下，更为准确地检测到驾驶人员的疲劳值。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种疲劳检测方法，所述方法包括：

对当前帧图像进行检测，得到所述当前帧图像中目标的人脸区域和若干人脸关键点；

基于所述人脸区域，获得所述当前帧图像的空间信息；

确定所述若干人脸关键点的运动轨迹，并基于所述人脸关键点的运动轨迹获得所述当前帧图像的时间信息；

利用所述当前帧图像的空间信息和所述时间信息，得到所述目标的第一疲劳值。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种电子设备，所述电子设备包括处理器以及与所述处理器耦接的存储器；其中，

所述存储器用于存储计算机程序；

所述处理器用于运行所述计算机程序以执行如上任意一项所述的方法。

为解决上述技术问题，本申请采用的又一个技术方案是：提供一种计算机可读存储介质，所述计算机可读存储介质存储有能够被处理器运行的计算机程序，所述计算机程序用于实现如上任意一项所述的方法。

本申请的有益效果是：区别于现有技术的情况，本申请所提供技术方案，通过对当前帧图像进行检测得到当前帧图像中目标的人脸区域和若干人脸关键点，并基于人脸区域，获得当前帧图像的空间信息，确定若干人脸关键点的运动轨迹，同时基于人脸关键点的运动轨迹获取当前帧图像的时间信息，然后再利用当前帧图像的空间信息和时间信息，得到目标的第一疲劳值，实现在对目标疲劳检测的过程中，在不对目标即驾驶人员造成额外约束的前提下，同时结合人脸关键点的运动轨迹对目标进行疲劳检测，实现更为准确地检测目标的疲劳值，从而实现可以根据更为准确的疲劳值确定驾驶人员是否疲劳，起到了良好的技术效果。

附图说明

图1为本申请一种疲劳检测方法一实施例中的流程示意图；

图2为本申请中的人脸关键点的示意图；

图3为本申请一种疲劳检测方法另一实施例中的流程示意图；

图4为本申请一种疲劳检测方法又一实施例中的流程示意图；

图5为本申请一种疲劳检测的方法一实施例中的流程示意图；

图6为本申请一种疲劳检测方法再一实施例中的流程示意图；

图7为本申请一种电子设备一实施例中的结构示意图；

图8为本申请一种计算机可读存储介质一实施例结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅用于解释本申请，而非对本申请的限定。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

请参见图1，图1为本申请一种疲劳检测方法一实施例中的流程示意图。在当前实施例中，本申请所提供的疲劳检测方法包括步骤S110至步骤S140。

S110：对当前帧图像进行检测，得到当前帧图像中目标的人脸区域和若干人脸关键点。

为了更好地检测驾驶人员是否处于疲劳状态，会利用采集设备采集包括驾驶人员的图像序列，然后对采集得到的图像序列中所包括的图像进行检测，从而确定驾驶人员的疲劳值，然后根据检测所得的疲劳值确定驾驶人员是否处于疲劳状态。

本申请所提供的技术方案中，在对驾驶人员进行疲劳检测时，首先会对图像序列中所包括的图像进行检测，以得到图像中所包括的目标的人脸区域和若干人脸关键点。其中，每个当前正在进行疲劳检测的图像在本申请中定义为当前帧图像，目标代指的是需要进行疲劳检测的驾驶人员，人脸关键点是人脸上预先设定的位置的特征点，也可以将人脸关键点理解为是人脸上设定部分对应的特征点。需要说明的是，在当前实施例中，人脸关键点可以是预先设定的可以代表驾驶人员状态的位置的特征点，具体可以包括人脸五官位置处的特征点和/或人脸轮廓上的特征点。如，人脸五官处的特征点包括：鼻子、眼睛、嘴巴、眉毛处的特征点，人脸轮廓上的特征点为脸部周边的特征点。

请结合图2，图2为本申请中的人脸关键点的示意图，在一实施例中，即在同一个人脸区域中检测得到人脸关键点可以如图2所示意，图2中所示意为人脸关键点数量为68个的情况。

在另一实施例中，预先设定步骤S110中所获取的人脸关键点的数量，如可以预先设定获取人脸上68个设定位置的特征点作为人脸关键点。

进一步地，步骤S110中，可以是通过深度学习的方式来检测出当前帧图像中的目标的人脸区域和若干脸关键点。

进一步地，步骤S110中还可以是利用人脸检测模型对当前帧图像进行检测，进而获得人脸区域和若干人脸关键点。其中，人脸检测模型至少包括卷积神经网络检测模型。需要说明的是，由于人脸区域和人脸关键点检测方式不是本案中的侧重点，故在此对于人脸区域和人脸关键点的检测方式不做详细阐述和限定。

S120：基于人脸区域，获得当前帧图像的空间信息。

在对当前帧图像进行检测，获得当前帧图像中目标人脸区域和若干人脸关键点之后，进一步基于所获取的人脸区域，获得当前帧图像的空间信息。其中，当前帧图像的空间信息包括人脸区域的空间特征。

S130：确定若干人脸关键点的运动轨迹，并基于人脸关键点的运动轨迹获得当前帧图像的时间信息。

在检测得到当前帧图像中若干人脸关键点之后，进一步结合当前帧图像之前和/或之后的预设数量的图像中的人脸关键点，确定当前帧图像中若干人脸关键点的运动轨迹。

具体地，是通过获取当前帧图像之前和/或之后的预设数量的图像中的人脸关键点的坐标，然后基于当前帧图像之前和/或之后的预设数量的图像中的人脸关键点的坐标以及当前帧图像中人脸关键点的坐标获得人脸关键点的运动轨迹。需要说明的是，所获取的当前帧图像之前和/或之后的预设数量的图像中的人脸关键点的坐标和当前帧图像中的人脸关键点的坐标是同一个坐标系中的坐标。

进一步地，步骤S130中的确定若干人脸关键点的运动轨迹，进一步包括：利用若干人脸关键点分别在当前帧图像以及预设数量帧参考图像的位置信息，得到若干人脸关键点的运动轨迹。

在确定若干人脸关键点的运动轨迹时，获取预设数量帧参考图像中的人脸关键点的位置信息，然后基于各个参考图像中人脸关键点的位置信息和当前帧图像中人脸关键点的位置信息，确定人脸关键点的运动轨迹。具体可以是直接将当前帧图像的人脸关键点的位置信息和各个参考图像中的人脸关键点的位置信息按照时间顺序依次连接，进而获得人脸关键点的运动轨迹。需要说明的是，所获取各个参考图像中人脸关键点的位置信息和当前帧图像中人脸关键点的位置信息是同一个坐标系中的坐标。

其中，预设数量参考图像为与当前帧图像相邻的预设数量帧图像。在一实施例中，可以是在当前帧图像之前和当前帧图像之后分别选取相同数量的图像作为预设数量参考图像。在另一实施例中，也可以是仅仅在当前帧图像之前选取预设数量图像作为参考图像。可以理解的是，在其他实施例中，参考图像的选取方式也可以是其他方式，具体在此不一一列举。

在确定若干人脸关键点的运动轨迹之后，进一步基于人脸关键点的运动轨迹获得当前帧图像的时间信息。其中，当前帧图像的时间信息包括人脸关键点的运动轨迹的轨迹特征。

S140：利用当前帧图像的空间信息和时间信息，得到目标的第一疲劳值。

在基于人脸区域获得当前帧图像的空间信息，并基于人脸关键点的运动轨迹获得当前帧图像的时间信息之后，进一步利用当前帧图像的空间信息和时间信息，获得目标的第一疲劳值。

其中，是将当前帧图像的空间信息和时间信息进行融合，进而获得第一疲劳值。具体是将当前帧图像的空间信息和时间信息经特征提取网络进行抽象化，然后经特征融合网络进行信息的融合，进而获得目标的第一疲劳值。

其中，特征融合网络将提取到的空间信息和时间信息进行融合相加，也可以理解为是将人脸区域的空间特征和人脸关键点的运动轨迹的轨迹特征进行融合相加，然后将相加所得的特征进一步提取，进而获得第一疲劳值。融合相加的实现可采用DensNet中的Concat操作，然后利用神经网络中的卷积、全连接操作将融合相加得到的特征进行进一步的提取，输出第一疲劳值。

本申请图1所对应的实施例中，通过对当前帧图像进行检测得到当前帧图像中目标的人脸区域和若干人脸关键点，并基于人脸区域，获得当前帧图像的空间信息，确定若干人脸关键点的运动轨迹，并基于人脸关键点的运动轨迹获取当前帧图像的时间信息，然后再利用当前帧图像的空间信息和时间信息，得到目标的第一疲劳值。在本申请所提供的技术方案中，相比于现有技术本申请所提供的技术方案，实现在不对目标造成额外约束的前提下，同时结合当前帧图像与其相邻的参考图像中关键点的位置信息，获得代表人状态的人脸关键点的轨迹信息，然后再人脸关键点的运动轨迹对目标进行疲劳检测，实现更为准确地检测目标的疲劳值，从而实现可以根据更为准确的疲劳值确定驾驶人员是否疲劳。

请参见图3，图3为本申请一种疲劳检测方法另一实施例中的流程示意图。

S301：对当前帧图像进行检测，得到当前帧图像中目标的人脸区域和若干人脸关键点。

S302：基于人脸区域，获得当前帧图像的空间信息。

当前实施例中的步骤S301至步骤S302与上文所述的S110至步骤S120相同，具体可以参见上文对应部分的阐述，在此不再详述。在当前实施例中，上述步骤S130中的确定若干人脸关键点的运动轨迹进一步包括步骤S304，在步骤S304之前还包括S303。

S303：分别对每帧参考图像进行检测，得到每帧参考图像中的人脸区域以及若干人脸关键点。

参考图像为与当前帧图像相邻的图像，具体可以包括在当前帧图像之前和/或之后的图像。在当前实施例中，在获取若干人脸关键点的运动轨迹时，首先会分别对每帧参考图像进行检测，进而获得每帧参考图像中的人脸区域以及若干人脸关键点。

进一步地，在另一实施例中，当参考图像为当前帧图像之前的预设数量帧图像时，在检测当前帧图像中目标的第一疲劳值时，已经对参考图像进行检测并会获取到人脸区域和若干人脸关键点，故当前实施例中，在获取当前帧图像中的若干人脸关键点的轨迹时，也可以是直接获取之前对参考图像进行检测所得的人脸区域和若干人脸关键点。

更进一步地，在一实施例中，分别对每帧参考图像进行检测，得到每帧参考图像中的人脸区域以及若干人脸关键点之前，本申请所提供的方法还包括：将每帧参考图像的尺寸调整至与当前帧图像的尺寸相同。再进一步地，在其他实施例中，也可以是将当前帧图像和参考图像调整为相同尺寸，然后再对当前帧图像和参考图像输入至人脸检测模型中进行检测，以分别获得各个图像中目标的人脸区域和人脸关键点。如，调整当前帧图像和参考图像的尺寸为固定尺寸(w，h)，其中w为调整后图像的宽度，h为调整后图像的高度。

更进一步地，在另一实施例中，在每帧参考图像中的人脸区域之后，本申请所提供的方法还包括：将当前帧图像和每帧参考图像中的人脸区域调整为相同尺寸。在当前实施例中，通过将当前帧图像中检测所得的人脸区域和每帧参考图像中的人脸区域调整为相同尺寸，使得人脸区域中的各个特征点处于相同的坐标系中，进而可以获得当前帧图像中人脸关键点和参考图像中的人脸关键点在相同坐标系中的位置信息，从而可以基于当前帧图像中人脸关键点的位置信息和参考图像中的人脸关键点的位置信息获取到人脸关键点的轨迹信息。

S304：利用若干人脸关键点分别在当前帧图像以及预设数量帧参考图像的位置信息，得到若干人脸关键点的运动轨迹。

在得到每帧参考图像中的人脸区域以及若干人脸关键点之后，进一步利用若干人脸关键点分别在当前帧图像以及预设数量帧参考图像的位置信息，得到若干人脸关键点的运动轨迹。具体地，如若所获取的是68个人脸关键点，则对应的，会在每个参考图像中获取68个人脸关键点，然后分别基于各个人脸关键点在当前帧图像以及不同参考图中的位置信息获取各个人脸关键点的运动轨迹。在当前实施例中，是按照时间顺序分别将各个人脸关键点在当前帧图像中的位置信息和参考图像中的位置信息连接，进而获得各个人脸关键点的运动轨迹。

S305：基于人脸关键点的运动轨迹获得当前帧图像的时间信息。

步骤S305与上文所述的步骤S130中的部分相同，具体可以参见上文对应部分的阐述。

在当前实施例中，当前帧图像的空间信息包括人脸区域的空间特征，当前帧图像的时间信息包括人脸关键点的运动轨迹的轨迹特征，上述步骤S140利用当前帧图像的空间信息和时间信息，得到目标的第一疲劳值进一步包括步骤S306至步骤S307。

S306：利用特征融合网络将空间特征和轨迹特征进行融合，得到疲劳特征。

在获得当前帧图像的时间信息和空间信息之后，进一步将时间信息和空间信息输入至特征融合网络。其中，当前帧图像的时间信息包括人脸关键点的运动轨迹的轨迹特征，当前帧图像的空间信息包括人脸区域的空间特征，利用特征融合网络将空间特征和轨迹特征进行融合相加，进而得到疲劳特征。进一步地，空间特征、轨迹特征和疲劳特征具体体现为矩阵。

S307：基于疲劳特征得到第一疲劳值。

在获得疲劳特征，进一步基于疲劳特征得到第一疲劳值。

具体地是利用神经网络中的卷积、全连接操作将融合相加得到的特征进行进一步的提取，输出得到目标的第一疲劳值，并将第一疲劳值输出为驾驶人员在当前帧图像中的疲劳检测结果。

进一步地，空间特征和轨迹特征均为多维特征，疲劳特征为特征矩阵，步骤S307进一步包括：疲劳特征中的特征值进行加权求和，得到第一疲劳值。如，在一实施例中，如若步骤S306中获得目标的疲劳特征，且疲劳特征为n×m的特征矩阵，则会将n×m的特征矩阵中的每个特征值按照设定的权重比进行相加，并将加权求和的结果输出为第一疲劳值。

请参见图4，图4为本申请一种疲劳检测方法又一实施例中的流程示意图。在当前实施例中，本申请所提供的方法包括：

S401：对当前帧图像进行检测，得到当前帧图像中目标的人脸区域和若干人脸关键点。

S402：基于人脸区域，获得当前帧图像的空间信息。

在当前实施例中，步骤S401至步骤S402与上文所述的步骤S110至步骤S120相同，具体可以参见上文对应部分的阐述，在此不再重复。在利用若干人脸关键点分别在当前帧图像以及预设数量帧参考图像中的位置信息，得到若干人脸关键点的运动轨迹之前，方法还包括步骤S403至步骤S404中的至少一步。

S403：检测是否存在当前帧图像的预设数量帧参考图像。

检测是否存在当前帧图像的预设数量帧参考图像。在一实施例中，设定参考图像为当前帧图像之前的k帧图像，则对应的步骤S403即为检测当前帧图像之前是否存在k帧图像，若检测得到当前帧图像之前存在k帧图像，则检测得到存在当前帧图像的预设数量帧参考图像，反之若检测得到当前帧图像之前不存在k帧图像，则检测得到不存在当前帧图像的预设数量帧参考图像。

在另一实施例中，设定参考图像包括在当前帧之前的q帧图像和在当前帧图像之后的q帧图像，则对应的，步骤S403是检测在当前帧图像之前是否存在q帧图像，以及检测在当前帧图像之后是否存在q帧图像。若检测得到当前帧图像之前存在q帧图像，且在当前帧图像之后存在q帧图像，则确定存在当前帧图像的预设数量帧参考图像；反之，如若检测得到当前帧图像之前不存在q帧图像，和/或检测得到在当前帧图像之后不存在q帧图像，则确定不存在当前帧图像的预设数量帧参考图像。

S404：按照预设调整规则将预设数量调小，并重复执行检测是否存在当前帧图像的预设数量帧参考图像，直至检测到存在预设数量帧参考图像。

若检测得到不存在当前帧图像的预设数量帧参考图像，则进一步按照预设调整规则将预设数量调小，然后重复执行检测是否存在当前帧图像的预设数量帧参考图像，直至检测到存在预设数量帧参考图像。例如，预设调整规则包括将预设数量减1。再或者，预设调整规则也可以为减少5，具体依据实际设置为准，在此不一一列举。在当前实施例中，通过检测是否存在当前帧图像的预设数量帧参考图像，并在检测得到不存在当前帧图像的预设数量帧参考图像时，根据预设调整规则将预设数量调小，可以使得对于目标的疲劳判断更为灵活。

在另一区别于图4所对应的实施例中，若检测得到不存在当前帧图像的预设数量帧参考图像，本申请所提供的方法还包括：将下一帧图像作为新的当前帧图像，并重新执行对当前帧图像进行检测，得到当前帧图像中目标的人脸区域和若干人脸关键点及其后续步骤，直至检测到图像序列中的最后一张图像。

若检测得到存在当前帧图像的预设数量帧参考图像，则继续执行步骤S405。

S405：利用若干人脸关键点分别在当前帧图像以及预设数量帧参考图像的位置信息，得到若干人脸关键点的运动轨迹。

S406：基于人脸关键点的运动轨迹获得当前帧图像的时间信息。

S407：利用当前帧图像的空间信息和时间信息，得到目标的第一疲劳值。

步骤S405与上文步骤S304相同，步骤S405至步骤S407与上文步骤S130至步骤S140相同，具体可以对应参考上文对应部分的阐述。

请继续参见图4，在当前实施例中，在利用当前帧图像的空间信息和时间信息，得到目标的第一疲劳值之后，本申请所提供的方法还包括步骤S408。

S408：基于第一疲劳值，确定目标是否处于疲劳状态。

在求得当前帧图像中目标的第一疲劳值之后，进一步基于所求得的目标的第一疲劳值判断目标是否处于疲劳状态。

在一实施例中，可以是直接将当前帧图像中目标的第一疲劳值与预设的疲劳阈值进行比较大小，若比较得到当前帧图像的目标的第一疲劳值大于或等于疲劳阈值，则判断目标处于疲劳状态；反之，若比较得到当前帧图像的目标的第一疲劳值小于疲劳阈值，则判断目标不是处于疲劳状态。

在另一实施例中，为了更为准确地判断目标是否处于疲劳状态，进一步基于当前帧图像中的目标的第一疲劳值，并结合目标在参考图像中的第二疲劳值，进一步判断目标是否处于疲劳状态。具体地，可以是将目标在参考图像中的第二疲劳值和当前帧图像中目标的第一疲劳值进行加权求和获得第三疲劳值，然后将第三疲劳值与疲劳阈值进行比较大小，并根据比较结果判断目标是否处于疲劳状态。若第三疲劳值大于或等于疲劳阈值，则判断目标处于疲劳状态，反之，则判断目标处于非疲劳状态。其中，第二疲劳值为目标在参考图像中的疲劳值，具体也可以是通过执行步骤S401至步骤S407求得。

在又一实施例中，还可以是基于当前帧图像中目标的第一疲劳值，以及当前帧图像之前的所有图像的第二疲劳值判断目标是否处于疲劳状态。具体可以是求取当前帧图像中目标的第一疲劳值和当前帧图像之前的所有图像的第二疲劳值的均值，然后判断所得的均值是否大于或等于疲劳阈值，如若判断得到均值大于或等于疲劳阈值，在判断目标处于疲劳状态，反之，则判断目标处于非疲劳状态。在当前实施例中，第二疲劳值为目标在当前帧图像之前的所有图像中的疲劳值。

在再一实施例中，可以是基于目标的第一疲劳值，以及目标在当前帧图像之前的设定数量帧图像中的第二疲劳值，判断目标是否处于疲劳状态。具体可以是，求取当前帧图像中目标的第一疲劳值、目标在当前帧图像之前的设定数量帧图像中的第二疲劳值的均值，然后判断所得的均值是否大于或等于疲劳阈值，若是，则判断目标处于疲劳状态，反之则判断目标处于非疲劳状态。在当前实施例中，第二疲劳值为目标在在当前帧图像之前的设定数量帧图像中的疲劳值。

其中，上述各个实施例中的疲劳阈值是预先设定的用于判断目标是否处于疲劳的经验值，且在此不限定上述各个实施例中的疲劳阈值相同，具体可以根据实际的需求进行设置调整。上述各个实施例中，进一步基于更为准确的第一疲劳值判断目标是否处于疲劳状态，可以实现更为准确地判断目标是否处于疲劳状态。

进一步地，请参见图5，图5为本申请一种疲劳检测的方法一实施例中的流程示意图。上述步骤S408基于第一疲劳值，确定目标是否处于疲劳状态，在当前实施例中进一步包括步骤S501至步骤S504。

S501：根据第一疲劳值、目标在当前帧图像的参考图像中的第二疲劳值，确定目标的最终疲劳值。

在求得第一疲劳值之后，进一步基于第一疲劳值、目标在当前帧图像的参考图像中的第二疲劳值，确定目标的最终疲劳值。具体可以是通过对第一疲劳值和目标在参考图像中的第二疲劳值求和，进而获得目标最终疲劳值。

在另一实施例中，随着时间的推移，距离当前帧越久远的图像中的目标的疲劳值对于当前的判断参考意义越小，故步骤S501也可以是将第一疲劳值、目标在当前帧图像的参考图像中的第二疲劳值进行加权求和，确定目标的最终疲劳值。如，如参考图像的数量为20帧，按照时间顺序，排序在最前面的1-5帧的权重比例可以设置为0.3，排序在6到10帧的权重比例设置为0.5，排序在11帧至15帧的权重比设置为0.7，排序在16帧至20帧的权重比设置为0.9，当前帧图像的权重比设置为1，对第一疲劳值和这20帧参考图像中的第二疲劳值进行加权求和，并将加权求和的结果输出为最终疲劳值。可以理解的是，在其他实施例中，还可以依据其他方式求得最终疲劳值。

S502：判断最终疲劳值是否满足预设条件。

在获得最终疲劳值之后，进一步判断最终疲劳值是否满足预设条件。其中，预设条件为判断最终疲劳值是否大于或等于疲劳阈值，若判断得到最终疲劳值大于或等于疲劳阈值，则判断最终疲劳值满足预设条件，反之，则判断得到最终疲劳值不满足预设条件。其中，疲劳阈值为预先设定的用于判断目标是否处于疲劳状态的经验值。

S503：若是，则判断目标处于疲劳状态。

若判断最终疲劳值满足预设条件，则判断目标处于疲劳状态。

S504：否则判断目标处于非疲劳状态。

若判断最终疲劳值不满足预设条件，则判断目标处于非疲劳状态。

进一步地，请继续参见图5，在基于第一疲劳值，确定目标是否处于疲劳状态之后，本申请所提供的方法还包括：

S505：若判断目标处于疲劳状态，则执行预设操作。

其中，预设操作包括以下至少一种：播放音乐、语音提示目标注意休息和启动目标所在车辆的疲劳驾驶模式。其中，疲劳驾驶模式包括：减速、闪出设定信号用于提示驾驶人员或者是其他车辆的驾驶人员。其中设定信号至少包括双闪灯光。

请参见图6，图6为本申请一种疲劳检测方法再一实施例中的流程示意图。在当前实施例中，上述步骤S110对当前帧图像进行检测，得到当前帧图像中目标的人脸区域和若干人脸关键点，进一步包括步骤S601至步骤S603。

S601：利用卷积神经网络对当前帧图像进行检测，得到当前帧图像中的人脸区域。

在当前实施例中，是通过卷积神经网络对当前帧图像进行检测，进而后的当前帧图像中的人脸区域。同时是采用神经网络中的卷积、池化操作获取当前帧图像中的人脸区域的空间特征。

S602：将当前帧图像中的人脸区域调整为与当前帧图像的参考图像中的人脸区域的尺寸相同。

在当前实施例中，在检测到人脸区域之后，进一步将所检测得到的人脸区域与参考图像中的人脸区域调整为相同尺寸，使得当前帧图像中的人脸关键点和参考图像中的人脸关键点可以处于相同的坐标系内，进而获得当前帧图像和参考图像中的人脸关键点在同一坐标系内的位置信息，然后基于人脸关键点的位置信息获取人脸关键点的运动轨迹。

S603：利用卷积神经网络对调整后的人脸区域进行检测，得到当前帧图像中的若干人脸关键点。

在当前实施例中，利用卷积神经网络对调整后的人脸区域进行检测，得到当前帧图像中的若干人脸关键点，并通过神经网络中的卷积、池化操作获取人脸关键点的运动轨迹的轨迹特征。

S604：基于人脸区域，获得当前帧图像的空间信息。

S605：确定若干人脸关键点的运动轨迹，并基于人脸关键点的运动轨迹获得当前帧图像的时间信息。

S606：利用当前帧图像的空间信息和时间信息，得到目标的第一疲劳值。步骤S604至步骤S605与上文步骤S120至步骤S130相同，具体可以参见上文对应部分的阐述。

基于上述各个实施例中，如若是对驾驶人员进行疲劳检测，则本申请所提供的疲劳检测方法的整体流程可以如下：通过图像采集设备获取包括驾驶人员的图像序列；然后基于图像序列，在图像序列每一帧图像中，通过深度学习的方式来检测出驾驶人员的人脸区域位置及人脸关键点位置。

检测驾驶人员的人脸区域以及人脸关键点的过程如下：针对每一帧图像，通过卷积神经网络检测人脸区域，并输出所检测得到的人脸的区域位置[(t_x,t_y),(r_x,r_y)]，其中(t_x,t_y)为人脸检测框的左上角坐标，(r_x,r_y)为人脸检测框的右下角坐标。其中，用于检测人脸区域的卷积神经网络可包括YOLOv3、MTCNN等网络模型。在检测到的人脸区域中进行人脸关键点检测，具体是通过卷积神经网络检测获得68个人脸关键点，并用这些人脸关键点作为人脸的特征描述，同时作为进一步的疲劳检测输入。用于检测人脸关键点的卷积神经网络包括DAN、CPM等网络模型。然后再对检测得到的68个人脸关键点进行归一化处理。具体如下式所示。

其中(x_i,y_i)是归一化后的关键点坐标，

是卷积神经网络输出的点坐标。

在获得当前人脸图像和人脸关键点的运动轨迹后，进行疲劳状态检测。将当前待检测图像记为第τ帧图像，在获得当前图像中的人脸区域之后，进一步对人脸区域进行归一化处理，以调整图像尺寸为固定尺寸(w,h)，其中w为图像的宽度，h为图像的高度。获取第τ帧图像相邻的L帧图像中人脸关键点的位置，即第τ-L帧图像到第τ+L帧图像中的人脸关键点位置，经上述人脸关键点的归一化处理后作为第τ帧图像中人脸关键点的运动轨迹。

在获得当前人脸区域和人脸关键点的运动轨迹后，将人脸区域和人脸关键点作为疲劳检测网络的输入，进行疲劳状态检测。其中疲劳检测网络的结构采用双通道网络。其中一个通道的输入为当前人脸区域，从而获取图像的空间信息(空间信息也可以理解为体现人脸纹理信息，可以为一个三维矩阵)，另一个通道的输入为2L+1帧的人脸关键点的运动轨迹(也可以理解为进行归一化处理后的人脸关键点的位置信息)，获取图像的时间信息。在获取到图像的时间信息和图像的空间信息之后，进一步将两种信息经特征提取网络进行抽象化，经特征融合网络进行信息的融合，最后输出人员的第一疲劳值。其中，疲劳检测网络主要包含三个模块：特征提取网络、特征融合网络、疲劳值输出网络。

然后，统计时间段T内每一帧人脸图像的第一疲劳值从而获得最终疲劳值，当最终疲劳值累积值超过疲劳阈值V时，则判定当前驾驶人员为疲劳状态，并执行预设操作，以更好地保障驾驶人员的安全。

在该实施例中，本申请所提供的技术方案中，通过采用对人脸检测的方式来进行疲劳检测，相比于现有技术中通过测量车辆行驶数据来进行疲劳检测更加直接，消除了外界因素及驾驶人员驾驶技术带来的影响。同时本申请所提供的技术方案是采用非侵入式的图像采集设备进行人脸图像序列采集，不存在对驾驶人员干扰的情况。同时本申请所提供的技术方案，相比于基于生理信号的疲劳检测方式，不会对驾驶人员产生额外的约束，在基础之上采用人脸图像数据及人脸关键点的运动轨迹作为疲劳检测的判定依据，相比于采用头部姿态、眼动矢量来进行疲劳检测的方式，采用的信息更加全面，从而获得采用了动作分析的方式来进行疲劳判断，判断依据不仅是头部姿态、眼动矢量等单一指标，采用了整个人脸图像数据，使得信息提取能力更加全面，疲劳检测更为准确。

请参见图7，图7为本申请一种电子设备一实施例中的结构示意图。在当前实施例中，本申请所提供的电子设备700包括处理器701以及与处理器701耦接的存储器702。电子设备700可以执行图1至图6及其对应的任意一个实施例中所述的方法。

其中，存储器702包括本地储存(图未示)，且用于存储有计算机程序，计算机程序被执行时可以实现图1至图6及其所对应的任意一个实施例中所述的方法。

处理器701与存储器702耦接，处理器701用于运行计算机程序，以执行如上图1至图6及其对应的任意一个实施例中所述的方法。进一步地，在一些实施例中，电子设备可包括移动终端、车载终端、摄像头、电脑终端、计算机、具备计算存储能力的图像采集设备、服务器等中的任意一种，也可以包括其他任何具有计算处理功能的设备。

参见图8，图8为本申请一种计算机可读存储介质一实施例结构示意图。该计算机可读存储介质800存储有能够被处理器运行的计算机程序801，该计算机程序801用于实现如上图1至图6及其对应的任意一个实施例中所描述的方法。具体地，上述计算机可读存储介质800可以是存储器、个人计算机、服务器、网络设备，或者U盘等其中的一种，具体在此不做任何限定。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (12)

1.一种疲劳检测方法，其特征在于，所述方法包括：

对当前帧图像进行检测，得到所述当前帧图像中目标的人脸区域和若干人脸关键点；

基于所述人脸区域，获得所述当前帧图像的空间信息；

确定所述若干人脸关键点的运动轨迹，并基于所述人脸关键点的运动轨迹获得所述当前帧图像的时间信息；

利用所述当前帧图像的空间信息和所述时间信息，得到所述目标的第一疲劳值。

2.根据权利要求1所述的方法，其特征在于，所述当前帧图像的空间信息包括所述人脸区域的空间特征，所述当前帧图像的时间信息包括所述人脸关键点的运动轨迹的轨迹特征；

所述利用所述当前帧图像的空间信息和所述时间信息，得到所述目标的第一疲劳值，包括：

利用特征融合网络将所述空间特征和所述轨迹特征进行融合，得到疲劳特征；

基于所述疲劳特征得到所述第一疲劳值。

3.根据权利要求2所述的方法，其特征在于，所述空间特征和轨迹特征均为多维特征，所述疲劳特征为特征矩阵；所述基于所述疲劳特征得到所述第一疲劳值，包括：

所述疲劳特征中的特征值进行加权求和，得到所述第一疲劳值。

4.根据权利要求1所述的方法，其特征在于，所述确定所述若干人脸关键点的运动轨迹，包括：

利用所述若干人脸关键点分别在所述当前帧图像以及预设数量帧参考图像的位置信息，得到所述若干人脸关键点的运动轨迹。

5.根据权利要求4所述的方法，其特征在于，所述预设数量帧参考图像为与所述当前帧图像相邻的预设数量帧图像；

和/或，所述利用所述若干人脸关键点分别在所述当前帧图像以及预设数量帧参考图像的位置信息，得到所述若干人脸关键点的运动轨迹之前，所述方法还包括：

分别对每帧所述参考图像进行检测，得到每帧所述参考图像中的人脸区域以及若干人脸关键点。

6.根据权利要求5所述的方法，其特征在于，所述分别对每帧所述参考图像进行检测，得到每帧所述参考图像中的人脸区域以及若干人脸关键点之前，所述方法还包括：

将每帧所述参考图像的尺寸调整至与所述当前帧图像的尺寸相同；

和/或，在得到每帧所述参考图像中的人脸区域之后，所述方法还包括：

将所述当前帧图像和每帧所述参考图像中的所述人脸区域调整为相同尺寸。

7.根据权利要求4所述的方法，其特征在于，在所述利用所述若干人脸关键点分别在所述当前帧图像以及预设数量帧参考图像的位置信息，得到所述若干人脸关键点的运动轨迹之前，所述方法还包括：

检测是否存在所述当前帧图像的预设数量帧参考图像；

若否，则按照预设调整规则将所述预设数量调小，并重复执行所述检测是否存在所述当前帧图像的预设数量帧参考图像，直至检测到存在所述预设数量帧参考图像；或，

若否，则将下一帧图像作为新的当前帧图像，并重新执行所述对当前帧图像进行检测，得到所述当前帧图像中目标的人脸区域和若干人脸关键点及其后续步骤。

8.根据权利要求1所述的方法，其特征在于，在所述利用所述当前帧图像的空间信息和所述时间信息，得到所述目标的第一疲劳值之后，所述方法还包括：

基于所述第一疲劳值，确定所述目标是否处于疲劳状态。

9.根据权利要求8所述的方法，其特征在于，所述基于所述第一疲劳值，确定所述目标是否处于疲劳状态，进一步包括：

根据所述第一疲劳值、所述目标在所述当前帧图像的参考图像中的第二疲劳值，确定所述目标的最终疲劳值；

判断所述最终疲劳值是否满足预设条件；

若是，则判断所述目标处于疲劳状态；否则判断所述目标处于非疲劳状态。

10.根据权利要求8所述的方法，其特征在于，所述基于所述第一疲劳值，确定所述目标是否处于疲劳状态之后，所述方法还包括：

若判断所述目标处于疲劳状态，则执行预设操作，其中，所述预设操作包括以下至少一种：播放音乐、语音提示所述目标注意休息和启动所述目标所在车辆的疲劳驾驶模式。

11.一种电子设备，其特征在于，所述电子设备包括处理器以及与所述处理器耦接的存储器；其中，

所述存储器用于存储计算机程序；

所述处理器用于运行所述计算机程序以执行权利要求1至10任意一项所述的方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有能够被处理器运行的计算机程序，所述计算机程序用于实现权利要求1至10任一项所述的方法。

Images