CN111079475A - 驾驶状态检测方法和装置、驾驶员监控***、车辆 - Google Patents

Abstract

本公开实施例提供了一种驾驶状态检测方法和装置、驾驶员监控***、车辆。其中，驾驶状态检测方法包括：对驾驶员图像进行头部姿态检测和眼部状态检测，得到头部姿态信息和眼部状态信息；根据所述头部姿态信息和所述眼部状态信息，确定驾驶员的疲劳状态和分心状态的检测结果。本公开实施例结合头部姿态和眼部状态实现了对驾驶员疲劳状态和分心状态的共同检测，以便于在驾驶员的驾驶状态较差时及时采取相应的措施，提高驾驶安全性，降低道路交通事故发生率。

Description

驾驶状态检测方法和装置、驾驶员监控***、车辆

技术领域

本公开涉及计算机视觉技术，尤其是涉及一种驾驶状态检测方法和装置、驾驶员监控***、车辆。

背景技术

随着车辆的不断普及，交通事故也随之增多，驾驶员的驾驶状态对安全行车的影响非常严重，因此，应尽可能的使驾驶员处于良好的驾驶状态。当驾驶员在驾驶过程中由于顾及手机等其他事物将其分心状态分散到手机等其他事物时，会导致驾驶员无法及时了解道路情况。

在驾驶员的驾驶状态较差时，例如由于疲劳过度、睡眠不足、注意力分散等问题导致驾驶状态较差时，可能导致判断能力下降、造成反应迟缓，甚至出现精神恍惚或瞬间记忆消失，导致驾驶动作迟误或过早、操作停顿或修正时间不当等不安全因素，极易发生道路交通事故。

发明内容

本公开实施例提供一种驾驶状态检测的技术方案。

根据本公开实施例的一个方面，提供的一种驾驶状态检测方法，包括：

对驾驶员图像进行头部姿态检测和眼部状态检测，得到头部姿态信息和眼部状态信息；

根据所述头部姿态信息和所述眼部状态信息，确定驾驶员的疲劳状态和分心状态的检测结果。

可选地，在上述实施例的方法中，所述对驾驶员图像进行头部姿态检测和眼部状态检测，得到头部姿态信息和眼部状态信息之后，还包括：

根据基于所述头部姿态信息确定的所述驾驶员图像中驾驶员的头部位置信息，确定所述驾驶员的头部位置的偏离角度是否超出预设范围；

若所述驾驶员的头部位置的偏离角度超出预设范围，根据所述头部姿态信息和所述眼部状态信息，确定驾驶员的分心状态的检测结果；和/或，

若所述驾驶员的头部位置的偏离角度未超出预设范围，执行所述根据所述头部姿态信息和所述眼部状态信息，确定驾驶员的疲劳状态和分心状态的检测结果的操作。

可选地，在上述各实施例的方法中，所述根据所述头部姿态信息和所述眼部状态信息，确定驾驶员的分心状态的检测结果，包括：

所述根据所述头部姿态信息和所述眼部状态信息，确定用于表征驾驶员的分心状态的指标的参数值；

根据用于表征驾驶员的分心状态的指标的参数值，确定驾驶员的分心状态的检测结果。

可选地，在上述各实施例的方法中，所述根据所述头部姿态信息和所述眼部状态信息，确定驾驶员的疲劳状态和分心状态的检测结果，包括：

根据所述头部姿态信息和所述眼部状态信息，确定用于表征驾驶员的疲劳状态的指标的参数值和用于表征驾驶员的分心状态的指标的参数值；

根据所述用于表征驾驶员的疲劳状态的指标的参数值，确定驾驶员的疲劳状态的检测结果，以及根据所述用于表征驾驶员的分心状态的指标的参数值，确定驾驶员的分心状态的检测结果。

可选地，在上述各实施例的方法中，所述对驾驶员图像进行头部姿态检测和眼部状态检测，得到头部姿态信息和眼部状态信息，包括：

对所述驾驶员图像进行人脸关键点检测；

根据检测到的所述人脸关键点获取头部姿态信息和眼部状态信息。

可选地，在上述各实施例的方法中，所述根据检测到的所述人脸关键点获取头部姿态信息，包括：

经第一神经网络基于所述人脸关键点得到所述头部姿态信息。

可选地，在上述各实施例的方法中，所述根据检测到的所述人脸关键点获取眼部状态信息，包括：

根据所述人脸关键点确定所述驾驶员图像中的眼部区域图像；

基于第二神经网络对所述眼部区域图像进行上眼睑线和下眼睑线的检测；

根据所述上眼睑线和下眼睑线之间的间隔确定所述驾驶员的眼睛睁合状态信息；其中，所述眼部状态信息包括：所述眼睛睁合状态信息。

可选地，在上述各实施例的方法中，所述根据检测到的所述人脸关键点获取眼部状态信息，包括：

根据所述人脸关键点确定所述驾驶员图像中的眼部区域图像；

基于第三神经网络对所述眼部区域图像进行睁闭眼的分类处理，得到睁眼或闭眼的分类结果；其中，所述眼部状态信息包括：睁眼状态或闭眼状态。

可选地，在上述各实施例的方法中，还包括：

对驾驶员图像进行嘴部状态检测，得到嘴部状态信息；

所述根据所述头部姿态信息和所述眼部状态信息，确定用于表征驾驶员的疲劳状态的指标的参数值，包括：

根据所述头部姿态信息、所述眼部状态信息和所述嘴部状态信息，确定用于表征驾驶员的疲劳状态的指标的参数值。

可选地，在上述各实施例的方法中，所述对驾驶员图像进行嘴部状态检测，得到嘴部状态信息，包括：

对所述驾驶员图像进行人脸关键点检测；

根据检测到的所述人脸关键点获取嘴部状态信息。

可选地，在上述各实施例的方法中，所述根据检测到的所述人脸关键点获取嘴部状态信息，包括：

根据所述人脸关键点确定所述驾驶员图像中的嘴部区域图像；

基于第四神经网络对所述嘴部区域图像进行上唇线和下唇线的检测；

根据所述上唇线和下唇线之间的间隔确定所述驾驶员的嘴巴开合状态信息；其中，所述嘴部状态信息包括所述嘴巴开合状态信息。

可选地，在上述各实施例的方法中，所述根据检测到的所述人脸关键点获取嘴部状态信息，包括：

根据所述人脸关键点确定所述驾驶员图像中的嘴部区域图像；

基于第五神经网络对所述嘴部区域图像进行张闭嘴的分类处理，得到张嘴或闭嘴的分类结果；其中，所述嘴部状态信息包括张嘴状态或闭嘴状态。

可选地，在上述各实施例的方法中，所述根据所述头部姿态信息和所述眼部状态信息，确定用于表征驾驶员的分心状态的指标的参数值，包括：

根据所述头部姿态信息确定所述驾驶员图像中驾驶员的头部位置，得到头部位置信息；根据一段时间内的所述头部位置信息，获取头部位置偏离程度的参数值；和/或，

根据所述头部姿态信息确定所述驾驶员图像中驾驶员的人脸朝向，得到人脸朝向信息；根据一段时间内的人脸朝向信息获取人脸朝向偏离程度的参数值；和/或，

根据所述头部姿态信息确定所述驾驶员图像中驾驶员的视线方向，得到视线方向信息，根据一段时间内的视线方向信息获取视线方向偏离程度的参数值；或者，根据所述人脸关键点确定所述驾驶员图像中的眼部区域图像，基于第六神经网络得到所述眼部区域图像中驾驶员的视线方向信息，根据一段时间内的视线方向信息获取视线方向偏离程度的参数值；和/或，

根据一段时间内的所述眼部状态信息，获取发呆程度的参数值。

可选地，在上述各实施例的方法中，所述根据所述头部姿态信息和所述眼部状态信息，确定用于表征驾驶员的疲劳状态的指标的参数值和用于表征驾驶员的分心状态的指标的参数值，包括：

根据所述头部姿态信息确定所述驾驶员图像中驾驶员的头部位置，得到头部位置信息；根据一段时间内的所述头部位置信息，获取头部位置偏离程度的参数值；和/或，

根据所述头部姿态信息确定所述驾驶员图像中驾驶员的人脸朝向，得到人脸朝向信息；根据一段时间内的人脸朝向信息获取人脸朝向偏离程度的参数值；和/或，

根据所述头部姿态信息确定所述驾驶员图像中驾驶员的视线方向，得到视线方向信息，根据一段时间内的视线方向信息获取视线方向偏离程度的参数值；或者，根据所述人脸关键点确定所述驾驶员图像中的眼部区域图像，基于第六神经网络得到所述眼部区域图像中驾驶员的视线方向信息，根据一段时间内的视线方向信息获取视线方向偏离程度的参数值；和/或，

根据一段时间内的所述眼部状态信息，获取发呆程度的参数值；和/或，

根据所述头部姿态信息确定所述驾驶员图像中驾驶员的头部位置，得到头部位置信息；根据一段时间内的所述头部位置信息，获取打盹程度的参数值；和/或，

根据一段时间内的所述眼部状态信息，获取闭眼程度的参数值；和/或，

根据一段时间内的所述眼部状态信息，获取眨眼程度的参数值；和/或，

根据一段时间内的所述嘴部状态信息，获取打哈欠程度的参数值。

可选地，在上述各实施例的方法中，所述用于表征驾驶员疲劳状态的指标包括以下至少一种：打盹程度、闭眼程度、眨眼程度、打哈欠程度；和/或，

所述用于表征驾驶员分心状态的指标包括以下至少一种：头部位置偏离程度、人脸朝向偏离程度、视线方向偏离程度、发呆程度。

可选地，在上述各实施例的方法中，所述根据所述头部姿态信息确定所述驾驶员图像中驾驶员的头部位置，得到头部位置信息，包括：获取所述头部姿态信息中的俯仰角作为所述头部位置；和/或，

所述根据所述头部姿态信息确定所述驾驶员图像中驾驶员的人脸朝向，得到人脸朝向信息，包括：获取所述头部姿态信息中的俯仰角和偏航角作为所述人脸朝向。

可选地，在上述各实施例的方法中，所述根据所述头部姿态信息确定所述驾驶员图像中驾驶员的视线方向，得到视线方向信息，包括：

根据所述人脸关键点中的眼睛关键点所定位的眼睛图像确定瞳孔边沿位置，并根据所述瞳孔边沿位置计算瞳孔中心位置；

根据所述瞳孔中心位置与眼睛中心位置获取所述头部姿态信息对应头部姿态下的眼珠转角信息；

根据所述头部姿态信息和所述眼珠转角信息确定所述驾驶员的视线方向，得到视线方向信息。

可选地，在上述各实施例的方法中，所述根据所述人脸关键点中的眼睛关键点所定位的眼睛图像确定瞳孔边沿位置，包括：

基于第七神经网络对根据所述人脸关键点分割出的所述图像中的眼睛区域图像进行瞳孔边沿位置的检测，并根据所述第七神经网络输出的信息获取瞳孔边沿位置。

可选地，在上述各实施例的方法中，所述根据一段时间内的视线方向信息获取视线方向偏离程度的参数值，包括：

根据一段时间内的视线方向信息相对于参考视线方向的偏离角度，获取视线方向偏离程度的参数值。

可选地，在上述各实施例的方法中，还包括：

预先设定所述参考视线方向；或者，

以基于所述驾驶员图像所在视频中的前N帧驾驶员图像确定的平均视线方向为所述参考视线方向；其中，N为大于1的整数。

可选地，在上述各实施例的方法中，所述根据一段时间内的所述眼部状态信息，获取发呆程度的参数值，包括：

根据所述眼部状态信息，在所述驾驶员的眼睛处于睁眼状态且持续达到预设发呆时间时，确定所述驾驶员处于发呆状态；

根据一段时间内的眼部状态信息，获取发呆程度的参数值；其中，所述一段时间包括所述预设发呆时间。

可选地，在上述各实施例的方法中，所述根据一段时间内的所述头部位置信息，获取打盹程度的参数值，包括：

根据所述头部位置信息，在所述驾驶员的头部位置相对于预设参考头部位置的偏离程度在第一预设时间内达到预设偏离范围、且在第二预设时间内恢复至所述预设参考头部位置时，确定所述驾驶员处于打盹状态；

根据一段时间内的所述头部位置信息，获取打盹程度的参数值；其中，所述一段时间包括所述第一预设时间和所述第二预设时间。

可选地，在上述各实施例的方法中，所述根据一段时间内的所述嘴部状态信息，获取打哈欠程度的参数值，包括：

根据所述嘴部状态信息，在所述驾驶员的嘴巴由闭嘴状态变化到张嘴状态、再恢复到闭嘴状态的时间在预设时间范围内时，确定所述驾驶员完成一次打哈欠动作；

根据一段时间内的嘴部状态信息，获取打哈欠程度的参数值；其中，所述一段时间包括所述驾驶员的嘴巴由闭嘴状态变化到张嘴状态、再恢复到闭嘴状态的时间。

可选地，在上述各实施例的方法中，所述头部位置偏离程度的参数值包括以下任意一项或多项：头部位置偏离状态，头部位置偏离方向，头部位置在所述头部位置偏离方向上的偏离角度，头部位置偏离持续时长，头部位置偏离频率；和/或，

所述人脸朝向偏离程度的参数值包括以下任意一项或多项：转头次数、转头持续时长、转头频率；和/ 或，

所述视线方向偏离程度的参数值包括以下任意一项或多项：视线方向偏离角度、视线方向偏离时长、视线方向偏离频率；和/或，

所述发呆程度的参数值包括以下任意一项或多项：睁眼幅度、睁眼持续时长、睁眼累计时长占统计时间窗的比值；和/或，

所述打盹程度的参数值包括以下任意一项或多项：打盹点头状态、打盹点头幅度、打盹点头次数、打盹点头频率、打盹点头持续时长；和/或，

所述闭眼程度的参数值包括以下任意一项或多项：闭眼次数、闭眼频率、闭眼持续时长、闭眼幅度、半闭眼次数、半闭眼频率、闭眼累计时长占统计时间窗的比值；和/或，

所述眨眼程度的参数值包括以下任意一项或多项：眨眼次数、眨眼频率、眨眼持续时长、眨眼累计时长占统计时间窗的比值；和/或，

所述打哈欠程度的参数值包括以下任意一项或多项：打哈欠状态、打哈欠次数、打哈欠持续时长、打哈欠频率。

可选地，在上述各实施例的方法中，根据所述用于表征驾驶员的分心状态的指标的参数值，确定驾驶员的分心状态的检测结果，包括：

在任意一项或多项所述用于表征驾驶员的分心状态的指标的参数值满足预定分心条件时，确定驾驶员的分心状态的检测结果为分心状态；和/或，

在所有所述用于表征驾驶员的分心状态的指标的参数值均不满足预定分心条件时，确定驾驶员的分心状态的检测结果为非分心状态。

可选地，在上述各实施例的方法中，所述预定分心条件包括多个分心等级条件；

所述在任意一项或多项所述用于表征驾驶员的分心状态的指标的参数值满足预定分心条件时，确定驾驶员的分心状态的检测结果为分心状态，包括：

根据所述用于表征驾驶员的分心状态的指标的参数值满足的分心等级条件，确定分心状态等级；

将确定的分心状态等级作为驾驶员的分心状态的检测结果。

可选地，在上述各实施例的方法中，根据所述用于表征驾驶员的疲劳状态的指标的参数值，确定驾驶员的疲劳状态的检测结果，包括：

在任意一项或多项所述用于表征驾驶员的疲劳状态的指标的参数值满足预定疲劳条件时，确定驾驶员的疲劳状态的检测结果为疲劳状态；和/或，

在所有所述用于表征驾驶员的疲劳状态的指标的参数值均不满足预定疲劳条件时，确定驾驶员的疲劳状态的检测结果为非疲劳状态。

可选地，在上述各实施例的方法中，所述预定疲劳条件包括多个疲劳等级条件；

所述在任意一项或多项所述用于表征驾驶员的疲劳状态的指标的参数值满足预定疲劳条件时，确定驾驶员的疲劳状态的检测结果为疲劳状态，包括：

根据所述用于表征驾驶员的疲劳状态的指标的参数值满足的疲劳等级条件，确定疲劳状态等级；

将确定的疲劳状态等级作为驾驶员的疲劳状态的检测结果。

可选地，在上述各实施例的方法中，还包括：

对所述驾驶员图像进行预定分心动作检测，确定是否出现预定分心动作；

若出现预定分心动作，根据一段时间内是否出现所述预定分心动作的确定结果，获取用于表征驾驶员的分心程度的指标的参数值；

根据所述用于表征驾驶员的分心程度的指标的参数值，确定驾驶员预定分心动作的检测结果。

可选地，在上述各实施例的方法中，所述预定分心动作包括以下任意一项或多项：抽烟动作，喝水动作，饮食动作，打电话动作，娱乐动作，化妆动作。

可选地，在上述各实施例的方法中，所述对驾驶员图像进行预定分心动作检测，确定是否出现预定分心动作，包括：

提取所述驾驶员图像的特征；

基于所述特征提取可能包括预定分心动作的多个候选框；

基于多个所述候选框确定动作目标框，其中，所述动作目标框包括人脸的局部区域和动作交互物；

基于所述动作目标框进行预定分心动作的分类检测，确定是否出现所述预定分心动作。

可选地，在上述各实施例的方法中，所述人脸局部区域包括以下任意一项或多项：嘴部区域，耳部区域，眼部区域；和/或，

所述动作交互物包括以下任意一项或多项：容器、烟、手机、食物、工具、饮料瓶、眼镜、口罩。

可选地，在上述各实施例的方法中，所述动作目标框还包括：手部区域。

可选地，在上述各实施例的方法中，所述对驾驶员图像进行预定分心动作检测，确定是否出现预定分心动作，包括：

经第八神经网络对所述驾驶员图像进行人脸检测，得到人脸检测框，并提取所述人脸检测框的特征信息；

经所述第八神经网络根据所述人脸检测框的特征信息确定是否出现抽烟动作。

可选地，在上述各实施例的方法中，所述对驾驶员图像进行预定分心动作检测，确定是否出现预定分心动作，包括：

经第九神经网络对所述驾驶员图像进行所述饮食动作/喝水动作/打电话动作/娱乐动作/化妆动作相应的预设目标对象检测，得到预设目标对象的检测框；所述预设目标对象包括：手部、嘴部、眼部、动作交互物；所述动作交互物包括以下任意一类或多类：容器、食物、电子设备、化妆品；

根据所述预设目标对象的检测框，确定是否出现预定分心动作；其中，是否出现预定分心动作的确定结果包括以下之一：未出现饮食动作/喝水动作/打电话动作/娱乐动作/化妆动作；出现饮食动作，出现喝水动作，出现打电话动作，出现娱乐动作，出现化妆动作。

可选地，在上述各实施例的方法中，所述根据所述预设目标对象的检测框，确定是否出现预定分心动作，包括：

根据是否检测到手部的检测框、嘴部的检测框、眼部的检测框和动作交互物的检测框，以及根据手部的检测框与动作交互物的检测框是否重叠、所述动作交互物的类型以及动作交互物的检测框与嘴部的检测框或眼部的检测框之间的距离是否满足预设条件，确定是否出现预定分心动作。

可选地，在上述各实施例的方法中，所述根据手部的检测框与动作交互物的检测框是否重叠、以及动作交互物的检测框与嘴部的检测框或眼部的检测框之间的位置关系是否满足预设条件，确定是否出现预定分心动作，包括：

若所述手部的检测框与所述动作交互物的检测框重叠，所述动作交互物的类型为容器或食物、且所述动作交互物的检测框与嘴部的检测框之间重叠，确定出现饮食动作、喝水动作或化妆动作；和/或，

若所述手部的检测框与所述动作交互物的检测框重叠，所述动作交互物的类型为电子设备，且所述动作交互物的检测框与嘴部的检测框之间的最小距离小于第一预设距离、或者所述动作交互物的检测框与眼部的检测框之间的最小距离小于第二预设距离，确定出现娱乐动作或打电话动作。

可选地，在上述各实施例的方法中，还包括：

若未同时检测到手部的检测框、嘴部的检测框和任一所述动作交互物的检测框，且未同时检测到手部的检测框、眼部的检测框和任一所述动作交互物的检测框，确定是否预定分心动作的确定结果为未检测到饮食动作、喝水动作、打电话动作、娱乐动作和化妆动作；和/或，

若手部的检测框与所述动作交互物的检测框未重叠，确定是否预定分心动作的确定结果为未检测到饮食动作、喝水动作、打电话动作、娱乐动作、化妆动作；和/或，

若所述动作交互物的类型为容器或食物、且所述动作交互物的检测框与嘴部的检测框之间未重叠，和/ 或，所述动作交互物的类型为电子设备、且所述动作交互物的检测框与嘴部的检测框之间的最小距离不小于第一预设距离、或者所述动作交互物的检测框与眼部的检测框之间的最小距离不小于第二预设距离，确定是否预定分心动作的确定结果为未检测到饮食动作、喝水动作、打电话动作、娱乐动作和化妆动作。

可选地，在上述各实施例的方法中，所述分心程度的参数值包括以下任意一项或多项：预定分心动作的次数、预定分心动作的持续时长、预定分心动作的频率。

可选地，在上述各实施例的方法中，若确定出现预定分心动作，还包括：

根据所述用于表征分心程度的指标的参数值满足的分心动作等级条件，确定分心动作等级；

将确定的分心动作等级作为驾驶员预定分心动作的检测结果。

可选地，在上述各实施例的方法中，还包括：

根据所述驾驶员状态的检测结果，进行报警和/或进行智能驾驶控制；其中，所述驾驶员状态的检测结果包括以下任意一项或多项：疲劳状态的检测结果，分心状态的检测结果，预定分心动作的检测结果。

可选地，在上述各实施例的方法中，所述根据驾驶员状态的检测结果，进行报警和/或进行智能驾驶控制，包括：

在驾驶员状态的检测结果满足预设报警条件时，输出与所述报警条件相应的提示/告警信息；和/或，

在驾驶员状态的检测结果满足预定驾驶模式切换条件时，将驾驶模式切换为自动驾驶模式。

可选地，在上述各实施例的方法中，所述在驾驶员状态的检测结果满足预设报警条件时，输出与所述报警条件相应的提示/告警信息，包括：

在疲劳状态的检测结果为疲劳状态时，输出与所述疲劳状态的检测结果相应的提示/告警信息；和/或，

在分心状态的检测结果为分心状态时，输出与所述分心状态的检测结果相应的提示/告警信息；和/或，

在出现预定分心动作时，输出与所述预定分心动作的检测结果相应的提示/告警信息；和/或，

在驾驶员状态的检测结果为疲劳状态、分心状态和出现预定分心动作中的任意两种或三种时，按照预设方式输出提示/告警信息。

可选地，在上述各实施例的方法中，还包括：

在输出与所述疲劳状态相应的提示/告警信息后的预设时间内，抑制掉与所述驾驶员状态的检测结果中其他检测结果相应的提示/告警信息；和/或，

在输出与所述分心状态相应的提示/告警信息后的预设时间内，抑制掉与所述驾驶员状态的检测结果中其他检测结果相应的提示/告警信息；和/或，

在输出与所述预定分心动作的检测结果相应的提示/告警信息后的预设时间内，抑制掉与所述驾驶员状态的检测结果中其他检测结果相应的提示/告警信息。

可选地，在上述各实施例的方法中，所述在驾驶员状态的检测结果为疲劳状态、分心状态和出现预定分心动作中的任意两种或三种时，按照预设方式输出提示/告警信息，包括：

在驾驶员状态的检测结果为疲劳状态和分心状态时，输出与所述疲劳状态的检测结果相应的提示/告警信息；或者，输出与所述分心状态的检测结果相应的提示/告警信息；或者，输出与所述疲劳状态的检测结果和分心状态的检测结果相应的提示/告警信息；和/或，

在驾驶员状态的检测结果为分心状态和检测到预定分心动作时，输出与所述分心状态的检测结果相应的提示/告警信息；或者，输出与所述预定分心动作的检测结果相应的提示/告警信息；或者，输出与所述分心状态的检测结果和所述预定分心动作的检测结果相应的提示/告警信息；和/或，

在驾驶员状态的检测结果为疲劳状态和检测到预定分心动作时，输出与所述疲劳状态的检测结果相应的提示/告警信息；或者，输出与检测到预定分心动作的检测结果相应的提示/告警信息；或者，输出与所述疲劳状态的检测结果和所述预定分心动作的检测结果相应的提示/告警信息；和/或，

在驾驶员状态的检测结果为疲劳状态、分心状态和出现预定分心动作时，输出与所述疲劳状态的检测结果相应的提示/告警信息；或者，输出与所述分心状态的检测结果相应的提示/告警信息；或者，输出与所述预定分心动作的检测结果相应的提示/告警信息；或者，输出与所述疲劳状态的检测结果和所述分心状态的检测结果相应的提示/告警信息；或者，输出与所述分心状态的检测结果和所述预定分心动作的检测结果相应的提示/告警信息；或者，输出与所述疲劳状态的检测结果和所述预定分心动作的检测结果相应的提示/告警信息；或者，输出与所述疲劳状态的检测结果、所述分心状态的检测结果和所述预定分心动作的检测结果相应的提示/告警信息。

可选地，在上述各实施例的方法中，在疲劳状态的检测结果为疲劳状态等级时，所述输出与所述疲劳状态的检测结果相应的提示/告警信息，包括：根据所述疲劳状态等级输出相应的提示或者告警信息；和/ 或，

在分心状态的检测结果为分心状态等级时，所述输出与所述分心状态的检测结果相应的提示/告警信息，包括：根据所述分心状态等级输出相应的提示或者告警信息；

在预定分心动作的检测结果为分心动作等级时，所述输出与所述预定分心动作的检测结果相应的提示/ 告警信息，包括：根据所述分心动作等级输出相应的提示或者告警信息。

可选地，在上述各实施例的方法中，所述在驾驶员状态的检测结果满足预定驾驶模式切换条件时，将驾驶模式切换为自动驾驶模式，包括：

在所述疲劳状态等级和/或所述分心状态等级和/或所述分心动作等级满足预定驾驶模式切换条件时，将驾驶模式切换为自动驾驶模式。

可选地，在上述各实施例的方法中，还包括：

通过红外摄像头进行图像采集，得到所述驾驶员图像。

可选地，在上述各实施例的方法中，所述通过红外摄像头进行图像采集，包括：

通过车辆内至少一个位置部署的所述红外摄像头进行图像采集。

可选地，在上述各实施例的方法中，所述至少一个位置包括以下任意一个或多个位置：仪表盘上方或附近位置，中控台上方或附近位置，A柱或附近位置，后视镜或附近位置。

可选地，在上述各实施例的方法中，所述通过红外摄像头进行图像采集，得到所述驾驶员图像，包括：

在所述车辆处于行驶状态时通过红外摄像头进行图像采集，获得所述驾驶员图像；和/或，

在所述车辆的行驶速度超过预设车速时通过红外摄像头进行图像采集，获得所述驾驶员图像；和/或，

在检测到所述车辆点火后通过红外摄像头进行图像采集，获得所述驾驶员图像；和/或，

在检测到所述车辆的启动指令时通过红外摄像头进行图像采集，获得所述驾驶员图像；和/或，

在检测到对所述车辆或所述车辆中部件或***的控制指令时通过红外摄像头进行图像采集，获得所述驾驶员图像。

根据本公开实施例的另一个方面，提供的一种驾驶状态检测装置，包括：

第一检测模块，用于对驾驶员图像进行头部姿态检测和眼部状态检测，得到头部姿态信息和眼部状态信息；

第一确定模块，用于根据所述头部姿态信息和所述眼部状态信息，确定驾驶员的疲劳状态和分心状态的检测结果。

可选地，在上述各实施例的装置中，还包括：

第二确定模块，用于根据基于所述头部姿态信息确定的所述驾驶员图像中驾驶员的头部位置信息，确定所述驾驶员的头部位置的偏离角度是否超出预设范围；

所述第一确定模块包括：

第一确定单元，用于在所述驾驶员的头部位置的偏离角度超出预设范围时，根据所述头部姿态信息和所述眼部状态信息，确定驾驶员的分心状态的检测结果；和/或，

第二确定单元，用于在所述驾驶员的头部位置的偏离角度未超出预设范围时，根据所述头部姿态信息和所述眼部状态信息，确定驾驶员的疲劳状态和分心状态的检测结果。

可选地，在上述各实施例的装置中，所述第一确定单元包括：

第一确定子单元，用于所述根据所述头部姿态信息和所述眼部状态信息，确定用于表征驾驶员的分心状态的指标的参数值；

第二确定子单元，用于根据用于表征驾驶员的分心状态的指标的参数值，确定驾驶员的分心状态的检测结果。

可选地，在上述各实施例的装置中，所述第二确定单元包括：

第三确定子单元，用于根据所述头部姿态信息和所述眼部状态信息，确定用于表征驾驶员的疲劳状态的指标的参数值；

第一确定子单元，用于根据所述头部姿态信息和所述眼部状态信息，确定用于表征驾驶员的分心状态的指标的参数值；

第四确定子单元，用于根据所述用于表征驾驶员的疲劳状态的指标的参数值，确定驾驶员的疲劳状态的检测结果；

第二确定子单元，用于根据所述用于表征驾驶员的分心状态的指标的参数值，确定驾驶员的分心状态的检测结果。

可选地，在上述各实施例的装置中，所述第一检测模块包括：

关键点检测单元，用于对所述驾驶员图像进行人脸关键点检测；

第一获取单元，用于根据检测到的所述人脸关键点获取头部姿态信息和眼部状态信息。

可选地，在上述各实施例的装置中，所述第一获取单元根据检测到的所述人脸关键点获取头部姿态信息时，用于经第一神经网络基于所述人脸关键点得到所述头部姿态信息。

可选地，在上述各实施例的装置中，所述第一获取单元根据检测到的所述人脸关键点获取眼部状态信息时，用于根据所述人脸关键点确定所述驾驶员图像中的眼部区域图像；基于第二神经网络对所述眼部区域图像进行上眼睑线和下眼睑线的检测；根据所述上眼睑线和下眼睑线之间的间隔确定所述驾驶员的眼睛睁合状态信息；其中，所述眼部状态信息包括：所述眼睛睁合状态信息。

可选地，在上述各实施例的装置中，所述第一获取单元根据检测到的所述人脸关键点获取眼部状态信息时，用于根据所述人脸关键点确定所述驾驶员图像中的眼部区域图像；基于第三神经网络对所述眼部区域图像进行睁闭眼的分类处理，得到睁眼或闭眼的分类结果；其中，所述眼部状态信息包括：睁眼状态或闭眼状态。

可选地，在上述各实施例的装置中，所述第一检测模块，还用于对驾驶员图像进行嘴部状态检测，得到嘴部状态信息；

所述第三确定子单元，用于根据所述头部姿态信息、所述眼部状态信息和所述嘴部状态信息，确定用于表征驾驶员的疲劳状态的指标的参数值。

可选地，在上述各实施例的装置中，所述第一检测模块中的第一获取单元还用于根据检测到的所述人脸关键点获取嘴部状态信息。

可选地，在上述各实施例的装置中，所述第一获取单元根据检测到的所述人脸关键点获取嘴部状态信息时，用于根据所述人脸关键点确定所述驾驶员图像中的嘴部区域图像；基于第四神经网络对所述嘴部区域图像进行上唇线和下唇线的检测；根据所述上唇线和下唇线之间的间隔确定所述驾驶员的嘴巴开合状态信息；其中，所述嘴部状态信息包括所述嘴巴开合状态信息。

可选地，在上述各实施例的装置中，所述第一获取单元根据检测到的所述人脸关键点获取嘴部状态信息时，用于根据所述人脸关键点确定所述驾驶员图像中的嘴部区域图像；基于第五神经网络对所述嘴部区域图像进行张闭嘴的分类处理，得到张嘴或闭嘴的分类结果；其中，所述嘴部状态信息包括张嘴状态或闭嘴状态。

可选地，在上述各实施例的装置中，所述第一确定子单元用于：

根据所述头部姿态信息确定所述驾驶员图像中驾驶员的头部位置，得到头部位置信息；根据一段时间内的所述头部位置信息，获取头部位置偏离程度的参数值；和/或，

根据所述头部姿态信息确定所述驾驶员图像中驾驶员的人脸朝向，得到人脸朝向信息；根据一段时间内的人脸朝向信息获取人脸朝向偏离程度的参数值；和/或，

根据所述头部姿态信息确定所述驾驶员图像中驾驶员的视线方向，得到视线方向信息，根据一段时间内的视线方向信息获取视线方向偏离程度的参数值；或者，根据所述人脸关键点确定所述驾驶员图像中的眼部区域图像，基于第六神经网络得到所述眼部区域图像中驾驶员的视线方向信息，根据一段时间内的视线方向信息获取视线方向偏离程度的参数值；和/或，

根据一段时间内的所述眼部状态信息，获取发呆程度的参数值。

可选地，在上述各实施例的装置中，所述第三确定子单元用于：

根据所述头部姿态信息确定所述驾驶员图像中驾驶员的头部位置，得到头部位置信息；根据一段时间内的所述头部位置信息，获取打盹程度的参数值；和/或，

根据一段时间内的所述眼部状态信息，获取闭眼程度的参数值；和/或，

根据一段时间内的所述眼部状态信息，获取眨眼程度的参数值；和/或，

根据一段时间内的所述嘴部状态信息，获取打哈欠程度的参数值。

可选地，在上述各实施例的装置中，所述用于表征驾驶员疲劳状态的指标包括以下至少一种：打盹程度、闭眼程度、眨眼程度、打哈欠程度；和/或，

所述用于表征驾驶员分心状态的指标包括以下至少一种：头部位置偏离程度、人脸朝向偏离程度、视线方向偏离程度、发呆程度。

可选地，在上述各实施例的装置中，所述第一确定子单元根据所述头部姿态信息确定所述驾驶员图像中驾驶员的头部位置，得到头部位置信息时，用于获取所述头部姿态信息中的俯仰角作为所述头部位置；和/或，

所述第一确定子单元根据所述头部姿态信息确定所述驾驶员图像中驾驶员的人脸朝向，得到人脸朝向信息时，用于获取所述头部姿态信息中的俯仰角和偏航角作为所述人脸朝向。

可选地，在上述各实施例的装置中，所述第一确定子单元根据所述头部姿态信息确定所述驾驶员图像中驾驶员的视线方向，得到视线方向信息时，用于根据所述人脸关键点中的眼睛关键点所定位的眼睛图像确定瞳孔边沿位置，并根据所述瞳孔边沿位置计算瞳孔中心位置；根据所述瞳孔中心位置与眼睛中心位置获取所述头部姿态信息对应头部姿态下的眼珠转角信息；根据所述头部姿态信息和所述眼珠转角信息确定所述驾驶员的视线方向，得到视线方向信息。

可选地，在上述各实施例的装置中，所述第一确定子单元根据所述人脸关键点中的眼睛关键点所定位的眼睛图像确定瞳孔边沿位置时，用于基于第七神经网络对根据所述人脸关键点分割出的所述图像中的眼睛区域图像进行瞳孔边沿位置的检测，并根据所述第七神经网络输出的信息获取瞳孔边沿位置。

可选地，在上述各实施例的装置中，所述第一确定子单元根据一段时间内的视线方向信息获取视线方向偏离程度的参数值时，用于根据一段时间内的视线方向信息相对于参考视线方向的偏离角度，获取视线方向偏离程度的参数值。

可选地，在上述各实施例的装置中，所述参考视线方向预先设定，或者，为基于所述驾驶员图像所在视频中的前N帧驾驶员图像确定的平均视线方向；其中，N为大于1的整数。

可选地，在上述各实施例的装置中，所述第一确定子单元根据一段时间内的所述眼部状态信息，获取发呆程度的参数值时，用于根据所述眼部状态信息，在所述驾驶员的眼睛处于睁眼状态且持续达到预设发呆时间时，确定所述驾驶员处于发呆状态；根据一段时间内的眼部状态信息，获取发呆程度的参数值；其中，所述一段时间包括所述预设发呆时间。

可选地，在上述各实施例的装置中，所述第三确定子单元根据一段时间内的所述头部位置信息，获取打盹程度的参数值时，用于根据所述头部位置信息，在所述驾驶员的头部位置相对于预设参考头部位置的偏离程度在第一预设时间内达到预设偏离范围、且在第二预设时间内恢复至所述预设参考头部位置时，确定所述驾驶员处于打盹状态；根据一段时间内的所述头部位置信息，获取打盹程度的参数值；其中，所述一段时间包括所述第一预设时间和所述第二预设时间。

可选地，在上述各实施例的装置中，所述第三确定子单元根据一段时间内的所述嘴部状态信息，获取打哈欠程度的参数值时，用于根据所述嘴部状态信息，在所述驾驶员的嘴巴由闭嘴状态变化到张嘴状态、再恢复到闭嘴状态的时间在预设时间范围内时，确定所述驾驶员完成一次打哈欠动作；根据一段时间内的嘴部状态信息，获取打哈欠程度的参数值；其中，所述一段时间包括所述驾驶员的嘴巴由闭嘴状态变化到张嘴状态、再恢复到闭嘴状态的时间。

可选地，在上述各实施例的装置中，所述头部位置偏离程度的参数值包括以下任意一项或多项：头部位置偏离状态，头部位置偏离方向，头部位置在所述头部位置偏离方向上的偏离角度，头部位置偏离持续时长，头部位置偏离频率；和/或，

所述人脸朝向偏离程度的参数值包括以下任意一项或多项：转头次数、转头持续时长、转头频率；和/ 或，

所述视线方向偏离程度的参数值包括以下任意一项或多项：视线方向偏离角度、视线方向偏离时长、视线方向偏离频率；和/或，

所述发呆程度的参数值包括以下任意一项或多项：睁眼幅度、睁眼持续时长、睁眼累计时长占统计时间窗的比值；和/或，

所述打盹程度的参数值包括以下任意一项或多项：打盹点头状态、打盹点头幅度、打盹点头次数、打盹点头频率、打盹点头持续时长；和/或，

所述闭眼程度的参数值包括以下任意一项或多项：闭眼次数、闭眼频率、闭眼持续时长、闭眼幅度、半闭眼次数、半闭眼频率、闭眼累计时长占统计时间窗的比值；和/或，

所述眨眼程度的参数值包括以下任意一项或多项：眨眼次数、眨眼频率、眨眼持续时长、眨眼累计时长占统计时间窗的比值；和/或，

所述打哈欠程度的参数值包括以下任意一项或多项：打哈欠状态、打哈欠次数、打哈欠持续时长、打哈欠频率。

可选地，在上述各实施例的装置中，所述第二确定子单元，用于在任意一项或多项所述用于表征驾驶员的分心状态的指标的参数值满足预定分心条件时，确定驾驶员的分心状态的检测结果为分心状态；和/或，在所有所述用于表征驾驶员的分心状态的指标的参数值均不满足预定分心条件时，确定驾驶员的分心状态的检测结果为非分心状态。

可选地，在上述各实施例的装置中，所述预定分心条件包括多个分心等级条件；

所述第二确定子单元在任意一项或多项所述用于表征驾驶员的分心状态的指标的参数值满足预定分心条件时，确定驾驶员的分心状态的检测结果为分心状态时，用于根据所述用于表征驾驶员的分心状态的指标的参数值满足的分心等级条件，确定分心状态等级；将确定的分心状态等级作为驾驶员的分心状态的检测结果。

可选地，在上述各实施例的装置中，所述第四确定子单元，用于在任意一项或多项所述用于表征驾驶员的疲劳状态的指标的参数值满足预定疲劳条件时，确定驾驶员的疲劳状态的检测结果为疲劳状态；和/或，在所有所述用于表征驾驶员的疲劳状态的指标的参数值均不满足预定疲劳条件时，确定驾驶员的疲劳状态的检测结果为非疲劳状态。

可选地，在上述各实施例的装置中，所述预定疲劳条件包括多个疲劳等级条件；

所述第四确定子单元所述在任意一项或多项所述用于表征驾驶员的疲劳状态的指标的参数值满足预定疲劳条件时，确定驾驶员的疲劳状态的检测结果为疲劳状态时，用于根据所述用于表征驾驶员的疲劳状态的指标的参数值满足的疲劳等级条件，确定疲劳状态等级；将确定的疲劳状态等级作为驾驶员的疲劳状态的检测结果。

可选地，在上述各实施例的装置中，还包括：

第二检测模块，用于对所述驾驶员图像进行预定分心动作检测，确定是否出现预定分心动作；

第一获取模块，用于在出现预定分心动作时，根据一段时间内是否出现所述预定分心动作的确定结果，获取用于表征驾驶员的分心程度的指标的参数值；

第三确定模块，用于根据所述用于表征驾驶员的分心程度的指标的参数值，确定驾驶员预定分心动作的检测结果。

可选地，在上述各实施例的装置中，所述预定分心动作包括以下任意一项或多项：抽烟动作，喝水动作，饮食动作，打电话动作，娱乐动作，化妆动作。

可选地，在上述各实施例的装置中，所述第二检测模块，用于提取所述驾驶员图像的特征；基于所述特征提取可能包括预定分心动作的多个候选框；基于多个所述候选框确定动作目标框，其中，所述动作目标框包括人脸的局部区域和动作交互物；基于所述动作目标框进行预定分心动作的分类检测，确定是否出现所述预定分心动作。

可选地，在上述各实施例的装置中，所述人脸局部区域包括以下任意一项或多项：嘴部区域，耳部区域，眼部区域；和/或，

所述动作交互物包括以下任意一项或多项：容器、烟、手机、食物、工具、饮料瓶、眼镜、口罩。

可选地，在上述各实施例的装置中，所述动作目标框还包括：手部区域。

可选地，在上述各实施例的装置中，所述第二检测模块，用于经第八神经网络对所述驾驶员图像进行人脸检测，得到人脸检测框，并提取所述人脸检测框的特征信息；经所述第八神经网络根据所述人脸检测框的特征信息确定是否出现抽烟动作。

可选地，在上述各实施例的装置中，所述第二检测模块，用于经第九神经网络对所述驾驶员图像进行所述饮食动作/喝水动作/打电话动作/娱乐动作/化妆动作相应的预设目标对象检测，得到预设目标对象的检测框，所述预设目标对象包括：手部、嘴部、眼部、动作交互物，所述动作交互物包括以下任意一类或多类：容器、食物、电子设备、化妆品；根据所述预设目标对象的检测框，确定是否出现预定分心动作；其中，是否出现预定分心动作的确定结果包括以下之一：未出现饮食动作/喝水动作/打电话动作/娱乐动作/化妆动作；出现饮食动作，出现喝水动作，出现打电话动作，出现娱乐动作，出现化妆动作。

可选地，在上述各实施例的装置中，所述第二检测模块根据所述预设目标对象的检测框，确定是否出现预定分心动作时，用于根据是否检测到手部的检测框、嘴部的检测框、眼部的检测框和动作交互物的检测框，以及根据手部的检测框与动作交互物的检测框是否重叠、所述动作交互物的类型以及动作交互物的检测框与嘴部的检测框或眼部的检测框之间的距离是否满足预设条件，确定是否出现预定分心动作。

可选地，在上述各实施例的装置中，所述第二检测模块根据手部的检测框与动作交互物的检测框是否重叠、以及动作交互物的检测框与嘴部的检测框或眼部的检测框之间的位置关系是否满足预设条件，确定是否出现预定分心动作时，用于：若所述手部的检测框与所述动作交互物的检测框重叠，所述动作交互物的类型为容器或食物、且所述动作交互物的检测框与嘴部的检测框之间重叠，确定出现饮食动作、喝水动作或化妆动作；和/或，若所述手部的检测框与所述动作交互物的检测框重叠，所述动作交互物的类型为电子设备，且所述动作交互物的检测框与嘴部的检测框之间的最小距离小于第一预设距离、或者所述动作交互物的检测框与眼部的检测框之间的最小距离小于第二预设距离，确定出现娱乐动作或打电话动作。

可选地，在上述各实施例的装置中，所述第二检测模块，还用于：若未同时检测到手部的检测框、嘴部的检测框和任一所述动作交互物的检测框，且未同时检测到手部的检测框、眼部的检测框和任一所述动作交互物的检测框，确定是否预定分心动作的确定结果为未检测到饮食动作、喝水动作、打电话动作、娱乐动作和化妆动作；和/或，若手部的检测框与所述动作交互物的检测框未重叠，确定是否预定分心动作的确定结果为未检测到饮食动作、喝水动作、打电话动作、娱乐动作、化妆动作；和/或，若所述动作交互物的类型为容器或食物、且所述动作交互物的检测框与嘴部的检测框之间未重叠，和/或，所述动作交互物的类型为电子设备、且所述动作交互物的检测框与嘴部的检测框之间的最小距离不小于第一预设距离、或者所述动作交互物的检测框与眼部的检测框之间的最小距离不小于第二预设距离，确定是否预定分心动作的确定结果为未检测到饮食动作、喝水动作、打电话动作、娱乐动作和化妆动作。

可选地，在上述各实施例的装置中，所述分心程度的参数值包括以下任意一项或多项：预定分心动作的次数、预定分心动作的持续时长、预定分心动作的频率。

可选地，在上述各实施例的装置中，还包括：

第四确定模块，用于根据所述用于表征分心程度的指标的参数值满足的分心动作等级条件，确定分心动作等级；

所述第三确定模块，用于将确定的分心动作等级作为驾驶员预定分心动作的检测结果。

可选地，在上述各实施例的装置中，还包括：

报警模块，用于根据所述驾驶员状态的检测结果，进行报警；和/或，

驾驶控制模块，用于根据所述驾驶员状态的检测结果，进行智能驾驶控制；

其中，所述驾驶员状态的检测结果包括以下任意一项或多项：疲劳状态的检测结果，分心状态的检测结果，预定分心动作的检测结果。

可选地，在上述各实施例的装置中，所述报警模块，用于在驾驶员状态的检测结果满足预设报警条件时，输出与所述报警条件相应的提示/告警信息；和/或，

所述驾驶控制模块，用于在驾驶员状态的检测结果满足预定驾驶模式切换条件时，将驾驶模式切换为自动驾驶模式。

可选地，在上述各实施例的装置中，所述报警模块，用于：在疲劳状态的检测结果为疲劳状态时，输出与所述疲劳状态的检测结果相应的提示/告警信息；和/或，在分心状态的检测结果为分心状态时，输出与所述分心状态的检测结果相应的提示/告警信息；和/或，在出现预定分心动作时，输出与所述预定分心动作的检测结果相应的提示/告警信息；和/或，在驾驶员状态的检测结果为疲劳状态、分心状态和出现预定分心动作中的任意两种或三种时，按照预设方式输出提示/告警信息。

可选地，在上述各实施例的装置中，所述报警模块，还用于：在所述报警模块输出与所述疲劳状态相应的提示/告警信息后的预设时间内，抑制掉与所述驾驶员状态的检测结果中其他检测结果相应的提示/告警信息；和/或，在输出与所述分心状态相应的提示/告警信息后的预设时间内，抑制掉与所述驾驶员状态的检测结果中其他检测结果相应的提示/告警信息；和/或，在输出与所述预定分心动作的检测结果相应的提示/ 告警信息后的预设时间内，抑制掉与所述驾驶员状态的检测结果中其他检测结果相应的提示/告警信息。

可选地，在上述各实施例的装置中，所述报警模块在驾驶员状态的检测结果为疲劳状态、分心状态和出现预定分心动作中的任意两种或三种时，按照预设方式输出提示/告警信息时，用于：

在驾驶员状态的检测结果为疲劳状态和分心状态时，输出与所述疲劳状态的检测结果相应的提示/告警信息；或者，输出与所述分心状态的检测结果相应的提示/告警信息；或者，输出与所述疲劳状态的检测结果和分心状态的检测结果相应的提示/告警信息；和/或，

在驾驶员状态的检测结果为分心状态和检测到预定分心动作时，输出与所述分心状态的检测结果相应的提示/告警信息；或者，输出与所述预定分心动作的检测结果相应的提示/告警信息；或者，输出与所述分心状态的检测结果和所述预定分心动作的检测结果相应的提示/告警信息；和/或，

在驾驶员状态的检测结果为疲劳状态和检测到预定分心动作时，输出与所述疲劳状态的检测结果相应的提示/告警信息；或者，输出与检测到预定分心动作的检测结果相应的提示/告警信息；或者，输出与所述疲劳状态的检测结果和所述预定分心动作的检测结果相应的提示/告警信息；和/或，

在驾驶员状态的检测结果为疲劳状态、分心状态和出现预定分心动作时，输出与所述疲劳状态的检测结果相应的提示/告警信息；或者，输出与所述分心状态的检测结果相应的提示/告警信息；或者，输出与所述预定分心动作的检测结果相应的提示/告警信息；或者，输出与所述疲劳状态的检测结果和所述分心状态的检测结果相应的提示/告警信息；或者，输出与所述分心状态的检测结果和所述预定分心动作的检测结果相应的提示/告警信息；或者，输出与所述疲劳状态的检测结果和所述预定分心动作的检测结果相应的提示/告警信息；或者，输出与所述疲劳状态的检测结果、所述分心状态的检测结果和所述预定分心动作的检测结果相应的提示/告警信息。

可选地，在上述各实施例的装置中，在疲劳状态的检测结果为疲劳状态等级时，所述报警模块输出与所述疲劳状态的检测结果相应的提示/告警信息时，用于根据所述疲劳状态等级输出相应的提示或者告警信息；和/或，

在分心状态的检测结果为分心状态等级时，所述报警模块输出与所述分心状态的检测结果相应的提示/ 告警信息时，用于根据所述分心状态等级输出相应的提示或者告警信息；

在预定分心动作的检测结果为分心动作等级时，所述报警模块输出与所述预定分心动作的检测结果相应的提示/告警信息时，用于根据所述分心动作等级输出相应的提示或者告警信息。

可选地，在上述各实施例的装置中，所述驾驶控制模块，用于在所述疲劳状态等级和/或所述分心状态等级和/或所述分心动作等级满足预定驾驶模式切换条件时，将驾驶模式切换为自动驾驶模式。

可选地，在上述各实施例的装置中，还包括：

红外摄像头，用于进行图像采集，得到所述驾驶员图像。

可选地，在上述各实施例的装置中，所述红外摄像头部署于车辆内的至少一个位置。

可选地，在上述各实施例的装置中，所述至少一个位置包括以下任意一个或多个位置：仪表盘上方或附近位置，中控台上方或附近位置，A柱或附近位置，后视镜或附近位置。

可选地，在上述各实施例的装置中，所述红外摄像头，用于：在所述车辆处于行驶状态时进行图像采集，获得所述驾驶员图像；和/或，在所述车辆的行驶速度超过预设车速时进行图像采集，获得所述驾驶员图像；和/或，在检测到所述车辆点火后进行图像采集，获得所述驾驶员图像；和/或，在检测到所述车辆的启动指令时进行图像采集，获得所述驾驶员图像；和/或，在检测到对所述车辆或所述车辆中部件或***的控制指令时进行图像采集，获得所述驾驶员图像。

根据本公开实施例的又一个方面，提供的一种驾驶员监控***，包括：

显示装置，用于显示驾驶员图像，以及驾驶员的疲劳状态和分心状态的检测结果；

驾驶员状态检测装置，用于对驾驶员图像进行头部姿态检测和眼部状态检测，得到头部姿态信息和眼部状态信息；根据所述头部姿态信息和所述眼部状态信息，确定驾驶员的疲劳状态和分心状态的检测结果。

可选地，在上述实施例的***中，所述驾驶员状态检测装置包括上述任一实施例所述的驾驶状态检测装置。

根据本公开实施例的又一个方面，提供的一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述任一实施例所述的驾驶状态检测方法。

根据本公开实施例的再一个方面，提供的一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述任一实施例所述的驾驶状态检测方法。

根据本公开实施例的再一个方面，提供的一种车辆，包括中控***，还包括：上述任一实施例所述的驾驶状态检测装置，或者上述任一实施例所述的驾驶员监控***。

可选地，在上述各实施例的车辆中，所述中控***，用于：

根据所述驾驶状态检测装置或者所述驾驶员监控***输出的驾驶员状态的检测结果，在驾驶员状态的检测结果满足预设报警条件时，调用所述车辆中的娱乐***或者所述车辆外接的娱乐***输出与所述报警条件相应的提示/告警信息；和/或，

在驾驶员状态的检测结果满足预定驾驶模式切换条件时，将驾驶模式切换为自动驾驶模式，并在自动驾驶模式下对所述车辆进行自动驾驶控制。

可选地，在上述各实施例的车辆中，所述中控***，还用于在接收到切换为人工驾驶的驾驶指令时，将驾驶模式切换为人工驾驶模式。

可选地，在上述各实施例的车辆中，还包括：

娱乐***，用于根据所述中控***的控制指令，输出与所述报警条件相应的提示/告警信息；和/或，根据所述中控***的控制指令，调整提示/告警信息的预警效果、或者娱乐项目的播放效果。

可选地，在上述各实施例的车辆中，还包括：

至少一个红外摄像头，用于进行图像采集。

可选地，在上述各实施例的车辆中，所述红外摄像头部署在所述车辆内的至少一个位置，所述至少一个位置包括以下任意一个或多个位置：仪表盘上方或附近位置，中控台上方或附近位置，A柱或附近位置，后视镜或附近位置。

基于本公开上述实施例提供的驾驶状态检测方法和装置、驾驶员监控***、车辆、电子设备、介质，可以对驾驶员图像进行头部姿态检测和眼部状态检测，根据检测到的头部姿态信息和眼部状态信息，确定驾驶员的疲劳状态和分心状态的检测结果。本公开实施例通过对驾驶员图像进行头部姿态检测和眼部状态检测，实现了对驾驶员疲劳状态和分心状态的共同、实时检测，以便于在驾驶员的驾驶状态较差时及时采取相应的措施，提高驾驶安全性，降低道路交通事故发生率。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

附图说明

构成说明书的一部分的附图描述了本公开的实施例，并且连同描述一起用于解释本公开的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：

图1为本公开驾驶状态检测方法一个实施例的流程图。

图2为本公开驾驶状态检测方法另一个实施例的流程图。

图3为本公开实施例中对驾驶员图像进行预定分心动作检测一个实施例的流程图。

图4为本公开驾驶状态检测装置一个实施例的结构示意图。

图5为本公开驾驶状态检测装置另一个实施例的结构示意图。

图6为本公开驾驶员监控***一个实施例的结构示意图。

图7为本公开电子设备一个应用实施例的结构示意图。

图8为本公开车辆一个实施例的结构示意图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

应理解，本发明实施例中的“第一”、“第二”等术语仅仅是为了区分，而不应理解成对本发明实施例的限定。

还应理解，在本发明实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。

还应理解，对于本发明实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。

还应理解，本发明对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本发明实施例可以应用于终端设备、计算机***、服务器等电子设备，其可与众多其它通用或专用计算***环境或配置一起操作。适于与终端设备、计算机***、服务器等电子设备一起使用的众所周知的终端设备、计算***、环境和/或配置的例子包括但不限于：个人计算机***、服务器计算机***、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的***、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机***﹑大型计算机***和包括上述任何***的分布式云计算技术环境，等等。

终端设备、计算机***、服务器等电子设备可以在由计算机***执行的计算机***可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机***/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算***存储介质上。

本公开各实施例中的神经网络，分别可以是一个多层神经网络(即：深度神经网络)，例如多层的卷积神经网络，例如可以是LeNet、AlexNet、GoogLeNet、VGG、ResNet等任意神经网络模型。各神经网络可以采用相同类型和结构的神经网络，也可以采用不同类型和结构的神经网络。本公开实施例不对此进行限制。

图1为本公开驾驶状态检测方法一个实施例的流程图。本公开实施例的驾驶状态检测方法可以通过一个装置(本公开实施例可以称为：驾驶状态检测装置)或者一个***(本公开实施例称为：驾驶员监控***)实现。如图1所示，该实施例的驾驶状态检测方法包括：

102，对驾驶员图像进行头部姿态检测和眼部状态检测，得到头部姿态信息和眼部状态信息。

在其中一些实施方式中，该操作102可以包括：对驾驶员图像进行人脸关键点检测；根据检测到的人脸关键点获取头部姿态信息和眼部状态信息。

其中，在一些可选示例中，根据检测到的人脸关键点获取头部姿态信息时，例如可以经第一神经网络基于人脸关键点得到头部姿态信息。

在其中一些实施方式中，头部姿态可以通过正常驾驶状态下归一化球坐标系(摄像头所在的相机坐标系)中头部的姿态角/欧拉角表示，姿态角/欧拉角包括：俯仰角θ(pitch)、偏航角ψ(yaw)、滚转角Φ(roll)，头部姿态信息即包括：(pitch，yaw，roll)。其中，俯仰角用于表示竖直方向上人脸低头或仰头的角度，偏航角用于表示水平方向上人脸侧脸(即转头)的角度，滚转角用于表示竖直方向上人脸歪头(即靠向肩膀) 的角度。

在人脸大小一定的情况下，以一种可能的应用场景为例，拍摄驾驶员图像的摄像头位于驾驶员位正前方、正对驾驶员位置时，偏航角度、俯仰角度、滚转角越小，人脸越正，驾驶状态员的驾驶状态更好，可以设置偏航角、俯仰角、滚转角均为0时，为基准头部姿态，驾驶员处于最佳的驾驶状态。当俯仰角和/或偏航角大于一个预设角度阈值、且持续时间大于一个预设时间阈值时可以确定驾驶员分心状态的检测结果为分心状态(即注意力不集中)。当俯仰角由0度在一个预设较短时间内变化到一定角度然后再恢复到0度时(对应于头部由正常位置突然向下低头、然后又恢复到正常位置的打盹点头动作)可以确定驾驶员疲劳状态的检测结果为疲劳状态(即疲劳驾驶级别)。对于摄像头位于其他位置的应用场景，可以基于该位置时摄像头与摄像头位于驾驶员位正前方、正对驾驶员位置时的夹角为基准头部姿态，来确定头部姿态信息，本领域技术人员基于本公开实施例的记载可以知悉具体实现，此处不再赘述。

其中，第一神经网络可以基于深度学习技术预先训练完成。本实施例中，利用第一神经网络基于人脸关键点获取头部姿态信息，可以提高获取的头部姿态信息的精确度，从而提升驾驶员状态的检测结果的准确性。

另外，也可以通过一个预先训练好的神经网络进行人脸关键点检测，从而提升人脸关键点检测结果的精确性，进一步提高头部姿态信息的精确度，从而提升驾驶员状态的检测结果的准确性。

在一些可选示例中，根据检测到的人脸关键点获取眼部状态信息，例如可以包括：根据人脸关键点确定驾驶员图像中的眼部区域图像；基于第二神经网络对眼部区域图像进行上眼睑线和下眼睑线的检测；根据上眼睑线和下眼睑线之间的间隔确定驾驶员的眼睛睁合状态信息。其中，眼睛睁合状态即睁眼状态、半闭眼状态或闭眼状态，上述眼部状态信息包括该眼睛睁合状态信息。在一个可选示例中，可以先利用人脸关键点中的眼睛关键点(例如，眼睛关键点在驾驶员图像中的坐标信息)对驾驶员图像中的眼睛进行定位，以获得眼部区域图像，并利用该眼部区域图像获得上眼睑线和下眼睑线，通过计算上眼睑线和下眼睑线之间的间隔，获得眼睛睁合状态信息。或者，在另一个可选示例中，也可以对驾驶员图像进行人脸关键点检测，直接利用所检测出的人脸关键点中的眼睛关键点进行计算，从而根据计算结果获得眼睛睁合状态信息。该眼睛睁合状态信息可以用于进行驾驶员的闭眼检测，如检测驾驶员是否半闭眼(“半”表示非完全闭眼的状态，如瞌睡状态下的眯眼等)、是否闭眼、闭眼次数、闭眼幅度等。眼睛睁合状态信息可以可选的为对眼睛睁开的高度进行归一化处理后的信息。

其中，第二神经网络可以基于深度学习技术预先训练完成。本实施例中，利用第二神经网络进行上眼睑线和下眼睑线的检测，可以实现上眼睑线和下眼睑线位置的精确检测，从而提高眼睛睁合状态信息的准确性、以提升驾驶员状态的检测结果的准确性。

另外，在另一些可选示例中，根据检测到的人脸关键点获取眼部状态信息，例如可以包括：根据人脸关键点确定驾驶员图像中的眼部区域图像；基于第三神经网络对该眼部区域图像进行睁闭眼的分类处理，得到睁眼或闭眼的分类结果，对应于表示眼睛处于睁眼状态或者闭眼状态，上述眼部状态信息包括该睁眼或闭眼的分类结果对应的睁眼状态或者闭眼状态。例如，第三神经网络可以针对输入的眼部区域图像进行特征提取和睁闭眼的分类处理，输出睁眼概率(取值范围可以为0～1)或者闭眼概率(取值范围可以为0～1) 这一分类结果，基于该睁眼概率或者闭眼概率可以确定眼睛处于睁眼状态或闭眼状态，从而得到驾驶员的眼睛状态。

其中，第三神经网络可以基于深度学习技术，直接用睁眼样本图像和闭眼样本图像训练得到，训练完成的第三神经网络可以针对输入的图像直接得到睁眼或闭眼的分类结果，而无需进行眼睛睁合程度的计算。本实施例中，基于第三神经网络得到眼部区域图像中驾驶员的眼睛状态，可以提高眼部状态信息的准确性和检测效率，从而提升驾驶员状态的检测结果的准确性和检测效率。

104，根据上述头部姿态信息和眼部状态信息，确定驾驶员的疲劳状态和分心状态的检测结果。

在其中一些实施方式中，该操作104可以包括：根据头部姿态信息和眼部状态信息，确定用于表征驾驶员的疲劳状态的指标的参数值和用于表征驾驶员的分心状态的指标的参数值；根据用于表征驾驶员的疲劳状态的指标的参数值，确定驾驶员的疲劳状态的检测结果，以及根据用于表征驾驶员的分心状态的指标的参数值，确定驾驶员的分心状态的检测结果。

基于本公开上述实施例提供的驾驶状态检测方法，可以对驾驶员图像进行头部姿态检测和眼部状态检测，根据检测到的头部姿态信息和眼部状态信息，确定驾驶员的疲劳状态和分心状态的检测结果。本公开实施例通过对驾驶员图像进行头部姿态检测和眼部状态检测，实现了对驾驶员疲劳状态和分心状态的共同、实时检测，以便于在驾驶员的驾驶状态较差时及时采取相应的措施，提高驾驶安全性，降低道路交通事故发生率。

另外，在本公开驾驶状态检测方法的另一个实施例中，在上述操作102之后，还可以包括：

根据基于头部姿态信息确定的驾驶员图像中驾驶员的头部位置信息，确定驾驶员的头部位置的偏离角度是否超出预设范围；

若驾驶员的头部位置的偏离角度未超出预设范围，执行上述操作104，根据头部姿态信息和眼部状态信息，确定驾驶员的疲劳状态和分心状态的检测结果；和/或，

若驾驶员的头部位置的偏离角度超出预设范围，根据头部姿态信息和眼部状态信息，确定驾驶员的分心状态的检测结果。

在其中一些实施方式中，上述根据头部姿态信息和眼部状态信息，确定驾驶员的分心状态的检测结果，可以包括：根据头部姿态信息和眼部状态信息，确定用于表征驾驶员的分心状态的指标的参数值；根据用于表征驾驶员的分心状态的指标的参数值，确定驾驶员的分心状态的检测结果。

另外，在本公开上述各驾驶状态检测方法实施例中，还可以包括：对驾驶员图像进行嘴部状态检测，得到嘴部状态信息。相应地，该实施例中，可以根据头部姿态信息、眼部状态信息和嘴部状态信息，确定用于表征驾驶员的疲劳状态的指标的参数值。

在其中一些实施方式中，对驾驶员图像进行嘴部状态检测，得到嘴部状态信息，可以包括：对驾驶员图像进行人脸关键点检测；根据检测到的人脸关键点获取嘴部状态信息。

在一些可选示例中，根据检测到的人脸关键点获取嘴部状态信息，例如可以包括：根据人脸关键点确定驾驶员图像中的嘴部区域图像；基于第四神经网络对嘴部区域图像进行上唇线和下唇线的检测；根据上唇线和下唇线之间的间隔确定驾驶员的嘴巴开合状态信息。其中，嘴巴开合状态可以包括嘴巴的张开状态 (即张嘴状态)、闭合状态(即闭嘴状态)、半闭合状态(即半张嘴状态)等。上述嘴部状态信息包括该嘴巴开合状态信息。例如，在一个可选示例中，可以先利用人脸关键点中的嘴巴关键点(例如，嘴巴关键点在驾驶员图像中的坐标信息)对驾驶员图像中的嘴巴进行定位，通过剪切等方式可以获得嘴部区域图像，并利用该嘴部区域图像获得上唇线和下唇线，通过计算上唇线和下唇线之间的间隔，获得嘴巴开合状态信息。在另一个可选示例中，可以直接利用人脸关键点中的嘴部关键点进行计算，从而根据计算结果获得嘴巴开合状态信息。

该嘴巴开合状态信息可以用于进行驾驶员的打哈欠检测，如检测驾驶员是否打哈欠、打哈欠次数等。嘴巴开合状态信息可以可选的为对嘴巴张开的高度进行归一化处理后的信息。

其中，第四神经网络可以基于深度学习技术预先训练完成。本实施例中，利用第四神经网络进行上唇线和下唇线的检测，可以实现上唇线和下唇线位置的精确检测，从而提高嘴巴开合状态信息的准确性、以提升驾驶员状态的检测结果的准确性。

在另一些可选示例中，根据检测到的人脸关键点获取嘴部状态信息，例如可以包括：根据人脸关键点确定驾驶员图像中的嘴部区域图像；基于第五神经网络对该嘴部区域图像进行张闭嘴的分类处理，得到张嘴或闭嘴的分类结果，对应于表示嘴巴处于张嘴状态或者闭嘴状态；其中，上述嘴部状态信息包括张嘴状态或闭嘴状态。例如，第五神经网络可以针对输入的嘴部区域图像进行特征提取和张闭嘴的分类处理，输出张嘴(即嘴巴开状态)概率(取值范围可以为0～1)或者闭嘴(即嘴巴闭状态)概率(取值范围可以为 0～1)，基于该张嘴概率或者闭嘴概率可以确定嘴巴处于张嘴状态或者闭嘴状态，从而得到驾驶员的嘴部状态信息。

其中，第五神经网络可以基于深度学习技术，直接用张嘴样本图像和闭嘴样本图像预先训练得到，训练完成的第五神经网络可以针对输入的图像直接得到张嘴或闭嘴的分类结果，而无需进行上唇线和下唇线的检测和二者之间间隔的计算。本实施例中，基于第五神经网络得到嘴部区域图像中驾驶员的嘴巴状态信息，可以提高嘴部状态信息的准确性和检测效率，从而提升驾驶员状态的检测结果的准确性和检测效率。

图2为本公开驾驶状态检测方法另一个实施例的流程图。如图2所示，该实施例的驾驶状态检测方法包括：

202，对驾驶员图像进行头部姿态检测、眼部状态检测和嘴部状态检测，得到头部姿态信息、眼部状态信息和嘴部状态信息。

204，根据基于头部姿态信息确定的驾驶员图像中驾驶员的头部位置信息，确定驾驶员的头部位置的偏离角度是否超出预设范围。

若驾驶员的头部位置的偏离角度超出预设范围，执行操作206。否则，若驾驶员的头部位置的偏离角度未超出预设范围，执行操作210。

206，根据头部姿态信息和眼部状态信息，确定用于表征驾驶员的分心状态的指标的参数值。

208，根据用于表征驾驶员的分心状态的指标的参数值，确定驾驶员的分心状态的检测结果。

之后，不执行本实施例的后续流程。

210，根据上述头部姿态信息和眼部状态信息，确定用于表征驾驶员的分心状态的指标的参数值；以及根据上述头部姿态信息、所述眼部状态信息和所述嘴部状态信息，确定用于表征驾驶员的疲劳状态的指标的参数值。

212，根据用于表征驾驶员的疲劳状态的指标的参数值，确定驾驶员的疲劳状态的检测结果；以及根据用于表征驾驶员的分心状态的指标的参数值，确定驾驶员的分心状态的检测结果。

在上述实施例中，在头部位置的偏离角度超出预设范围时，驾驶员有可能会处于分心状态，因此仅对驾驶员进行分心状态检测、而不进行疲劳状态检测，便可实现驾驶状态检测的效果，且可以节省由于疲劳状态检测所需的计算资源，提高驾驶状态检测的效率。在头部位置的偏离角度未超出预设范围时，驾驶员有可能会处于分心状态和/或疲劳状态，因此对驾驶员同时进行分心状态检测和疲劳状态检测，可实现驾驶员状态的全面检测，以保证驾驶的安全性。

在其中一些实施方式中，其中，用于表征驾驶员疲劳状态的指标例如可以包括但不限于：打盹程度、闭眼程度、眨眼程度、打哈欠程度，等等；和/或，用于表征驾驶员分心状态的指标例如可以包括但不限于：头部位置偏离程度、人脸朝向偏离程度、视线方向偏离程度、发呆程度，等等。

在其中一些实施方式中，上述各实施例中，根据头部姿态信息和眼部状态信息，确定用于表征驾驶员的分心状态的指标的参数值，可以包括：

根据头部姿态信息确定驾驶员图像中驾驶员的头部位置，得到头部位置信息，例如，可以获取头部姿态信息中的俯仰角作为头部位置；根据一段时间内的头部位置信息，获取头部位置偏离程度的参数值。其中，头部位置偏离程度的参数值例如可以包括但不限于以下任意一项或多项：头部位置偏离状态，头部位置偏离方向，头部位置在头部位置偏离方向上的偏离角度，头部位置偏离持续时长，头部位置偏离频率；和/或，

根据头部姿态信息确定驾驶员图像中驾驶员的人脸朝向，得到人脸朝向信息，该人脸朝向信息例如可以包括人脸转动的方向以及角度，这里的转动的方向可以为向左转动、向右转动、向下转动和/或者向上转动等，例如，可以获取头部姿态信息中的俯仰角和偏航角作为人脸朝向；根据一段时间内的人脸朝向信息获取人脸朝向偏离程度的参数值。其中，人脸朝向偏离程度的参数值例如可以包括但不限于以下任意一项或多项：转头次数、转头持续时长、转头频率，等等；和/或，

根据头部姿态信息确定驾驶员图像中驾驶员的视线方向，得到视线方向信息，根据一段时间内的视线方向信息获取视线方向偏离程度的参数值；或者，根据人脸关键点确定驾驶员图像中的眼部区域图像，基于第六神经网络得到眼部区域图像中驾驶员的视线方向信息，根据一段时间内的视线方向信息获取视线方向偏离程度的参数值。其中，视线方向偏离程度的参数值例如可以包括但不限于以下任意一项或多项：视线方向偏离角度、视线方向偏离时长、视线方向偏离频率，等等；和/或，

根据一段时间内的眼部状态信息，获取发呆程度的参数值。其中，发呆程度的参数值例如可以包括但不限于以下任意一项或多项：睁眼幅度、睁眼持续时长、睁眼累计时长占统计时间窗的比值，等等。

本实施例通过检测驾驶员图像的任意一项或多项用于表征驾驶员分心状态的指标的参数值，并据此确定驾驶员分心状态的检测结果，以判断驾驶员是否集中注意力驾驶，通过对驾驶员分心状态的指标进行量化，将驾驶专注程度量化为头部位置偏离程度、人脸朝向偏离程度、视线方向偏离程度、发呆程度的指标中的至少一个，有利于及时客观的衡量驾驶员的专注驾驶状态。

在其中一些实施方式中，上述各实施例中，根据头部姿态信息和眼部状态信息，确定用于表征驾驶员的疲劳状态的指标的参数值和用于表征驾驶员的分心状态的指标的参数值，包括：

根据头部姿态信息确定驾驶员图像中驾驶员的头部位置，得到头部位置信息，例如，可以获取头部姿态信息中的俯仰角作为头部位置；根据一段时间内的头部位置信息，获取头部位置偏离程度的参数值。其中，头部位置偏离程度的参数值例如可以包括但不限于以下任意一项或多项：头部位置偏离状态，头部位置偏离方向，头部位置在头部位置偏离方向上的偏离角度，头部位置偏离持续时长，头部位置偏离频率；和/或，

根据头部姿态信息确定驾驶员图像中驾驶员的人脸朝向，得到人脸朝向信息，例如，可以获取头部姿态信息中的俯仰角和偏航角作为人脸朝向；根据一段时间内的人脸朝向信息获取人脸朝向偏离程度的参数值。其中，人脸朝向偏离程度的参数值例如可以包括但不限于以下任意一项或多项：转头次数、转头持续时长、转头频率，等等；和/或，

根据头部姿态信息确定驾驶员图像中驾驶员的视线方向，得到视线方向信息，根据一段时间内的视线方向信息获取视线方向偏离程度的参数值；或者，根据人脸关键点确定驾驶员图像中的眼部区域图像，基于第六神经网络得到眼部区域图像中驾驶员的视线方向信息，根据一段时间内的视线方向信息获取视线方向偏离程度的参数值。其中，视线方向偏离程度的参数值例如可以包括但不限于以下任意一项或多项：视线方向偏离角度、视线方向偏离时长、视线方向偏离频率，等等；和/或，

根据一段时间内的眼部状态信息，获取发呆程度的参数值。其中，发呆程度的参数值例如可以包括但不限于以下任意一项或多项：睁眼幅度、睁眼持续时长、睁眼累计时长占统计时间窗的比值，等等；和/或，

根据头部姿态信息确定驾驶员图像中驾驶员的头部位置，得到头部位置信息；根据一段时间内的头部位置信息，获取打盹程度的参数值。其中，打盹程度的参数值例如可以包括但不限于以下任意一项或多项：打盹点头状态、打盹点头幅度、打盹点头次数、打盹点头频率、打盹点头持续时长，等等；和/或，

根据一段时间内的眼部状态信息，获取闭眼程度的参数值。其中，闭眼程度的参数值例如可以包括但不限于以下任意一项或多项：闭眼次数、闭眼频率、闭眼持续时长、闭眼幅度、半闭眼次数、半闭眼频率、闭眼累计时长占统计时间窗的比值，等等；和/或，

根据一段时间内的眼部状态信息，获取眨眼程度的参数值。本公开实施例中，根据眼部状态信息，眼睛由睁眼状态、到闭眼状态、再到睁眼状态的过程，可以认为完成一次眨眼动作，一次眨眼动作所需时长例如可以为0.2s～1s左右。其中，眨眼程度的参数值例如可以包括但不限于以下任意一项或多项：眨眼次数、眨眼频率、眨眼持续时长、眨眼累计时长占统计时间窗的比值，等等；和/或，

根据一段时间内的嘴部状态信息，获取打哈欠程度的参数值。其中，打哈欠程度的参数值例如可以包括但不限于以下任意一项或多项：打哈欠状态、打哈欠次数、打哈欠持续时长、打哈欠频率，等等。

在上述实施例中，可以基于深度学习技术获取头部姿态信息，根据该头部姿态信息确定驾驶员图像中驾驶员的头部位置、人脸朝向和视线方向，提高了头部位置信息、人脸朝向信息和视线方向信息的准确性，使得基于头部姿态信息确定的用于表征驾驶员状态的指标的参数值更精确，从而有助于提升驾驶员状态的检测结果的准确性。

其中，头部位置信息可以用于确定驾驶员的头部位置是否正常，如确定驾驶员是否低头、是否仰头、是否歪头或者是否转头等。头部位置信息可选的可以通过头部的俯仰角、偏航角和滚转角确定。人脸朝向信息可以用于确定驾驶员的人脸方向是否正常，如确定驾驶员是否侧脸或者是否回头等。人脸朝向信息可选的可以为驾驶员人脸正前方与驾驶员所驾驶的车辆正前方之间的夹角。上述视线方向信息可以用于确定驾驶员的视线方向是否正常，如确定驾驶员是否目视前方等，视线方向信息可以用于判断驾驶员的视线是否发生了偏离现象等。视线方向信息可选的可以为驾驶员的视线与驾驶员所驾驶的车辆正前方之间的夹角。

在一个可选示例中，在判断出人脸朝向信息大于第一朝向，大于第一朝向的这一现象持续了N1帧(例如，持续了9帧或者10帧等)，则确定驾驶员出现了一次长时间大角度转头现象，可以记录一次长时间大角度转头，也可以记录本次转头持续时长；在判断出人脸朝向信息不大于第一朝向、大于第二朝向，在不大于第一朝向、大于第二朝向的这一现象持续了N1帧(N1为大于0的整数，例如，持续了9帧或者10帧等)，则确定驾驶员出现了一次长时间小角度转头现象，可以记录一次小角度转头偏离，也可以记录本次转头持续时长。

在一个可选示例中，在判断出视线方向信息和车辆正前方之间的夹角大于第一夹角，大于第一夹角的这一现象持续了N2帧(例如，持续了8帧或9帧等)，则确定驾驶员出现了一次视线严重偏离现象，可以记录一次视线严重偏离，也可以记录本次视线严重偏离持续时长；在判断出视线方向信息和车辆正前方之间的夹角不大于第一夹角、大于第二夹角，在不大于第一夹角、大于第二夹角的这一现象持续了N2帧(N2 为大于0的整数，例如，持续了9帧或10帧等)，则确定驾驶员出现了一次视线偏离现象，可以记录一次视线偏离，也可以记录本次视线偏离持续时长。

在一个可选示例中，上述第一朝向、第二朝向、第一夹角、第二夹角、N1以及N2的取值可以根据实际情况设置，本公开不限制取值的大小。

在上述实施例中，可以基于深度学习技术获取眼部状态信息，根据该眼部状态信息确定闭眼程度的参数值、发呆程度的参数值和眨眼程度的参数值，提高了闭眼程度的参数值、发呆程度的参数值和眨眼程度的参数值的准确性，使得基于眼部状态信息确定的用于表征驾驶员状态的指标的参数值更精确，从而有助于提升驾驶员状态的检测结果的准确性。

在上述实施例中，可以基于深度学习技术获取嘴部状态信息，根据该嘴部状态信息确定用于表征打哈欠程度的参数值，提高了打哈欠程度的参数值的准确性，使得基于嘴部状态信息确定的用于表征驾驶员状态的指标的参数值更精确，从而有助于提升驾驶员状态的检测结果的准确性。

在上述实施例中，第六神经网络可以基于深度学习技术，预先利用样本图像训练得到，训练完成后的第六神经网络可以直接针对输入的图像输出视线方向信息，提高视线方向信息的准确性，从而提升驾驶员状态的检测结果的准确性。

其中，可以采用多种方式对第六神经网络进行训练方法，本公开对此不作限制。例如，在其中一种方式中，可以根据拍摄样本图像的摄像头以及该样本图像中的瞳孔确定第一视线方向，该样本图像至少包括眼部图像；经第六神经网络检测样本图像的视线方向，得到第一检测视线方向；根据第一视线方向和第一检测视线方向，训练第六神经网络。再如，在其中一种方式中，确定样本图像中的瞳孔参考点在第一相机坐标系下的第一坐标，以及确定样本图像中的角膜参考点在第一相机坐标系下的第二坐标，该样本图像中至少包括眼部图像；根据第一坐标和第二坐标确定样本图像的第二视线方向；经第六神经网络对样本图像进行视线方向检测，得到第二检测视线方向；根据第二视线方向和所述第二检测视线方向训练第六神经网络。

在其中一些可选示例中，根据头部姿态信息确定驾驶员图像中驾驶员的视线方向，得到视线方向信息，可以包括：根据人脸关键点中的眼睛关键点所定位的眼睛图像确定瞳孔边沿位置，并根据瞳孔边沿位置计算瞳孔中心位置；根据瞳孔中心位置与眼睛中心位置获取头部姿态信息对应头部姿态下的眼珠转角信息；根据头部姿态信息和眼珠转角信息确定驾驶员的视线方向，得到视线方向信息。

其中，根据人脸关键点中的眼睛关键点所定位的眼睛图像确定瞳孔边沿位置，可以包括：基于第七神经网络对根据人脸关键点分割出的图像中的眼睛图像进行瞳孔边沿位置的检测，并根据该第七神经网络输出的信息获取瞳孔边沿位置。

作为一个可选示例，可以从驾驶员图像中剪切并放大的眼睛图像，并将该剪切放大后的眼睛图像提供给用于瞳孔定位的第七神经网络进行瞳孔关键点检测、输出检测到的瞳孔关键点，根据第七神经网络输出的瞳孔关键点获取到瞳孔边沿位置，通过对瞳孔边沿位置进行计算(例如，计算圆心位置)，即可获得瞳孔中心位置。

作为一个可选示例，可以基于上述上眼睑线和下眼睑线获取到眼睛中心位置，例如，将上眼睑线和下眼睑线的所有关键点的坐标信息进行相加，并除以上眼睑线和下眼睑线的所有关键点的数量，将相除后获得的坐标信息作为眼睛中心位置。当然，也可以采用其他方式获取眼睛中心位置，例如，针对检测到的人脸关键点中的眼睛关键点进行计算，从而获得眼睛中心位置；本公开不限制获取眼睛中心位置的实现方式。

本实施例通过在瞳孔关键点检测的基础上来获取瞳孔中心位置，可以获取到更为准确的瞳孔中心位置；通过在眼睑线定位的基础上来获取眼睛中心位置，可以获取到更为准确的眼睛中心位置，从而在利用瞳孔中心位置和眼睛中心位置来确定视线方向时，可以获得较为准确的视线方向信息。另外，通过利用瞳孔关键点检测的方式来定位瞳孔中心位置，并利用瞳孔中心位置和眼睛中心位置来确定视线方向，使确定视线方向的实现方式在具有准确性，还兼具有易于实现的特点。

在一个可选示例中，本公开可以采用现有的神经网络来实现瞳孔边沿位置的检测以及眼睛中心位置的检测。

其中，第七神经网络可以基于深度学习技术预先训练完成。本实施例中，利用第七神经网络进行瞳孔边沿位置的检测，可以实现瞳孔边沿位置的精确检测，从而提高视线方向信息的准确性。

在一个可选示例中，根据一段时间内的视线方向信息获取视线方向偏离程度的参数值时，可以根据一段时间内的视线方向信息相对于参考视线方向的偏离角度，获取视线方向偏离程度的参数值。

其中，参考视线方向可以预先设定；或者，也可以以基于驾驶员图像所在视频中的前N帧驾驶员图像确定的平均视线方向为参考视线方向。其中，N为大于1的整数。

本公开实施例中，在眼睛处于睁眼状态且持续一定时间时，可以认为处于发呆状态。在一个可选示例中，根据一段时间内的眼部状态信息，获取发呆程度的参数值，可以包括：根据上述眼部状态信息，在驾驶员的眼睛处于睁眼状态且持续达到预设发呆时间时，确定驾驶员处于发呆状态；根据一段时间内的眼部状态信息，获取发呆程度的参数值。其中，该一段时间包括上述预设发呆时间。

本公开实施例中，头部由正常头部位置突然向下低头、然后又恢复到正常头部位置(即，头部姿态信息中的俯仰角由正常驾驶状态时的0度在一个预设较短时间内变化到一定角度然后再恢复到0度时)的过程，可以看作一次打盹点头。在一个可选示例中，根据一段时间内的头部位置信息，获取打盹程度的参数值，可以包括：根据头部位置信息，在驾驶员的头部位置相对于预设参考头部位置的偏离程度在第一预设时间内达到预设偏离范围、且在第二预设时间内恢复至预设参考头部位置时，确定驾驶员处于打盹状态；根据一段时间内的头部位置信息，获取打盹程度的参数值；其中，一段时间包括第一预设时间和第二预设时间。

本公开实施例中，嘴巴由闭合状态、到张开状态、再到闭合状态的过程，可以认为完成一次打哈欠动作，一次打哈欠动作所需时长通常大于400ms。在一个可选示例中，根据一段时间内的嘴部状态信息，获取打哈欠程度的参数值，可以包括：根据嘴部状态信息，在驾驶员的嘴巴由闭嘴状态变化到张嘴状态、再恢复到闭嘴状态的时间在预设时间范围内时，确定驾驶员完成一次打哈欠动作；根据一段时间内的嘴部状态信息，获取打哈欠程度的参数值。其中，该一段时间包括上述驾驶员的嘴巴由闭嘴状态变化到张嘴状态、再恢复到闭嘴状态的时间。

在其中一些实施方式中，根据用于表征驾驶员疲劳状态的指标的参数值，确定驾驶员疲劳状态的检测结果，可以包括：在任意一项或多项用于表征驾驶员疲劳状态的指标的参数值满足预定疲劳条件时，确定驾驶员疲劳状态的检测结果为疲劳状态；和/或，在所有用于表征驾驶员疲劳状态的指标的参数值均不满足预定疲劳条件时，确定驾驶员疲劳状态的检测结果为非疲劳状态。

其中，上述预定疲劳条件可以包括多个疲劳等级条件。相应地，上述在任意一项或多项用于表征驾驶员疲劳状态的指标的参数值满足预定疲劳条件时，确定驾驶员疲劳状态的检测结果为疲劳状态，包括：根据用于表征驾驶员疲劳状态的指标的参数值满足的疲劳等级条件，确定疲劳状态等级；将确定的疲劳状态等级作为驾驶员疲劳状态的检测结果。

该实施例中，驾驶员疲劳状态的检测结果表示为疲劳驾驶程度，该疲劳驾驶程度例如可以包括：正常驾驶级别(即非疲劳状态)以及疲劳驾驶级别(即疲劳状态等级)；其中的疲劳驾驶级别可以为一个疲劳状态等级，也可以被划分为多个不同的疲劳状态等级，例如，上述疲劳驾驶级别可以被划分为：提示疲劳级别(也可以称为轻度疲劳级别)和警告疲劳级别(也可以称为重度疲劳级别)；当然，疲劳驾驶程度也可以被划分为更多级别，例如，轻度疲劳级别、中度疲劳级别以及重度疲劳级别等。本公开不限制疲劳驾驶程度所包括的不同疲劳状态等级。

在一个可选示例中，疲劳驾驶程度所包含的每一个疲劳状态等级均对应有疲劳等级条件，可以将用于表征驾驶员疲劳状态的指标的参数值满足的疲劳等级条件所对应的疲劳状态等级、或者不满足所有疲劳等级条件的非疲劳状态确定为疲劳驾驶程度。

在一个可选示例中，正常驾驶级别(即非疲劳状态)对应的预设条件(即不满足预定疲劳条件)可以包括：

条件20a、不存在半闭眼以及闭眼现象；

条件20b，不存在打哈欠现象；

在上述条件20a、条件20b均满足的情况下，驾驶员当前处于正常驾驶级别(即非疲劳状态)。

在一个可选示例中，提示疲劳级别对应的疲劳等级条件可以包括：

条件20c、存在半闭眼现象；

条件20d、存在打哈欠现象；

在上述条件20c、条件20d中的任一条件满足的情况下，驾驶员当前处于提示疲劳级别。

在一个可选示例中，警告疲劳级别对应的疲劳等级条件可以包括：

条件20d、存在闭眼现象或者在一段时间内的闭眼次数达到一预设次数或者在一段时间内的闭眼时间达到一预设时间；

条件20e、在一段时间内的打哈欠的次数达到一预设次数；

在上述条件20d、条件20e中的任一条件满足的情况下，驾驶员当前处于警告疲劳级别。

在其中一些实施方式中，根据用于表征驾驶员分心状态的指标的参数值，确定驾驶员分心状态的检测结果，可以包括：在任意一项或多项用于表征驾驶员分心状态的指标的参数值满足预定分心条件时，确定驾驶员分心状态的检测结果为分心状态；和/或，在所有用于表征驾驶员分心状态的指标的参数值均不满足预定分心条件时，确定驾驶员分心状态的检测结果为非分心状态。

其中，上述预定分心条件可以包括多个分心等级条件。相应地，上述在任意一项或多项用于表征驾驶员分心状态的指标的参数值满足预定分心条件时，确定驾驶员分心状态的检测结果为分心状态，包括：根据用于表征驾驶员分心状态的指标的参数值满足的分心等级条件，确定分心状态等级；将确定的分心状态等级作为驾驶员分心状态的检测结果。

该实施例中，驾驶员分心状态的检测结果可以表示为分心驾驶程度，该分心驾驶程度例如可以包括：驾驶员注意力集中(驾驶员注意力未分散，非分心状态)，驾驶员注意力分散(分心状态)。例如，若视线方向偏离角度、人脸朝向偏离角度、头部位置的偏离角度均小于第一预设角度，睁眼持续时长小于第一预设时长，为驾驶员注意力集中(驾驶员注意力未分散，非分心状态)。其中的驾驶员注意力分散级别例如可以包括：驾驶员注意力轻度分散，驾驶员注意力中度分散，驾驶员注意力严重分散等。其中的驾驶员注意力分散级别可以通过用于表征驾驶员分心状态的指标的参数值所满足的分心等级条件确定。例如，若视线方向偏离角度人脸朝向偏离角度和头部位置的偏离角度任一不小于预设角度，且持续时间不大于第一预设时长、且小于第二预设时长，或者睁眼持续时长不大于第一预设时长、且小于第二预设时长，为驾驶员注意力轻度分散；若视线方向偏离角度和人脸朝向偏离角度任一不小于预设角度，且持续时间不大于第二预设时长、且小于第三预设时长，或者睁眼持续时长不大于第二预设时长、且小于第三预设时长，为驾驶员注意力中度分散；若视线方向偏离角度和人脸朝向偏离角度任一不小于预设角度，且持续时间不小于第三预设时长，或者睁眼持续时长不小于第三预设时长，为驾驶员注意力重度分散。

图3为本公开驾驶状态检测方法又一个实施例的流程图。相对于上述图1或图2所示，该实施例的驾驶状态检测方法还包括对驾驶员图像进行预定分心动作检测的相关操作，如图3所示，该对驾驶员图像进行预定分心动作检测的实施例包括：

302，对驾驶员图像进行预定分心动作检测，确定是否出现预定分心动作。

本公开实施例中的预定分心动作，可以是任意可能分散驾驶员的注意力的分心动作，例如抽烟动作、喝水动作、饮食动作、打电话动作、娱乐动作、化妆动作等。其中，饮食动作例如吃水果、零食等食物；娱乐动作例如发信息、玩游戏、K歌等任意借助于电子设备执行的动作。其中的电子设备例如手机终端、掌上电脑、游戏机等。

若出现预定分心动作，执行操作304。否则，若未出现预定分心动作，不执行本实施例的后续流程。

304，根据一段时间内是否出现预定分心动作的确定结果，获取用于表征驾驶员的分心程度的指标的参数值。

其中，分心程度的参数值例如可以包括但不限于以下任意一项或多项：预定分心动作的次数、预定分心动作的持续时长、预定分心动作的频率，等等。例如，抽烟动作的次数、持续时长、频率；喝水动作的次数、持续时长、频率；打电话动作的次数、持续时长、频率；等等。

306，根据上述用于表征驾驶员的分心程度的指标的参数值，确定驾驶员预定分心动作的检测结果。

在其中一些实施方式中，操作302中，对驾驶员图像进行预定分心动作检测，确定是否出现预定分心动作，可以包括：

提取驾驶员图像的特征；

基于特征提取可能包括预定分心动作的多个候选框；

基于多个候选框确定动作目标框，其中，动作目标框包括人脸的局部区域和动作交互物，或者还可以进一步选择性地包括手部区域。其中，人脸局部区域例如可以包括但不限于以下任意一项或多项：嘴部区域，耳部区域，眼部区域，等等；和/或，动作交互物例如可以包括但不限于以下任意一项或多项：容器、烟、手机、食物、工具、饮料瓶、眼镜、口罩，等等；

基于动作目标框进行预定分心动作的分类检测，确定是否出现预定分心动作。

在另一些实施方式中，操作302中，对驾驶员图像进行预定分心动作检测，确定是否出现预定分心动作，可以包括：对驾驶员图像进行预定分心动作相应的目标对象检测，得到目标对象的检测框；根据目标对象的检测框，确定是否出现预定分心动作。

本实施例提供了对驾驶员进行预定分心动作检测的实现方案，通过检测预定分心动作相应的目标对象、根据检测到的目标对象的检测框确定是否出现预定分心动作，从而判断驾驶员是否分心，有助于获取准确的驾驶员预定分心动作检测的结果，从而有助于提高驾驶状态检测结果的准确性。

例如，预定分心动作为抽烟动作时，上述对驾驶员图像进行预定分心动作检测，确定是否出现预定分心动作可以包括：经第八神经网络对驾驶员图像进行人脸检测，得到人脸检测框，并提取人脸检测框的特征信息；经该第八神经网络根据人脸检测框的特征信息确定是否出现抽烟动作。

又如，预定分心动作为饮食动作/喝水动作/打电话动作/娱乐动作(即：饮食动作和/或喝水动作和/或打电话动作和/或娱乐动作)/化妆动作时，上述对驾驶员图像进行预定分心动作检测，确定是否出现预定分心动作可以包括：经第九神经网络对驾驶员图像进行饮食动作/喝水动作/打电话动作/娱乐动作/化妆动作相应的预设目标对象检测，得到预设目标对象的检测框，其中的预设目标对象包括：手部、嘴部、眼部、动作交互物；动作交互物例如可以包括但不限于以下任意一类或多类：容器、食物、电子设备，等等；根据预设目标对象的检测框确定是否出现预定分心动作，是否出现预定分心动作的确定结果可以包括以下之一：未出现饮食动作/喝水动作/打电话动作/娱乐动作，出现饮食动作，出现喝水动作，出现打电话动作，出现娱乐动作，化妆动作。

在一些可选示例中，预定分心动作为饮食动作/喝水动作/打电话动作/娱乐动作(即：饮食动作和/或喝水动作和/或打电话动作和/或娱乐动作)/化妆动作时，根据预设目标对象的检测框，确定是否出现预定分心动作，可以包括：根据是否检测到手部的检测框、嘴部的检测框、眼部的检测框和动作交互物的检测框，以及根据手部的检测框与动作交互物的检测框是否重叠、动作交互物的类型以及动作交互物的检测框与嘴部的检测框或眼部的检测框之间的距离是否满足预设条件，确定是否出现预定分心动作。

可选地，若手部的检测框与动作交互物的检测框重叠，动作交互物的类型为容器或食物、且动作交互物的检测框与嘴部的检测框之间重叠，确定出现饮食动作、喝水动作或化妆动作；和/或，若手部的检测框与动作交互物的检测框重叠，动作交互物的类型为电子设备，且动作交互物的检测框与嘴部的检测框之间的最小距离小于第一预设距离、或者动作交互物的检测框与眼部的检测框之间的最小距离小于第二预设距离，确定出现娱乐动作或打电话动作。

另外，若未同时检测到手部的检测框、嘴部的检测框和任一动作交互物的检测框，且未同时检测到手部的检测框、眼部的检测框和任一动作交互物的检测框，确定是否出现预定分心动作确定结果为未检测到饮食动作、喝水动作、打电话动作、娱乐动作和化妆动作；和/或，若手部的检测框与动作交互物的检测框未重叠，确定是否出现分心动作的确定结果为未检测到饮食动作、喝水动作、打电话动作、娱乐动作和化妆动作；和/或，若动作交互物的类型为容器或食物、且动作交互物的检测框与嘴部的检测框之间未重叠，和/或，动作交互物的类型为电子设备、且动作交互物的检测框与嘴部的检测框之间的最小距离不小于第一预设距离、或者动作交互物的检测框与眼部的检测框之间的最小距离不小于第二预设距离，确定是否预定分心动作的确定结果为未检测到饮食动作、喝水动作、打电话动作、娱乐动作和化妆动作。

在上述示例中，可以由第八神经网络、第九神经网络对驾驶员图像进行预定分心动作检测，并输出出现各种预定分心动作的概率，可以选取大于预设概率阈值且概率值最高的分心动作作为预定分心动作的检测结果，若各种预定分心动作的概率均低于预设概率阈值，可以认为未检测到预定分心动作。

另外，在上述对驾驶员图像进行预定分心动作检测的实施例中，还可以包括：若确定出现预定分心动作，提示检测到的分心动作，例如，检测到抽烟动作时，提示检测到抽烟；检测到喝水动作时，提示检测到喝水；检测到打电话动作时，提示检测到打电话，以提醒驾驶员集中注意力驾驶。

另外，在上述对驾驶员图像进行预定分心动作检测的实施例中，若确定出现预定分心动作，还可以包括：

根据用于表征分心程度的指标的参数值满足的分心动作等级条件，确定分心动作等级；

将确定的分心动作等级作为驾驶员预定分心动作的检测结果。

本实施例中，驾驶员预定分心动作的检测结果可以包括：未出现预定分心动作(即未检测到预定分心动作，也可以称为专注驾驶级别)，出现预定分心动作(即检测到预定分心动作)。另外，上述驾驶员预定分心动作的检测结果也可以为分心动作等级，例如，提示分心级别(也可以称为轻度分心级别)和警告分心级别(也可以称为重度分心级别)；当然，分心动作等级也可以被划分为更多级别，例如：未分心级别，轻度分心级别、中度分心级别以及重度分心级别等。当然，本公开各实施例的分心动作等级也可以按照其他情况划分，不限制为上述级别划分情况。

其中的分心动作等级可以通过用于表征分心程度的指标的参数值所满足的分心动作等级条件确定。例如，驾驶员预定分心动作的检测结果为未出现预定分心动作；若确定出现预定分心动作，检测到预定分心动作的持续时间小于第一预设时长、且频率小于第一预设频率，分心动作等级为轻度分心级别；若检测到预定分心动作的持续时间大于第一预设时长，和/或频率大于第一预设频率，分心动作等级为重度分心级别。

另外，在本公开上述各实施例中，还可以包括：根据驾驶员状态的检测结果，进行报警和/或进行智能驾驶控制。其中，驾驶员状态的检测结果包括以下任意一项或多项：疲劳状态的检测结果，分心状态的检测结果，预定分心动作的检测结果。

在其中一些实施方式中，根据驾驶员状态的检测结果，进行报警和/或进行智能驾驶控制，可以包括：

在驾驶员状态的检测结果满足预设报警条件时，输出与报警条件相应的提示/告警信息。例如，通过声 (如语音或者响铃等)/光(亮灯或者灯光闪烁等)/震动等方式提示驾驶员，以便于提醒驾驶员注意，促使驾驶员将被分散的注意力回归到驾驶上或者促使驾驶员进行休息等，以实现安全驾驶，避免发生道路交通事故；和/或，

在驾驶员状态的检测结果满足预定驾驶模式切换条件时，将驾驶模式切换为自动驾驶模式，以实现安全驾驶，避免发生道路交通事故。

在本实施例中，根据驾驶员状态的检测结果，在满足预设报警条件时输出与报警条件相应的提示/告警信息，可以提醒驾驶员保持正常驾驶状态，以进行安全驾驶，避免发生道路交通事故。在满足预定驾驶模式切换条件时将驾驶模式切换为自动驾驶模式，通过自动驾驶模式实现车辆的安全驾驶，以避免发生道路交通事故。

在其中一些可选示例中，在驾驶员状态的检测结果满足预设报警条件时，输出与报警条件相应的提示/ 告警信息，可以包括：

在疲劳状态的检测结果为疲劳状态时，输出与疲劳状态的检测结果相应的提示/告警信息。其中，在驾驶员疲劳状态的检测结果为疲劳状态等级时，具体根据疲劳状态等级输出相应的提示或者告警信息；和/或，

在分心状态的检测结果为分心状态时，输出与分心状态的检测结果相应的提示/告警信息。其中，在驾驶员分心状态的检测结果为分心状态等级时，具体根据分心状态等级输出相应的提示或者告警信息；和/或，

在预定分心动作的检测结果为出现预定分心动作时，输出与预定分心动作的检测结果相应的提示/告警信息。其中，在预定分心动作的检测结果为分心动作等级时，具体根据分心动作等级输出相应的提示或者告警信息；和/或，

在驾驶员疲劳状态的检测结果为疲劳状态、分心状态和检测到预定分心动作中的任意两种或三种时，按照预设方式输出提示/告警信息。例如：

在驾驶员状态的检测结果为疲劳状态和分心状态时，输出与疲劳状态的检测结果相应的提示/告警信息；或者，输出与分心状态的检测结果相应的提示/告警信息；或者，输出与疲劳状态的检测结果和分心状态的检测结果相应的提示/告警信息；和/或，

在驾驶员状态的检测结果为分心状态和出现预定分心动作时，输出与分心状态的检测结果相应的提示/ 告警信息；或者，输出与预定分心动作的检测结果相应的提示/告警信息；或者，输出与分心状态的检测结果和预定分心动作的检测结果相应的提示/告警信息；和/或，

在驾驶员状态的检测结果为疲劳状态和检测到预定分心动作时，输出与疲劳状态的检测结果相应的提示/告警信息；或者，输出与预定分心动作的检测结果相应的提示/告警信息；或者，输出与疲劳状态的检测结果和预定分心动作的检测结果相应的提示/告警信息；和/或，

在驾驶员状态的检测结果为疲劳状态、分心状态和检测到预定分心动作时，输出与疲劳状态的检测结果相应的提示/告警信息；或者，输出与分心状态的检测结果相应的提示/告警信息；或者，输出与预定分心动作的检测结果相应的提示/告警信息；或者，输出与疲劳状态的检测结果和分心状态的检测结果相应的提示/告警信息；或者，输出与分心状态的检测结果和预定分心动作的检测结果相应的提示/告警信息；或者，输出与疲劳状态的检测结果和预定分心动作的检测结果相应的提示/告警信息；或者，输出与疲劳状态的检测结果、分心状态的检测结果和预定分心动作的检测结果相应的提示/告警信息。

例如，基于上述实施例，在疲劳状态的检测结果为疲劳状态时，输出与疲劳状态的检测结果相应的提示/告警信息，可以包括：

基于头部位置信息发现驾驶员在做打盹点头动作，确定驾驶员疲劳状态的检测结果为疲劳状态，输出疲劳提示信息。如果驾驶员一直在做打盹点头动作，则驾驶员的疲劳程度会持续加深(即疲劳状态等级提高)，疲劳程度依次为轻度疲劳级别、中度疲劳级别直至重度疲劳级别，每隔Xs输出一次疲劳报警信息，直至驾驶员疲劳状态的检测结果为非疲劳状态，即驾驶员恢复正常驾驶状态；

基于眼部状态信息发现驾驶员的双眼闭眼持续时长达到一定时长或眨眼频率达到一定数值，确定驾驶员疲劳状态的检测结果为疲劳状态，输出疲劳提示信息。如果驾驶员的双眼闭眼持续时长持续增长或眨眼频率一直过高，则驾驶员的疲劳程度会持续加深(即疲劳状态等级提高)，疲劳程度依次为轻度疲劳级别、中度疲劳级别直至重度疲劳级别，每隔X秒输出一次疲劳报警信息，直至驾驶员疲劳状态的检测结果为非疲劳状态，即驾驶员恢复正常驾驶状态；

基于嘴部状态信息，发现驾驶员在做打哈欠动作，确定驾驶员疲劳状态的检测结果为疲劳状态，输出疲劳提示信息。如果驾驶员一直在做打哈欠动作，则驾驶员的疲劳程度会持续加深(即疲劳状态等级提高)，疲劳程度依次为轻度疲劳级别、中度疲劳级别直至重度疲劳级别，每隔X秒输出一次疲劳报警信息，直至驾驶员疲劳状态的检测结果为非疲劳状态，即驾驶员恢复正常驾驶状态；

基于头部位置信息、眼部状态信息、嘴部状态信息，如果发现驾驶员存在打盹点头、双眼闭眼持续时长达到一定时长、眨眼频率达到一定数值、打哈欠等四种行为中两种或两种以上状态，则判定驾驶员处于重度疲劳级别，每隔X秒输出一次疲劳报警信息，直至驾驶员疲劳状态的检测结果为非疲劳状态，即驾驶员恢复正常驾驶状态。

例如，基于上述实施例，在分心状态的检测结果为分心状态时，输出与分心状态的检测结果相应的提示/告警信息，可以包括：

基于头部位置信息，如果驾驶员头部位置偏离角度超出预设范围，且偏离时间超过Y秒，确定驾驶员分心状态的检测结果为分心状态，输出分心提示信息。随着驾驶员的头部位置偏离程度超出预设范围的偏离时间持续增加，驾驶员的分心程度会持续加深(即分心状态等级提高)，分心程度依次为驾驶员注意力轻度分散，驾驶员注意力中度分散，驾驶员注意力严重分散等，每隔X秒输出一次分心报警信息，直至驾驶员分心状态的检测结果为非分心状态，即驾驶员恢复正常驾驶状态；

基于头部位置信息和视线方向信息，如果驾驶员头部位置偏离角度未超出预设范围，但视线方向偏离角度超出预设视线安全范围、且持续时间超过Y秒，确定驾驶员分心状态的检测结果为分心状态，输出分心提示信息。随着视线方向偏离角度超出预设视线安全范围的持续时间增加，驾驶员的分心程度会持续加深(即分心状态等级提高)，分心程度依次为驾驶员注意力轻度分散，驾驶员注意力中度分散，驾驶员注意力严重分散等，每隔X秒输出一次分心报警信息，直至驾驶员分心状态的检测结果为非分心状态，即驾驶员恢复正常驾驶状态；

基于头部位置信息、视线方向信息和眼睛睁合状态信息，如果驾驶员头部位置偏离角度未超出预设范围、且视线方向偏离角度未超出预设视线安全范围，但检测到驾驶员处于发呆状态，确定驾驶员分心状态的检测结果为分心状态，输出分心提示信息。驾驶员的分心程度会持续加深(即分心状态等级提高)，分心程度依次为驾驶员注意力轻度分散，驾驶员注意力中度分散，驾驶员注意力严重分散等，每隔X秒输出一次分心报警信息，直至驾驶员分心状态的检测结果为非分心状态，即驾驶员恢复正常驾驶状态。

可选地，在上述实施例中，还可以包括：

在输出与疲劳状态相应的提示/告警信息后的预设时间内，抑制掉与驾驶员状态的检测结果中其他检测结果相应的提示/告警信息(例如，与分心状态相应的提示/告警信息，与预定分心动作的检测结果相应的提示/告警信息)；和/或，

在输出与分心状态相应的提示/告警信息后的预设时间内，抑制掉与驾驶员状态的检测结果中其他检测结果相应的提示/告警信息(例如，与疲劳状态相应的提示/告警信息，与预定分心动作的检测结果相应的提示/告警信息)；和/或，

在输出与预定分心动作的检测结果相应的提示/告警信息后的预设时间内，抑制掉与驾驶员状态的检测结果中其他检测结果相应的提示/告警信息(例如，与分心状态相应的提示/告警信息，与疲劳状态相应的提示/告警信息)。

在上述实施例中，在输出一种驾驶员状态的提示/告警信息后的预设时间内，抑制掉与其他检测结果相应的提示/告警信息，即可以实现提示驾驶员安全驾驶的目的，又可以避免重复输出多种提示/告警信息干扰驾驶员正常驾驶，从而提升驾驶的安全性。

在其中一些实施方式中，在驾驶员状态的检测结果满足预定驾驶模式切换条件时，将驾驶模式切换为自动驾驶模式，可以包括：在疲劳状态等级和/或分心状态等级和/或分心动作等级满足预定驾驶模式切换条件时，将驾驶模式切换为自动驾驶模式。

另外，在本公开各实施例中，确定驾驶员状态的检测结果之后，还可以输出驾驶员状态的检测结果，例如，在本地输出驾驶员状态的检测结果和/或远程输出驾驶员状态的检测结果。其中，本地输出驾驶员状态的检测结果即通过驾驶状态检测装置或者驾驶员监控***输出驾驶员状态的检测结果，或者向车辆中的中控***输出驾驶员状态的检测结果，以便车辆基于该驾驶员状态的检测结果对车辆进行智能驾驶控制。远程输出驾驶员状态的检测结果，例如可以是向云服务器或管理节点发送驾驶员状态的检测结果，以便由云服务器或管理节点进行驾驶员状态的检测结果的收集、分析和/或管理，或者基于该驾驶员状态的检测结果对车辆进行远程控制。

进一步地，在上述实施例中，还可以将驾驶状态的检测结果存储在数据库中该驾驶员的用户信息中，对该驾驶员的驾驶状态检测结果进行记录，以便于后续对驾驶员的驾驶状态检测结果进行查阅，或者对驾驶员的驾驶行为习惯进行分析、统计等。

另外，在本公开驾驶状态检测方法的又一个实施例中，还可以包括：通过红外摄像头进行图像采集，例如，通过车辆内至少一个位置部署的红外摄像头进行图像采集，得到驾驶员图像。

本公开实施例中的驾驶员图像通常为通过红外摄像头(包括近红外摄像头等)针对驾驶室摄取到的视频中的图像帧。

其中的红外摄像头的波长可以包括940nm或者850num。其中的红外摄像头可以设置在车辆驾驶室内任意可以拍摄到驾驶员的位置，例如，可以将红外摄像头部署在以下任意一个或多个位置：仪表盘上方或附近位置，中控台上方或附近位置，A柱或附近位置，后视镜或附近位置。例如，在一些可选示例中，红外摄像头可以设置在仪表盘上方(如正上方位置)，朝向正前方位置；可以设置在中控台上方(如正中间位置)，朝向正前方位置；还可以设置在A柱上(如可以贴在靠近A柱的玻璃上)，朝向驾驶员面部；还可以设置在后视镜上(如可以贴在后视镜上方的玻璃上)，朝向驾驶员面部。其中，红外摄像头设置于仪表盘上方、中控台上方的位置时，可以根据摄像头的视角和驾驶员的位置确定其具***置，例如设置于仪表盘上方的位置时，可以是红外摄像头朝向驾驶员，以保证摄像头视角不被方向盘遮挡；设置于中控台上方的位置时，如果摄像头的视角足够大，则可以针对后方，保证驾驶员在摄像机视野内，如果视角不够大，可以朝向驾驶员，以保证驾驶员出现在红外摄像头的视角中。

由于驾驶员所在区域(如车内或者驾驶室等)的光线往往较复杂，而红外摄像头所摄取的驾驶员图像的质量往往会优于普通摄像头所摄取的驾驶员图像的质量，尤其是在夜晚或者阴天或者隧道内等外部光线较暗环境下，红外摄像头所摄取到驾驶员图像通常明显优于普通摄像头所摄取的驾驶员图像的质量，从而有利于提高驾驶员分心状态检测和分心动作检测的准确性，进而有利于提高驾驶状态监控的准确性。

本公开实施例中，采用易部署、易使用的红外摄像头实时获取驾驶员图像，摄像头安装位置多样，在车辆的中控台、仪表盘、A柱、内后视镜等均可，利用基于深度学习技术的神经网络实现驾驶员疲劳状态检测和分心状态检测，鲁棒性好，应用范围广，在白天、黑夜、强光、弱光等场景下均能实现较好的驾驶状态检测效果。

可选地，在实际应用中，摄像头获取的原始图像由于受到各种条件的限制和随机干扰，往往不能直接使用，在本公开的一些可选示例中，可以对红外摄像头拍摄的驾驶员图像进行灰度化预处理，将红绿蓝(RGB) 3通道的图像转成灰度图像，再进行驾驶员的身份认证、分心状态检测和分心动作检测等操作，以提高身份认证、分心状态检测和分心动作检测的准确性。

在其中一些实施方式中，例如可以在如下场景中，通过红外摄像头进行图像采集，得到驾驶员图像：

在车辆处于行驶状态时通过红外摄像头进行图像采集，获得驾驶员图像；和/或，

在车辆的行驶速度超过预设车速时通过红外摄像头进行图像采集，获得驾驶员图像；和/或，

在检测到车辆点火后通过红外摄像头进行图像采集，获得驾驶员图像；和/或，

在检测到车辆的启动指令时通过红外摄像头进行图像采集，获得驾驶员图像；和/或，

在检测到对车辆或车辆中部件或***的控制指令(例如加速、加速、转向、开关车窗、开关空调、开关娱乐***等等)时通过红外摄像头进行图像采集，获得驾驶员图像。

在其中一些应用场景中，可以在驾驶员启动车辆时、启动驾驶状态监测装置或者驾驶员监控***时，开始启动红外摄像头采集驾驶员图像进行驾驶状态检测。

本公开上述实施例的驾驶状态检测方法，可以由红外(包括近红外)摄像头进行图像采集获得驾驶员图像后，发送给可以加载神经网络的单片机、FPGA、ARM、CPU、GPU、微处理器、智能移动电话、笔记型计算机、平板电脑(PAD)、台式计算机或者服务器等电子设备实现，该电子设备能够运行计算机程序(也可以称为程序代码)，该计算机程序可以存储于闪存、缓存、硬盘或者光盘等计算机可读存储介质中。

本公开实施例提供的任一种驾驶状态检测方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任一种驾驶状态检测方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种驾驶状态检测方法。下文不再赘述。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

图4为本公开驾驶状态检测装置一个实施例的结构示意图。该实施例的驾驶状态检测装置可用于实现本公开上述各驾驶状态检测方法实施例。如图4所示，该实施例的驾驶状态检测装置包括：第一检测模块，用于对驾驶员图像进行头部姿态检测和眼部状态检测，得到头部姿态信息和眼部状态信息；第一确定模块，用于根据头部姿态信息和眼部状态信息，确定驾驶员的疲劳状态和分心状态的检测结果。

基于本公开上述实施例提供的驾驶状态检测装置，可以对驾驶员图像进行头部姿态检测和眼部状态检测，根据检测到的头部姿态信息和眼部状态信息，确定驾驶员的疲劳状态和分心状态的检测结果。本公开实施例通过对驾驶员图像进行头部姿态检测和眼部状态检测，实现了对驾驶员疲劳状态和分心状态的共同、实时检测，以便于在驾驶员的驾驶状态较差时及时采取相应的措施，提高驾驶安全性，降低道路交通事故发生率。

图5为本公开驾驶状态检测装置另一个实施例的结构示意图。如图5所示，与图4所示的实施例相比，该实施例的驾驶状态检测装置还可以包括：第二确定模块，用于根据基于头部姿态信息确定的驾驶员图像中驾驶员的头部位置信息，确定驾驶员的头部位置的偏离角度是否超出预设范围。

相应地，该实施例中，第一确定模块包括：第一确定单元，用于在驾驶员的头部位置的偏离角度超出预设范围时，根据头部姿态信息和眼部状态信息，确定驾驶员的分心状态的检测结果；和/或，第二确定单元，用于在驾驶员的头部位置的偏离角度未超出预设范围时，根据头部姿态信息和眼部状态信息，确定驾驶员的疲劳状态和分心状态的检测结果。

在其中一些实施方式中，第一确定单元可以包括：第一确定子单元，用于根据头部姿态信息和眼部状态信息，确定用于表征驾驶员的分心状态的指标的参数值；第二确定子单元，用于根据用于表征驾驶员的分心状态的指标的参数值，确定驾驶员的分心状态的检测结果。

在其中一些实施方式中，第二确定单元可以包括：第三确定子单元，用于根据头部姿态信息和眼部状态信息，确定用于表征驾驶员的疲劳状态的指标的参数值；第一确定子单元，用于根据头部姿态信息和眼部状态信息，确定用于表征驾驶员的分心状态的指标的参数值；第四确定子单元，用于根据用于表征驾驶员的疲劳状态的指标的参数值，确定驾驶员的疲劳状态的检测结果；第二确定子单元，用于根据用于表征驾驶员的分心状态的指标的参数值，确定驾驶员的分心状态的检测结果。

在其中一些实施方式中，第一检测模块可以包括：关键点检测单元，用于对驾驶员图像进行人脸关键点检测；第一获取单元，用于根据检测到的人脸关键点获取头部姿态信息和眼部状态信息。

其中，第一获取单元根据检测到的人脸关键点获取头部姿态信息时，可用于经第一神经网络基于人脸关键点得到头部姿态信息。

例如，在其中一些可选示例中，第一获取单元根据检测到的人脸关键点获取眼部状态信息时，可用于根据人脸关键点确定驾驶员图像中的眼部区域图像；基于第二神经网络对眼部区域图像进行上眼睑线和下眼睑线的检测；根据上眼睑线和下眼睑线之间的间隔确定驾驶员的眼睛睁合状态信息；其中，眼部状态信息包括：眼睛睁合状态信息。

在另一些可选示例中，第一获取单元根据检测到的人脸关键点获取眼部状态信息时，用于根据人脸关键点确定驾驶员图像中的眼部区域图像；基于第三神经网络对眼部区域图像进行睁闭眼的分类处理，得到睁眼或闭眼的分类结果；其中，眼部状态信息包括：睁眼状态或闭眼状态。

另外，在上述驾驶状态检测装置实施例中，第一检测模块，还可用于对驾驶员图像进行嘴部状态检测，得到嘴部状态信息。相应地，该实施例中，第三确定子单元，用于根据头部姿态信息、眼部状态信息和嘴部状态信息，确定用于表征驾驶员的疲劳状态的指标的参数值。可选地，第一检测模块中的第一获取单元还可用于根据检测到的人脸关键点获取嘴部状态信息。

在其中一些可选示例中，第一获取单元根据检测到的人脸关键点获取嘴部状态信息时，用于根据人脸关键点确定驾驶员图像中的嘴部区域图像；基于第四神经网络对嘴部区域图像进行上唇线和下唇线的检测；根据上唇线和下唇线之间的间隔确定驾驶员的嘴巴开合状态信息；其中，嘴部状态信息包括嘴巴开合状态信息。

在另一些可选示例中，第一获取单元根据检测到的人脸关键点获取嘴部状态信息时，用于根据人脸关键点确定驾驶员图像中的嘴部区域图像；基于第五神经网络对嘴部区域图像进行张闭嘴的分类处理，得到张嘴或闭嘴的分类结果；其中，嘴部状态信息包括张嘴状态或闭嘴状态。

在其中一些可选示例中，第一确定子单元用于：根据头部姿态信息确定驾驶员图像中驾驶员的头部位置，得到头部位置信息；根据一段时间内的头部位置信息，获取头部位置偏离程度的参数值；和/或，根据头部姿态信息确定驾驶员图像中驾驶员的人脸朝向，得到人脸朝向信息；根据一段时间内的人脸朝向信息获取人脸朝向偏离程度的参数值；和/或，根据头部姿态信息确定驾驶员图像中驾驶员的视线方向，得到视线方向信息，根据一段时间内的视线方向信息获取视线方向偏离程度的参数值；或者，根据人脸关键点确定驾驶员图像中的眼部区域图像，基于第六神经网络得到眼部区域图像中驾驶员的视线方向信息，根据一段时间内的视线方向信息获取视线方向偏离程度的参数值；和/或，根据一段时间内的眼部状态信息，获取发呆程度的参数值。

在其中一些可选示例中，第三确定子单元用于：根据头部姿态信息确定驾驶员图像中驾驶员的头部位置，得到头部位置信息；根据一段时间内的头部位置信息，获取打盹程度的参数值；和/或，根据一段时间内的眼部状态信息，获取闭眼程度的参数值；和/或，根据一段时间内的眼部状态信息，获取眨眼程度的参数值；和/或，根据一段时间内的嘴部状态信息，获取打哈欠程度的参数值。

其中，用于表征驾驶员疲劳状态的指标包括以下至少一种：打盹程度、闭眼程度、眨眼程度、打哈欠程度，等等；和/或，用于表征驾驶员分心状态的指标包括以下至少一种：头部位置偏离程度、人脸朝向偏离程度、视线方向偏离程度、发呆程度，等等。

在其中一些可选示例中，第一确定子单元根据头部姿态信息确定驾驶员图像中驾驶员的头部位置，得到头部位置信息时，用于获取头部姿态信息中的俯仰角作为头部位置；和/或，第一确定子单元根据头部姿态信息确定驾驶员图像中驾驶员的人脸朝向，得到人脸朝向信息时，用于获取头部姿态信息中的俯仰角和偏航角作为人脸朝向。

在其中一些可选示例中，第一确定子单元根据头部姿态信息确定驾驶员图像中驾驶员的视线方向，得到视线方向信息时，用于根据人脸关键点中的眼睛关键点所定位的眼睛图像确定瞳孔边沿位置，并根据瞳孔边沿位置计算瞳孔中心位置；根据瞳孔中心位置与眼睛中心位置获取头部姿态信息对应头部姿态下的眼珠转角信息；根据头部姿态信息和眼珠转角信息确定驾驶员的视线方向，得到视线方向信息。例如，第一确定子单元根据人脸关键点中的眼睛关键点所定位的眼睛图像确定瞳孔边沿位置时，用于基于第七神经网络对根据人脸关键点分割出的图像中的眼睛区域图像进行瞳孔边沿位置的检测，并根据第七神经网络输出的信息获取瞳孔边沿位置。

在其中一些可选示例中，第一确定子单元根据一段时间内的视线方向信息获取视线方向偏离程度的参数值时，用于根据一段时间内的视线方向信息相对于参考视线方向的偏离角度，获取视线方向偏离程度的参数值。其中，参考视线方向可以预先设定，或者，可以为基于驾驶员图像所在视频中的前N帧驾驶员图像确定的平均视线方向；其中，N为大于1的整数。

在其中一些可选示例中，，第一确定子单元根据一段时间内的眼部状态信息，获取发呆程度的参数值时，用于根据眼部状态信息，在驾驶员的眼睛处于睁眼状态且持续达到预设发呆时间时，确定驾驶员处于发呆状态；根据一段时间内的眼部状态信息，获取发呆程度的参数值；其中，该一段时间包括预设发呆时间。

在其中一些可选示例中，第三确定子单元根据一段时间内的头部位置信息，获取打盹程度的参数值时，用于根据头部位置信息，在驾驶员的头部位置相对于预设参考头部位置的偏离程度在第一预设时间内达到预设偏离范围、且在第二预设时间内恢复至预设参考头部位置时，确定驾驶员处于打盹状态；根据一段时间内的头部位置信息，获取打盹程度的参数值；其中，该一段时间包括第一预设时间和第二预设时间。

在其中一些可选示例中，第三确定子单元根据一段时间内的嘴部状态信息，获取打哈欠程度的参数值时，用于根据嘴部状态信息，在驾驶员的嘴巴由闭嘴状态变化到张嘴状态、再恢复到闭嘴状态的时间在预设时间范围内时，确定驾驶员完成一次打哈欠动作；根据一段时间内的嘴部状态信息，获取打哈欠程度的参数值；其中，一段时间包括驾驶员的嘴巴由闭嘴状态变化到张嘴状态、再恢复到闭嘴状态的时间。

在其中一些可选示例中，头部位置偏离程度的参数值包括以下任意一项或多项：头部位置偏离状态，头部位置偏离方向，头部位置在头部位置偏离方向上的偏离角度，头部位置偏离持续时长，头部位置偏离频率；和/或，人脸朝向偏离程度的参数值包括以下任意一项或多项：转头次数、转头持续时长、转头频率；和/或，视线方向偏离程度的参数值包括以下任意一项或多项：视线方向偏离角度、视线方向偏离时长、视线方向偏离频率；和/或，发呆程度的参数值包括以下任意一项或多项：睁眼幅度、睁眼持续时长、睁眼累计时长占统计时间窗的比值；和/或，用于表征打盹程度的参数值包括以下任意一项或多项：打盹点头状态、打盹点头幅度、打盹点头次数、打盹点头频率、打盹点头持续时长；和/或，用于表征闭眼程度的参数值包括以下任意一项或多项：闭眼次数、闭眼频率、闭眼持续时长、闭眼幅度、半闭眼次数、半闭眼频率、闭眼累计时长占统计时间窗的比值；和/或，用于表征眨眼程度的参数值包括以下任意一项或多项：眨眼次数、眨眼频率、眨眼持续时长、眨眼累计时长占统计时间窗的比值；和/或，用于表征打哈欠程度的参数值包括以下任意一项或多项：打哈欠状态、打哈欠次数、打哈欠持续时长、打哈欠频率。

在其中一些可选示例中，第二确定子单元，用于在任意一项或多项用于表征驾驶员的分心状态的指标的参数值满足预定分心条件时，确定驾驶员的分心状态的检测结果为分心状态；和/或，在所有用于表征驾驶员的分心状态的指标的参数值均不满足预定分心条件时，确定驾驶员的分心状态的检测结果为非分心状态。

在其中一些可选示例中，预定分心条件包括多个分心等级条件。相应地，该实施例中，第二确定子单元在任意一项或多项用于表征驾驶员的分心状态的指标的参数值满足预定分心条件时，确定驾驶员的分心状态的检测结果为分心状态时，用于根据用于表征驾驶员的分心状态的指标的参数值满足的分心等级条件，确定分心状态等级；将确定的分心状态等级作为驾驶员的分心状态的检测结果。

在其中一些可选示例中，第四确定子单元，用于在任意一项或多项用于表征驾驶员的疲劳状态的指标的参数值满足预定疲劳条件时，确定驾驶员的疲劳状态的检测结果为疲劳状态；和/或，在所有用于表征驾驶员的疲劳状态的指标的参数值均不满足预定疲劳条件时，确定驾驶员的疲劳状态的检测结果为非疲劳状态。

在其中一些可选示例中，预定疲劳条件包括多个疲劳等级条件。相应地，该实施例中，第四确定子单元在任意一项或多项用于表征驾驶员的疲劳状态的指标的参数值满足预定疲劳条件时，确定驾驶员的疲劳状态的检测结果为疲劳状态时，用于根据用于表征驾驶员的疲劳状态的指标的参数值满足的疲劳等级条件，确定疲劳状态等级；将确定的疲劳状态等级作为驾驶员的疲劳状态的检测结果。

另外，再参见图5，在本公开驾驶状态检测装置的又一个实施例中，还可以包括：第二检测模块，用于对驾驶员图像进行预定分心动作检测，确定是否出现预定分心动作；第一获取模块，用于在出现预定分心动作时，根据一段时间内是否出现预定分心动作的确定结果，获取用于表征驾驶员的分心程度的指标的参数值；第三确定模块，用于根据用于表征驾驶员的分心程度的指标的参数值，确定驾驶员预定分心动作的检测结果。其中，分心程度的参数值可以包括以下任意一项或多项：预定分心动作的次数、预定分心动作的持续时长、预定分心动作的频率，等等。其中的预定分心动作可以包括以下任意一项或多项：抽烟动作，喝水动作，饮食动作，打电话动作，娱乐动作，化妆动作，等等。

在其中一些实施方式中，第二检测模块，用于提取驾驶员图像的特征；基于特征提取可能包括预定分心动作的多个候选框；基于多个候选框确定动作目标框，其中，动作目标框包括人脸的局部区域和动作交互物，或者还可以包括手部区域；基于动作目标框进行预定分心动作的分类检测，确定是否出现预定分心动作。其中，人脸局部区域可以包括以下任意一项或多项：嘴部区域，耳部区域，眼部区域；和/或，动作交互物可以包括以下任意一项或多项：容器、烟、手机、食物、工具、饮料瓶、眼镜、口罩。

在其中一些实施方式中，第二检测模块，用于经第八神经网络对驾驶员图像进行人脸检测，得到人脸检测框，并提取人脸检测框的特征信息；经第八神经网络根据人脸检测框的特征信息确定是否出现抽烟动作。

在其中一些实施方式中，第二检测模块，用于经第九神经网络对驾驶员图像进行饮食动作/喝水动作/ 打电话动作/娱乐动作/化妆动作相应的预设目标对象检测，得到预设目标对象的检测框，预设目标对象包括：手部、嘴部、眼部、动作交互物，动作交互物包括以下任意一类或多类：容器、食物、电子设备、化妆品；根据预设目标对象的检测框，确定是否出现预定分心动作；其中，是否出现预定分心动作的确定结果包括以下之一：未出现饮食动作/喝水动作/打电话动作/娱乐动作/化妆动作；出现饮食动作，出现喝水动作，出现打电话动作，出现娱乐动作，出现化妆动作。

在其中一些实施方式中，第二检测模块根据预设目标对象的检测框，确定是否出现预定分心动作时，用于根据是否检测到手部的检测框、嘴部的检测框、眼部的检测框和动作交互物的检测框，以及根据手部的检测框与动作交互物的检测框是否重叠、动作交互物的类型以及动作交互物的检测框与嘴部的检测框或眼部的检测框之间的距离是否满足预设条件，确定是否出现预定分心动作。

在其中一些可选示例中，第二检测模块根据手部的检测框与动作交互物的检测框是否重叠、以及动作交互物的检测框与嘴部的检测框或眼部的检测框之间的位置关系是否满足预设条件，确定是否出现预定分心动作时，用于：若手部的检测框与动作交互物的检测框重叠，动作交互物的类型为容器或食物、且动作交互物的检测框与嘴部的检测框之间重叠，确定出现饮食动作或喝水动作；和/或，若手部的检测框与动作交互物的检测框重叠，动作交互物的类型为电子设备，且动作交互物的检测框与嘴部的检测框之间的最小距离小于第一预设距离、或者动作交互物的检测框与眼部的检测框之间的最小距离小于第二预设距离，确定出现娱乐动作或打电话动作。

在其中一些可选示例中，第二检测模块，还用于：若未同时检测到手部的检测框、嘴部的检测框和任一动作交互物的检测框，且未同时检测到手部的检测框、眼部的检测框和任一动作交互物的检测框，确定是否预定分心动作的确定结果为未检测到饮食动作、喝水动作、打电话动作、娱乐动作和化妆动作；和/或，若手部的检测框与动作交互物的检测框未重叠，确定是否预定分心动作的确定结果为未检测到饮食动作、喝水动作、打电话动作、娱乐动作、化妆动作；和/或，若动作交互物的类型为容器或食物、且动作交互物的检测框与嘴部的检测框之间未重叠，和/或，动作交互物的类型为电子设备、且动作交互物的检测框与嘴部的检测框之间的最小距离不小于第一预设距离、或者动作交互物的检测框与眼部的检测框之间的最小距离不小于第二预设距离，确定是否预定分心动作的确定结果为未检测到饮食动作、喝水动作、打电话动作、娱乐动作和化妆动作。

另外，再参见图5，在本公开驾驶状态检测装置的再一个实施例中，还可以包括：第四确定模块，用于根据用于表征分心程度的指标的参数值满足的分心动作等级条件，确定分心动作等级。相应地，该实施例中，第三确定模块用于将确定的分心动作等级作为驾驶员预定分心动作的检测结果。

另外，再参见图5，在本公开驾驶状态检测装置的再一个实施例中，还可以包括：报警模块，用于根据驾驶员状态的检测结果，进行报警；和/或，驾驶控制模块，用于根据驾驶员状态的检测结果，进行智能驾驶控制。其中，驾驶员状态的检测结果包括以下任意一项或多项：疲劳状态的检测结果，分心状态的检测结果，预定分心动作的检测结果。

在其中一些实施方式中，报警模块，用于在驾驶员状态的检测结果满足预设报警条件时，输出与报警条件相应的提示/告警信息；和/或，驾驶控制模块，用于在驾驶员状态的检测结果满足预定驾驶模式切换条件时，将驾驶模式切换为自动驾驶模式。

在其中一些可选示例中，报警模块，用于：在疲劳状态的检测结果为疲劳状态时，输出与疲劳状态的检测结果相应的提示/告警信息；和/或，在分心状态的检测结果为分心状态时，输出与分心状态的检测结果相应的提示/告警信息；和/或，在出现预定分心动作时，输出与预定分心动作的检测结果相应的提示/告警信息；和/或，在驾驶员状态的检测结果为疲劳状态、分心状态和出现预定分心动作中的任意两种或三种时，按照预设方式输出提示/告警信息。

在其中一些可选示例中，报警模块，还用于：在报警模块输出与疲劳状态相应的提示/告警信息后的预设时间内，抑制掉与驾驶员状态的检测结果中其他检测结果相应的提示/告警信息；和/或，在输出与分心状态相应的提示/告警信息后的预设时间内，抑制掉与驾驶员状态的检测结果中其他检测结果相应的提示/告警信息；和/或，在输出与预定分心动作的检测结果相应的提示/告警信息后的预设时间内，抑制掉与驾驶员状态的检测结果中其他检测结果相应的提示/告警信息。

在其中一些可选示例中，报警模块在驾驶员状态的检测结果为疲劳状态、分心状态和出现预定分心动作中的任意两种或三种时，按照预设方式输出提示/告警信息时，用于：在驾驶员状态的检测结果为疲劳状态和分心状态时，输出与疲劳状态的检测结果相应的提示/告警信息；或者，输出与分心状态的检测结果相应的提示/告警信息；或者，输出与疲劳状态的检测结果和分心状态的检测结果相应的提示/告警信息；和/ 或，在驾驶员状态的检测结果为分心状态和检测到预定分心动作时，输出与分心状态的检测结果相应的提示/告警信息；或者，输出与预定分心动作的检测结果相应的提示/告警信息；或者，输出与分心状态的检测结果和预定分心动作的检测结果相应的提示/告警信息；和/或，在驾驶员状态的检测结果为疲劳状态和检测到预定分心动作时，输出与疲劳状态的检测结果相应的提示/告警信息；或者，输出与检测到预定分心动作的检测结果相应的提示/告警信息；或者，输出与疲劳状态的检测结果和预定分心动作的检测结果相应的提示/告警信息；和/或，在驾驶员状态的检测结果为疲劳状态、分心状态和出现预定分心动作时，输出与疲劳状态的检测结果相应的提示/告警信息；或者，输出与分心状态的检测结果相应的提示/告警信息；或者，输出与预定分心动作的检测结果相应的提示/告警信息；或者，输出与疲劳状态的检测结果和分心状态的检测结果相应的提示/告警信息；或者，输出与分心状态的检测结果和预定分心动作的检测结果相应的提示/告警信息；或者，输出与疲劳状态的检测结果和预定分心动作的检测结果相应的提示/告警信息；或者，输出与疲劳状态的检测结果、分心状态的检测结果和预定分心动作的检测结果相应的提示/告警信息。

在其中一些可选示例中，在疲劳状态的检测结果为疲劳状态等级时，报警模块输出与疲劳状态的检测结果相应的提示/告警信息时，用于根据疲劳状态等级输出相应的提示或者告警信息；和/或，在分心状态的检测结果为分心状态等级时，报警模块输出与分心状态的检测结果相应的提示/告警信息时，用于根据分心状态等级输出相应的提示或者告警信息；在预定分心动作的检测结果为分心动作等级时，报警模块输出与预定分心动作的检测结果相应的提示/告警信息时，用于根据分心动作等级输出相应的提示或者告警信息。

在其中一些可选示例中，驾驶控制模块，用于在疲劳状态等级和/或分心状态等级和/或分心动作等级满足预定驾驶模式切换条件时，将驾驶模式切换为自动驾驶模式。

另外，再参见图5，在本公开上述各实施例中，还可以包括：红外摄像头，用于进行图像采集，得到驾驶员图像。该红外摄像头部署于车辆内的至少一个位置，例如以下任意一个或多个位置：仪表盘上方或附近位置，中控台上方或附近位置，A柱或附近位置，后视镜或附近位置。

在其中一些实施方式中，红外摄像头，用于：在车辆处于行驶状态时进行图像采集，获得驾驶员图像；和/或，在车辆的行驶速度超过预设车速时进行图像采集，获得驾驶员图像；和/或，在检测到车辆点火后进行图像采集，获得驾驶员图像；和/或，在检测到车辆的启动指令时进行图像采集，获得驾驶员图像；和/ 或，在检测到对车辆或车辆中部件或***的控制指令时进行图像采集，获得驾驶员图像。

图6为本公开驾驶员监控***一个实施例的结构示意图。该实施例的驾驶员监控***可用于实现本公开上述各驾驶状态检测方法实施例。如图6所示，该实施例的驾驶员监控***包括：显示装置，用于显示驾驶员图像，以及驾驶员的疲劳状态和分心状态的检测结果；驾驶员状态检测装置，用于对驾驶员图像进行头部姿态检测和眼部状态检测，得到头部姿态信息和眼部状态信息；根据头部姿态信息和眼部状态信息，确定驾驶员的疲劳状态和分心状态的检测结果。

其中的驾驶员状态检测装置可以通过本公开上述任一实施例的驾驶状态检测装置实现。

基于本公开上述实施例提供的驾驶员监控***，可以对驾驶员图像进行头部姿态检测和眼部状态检测，根据检测到的头部姿态信息和眼部状态信息，确定驾驶员的疲劳状态和分心状态的检测结果。本公开实施例通过对驾驶员图像进行头部姿态检测和眼部状态检测，实现了对驾驶员疲劳状态和分心状态的共同、实时检测，以便于在驾驶员的驾驶状态较差时及时采取相应的措施，提高驾驶安全性，降低道路交通事故发生率。

另外，本公开实施例提供的另一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行存储器中存储的计算机程序，且计算机程序被执行时，实现本公开上述任一实施例的驾驶状态检测方法。

图7为本公开电子设备一个应用实施例的结构示意图。下面参考图7，其示出了适于用来实现本公开实施例的终端设备或服务器的电子设备的结构示意图。如图7所示，该电子设备包括一个或多个处理器、通信部等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)，和/或一个或多个图像处理器(GPU) 等，处理器可以根据存储在只读存储器(ROM)中的可执行指令或者从存储部分加载到随机访问存储器 (RAM)中的可执行指令而执行各种适当的动作和处理。通信部可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡，处理器可与只读存储器和/或随机访问存储器中通信以执行可执行指令，通过总线与通信部相连、并经通信部与其他目标设备通信，从而完成本公开实施例提供的任一驾驶状态检测方法对应的操作，例如，对驾驶员图像进行头部姿态检测和眼部状态检测，得到头部姿态信息和眼部状态信息；根据所述头部姿态信息和所述眼部状态信息，确定驾驶员的疲劳状态和分心状态的检测结果。

此外，在RAM中，还可存储有装置操作所需的各种程序和数据。CPU、ROM以及RAM通过总线彼此相连。在有RAM的情况下，ROM为可选模块。RAM存储可执行指令，或在运行时向ROM中写入可执行指令，可执行指令使处理器执行本公开上述任一方法对应的操作。输入/输出(I/O)接口也连接至总线。通信部可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。

以下部件连接至I/O接口：包括键盘、鼠标等的输入部分；包括诸如阴极射线管(CRT)、液晶显示器 (LCD)等以及扬声器等的输出部分；包括硬盘等的存储部分；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口。可拆卸介质，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器上，以便于从其上读出的计算机程序根据需要被安装入存储部分。

需要说明的，如图7所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图7的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信部可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本公开公开的保护范围。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本公开任一实施例提供的驾驶状态检测方法步骤对应的指令。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被CPU执行时，执行本公开的方法中限定的上述功能。

另外，本公开实施例还提供了一种计算机程序，包括计算机指令，当计算机指令在设备的处理器中运行时，实现本公开上述任一实施例的驾驶状态检测方法。

另外，本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现本公开上述任一实施例的驾驶状态检测方法。

图8为本公开车辆一个实施例的结构示意图。如图8所示，该实施例的车辆包括中控***，还包括：本公开上述任一实施例所述的驾驶状态检测装置或者驾驶员监控***。

基于本公开上述实施例提供的车辆，包括本公开上述任一实施例所述的驾驶状态检测装置或者驾驶员监控***，可以对驾驶员图像进行头部姿态检测和眼部状态检测，根据检测到的头部姿态信息和眼部状态信息，确定驾驶员的疲劳状态和分心状态的检测结果。本公开实施例通过对驾驶员图像进行头部姿态检测和眼部状态检测，实现了对驾驶员疲劳状态和分心状态的共同、实时检测，以便于在驾驶员的驾驶状态较差时及时采取相应的措施，提高驾驶安全性，降低道路交通事故发生率。

在其中一些实施方式中，中控***用于：根据驾驶状态检测装置或者驾驶员监控***输出的驾驶员状态的检测结果，在驾驶员状态的检测结果满足预设报警条件时，调用车辆中的娱乐***(例如扬声器、蜂鸣器、灯光设备等)或者车辆外接的娱乐***(例如扬声器、蜂鸣器、灯光设备等)输出与报警条件相应的提示/告警信息；和/或，在驾驶员状态的检测结果满足预定驾驶模式切换条件时，将驾驶模式切换为自动驾驶模式，并在自动驾驶模式下对车辆进行自动驾驶控制。

在另一些实施方式中，中控***还可用于在接收到切换为人工驾驶的驾驶指令时，将驾驶模式切换为人工驾驶模式。

再参见图8，上述实施例的车辆还可以包括：娱乐***，用于根据中控***的控制指令，输出与提示/ 告警预定条件相应的提示/告警信息；和/或，根据中控***的控制指令，调整提示/告警信息的预警效果、或者娱乐项目的播放效果。

其中的娱乐***例如可以包括扬声器、蜂鸣器、灯光设备等。

再参见图8，上述实施例的车辆还可以包括：至少一个红外摄像头，用于进行图像采集。

在其中一些实施方式中，车辆中的红外摄像头可以部署在车辆内的至少一个位置，例如可以部署在以下任意一个或多个位置：仪表盘上方或附近位置，中控台上方或附近位置，A柱或附近位置，后视镜或附近位置，等。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于***实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

可能以许多方式来实现本公开的方法和装置、设备。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置、设备。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种驾驶状态检测方法，其特征在于，包括：

对驾驶员图像进行头部姿态检测和眼部状态检测，得到头部姿态信息和眼部状态信息；

根据所述头部姿态信息和所述眼部状态信息，确定驾驶员的疲劳状态和分心状态的检测结果。

2.根据权利要求1所述的方法，其特征在于，所述对驾驶员图像进行头部姿态检测和眼部状态检测，得到头部姿态信息和眼部状态信息之后，还包括：

根据基于所述头部姿态信息确定的所述驾驶员图像中驾驶员的头部位置信息，确定所述驾驶员的头部位置的偏离角度是否超出预设范围；

若所述驾驶员的头部位置的偏离角度超出预设范围，根据所述头部姿态信息和所述眼部状态信息，确定驾驶员的分心状态的检测结果；和/或，

若所述驾驶员的头部位置的偏离角度未超出预设范围，执行所述根据所述头部姿态信息和所述眼部状态信息，确定驾驶员的疲劳状态和分心状态的检测结果的操作。

3.根据权利要求2所述的方法，其特征在于，所述根据所述头部姿态信息和所述眼部状态信息，确定驾驶员的分心状态的检测结果，包括：

根据所述头部姿态信息和所述眼部状态信息，确定用于表征驾驶员的分心状态的指标的参数值；

根据用于表征驾驶员的分心状态的指标的参数值，确定驾驶员的分心状态的检测结果。

4.根据权利要求1-3任一所述的方法，其特征在于，所述根据所述头部姿态信息和所述眼部状态信息，确定驾驶员的疲劳状态和分心状态的检测结果，包括：

根据所述头部姿态信息和所述眼部状态信息，确定用于表征驾驶员的疲劳状态的指标的参数值和用于表征驾驶员的分心状态的指标的参数值；

根据所述用于表征驾驶员的疲劳状态的指标的参数值，确定驾驶员的疲劳状态的检测结果，以及根据所述用于表征驾驶员的分心状态的指标的参数值，确定驾驶员的分心状态的检测结果。

5.根据权利要求1-4任一所述的方法，其特征在于，所述对驾驶员图像进行头部姿态检测和眼部状态检测，得到头部姿态信息和眼部状态信息，包括：

对所述驾驶员图像进行人脸关键点检测；

根据检测到的所述人脸关键点获取头部姿态信息和眼部状态信息。

6.一种驾驶状态检测装置，其特征在于，包括：

第一检测模块，用于对驾驶员图像进行头部姿态检测和眼部状态检测，得到头部姿态信息和眼部状态信息；

第一确定模块，用于根据所述头部姿态信息和所述眼部状态信息，确定驾驶员的疲劳状态和分心状态的检测结果。

7.一种驾驶员监控***，其特征在于，包括：

显示装置，用于显示驾驶员图像，以及驾驶员的疲劳状态和分心状态的检测结果；

驾驶员状态检测装置，用于对驾驶员图像进行头部姿态检测和眼部状态检测，得到头部姿态信息和眼部状态信息；根据所述头部姿态信息和所述眼部状态信息，确定驾驶员的疲劳状态和分心状态的检测结果。

8.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述权利要求1-5任一所述的驾驶状态检测方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现上述权利要求1-5任一所述的驾驶状态检测方法。

10.一种车辆，包括中控***，其特征在于，还包括：与所述中控***通信连接的如权利要求6所述的驾驶状态检测装置，或者与所述中控***通信连接的如权利要求7所述的驾驶员监控***。

Images