CN110582437A - 驾驶提醒方法、驾驶状态检测方法和计算设备 - Google Patents

Abstract

本申请公开了一种驾驶提醒方法、驾驶状态检测方法和计算设备。该驾驶提醒方法包括：获取被检测对象的人脸图像信息；从所述人脸图像信息中获取被检测对象的至少一个面部特征信息；根据所述面部特征信息判断被检测对象的驾驶状态；在满足预定条件时，基于所述驾驶状态发出对应的提醒信息。本发明实施例提出的方法，能够解决现有的驾驶员状态检测***误报率高的问题，确保驾驶员有能力在规定时间范围内安全接管车辆。

Description

驾驶提醒方法、驾驶状态检测方法和计算设备

技术领域

本申请涉及自动驾驶技术领域，特别是涉及一种驾驶提醒方法、驾驶状态检测方法和计算设备。

背景技术

自动驾驶汽车(Autonomous vehicles；Self-piloting automobile)又称无人驾驶汽车、电脑驾驶汽车，是一种通过电脑的自动驾驶***实现无人驾驶的智能汽车。在20世纪已有数十年的历史，21世纪初呈现出接近实用化的趋势。

根据驾驶员参与的程度，可以将自动驾驶分为若干等级：

L0级：驾驶员完全掌控车辆；

L1级：自动***有时能够辅助驾驶员完成某些驾驶任务；

L2级辅助驾驶：自动***能够完成某些驾驶任务，但驾驶员需要监控驾驶环境，完成剩余部分，同时保证出现问题，随时进行接管。在这个层级，自动***的错误感知和判断有驾驶员随时纠正，大多数车企都能提供这个***。L2可以通过速度和环境分割成不同的使用场景，如环路低速堵车、高速路上的快速行车和驾驶员在车内的自动泊车；

L3级半自动驾驶：自动***既能完成某些驾驶任务，也能在某些情况下监控驾驶环境，但驾驶员必须准备好重新取得驾驶控制权(自动***发出请求时)。所以在该层级下，驾驶者仍无法进行睡觉或者深度的休息。L3与L2的差异是车辆负责周边监控，而人类驾驶员只需要保持注意力以备不时之需。

L4级高度自动驾驶：自动***在某些环境和特定条件下，能够完成驾驶任务并监控驾驶环境；L4的部署，目前来看多数是基于城市的使用，可以是全自动的代客泊车，也可以是直接结合打车服务来做。这个阶段下，在自动驾驶可以运行的范围内，驾驶相关的所有任务和驾乘人已经没关系了，感知外界责任全在自动驾驶***，这里就存在着不同的设计和部署思路了；

L5级完全自动驾驶：自动***在所有条件下都能完成的所有驾驶任务

可知，级别越高，驾驶员的参与程度越低；级别越低，驾驶员的参与程度越高。

针对驾驶员参与度较高的L0、L1和L2级别，目前的自动驾驶***开发有相应的驾驶员状态检测方法，对驾驶员的状态进行监控，以确保驾驶员能够集中注意力参与驾驶。

随着自动驾驶技术的发展，自动驾驶***可以判断越来越多的复杂状况，需要驾驶员参与的情况逐渐减少。而现有的驾驶员状态检测方法主要应用于驾驶员参与度较高的自动驾驶级别，如果转用到驾驶员参与度较低的驾驶级别，则容易产生虚警率高，误报警频繁等问题，影响驾驶员情绪和精神状态。

因此，有必要提出一种适用于驾驶员参与度较低的自动驾驶级别的驾驶员状态检测方法。

发明内容

鉴于上述问题，本发明一实施例提出一种驾驶提醒方法、驾驶状态检测方法和计算设备，以解决现有技术存在的问题。

为了解决上述问题，本申请一实施例公开一种驾驶提醒方法，包括：

获取被检测对象的人脸图像信息；

从所述人脸图像信息中获取被检测对象的至少一个面部特征信息；

基于所述面部特征信息，获取被检测对象的驾驶状态；

在满足预定条件时，基于所述驾驶状态发出对应的提醒信息。

本申请一实施例还公开一种计算设备，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述计算设备执行上述的方法。

本申请一实施例还公开一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得计算设备执行上述的方法。

由上述可知，本申请实施例包括以下优点：

本发明实施例提出的方法，能够解决现有的驾驶员状态检测***误报率高的问题，确保驾驶员有能力在规定时间范围内安全接管车辆。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1所示为本发明一实施例的自动驾驶***的框图。

图2所示为本发明一实施例视觉算法处理的框图。

图3所示为一实施例的驾驶提醒方法的流程图。

图4A至图4D所示为图3所示的驾驶提醒方法的子步骤的流程图。

图5示意性地示出了用于执行根据本发明的方法的计算设备的框图。

图6示意性地示出了用于保持或者携带实现根据本发明的方法的程序代码的存储单元。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。

对于逐渐提高的自动驾驶级别，本发明实施例提出一种应用于自动驾驶***的驾驶方法和装置，能够解决现有的驾驶员状态检测***误报率高的问题，确保驾驶员有能力在规定时间范围内安全接管车辆。

本发明实施例提出一种驾驶提醒方法，应用于车辆的自动驾驶***。自动驾驶***能够检测车内信息和车外信息，这些信息可以输入自动驾驶***，作为自动驾驶***判断和执行操作的依据。

车外的信息可以包括交通环境信息和自然环境信息；交通环境信息例如为路况信息、交通灯信息、障碍信息等；自然环境信息例如包括温度、湿度、光线等。这些信息可以通过车外传感器、摄像头、雷达等检测元件获取。

车内信息例如包括车内环境信息、驾驶人员状态信息、驾驶员对车辆的操作信息等，这些信息可以通过车内传感器和摄像头等检测元件获取。

本发明主要针对车内信息处理，提出一种驾驶提醒方法和装置。图1所示为本发明一实施例提出的自动驾驶***的***框图。如图1所示，车辆的自动驾驶***可以由软件、硬件或者软硬件结合的方式组成，自动驾驶***可以包括车辆传感器模块10、车载摄像头模块20、驾驶员状态检测模块30、自动驾驶***主控模块40，唤醒策略控制模块50和人机交互接口模块60。在一些实施例中，车辆传感器模块10和车载摄像头模块20可以是硬件装置，通过例如数据总线等连接方式连接于车载电脑；驾驶员状态检测模块30、自动驾驶***主控模块40，唤醒策略控制模块50可以是车载电脑处理器中的计算机程序；人机交互接口模块60可以为软件模块或者硬件模块。

车辆传感器模块10和车载摄像头模块20用于采集车内的信息，车辆传感器模块10用于通过传感器检测驾驶位置是否有驾驶员。在一些实施例中，所述传感器模块10可以是设置在驾驶座位的压力传感器。在一些实施例中，所述车辆传感器模块10可以用于接收车辆的相关传感器信号，例如驾驶位压力传感器信号、安全带信号等，用于判断驾驶员是否在驾驶位置。

车载摄像头模块20用于采集驾驶位置的多帧视频图像。在一些实施例中，所述车载摄像头模块20可以是普通摄像头、高清摄像头、立体摄像头等中的一种或多种。在一些实施例中，所述多帧视频图像可以是连续的，也可以是不连续的。在一些实施例中，车载摄像头模块20可以安装在车内A柱位置，用于采集驾驶员的图像信息，监控驾驶员状态，所述车载摄像头模块的安装位置以能够获取较大程度的驾驶员面部信息为最佳，且不能影响驾驶员的操作，例如不能遮挡驾驶员的操作。

在一些实施例中，传感器模块的信号和视频图像可以发送至车载电脑的驾驶员状态检测模块30。在一些实施例中，所述驾驶员状态检测模块30可以利用所述传感器信号和所述视频图像的至少其中一者判断驾驶员的驾驶状态，并将驾驶状态发送至自动驾驶***主控模块40。在一些实施例中，所述驾驶员状态检测模块30也可以将所述驾驶状态发送至唤醒策略控制模块50。在一些实施例中，驾驶员状态检测模块30可以接收所述图像信息。在一些实施例中，驾驶员状态检测模块30通过人脸分类器进行驾驶员检测，确定所检测的一帧视频图像中是否存在人脸。当存在人脸时，可以确定驾驶员的人脸矩形区域，并在人脸矩形区域中定位出驾驶员的面部特征点并获得面部特征信息，基于面部特征信息判断驾驶员的状态。

在一些实施例中，图2显示了驾驶员状态检测模块30的视觉算法处理框图。如图2所示，驾驶员状态检测模块30的处理流程包括视频图像输入、驾驶员检测、面部特征点定位、驾驶员状态判断四个部分。视频图像输入的流程用于获取车载摄像头模块20的视频图像；驾驶员检测的流程用于判断多帧视频图像判断是否存在驾驶员的人脸图像信息；面部特征点定位的流程用于根据人脸图像信息确定面部特征点；驾驶员状态判断的流程用于根据面部特征判断驾驶员的驾驶状态。

回到图1所示，自动驾驶***主控模块40可以用于根据自动驾驶***的运行情况，发送***状态信号，例如***出现故障的信号，紧急情况，或是自动驾驶***无法准确判断前方路况的信号等。

唤醒策略控制模块50可以用于根据所述驾驶员状态和/或所述自动驾驶***的状态信号，发送不同的指令，采用不同的提醒方式提醒驾驶员接管车辆。在一些实施例中，在接收到自动驾驶***发出的***状态信号，例如，出现了车辆故障或者***故障时，则可以根据所述驾驶员状态和置信度对驾驶员采取不同的提醒方式，保证驾驶员能够在规定时间内安全、平顺地接管驾驶任务。

在一些实施例中，所述唤醒策略控制模块50根据所述驾驶状态制定唤醒策略，并通过人机交互接口模块60执行唤醒策略。在一些实施例中，驾驶员状态检测模块30、唤醒策略控制模块50可以是车载电脑处理器中的软件模块，人机交互接口模块60可以是依据唤醒策略控制模块50给出的控制指令对驾驶员发出通知信息的硬件模块，控制指令包含有不同唤醒模式。根据所述唤醒策略控制指令，人机交互接口模块60对驾驶员执行对应的唤醒模式，提醒驾驶员接管驾驶任务。人机交互接口模块60例如可以包括声音模块、灯光模块、震动模块、显示模块等，本发明并不特别限定。

值得注意的是，以上对于自动驾驶***的描述仅为描述方便，并不能把本申请限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该***的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子***与其他模块连接，对实施上述方法和***的应用领域形式和细节上的各种修正和改变。例如上述的驾驶员状态检测模块30、自动驾驶***主控模块40，唤醒策略控制模块50和人机交互接口模块60是单独存在的软件模块。又例如，这些模块也可以是两两集成或者多个集成在一起的模块，任何变形或修改都属于本发明的保护范围。例如，驾驶员状态检测模块30和自动驾驶***主控模块40可以以软件的形式集成在一起；例如，唤醒策略控制模块50和人机交互接口模块60可以以软件的形式集成在一起；又例如，驾驶员状态检测模块30、自动驾驶***主控模块40、唤醒策略控制模块50三者可以以软件的形式集成在一起，或者驾驶员状态检测模块30、自动驾驶***主控模块40，唤醒策略控制模块50和人机交互接口模块60整体以软件的形式集成在一起，本发明并不特别限定以上模块单独实施或者组合实施的形式。诸如此类的变形，均在本申请的保护范围之内。

图3所示为本发明第一实施例的驾驶提醒方法的步骤流程图。如图3所示，本发明实施例的驾驶提醒方法应用于自动驾驶***，包括如下步骤：

S101，获取被检测对象的人脸图像信息；

在一些实施例中，自动驾驶***获取被检测对象的人脸图像信息。其中，所述自动驾驶***可以通过传感器或摄像头获取所述自动驾驶***所在车辆驾驶位上的驾驶员的人脸图像信息。

在一实施例中，被检测对象的人脸图像信息可以包括通过人脸识别技术识别出来的人脸图像。在一实施例中可以利用图1中的车载摄像头模块10拍摄视频，拍摄例如每秒30帧的连续视频图像。之后，可以采用人脸分类器对所述视频图像进行分析检测，判断是否存在人脸图像信息。在一实施例中，所述人脸分类器可以是对包含人脸和非人脸的训练集提取MBLBP(Multiscale BlockLBP)特征，然后使用级联的AdaBoost算法训练得到的。

在一些实施例中，在经过人脸分类器判断得出存在人脸图像信息的结论后，即可通过算法获得人脸矩形区域。

在另一些实施例中，判断图像中是否存在人脸图像信息还可以通过机器学习的方式实现。例如，可以利用机器学习模型判断图像中是否存在人脸图像信息。针对机器学习模型的运用包括训练阶段和使用阶段：在训练阶段，可以将多张包含人脸图像信息的图像和不包含人脸图像信息的图像输入机器学习模型，并对这些图片标记为“包含”或“不包含”，以这些图像为样本对机器学习模型进行训练；在使用阶段，将新的图像输入训练成熟的机器学习模型，机器学习模型能够自动输出图像中是否包含人脸图像信息的判断结果。

在另一些实施例中，判断图像中是否存在人脸图像信息还可以通过机器学习中的深度学习的方式实现。深度学习是利用包含多个隐含层的神经网络模型，建立、模拟人脑进行分析学习的神经网络，模仿人脑的机制来解释数据，如文本、图像、声音。深度学习通常需要更大量的训练数据来训练神经网络模型，这些训练数据例如是大量的标记有“包含人脸图像信息”或“不包含人脸图像信息”的图像；在训练之后的使用阶段，将新的图像输入神经网络模型，神经网络模型能够自动输出该图像是否包含人脸图像信息的判断结果，并且输出的信息的准确度相比传统的机器学习模型有显著的提高。

值得注意的是，以上仅为举例之用，判断图像中是否存在人脸图像信息的方式可以并不限于上述多种，本领域技术人员可以对确定的方式进行任意变换，这些变换均包含在本发明的范围中。

在执行步骤S101之后，根据本发明一实施例，可以执行步骤S102如下：

S102,从所述人脸图像信息中获取被检测对象的面部特征信息面部特征信息；

在这一步骤中，可以先从前述的人脸矩形区域中定位获得面部特征点，例如眼睛、嘴角、鼻尖以及人脸轮廓等；再利用面部特征点的位置信息作为面部特征信息，用于后续确定驾驶状态。

在一些实施例中，进一步的，确定所述面部特征点的位置信息，对于所述人脸矩形区域，给出一个初始形状，提取关键特征点的图像特征，通过不断地迭代将初始形状回归到接近甚至等于真实形状的位置。

在一些实施例中，确定所述面部特征点的位置信息可以使用前述的监督下降算法(Supervised Descent Method,SDM)进行求解，所述图像特征采用的是方向梯度直方图特征(Histogram of Oriented Gradient,HOG)；所述方向梯度直方图特征是通过计算和统计图像局部区域的梯度方向直方图构成的特征描述因子，在此不再赘述。

在一些实施例中，确定所述面部特征点的位置信息还可以通过机器学习的方式获得。例如，可以利用机器学习模型获取面部特征点的位置信息。针对机器学习模型的运用包括训练阶段和使用阶段：在训练阶段，可以将多张标记有面部特征点的位置信息的人脸图像输入机器学习模型，对机器学习模型进行训练；在使用阶段，将新的人脸图像输入训练成熟的机器学习模型，机器学习模型能够自动输出该人脸图像的面部特征点的位置信息。

在一些实施例中，确定所述面部特征点的位置信息还可以通过机器学习中的深度学习的方式获得。在训练阶段可以利用大量训练数据来训练神经网络模型，这些训练数据例如是标记有面部特征点的位置信息的人脸图像；在使用阶段，将新的人脸图像输入神经网络模型，神经网络模型能够自动输出该人脸图像的面部特征点的位置信息，并且输出的信息的准确度相比传统的机器学习模型有显著的提高。

值得注意的是，以上仅为举例之用，确定所述面部特征点的位置信息的方式可以并不限于上述多种，本领域技术人员可以对确定的方式进行任意变换，这些变换均包含在本发明的范围中。

在执行步骤S102之后，根据本发明一实施例，可以执行步骤S103如下：

S103，基于所述面部特征信息，获取被检测对象的驾驶状态；

在这一步骤中，可以基于面部特征信息获得被检测对象的驾驶状态。通过面部特征点可以获得对应的面部特征信息。面部特征信息例如包括面部特征点的位置信息。该位置信息可以作为用于提取特征描述因子，确定驾驶员的状态。

例如，在一实施例中可以从面部特征点的位置信息中定位到驾驶员的眼睛区域；利用眼睛区域的位置信息提取描述因子，例如驾驶员眼睛的高宽比，使用SVM算法确定眼睛的状态——该状态例如可以包括睁开、闭上、半睁等。

同样地，在其他实施例中还可以从面部特征点的位置信息中定位到驾驶员的嘴部区域；利用嘴部区域的位置信息提取描述因子，例如驾驶员嘴部的高宽比，使用特定的算法确定嘴巴的状态——该状态例如可以包括张开、闭合、半张开等。

同样地，在其他实施例中，可以结合车载摄像头模块20的内外参数计算出驾驶员的头部姿态。例如可以根据驾驶员当前的被拍摄到的图像，结合摄像头相对于x-y-z三轴坐标系的偏转角度，计算出驾驶员的头部姿态。或者，利用驾驶员的头部所在的轴线与身体的轴线的夹角及变换关系，确定驾驶员的头部姿态。例如，当预设的头部姿态是头部相对于身体呈小于特定角度，例如夹角在0-15度之间，认为驾驶员处于正常姿态；当驾驶员的头部姿态相对于身体呈大于15度的角度，则认为驾驶员可能处于睡觉状态。

在一些实施例中，当通过其中的一种或者多种方法判断出驾驶员的驾驶状态，用于后续发出对应的提醒信息。在一些实施例中，所述自动驾驶***可以设定眼睛、嘴巴、头部等姿态中的一种或者多种来对应驾驶员的驾驶状态。在一些实施例中，当所述自动驾驶***确定了所述眼睛、嘴巴、头部等中的一种或者多种姿态时，则可以确定驾驶员的驾驶状态。

驾驶状态可以分为多个驾驶状态等级。以利用驾驶员的眼睛来检测驾驶状态为例，可以设置有三个不同的等级状态(0/1/2)，等级越低越清醒。举例来说，某时刻任一只眼睛是闭眼状态，则闭眼连续帧增加一次。如果闭眼连续帧次数大于最大连续闭眼次数，则驾驶员的驾驶状态等级为2；如果闭眼连续次数在最大和最小连续闭眼次数之间，则驾驶员的驾驶状态等级为1；否则，驾驶员的驾驶状态等级为0。

再举例来说，当检测到用户的头下垂超过第一时长，则驾驶员的驾驶状态等级为2；当检测到用户的头下垂时间位于第一时长和第二时长之间，其中第一时长大于第二时长，则驾驶员的驾驶状态等级为1；否则驾驶员的驾驶状态等级为0。

眼睛的睁闭状态可以根据所述眼部区域提取特征信息，然后基于SVM分类器来判断。所述特征信息可以包括灰度旋转不变等价模式的LBP特征、HU矩特征和直方图特征的融合信息，这些信息用于对所述的眼部区域进行特征描述。在一些实施例中，所述SVM分类器首先提取图像的融合特征信息，然后基于支持向量机算法对数据样本集图像进行训练，得到能够判断眼睛睁闭状态的分类器。

在执行步骤S103之后，根据本发明一实施例，可以执行步骤S104如下：

S104，在满足预定条件时，基于所述驾驶状态发出对应的提醒信息。

在这一步骤中，所述预定条件基于驾驶员的驾驶状态、自动驾驶***当前的***状态信号、以及对驾驶员的驾驶状态判断的准确程度(例如，***置信度)等中的至少其中之一或其组合确定。

在一些实施例中，所述预定条件可以为：自动驾驶***当前的***状态信号为***错误或车辆故障；即，只要***状态信号包含***错误或者车辆故障相关的信号，图1所示的唤醒策略提醒模块50即根据驾驶员的驾驶状态，确定提醒方式，并通过人机交互接口模块60发出对应的提醒信息。

在另一些实施例中，所述预定条件可以为：驾驶状态等级为1或2级(例如驾驶员很不清醒或者较不清醒)，且自动驾驶***当前的***状态信号为***错误或车辆故障；即，需要同时满足驾驶员未处于驾驶状态且***状态信号显示为***错误或车辆故障，此时需要驾驶员介入，才满足预定条件；在满足预定条件的情况下，唤醒策略控制模块50即根据驾驶员的驾驶状态，确定提醒方式，并通过人机交互接口模块60发出对应的提醒信息。

在另一些实施例中，可以引入***置信度，即***判断的准确程度，以此为依据确定是否达到预定条件，或者决定发出不同级别的提醒信息。确定***置信度的步骤例如可以包括如下步骤：

计算连续检测到人脸图像信息的次数；以及

根据所述人脸图像信息的次数确定所述***置信度，所述***置信度包括两个以上***置信度等级。

在一实施例中，自动驾驶***可以利用连续检测到人脸的次数划分***结果的置信度，使用三个等级进行表征(0/1/2)，等级越高可信度越高。如果连续检测到人脸的次数大于连续检测到人脸的最大阈值，则置信度为2；如果连续检测到人脸的次数在最大和最小阈值之间，则置信度为1；否则，置信度为0。

在考虑到***置信度的情形下，所述预定条件可以为：驾驶状态等级为1或2级(例如驾驶员较为不清醒或者很不清醒)，且自动驾驶***当前的***状态信号为***错误或车辆故障，且前述***置信度为1或2(即可信程度高或中等)；即，需要同时满足驾驶员未处于驾驶状态、且***状态信号显示需要驾驶员介入，并且***置信度高于一定范围，才认为满足了预定条件；在满足预定条件的情况下，车载控制***的唤醒策略提醒模块50即根据驾驶员的驾驶状态，确定提醒方式，通过人机交互接口模块60发出对应的提醒信息。

基于驾驶员的驾驶状态发出对应的提醒信息的操作例如可以为，针对不同等级的驾驶状态，设置不同强度的提醒方式，例如高中低三种强度的提醒方式。其中，所述不同强度的提醒方式皆可通过音量、灯光闪烁、方向盘震动、座椅震动等方式中的一种或多种实现。其中，高强度提醒方式、中强度提醒方式、低强度提醒方式的区别在于所采用提醒方式的激烈或强度不同，例如在采用音量提醒时，高强度提醒方式可采用高分贝音量，灯光闪烁频率高等或者采用红色灯光高频率闪烁，高频率的方向盘震动或座椅震动；中强度提醒方式可采用中等分贝音量，灯光闪烁频率中等或者采用黄色灯光中频率闪烁，中频率的方向盘震动或座椅震动；低强度提醒方式可采用低分贝音量，灯光闪烁频率较低或采用绿色灯光闪烁，低频率的方向盘震动或座椅震动。

基于驾驶状态发出对应的提醒信息，也可以将***置信度作为参考因素之一，即，可以基于驾驶状态和***置信度，确定对应的提醒方式，发出对应级别的提醒信息。

表1所示为在满足预定条件下，针对驾驶状态设置的多种提醒方式的示例，如下：

驾驶状态等级	***置信度	提醒方式
			1(不清醒)	1(高)	高强度
2(较不清醒)	1(高)	中等强度
			3(清醒)	2(中)	低强度
2(较不清醒)	3(低)	低强度
			3(清醒)	3(低)	低强度

表1

值得注意的是，上述的不同强度的提醒方式设置的强度级别、每一强度级别的具体提醒手段均是举例说明，并且同一提醒强度级别也可能对应不同的提醒手段，本发明并不特别限制。本领域技术人员可以在本发明公开的原理范围内自行设置提醒手段。

在一些实施例中，步骤S101到S104分别可以包含如下子步骤。

在一可选实施例中，进一步地，如图4A所示，所述步骤S101，即获取被检测对象的人脸图像信息的步骤，可以包括如下子步骤：

S1011，利用人脸分类器检测所采集的图像中是否存在人脸图像信息；

S1012，当判断所采集的图像中存在人脸图像信息时，从所述人脸图像信息中提取面部特征信息；

在一些实施例中，当判断所采集的图像中存在人脸时，即可以利用算法获得人脸矩形区域。在确定了人脸矩形区域后，可以从人脸矩形区域中获得至少一个面部特征信息。

例如，在子步骤S1011中，可以利用人脸分类器检测是否存在人脸图像。人脸分类器可以是对包含人脸和非人脸的训练集提取MBLBP特征，利用级联的AdaBoost算法训练得到的。

在些一实施例中，人脸检测过程中使用AdaBoost算法挑选出一些最能代表人脸的矩形特征(弱分类器)，按照加权投票的方式将弱分类器构造为一个强分类器，再将训练得到的若干强分类器串联组成一个级联结构的层叠分类器。

前述的MBLBP特征指的是Multiscale Block LBP特征，本发明实施例使用的MBLBP特征与LBP特征相比，MBLBP特征更加鲁棒，更加完整地表征图像。

在子步骤S1012中，进一步地，当判断所采集的图像中存在人脸图像信息时，可以进一步确定人脸图像信息的面部特征信息。

在子步骤S1011中判断存在人脸图像信息之后，即可获得人脸矩形区域。在获得了人脸矩形区域之后，即可获得面部特征点，并进一步利用定位的方法确定出面部特征点的位置信息，作为面部特征信息。即，面部特征信息可以包括根据所述人脸矩形区域自动地定位出面部特征点的位置。

所述面部特征信息可以是组成人脸的各部件位置，比如眼睛、嘴角、鼻尖以及人脸轮廓等。这些特征位置可以通过算法定位获得。确定所述面部特征点的位置信息，对于所述人脸矩形区域，给出一个初始形状，提取关键特征点的图像特征，通过不断地迭代将初始形状回归到接近甚至等于真实形状的位置。

在一可选实施例中，所述面部特征信息可以包括被检测对象的眼部信息；所述眼部特征信息例如可以包括眼部高度和眼部宽度的比例。

因此，进一步地，如图4B和图4C所示，步骤S102可以包括如下子步骤：

S1021，根据所述人脸图像信息确定面部特征点；

S1022，确定所述面部特征点的位置信息，将所述位置信息作为面部特征信息。

子步骤S1021，即所述根据所述人脸图像信息确定面部特征点的步骤，可以包括：

S1021a，根据人脸图像信息获得人脸矩形区域；

S1021b，从人脸矩形区域中提取至少一个面部特征点的初始形状；

子步骤S1022，确定所述面部特征点的位置信息，将所述位置信息作为面部特征信息的步骤，可以包括：

S1022a，基于监督下降算法利用所述面部特征点的图像特征修正所述初始形状；

其中，所述图像特征包括方向梯度直方图特征。

在一些实施例中，可以先从前述的人脸矩形区域中定位获得面部特征点，例如眼睛、嘴角、鼻尖以及人脸轮廓等；再利用面部特征点的位置信息作为面部特征信息，用于后续确定驾驶状态。对于所述人脸矩形区域，给出一个初始形状，提取关键特征点的图像特征，通过不断地迭代将初始形状回归到接近甚至等于真实形状的位置。

进一步地，确定所述面部特征点的位置信息可以使用监督下降算法(SupervisedDescent Method,SDM)进行求解，所述图像特征采用的是方向梯度直方图特征(Histogramof Oriented Gradient,HOG)。所述监督下降算法是用来最小化非线性最小二乘(Non-linear Least Squares)目标函数的一种方法，通过学习一系列下降的方向和该方向的尺度，使得目标函数以非常快的速度收敛到最小值，避免了求解雅可比矩阵和海森矩阵的难题。所述方向梯度直方图特征是通过计算和统计图像局部区域的梯度方向直方图构成的特征描述因子，其本质是图像梯度的统计信息，对图像中的几何形变和光学形变都能保持很好的不变性。

如图4D所示，前述步骤S103，即根据所述面部特征信息判断被检测对象的驾驶状态的步骤，可以包括如下子步骤：

S1031，根据所述眼部信息提取眼部特征信息，并确定眼睛的睁闭状态；

S1032，利用多个连续图像的眼睛睁闭状态，确定被检测对象的驾驶状态，所述驾驶状态包括两个以上驾驶状态等级。

在子步骤S1031中，可以根据所述眼部区域提取特征信息，然后基于SVM分类器得到眼睛的睁闭状态。如前述，可以用灰度旋转不变等价模式的LBP特征、HU矩特征和直方图特征的融合信息，对所述的眼部区域进行特征描述。

在子步骤S1032中，所述驾驶员的状态是根据连续帧的人眼睁闭状态判断的，例如可以设置有三个不同的等级状态(0/1/2)，等级越低越清醒。具体地说，某时刻任一只眼睛是闭眼状态，则闭眼连续帧增加一次。如果闭眼连续帧次数大于最大连续闭眼次数，则驾驶员的状态等级为2；如果闭眼连续次数在最大和最小连续闭眼次数之间，则驾驶员的状态等级为1；否则，驾驶员的状态等级为0。

在一实施例中，所述面部特征信息还可以包括被检测对象的嘴部信息；所述嘴部信息包括所述被检测对象的嘴部高度和嘴部宽度的比例、嘴部的面积的至少一者。在其他实施例中，所述面部特征信息还可以包括被检测对象的头部姿态信息；所述头部姿态信息例如可以包括当前头部轴线方向与预设头部轴线方向的夹角。虽然前述实施例是以眼部特征信息为例进行说明的，但是本领域技术人员可以明确的是，面部特征信息所并不限于仅包含前述的眼部特征信息。

由上述可知，本发明实施例提出一种驾驶提醒方法，相比于现有技术，至少具有如下优点：

本发明实施例提出的驾驶提醒方法，能够解决现有的驾驶员状态检测***误报率高的问题，确保驾驶员有能力在规定时间范围内安全接管车辆。

对于例如L3级别以上的自动驾驶***，并不需要驾驶员一直是清醒状态，也不必时刻关注前方路况信息，甚至可以睡觉，但是在***出现故障的情况下需要准备被唤醒。当自动驾驶***发生故障时，***可以根据检测到的驾驶员状态采取不同强度的提醒方式，以使得驾驶员能够在较短时间内完成驾驶任务主体的切换。

本发明提出的驾驶提醒方法可以应用于L3级别以上的自动驾驶***，能够解决现有的驾驶员状态检测***误报率高的问题，确保驾驶员有能力在规定时间范围内安全接管车辆。

此外，本发明可选实施例提出的驾驶提醒方法至少还包括如下优点：

第一，本发明一些实施例提出的驾驶提醒方法，采用MBLBP特征作为人脸检测过程的特征描述子，该特征能够更加完整地表征图像信息，比LBP特征更加鲁棒，比Haar-like特征更加高效。

第二，本发明实施例使用监督下降方法解决最小化非线性最小二乘(Non-linearLeast Squares)目标函数的问题，该方法处理速度快，计算结果准确，能够克服很多二阶优化方案的缺点，比如不可导、海森矩阵计算量大等。

本发明实施例还提出一种驾驶状态检测方法，用于检测自动驾驶车辆的驾驶员的状态，包括前述的步骤S101至步骤S103。

与前述的驾驶提醒方法对应地，本发明实施例还提出一种驾驶提醒装置，包括：

存储器，其中存储有计算机可读程序；

处理器，连接于所述存储器，用于执行所述计算机可读程序，以执行如下操作：

获取被检测对象的人脸图像信息；

从所述人脸图像信息中获取被检测对象的至少一个面部特征信息；

基于所述面部特征信息，获取被检测对象的驾驶状态；

在满足预定条件时，基于所述驾驶状态发出对应的提醒信息。

与前述的驾驶状态检测方法对应地，本发明实施例还提出一种驾驶状态检测装置，包括：

存储器，其中存储有计算机可读程序；

处理器，连接于所述存储器，用于执行所述计算机可读程序，以执行如下操作：

获取被检测对象的人脸图像信息；

从所述人脸图像信息中获取被检测对象的至少一个面部特征信息；

基于所述面部特征信息，获取被检测对象的驾驶状态。

本发明实施例还提出一种自动驾驶***，包括：

车辆传感器模块，用于检测被检测对象是否在驾驶位置；

车载摄像头模块，用于获取被检测对象的图像；

存储器，其中存储有计算机可读程序；

处理器，连接于所述车辆传感器模块、所述车载摄像头模块以及所述存储器，获取传感器信号和所述图像，并用于执行所述计算机可读程序，以执行如下操作：

从所述图像中获取被检测对象的人脸图像信息；

从所述人脸图像信息中获取被检测对象的至少一个面部特征信息；

基于所述面部特征信息，获取被检测对象的驾驶状态；

在满足预定条件时，基于所述驾驶状态发出对应的提醒信息。

本发明实施例还提出一种自动驾驶***，用于检测被检测对象的驾驶状态，包括：

车辆传感器模块，用于检测被检测对象是否在驾驶位置；

车载摄像头模块，用于获取被检测对象的图像；

存储器，其中存储有计算机可读程序；

处理器，连接于所述车辆传感器模块、所述车载摄像头模块以及所述存储器，获取传感器信号和所述图像，并用于执行所述计算机可读程序，以执行如下操作：

从所述图像中获取被检测对象的人脸图像信息；

从所述人脸图像信息中获取被检测对象的至少一个面部特征信息；

基于所述面部特征信息，获取被检测对象的驾驶状态。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的计算设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

例如，图5示出了可以实现根据本发明的方法的计算设备。该计算设备传统上包括处理器1010和以存储器1020形式的计算机程序产品或者计算机可读介质。存储器1020可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器1020具有用于执行上述方法中的任何方法步骤的程序代码1031的存储空间1030。例如，用于程序代码的存储空间1030可以包括分别用于实现上面的方法中的各种步骤的各个程序代码1031。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为如参考图6所述的便携式或者固定存储单元。该存储单元可以具有与图5的计算设备中的存储器1020类似布置的存储段、存储空间等。程序代码可以例如以适当形式进行压缩。通常，存储单元包括计算机可读代码1031’，即可以由例如诸如1010之类的处理器读取的代码，这些代码当由计算设备运行时，导致该计算设备执行上面所描述的方法中的各个步骤。

本申请实施例提供了一种计算设备，包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述计算设备执行如本申请实施例中一个或多个所述的方法。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者计算设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者计算设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者计算设备中还存在另外的相同要素。

以上对本申请所提供的一种驾驶提醒方法和驾驶提醒装置，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

工业实用性

本申请实施例提出的驾驶提醒方法，能够解决现有的驾驶员状态检测***误报率高的问题，确保驾驶员有能力在规定时间范围内安全接管车辆。

对于例如L3级别以上的自动驾驶***，并不需要驾驶员一直是清醒状态，也不必时刻关注前方路况信息，甚至可以睡觉，但是在***出现故障的情况下需要准备被唤醒。当自动驾驶***发生故障时，***可以根据检测到的驾驶员状态采取不同强度的提醒方式，以使得驾驶员能够在较短时间内完成驾驶任务主体的切换。

本申请提出的驾驶提醒方法可以应用于L3级别以上的自动驾驶***，能够解决现有的驾驶员状态检测***误报率高的问题，确保驾驶员有能力在规定时间范围内安全接管车辆。

此外，本申请可选实施例提出的驾驶提醒方法至少还包括如下优点：

第二，本申请一些实施例提出的驾驶提醒方法，采用MBLBP特征作为人脸检测过程的特征描述子，该特征能够更加完整地表征图像信息，比LBP特征更加鲁棒，比Haar-like特征更加高效。

第三，本申请实施例使用监督下降方法解决最小化非线性最小二乘(Non-linearLeast Squares)目标函数的问题，该方法处理速度快，计算结果准确，能够克服很多二阶优化方案的缺点，比如不可导、海森矩阵计算量大等。

Claims (19)

1.一种驾驶提醒方法，其特征在于，包括：

获取被检测对象的人脸图像信息；

从所述人脸图像信息中获取被检测对象的至少一个面部特征信息；

基于所述面部特征信息，获取被检测对象的驾驶状态；

在满足预定条件时，基于所述驾驶状态发出对应的提醒信息。

2.根据权利要求1所述的驾驶提醒方法，其特征在于，所述获取被检测对象的人脸图像信息的步骤包括：

利用人脸分类器检测所采集的图像中是否存在人脸图像信息；

当判断所采集的图像中存在人脸图像信息时；从所述人脸图像信息中提取面部特征信息。

3.根据权利要求2所述的驾驶提醒方法，其特征在于，所述人脸分类器是对包含人脸和非人脸的训练集提取MBLBP特征，利用级联的AdaBoost算法训练得到的分类器。

4.根据权利要求1所述的驾驶提醒方法，其特征在于，所述从所述人脸图像信息中获取被检测对象的至少一个面部特征信息的步骤包括：

根据所述人脸图像信息确定面部特征点；

确定所述面部特征点的位置信息，将所述位置信息作为面部特征信息。

5.根据权利要求4所述的驾驶提醒方法，其特征在于，所述面部特征点包括：眼睛、嘴角、鼻尖以及人脸轮廓的至少一者。

6.根据权利要求4所述的驾驶提醒方法，其特征在于，所述根据所述人脸图像信息确定面部特征点的步骤，包括：

根据人脸图像信息获得人脸矩形区域；

从人脸矩形区域中提取至少一个面部特征点的初始形状；

所述确定所述面部特征点的位置信息，将所述位置信息作为面部特征信息的步骤包括：

利用所述面部特征点的图像特征修正所述初始形状。

7.根据权利要求4所述的驾驶提醒方法，其特征在于，所述根据所述面部特征点从所述人脸图像信息中获得所述至少一个面部特征信息的步骤中，所述面部特征信息包括：被检测对象的眼部信息、嘴部信息和头部姿态信息的至少一者。

8.根据权利要求7所述的驾驶提醒方法，其特征在于，所述面部特征信息包括被检测对象的眼部信息；

所述根据所述面部特征信息判断被检测对象的驾驶状态的步骤，包括：

根据所述眼部信息提取眼部特征信息，并确定眼睛的睁闭状态；

利用多个连续图像的眼睛睁闭状态，确定被检测对象的驾驶状态，所述驾驶状态包括两个以上驾驶状态等级。

9.根据权利要求8所述的驾驶提醒方法，其特征在于，所述眼部特征信息包括眼部高度和眼部宽度的比例。

10.根据权利要求7所述的驾驶提醒方法，其特征在于，所述面部特征信息包括被检测对象的嘴部信息；

所述嘴部信息包括所述被检测对象的嘴部高度和嘴部宽度的比例、嘴部的面积的至少一者。

11.根据权利要求7所述的驾驶提醒方法，其特征在于，所述面部特征信息包括被检测对象的头部姿态信息；

所述头部姿态信息包括当前头部轴线方向与预设头部轴线方向的夹角。

12.根据权利要求1所述的驾驶提醒方法，其特征在于，所述预定条件包括：

接收到***故障信号；或

接收到车辆故障信号。

13.根据权利要求12所述的驾驶提醒方法，其特征在于，所述基于驾驶状态发出对应的提醒信息的步骤，包括：

根据所述驾驶状态、***置信度和所述***状态信号，发送对应的提醒信息。

14.根据权利要求13所述的驾驶提醒方法，其特征在于，所述方法还包括：

确定***置信度，包括：

计算连续检测到人脸图像信息的次数；

根据所述人脸图像信息的次数确定所述***置信度，所述***置信度包括两个以上***置信度等级。

15.一种驾驶状态检测方法，其特征在于，包括：

获取被检测对象的人脸图像信息；

从所述人脸图像信息中获取被检测对象的至少一个面部特征信息；

根据所述面部特征信息判断被检测对象的驾驶状态。

16.一种计算设备，用于执行驾驶提醒，所述计算设备包括：

存储器，其中存储有计算机可读程序；

处理器，连接于所述存储器，用于执行所述计算机可读程序，以执行如下操作：

获取被检测对象的人脸图像信息；

从所述人脸图像信息中获取被检测对象的至少一个面部特征信息；

基于所述面部特征信息，获取被检测对象的驾驶状态；

在满足预定条件时，基于所述驾驶状态发出对应的提醒信息。

17.根据权利要求16所述的计算设备，还包括：

车辆传感器模块，用于检测被检测对象是否在驾驶位置；

车载摄像头模块，用于获取被检测对象的图像；

所述获取被检测对象的人脸图像信息的操作中，所述人脸图像信息从所述车载摄像头模块获取的图像中获得。

18.一种计算设备，用于执行驾驶状态检测，所述计算设备包括：

存储器，其中存储有计算机可读程序；

处理器，连接于所述存储器，用于执行所述计算机可读程序，以执行如下操作：

获取被检测对象的人脸图像信息；

从所述人脸图像信息中获取被检测对象的至少一个面部特征信息；

基于所述面部特征信息，获取被检测对象的驾驶状态。

19.根据权利要求18所述的计算设备，还包括：

车辆传感器模块，用于检测被检测对象是否在驾驶位置；

车载摄像头模块，用于获取被检测对象的图像；

所述获取被检测对象的人脸图像信息的操作中，所述人脸图像信息从所述车载摄像头模块获取的图像中获得。