CN107229922A - 一种疲劳驾驶监测方法及装置 - Google Patents

Abstract

本发明公开了一种疲劳驾驶监测方法及装置，具体实现的步骤为，构建与真实场景一一映射的虚拟场景，在虚拟场景下利用3D实感摄像技术实时跟踪定位人体面部上下嘴唇特征点、上下眼皮特征点；通过上下嘴唇特征点的空间位置变化来实时监测嘴巴的张合度，当嘴巴张开持续时间大于预设阈值，判定为打哈气；通过上下眼皮特征点的空间位置变化来实时监测双眼张合度，当双眼张开度小于初始距离限定比例，且持续时间大于预设阈值，判定为眼部疲劳；根据在限定时间内监测到的打哈气或眼部疲劳次数，判断所述驾驶员是否疲劳驾驶，若是疲劳驾驶，报警提示。本发明以驾驶员每次行车前的最佳状态作为疲劳驾驶的评判标准，可以有效地提高驾驶安全性。

Description

一种疲劳驾驶监测方法及装置

技术领域

本发明涉及汽车安全驾驶监测技术领域，具体而言，涉及一种疲劳驾驶监测方法和装置。

背景技术

当代社会，开车自驾游已是人们出行的一种普遍方式，但长时间的开车会出现疲劳，导致精神无法集中，碰到危险时无法第一时间做出反应，有可能酿成严重的交通事故。如何采取应对措施实时监测驾驶人驾驶状态、提醒驾车者安全驾驶是目前疲劳驾驶监测方法急需解决的主要问题。

现有的疲劳驾驶主要有基于生理信号的监测方法、基于行车信息的监测方法、基于面部信息的监测方法。

基于生理信号的监测需要采集驾驶员的脑电以及血压生理信号，并依据生理信号的变化做出疲劳驾驶状态的判断，要求有高精度的监测仪，因此开发成本很高，另外信号采集与分析很难达到实时性。

基于行车信息的监测主要依据汽车当前行驶状态，包括车辆的左右摇晃幅度、偏离车道位置、行车里程与时间信息，受行车道路与行车环境外在因素影响很大，容易产生误判与错判。

基于面部信息的监测主要通过图像处理技术，定位人脸区域，再根据当前人脸区域的眼睛关键点位置进行判断，上一帧人脸图像是下一帧人脸图像判定的基础，分类识别、预处理是常用的处理方法。但是，在人脸定位过程中，由于驾驶员坐姿的变化，如向左、向右一定角度的偏转，低头以及闭眼状态的出现，会使脸部图像的实时获取、处理以及后期眼部特征信息的统计分析与判别出错，成为实时监测***的一个技术难题。

发明内容

有鉴于此，本发明实施例的目的在于提供一种疲劳驾驶监测方法与装置，以解决上述问题。

为了实现上述目的，本发明实施例根据一个方面，提供了一种疲劳驾驶监测方法，采用的技术方案如下所述。

（1）首先基于增强现实技术构建可与真实场景交互的虚拟场景，并利用3D实感摄像技术实时跟踪定位人体面部特征部位，根据人体面部上下嘴唇特征点、上下眼皮特征点的位置深度变化信息来确定所述驾驶员是否为疲劳驾驶。

（2）在利用嘴部和眼部特征点的空间位置变化信息进行打哈气与眼部疲劳判定前，确定上下嘴唇特征点的初始距离，以及上下眼皮特征点的初始距离，具体方法包括 。

计算初始时间内各帧深度图像的上下嘴唇特征点距离平均值，作为上下嘴唇特征点的初始距离。

计算初始时间内各帧深度图像的上下眼皮特征点距离平均值，作为上下眼皮特征点的初始距离。

（3）通过上下嘴唇特征点的空间距离变化来实时监测嘴巴的张合度，当嘴巴张开持续时间大于预设阈值，判定为打哈气。

通过上下眼皮特征点的空间距离变化来实时监测双眼张合度，当双眼张开度小于初始距离限定比例，且持续时间大于预设阈值，判定为眼部疲劳。

（4）根据在限定时间内监测到的打哈气或眼部疲劳次数，判断所述驾驶员是否疲劳驾驶，若是疲劳驾驶，报警提示。

本发明实施例根据另一个方面，还提供了一种疲劳驾驶监测装置，包括如下模块。

人脸深度图像实时采集模块，用于实时采集人脸的深度图像，跟踪定位人体面部上下嘴唇、上下眼皮特征点的空间位置。

人体面部上下嘴唇、上下眼皮特征点初始距离确定模块，用于根据所述人脸深度图像实时采集模块初始时间内采集的深度图像，确定人体面部上下嘴唇、上下眼皮特征点的初始距离。

打哈气与眼部疲劳判定模块，用于根据所述人体面部上下嘴唇、上下眼皮特征点初始距离确定模块所确定的初始距离，实时判断当前上下嘴唇特征点与上下眼皮特征点的空间距离是否超出阈值范围，若上下嘴唇特征点空间距离大于初始距离，且持续时间大于预设阈值，判定为打哈气，若上下眼皮特征点空间距离小于初始距离一定比例，且持续时间大于预设阈值，判定为眼部疲劳。

疲劳驾驶判断模块，用于根据所述打哈气与眼部疲劳确定模块所确定的打哈气与眼部疲劳状态，在限定时间内监测打哈气或眼部疲劳的次数，若次数超过限定值则判定为疲劳驾驶。

疲劳驾驶报警模块，用于根据所述疲劳驾驶判断模块所确定的疲劳驾驶状态，声音报警提示。

与现有技术相比，本发明实施例提供的疲劳驾驶监测方法，通过构建与真实场景一一映射、可交互的虚拟场景，实时跟踪定位人体面部特征点的空间位置变化信息，依据眼部和嘴部的空间位置变化信息判定所述驾驶员的疲劳驾驶状态；相比现有的基于二维图像处理的人脸特征点跟踪定位方法，加入了位置深度信息，以空间位置变化信息代替二维平面信息，更不易受到人脸姿态、角度的变化影响，同时避免了因图像预处理及分类识别引起的监测延时问题。

进一步地，本发明的技术方案中，基于更高准确度、精度的嘴部和眼部特征点位置信息进行所述驾驶过程中打哈气与眼部疲劳的判定，当嘴巴张开持续时间大于预设阈值，判定为打哈气，当双眼张开度小于初始距离限定比例，且持续时间大于预设阈值，判定为眼部疲劳；相比现有的打哈气及眼部疲劳监测方法，本发明基于更高准确度、精度地监测嘴巴的张开度及持续时间、眼睛的闭合度及持续时间，从而更准确地判定是否为疲劳驾驶，当驾驶员出现所述打哈气及眼部疲劳状态时，报警提示。

进一步，本发明实施例的根据嘴部和眼部特征点的空间初始距离进行打哈气及眼部疲劳状态判定方法中，初始距离是监测初始时间内上下嘴唇、上下眼皮特征点距离的平均值，计算获得的值是每次监测时所述驾驶员行车的最佳状态值；相比现有的监测方法，以驾驶员每次行车前的最佳状态作为疲劳驾驶的评判标准，可以更有效地提高驾驶安全性。

进一步，本发明实施例的根据在监测到第一次打哈气或闭眼后的限定时间内，监测到的打哈气或眼部疲劳次数进行疲劳驾驶判断的方法中，以限定时间内监测到的次数为判定条件，若在限定时间内打哈气的次数超过限定值或表现持续眼部疲劳状态，声音报警提示；此方法相比现有的疲劳驾驶状态监测方法可以更及时地监测驾驶员的疲劳驾驶状态且降低误判的概率，整体提高疲劳驾驶监测的准确率与安全性。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的一种疲劳驾驶监测方法流程示意图。

图2为本发明较佳实施例提供的一组疲劳驾驶监测结果图中的人脸特征点定位效果图。

图3为本发明较佳实施例提供的一组疲劳驾驶监测结果图中的嘴部与眼部特征点的初始距离计算效果图。

图4为本发明较佳实施例提供的一组疲劳驾驶监测结果图中首次表现疲劳状态，临时监测计时开始的效果图。

图5为本发明较佳实施例提供的一组疲劳驾驶监测结果图中出现疲劳驾驶状态，达到报警条件，报警提示效果图。

图6为本发明实施例提供的一种可以应用并设置于微控制单元中的疲劳驾驶监测装置。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，是本发明较佳实施例提供的一种疲劳驾驶监测方法流程示意图。请参阅图1，本实施例描述的是疲劳驾驶监测处理流程，所述方法包括如下步骤。

步骤S101，创建虚拟场景，导入3D实感摄像设备。

作为一种实施方式，3D实感摄像设备进行疲劳驾驶监测前，需要先构建与真实场景一一映射的虚拟场景，在此场景下利用3D实感摄像设备实时跟踪定位人体面部特征点的深度位置信息。

本发明实施例的虚拟场景基于Unity3D开发平台创建，在Unity平台下通过新建3D工程（Project）实现虚拟场景创建。

创建虚拟场景后导入3D实感摄像信息，实现真实场景与虚拟场景的一一映射。

步骤S102，定位人脸，捕捉人脸面部特征点。

作为一种实施方式，利用RealSense SR300进行人脸定位，捕捉人脸面部特征点时需要在虚拟场景中创建与真实场景中相对应的虚拟对象，通过为虚拟对象添加目标跟随控件实现人脸特征点的捕捉。

在本发明所述实施例中捕捉的人脸面部特征点主要有上下嘴唇、左右眼上下眼皮。

对在Unity平台下为虚拟对象添加目标跟随控件实现人脸特征点的捕捉方法为本领域技术人员所熟知，此处不再赘述。

步骤S103，计算上下嘴唇、左右眼上下眼皮特征点初始空间距离，启动总计时器。

作为一种实施方式，在进行疲劳驾驶监测前，需要先确定所述驾驶员初始驾驶时的正常驾驶状态，即上下嘴唇、左右眼上下眼皮特征点的初始空间距离。后续的疲劳驾驶状态判定中将以上下嘴唇、左右眼上下眼皮特征点的初始空间距离为判定基准。

计算上下嘴唇、左右眼上下眼皮特征点初始空间距离的计算方法包括如下。

计算初始时间内各帧深度图像的上下嘴唇特征点距离平均值，作为上下嘴唇特征点的初始距离。

计算初始时间内各帧深度图像的上下眼皮特征点距离平均值，作为上下眼皮特征点的初始距离。

空间任意两特征点的距离计算公式如下。

其中A,B代表两空间特征点，它们的空间坐标分别为(x₁,y₁,y₁),( x₂,y₂,y₂)。

启动总计时器是为了统计总驾驶时间，在后续的持续监测中若有总驾驶时间超过4小时情况出现，***会报警提示。

步骤S104，实时监测。

作为一种实施方式，实时监测是***实时监测上下嘴唇、左右眼上下眼皮特征点的空间距离变化。

通过上下嘴唇特征点的空间距离变化来实时监测嘴巴的张合度，当嘴巴张开持续时间大于预设阈值，判定为打哈气。

通过上下眼皮特征点的空间距离变化来实时监测双眼张合度，当双眼张开度小于初始距离限定比例，且持续时间大于预设阈值，判定为眼部疲劳。

步骤S105，判断当前监测时刻是否出现打哈气或眼部疲劳。

作为一种实施方式，实时监测过程中，判断当前监测时刻是否出现打哈气或眼部疲劳。

若监测到打哈气或眼部疲劳，进入步骤S107；若没有监测到，进入步骤S106。

步骤S106，持续监测。

作为一种实施方式，持续监测是***持续按上述步骤S104方法进行上下嘴唇、左右眼上下眼皮特征点的空间距离变化监测。

步骤S107，疲劳驾驶初始提示，启动临时监测计时器。

作为一种实施方式，实时监测过程中，若在步骤S105中监测到打哈气或眼部疲劳，此时会对疲劳驾驶进行初始提示，同时启动临时监测计时器，判定在后续的限定时间内是否出现多次疲劳驾驶状态。

步骤S108，打哈气或眼部疲劳持续监测。

作为一种实施方式，在判定初次打哈气或眼部疲劳后，后续监测过程中会持续监测所述驾驶员嘴部和眼部特征点变化，判定在限定时间内是否再次出现打哈气或眼部疲劳。

步骤S109，限定时间内再次出现打哈气或眼部疲劳。

作为一种实施方式，实时监测过程中，识别到初次打哈气或眼部疲劳后，在后续监测中判定限定时间内是否再次出现打哈气或眼部疲劳。

若在初次打哈气或眼部疲劳后，限定时间内再次出现打哈气或眼部疲劳的次数超过预设值，将判定为疲劳驾驶，声音报警提示。

若在初次打哈气或眼部疲劳后，限定时间内没有再次出现打哈气或眼部疲劳，***返回步骤S106。

步骤S110，判定总计时器时间是否超过4小时。

作为一种实施方式，为了统计总驾驶时间，整个监测过程中会启动总计时器。

监测过程中，若没有出现疲劳驾驶状态，但是总驾驶时间超过4小时，***同样会声音报警提示，进入步骤S111。

如果没有出现疲劳驾驶状态，总驾驶时间也没有超过4小时，***返回步骤S106持续监测。

如图2-5所示，是本发明较佳实施例提供的一组电脑前坐姿监测结果图。

其中，图2为***的人脸特征点定位效果图。

图3为监测过程中初始监测时嘴部与眼部特征点的初始距离计算效果图。

图4为监测过程中首次表现疲劳状态，临时监测计时开始的效果图。

图5为在限定监测时间内，再次出现疲劳状态，达到报警条件，报警提示效果图。

图6为本发明实施例提供的一种可以应用并设置于微控制单元中的疲劳驾驶监测装置。具体可以包括人脸深度图像实时采集模块301、上下嘴唇、上下眼皮特征点初始距离确定模块302、打哈气与眼部疲劳判定模块303、疲劳驾驶判断模块304、疲劳驾驶报警模块305。

其中，人脸深度图像实时采集模块301，用于实时采集人脸的深度图像，跟踪定位人体面部上下嘴唇、上下眼皮特征点的空间位置。

人体面部上下嘴唇、上下眼皮特征点初始距离确定模块302，用于根据所述人脸深度图像实时采集模块初始时间内采集的深度图像，确定人体面部上下嘴唇、上下眼皮特征点的初始距离。

打哈气与眼部疲劳判定模块303，用于根据所述人体面部上下嘴唇、上下眼皮特征点初始距离确定模块所确定的初始距离，实时判断当前上下嘴唇特征点与上下眼皮特征点的空间距离是否超出阈值范围，若上下嘴唇特征点空间距离大于初始距离，且持续时间大于预设阈值，判定为打哈气，若上下眼皮特征点空间距离小于初始距离一定比例，且持续时间大于预设阈值，判定为眼部疲劳。

疲劳驾驶判断模块304，用于根据所述打哈气与眼部疲劳确定模块所确定的打哈气与眼部疲劳状态，在限定时间内监测打哈气或眼部疲劳的次数，若次数超过限定值则判定为疲劳驾驶。

疲劳驾驶报警模块305，用于根据所述疲劳驾驶判断模块所确定的疲劳驾驶状态，声音报警提示。

上述人脸深度图像实时采集模块301、人体面部上下嘴唇、上下眼皮特征点初始距离确定模块302、打哈气与眼部疲劳判定模块303、疲劳驾驶判断模块304、疲劳驾驶报警模块305的具体实现方法,可以参考上述如图1和图所示的方法流程步骤的具体内容,此处不再赘述。

与现有技术相比，本发明实施例提供的一种疲劳驾驶监测方法与装置，基于增强现实技术构建与真实场景一一映射的虚拟场景，在此场景下利用3D实感摄像技术实时跟踪定位人体眼部与嘴部特征点的深度位置信息，依据眼部和嘴部的空间位置变化信息判定所述驾驶员的疲劳驾驶状态；相比现有的基于二维图像处理的人脸特征点跟踪定位方法，加入了位置深度信息，以空间位置变化信息代替二维平面信息，更不易受到人脸姿态、角度的变化影响，同时避免了因图像预处理及分类识别引起的监测延时问题。

而且，本发明实施例的根据嘴部和眼部特征点的空间初始距离进行打哈气及眼部疲劳状态判定方法中，计算获得的初始值是每次监测时所述驾驶员行车的最佳状态值；相比现有的监测方法，以驾驶员每次行车前的最佳状态作为疲劳驾驶的评判标准，可以更有效地提高驾驶安全性。

进一步，本发明实施例的根据嘴部和眼部特征点的空间初始距离进行打哈气及眼部疲劳状态判定；在监测到第一次打哈气或闭眼后，在后续限定时间内，若打哈气的次数超过限定值或表现持续眼部疲劳状态，声音报警提示，此方法相比现有的疲劳驾驶状态监测方法可以更及时地监测驾驶员的疲劳驾驶状态且降低误判的概率，整体提高疲劳驾驶监测的准确率与安全性。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (6)

1.一种疲劳驾驶监测方法，其特征在于，该方法包括：

构建与真实场景一一映射的虚拟场景，在此虚拟场景下利用3D实感摄像技术实时跟踪定位人体面部上下嘴唇特征点、上下眼皮特征点；

通过上下嘴唇特征点的空间位置变化来实时监测嘴巴的张合度，当嘴巴张开持续时间大于预设阈值，判定为打哈气；

通过上下眼皮特征点的空间位置变化来实时监测双眼张合度，当双眼张开度小于初始距离限定比例，且持续时间大于预设阈值，判定为眼部疲劳；

根据在限定时间内监测到的打哈气或眼部疲劳次数，判断所述驾驶员是否疲劳驾驶，若是疲劳驾驶，报警提示。

2.如权利要求1所述的方法，其特征在于，在与真实场景一一映射的虚拟场景下，利用具有深度信息的3D实感摄像头实时跟踪定位人体面部特征点，利用嘴部和眼部特征点的空间位置变化信息进行嘴巴张合度和眼睛张合度的判断；上嘴唇和下嘴唇特征点的空间距离是计算嘴巴张合度的标准，上眼皮和下眼皮特征点的空间距离是计算眼睛张合度的标准。

3.如权利要求2所述的方法，其特征在于，在所述利用嘴部和眼部特征点的空间位置变化信息进行打哈气与眼部疲劳判定前，需要确定上下嘴唇特征点的初始距离，以及上下眼皮特征点的初始距离，具体方法包括：

计算初始时间内各帧深度图像的上下嘴唇特征点距离平均值，作为上下嘴唇特征点的初始距离；

计算初始时间内各帧深度图像的上下眼皮特征点距离平均值，作为上下眼皮特征点的初始距离。

4.如权利要求3所述的方法，其特征在于，在确定上下嘴唇特征点的初始距离，以及上下眼皮特征点的初始距离后，利用3D实感摄像头实时跟踪定位上下嘴唇以及上下眼皮特征点，计算其空间距离，判定当前嘴部和眼部驾驶状态：

当上下嘴唇特征点空间距离大于初始距离，且持续时间大于预设阈值，判定为打哈气；

当上下眼皮特征点空间距离小于初始距离一定比例，且持续时间大于预设阈值，判定为眼部疲劳。

5.如权利要求1-4所述的方法，其特征在于，疲劳驾驶判定的条件为：

在监测到第一次打哈气或闭眼后的限定时间内，若打哈气或眼部疲劳的次数超过限定值则判定为疲劳驾驶，报警提示。

6.一种疲劳驾驶监测装置，其特征在于，包括：

人脸深度图像实时采集模块，用于跟踪定位人体面部上下嘴唇、上下眼皮特征点的空间位置；

人体面部上下嘴唇、上下眼皮特征点初始距离确定模块，用于根据所述人脸深度图像实时采集模块初始时间内采集的深度图像，确定人体面部上下嘴唇、上下眼皮特征点的初始距离；打哈气与眼部疲劳确定模块，用于根据所述人体面部上下嘴唇、上下眼皮特征点初始距离确定模块所确定的初始距离，实时判断当前上下嘴唇特征点与上下眼皮特征点的空间距离是否超出阈值范围，若上下嘴唇特征点空间距离大于初始距离，且持续时间大于预设阈值，判定为打哈气，若上下眼皮特征点空间距离小于初始距离一定比例，且持续时间大于预设阈值，判定为眼部疲劳；

疲劳驾驶判断模块，用于根据所述打哈气与眼部疲劳确定模块所确定的打哈气与眼部疲劳状态，在监测到第一次打哈气或闭眼后的限定时间内，若打哈气或眼部疲劳的次数超过限定值则判定为疲劳驾驶，报警提示；

疲劳驾驶报警模块，用于根据所述疲劳驾驶判断模块所确定的疲劳驾驶状态，声音报警提示。