CN109795319A - 检测和干预驾驶员疲劳驾驶的方法、装置和*** - Google Patents

Abstract

本发明提出一种检测和干预驾驶员疲劳驾驶的方法、装置和***，方法包括：若根据语音问答判断驾驶员不是处于深度疲劳状态，则允许车辆启动；在车辆启动后的预设时间点开启摄像装置；从摄像装置获取图像并处理；若根据图像判断得到预设时间段内驾驶员的眨眼次数少于预设值，则开启对话功能；若根据对话功能的提问和驾驶员的回答判断驾驶员处于深度疲劳状态，则启动座椅振动功能。本发明解决了现有技术中单一设备检测疲劳驾驶的方式产生的检测结果不准确，可实施性不高等技术问题。

Description

检测和干预驾驶员疲劳驾驶的方法、装置和***

技术领域

本发明涉及车辆领域，尤其涉及一种检测和干预驾驶员疲劳驾驶的方法、装置和***。

背景技术

目前市场上的疲劳驾驶检测方法很多，例如通过摄像头监控人脸面部表情、人眼瞳孔张开角度，通过设备监测驾驶员血压、坐姿、脉搏等等生理特征来判断驾驶员是否疲劳驾驶。但是这些通过生理特征来监测驾驶员是否疲劳的方法，只是通过单一设备监控驾驶员生理情况，例如通过摄像头监控人眼瞳孔张开角度来判断驾驶员是否疲劳，此方法的判断准确率有待提高；还有例如通过监测驾驶员血压来判断驾驶员是否疲劳，这种方法需要专门的设备和驾驶员长时间接触，可实施性还有待提高，这种单一设备检测疲劳驾驶的方式问题有很多，而且现有技术中大多数疲劳驾驶设备检测出驾驶员疲劳驾驶之后，一般都只是单纯从车的扬声器内发出声音来刺激或提醒驾驶员保持清醒，这并不能从根本上阻止某些驾驶员不顾疲劳驾驶，继续行驶的情况。

发明内容

基于以上问题，本发明提出一种检测和干预驾驶员疲劳驾驶的方法、装置和***，解决了现有技术中单一设备检测疲劳驾驶的方式产生的检测结果不准确，可实施性不高等技术问题。

本发明提出一种检测和干预驾驶员疲劳驾驶的方法，包括：

若根据语音问答判断驾驶员不是处于深度疲劳状态，则允许车辆启动；

在车辆启动后的预设时间点开启摄像装置；

从摄像装置获取图像并处理；

若根据图像判断得到预设时间段内驾驶员的眨眼次数少于预设值，则开启对话功能；

若根据对话功能的提问和驾驶员的回答判断驾驶员处于深度疲劳状态，则启动座椅振动功能。

此外，启动座椅振动功能之后，还包括：提供附近停车场的导航信息，当车辆到达停车场后，停止座椅振动。

此外，座椅振动功能提供间隔振动和持续振动两种方式。

此外，若根据对话功能的提问和驾驶员的回答判断驾驶员处于深度疲劳状态包括：若连续几个提问都没有得到回答、连续几个提问的回答时间超时和/或连续几个提问都回答错误，则认为驾驶员处于深度疲劳状态。

此外，针对驾驶员的回答进行判断时，采用宽松的判断策略。

此外，对话功能的提问中以主观问题为主要提问问题。

此外，若根据语音问答判断驾驶员不是处于深度疲劳状态，则允许车辆启动包括：若检测到驾驶员启动车辆，则开启智能语音交互功能，智能语音交互功能发出语音提问，接收驾驶员的回答，若根据回答判断驾驶员不是处于深度疲劳状态，则允许车辆启动。

本发明提出一种检测和干预驾驶员疲劳驾驶的装置，包括：

第一判断模块，用于若根据语音问答判断驾驶员不是处于深度疲劳状态，则允许车辆启动；

启动摄像模块，用于在车辆启动后的预设时间点开启摄像装置；

处理图像模块，用于从摄像装置获取图像并处理；

第二判断模块，用于若根据图像判断得到预设时间段内驾驶员的眨眼次数少于预设值，则开启对话功能；

第三判断模块，用于若根据对话功能的提问和驾驶员的回答判断驾驶员处于深度疲劳状态，则启动座椅振动功能。

本发明提出一种存储介质，所述存储介质存储计算机指令，当计算机执行所述计算机指令时，用于执行上述任一项所述的检测和干预驾驶员疲劳驾驶的方法。

本发明提出一种检测和干预驾驶员疲劳驾驶***，包括至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

若根据语音问答判断驾驶员不是处于深度疲劳状态，则允许车辆启动；

在车辆启动后的预设时间点开启摄像装置；

从摄像装置获取图像并处理；

若根据图像判断得到预设时间段内驾驶员的眨眼次数少于预设值，则开启对话功能；

若根据对话功能的提问和驾驶员的回答判断驾驶员处于深度疲劳状态，则启动座椅振动功能。

通过采用上述技术方案，具有如下有益效果：

本发明解决了现有技术中单一设备检测疲劳驾驶的方式产生的检测结果不准确，可实施性不高等技术问题，而且解决了现有技术中的单纯从车的扬声器内发出声音来刺激或提醒驾驶员保持清醒的方式无法真正起到提示作用的技术问题。本发明提供的检测和干预驾驶员疲劳驾驶的方法通过语音交互和图像监测二者结合的方式使疲劳检测的检测准确率提高，并通过座椅振动的方式使驾驶员保持清醒，排除危险驾驶隐患。

附图说明

图1是本发明一个实施例提供的检测和干预驾驶员疲劳驾驶的方法的流程图；

图2是图1中涉及到的车载设备示意图；

图3是本发明一个实施例提供的检测和干预驾驶员疲劳驾驶的方法的流程图；

图4是本发明一个实施例提供的检测和干预驾驶员疲劳驾驶装置的框图。

具体实施方式

以下结合具体实施方案和附图对本发明进行进一步的详细描述。其只意在详细阐述本发明的具体实施方案，并不对本发明产生任何限制，本发明的保护范围以权利要求书为准。

参照图1，本发明提出一种检测和干预驾驶员疲劳驾驶的方法，包括：

步骤S001，若根据语音问答判断驾驶员不是处于深度疲劳状态，则允许车辆启动；

步骤S002，在车辆启动后的预设时间点开启摄像装置；

步骤S003，从摄像装置获取图像并处理；

步骤S004，若根据图像判断得到预设时间段内驾驶员的眨眼次数少于预设值，则开启对话功能；

步骤S005，若根据对话功能的提问和驾驶员的回答判断驾驶员处于深度疲劳状态，则启动座椅振动功能。

现有技术中，利用手机摄像头监控驾驶员是否处于疲劳驾驶的方式需要一直打开手机摄像头监控驾驶员面部特征，这一过程占用手机资源非常多，而且要不停计算非常耗电。现有技术中通过预先采集人脸表情单元，然后进行人脸图像标定，最后根据驾驶员的面部表情进行驾驶员性别和情绪的识别的单一判断方式不能准确地进行判断，误判较多。

而本发明是通过人机的智能语音交互和图像处理结合的方式判断驾驶员是否处于深度疲劳状态。当判断得出驾驶员已经处于深度疲劳状态时，通过座椅振动的方式提醒驾驶员，从而使驾驶员不会睡着，以保持其清醒地将车行驶到安全地方休息。

步骤S001，若根据语音问答判断驾驶员不是处于深度疲劳状态，则允许车辆启动；语音提问时一般会提问驾驶员一些主观问题，例如“今天天气怎么样？”，驾驶员若回复“今天天气不错”，智能语音交互模块继续提出对话“所以今天打算出去玩吗？”。语音提问由车载娱乐主机的智能语音交互模块负责，智能语音交互模块不仅仅是单纯地提供问题和判断问题，而且会根据驾驶员的回答的答案的语义选择下一个提问问题。语音提问也会准备一些客观题例如“长城在哪啊？”若驾驶员回复“什么？在家啊！”，则智能语音交互模块通过驾驶员的回复判定出驾驶员精神不清醒，处于深度疲劳状态。

步骤S002，在车辆启动后的预设时间点开启摄像装置；预设时间点例如2小时，在2小时以后开启摄像装置，开始监测驾驶员，使车辆的***不需要一直处理图像，在需要时处理图像即可。

步骤S003，从摄像装置获取图像并处理；通过图像处理配合监测驾驶员的状态，从而使检测结果更加准确。

步骤S004，若根据图像判断得到预设时间段内驾驶员的眨眼次数少于预设值，则开启对话功能；预设时间段例如为2分钟或5分钟，根据实验测试予以赋值即可。对话功能提供的问题例如为：“想不想到附近的休息区休息一下”，“您是不是饿了？”，“要不要来听首歌？”。

可选地，人车智能语音交互的问题，主观类问题不设绝对正确答案，合理即可，客观类问题才有明确答案。

可选地，疲劳驾驶分成2个等级，等级1为驾驶员处于初级疲劳驾驶例如：对于某些问题回复比较缓慢，回复不合理之处较少的情况；等级2为驾驶员处于深度疲劳驾驶，例如对于大多数问题回复不合理，回复时间较长或者大多数问题都不回复的情况。

步骤S005，若根据对话功能的提问和驾驶员的回答判断驾驶员处于深度疲劳状态，则启动座椅振动功能。当已经通过检测确认驾驶员处于深度疲劳状态时，通过启动座椅振动功能，使座椅振动从而提醒驾驶员，使驾驶员不至睡着而危险驾驶。

参照图2，检测和干预驾驶员疲劳驾驶的方法中需要用到的车载设备有：车载娱乐主机、摄像头模块、扬声器、车身控制模块、麦克风模块和座椅震动器。

摄像头模块向车载娱乐主机传输视频信号，扬声器和麦克风模块向车载娱乐主机输入音频信号，车载娱乐主机向扬声器输出音频信号，车身控制模块和座椅震动器分别与车载娱乐主机之间通过CAN总线传递信号。

本实施例解决了现有技术中单一设备检测疲劳驾驶的方式产生的检测结果不准确，可实施性不高等技术问题，而且解决了现有技术中的单纯从车的扬声器内发出声音来刺激或提醒驾驶员保持清醒的方式无法真正起到提示作用的技术问题。本实施例提供的检测和干预驾驶员疲劳驾驶的方法通过语音交互和图像监测二者结合的方式使疲劳检测的检测准确率提高，并通过座椅振动的方式使驾驶员保持清醒，排除危险驾驶隐患。

在其中的一个实施例中，启动座椅振动功能之后，还包括：提供附近停车场的导航信息，当车辆到达停车场后，停止座椅振动。当检测到驾驶员深度疲劳后，车载娱乐主机发送信号给导航模块，使其提供最近的停车场所的位置信息。当车辆按照导航提供的位置到达停车场后，座椅停止振动。通过提供最近的停车场所的信息，使驾驶员能够快速地开车到停车场以休息。

在其中的一个实施例中，座椅振动功能提供间隔振动和持续振动两种方式。座椅振动可以提供两种振动方式，一种是间隔振动，一种是持续振动。间隔振动会间隔一段时间振动一次以提示驾驶员保持清醒。

在其中的一个实施例中，若根据对话功能的提问和驾驶员的回答判断驾驶员处于深度疲劳状态包括：若连续几个提问都没有得到回答、连续几个提问的回答时间超时和/或连续几个提问都回答错误，则认为驾驶员处于深度疲劳状态。在判断驾驶员是否处于深度疲劳状态时，可以通过是否连续几个提问都没有得到回答、是否连续几个提问的回答时间都超时和/或是否连续几个提问都回答错误来判断，通过这几个方面能够很好地辅助判断出驾驶员是否深度疲劳。可选地，车载娱乐主机的判断策略可以根据实际情况进行调整。

在其中的一个实施例中，针对驾驶员的回答进行判断时，采用宽松的判断策略。例如：提问1“今天天气怎么样？”，驾驶员回复“今天天气不错”；智能语音交互模块继续提出提问2“所以今天打算出去玩吗？”，驾驶员回复“是的”或者“有这样的打算”；智能语音交互模块继续提出对话3“想去周围的游乐园玩吗？”驾驶员回复“不想去游乐园，打算去公园散步”，本实施例通过聊天式的提问方式，根据驾驶员的回复答案提出问题的方式，使驾驶员在检测时不至于很枯燥，而产生抗拒测试的问题。

在其中的一个实施例中，对话功能的提问中以主观问题为主要提问问题。通过提主观问题的方式使驾驶员更加愿意接受测试。

在其中的一个实施例中，若根据语音问答判断驾驶员不是处于深度疲劳状态，则允许车辆启动包括：若检测到驾驶员启动车辆，则开启智能语音交互功能，智能语音交互功能发出语音提问，接收驾驶员的回答，若根据回答判断驾驶员不是处于深度疲劳状态，则允许车辆启动。

在车辆启动时，就对驾驶员进行一次问题测试，从而在驾乘行为开始时就杜绝疲劳驾驶。

参照图3，本发明提供的一个实施例如下：驾驶员进入车内，车载娱乐主机启动智能对话功能，随之车载娱乐主机开始与驾驶员进行语音对话，通过这些对话，初步判定驾驶员是否处于深度疲劳或者不清醒状态。如果驾驶员清醒，车载娱乐主机发送相应报文给BCM(车身控制模块)，此时允许启动车辆；如果判断驾驶员深度疲劳或者不清醒，车载娱乐主机发送相应报文给BCM，不允许启动车辆；

为了避免过多占用车载娱乐主机资源，驾驶员连续行驶车辆2小时之后，才开启监控摄像头(一直开启摄像头的话，车载娱乐主机要一直进行计算，非常占用资源)，通过摄像头监控驾驶员眨眼次数，车载娱乐主机简单的判定驾驶员是否处于疲劳。如果是，则车载娱乐主机启动智能对话，问驾驶员一些比较有目的性的问题，通过对于这些问题驾驶员回复的次数、是否合理、回复时间长短综合来判断驾驶员是否处于哪种疲劳等级。

疲劳驾驶分两个等级，判断驾驶员处于疲劳等级1车载娱乐主机发出语音提醒，有助于驾驶员保持清醒，提醒驾驶员注意安全驾驶之后，继续监控驾驶员是否进入深度疲劳；判断驾驶员处于疲劳等级2，车载娱乐主机出发严重语音警告，娱乐主机自动设置导航到附近的可休息地点，主驾的座椅震动器一直震动，直至驾驶员行驶到停车点停车休息才停止震动。

应用场景举例1：

驾驶员进入车内，车载娱乐主机启动智能对话功能，随之车载娱乐主机的智能语音交互模块开始与驾驶员进行语音对话。智能语音交互模块提出对话1“要开始驾车了，您准备好了吗？”，驾驶员回复“你说什么？”；智能语音交互模块继续提出对话2“您心情不好吗？”，驾驶员回复“好想睡觉，困的很”或者回答的语音乱七八糟无法识别；智能语音交互模块继续提出对话3“长城在哪啊？”驾驶员回复“什么？在家啊！”；智能语音交互模块通过驾驶员的回复判定出驾驶员精神不清醒或者整个人深度疲劳，娱乐主机通过CAN线发送相应报文给BCM，不允许车辆启动。

应用场景举例2：

驾驶员进入车内，车载娱乐主机启动智能对话功能，随之车载娱乐主机的智能语音交互模块开始与驾驶员进行语音对话。智能语音交互模块提出对话1“今天天气怎么样？”，驾驶员回复“今天天气不错”；智能语音交互模块继续提出对话2“所以今天打算出去玩吗？”，驾驶员回复“是的”或者“有这样的打算”；智能语音交互模块继续提出对话3“想去周围的游乐园玩吗？”驾驶员回复“不想去游乐园，打算去公园散步”；智能语音交互模块通过驾驶员的回复判定出驾驶员精神面貌清醒，娱乐主机通过CAN线发送相应报文给BCM，允许车辆启动。

驾驶员持续驾驶时间达到2小时之后，疲劳识别摄像头开启，把监控的驾驶员人脸图像发送给娱乐主机，娱乐主机通过人脸识别算法，判断驾驶员眨眼次数是否过少，如果少于8次/分钟(此数据待标定),则初步判定驾驶员已经疲劳。车载娱乐主机启动智能对话功能，开始与驾驶员进行对话，智能语音交互模块提出对话1“想不想到附近的休息区休息一下”，驾驶员长达一分钟都未回复；智能语音交互继续模块提出对话2“您是不是饿了？”，驾驶员同样一分钟之内不回复；智能语音交互模块继续提出对话3“要不要来听首歌？振奋下精神？”，驾驶员一分钟之内回复了“你说什么？”；智能语音交互模块提出对话4“附近有休息区，要不要开过去休息一下？”，驾驶员回复“算了，再开一会吧！”智能语音交互模块判断出驾驶员处于疲劳等1，还可以继续行驶，娱乐主机每隔15分钟发出语音提醒“您现在有点疲劳，请注意安全驾驶！“。摄像头持续监控驾驶员面部表情，当再次检测到驾驶员眨眼次数少于8次/分钟(此数据待标定),判定驾驶员已经疲劳，车载娱乐主机启动智能对话功能，开始与驾驶员进行对话，智能语音交互模块提出对话1“我建议您还是休息会吧？您觉得怎么样？”，驾驶员长达一分钟都未回复；智能语音交互模块继续提出对话2“来听首歌吧，死了都要爱你觉得怎么样？”，驾驶员同样一分钟之内不回复；智能语音交互模块继续提出对话3“您还年轻，不要这么严肃啊！”，驾驶员一分钟之内回复了“我不饿。”；智能语音交互模块提出对话4“待会去吃火锅怎么样？”，驾驶员回复“啊？你说什么？”智能语音交互模块判断出驾驶员处于疲劳等2，车载娱乐主机出发严重语音警告“您现在处于严重疲劳驾驶中，将导航到附近的休息点休息！“，娱乐主机地图自动搜索导航到附近的可休息地点，主驾的座椅震动器一直震动，直至驾驶员行驶到停车点停车休息才停止震动。

参照图4，本发明提出一种检测和干预驾驶员疲劳驾驶的装置，包括：

第一判断模块401，用于若根据语音问答判断驾驶员不是处于深度疲劳状态，则允许车辆启动；

启动摄像模块402，用于在车辆启动后的预设时间点开启摄像装置；

处理图像模块403，用于从摄像装置获取图像并处理；

第二判断模块404，用于若根据图像判断得到预设时间段内驾驶员的眨眼次数少于预设值，则开启对话功能；

第三判断模块405，用于若根据对话功能的提问和驾驶员的回答判断驾驶员处于深度疲劳状态，则启动座椅振动功能。

本实施例解决了现有技术中单一设备检测疲劳驾驶的方式产生的检测结果不准确，可实施性不高等技术问题，而且解决了现有技术中的单纯从车的扬声器内发出声音来刺激或提醒驾驶员保持清醒的方式无法真正起到提示作用的技术问题。本实施例提供的检测和干预驾驶员疲劳驾驶的方法通过语音交互和图像监测二者结合的方式使疲劳检测的检测准确率提高，并通过座椅振动的方式使驾驶员保持清醒，排除危险驾驶隐患。

本发明还提出一种存储介质，所述存储介质存储计算机指令，当计算机执行所述计算机指令时，用于执行上述任一项所述的检测和干预驾驶员疲劳驾驶的方法。

本发明还提出一种检测和干预驾驶员疲劳驾驶***，包括至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

若根据语音问答判断驾驶员不是处于深度疲劳状态，则允许车辆启动；

在车辆启动后的预设时间点开启摄像装置；

从摄像装置获取图像并处理；

若根据图像判断得到预设时间段内驾驶员的眨眼次数少于预设值，则开启对话功能；

若根据对话功能的提问和驾驶员的回答判断驾驶员处于深度疲劳状态，则启动座椅振动功能。

本实施例解决了现有技术中单一设备检测疲劳驾驶的方式产生的检测结果不准确，可实施性不高等技术问题，而且解决了现有技术中的单纯从车的扬声器内发出声音来刺激或提醒驾驶员保持清醒的方式无法真正起到提示作用的技术问题。本实施例提供的检测和干预驾驶员疲劳驾驶的方法通过语音交互和图像监测二者结合的方式使疲劳检测的检测准确率提高，并通过座椅振动的方式使驾驶员保持清醒，排除危险驾驶隐患。

以上所述的仅是本发明的原理和较佳的实施例。应当指出，对于本领域的普通技术人员来说，在本发明原理的基础上，还可以做出若干其它变型，也应视为本发明的保护范围。

Claims (10)

1.一种检测和干预驾驶员疲劳驾驶的方法，其特征在于，包括：

若根据语音问答判断驾驶员不是处于深度疲劳状态，则允许车辆启动；

在车辆启动后的预设时间点开启摄像装置；

从摄像装置获取图像并处理；

若根据图像判断得到预设时间段内驾驶员的眨眼次数少于预设值，则开启对话功能；

若根据对话功能的提问和驾驶员的回答判断驾驶员处于深度疲劳状态，则启动座椅振动功能。

2.根据权利要求1所述的检测和干预驾驶员疲劳驾驶的方法，其特征在于，

启动座椅振动功能之后，还包括：提供附近停车场的导航信息，当车辆到达停车场后，停止座椅振动。

3.根据权利要求1所述的检测和干预驾驶员疲劳驾驶的方法，其特征在于，

座椅振动功能提供间隔振动和持续振动两种方式。

4.根据权利要求1所述的检测和干预驾驶员疲劳驾驶的方法，其特征在于，

若根据对话功能的提问和驾驶员的回答判断驾驶员处于深度疲劳状态包括：若连续几个提问都没有得到回答、连续几个提问的回答时间超时和/或连续几个提问都回答错误，则认为驾驶员处于深度疲劳状态。

5.根据权利要求4所述的检测和干预驾驶员疲劳驾驶的方法，其特征在于，

针对驾驶员的回答进行判断时，采用宽松的判断策略。

6.根据权利要求4所述的检测和干预驾驶员疲劳驾驶的方法，其特征在于，

对话功能的提问中以主观问题为主要提问问题。

7.根据权利要求1至6任一项所述的检测和干预驾驶员疲劳驾驶的方法，其特征在于，

若根据语音问答判断驾驶员不是处于深度疲劳状态，则允许车辆启动包括：若检测到驾驶员启动车辆，则开启智能语音交互功能，智能语音交互功能发出语音提问，接收驾驶员的回答，若根据回答判断驾驶员不是处于深度疲劳状态，则允许车辆启动。

8.一种检测和干预驾驶员疲劳驾驶的装置，其特征在于，包括：

第一判断模块，用于若根据语音问答判断驾驶员不是处于深度疲劳状态，则允许车辆启动；

启动摄像模块，用于在车辆启动后的预设时间点开启摄像装置；

处理图像模块，用于从摄像装置获取图像并处理；

第二判断模块，用于若根据图像判断得到预设时间段内驾驶员的眨眼次数少于预设值，则开启对话功能；

第三判断模块，用于若根据对话功能的提问和驾驶员的回答判断驾驶员处于深度疲劳状态，则启动座椅振动功能。

9.一种存储介质，其特征在于，所述存储介质存储计算机指令，当计算机执行所述计算机指令时，用于执行权利要求1至7中任一项所述的检测和干预驾驶员疲劳驾驶的方法。

10.一种检测和干预驾驶员疲劳驾驶***，其特征在于，包括至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

若根据语音问答判断驾驶员不是处于深度疲劳状态，则允许车辆启动；

在车辆启动后的预设时间点开启摄像装置；

从摄像装置获取图像并处理；

若根据图像判断得到预设时间段内驾驶员的眨眼次数少于预设值，则开启对话功能；

若根据对话功能的提问和驾驶员的回答判断驾驶员处于深度疲劳状态，则启动座椅振动功能。