CN101968918B - 反馈式疲劳检测*** - Google Patents

Abstract

本发明提出一种反馈式疲劳检测***，其特征在于，包括传感模块、疲劳检测模块及语音报警与反馈模块。传感模块用于采集来自于驾驶人的图像光学信号和/或语音信号。疲劳检测模块与传感模块相连，用于根据采集到的图像光学信号和/或语音信号，判断驾驶人的疲劳状态。语音报警与反馈模块，与疲劳检测模块相连，用于根据驾驶人的疲劳状态发出语音报警信号和语音交互信号，并将语音交互信号的相关信息反馈给疲劳检测模块，以作为判断驾驶人疲劳状态的参考标准。本发明对驾驶人的疲劳检测具有很高的准确性，可以有效防止虚警、漏警的发生。

Description

反馈式疲劳检测***

技术领域

本发明涉及车辆安全以及监测控制领域，特别涉及一种反馈式疲劳检测***。

背景技术

疲劳驾驶是当今交通安全的重要隐患之一。驾驶人在疲劳时，其对周围环境的感知能力、形势判断能力和对车辆的操控能力都有不同程度的下降，因此很容易发生交通事故。关于驾驶人疲劳及注意分散等安全状态的检测预警技术，由于它在交通事故预防方面的发展前景而受到各国高度的重视，研究人员根据驾驶人疲劳时在生理和操作上的特征进行了多方面的研究。驾驶人疲劳状态的检测方法可大致分为基于驾驶人操作行为、基于车辆状态信息、基于驾驶人生理信号、基于驾驶人生理反应特征四种检测方法。

基于驾驶人操作行为的驾驶人疲劳状态识别技术，是指通过驾驶人的操作行为来推断驾驶人疲劳状态。例如通过对驾驶人的方向盘操作进行检测，并对检测到的数据进行处理，从而得出驾驶人方向盘的操作数据与疲劳值之间的关系。

基于车辆状态信息的疲劳状态识别技术，是指利用车辆行驶轨迹变化和车道线偏离等车辆行驶信息来推测驾驶人的疲劳状态。这种方法和基于驾驶人操作行为的疲劳状态识别技术一样，都以车辆现有的装置为基础，不需添加过多的硬件设备，而且不会对驾驶人的正常驾驶造成干扰，因此具有较高的实用价值。

但是，驾驶人操作行为和车辆状态信息除了与驾驶人的疲劳状态有关外，还受到个人习惯、行驶速度、道路环境、操作技能等因素的影响，因此基于驾驶人操作行为和基于车辆状态信息的疲劳检测方法，其存在检测错误率较高的缺点。

基于驾驶人生理信号的检测方法最早始于生理学。相关研究表明，驾驶人在疲劳状态下的生理指标会偏离正常状态的指标。因此可以通过驾驶员的生理指标来判断驾驶人是否进入疲劳状态。目前较为成熟的检测方法包括对驾驶人的脑电信号EEG、心电信号ECG等的测量。例如在进入疲劳状态时，脑电信号EEG中的delta波和theta波的活动会大幅度增长，而alpha波活动会有小幅增长，而心电信号ECG会明显的有规律的下降。因此通过对脑电信号EEG、心电信号ECG的测量便可以获知驾驶人的疲劳状态。

虽然基于驾驶人生理信号的检测方法对疲劳判断的准确性较高，但生理信号往往需要采用接触式测量，比如测量脑电信号EEG时需要始终佩戴头盔，因而对个人依赖程度较大，在实际用于驾驶人疲劳检测时有很多的局限性，甚至检测设备会对驾驶造成干扰，因此这种检测方法的应用极为困难。

基于驾驶人生理反应特征是指利用驾驶人的眼动特性、头部运动特性等推断驾驶人的疲劳状态，其是目前应用最多的一种检测方法。例如中国专利号200610031817.0的发明专利公开了一种基于图象处理和信息融合技术的驾驶员疲劳监测***及方法，其原理如下：首先由摄像头采集连续的数字图象信号，检测到人脸位置，进而确定眼睛、瞳孔、嘴巴的位置和大小；再确定驾驶员眼睛闭合时间占总时间的百分比(PERCLOS)、打哈欠的频率、头部晃动的规律、眼睛凝视方向和时间四个疲劳特征的大小，并将四个测量值转换为疲劳程度；最后运用信息融合技术融合驾驶员的四个疲劳特征的信息，判断驾驶员当前疲劳状况；当疲劳程度超过设定值时，报警器将启动报警。此***通过对多个疲劳特征进行融合，从而达到减少误报率和漏报率的效果。

但是，这种基于驾驶人生理反应特征的疲劳状态检测方法都需要采集数字图象信号，而要采集数字图象信号的时候往往会受到客观环境因素较大的影响，例如夜间光线不足或者强太阳光照射都会对图像采集造成一定的影响。又如一些驾驶员习惯佩戴墨镜，则无法采集到眼部的图像信息，从而导致出现误报警或漏报警。

综上所述，现有的疲劳检测***存在错误率高的问题。

发明内容

本发明的目的是提供一种反馈式疲劳检测***，以解决现有的疲劳检测***存在错误率高的问题。

本发明提出一种反馈式疲劳检测***，其特征在于，包括传感模块、疲劳检测模块及语音报警与反馈模块。传感模块用于采集来自于驾驶人的图像光学信号和/或语音信号。疲劳检测模块与传感模块相连，用于根据采集到的图像光学信号和/或语音信号，判断驾驶人的疲劳状态。语音报警与反馈模块，与疲劳检测模块相连，用于根据驾驶人的疲劳状态发出语音报警信号和语音交互信号，并将语音交互信号提示的动作指令信息或***期望的回应反馈给疲劳检测模块，该疲劳检测模块结合所述动作指令信息或***期望的回应及驾驶人响应的语音信号和/或图像光学信号，作为判断驾驶人疲劳状态的参考标准。

其中，该传感模块包括一语音传感单元，用于采集来自于驾驶人的语音信号；该疲劳检测模块包括一计算语音能量的疲劳检测单元，其分别与该语音传感单元及该语音报警与反馈模块相连，用于根据该语音报警与反馈模块发送来的***期望的回应，并结合该语音传感单元采集到的一段时间内驾驶人发出的语音信号，通过计算驾驶人的语音能量来获得其疲劳状态值。

依照本发明较佳实施例所述的反馈式疲劳检测***，传感模块包括图像传感单元，用于采集自于驾驶人的图像光学信号。疲劳检测模块包括识别动作的疲劳检测单元，其分别与图像传感单元及语音报警与反馈模块相连，用于根据语音报警与反馈模块发送来的动作指令信息，并结合图像传感单元采集到的一段时间内驾驶人动作的图像光学信号，计算出驾驶人的疲劳状态值。

依照本发明较佳实施例所述的反馈式疲劳检测***，识别响应动作的疲劳检测单元通过识别驾驶人的摇头动作来计算其疲劳状态值，具体依照以下计算公式：

$g=\frac{x}{y},$

$P_1=\frac{g_{\max }-g_{\min }}{g_{\max }},$

其中，x为驾驶人两眼中心之间的水平距离，y为驾驶人两眼中心到嘴中心的垂直距离，g为特征量，p₁为基于动作的疲劳状态值。

依照本发明较佳实施例所述的反馈式疲劳检测***，计算语音能量的疲劳检测单元具体依照以下计算公式：

$E_N=\underset{n-N-M+1}{\overset{N}{\mathrm{\Σ}}}{\left(x_n\right)}^2,$

$P_2=\frac{E_N}{E_O},$

其中，N为当前时刻，M为采样的时间长度，x_n为语音信号的振幅，E_N为驾驶人当前时刻的语音能量，Eo为驾驶人正常语音的能量，P₂为基于语音能量的疲劳状态值。

依照本发明较佳实施例所述的反馈式疲劳检测***，传感模块包括图像传感单元。疲劳检测模块包括识别动作的疲劳检测单元及识别语音内容的疲劳检测单元，识别动作的疲劳检测单元与图像传感单元相连，识别语音内容的疲劳检测单元均分别与语音传感单元相连。融合单元，其分别与识别动作的疲劳检测单元、计算语音能量的疲劳检测单元、识别语音内容的疲劳检测单元及语音报警与反馈模块相连，用于将各个疲劳检测单元计算出的疲劳状态进行融合，并最终计算出驾驶人的疲劳程度。

依照本发明较佳实施例所述的反馈式疲劳检测***，融合单元具体依照以下计算公式：

$Y=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{I}_i{X}_i}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{I}_i},$

其中，Y为驾驶人的疲劳程度，n为参与的疲劳检测单元的个数，这里n取值为4，Xi为各个疲劳检测单元计算出的疲劳状态，疲劳时取1，否则取0，Ii为各个疲劳检测单元的使能指示变量，使能时取1，否则取0。

依照本发明较佳实施例所述的反馈式疲劳检测***，疲劳检测模块还进一步包括脸部图像的疲劳检测单元，其与图像传感单元相连，用于根据驾驶人的脸部图像计算其疲劳状态值。

依照本发明较佳实施例所述的反馈式疲劳检测***，脸部图像的疲劳检测单元计算的是在一段时间内驾驶人眼睛闭合所占时间的百分率，其具体依照以下计算公式：

$f=\frac{t_3-t_2}{t_4-t_1},$

其中，f为在一段时间内驾驶人眼睛闭合所占时间的百分率，t1为眼睛完全睁开到闭合20％的时间；t2为眼睛完全睁开到闭合80％的时间；t3为眼睛完全睁开到下一次睁开20％的时间；t4为眼睛完全睁开到下一次睁开80％的时间。

相对于现有技术，本发明的有益效果是：

1、本发明的***通过特定动作确认和特定问题回答确认这样的反馈式机制，来进行疲劳识别，能更加准确地判断驾驶人的疲劳状态，有效避免虚警、漏警情况的发生。

2、本发明的***通过对多个疲劳检测单元的输出进行融合，并得出最终的检测结果，可以消除因环境等不确定因素造成的误检可能，具有很高的准确性。

3、本发明充分使用语音这一自然的、在驾驶状态下对驾驶员干扰最小的交流工具，与驾驶员产生互动，能达到自然的缓解驾驶疲劳的作用。

附图说明

图1为本发明反馈式疲劳检测***的一种架构图；

图2为本发明反馈式疲劳检测***的第一种实施例结构图；

图3为本发明识别摇头动作时采用的脸部定位示意图；

图4为本发明识别摇头动作时采用的特征量波形图；

图5为本发明反馈式疲劳检测***的第二种实施例结构图；

图6为本发明反馈式疲劳检测***的第三种实施例结构图；

图7为本发明反馈式疲劳检测***的第四种实施例结构图；

图8为本发明脸部图像的疲劳检测单元对PERCLOS值的测量原理图；

图9为本发明反馈式疲劳检测***的第五种实施例结构图；

图10为本发明反馈式疲劳检测***的第六种实施例结构图。

具体实施方式

本发明的主要思想是充分利用语音这一交流工具，使***与驾驶人产生互动，从而不仅可以有效避免虚警(虚假报警，驾驶员并非处在疲劳状态，***却产生了警报)和漏警(驾驶员处在疲劳状态，***却没有产生警报)，提高疲劳检测***的正确识别率，而且可以起到缓解驾驶疲劳的作用。

请参见图1，其为本发明反馈式疲劳检测***的一种结构图。其包括传感模块100、疲劳检测模块200及语音报警与反馈模块300。疲劳检测模块200分别与传感模块100以及语音报警与反馈模块300相连。

在***进入工作之前，需要先进行初始化。由于本发明是基于对采集于驾驶人的图像及语音信号进行分析计算，来判断其疲劳状态，因而需要事先采集正常状态(非疲劳状态)下，驾驶人的图像及语音信息，以作为参考标准。例如测量驾驶人的眼睛大小与位置、正常语音信号的能量等。初始化的过程是简单的，只需驾驶员正脸对着疲劳检测设备，完成一次简单的对话即可。

工作时，传感模块100会采集来自于驾驶人的图像光学信号和/或语音信号，并传输给疲劳检测模块200。疲劳检测模块200根据传感模块100发送来的信息，判断驾驶人的疲劳状态，并将检测结果发送给语音报警与反馈模块300。语音报警与反馈模块300会根据驾驶人的疲劳状态发出语音报警信号和语音交互信号。当发出语音交互信号时，语音报警与反馈模块300会将语音交互信号的相关信息反馈给疲劳检测模块200，作为判断驾驶人疲劳状态的参考标准。同时，传感模块100会再次采集来自于驾驶人的图像光学信号和/或语音信号，并传输给疲劳检测模块200。疲劳检测模块200会根据传感模块100传输来的以及语音报警与反馈模块300反馈来的信息对驾驶人的疲劳状态进行***，并将结果传输给语音报警与反馈模块300，以决定其发出的语音报警的等级与种类。如此循环检测，实现对驾驶人疲劳度的实时监测。

下面以几个具有代表性的实施例，来具体说明本发明。

实施例一

请参见图2，此反馈式疲劳检测***，其传感模块100包括图像传感单元101，其疲劳检测模块200包括识别动作的疲劳检测单元201，识别动作的疲劳检测单元201分别与图像传感单元101及语音报警与反馈模块300相连。

本实施例中，图像传感单元101的输入是人脸图像光学信号，输出是数字化的人脸图像。图像传感单元101可以采用近红外摄像头图像传感器，在夜视环境下，该摄像头仍可正常获取人脸图像。***通过图像传感单元101采集到人脸图像后，输出到识别动作的疲劳检测单元201中。

识别动作的疲劳检测单元201的输入有两个：来自于图像传感单元101的连续人脸数字图像，以及语音报警与反馈模块300反馈的动作指令信息。识别动作的疲劳检测单元201实现特定动作的识别，确认驾驶人员是否根据语音提示完成了相应的动作。例如，语音报警与反馈模块300提示：“请做摇头动作”，并将指令信息反馈给识别动作的疲劳检测单元201。此时识别动作的疲劳检测单元201对图像传感单元101输入的人脸视频进行分析，确认是驾驶人是否完成了摇头动作。

现以摇头动作为例来具体说明计算过程。识别动作的疲劳检测单元201在计算过程中首先需要精细定位人脸的嘴中心和眼睛中心的坐标。如图3所示，X为两眼中心之间的水平距离，Y为两眼中心到嘴中心的垂直距离，通过人脸器官的精确定位，记录特征量g＝X/Y。那么在人完成摇头动作中，X/Y特征会呈现如图4所示的波形变化模式。

波形中的高点表示人脸处于水平正脸状态，此时特征数值最大；波形中低点表示人脸处于最侧脸的状态，此时特征数值最小。在一段时间内，搜索特征最大值gmax和最小值gmin，然后计算基于动作的疲劳状态值P1：

$g=\frac{x}{y},$

$P_1=\frac{g_{\max }-g_{\min }}{g_{\max }},$

通过经验确定，一般地，当P1＞0.3时，可以认为驾驶员完成了配合的水平摇头动作，即处于非疲劳状态。反之则处于疲劳状态，并由语音报警与反馈模块300发出相应的语音警报。

实施例二

请参见图5，此反馈式疲劳检测***，其传感模块100包括语音传感单元102，其疲劳检测模块200包括计算语音能量的疲劳检测单元202，计算语音能量的疲劳检测单元202分别与语音传感单元102及语音报警与反馈模块300相连。

语音传感单元102实际就是一个微型麦克风，和普通手机中使用的麦克风相同。语音传感单元102对环境中模拟语音信号进行采集，转化为数字信号(波形)后输入到计算语音能量的疲劳检测单元202中。

本实施例的设计出发点是试图与驾驶人构成语音交互，并以交互是否失败来判定驾驶人是否处于疲劳状态。其中计算语音能量的疲劳检测单元202用于通过计算驾驶人的语音能量来判断驾驶人的疲劳状态，其输入的是语音传感单元102所采集的语音信号，以及来自语音报警与反馈模块300的反馈信息。

***实现中，可以使用平滑平方能量，其计算公式为：

$E_N=\underset{n-N-M+1}{\overset{N}{\mathrm{\Σ}}}{\left(x_n\right)}^2,$

$P_2=\frac{E_N}{E_O},$

直观含义是，当前时刻N，将当前时刻的前M个时刻的信号振幅Xn平方求和，就可以作为信号能量EN的一种表征。因为***中的期望的驾驶员响应语音持续时间都比较短，实施中，取一般取0.5秒，这样根据采样频率，就可以计算出M的大小。

由于***实际使用环境比较复杂，因而可以使用相对值来衡量驾驶人的疲劳状态。在初始化过程中，当测量到驾驶人员的正常语音的能量为，则可以记基于语音能量的疲劳状态值

根据经验，当P₂＜0.3时，可以认为没有检测到驾驶员的回应，因此，可判定其处于疲劳状态。

需要补充的是，这里使用P₂值作为判据是指，在一定的观察期内最大的P₂值。这个观察期是***提示驾驶员发出一定的语音。例如，语音报警与反馈模块300对驾驶员讲了一个笑话，在笑话讲完后的一段时间内可以考察P₂；或者语音报警与反馈模块300对驾驶员进行了一个提问，提问后的一段时间内可以视作观察期。

当然，除了采用语音能量，也可以使用其它指标来衡量。例如使用波形幅度、使用时频变换后计算瞬时能量等。

实施例三

请参见图6，此反馈式疲劳检测***，其传感模块100包括语音传感单元102，其疲劳检测模块200包括识别语音内容的疲劳检测单元203，识别语音内容的疲劳检测单元203分别与语音传感单元102及语音报警与反馈模块300相连。

和计算语音能量的疲劳检测单元202一样，识别语音内容的疲劳检测单元203的输入也是语音传感单元102所采集的语音信号，和来自语音报警与反馈模块300的反馈信息。也同样以交互是否失败来判定驾驶人员是否处于疲劳状态。不同的是，本实施例的构成基础是基于语音内容的交互。

识别语音内容的疲劳检测单元203利用语音识别技术，对比***期望的回应和语音报警与反馈模块300采集到的语音信息，如果对比两者一致，则认为驾驶员不处于疲劳状态，反之则处于疲劳状态。

例如，语音报警与反馈模块300给出一个提问：“数字5比数字2大，对吗？”，当驾驶人员回答“对”，识别语音内容的疲劳检测单元203就认为其不处在疲劳状态，反之，则认为其处于疲劳状态；类似的问题，还有“上海的电话区号是021，对吗？”，“大象的体型比老虎大，对吗？”，“比5大比7小的数字是什么？”等。

考虑到***应用环境可能较为嘈杂，***实施中将交互内容设计的较为简单。只包括：“对”，“错”，和“0到9数字”。其中，“对”和“错”还设计了同义词，“是的”，“不对”，“没错”等等。

实施例四

请参见图7，此反馈式疲劳检测***，其传感模块100包括图像传感单元101。其疲劳检测模块200包括识别动作的疲劳检测单元201、脸部图像的疲劳检测单元204以及融合单元205。识别动作的疲劳检测单元201及脸部图像的疲劳检测单元204均分别与图像传感单元101及融合单元205相连，融合单元205与语音报警与反馈模块300相连，语音报警与反馈模块300反向连接到识别动作的疲劳检测单元201。

工作时，图像传感单元101会将采集到的图像光学信号分别传输给识别动作的疲劳检测单元201以及脸部图像的疲劳检测单元204，由识别动作的疲劳检测单元201和脸部图像的疲劳检测单元204分别计算驾驶人的疲劳状态，并一同输入给融合单元205。融合单元205会将两者计算出的疲劳状态值进行融合，并将最终的疲劳识别输出给语音报警与反馈模块300。语音报警与反馈模块300根据融合单元205发送来的疲劳识别信息，发出相应的语音报警或者语音交互信号，同时将语音交互信号反馈给识别动作的疲劳检测单元201。

本实施例中，脸部图像的疲劳检测单元204输入的是数字化的人脸图像，输出是疲劳状态值。其实现对人脸图像的PERCLOS值的检测。它的计算原理是，通过人脸器官的精确定位，计算出某一段时间内眼睛闭合时间所占的比例，用以衡量人的疲劳程度。图8为本发明脸部图像的疲劳检测单元204对PERCLOS值的测量原理图。图中曲线为一次眼睛闭合与睁开过程中睁开程度随时间的变化曲线，可根据此曲线得到所需测量的眼睛某个程度的闭合或睁开持续的时间，从而计算出PERCLOS值。图中t1为眼睛完全睁开到闭合20％的时间；t2为眼睛完全睁开到闭合80％的时间；t3为眼睛完全睁开到下一次睁开20％的时间；t4为眼睛完全睁开到下一次睁开80％的时间。通过测量出t1到t4的值就能计算出PERCLOS的值：

$f=\frac{t_3-t_2}{t_4-t_1},$

式中，f为眼睛闭合时间所占某一特定时间的百分率。一般认为，当PERCLOS值f＞0.15时，认为驾驶员处于疲劳状态。

在本实施例中，***不直接使用f值作为疲劳程度的判据，还结合识别动作的疲劳检测单元201的输出，共同判定驾驶人是否处于疲劳状态。

实施例五

请参见图9，此反馈式疲劳检测***，其传感模块100包括语音传感单元102。其疲劳检测模块200包括计算语音能量的疲劳检测单元202、识别语音内容的疲劳检测单元203和融合单元205。计算语音能量的疲劳检测单元202及识别语音内容的疲劳检测单元203均分别与语音传感单元102及融合单元205相连，融合单元205与语音报警与反馈模块300相连，语音报警与反馈模块300反向连接到计算语音能量的疲劳检测单元202和识别语音内容的疲劳检测单元203。

本实施例是将实施例二与实施例三结合应用，语音传感单元102会将采集到的语音信号分别传输给计算语音能量的疲劳检测单元202以及识别语音内容的疲劳检测单元203，由计算语音能量的疲劳检测单元202和识别语音内容的疲劳检测单元203分别计算驾驶人的疲劳状态，并一同输入给融合单元205。融合单元205会将两者计算出的疲劳状态值进行融合，并将最终的疲劳识别输出给语音报警与反馈模块300。语音报警与反馈模块300根据融合单元205发送来的疲劳识别信息，发出相应的语音报警或者语音交互信号，同时将语音交互信号反馈给计算语音能量的疲劳检测单元202和识别语音内容的疲劳检测单元203。

实施例六

本实施例是将实施例四和实施例五结合应用。请参见图10，此***的传感模块100包括图像传感单元101和语音传感单元102。疲劳检测模块200包括识别动作的疲劳检测单元201、脸部图像的疲劳检测单元204、计算语音能量的疲劳检测单元202、识别语音内容的疲劳检测单元203和融合单元205。图像传感单元101分别与识别动作的疲劳检测单元201以及脸部图像的疲劳检测单元204相连。语音传感单元102分别与计算语音能量的疲劳检测单元202以及识别语音内容的疲劳检测单元203相连。识别动作的疲劳检测单元201、脸部图像的疲劳检测单元204、计算语音能量的疲劳检测单元202以及识别语音内容的疲劳检测单元203均与融合单元205相连。融合单元205与语音报警与反馈模块300相连。语音报警与反馈模块300分别反向连接到识别动作的疲劳检测单元201、计算语音能量的疲劳检测单元202和识别语音内容的疲劳检测单元203。

本实施例的***分为两个识别分支，一个为图像识别，令一个为语音识别。两个分支可以独立工作，也可以同时工作，两个分支最终通过融合单元205进行融合，最终将识别结果输出给语音报警与反馈模块300。

以上所有的疲劳检测单元，使用者均可以主动关闭。例如，驾驶人在佩戴墨镜的情况，可以主动将脸部图像的疲劳检测单元204关闭。四个疲劳检测单元在使能的条件下，可以分别输出驾驶员是否处于疲劳的判断，并通过投票机制，融合成为最终的疲劳识别输出。当某个疲劳检测单元不使能时，认为该模块投票弃权。

记四个疲劳检测单元的输入分别为Xi，认为疲劳时取值Xi为1，否则Xi取值为0；使能指示变量为，当取值为1时，该疲劳检测单元使能，否则，该疲劳检测单元不使能，即弃权。融合单元205最终输出Y为：

$Y=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{I}_i{X}_i}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{I}_i},$

因此，Y的取值范围为0到1之间。可能的数值是0，0.25，0.5，0.75和1，一共五个级别。对于每一个输出Y，指示变量

和可以作为置信程度指标。

越大，说明参与投票的疲劳检测单元越多，反之亦然。

语音报警与反馈模块300的输入是融合的识别结果，语音报警与反馈模块300对于不同的融合结果可以采用不同的输出。总的来说，其共有三种类型的输出：

(1)一般性语音提醒。这类提醒的典型配置如表1所示：

疲劳程度Y	语音提醒
		0	“请注意安全”，“请集中注意力”
0.25	“请勿疲劳驾驶”:
		0.5	“您可能处于疲劳状态，请集中注意力，谨慎驾驶”:
0.75	“您可能处于严重疲劳状态，请停车休息”：
		1	“请立即停车休息”：“滴滴”(警报音)

表1

语音报警与反馈模块300也可以同时考虑置信程度，当置信程度较高(即使能的疲劳检测单元数量较多)时，语音输出的重复次数增加。这类语音提醒是单向的输出，没有和驾驶员之间的互动和交流。

(2)动作指令报警。一般地，当***判断驾驶员的疲劳程度＞＝0.5时，语音报警与反馈模块300会随机给出动作指令报警。这类报警设计的出发点是要求驾驶员用正确的响应动作，确认其并没与处于疲劳状态。反之，***可以认为其处于疲劳状态。

目前，***实施案例中，较多的采用两种动作，“请做摇头动作”和“请做点头动作”。从原理上讲，还可以很容易扩展使用其它动作指令，例如，“请用手梳理一下头发”。但是，由于驾驶环境的特殊性，设计这类动作时，要尽量减少对驾驶行为本身的干扰。

(3)语音对话报警。这类报警分为两类，即

A，期望匹配答案的语音报警；

B，期望回应但是对内容无特定要求的语音报警。

对于A类语音报警，典型的问题是数字问题，或者简单的是非问题。这里举一些问题库中的例子：“大象比老虎大，对吗？”，“上海的电话区号是021，对吗？”，“比5大比7小的数字是什么？”，“雷雨的时候，常常会闪电，是吗？”。为了控制好语音识别的正确率，因而可以将问题的答案控制在是非和数字范围内。

对于B类语音报警，***对答案并无要求。典型的对话内容是，讲一个笑话、动脑筋急转弯、猜谜语等。

各类语音报警的使能疲劳检测单元和反馈信号如表2所示：

表2

由表2可以看出，语音报警与反馈模块300向各个疲劳检测单元反馈的信息可以采用编码的形式，总的来说，***存在如表3所示的以下三种类型反馈信息：

表3

***在发出期望匹配答案的语音警报后，除了是非编码(011和012)和数字答案编码(020至029)外，期望语音回应(030)反馈信息同时存在。

本发明的***通过与驾驶人的语音交互，达到更准确的检测准确率，可以有效避免虚警、漏警的发生。以上公开的仅为本发明的几个具体实施例，但本发明并非局限于此，任何本领域的技术人员能思之的变化，都应落在本发明的保护范围内。

Claims (8)

1.一种反馈式疲劳检测***，其特征在于，包括：

一传感模块，用于采集来自于驾驶人的图像光学信号和/或语音信号；

一疲劳检测模块，与该传感模块相连，用于根据采集到的图像光学信号和/或语音信号，判断驾驶人的疲劳状态；

一语音报警与反馈模块，与该疲劳检测模块相连，用于根据驾驶人的疲劳状态发出语音报警信号和语音交互信号，并将语音交互信号提示的动作指令信息或***期望的回应反馈给该疲劳检测模块，该疲劳检测模块结合所述动作指令信息或***期望的回应及驾驶人响应的语音信号和/或图像光学信号，作为判断驾驶人疲劳状态的参考标准；

其中，该传感模块包括一语音传感单元，用于采集来自于驾驶人的语音信号；该疲劳检测模块包括一计算语音能量的疲劳检测单元，其分别与该语音传感单元及该语音报警与反馈模块相连，用于根据该语音报警与反馈模块发送来的***期望的回应，并结合该语音传感单元采集到的一段时间内驾驶人发出的语音信号，通过计算驾驶人的语音能量来获得其疲劳状态值。

2.如权利要求1所述的反馈式疲劳检测***，其特征在于，

该传感模块包括一图像传感单元，用于采集自于驾驶人的图像光学信号；

该疲劳检测模块包括一识别动作的疲劳检测单元，其分别与该图像传感单元及该语音报警与反馈模块相连，用于根据语音报警与反馈模块发送来的动作指令信息，并结合该图像传感单元采集到的一段时间内驾驶人动作的图像光学信号，计算出驾驶人的疲劳状态值。

3.如权利要求2所述的反馈式疲劳检测***，其特征在于，该识别动作的疲劳检测单元通过识别驾驶人的摇头动作来计算其疲劳状态值，具体依照以下计算公式：

$g=\frac{x}{y},$

$P_1=\frac{g_{\max }-g_{\min }}{g_{\max }},$

其中，x为驾驶人两眼中心之间的水平距离，y为驾驶人两眼中心到嘴中心的垂直距离，g为特征量，p₁为基于动作的疲劳状态值。

4.如权利要求1所述的反馈式疲劳检测***，其特征在于，该计算语音能量的疲劳检测单元具体依照以下计算公式：

$E_N=\underset{n-N-M+1}{\overset{N}{\mathrm{\Σ}}}{\left(x_n\right)}^2,$

$P_2=\frac{E_N}{E_O},$

其中，N为当前时刻，M为采样的时间长度，x_n为语音信号的振幅，E_N为驾驶人当前时刻的语音能量，Eo为驾驶人正常语音的能量，P₂为基于语音能量的疲劳状态值。

5.如权利要求1所述的反馈式疲劳检测***，其特征在于，

该传感模块包括一图像传感单元；

该疲劳检测模块包括一识别动作的疲劳检测单元、一识别语音内容的疲劳检测单元及一融合单元，该识别动作的疲劳检测单元与该图像传感单元相连，该识别语音内容的疲劳检测单元与该语音传感单元相连；

该融合单元，其分别与该识别动作的疲劳检测单元、该计算语音能量的疲劳检测单元、该识别语音内容的疲劳检测单元及该语音报警与反馈模块相连，用于将各个疲劳检测单元计算出的疲劳状态进行融合，并最终计算出驾驶人的疲劳程度。

6.如权利要求5所述的反馈式疲劳检测***，其特征在于，该融合单元具体依照以下计算公式：

$Y=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{I}_i{X}_i}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{I}_i},$

其中，Y为驾驶人的疲劳程度，n为参与的疲劳检测单元的个数，Xi为各个疲劳检测单元计算出的疲劳状态，疲劳时取1，否则取0，Ii为各个疲劳检测单元的使能指示变量，使能时取1，否则取0。

7.如权利要求2、3、5、6任一项所述的反馈式疲劳检测***，其特征在于，该疲劳检测模块还进一步包括一脸部图像的疲劳检测单元，其与该图像传感单元相连，用于根据驾驶人的脸部图像计算其疲劳状态值。

8.如权利要求7所述的反馈式疲劳检测***，其特征在于，该脸部图像的疲劳检测单元计算的是在一段时间内驾驶人眼睛闭合所占时间的百分率，其具体依照以下计算公式：

其中，f为在一段时间内驾驶人眼睛闭合所占时间的百分率，t1为眼睛完全睁开到闭合20％的时间；t2为眼睛完全睁开到闭合80％的时间；t3为眼睛完全睁开到下一次睁开20％的时间；t4为眼睛完全睁开到下一次睁开80％的时间。

Images