CN209063895U - 多传感器信息融合的司机疲劳驾驶预警与主动干预*** - Google Patents

Abstract

本实用新型公开了一种多传感器信息融合的司机疲劳驾驶预警与主动干预***，属于汽车技术领域。本***包括面部图像采集单元、脑电信息采集单元、心率数据采集单元、方向盘转动信息采集单元、数据处理核心、检测装备佩戴提示单元、疲劳驾驶提示单元、车速主动干预单元等。数据处理核心对上述多传感器信息进行融合处理，并采用智能算法判断司机的疲劳状态。本实用新型能实时监测司机的驾驶状态，当发现司机处于疲劳状态不适合驾驶时，能够及时预警并控制车速，大大提高车辆驾驶的安全性，减少交通事故的发生。

Description

多传感器信息融合的司机疲劳驾驶预警与主动干预***

技术领域

本实用新型公开了一种多传感器信息融合的司机疲劳驾驶预警与主动干预***，属于汽车技术领域。

背景技术

近十年来，我国的汽车数量逐年增加，交通事故也随之急剧上升，其中驾驶员疲劳驾驶是导致交通事故的主要原因。在我国的特大交通事故中，疲劳驾驶所导致的事故占40％左右。有资料显示，28％的驾驶员在开车时感到过磕睡，但是他们依然会选择继续驾驶。研究发现，疲劳驾驶时出现事故的概率比正常驾驶高３~５倍。

现有的司机疲劳状态监测方法大都基于单项或部分指标，虽然在限定条件下能够达到一定的精度，但在实际复杂多变的行车环境下，其准确性和可靠性还存在问题，难以达到理想的效果。比如目前已有的疲劳驾驶检测***大多通过采集司机的面部信息，根据眼睛的闭合情况来判定是否处于疲劳驾驶状态，因此无法保证复杂情况下的准确性；而且这些已有的***没有车速干预功能，如果在司机疲劳的情况下汽车仍继续高速行驶的话，很容易引发交通事故，对驾乘人员造成无法弥补的伤害。

发明内容

针对目前疲劳驾驶检测***存在的问题，提出了一种多传感器信息融合的司机疲劳驾驶预警与主动干预***。

技术方案如下：多传感器信息融合的司机疲劳驾驶预警与主动干预***，包括面部图像采集单元、脑电信息采集单元、心率数据采集单元、方向盘转动信息采集单元、数据处理核心、检测装备佩戴提示单元、疲劳驾驶提示单元、车速主动干预单元；其中，面部图像采集单元、脑电信息采集单元、心率数据采集单元、方向盘转动信息采集单元的输出端分别与数据处理核心的输入接口相连接，将实时采集的驾驶员面部图像、脑电信息、心率数据和方向盘转动信息等多传感器信息数据传送至数据处理核心；数据处理核心对多传感器信息数据进行融合处理，并将处理结果通过数据处理核心的输出接口分别输出给检测装备佩戴提示单元、疲劳驾驶提示单元、车速主动干预单元。

进一步的，所述心率检测单元的核心器件采用MAX30102，其内部集成有红色和红外LED驱动器、光接收器、A/D转换器以及标准的I²C接口，并通过I²C接口与数据处理核心连接。

进一步的，所述脑电信息检测单元包括干电极、参考电极和TGAM模块；干电极表面覆盖有Ag/AgCl；干电极贴在前额处，参考电极夹在耳垂上；干电极将接收到的脑电信号转化为电压信号发送给TGAM模块；TGAM模块对接收的电压信号进行去噪、放大、A/D转换等，输出数字信号给数据处理核心。

进一步的，所述面部图像采集单元采用的图像传感器型号为OV7670，并通过DCMI接口与所述数据处理核心进行通信。

进一步的，所述方向盘转动信息采集单元采用MLX90365旋转角度传感器，内部集成有DSP核心、A/D转换电路和D/A转换电路，可输出与旋转角度成比例的模拟信号或数字脉宽调制信号，感知从0°到360°的角位移。

进一步的，所述检测装备佩戴提示单元和疲劳驾驶提示单元由同一块液晶显示屏幕和同一个扬声器实现。

进一步的，所述数据处理核心采用STM32F407微处理器，数据处理核心的硬件设计采用核心板+底板的扣板方式，核心板用STM32F407IGT6四层核心板，底板自己设计开发制作。

本实用新型的有益效果：该***通过对多款传感器和处理器等硬件的选择搭配及软件编程等***集成，可采集驾驶员的面部图像、脑电信息、心率数据及方向盘转动信息，并对多传感器信息进行数据融合处理，实现疲劳驾驶的在线监测与预警；***能对车速进行主动干预，发现司机不适合继续驾驶时，自动减速并靠边停车。该***弥补了现有汽车安全驾驶监控技术的不足，保证了驾乘人员的安全，对于减少交通事故的发生具有重要的意义。

本实用新型采用的技术以驾驶员的生理特征和行为特征为主，结合车辆运行特征，充分利用不同信息之间的互补性和冗余性，通过多传感器信息融合，提高了驾驶员疲劳状态检测与判别的准确性和可靠性。

附图说明

图1是***总体结构原理图。

图2是心率检测单元电路原理图。

图3 是TGAM模块的接线原理图。

图4 是图像传感器与微处理器接线原理图。

图5是方向盘转动信息采集单元电路原理图。

具体实施方式

以下是本实用新型的具体实施例并结合附图，对本实用新型的技术方案作进一步的描述，但本实用新型并不限于这些实施例。

多传感器信息融合的司机疲劳驾驶预警与主动干预***，***的总体结构原理图如图1所示，硬件主要包括以下硬件单元：面部图像采集单元、脑电信息采集单元、心率数据采集单元、方向盘转动信息采集单元、数据处理核心、检测装备佩戴提示单元、疲劳驾驶提示单元、车速主动干预单元等。面部图像采集单元、脑电信息采集单元、心率数据采集单元、方向盘转动信息采集单元分别负责实时采集驾驶员的面部图像、脑电信息、心率数据和方向盘的转动信息，并将所采集的数据传送至数据处理核心。数据处理核心对上述多传感器信息进行融合处理，并采用智能算法判断司机的疲劳状态。如果发现司机处于轻度疲劳状态，则通过疲劳驾驶提示单元提醒司机尽快停车休息；如果发现司机处于重度疲劳状态，除了进行语音和文字预警提示外，***开启车速主动干预单元，自动降低车速并靠边停车。***配备检测装备佩戴提示单元主要负责提醒司机进行检测装置的正确佩戴，如果司机未能正确佩戴检测装置，则无法启动汽车。

心率检测单元的核心器件采用MAX30102，它是一个14引脚的光学模块，内部集成了红色和红外LED驱动器、光接收器、A/D转换器以及标准的I2C接口。以MAX30102为核心的心率检测单元电路设计原理如图2所示。在该电路中，MAX30102的红光和红外光LED电源接3.3V电压，通过软件设计驱动红光和红外光LED启动。MAX30102电源引脚VDD连接3.3V的***电源，数字地引脚PGND和模拟地引脚GND分别连接相应的电源地，时钟线SCL引脚和数据传输线SDA引脚都通过470Ω的电阻连接到3.3V的***电源上，低电平有效的中断INT引脚接一个上拉电阻到外部电源。其工作过程是当微处理器通过I2C通信接口向MAX30102发送开始采集的信号后，MAX30102启动红色和红外LED发出波长为660mm的红光和940mm的红外光，这两束光透射手腕处的血液、骨骼后反射回来，光接收器将接收回来的信号送入其内部的A/D转换器，A/D转换器将其转换成数字信号。其内部ADC是具有18位分辨率的连续时间过采样Σ-Δ转换器，它输出的数字信号数据存储在I2C内的32-bitFIFO中，数据处理核心可以通过I2C接口直接读取FIFO中的心率数据。

脑电信息检测单元由覆盖Ag/AgCl的干电极、参考电极和TGAM模块组成。干电极表面的Ag/AgCl增加电导率，在保证信号质量的同时，避免了传统湿电极需涂抹导电膏的繁琐，佩戴简单、舒适、安全。由于成人的脑电活动在前额较为明显，且此处毛发稀少便于电极安置，因此，参照国际通用的电极放置法，本***将EEG采集电极放置于左前额处，参考电极夹在耳垂上。干电极作为脑电信号传感器将脑电信息转化为微弱电压信号，TGAM模块接收干电极输出的微弱电压信号，对其进行信号预处理，包括去噪、放大、A/D转换等。最后由TGAM模块输出清晰的数字化信号，这些信号包括脑电信息的原始波数据(δ波、θ波、α波、β波、γ波等)和脑电特征值(关注度指数和放松度指数)，并将这些数据送入数据处理核心进行深层次的数据融合。TGAM模块的接线原理图如图3所示。

面部图像采集单元中的图像传感器采用OV7670 ，使用时需将其设置为640*480的分辨率，传输速度设为30帧/秒。图像传感器通过DCMI接口与数据处理核心中的微处理器STM32F407进行通信。由于STM32F407自带一个数字摄像头(DCMI)接口，该接口通过与OV7670的帧同步、行同步进行数据传输，并将接收到的数据放到一个32位的数据寄存器（DCMI_DR）中，微处理器通过相应的程序即可读取数据寄存器中的图像信息进行后续的处理。图像传感器与微处理器的接口如图4所示。

方向盘转动信息采集单元采用MLX90365旋转角度传感器采集方向盘的转动信息。MLX90365是一款基于霍尔技术的角度传感器集成电路芯片，可敏感地感应平行和垂直于其表面的磁场强度。本***通过设计合适的磁路，使MLX90365感知从0°到360°的角位移。由于MLX90365内部集成了DSP核心、A/D转换电路和D/A转换电路，因此通过编程设置，可使其输出与旋转角度成比例的模拟信号或者数字脉宽调制信号。方向盘转动信息采集单元的电路原理图如图5所示。

***的数据处理核心选用STM32F407微处理器，该处理器基于ARM V7架构的Cortex-M4F内核，主频168MHz，内部具有1M 字节的FLASH 和128K 字节的SRAM，当它以168MHz 高速运行时可以达到210DMIPS 的处理能力，除此之外，STM32F407微处理器还具有丰富的外部接口资源，完全可以满足***的数据处理功能。数据处理核心的硬件设计采用核心板+底板的扣板方式，核心板用STM32F407IGT6四层核心板，底板自己设计开发制作。

检测装备佩戴提示单元和疲劳驾驶提示单元的功能由同一块液晶显示屏幕和同一个扬声器实现。汽车启动前，液晶屏幕的正中央显示检测装置佩戴提示语“请正确佩戴驾驶员疲劳预警检测装置”，同时扬声器发出相同的提示语音。司机只有正确佩戴好检测装置，才能启动汽车。当司机正常驾驶汽车时，屏幕显示时间、心率、脑电信息以及驾驶员当前的驾驶状态。详细的显示设计如下：在显示屏的右上角实时显示当前日期和时间；在显示屏的正上方显示***标题“疲劳驾驶预警***”；显示屏正下方显示驾驶员的心率、脑电信息等数据；显示屏的正中央以大字体显示驾驶员的驾驶状态：当司机驾驶状态良好时，显示“驾驶状态良好”，如果司机出现疲劳驾驶的情况，则显示屏动态闪烁，并显示“您已处于疲劳驾驶状态，请停车休息”，同时扬声器发出相同的报警提示声音。

数据处理核心对上述多传感器信息进行融合处理，并采用智能算法判断司机的疲劳状态。如果发现司机处于轻度疲劳状态，则通过疲劳驾驶提示单元提醒司机尽快停车休息；如果发现司机处于重度疲劳驾驶状态，***除了进行语音和文字预警提示外，同时启动车速主动干预单元，自动降低车速并靠边停车。***配备的检测装备佩戴提示单元主要负责提醒司机进行检测装置的正确佩戴，如果司机未能正确佩戴检测装置，则无法启动汽车。本实用新型能实时监测司机的驾驶状态，当发现司机处于疲劳状态不适合驾驶时，能够及时预警并控制车速，大大提高车辆驾驶的安全性，减少交通事故的发生。

Claims (7)

1.多传感器信息融合的司机疲劳驾驶预警与主动干预***，其特征在于：包括面部图像采集单元、脑电信息采集单元、心率数据采集单元、方向盘转动信息采集单元、数据处理核心、检测装备佩戴提示单元、疲劳驾驶提示单元、车速主动干预单元；其中，面部图像采集单元、脑电信息采集单元、心率数据采集单元、方向盘转动信息采集单元的输出端分别与数据处理核心的输入接口相连接，将实时采集的驾驶员面部图像、脑电信息、心率数据和方向盘转动信息等多传感器信息数据传送至数据处理核心；数据处理核心对多传感器信息数据进行融合处理，并将处理结果通过数据处理核心的输出接口分别输出给检测装备佩戴提示单元、疲劳驾驶提示单元、车速主动干预单元。

2.根据权利要求1所述的多传感器信息融合的司机疲劳驾驶预警与主动干预***，其特征在于：所述心率检测单元的核心器件采用MAX30102，其内部集成有红色和红外LED驱动器、光接收器、A/D转换器以及标准的I²C接口，并通过I²C接口与数据处理核心连接。

3.根据权利要求1所述的多传感器信息融合的司机疲劳驾驶预警与主动干预***，其特征在于：所述脑电信息检测单元包括干电极、参考电极和TGAM模块；干电极表面覆盖有Ag/AgCl；干电极贴在前额处，参考电极夹在耳垂上；干电极将接收到的脑电信号转化为电压信号发送给TGAM模块；TGAM模块对接收的电压信号进行去噪、放大、A/D转换等，输出数字信号给数据处理核心。

4.根据权利要求1所述的多传感器信息融合的司机疲劳驾驶预警与主动干预***，其特征在于：所述面部图像采集单元采用的图像传感器型号为OV7670，并通过DCMI接口与所述数据处理核心进行通信。

5.根据权利要求1所述的多传感器信息融合的司机疲劳驾驶预警与主动干预***，其特征在于：所述方向盘转动信息采集单元采用MLX90365旋转角度传感器，其内部集成有DSP核心、A/D转换电路和D/A转换电路，可输出与旋转角度成比例的模拟信号或数字脉宽调制信号，感知从0°到360°的角位移。

6.根据权利要求1所述的多传感器信息融合的司机疲劳驾驶预警与主动干预***，其特征在于：所述检测装备佩戴提示单元和疲劳驾驶提示单元由同一块液晶显示屏幕和同一个扬声器实现。

7.根据权利要求1所述的多传感器信息融合的司机疲劳驾驶预警与主动干预***，其特征在于：所述数据处理核心采用STM32F407微处理器，数据处理核心的硬件设计采用核心板+底板的扣板方式，核心板用STM32F407IGT6四层核心板。