CN209785217U - 一种基于卷积神经网络和矩阵摄影防疲劳驾驶*** - Google Patents

Abstract

本实用新型公开了一种基于卷积神经网络和矩阵摄影的防疲劳驾驶***，包括信息采集部分、ARM处理器、FPGA、人机交互与警报***、存储器、电源模块；信息采集部分通过矩阵式摄像头采集驾驶员面部图像，通过陀螺仪传感器采集汽车水平偏移率，通过定位模块采集汽车位置信息。本实用新型的设计采用矩阵摄像，能够很好地适应复杂多变的车内环境，所使用的卷积神经网络（CNN）在FPGA的硬件基础上，能够快速高效地提取驾驶员人脸特征，获取驾驶员眨眼频率，并以陀螺仪传感器采集的汽车水平偏移率为辅助信息进行综合判断，极大地提升了***的准确率，使得***的准确率较好地符合实际应用要求。

Description

一种基于卷积神经网络和矩阵摄影防疲劳驾驶***

技术领域

本实用新型涉及汽车安全驾驶技术领域，具体是一种基于卷积神经网络和矩阵摄影防疲劳驾驶***。

背景技术

随着经济的快速发展，我国现今的汽车的保有量近2亿，而机动车驾驶员超过3亿，汽车的普及,一方面方便了日常出行,另一方面却使交通事故率日趋增长。交通事故的发生,在很大程度上都与驾驶员的疲劳驾驶有关。如何快速及时地检测到司机的疲劳状态显得愈发重要。

当前判断驾驶员疲劳驾驶的方法主要有：一，通过生理信息判断，比如通过心率变化，呼吸频率变化，血压变化等信息进行判断；二，通过面部信息判断，比如通过眼睑变化，额头角度变化，颈部角度变化，嘴部打哈欠次数等信息进行判断；三，通过车况信息判断，比如通过车道线偏移的情况，车速变化情况，持续行车时间等信息进行判断。

目前市场上，防疲劳驾驶检测的方法可分成三大类：其一，检测生理学参数，如脑电图等，虽然准确率极高，但技术过于复杂，不成熟；其二，根据车辆行驶状况的变化来判断，如方向盘转动情况和行驶速度变化，但易受到车辆类型和驾驶习惯的影响；其三，依靠单一摄像头采集人脸图像，虽然方法简单，成本较低，但准确率不高，容易误报。

公开号为CN104269028A的一种疲劳驾驶检测方法及***，其中疲劳驾驶检测方法包括如下步骤：S1、采集图像和预处理；S2、人脸定位和检测；S3、人脸跟踪；S4、眼睛检测和状态识别；S5、计算疲劳PERCLOS值；S6、将得到的PERCLOS值与预设的阈值进行比较，判定驾驶员是否疲劳驾驶。对于此***的精度，一方面其信息来源单一，仅仅使用摄像头采集人脸信息判断驾驶员是否疲劳驾驶，其不确定因素较多；另一方面，对于人脸的检测与跟踪，其使用的算法也不具有较高的精度。受制于这两方面原因，其***的准确率不高，容易发生误报。

专利申请号为201820246029.1的一种基于软硬件协同图像处理的防疲劳驾驶***，利用车道线摄像头、红外人眼摄像头、人眼特征摄像头、安全带心率采集器等传感器采集信息，并通过软硬件协同处理中心对信息进行预处理，最后将处理好的信息输出到疲劳驾驶预警处理器，由嵌入在安全带、和车座内部的振动器对驾驶员进行振动提醒。此***虽然克服了单一传感器容易产生误差的缺陷，但存在***过于复杂集成度不高的缺陷，不便于安装和使用。

实用新型内容

本实用新型的目的在于提供一种基于卷积神经网络和矩阵摄影防疲劳驾驶***，以解决上述背景技术中提出的问题。

为实现上述目的，本实用新型提供如下技术方案：

一种基于卷积神经网络和矩阵摄影防疲劳驾驶***，包括***外壳，所述***外壳内设置***本体，所述***本体包括信息采集模块、ARM处理器、FPGA芯片、人机交互与警报***、通信模块、存储器、电源模块和；

其中，所述信息采集模块包括矩阵式摄像头、光线传感器、陀螺仪传感器和定位模块；所述矩阵式摄像头和光线传感器均与FPGA芯片连接，矩阵式摄像头由两个普通摄像头、一个红外摄像头和一个广角摄像头组成；

所述ARM处理器与FPGA芯片、陀螺仪传感器以及定位模块连接；

所述人机交互与警报***与ARM处理器连接，人机交互与警报***由触摸显示屏、扬声器和麦克风组成；

所述通信模块与ARM处理器连接，内置无线网络模块和GSM模块。

作为本实用新型进一步的方案：所述***外壳上设置有连接件，所述连接件包括转轴、连接杆和真空吸盘；转轴与触摸显示屏连接；所述连接杆一端铰接在***外壳顶部，另一端安装有真空吸盘。

作为本实用新型进一步的方案：所述转轴以及连接杆与***外壳连接轴均为阻尼式转轴。

作为本实用新型进一步的方案：所述存储器与ARM处理器连接，用于存储ARM处理器做出的报警数据。

作为本实用新型进一步的方案：所述电源模块与ARM处理器连接。

与现有技术相比，本实用新型的有益效果是：

1.本实用新型结合现有的卷积神经网络和矩阵式摄像头的软硬件协同处理的方式，有效地解决了当前投入应用的防疲劳驾驶***误报率高与实时性低的缺点，发挥了硬件部分高效并行处理信息的能力；选用FPGA处理图像，具有低能耗、高性能及可编程等特性，十分适合图像处理的计算，在能源受限的情况下，FPGA相对于CPU与GPU由明显的性能与能耗优势，对于防疲劳驾驶仪的高效运算和长时间续航提供了保障；

2.本实用新型的图像信息采集由矩阵式摄像头完成，同时有四个图像信息输入，图像信息太大，会存在延时的缺陷，***采取在保证准确率的前提下，只采集三个图像信息源，以提高***的实时性；当光线传感器检测到光线较强时，两个普通摄像头、一个广角摄像头开启，红外摄像头关闭；当光线传感器检测到光线较弱时，开启红外摄像头，关闭一个普通摄像头；从而保证了实时性与准确性的要求；

3.本实用新型采用以图像信息为主，陀螺仪传感器为辅，赋予不同的权重，多种传感器采集信息，弥补了当前技术中以单一信息源作为疲劳驾驶判断的缺陷，极大地提高了***的准确率；

4.本实用新型加入了人机对话***，可以在需要时与驾驶员进行智能语音对话，可以适当缓解驾驶员疲劳，提高了安全性；

5.本实用新型具有联网与通讯功能，可将驾驶员的状态与位置信息实时在线地传送给第三方，如驾驶员家属或交通部门，进而提高了安全性。

附图说明

图1为本实用新型的***结构框图。

图2为本实用新型中***外壳的结构示意图。

具体实施方式

下面将结合本实用新型实施例中的附图，对本实用新型实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。

请参阅图1～2，本实用新型实施例中，一种基于卷积神经网络和矩阵摄影防疲劳驾驶***，包括***外壳，所述***外壳内设置***本体，所述***本体包括信息采集模块3、ARM处理器2、FPGA芯片4、人机交互与警报***6、通信模块7、存储器5、电源模块1和若干连接件；

其中，所述信息采集模块3包括矩阵式摄像头303、光线传感器304、陀螺仪传感器301和定位模块302；所述矩阵式摄像头303和光线传感器304均与FPGA芯片4连接，矩阵式摄像头303由两个普通摄像头、一个红外摄像头和一个广角摄像头组成，当光线充足时，两个普通摄像头和一个广角摄像头开启，由于两个普通摄像头同时开启，数据量会大大增加，广角摄像头的加入也极大地提升了整个图像采集范围；当光弱时，打开红外摄像头，将采集到的人眼信息发送给FPGA芯片4；在矩阵式摄像头303的定位下，不仅保证了视频信息的采集范围而且控制了由于光照条件变化而导致人脸特征信息无法采集的难题，提高了***的实时性和准确性；

所述FPGA芯片4使用Xilinx Spartan系列芯片，与ARM处理器2连接，FPGA芯片4可以根据光线传感器304获取的环境亮度控制矩阵式摄像头303工作，矩阵式摄像头303获取的图像信息输入FPGA芯片4，FPGA芯片4对图像进行处理，并调用由Caffe搭建和训练的卷积神经网络完成对驾驶员图像的面部特征提取，获取驾驶员的眨眼频率，将数据输入到ARM处理器2，同时陀螺仪传感器301获取汽车水平偏移率输入至ARM处理器2；

所述ARM处理器2，主要负责对数据的综合处理和对软硬件的协同控制；ARM处理器2与FPGA芯片4、陀螺仪传感器301、定位模块302以及电源模块1连接，能够接收FPGA芯片4和陀螺仪传感器301输入的信息，以驾驶员眨眼频率为主要信息，以汽车水平偏移率为辅助信息，分别赋以不同的权值进行综合评价；若评价结果高于所设定的阈值，则判定驾驶员为疲劳驾驶，做出警报措施并将数据记录于存储器5中；

所述人机交互与警报***6由触摸显示屏601、扬声器602和麦克风603组成；扬声器602可以发出警报声，提醒驾驶员与乘客注意行车安全；***中装有人机对话程序，可以与驾驶员进行智能语音对话，提醒驾驶员并尽可能使其保持清醒；

所述通信模块7内置无线网络模块（2G/3G/4G、WIFI）和GSM模块（短信），可以通过无线网络和短信将警告信息及位置信息发送给特定接收人，此外还可以通过无线网络与用户手机连接，实现升级和动态监测的功能；

所述连接件包括阻尼式的转轴8、连接杆9和真空吸盘10；转轴8与触摸显示屏601连接，用于实现触摸显示屏601的旋转；所述连接杆9一端通过阻尼式连接轴铰接在***外壳顶部，另一端安装有真空吸盘10，可通过真空吸盘将设备固定在汽车上；

当ARM处理器2判断驾驶员为疲劳驾驶时，***发出警报声，人机对话***启动并与驾驶员互动，如果在ARM处理器2做出警报措施后，驾驶员仍然疲劳驾驶，则通过通信模块7将警告信息与汽车所在位置发送给指定接收人；

当判断驾驶员为疲劳驾驶时，ARM处理器2还会根据定位模块获取的车辆位置信息，结合内置电子地图，自动寻找距离驾驶者位置最近的临时休息场所，通过触摸显示屏601和人机对话***告知驾驶者；

驾驶员的每次疲劳驾驶数据都将会存入存储器5，ARM处理器2会统计出当前驾驶员的易疲劳时段，***会在相应时段提前进行预警，如播放音乐，或通过人机对话***与驾驶员进行智能语音对话。

本实用新型运行的流程如下：

1.当汽车启动时，***开启，首先根据光线传感器304获取环境亮度信息；在光线较强时，开启矩阵式摄像头303中的普通摄像头与广角摄像头，关闭红外摄像头；在光线较弱时，增开红外摄像头并关闭一个普通摄像头；利用矩阵式摄像头303对驾驶员进行人脸识别，并由驾驶员确认身份信息，如果***没有当前驾驶员信息，则创建并储存当前驾驶员信息；

2.在汽车行驶过程中，矩阵式摄像头303获取驾驶员面部图像，经FPGA芯片4处理与识别后，将驾驶员眨眼频率，输入至ARM处理器2；同时陀螺仪传感器301获取汽车水平偏移率输入至ARM处理器2；

3.ARM处理器2对驾驶员眨眼频率和汽车水平偏移率进行综合评价；若评价结果高于所设定的阈值，则判断驾驶员为疲劳驾驶，启动人机交互与警报***6和通信***7，并将数据记录于存储器5；若***判断当前驾驶员处于易疲劳时段，则做出相应的预警措施。

对于本领域技术人员而言，显然本实用新型不限于上述示范性实施例的细节，而且在不背离本实用新型的精神或基本特征的情况下，能够以其他的具体形式实现本实用新型。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本实用新型的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本实用新型内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (5)

1.一种基于卷积神经网络和矩阵摄影防疲劳驾驶***，包括***外壳，所述***外壳内设置***本体，其特征在于：所述***本体包括信息采集模块（3）、ARM处理器（2）、FPGA芯片（4）、人机交互与警报***（6）、通信模块（7）、存储器（5）、电源模块（1）和若干连接件；

其中，所述信息采集模块（3）包括矩阵式摄像头（303）、光线传感器（304）、陀螺仪传感器（301）和定位模块（302）；所述矩阵式摄像头（303）和光线传感器（304）均与FPGA芯片（4）连接，矩阵式摄像头（303）由两个普通摄像头、一个红外摄像头和一个广角摄像头组成；

所述ARM处理器（2）与FPGA芯片（4）、陀螺仪传感器（301）以及定位模块（302）连接；

所述人机交互与警报***（6）与ARM处理器（2）连接，人机交互与警报***（6）由触摸显示屏（601）、扬声器（602）和麦克风（603）组成；

所述通信模块（7）与ARM处理器（2）连接，内置无线网络模块和GSM模块。

2.根据权利要求1所述的一种基于卷积神经网络和矩阵摄影防疲劳驾驶***，其特征在于：所述***外壳上设置有连接件，所述连接件包括转轴（8）、连接杆（9）和真空吸盘（10）；转轴（8）与触摸显示屏（601）连接；所述连接杆（9）一端铰接在***外壳顶部，另一端安装有真空吸盘（10）。

3.根据权利要求2所述的一种基于卷积神经网络和矩阵摄影防疲劳驾驶***，其特征在于：所述转轴（8）以及连接杆（9）与***外壳连接轴均为阻尼式转轴。

4.根据权利要求1所述的一种基于卷积神经网络和矩阵摄影防疲劳驾驶***，其特征在于：所述存储器（5）与ARM处理器（2）连接，用于存储ARM处理器（2）做出的报警数据。

5.根据权利要求1所述的一种基于卷积神经网络和矩阵摄影防疲劳驾驶***，其特征在于：所述电源模块（1）与ARM处理器（2）连接。