CN106898118A - 防止疲劳驾驶的智能***及方法 - Google Patents
防止疲劳驾驶的智能***及方法 Download PDFInfo
- Publication number
- CN106898118A CN106898118A CN201710282392.9A CN201710282392A CN106898118A CN 106898118 A CN106898118 A CN 106898118A CN 201710282392 A CN201710282392 A CN 201710282392A CN 106898118 A CN106898118 A CN 106898118A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- mounted console
- sent
- fatigue driving
- intelligent glasses
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 210000001508 eye Anatomy 0.000 claims abstract description 41
- 238000001514 detection method Methods 0.000 claims abstract description 34
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 18
- 239000011521 glass Substances 0.000 claims description 48
- 238000001914 filtration Methods 0.000 claims description 34
- 210000003128 head Anatomy 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 230000009467 reduction Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 8
- 230000002146 bilateral effect Effects 0.000 claims description 6
- 230000001133 acceleration Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 206010039203 Road traffic accident Diseases 0.000 abstract description 5
- 230000006872 improvement Effects 0.000 description 9
- 230000000386 athletic effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 3
- 238000011946 reduction process Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Emergency Alarm Devices (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了防止疲劳驾驶的智能***及方法，包括：N个左右红外LED灯，投影在左右眼球上，作为后续检测的特征点；带有眼球追踪传感器的左右摄像头，追踪左右眼球并拍摄左右图像数据；处理器，对左右图像数据进行滤波、ROI区域提取、特征点检测，在预设时间内，当左右图像特征点数目少于N/2的时间达到报警阈值，则向车载中控台发送报警指令，车载中控台控制座椅上的振动反馈装置，实现对驾驶员的振动提醒。本发明根据特征点的个数来判断眼睛的闭合/张开状态，根据眼睛处于闭合状态的时间来判断疲劳驾驶；本发明对眼睛运动状态的检测精度高，通过振动反馈装置实现振动提醒，从而从本质上制止疲劳驾驶带来的交通事故。
Description
技术领域
本发明涉及图像处理、模式识和自动化技术领域，尤其涉及防止疲劳驾驶的智能***及方法。
背景技术
疲劳驾驶是导致高交通事故中比较重要的因素，因而如何高效、准确、快速的检测驾驶员是否在疲劳驾驶，并在已知疲劳驾驶的情况下如何防止，就显得尤为重要。
目前检测疲劳驾驶的技术手段主要是通过机器视觉的方式，主要检测眼睛或嘴巴的运动状态(是否闭合、张开等状态)，通过某种状态机判断当前是否是疲劳驾驶状态；由于受驾驶舱环境光照等复杂多变的因素影响，导致检测眼睛或嘴巴的位置定位不够准确，结果会导致估计眼睛或嘴巴的运动状态不够精确，导致无检测概率比较大，而且对检测到的疲劳驾驶状态都是通过语音进行报警，这样从本质上没有制止疲劳驾驶带来的交通事故。
发明内容
针对上述问题中存在的不足之处，本发明提供一种通过眼球跟踪技术检测是否疲劳驾驶，并对疲劳驾驶者进行提醒的智能***及方法。
为实现上述目的，本发明的第一目的在于提供一种防止疲劳驾驶的智能***，包括：供驾驶员佩戴的智能眼镜、车载中控台和安装在驾驶员座椅上的振动反馈装置；
所述智能眼镜包括：
N个左红外LED灯和N个右红外LED灯，用于投影在左眼球和右眼球上，作为后续检测的特征点；其中，N≥7；
带有眼球追踪传感器的左摄像头和右摄像头，用于追踪左眼球和右眼球并拍摄左图像数据和右图像数据；
处理器，用于对左右图像数据进行滤波、ROI区域提取、特征点检测，并判断预设时间A内，左右图像特征点数目少于N/2的时间是否达到报警阈值；若达到，则向车载中控台发送报警指令，车载中控台控制振动反馈装置振动，实现对驾驶员的振动提醒。
作为本发明的进一步改进，N个左红外LED灯均布在智能眼镜左镜框的边框上，所述左镜框上对应安装有左摄像头；
N个右红外LED灯均布在智能眼镜右镜框的边框上，所述右镜框上对应安装有右摄像头。
作为本发明的进一步改进，所述处理器包括：
第一滤波降噪模块，用于对左右图像数据进行双边滤波处理；
ROI区域提取模块，用于对滤波处理后的左右图像数据，提取包含左眼信息的左ROI区域和包含右眼信息的右ROI区域；
特征点检测模块，用于采用ORB检测算法对左右ROI区域进行特征点检测，记录左右ROI区域上检测到的特征点个数；
第一判断模块，用于判断在预设时间A内，左右ROI区域上特征点数目少于N/2的时间是否达到报警阈值，若达到，则向车载中控台发送报警指令。
作为本发明的进一步改进，所述报警阈值为A1、A2、A3，其中：0＜A1＜A2＜A3＜A；
当左右图像特征点数目少于N/2的时间大于A1且小于A2，则处理器向车载中控台发送振动模式1的报警指令，振动模式1为慢速振动；
当左右图像特征点数目少于N/2的时间大于A2且小于A3，则处理器向车载中控台发送振动模式2的报警指令，振动模式2为中速振动；
当左右图像特征点数目少于N/2的时间大于A3且小于A，则处理器向车载中控台发送振动模式3的报警指令，振动模式3为快速振动。
作为本发明的进一步改进，所述智能眼镜还包括：IMU；
所述IMU包括加速度传感器、陀螺仪传感器和地磁传感器，用于检测智能眼镜姿态数据；
处理器对智能眼镜姿态数据进行滤波，并判断智能眼镜的姿态在预设时间B内是否发生变化；若没有发生变化，则向车载中控台发送报警指令，车载中控台控制振动反馈装置振动，实现对驾驶员的振动提醒。
作为本发明的进一步改进，所述处理器还包括：
第二滤波降噪模块，用于对智能眼镜姿态数据进行卡尔曼滤波处理；
第二判断模块，用于对滤波处理的姿态数据进行姿态判断，判断智能眼镜的姿态在预设时间B内是否发生变化，若没有发生变化，则向车载中控台发送振动模式1的报警指令，振动模式1为慢速振动。
作为本发明的进一步改进，还包括：设置在驾驶室内的语音播报装置；
所述语音播报装置与所述车载中控台相连，当车载中控台接收到报警指令时，车载中控台控制语音播报装置进行语音提醒。
作为本发明的进一步改进，所述车载中控台与处理器、振动反馈装置和语音播报装置的数据传输形式均采用蓝牙传输。
本发明第二目的在于提供一种防止疲劳驾驶的智能方法，包括：
步骤1、输入摄像头采集的左图像数据、右图像数据及IMU采集的智能眼镜姿态数据；
步骤2、对左右图像数据进行双边滤波处理；
步骤3、对滤波处理后的左右图像数据，提取包含左眼信息的左ROI区域和包含右眼信息的右ROI区域；
步骤4、采用ORB检测算法对左右ROI区域进行特征点检测，记录左右ROI区域上检测到的特征点个数；
步骤5、在预设时间A内，判断左右ROI区域上特征点数目少于N/2的时间是否达到报警阈值A1、A2、A3，0＜A1＜A2＜A3＜A；若达到，则向车载中控台发送报警指令；其中：
a、当左右图像特征点数目少于N/2的时间大于A1且小于A2，则处理器向车载中控台发送振动模式1的报警指令，振动模式1为慢速振动；
b、当左右图像特征点数目少于N/2的时间大于A2且小于A3，则处理器向车载中控台发送振动模式2的报警指令，振动模式2为中速振动；
c、当左右图像特征点数目少于N/2的时间大于A3且小于A，则处理器向车载中控台发送振动模式3的报警指令，振动模式3为快速振动；
步骤6、对步骤1采集的智能眼镜姿态数据进行卡尔曼滤波处理；
步骤7、对滤波处理的姿态数据进行姿态判断，判断智能眼镜的姿态在预设时间B内是否发生变化，若没有发生变化，则向车载中控台发送振动模式1的报警指令；
步骤8、车载中控台接收步骤5和步骤7的报警指令，控制振动反馈装置振动和/或语音播报装置语音播放，实现对驾驶员的提醒。
作为本发明的进一步改进，所述预设时间A为300s，报警阈值A1为30s，报警阈值A2为150s，报警阈值A3为200s，预设时间B为300s。
与现有技术相比，本发明的有益效果为：
本发明提供防止疲劳驾驶的智能***及方法，通过左右摄像头采集左右图像数据，处理器对左右图像数据进行滤波、ROI区域提取、特征点检测，根据特征点的个数来判断眼睛的闭合/张开状态，并在预设时间内，当眼睛处于闭合状态的时间达到报警阈值时，则向车载中控台发送报警指令，车载中控台控制振动反馈装置振动，实现对驾驶员的振动提醒；
本发明通过IMU检测智能眼镜姿态数据，从而得到驾驶员的头部的运动姿态；当智能眼镜的姿态在一定时间内没有发生变化，可判断出该驾驶员处于疲劳驾驶，则向车载中控台发送报警指令，车载中控台控制振动反馈装置振动，实现对驾驶员的振动提醒；
本发明对眼睛运动状态、头部的运动姿态的检测精度高，通过振动反馈装置实现振动提醒，从而从本质上制止疲劳驾驶带来的交通事故。
附图说明
图1为本发明一种实施例公开的防止疲劳驾驶的智能***的框架图；
图2为图1中智能眼镜的示意图；
图3为图1中处理器的框架图；
图4为本发明一种实施例公开的防止疲劳驾驶的智能***的实现方法流程图；
图5为本发明一种实施例公开的特征点在投射在眼睛上的示意图。
图中：
10、智能眼镜；11、左红外LED灯；12、右红外LED灯；13、左摄像头；14、右摄像头；15、IMU；16、处理器；20、车载中控台；30、振动反馈装置；40、语音播报装置。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图对本发明做进一步的详细描述：
如图1、2所示，本发明提供一种防止疲劳驾驶的智能***，包括：供驾驶员佩戴的智能眼镜10、车载中控台20和安装在驾驶员座椅上的振动反馈装置30；其中，智能眼镜10、车载中控台20和振动反馈装置30之间通过蓝牙进行信息交互，智能眼镜10的外形与普通眼镜近似，其可以为眼镜框、也可在眼镜框上安装对应的太阳镜片、近视镜片等；车载中控台20为汽车的总控制中心，其为汽车的固有部分。
本发明的智能眼镜10包括：左红外LED灯11、右红外LED灯12、左摄像头13、右摄像头14、IMU15、处理器16和电源；其中：
如图3所示，左红外LED灯11、右红外LED灯12设置的数目最少为7个，本发明左红外LED灯11、右红外LED灯12均采用8个，上述数目综合考虑到电源的持久性和红外LED灯的效果。本发明8个左红外LED灯11均布在智能眼镜左镜框的边框上，左红外LED灯11投影在左眼球上(其可通过左红外LED灯的安装角度及调整镜框的结构来实现)，作为后续左ROI区域检测的特征点。8个右红外LED灯12均布在智能眼镜右镜框的边框上，右红外LED灯12投影在右眼球上(其可通过右红外LED灯的安装角度及调整镜框的结构来实现)，作为后续右ROI区域检测的特征点。
本发明在左镜框上对应安装有带有眼球追踪传感器的左摄像头13，左摄像头13用于追踪左眼球并拍摄左图像数据(左图像数据包含左眼信息、左红外LED灯11在左眼球上的投影等)，本发明的左摄像头13选用短焦摄像头。本发明在右镜框上对应安装有带有眼球追踪传感器的右摄像头14，右摄像头14用于追踪右眼球并拍摄右图像数据(右图像数据包含右眼信息、右红外LED灯12在右眼球上的投影等)，本发明的右摄像头14选用短焦摄像头。
本发明智能眼镜10上还安装有IMU(惯性测量单元)15，IMU15包括加速度传感器、陀螺仪传感器和地磁传感器；其中，加速度传感器和陀螺仪传感器用于检测智能眼镜的姿态数据，由于驾驶员佩戴有智能眼镜，智能眼镜的姿态数据即为驾驶员的头部姿态数据；该姿态数据可用六自由度表示，即通过加速度传感器沿检测x、y、z三个直角坐标轴方向的移动自由度和通过陀螺仪传感器检测绕这三个坐标轴的转动自由度，地磁传感器用于实时校正；从而通过IMU(惯性测量单元)来判断驾驶员头部的运动姿态是否发生改变。
本发明智能眼镜10上还安装有处理器16，处理器16用于对左右图像数据进行滤波、ROI区域提取、特征点检测，并判断预设时间A内，左右图像特征点数目少于N/2的时间是否达到报警阈值；若达到，则向车载中控台发送报警指令；同时，处理器16还用于对智能眼镜姿态数据进行滤波，并判断智能眼镜的姿态在预设时间B内是否发生变化；若没有发生变化，则向车载中控台发送报警指令。
如图3所示，本发明的处理器16包括：第一滤波降噪模块、第二滤波降噪模块、ROI区域提取模块、特征点检测模块、第一判断模块和第二判断模块；其中：
第一滤波降噪模块对输入的左右图像数据进行传统的双边滤波计算，进行图像数据降噪处理。
ROI区域提取模块对第一滤波降噪模块滤波降噪处理后的左右图像数据，进行ROI区域提取(ROI(region of interest)，感兴趣区域。机器视觉、图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为感兴趣区域)，提取包含左眼信息的左ROI区域和包含右眼信息的右ROI区域。ROI区域在图像的位置，是由硬件***相对人眼的位置的摆放决定的，本发明将ROI区域摆放在左右图像中间的某一区域中。
特征点检测模块采用传统的ORB检测算法对左右ROI区域进行特征点检测，记录左右ROI区域上检测到的特征点个数；其中，当眼睛处于闭合状态时，特征点投影在眼皮上，通过设计的检测阈值其无法通过ORB检测算法来检测到特征点；当眼睛处于张开状态时，特征点投影在眼球上，其获取的ROI区域呈现出明显的黑白效果，如图5所示；其可通过ORB检测算法来检测到特征点；基于上述原理，本发明通过检测特征点低于某一阈值则判断眼睛处于闭合状态，根据眼睛处于闭合状态的时间来判断驾驶员处于疲劳驾驶的状态，本发明选择ROI区域上特征点数目少于特征点总数的一半判断成驾驶员眼睛处于闭合状态，根据下述眼睛处于闭合状态的时间来判断驾驶员处于疲劳驾驶的状态；同时，也可选用其它的阈值来判断驾驶员眼睛处于闭合状态和疲劳驾驶的状态。
第一判断模块，用于在预设时间A内，判断左右ROI区域上特征点数目少于N/2的时间是否达到报警阈值A1、A2、A3，0＜A1＜A2＜A3＜A；若达到，则向车载中控台20发送报警指令；本发明设计预设时间A为300s，报警阈值A1为30s，报警阈值A2为150s，报警阈值A3为200s；同时，也可根据实际需求设计成其他的阈值。其中：
a、当左右图像特征点数目少于4的时间大于0且小于30s，则没有达到报警阈值，处理器不发送报警指令；
b、当左右图像特征点数目少于4的时间大于30s且小于150s，则处理器向车载中控台发送振动模式1的报警指令，振动模式1为慢速振动；
c、当左右图像特征点数目少于4的时间大于150s且小于200s，则处理器向车载中控台发送振动模式2的报警指令，振动模式2为中速振动；
d、当左右图像特征点数目少于4的时间大于200s且小于300s，则处理器向车载中控台发送振动模式3的报警指令，振动模式3为快速振动。
第二滤波降噪模块对智能眼镜姿态数据进行卡尔曼滤波处理，进行传感器数据降噪处理。
第二判断模块对第二滤波降噪模块滤波降噪处理的姿态数据进行姿态判断，设置状态机判断智能眼镜的姿态在预设时间300s内是否发生变化(头部的运动姿态也可人为的设定阈值)，若没有发生变化，则返回结果用语音提醒司机长头长时间没有转动了，可能会引起疲劳驾驶，并向车载中控台20发送振动模式1的报警指令，振动模式1为慢速振动。本发明设计预设时间B为300s，也可根据实际需求设计成其他的阈值。
本发明的车载中控台20接收处理器16的报警指令，并向控制振动反馈装置发送指令，控制其工作，实现对驾驶员的振动提醒。其中，振动反馈装置安装在驾驶员座椅上，其可采用多个振动凸点，通过处理器的判断结果，控制不同数量的振动凸点振动，从而实现3种振动模式(也可根据需求设计成多种振动模式)。
优选的，该智能***还包括：设置在驾驶室内的语音播报装置40；
语音播报装置40与车载中控台20相连，当车载中控台接收到报警指令时，车载中控台通过蓝牙信号向语音播报装置40发送指令，控制语音播报装置40进行语音提醒。
如图4所示，本发明提供一种防止疲劳驾驶的智能方法，包括：
S101、输入摄像头采集的左图像数据、右图像数据及IMU采集的智能眼镜姿态数据；
S102、对左右图像数据进行双边滤波处理；
S103、对滤波处理后的左右图像数据，提取包含左眼信息的左ROI区域和包含右眼信息的右ROI区域；
S104、采用ORB检测算法对左右ROI区域进行特征点检测，记录左右ROI区域上检测到的特征点个数；
S105、在预设时间300s内，判断左右ROI区域上特征点数目少于N/2的时间是否达到报警阈值30s、150s、200s，若达到，则向车载中控台发送报警指令；其中：
a、当左右图像特征点数目少于4的时间大于0且小于30s，则没有达到报警阈值，处理器不发送报警指令；
b、当左右图像特征点数目少于4的时间大于30s且小于150s，则处理器向车载中控台发送振动模式1的报警指令，振动模式1为慢速振动；
c、当左右图像特征点数目少于4的时间大于150s且小于200s，则处理器向车载中控台发送振动模式2的报警指令，振动模式2为中速振动；
d、当左右图像特征点数目少于4的时间大于200s且小于300s，则处理器向车载中控台发送振动模式3的报警指令，振动模式3为快速振动；
S106、对S101采集的智能眼镜姿态数据进行卡尔曼滤波处理；
S107、对滤波处理的姿态数据进行姿态判断，判断智能眼镜的姿态在预设时间300s内是否发生变化，若没有发生变化，则向车载中控台发送振动模式1的报警指令；
S108、车载中控台接收S105和S107的报警指令，控制振动反馈装置振动和/或语音播报装置语音播放，实现对驾驶员的提醒。
本发明提供防止疲劳驾驶的智能***及方法，通过左右摄像头采集左右图像数据，处理器对左右图像数据进行滤波、ROI区域提取、特征点检测，根据特征点的个数来判断眼睛的闭合/张开状态，并在预设时间内，当眼睛处于闭合状态的时间达到报警阈值时，则向车载中控台发送报警指令，车载中控台控制振动反馈装置振动，实现对驾驶员的振动提醒；本发明通过IMU检测智能眼镜姿态数据，从而得到驾驶员的头部的运动姿态；当智能眼镜的姿态在一定时间内没有发生变化(变化的阈值可人为进行设定)，可判断出该驾驶员处于疲劳驾驶，则向车载中控台发送报警指令，车载中控台控制振动反馈装置振动，实现对驾驶员的振动提醒；本发明对眼睛运动状态、头部的运动姿态的检测精度高，通过振动反馈装置实现振动提醒，从而从本质上制止疲劳驾驶带来的交通事故。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种防止疲劳驾驶的智能***，其特征在于，包括：供驾驶员佩戴的智能眼镜、车载中控台和安装在驾驶员座椅上的振动反馈装置；
所述智能眼镜包括：
N个左红外LED灯和N个右红外LED灯，用于投影在左眼球和右眼球上，作为后续检测的特征点；其中，N≥7；
带有眼球追踪传感器的左摄像头和右摄像头，用于追踪左眼球和右眼球并拍摄左图像数据和右图像数据；
处理器，用于对左右图像数据进行滤波、ROI区域提取、特征点检测，并判断预设时间A内，左右图像特征点数目少于N/2的时间是否达到报警阈值；若达到，则向车载中控台发送报警指令，车载中控台控制振动反馈装置振动，实现对驾驶员的振动提醒。
2.如权利要求1所述的防止疲劳驾驶的智能***，其特征在于：
N个左红外LED灯均布在智能眼镜左镜框的边框上，所述左镜框上对应安装有左摄像头；
N个右红外LED灯均布在智能眼镜右镜框的边框上，所述右镜框上对应安装有右摄像头。
3.如权利要求1所述的防止疲劳驾驶的智能***，其特征在于，所述处理器包括：
第一滤波降噪模块，用于对左右图像数据进行双边滤波处理；
ROI区域提取模块，用于对滤波处理后的左右图像数据，提取包含左眼信息的左ROI区域和包含右眼信息的右ROI区域；
特征点检测模块，用于采用ORB检测算法对左右ROI区域进行特征点检测，记录左右ROI区域上检测到的特征点个数；
第一判断模块，用于判断在预设时间A内，左右ROI区域上特征点数目少于N/2的时间是否达到报警阈值，若达到，则向车载中控台发送报警指令。
4.如权利要求1所述的防止疲劳驾驶的智能***，其特征在于，所述报警阈值为A1、A2、A3，其中：0＜A1＜A2＜A3＜A；
当左右图像特征点数目少于N/2的时间大于A1且小于A2，则处理器向车载中控台发送振动模式1的报警指令，振动模式1为慢速振动；
当左右图像特征点数目少于N/2的时间大于A2且小于A3，则处理器向车载中控台发送振动模式2的报警指令，振动模式2为中速振动；
当左右图像特征点数目少于N/2的时间大于A3且小于A，则处理器向车载中控台发送振动模式3的报警指令，振动模式3为快速振动。
5.如权利要求1所述的防止疲劳驾驶的智能***，其特征在于，所述智能眼镜还包括：IMU；
所述IMU包括加速度传感器、陀螺仪传感器和地磁传感器，用于检测智能眼镜姿态数据；
处理器对智能眼镜姿态数据进行滤波，并判断智能眼镜的姿态在预设时间B内是否发生变化；若没有发生变化，则向车载中控台发送报警指令，车载中控台控制振动反馈装置振动，实现对驾驶员的振动提醒。
6.如权利要求5所述的防止疲劳驾驶的智能***，其特征在于，所述处理器还包括：
第二滤波降噪模块，用于对智能眼镜姿态数据进行卡尔曼滤波处理；
第二判断模块，用于对滤波处理的姿态数据进行姿态判断，判断智能眼镜的姿态在预设时间B内是否发生变化，若没有发生变化，则向车载中控台发送振动模式1的报警指令，振动模式1为慢速振动。
7.如权利要求5所述的防止疲劳驾驶的智能***，其特征在于，还包括：设置在驾驶室内的语音播报装置；
所述语音播报装置与所述车载中控台相连，当车载中控台接收到报警指令时，车载中控台控制语音播报装置进行语音提醒。
8.如权利要求7所述的防止疲劳驾驶的智能***，其特征在于，所述车载中控台与处理器、振动反馈装置和语音播报装置的数据传输形式均采用蓝牙传输。
9.一种如权利要求1-8中任一项所述的防止疲劳驾驶的智能***的方法，其特征在于，包括：
步骤1、输入摄像头采集的左图像数据、右图像数据及IMU采集的智能眼镜姿态数据；
步骤2、对左右图像数据进行双边滤波处理；
步骤3、对滤波处理后的左右图像数据，提取包含左眼信息的左ROI区域和包含右眼信息的右ROI区域；
步骤4、采用ORB检测算法对左右ROI区域进行特征点检测，记录左右ROI区域上检测到的特征点个数；
步骤5、在预设时间A内，判断左右ROI区域上特征点数目少于N/2的时间是否达到报警阈值A1、A2、A3，0＜A1＜A2＜A3＜A；若达到，则向车载中控台发送报警指令；其中：
a、当左右图像特征点数目少于N/2的时间大于A1且小于A2，则处理器向车载中控台发送振动模式1的报警指令，振动模式1为慢速振动；
b、当左右图像特征点数目少于N/2的时间大于A2且小于A3，则处理器向车载中控台发送振动模式2的报警指令，振动模式2为中速振动；
c、当左右图像特征点数目少于N/2的时间大于A3且小于A，则处理器向车载中控台发送振动模式3的报警指令，振动模式3为快速振动；
步骤6、对步骤1采集的智能眼镜姿态数据进行卡尔曼滤波处理；
步骤7、对滤波处理的姿态数据进行姿态判断，判断智能眼镜的姿态在预设时间B内是否发生变化，若没有发生变化，则向车载中控台发送振动模式1的报警指令；
步骤8、车载中控台接收步骤5和步骤7的报警指令，控制振动反馈装置振动和/或语音播报装置语音播放，实现对驾驶员的提醒。
10.如权利要求9所述的防止疲劳驾驶的智能方法，其特征在于，所述预设时间A为300s，报警阈值A1为30s，报警阈值A2为150s，报警阈值A3为200s，预设时间B为300s。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710282392.9A CN106898118B (zh) | 2017-04-26 | 2017-04-26 | 防止疲劳驾驶的智能***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710282392.9A CN106898118B (zh) | 2017-04-26 | 2017-04-26 | 防止疲劳驾驶的智能***及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106898118A true CN106898118A (zh) | 2017-06-27 |
| CN106898118B CN106898118B (zh) | 2019-04-16 |
Family
ID=59197077
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710282392.9A Active CN106898118B (zh) | 2017-04-26 | 2017-04-26 | 防止疲劳驾驶的智能***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106898118B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107256400A (zh) * | 2017-06-30 | 2017-10-17 | 成都西华升腾科技有限公司 | 基于眼球追踪和触觉交互的防疲劳*** |
| CN108021911A (zh) * | 2018-01-04 | 2018-05-11 | 重庆公共运输职业学院 | 一种驾驶员疲劳驾驶监测方法 |
| CN109426797A (zh) * | 2017-08-28 | 2019-03-05 | 纬创资通股份有限公司 | 瞌睡检测装置及其瞌睡检测方法 |
| CN109934189A (zh) * | 2019-03-19 | 2019-06-25 | 何世全 | 一种驾驶预警方法、***及终端 |
| CN109987036A (zh) * | 2017-12-29 | 2019-07-09 | 周秦娜 | 一种基于驾驶员身体姿态提高交互准确度的控制方法 |
| WO2019184944A1 (zh) * | 2018-03-27 | 2019-10-03 | 京东方科技集团股份有限公司 | 车辆控制***、车辆和车辆控制方法 |
| CN110807898A (zh) * | 2019-11-04 | 2020-02-18 | 中国第一汽车股份有限公司 | 一种防疲劳驾驶方法及*** |
| CN111488055A (zh) * | 2019-01-28 | 2020-08-04 | 富顶精密组件（深圳）有限公司 | 一种车用扩增实境眼镜辅助装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101356078A (zh) * | 2005-12-12 | 2009-01-28 | 松下电器产业株式会社 | 安全行驶辅助装置 |
| CN201955874U (zh) * | 2011-04-02 | 2011-08-31 | 北京中矿华沃电子科技有限公司 | 一种疲劳驾驶预警*** |
| CN102426757A (zh) * | 2011-12-02 | 2012-04-25 | 上海大学 | 基于模式识别的安全驾驶监控***和方法 |
| CN106339087A (zh) * | 2016-08-29 | 2017-01-18 | 上海青研科技有限公司 | 一种基于多维坐标的眼球追踪方法及其装置 |
| CN106558191A (zh) * | 2016-12-16 | 2017-04-05 | 天津牧瞳星科技有限公司 | 一种疲劳驾驶预警眼镜 |
-
2017
- 2017-04-26 CN CN201710282392.9A patent/CN106898118B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101356078A (zh) * | 2005-12-12 | 2009-01-28 | 松下电器产业株式会社 | 安全行驶辅助装置 |
| CN201955874U (zh) * | 2011-04-02 | 2011-08-31 | 北京中矿华沃电子科技有限公司 | 一种疲劳驾驶预警*** |
| CN102426757A (zh) * | 2011-12-02 | 2012-04-25 | 上海大学 | 基于模式识别的安全驾驶监控***和方法 |
| CN106339087A (zh) * | 2016-08-29 | 2017-01-18 | 上海青研科技有限公司 | 一种基于多维坐标的眼球追踪方法及其装置 |
| CN106558191A (zh) * | 2016-12-16 | 2017-04-05 | 天津牧瞳星科技有限公司 | 一种疲劳驾驶预警眼镜 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107256400A (zh) * | 2017-06-30 | 2017-10-17 | 成都西华升腾科技有限公司 | 基于眼球追踪和触觉交互的防疲劳*** |
| CN109426797A (zh) * | 2017-08-28 | 2019-03-05 | 纬创资通股份有限公司 | 瞌睡检测装置及其瞌睡检测方法 |
| CN109426797B (zh) * | 2017-08-28 | 2020-12-04 | 纬创资通股份有限公司 | 瞌睡检测装置及其瞌睡检测方法 |
| CN109987036A (zh) * | 2017-12-29 | 2019-07-09 | 周秦娜 | 一种基于驾驶员身体姿态提高交互准确度的控制方法 |
| CN108021911A (zh) * | 2018-01-04 | 2018-05-11 | 重庆公共运输职业学院 | 一种驾驶员疲劳驾驶监测方法 |
| WO2019184944A1 (zh) * | 2018-03-27 | 2019-10-03 | 京东方科技集团股份有限公司 | 车辆控制***、车辆和车辆控制方法 |
| CN111488055A (zh) * | 2019-01-28 | 2020-08-04 | 富顶精密组件（深圳）有限公司 | 一种车用扩增实境眼镜辅助装置 |
| CN109934189A (zh) * | 2019-03-19 | 2019-06-25 | 何世全 | 一种驾驶预警方法、***及终端 |
| CN110807898A (zh) * | 2019-11-04 | 2020-02-18 | 中国第一汽车股份有限公司 | 一种防疲劳驾驶方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106898118B (zh) | 2019-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106898118B (zh) | 防止疲劳驾驶的智能***及方法 | |
| CN106965675B (zh) | 一种货车集群智能安全作业*** | |
| CN109791739B (zh) | 晕车估计装置、晕车防止装置和晕车估计方法 | |
| US20190071012A1 (en) | Portable electronic device and operating method therefor | |
| CN105547318B (zh) | 一种智能头戴设备和智能头戴设备的控制方法 | |
| CN105069976B (zh) | 一种疲劳检测和行驶记录综合***及疲劳检测方法 | |
| CN104239860B (zh) | 一种使用智能终端时的坐姿检测与提醒方法及装置 | |
| CN101916496B (zh) | 一种司机驾驶姿势检测的***和方法 | |
| CN106709420A (zh) | 一种监测营运车辆驾驶人员驾驶行为的方法 | |
| CN106335432A (zh) | 具有行车辅助***的智能后视镜、控制***及处理方法 | |
| US20180229654A1 (en) | Sensing application use while driving | |
| AU2015276536A1 (en) | Device, method, and computer program for detecting momentary sleep | |
| CN109636924A (zh) | 基于现实路况信息三维建模的车载多模式增强现实*** | |
| CN104573622B (zh) | 人脸检测装置、方法 | |
| CN110147738A (zh) | 一种驾驶员疲劳监测预警方法及*** | |
| CN105559228A (zh) | 一种智能骑行头盔 | |
| CN110096957A (zh) | 基于面部识别和行为识别融合的疲劳驾驶监测方法和*** | |
| JP2019195377A (ja) | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム | |
| CN105868690A (zh) | 识别驾驶员打手机行为的方法和装置 | |
| JPWO2013190766A1 (ja) | 画像表示装置、画像表示プログラム及び画像表示方法 | |
| CN109774723A (zh) | 信息处理装置、方法和程序、驾驶员监控***及保存媒体 | |
| CN109774722A (zh) | 信息处理装置、方法和程序、驾驶员监控***及保存媒体 | |
| CN104574821B (zh) | 驾驶安全提示装置及提示方法 | |
| CN109190600A (zh) | 一种基于视觉传感器的驾驶员监控*** | |
| CN108133573A (zh) | 疲劳驾驶报警*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20190910 Address after: 100020 Beijing Chaoyang District Changdao 3 Courtyard 1 Building 8 Floor 2 Unit 903 Patentee after: Huaxun Microvision (Beijing) Technology Co., Ltd. Address before: 100029 16-40-1, 1 floor, Hui Xin West Street, No. 16, Beijing, Chaoyang District (Shi Fei technology incubator 321) Patentee before: Jin Xun (Beijing) Technology Co. Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210714 Address after: 361001 no.294, Kaiyuan Road, Siming District, Xiamen City, Fujian Province Patentee after: Wang Yijiang Address before: 100020 903, unit 2, 8 / F, building 1, yard 3, Changtong Road, Chaoyang District, Beijing Patentee before: Huaxun Microvision (Beijing) Technology Co.,Ltd. |