CN111645694A - 一种基于姿态估计的驾驶员驾驶状态监测***及方法 - Google Patents
一种基于姿态估计的驾驶员驾驶状态监测***及方法 Download PDFInfo
- Publication number
- CN111645694A CN111645694A CN202010293941.4A CN202010293941A CN111645694A CN 111645694 A CN111645694 A CN 111645694A CN 202010293941 A CN202010293941 A CN 202010293941A CN 111645694 A CN111645694 A CN 111645694A
- Authority
- CN
- China
- Prior art keywords
- driving
- driver
- server
- vehicle speed
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 32
- 241000282414 Homo sapiens Species 0.000 claims abstract description 12
- 238000004891 communication Methods 0.000 claims description 33
- 230000009471 action Effects 0.000 claims description 27
- 238000012360 testing method Methods 0.000 claims description 13
- 238000011156 evaluation Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000001788 irregular Effects 0.000 claims description 3
- 206010039203 Road traffic accident Diseases 0.000 description 6
- 230000006399 behavior Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006806 disease prevention Effects 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 239000003651 drinking water Substances 0.000 description 1
- 235000020188 drinking water Nutrition 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W40/09—Driving style or behaviour
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/16—Ratio selector position
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于姿态估计的驾驶员驾驶状态监测***及方法，***包含本地车载端和远程服务器端，通过摄像头拍摄的视频实时截取图像帧，利用人体姿态估计算法实时监测驾驶员的头部和身体姿态，将驾驶员的驾驶状态信息和车辆的实时车速信息融合，利用驾驶危险等级判别算法实现危险驾驶预警。***具有离线和在线模式，在线模式中，服务器端能实时进行安全驾驶监测并存储数据；而离线模式下则仅由本地处理器进行监测。本发明公开的驾驶员安全驾驶监测方法，实现了非侵入式实时监测，同时离线和在线模式相结合可得到更高可靠性和准确性。
Description
技术领域
本发明涉及用于驾驶辅助***以及自动驾驶领域的计算机视觉图像处理技术，尤其涉及一种基于姿态估计的驾驶员驾驶状态监测***及方法。
背景技术
根据世界卫生组织(World Health Organization)的调查，交通事故是人类第八大死亡原因，每年全球有130万人死于交通事故，有205,000万人在交通事故中受伤/致残。近几年，驾驶员分心驾驶造成的交通事故数量逐步增加，疾病预防控制中心，给出广泛的分心驾驶定义，将分心驾驶依据视觉、手动、认知分为三种类型。驾驶员在在驾驶过程中，使用手机或者发短信而造成的视线远离驾驶路线的分心属于视觉分心；手动分心主要涉及驾驶员在驾驶过程中双手离开方向盘的各种活动，如吃东西、喝水、操作导航仪等；驾驶员处于安全驾驶姿势，也有可能会在精神上分散驾驶注意力，这种由于注意力不集中或困倦而引起的分神属于认知分心。据报告，分心驾驶是交通事故的主要原因，车载监控***(in-vehicle monitoring systems)可以通过警告分心的驾驶员并自适应地调整安全机制，在预防和缓解交通事故中发挥关键作用。即使是正在开发的自动驾驶汽车，也需要对驾驶员进行连续监视、以确保驾驶员可以在紧急情况下接回驾驶任务。
目前，对驾驶行为的识别方法主要分为接触式驾驶行为识别方法和基于计算机视觉的方法。接触式驾驶行为识别方法主要是基于对心电图(ECG)、脑电图(EOG)、脑电波(EEG)和光学标记传感器等生理和生物医学信号的分析去识别驾驶员当前状态。这类驾驶姿态识别方法是一种侵入式的检测方法，会降低用户体验并增加硬件成本，在实际应用中存在一定的局限性；第二种方法是基于计算机视觉的驾驶员姿态识别方法，该方法设备成本较低，数据采集对于驾驶员来说更加的自然和舒适，因此越来越多的研究机构和学者对基于计算机视觉的驾驶姿态识别进行了深入研究。目前大多数的监测***只是利用驾驶人头部姿态、视线方向或脸部表情来判断疲劳和注意力集中程度，对驾驶人肢体的宏观运动如头部位置、躯干角度、手的运动等缺乏丰富的研究。
在汽车工业中，人体姿态估计算法因其无需任何传感器仪器即可捕获人员运动姿态的能力得到了越来越多的关注。人体姿势估计方法的分类法可大致分为自上而下和自下而上的方法。自上而下的方法自上而下的方法首先检测人的边界框，然后将每个边界框分解为主体关键点和骨骼。尽管通用姿态估计任务已取得重大突破，但文献中专门针对车载用途的姿态估计模型很少。2019年10月，Chun等人首次在驾驶环境中，模拟驾驶姿态构建了驾驶姿态估计的数据集，提出NADS-Net网络用于估计前排驾驶员的姿态以及是否系安全带。
发明内容
本发明所要解决的技术问题是针对背景技术中所涉及到的缺陷，提供一种基于姿态估计的驾驶员驾驶状态监测***及方法。
本发明为解决上述技术问题采用以下技术方案：
一种基于姿态估计的驾驶员驾驶状态监测***，包括安装在车内用于采集驾驶姿态的高清摄像头、车速传感器、档位传感器、本地处理器、扬声器、服务器和无线通讯模块；
所述本地处理器分别和所述高清摄像头、车速传感器、档位传感器、无线通讯模块和扬声器电气相连；所述无线通讯模块和所述服务器端无线连接；
所述高清摄像头设置在车内，用于拍摄驾驶员的正面驾驶图像，并将其传递给所述本地处理器；
所述车速传感器、档位传感器分别用于获得车辆的实时车速、挡位状态，并将其传递给所述本地处理器；
所述本地处理器包含服务器连接测试单元、上传单元、本地危险等级评定模块和执行单元；所述服务器包含数据库和远程危险等级评定模块；
所述服务器连接测试单元用于测试无线通讯模块是否能够无线连接所述服务器，并将结果传递给所述上传单元；
所述上传单元用于在无线通讯模块能够无线连接服务器时将驾驶员的驾驶图像、实时车速、挡位状态传递至服务器，通过服务器来对驾驶员的驾驶状态进行判断并将结果传递给所述执行单元，在无线通讯模块不能无线连接服务器时将驾驶员的驾驶图像、实时车速、挡位状态传递至本地危险等级评定模块，通过本地危险等级评定模块对驾驶员的驾驶状态进行判断并将结果传递给所述执行单元；
所述本地危险等级评定模块、远程危险等级评定模块均包含人体姿态检测单元、驾驶状态监测单元、第一定时器、第二定时器、计数器、判断单元，其中：
所述人体姿态估计单元用于根据接收到的驾驶图像计算驾驶员在驾驶过程中头部的偏转角度并判断驾驶员是否存在非双手驾驶的动作，并将其传递至驾驶状态监测单元；
所述驾驶状态监测单元用于在驾驶员的头部偏转角度小于等于预设的角度阈值时发送“头部偏转角度正常”的消息给所述判断单元，在驾驶员的头部偏转角度大于等于预设的角度阈值时控制第一定时器对其持续时间T2进行计时并将T2传递给所述判断单元；在驾驶员不存在非双手驾驶动作时发送“双手驾驶”的消息给所述判断单元，在驾驶员存在非双手驾驶动作时对其持续时间T1进行计时并将T1传递给所述判断单元；
所述判断单元用于根据接收到的驾驶状态监测单元的信息判断驾驶员的驾驶状态属于安全驾驶、危险驾驶、不规范驾驶中的哪一种，在不规范驾驶时控制计数器清零后开始计数，并将判断结果和计数器的计数次数n传递给所述执行单元；
所述执行单元用于在计数次数n大于等于预设的次数阈值N或驾驶状态属于危险驾驶时，控制所述扬声器对驾驶员进行警告；
所述数据库用于存储服务器接收到的数据以及远程危险等级评定模块的判断结果。
作为本发明一种基于姿态估计的驾驶员驾驶状态监测***进一步的优化方案，所述本地处理器采用基于ARM内核的STM32单片机。
作为本发明一种基于姿态估计的驾驶员驾驶状态监测***进一步的优化方案，所述无线通讯模块采用4G通信技术实现数据传输。
本发明还公开了一种该基于姿态估计的驾驶员驾驶状态监测***的监测方法，其特征在于，包括以下步骤：
步骤1)，车辆启动后，高清摄像头拍摄驾驶员的正面驾驶图像并将其传递给所述本地处理器，车速传感器、档位传感器分别获得车辆的实时车速、挡位状态并将其传递给所述本地处理器；
步骤2)，本地处理器测试无线通讯模块是否能够无线连接所述服务器，如果无线通讯模块能够无线连接服务器，将驾驶员的驾驶图像、实时车速、挡位状态传递至服务器，通过服务器来对驾驶员的驾驶状态进行判断；如果无线通讯模块不能无线连接服务器，本地处理器直接对驾驶员的驾驶状态进行判断；其中，对驾驶员的驾驶状态进行判断的具体步骤如下：
步骤2.1)，根据车辆的实时车速、挡位状态在预设的车速、挡位、非双手驾驶危险时间对照表中查找出实时车速、挡位状态对应的非双手驾驶危险时间Tt，并在预设的车速、挡位、头部偏转危险时间对照表中查找出实时车速、挡位状态对应的头部偏转危险时间Td；
步骤2.2)，根据接收到的驾驶图像计算驾驶员在驾驶过程中头部的偏转角度A并判断驾驶员是否存在非双手驾驶的动作；
步骤2.3)，判断驾驶员的头部偏转角度A是否小于等于预设的角度阈值B，并判断驾驶员是否存在非双手驾驶动作；
步骤2.3.1)，如果A大于等于B，则控制第一定时器对其持续时间T2进行计时，并判断T2是否大于等于Td；
步骤2.3.2)，如果驾驶员存在非双手驾驶动作，控制第二定时器对其持续时间T1进行计时，并判断T1是否大于等于Tt；
步骤2.3.3)，如果A小于等于B且驾驶员不存在非双手驾驶的动作，则判定驾驶员的驾驶状态为安全驾驶；
如果T2≥Td或T1≥Tt，则判定驾驶员的驾驶状态为危险驾驶；
如果T1＜Tt且A≤B、或T1＜Tt且T2＜Td、或T2＜Td且驾驶员不存在非双手驾驶的动作，则判定驾驶员的驾驶状态为不规范驾驶；
步骤3)，当驾驶员的驾驶状态为不规范驾驶时，控制计数器清零后进行对驾驶员不规范驾驶的次数n进行计次；
步骤4)，当计数次数n大于等于预设的次数阈值N或驾驶状态属于危险驾驶时，本地处理器控制扬声器对驾驶员进行警告。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
本发明提供的一种基于姿态估计的驾驶员驾驶状态监测方法，非侵入式获取驾驶员驾驶姿态信息，对驾驶员的干扰较小，硬件要求低，综合考量身体姿态和头部姿态可以实现更为可靠的评估。该方法的离线模式可以针对个人驾驶实现辅助车载设备准确监测驾驶员的驾驶状态，在线模式可以在离线模式的基础上实现多车辆协同管理功能。
附图说明
图1为本发明的结构示意图；
图2为本发明启动时的网络测试流程示意图；
图3为本发明监测方法的流程示意图；
图4为驾驶员非双手驾驶状态监测的图像信息样本示意图。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明：
本发明可以以许多不同的形式实现，而不应当认为限于这里所述实施例。相反，提供这些实施例以便使本发明公开透彻且完整，并且将向本领域技术人员充分表达本发明的范围。在附图中，为了清楚起见放大了组件。
如图1所示，本发明公开了一种基于姿态估计的驾驶员驾驶状态监测***，包括安装在车内用于采集驾驶姿态的高清摄像头、车速传感器、档位传感器、本地处理器、扬声器、服务器和无线通讯模块；
所述本地处理器分别和所述高清摄像头、车速传感器、档位传感器、无线通讯模块和扬声器电气相连；所述无线通讯模块和所述服务器端无线连接；
所述高清摄像头设置在车内，用于拍摄驾驶员的正面驾驶图像，并将其传递给所述本地处理器；
所述车速传感器、档位传感器分别用于获得车辆的实时车速、挡位状态，并将其传递给所述本地处理器；
所述本地处理器包含服务器连接测试单元、上传单元、本地危险等级评定模块和执行单元；所述服务器包含数据库和远程危险等级评定模块；
所述服务器连接测试单元用于测试无线通讯模块是否能够无线连接所述服务器，并将结果传递给所述上传单元；
所述上传单元用于在无线通讯模块能够无线连接服务器时将驾驶员的驾驶图像、实时车速、挡位状态传递至服务器，通过服务器来对驾驶员的驾驶状态进行判断并将结果传递给所述执行单元，在无线通讯模块不能无线连接服务器时将驾驶员的驾驶图像、实时车速、挡位状态传递至本地危险等级评定模块，通过本地危险等级评定模块对驾驶员的驾驶状态进行判断并将结果传递给所述执行单元，如图2所示；
所述本地危险等级评定模块、远程危险等级评定模块均包含人体姿态检测单元、驾驶状态监测单元、第一定时器、第二定时器、计数器、判断单元，其中：
所述人体姿态估计单元用于根据接收到的驾驶图像计算驾驶员在驾驶过程中头部的偏转角度并判断驾驶员是否存在非双手驾驶的动作，并将其传递至驾驶状态监测单元；
所述驾驶状态监测单元用于在驾驶员的头部偏转角度小于等于预设的角度阈值时发送“头部偏转角度正常”的消息给所述判断单元，在驾驶员的头部偏转角度大于等于预设的角度阈值时控制第一定时器对其持续时间T2进行计时并将T2传递给所述判断单元；在驾驶员不存在非双手驾驶动作时发送“双手驾驶”的消息给所述判断单元，在驾驶员存在非双手驾驶动作时对其持续时间T1进行计时并将T1传递给所述判断单元；
所述判断单元用于根据接收到的驾驶状态监测单元的信息判断驾驶员的驾驶状态属于安全驾驶、危险驾驶、不规范驾驶中的哪一种，在不规范驾驶时控制计数器清零后开始计数，并将判断结果和计数器的计数次数n传递给所述执行单元；
所述执行单元用于在计数次数n大于等于预设的次数阈值N或驾驶状态属于危险驾驶时，控制所述扬声器对驾驶员进行警告；
所述数据库用于存储服务器接收到的数据以及远程危险等级评定模块的判断结果。
所述本地处理器优先采用基于ARM内核的STM32单片机。
所述无线通讯模块优先采用4G通信技术实现数据传输。
如图3所示，本发明还公开了一种该基于姿态估计的驾驶员驾驶状态监测***的监测方法，其特征在于，包括以下步骤：
步骤1)，车辆启动后，高清摄像头拍摄驾驶员的正面驾驶图像并将其传递给所述本地处理器，车速传感器、档位传感器分别获得车辆的实时车速、挡位状态并将其传递给所述本地处理器；
步骤2)，本地处理器测试无线通讯模块是否能够无线连接所述服务器，如果无线通讯模块能够无线连接服务器，将驾驶员的驾驶图像、实时车速、挡位状态传递至服务器，通过服务器来对驾驶员的驾驶状态进行判断；如果无线通讯模块不能无线连接服务器，本地处理器直接对驾驶员的驾驶状态进行判断；其中，对驾驶员的驾驶状态进行判断的具体步骤如下：
步骤2.1)，根据车辆的实时车速、挡位状态在预设的车速、挡位、非双手驾驶危险时间对照表中查找出实时车速、挡位状态对应的非双手驾驶危险时间Tt，并在预设的车速、挡位、头部偏转危险时间对照表中查找出实时车速、挡位状态对应的头部偏转危险时间Td；
步骤2.2)，根据接收到的驾驶图像计算驾驶员在驾驶过程中头部的偏转角度A并判断驾驶员是否存在非双手驾驶的动作；
步骤2.3)，判断驾驶员的头部偏转角度A是否小于等于预设的角度阈值B，并判断驾驶员是否存在非双手驾驶动作；
步骤2.3.1)，如果A大于等于B，则控制第一定时器对其持续时间T2进行计时，并判断T2是否大于等于Td；
步骤2.3.2)，如果驾驶员存在非双手驾驶动作，控制第二定时器对其持续时间T1进行计时，并判断T1是否大于等于Tt；
步骤2.3.3)，如果A小于等于B且驾驶员不存在非双手驾驶的动作，则判定驾驶员的驾驶状态为安全驾驶；
如果T2≥Td或T1≥Tt，则判定驾驶员的驾驶状态为危险驾驶；
如果T1＜Tt且A≤B、或T1＜Tt且T2＜Td、或T2＜Td且驾驶员不存在非双手驾驶的动作，则判定驾驶员的驾驶状态为不规范驾驶；
具体如下表：
步骤3)，当驾驶员的驾驶状态为不规范驾驶时，控制计数器清零后进行对驾驶员不规范驾驶的次数n进行计次；
步骤4)，当计数次数n大于等于预设的次数阈值N或驾驶状态属于危险驾驶时，本地处理器控制扬声器对驾驶员进行警告。
如图4所示，驾驶员在驾驶过程中双手离开方向盘的各种活动均会导致分心，譬如使用手机或者发短信而造成的视线远离驾驶路线的视觉分心，又如吃东西、喝水、操作导航仪等的手动分心。
本发明还可以在本地端加上显示器，方便调控。
在不脱离本发明的原理的前提下，本发明还可以做出若干改进和润饰，如：在在线模式下增加新的功能，如天气播报，GPS定位等。
本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
以上所述具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于姿态估计的驾驶员驾驶状态监测***，其特征在于，包括安装在车内用于采集驾驶姿态的高清摄像头、车速传感器、档位传感器、本地处理器、扬声器、服务器和无线通讯模块；
所述本地处理器分别和所述高清摄像头、车速传感器、档位传感器、无线通讯模块和扬声器电气相连；所述无线通讯模块和所述服务器端无线连接；
所述高清摄像头设置在车内，用于拍摄驾驶员的正面驾驶图像，并将其传递给所述本地处理器；
所述车速传感器、档位传感器分别用于获得车辆的实时车速、挡位状态，并将其传递给所述本地处理器；
所述本地处理器包含服务器连接测试单元、上传单元、本地危险等级评定模块和执行单元；所述服务器包含数据库和远程危险等级评定模块；
所述服务器连接测试单元用于测试无线通讯模块是否能够无线连接所述服务器，并将结果传递给所述上传单元；
所述上传单元用于在无线通讯模块能够无线连接服务器时将驾驶员的驾驶图像、实时车速、挡位状态传递至服务器，通过服务器来对驾驶员的驾驶状态进行判断并将结果传递给所述执行单元，在无线通讯模块不能无线连接服务器时将驾驶员的驾驶图像、实时车速、挡位状态传递至本地危险等级评定模块，通过本地危险等级评定模块对驾驶员的驾驶状态进行判断并将结果传递给所述执行单元；
所述本地危险等级评定模块、远程危险等级评定模块均包含人体姿态检测单元、驾驶状态监测单元、第一定时器、第二定时器、计数器、判断单元，其中：
所述人体姿态估计单元用于根据接收到的驾驶图像计算驾驶员在驾驶过程中头部的偏转角度并判断驾驶员是否存在非双手驾驶的动作，并将其传递至驾驶状态监测单元；
所述驾驶状态监测单元用于在驾驶员的头部偏转角度小于等于预设的角度阈值时发送“头部偏转角度正常”的消息给所述判断单元，在驾驶员的头部偏转角度大于等于预设的角度阈值时控制第一定时器对其持续时间T2进行计时并将T2传递给所述判断单元；在驾驶员不存在非双手驾驶动作时发送“双手驾驶”的消息给所述判断单元，在驾驶员存在非双手驾驶动作时对其持续时间T1进行计时并将T1传递给所述判断单元；
所述判断单元用于根据接收到的驾驶状态监测单元的信息判断驾驶员的驾驶状态属于安全驾驶、危险驾驶、不规范驾驶中的哪一种，在不规范驾驶时控制计数器清零后开始计数，并将判断结果和计数器的计数次数n传递给所述执行单元；
所述执行单元用于在计数次数n大于等于预设的次数阈值N或驾驶状态属于危险驾驶时，控制所述扬声器对驾驶员进行警告；
所述数据库用于存储服务器接收到的数据以及远程危险等级评定模块的判断结果。
2.根据权利要求1所述基于姿态估计的驾驶员驾驶状态监测***，其特征在于，所述本地处理器采用基于ARM内核的STM32单片机。
3.根据权利要求1所述基于姿态估计的驾驶员驾驶状态监测***，其特征在于，所述无线通讯模块采用4G通信技术实现数据传输。
4.基于权利要求1所述基于姿态估计的驾驶员驾驶状态监测***的监测方法，其特征在于，包括以下步骤：
步骤1），车辆启动后，高清摄像头拍摄驾驶员的正面驾驶图像并将其传递给所述本地处理器，车速传感器、档位传感器分别获得车辆的实时车速、挡位状态并将其传递给所述本地处理器；
步骤2），本地处理器测试无线通讯模块是否能够无线连接所述服务器，如果无线通讯模块能够无线连接服务器，将驾驶员的驾驶图像、实时车速、挡位状态传递至服务器，通过服务器来对驾驶员的驾驶状态进行判断；如果无线通讯模块不能无线连接服务器，本地处理器直接对驾驶员的驾驶状态进行判断；其中，对驾驶员的驾驶状态进行判断的具体步骤如下：
步骤2.1），根据车辆的实时车速、挡位状态在预设的车速、挡位、非双手驾驶危险时间对照表中查找出实时车速、挡位状态对应的非双手驾驶危险时间Tt，并在预设的车速、挡位、头部偏转危险时间对照表中查找出实时车速、挡位状态对应的头部偏转危险时间Td；
步骤2.2），根据接收到的驾驶图像计算驾驶员在驾驶过程中头部的偏转角度A并判断驾驶员是否存在非双手驾驶的动作；
步骤2.3），判断驾驶员的头部偏转角度A是否小于等于预设的角度阈值B，并判断驾驶员是否存在非双手驾驶动作；
步骤2.3.1），如果A大于等于B，则控制第一定时器对其持续时间T2进行计时，并判断T2是否大于等于Td；
步骤2.3.2），如果驾驶员存在非双手驾驶动作，控制第二定时器对其持续时间T1进行计时，并判断T1是否大于等于Tt；
步骤2.3.3），如果A小于等于B且驾驶员不存在非双手驾驶的动作，则判定驾驶员的驾驶状态为安全驾驶；
如果T2≥Td或T1≥Tt，则判定驾驶员的驾驶状态为危险驾驶；
如果T1＜Tt且A≤B、或T1＜Tt且T2＜Td、或T2＜Td且驾驶员不存在非双手驾驶的动作，则判定驾驶员的驾驶状态为不规范驾驶；
步骤3），当驾驶员的驾驶状态为不规范驾驶时，控制计数器清零后进行对驾驶员不规范驾驶的次数n进行计次；
步骤4），当计数次数n大于等于预设的次数阈值N或驾驶状态属于危险驾驶时，本地处理器控制扬声器对驾驶员进行警告。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010293941.4A CN111645694B (zh) | 2020-04-15 | 2020-04-15 | 一种基于姿态估计的驾驶员驾驶状态监测***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010293941.4A CN111645694B (zh) | 2020-04-15 | 2020-04-15 | 一种基于姿态估计的驾驶员驾驶状态监测***及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111645694A true CN111645694A (zh) | 2020-09-11 |
| CN111645694B CN111645694B (zh) | 2021-08-06 |
Family
ID=72341657
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010293941.4A Expired - Fee Related CN111645694B (zh) | 2020-04-15 | 2020-04-15 | 一种基于姿态估计的驾驶员驾驶状态监测***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111645694B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112541413A (zh) * | 2020-11-30 | 2021-03-23 | 阿拉善盟特种设备检验所 | 面向叉车司机实操考核与教练的危险行为检测方法及*** |
| CN112849149A (zh) * | 2021-01-28 | 2021-05-28 | 上海商汤临港智能科技有限公司 | 驾驶员状态检测方法、装置、设备、介质及程序产品 |
| CN113173168A (zh) * | 2021-04-30 | 2021-07-27 | 重庆工程职业技术学院 | 车辆智能驾驶控制***及方法 |
| TWI772078B (zh) * | 2021-06-28 | 2022-07-21 | 神達數位股份有限公司 | 車輛駕駛人適任性評估方法及系統 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101444610B1 (ko) * | 2013-07-04 | 2014-09-24 | 현대다이모스(주) | 운전 자세 부주의 경고장치 |
| US9616809B1 (en) * | 2016-08-01 | 2017-04-11 | Denso International America, Inc. | Lane change prediction and turn signal activation upon observation of head and eye movement |
| US9679487B1 (en) * | 2015-01-20 | 2017-06-13 | State Farm Mutual Automobile Insurance Company | Alert notifications utilizing broadcasted telematics data |
| CN108696725A (zh) * | 2018-06-01 | 2018-10-23 | 宜春学院 | 一种基于互联网的摄像头远程控制方法及*** |
| CN109747656A (zh) * | 2017-11-02 | 2019-05-14 | 罗曦明 | 人工智能车辆辅助驾驶方法、装置、设备及存储介质 |
| CN109866774A (zh) * | 2019-01-09 | 2019-06-11 | 南京航空航天大学 | 基于人脸检测和身份验证的驾驶员疲劳状态监测***及方法 |
| CN110582437A (zh) * | 2019-05-31 | 2019-12-17 | 驭势（上海）汽车科技有限公司 | 驾驶提醒方法、驾驶状态检测方法和计算设备 |
-
2020
- 2020-04-15 CN CN202010293941.4A patent/CN111645694B/zh not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101444610B1 (ko) * | 2013-07-04 | 2014-09-24 | 현대다이모스(주) | 운전 자세 부주의 경고장치 |
| US9679487B1 (en) * | 2015-01-20 | 2017-06-13 | State Farm Mutual Automobile Insurance Company | Alert notifications utilizing broadcasted telematics data |
| US9616809B1 (en) * | 2016-08-01 | 2017-04-11 | Denso International America, Inc. | Lane change prediction and turn signal activation upon observation of head and eye movement |
| CN109747656A (zh) * | 2017-11-02 | 2019-05-14 | 罗曦明 | 人工智能车辆辅助驾驶方法、装置、设备及存储介质 |
| CN108696725A (zh) * | 2018-06-01 | 2018-10-23 | 宜春学院 | 一种基于互联网的摄像头远程控制方法及*** |
| CN109866774A (zh) * | 2019-01-09 | 2019-06-11 | 南京航空航天大学 | 基于人脸检测和身份验证的驾驶员疲劳状态监测***及方法 |
| CN110582437A (zh) * | 2019-05-31 | 2019-12-17 | 驭势（上海）汽车科技有限公司 | 驾驶提醒方法、驾驶状态检测方法和计算设备 |
Non-Patent Citations (1)
| Title |
|---|
| 汪旭，陈仁文，黄斌: "基于Android***的司机驾驶安全监测***的实现", 《电子测量技术》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112541413A (zh) * | 2020-11-30 | 2021-03-23 | 阿拉善盟特种设备检验所 | 面向叉车司机实操考核与教练的危险行为检测方法及*** |
| CN112541413B (zh) * | 2020-11-30 | 2024-02-23 | 阿拉善盟特种设备检验所 | 面向叉车司机实操考核与教练的危险行为检测方法及*** |
| CN112849149A (zh) * | 2021-01-28 | 2021-05-28 | 上海商汤临港智能科技有限公司 | 驾驶员状态检测方法、装置、设备、介质及程序产品 |
| CN113173168A (zh) * | 2021-04-30 | 2021-07-27 | 重庆工程职业技术学院 | 车辆智能驾驶控制***及方法 |
| TWI772078B (zh) * | 2021-06-28 | 2022-07-21 | 神達數位股份有限公司 | 車輛駕駛人適任性評估方法及系統 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111645694B (zh) | 2021-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111645694B (zh) | 一种基于姿态估计的驾驶员驾驶状态监测***及方法 | |
| CN112041910B (zh) | 信息处理装置、移动设备、方法和程序 | |
| Wang et al. | Driver fatigue detection: a survey | |
| JP6911841B2 (ja) | 画像処理装置及び画像処理方法、並びに移動体 | |
| US20190391581A1 (en) | Passenger Health Monitoring and Intervention for Autonomous Vehicles | |
| Ji et al. | Real-time nonintrusive monitoring and prediction of driver fatigue | |
| Kaplan et al. | Driver behavior analysis for safe driving: A survey | |
| Dong et al. | Driver inattention monitoring system for intelligent vehicles: A review | |
| KR102053794B1 (ko) | 생체신호를 이용한 차량 간 운전자의 주행의도정보 상호전달 시스템 및 그 제어방법 | |
| Hossain et al. | IOT based real-time drowsy driving detection system for the prevention of road accidents | |
| CN111417990A (zh) | 使用面向驾驶员的成像装置来监视驾驶员行为以用于车辆的车队中的车辆车队管理的***和方法 | |
| CN106571015A (zh) | 基于互联网络的驾驶行为数据采集方法 | |
| CN110448316A (zh) | 数据处理装置及方法、监测***、唤醒***以及记录介质 | |
| WO2020145161A1 (ja) | 情報処理装置、移動装置、および方法、並びにプログラム | |
| US20200104617A1 (en) | System and method for remote monitoring of a human | |
| US11751784B2 (en) | Systems and methods for detecting drowsiness in a driver of a vehicle | |
| WO2020161610A2 (en) | Adaptive monitoring of a vehicle using a camera | |
| CN111105594A (zh) | 车辆及驾驶员疲劳驾驶的识别方法、装置 | |
| CN108021875A (zh) | 一种车辆驾驶员个性化疲劳监测及预警方法 | |
| CN109886148A (zh) | 一种基于人脸识别的驾驶员主动报警***及装置 | |
| Guria et al. | Iot-enabled driver drowsiness detection using machine learning | |
| CN205722310U (zh) | 一种基于视频序列的列车驾驶员行为识别*** | |
| Chatterjee et al. | Driving fitness detection: A holistic approach for prevention of drowsy and drunk driving using computer vision techniques | |
| CN109383516A (zh) | 一种基于用户行为分析的异常分析行为检测*** | |
| Byrnes et al. | On Using Drivers' Eyes to Predict Accident-Causing Drowsiness Levels |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210806 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |