CN105404862A - 一种基于手部跟踪的安全驾驶检测方法 - Google Patents

一种基于手部跟踪的安全驾驶检测方法 Download PDF

Info

Publication number
CN105404862A
CN105404862A CN201510779249.1A CN201510779249A CN105404862A CN 105404862 A CN105404862 A CN 105404862A CN 201510779249 A CN201510779249 A CN 201510779249A CN 105404862 A CN105404862 A CN 105404862A
Authority
CN
China
Prior art keywords
image
hand
driver
driving
bearing circle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510779249.1A
Other languages
English (en)
Inventor
元辉
李梦宇
付华勇
孙真真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201510779249.1A priority Critical patent/CN105404862A/zh
Publication of CN105404862A publication Critical patent/CN105404862A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种基于手部跟踪的安全驾驶检测方法，首先进行方向盘检测：通过对方向盘位于中心位置的原始图像依次进行直方图均衡化、开运算与轮廓绘制以及霍夫圆检测，准确检测出方向盘的位置坐标；然后进行手部跟踪：采用模板匹配的方法对驾驶员手部区域进行跟踪定位，进而通过检测手部是否在方向盘附近运动，判断驾驶员是否规范驾驶；若检测过程中发现手部坐标长时间无变化，则判定驾驶员处于疲劳驾驶的状态；若检测到双手长时间超出方向盘所在的范围或者检测不到双手，则判定驾驶员处于危险驾驶状态。本发明以安全驾驶时手部的运动区域作为是否安全驾驶的判断依据，检测出疲劳驾驶、不规范操作以及酒后驾驶等，提高了安全驾驶检测的可靠性。

Description

一种基于手部跟踪的安全驾驶检测方法
技术领域
本发明涉及一种用于检测驾驶安全性方法，具体是通过判定手部是否在安全驾驶的活动区域内运动，进而得到驾驶员的驾驶状态，并对不符合安全驾驶的行为发出预警，提高驾驶的安全性，属于汽车安全驾驶中的手部检测跟踪技术领域。
背景技术
由于交通事故的发生率居高不下，人们对安全驾驶的监测***的需求越来越迫切。如何实现驾驶状态的高效精准的检测，一直是安全驾驶领域的研究热点与难点。
现有的安全驾驶检测是基于PERCLOS的疲劳驾驶检测技术。
在计算机视觉领域，常通过驾驶员疲劳状态的检测判定驾驶员是否安全驾驶。“PERCLOS”检测提出检测疲劳的物理量，即单位时间内眼睛闭合时间所占的百分比，并指出P80(单位时间内眼睛闭合度超过80％以上的时间占总时间的百分比)与疲劳程度的相关性最好。疲劳驾驶检测技术中，以检测脸部特征特别是人眼的活动状况来评测疲劳程度的方法成为绝大部分研究的重点，具体以眼部特征判定疲劳状态的技术包括眼睛张合度检测以及视线方向检测等。
在基于PERCLOS的疲劳驾驶检测技术中，采用PERCLOS中的P80模型，记录眼睛闭合帧数及其开始结束的时刻，计算PERCLOS值：
PERCLOS＝眼睛闭合帧数/检测时间段总帧数×100％
当PERCLOS值大于40％或者眼睛持续闭合时间超过3s，则判定驾驶员处于疲劳驾驶状态。在根据眼睛张合度检测疲劳状态过程中，首先通过基于Adaboost算法的分类训练得到人脸区域；然后利用人眼的检测分类器定位人眼区域；进而通过Hough找圆法得到瞳孔位置；最终通过分析能否在人眼区域找到圆判定眼睛是否闭合。此外，改进的眼睛闭合状态分析算法中，通过区域灰度特征比较法，即分析瞳孔所在区域的灰度值大小判断眼睛是否闭合。
基于PERCLOS的疲劳驾驶检测技术没有考虑到检测条件的限制以及复杂环境的影响，由于每个个体正常状态下眼睛张合程度不同，对以眼睛张合度为眼睛是否闭合的判断标准并不具有普遍性和较高的准确性及可靠性，因此以PERCLOS为判别标准的检测有待进一步提高。
发明内容
本发明针对现有基于PERCLOS的疲劳驾驶检测技术存在的不足，提出一种能够提高安全驾驶检测准确性的基于手部跟踪的安全驾驶检测方法。
本发明的基于手部跟踪的安全驾驶检测方法，包括方向盘检测和手部跟踪，具体过程是是：
首先进行方向盘检测：通过对拍摄到的汽车方向盘位于图像中心位置的原始图像依次进行直方图均衡化、开运算与轮廓绘制以及霍夫圆检测，准确检测出方向盘的位置坐标；然后进行手部跟踪：采用模板匹配的方法对驾驶员手部区域进行跟踪定位，进而通过检测手部是否在方向盘附近运动，判断驾驶员是否规范驾驶；若检测过程中发现手部坐标长时间无变化，则判定驾驶员处于疲劳驾驶的状态；若检测到双手长时间超出方向盘所在的范围或者检测不到双手，则判定驾驶员处于危险驾驶状态(如酒后驾驶、不规范驾驶以及驾驶员休克等情况)。
方向盘检测的具体步骤如下：
①在汽车驾驶室顶部安装摄像头，拍摄到尽量使汽车方向盘位于图像中心位置的原始图像A；
②对原始图像A进行直方图均衡化处理得到图像B；
③依据步骤②中得到的图像B，对图像B进行开运算处理后得到图像C；
④依据步骤③中得到的图像C，利用Canny算子检测图像边缘；
⑤依据步骤④中的边缘图进行处理，得到边缘图像D；
⑥依据步骤⑤中得到的边缘图像D，利用霍夫变换检测出图像中最大的圆，进而得到方向盘的圆心坐标与半径。
手部跟踪的具体步骤如下：
①定义驾驶员手部的模板图像T；
②将模板图像T叠放在原始图像A，利用模板匹配法逐像素的平移遍历，并采用下式计算模板图像T与原始图像A中相应区域S的匹配度，
C o s t = Σ m - 1 M Σ n - 1 N [ S ( m , n ) - T ( m , n ) ] 2 ,
进而获得原始图像A中与模板图像T最接近的区域，即检测出驾驶员的手部区域所在的位置；
(3)若手部区域的位置长时间不变，则判定驾驶员处于疲劳驾驶的状态；若手部区域与方向盘的中心距离大于规范驾驶时手部所在区域的最大距离Dmax或小于最小圆半径Dmin，则判定驾驶员处于不规范驾驶状态并发出警告。
本发明关注驾驶员手部运动的安全驾驶技术，检测驾驶员手部运动的区域，以安全驾驶时手部的运动区域作为是否安全驾驶的判断依据，检测出疲劳驾驶、不规范操作以及酒后驾驶等不规范驾驶状态，提高安全驾驶检测的可靠性。本发明与现有技术相比具有以下优点：
1)本发明提出了安全驾驶检测的新的判定方法，通过检测驾驶员手部是否在规定范围内运动判断驾驶员的驾驶状态，不必进行大量的样本训练，降低了复杂度，增强了驾驶员状态监测的实时性。
2)本发明由于通过检测方向盘并约束手部运动区域，受亮度、光照以及色彩对比度等外界因素的影响较小，并且不受驾驶员主观心理、生理等影响，判定标准较为客观。
3)本发明由于检测的是手部运动的区域，受驾驶员个体差异的影响较小，具有较好的普遍性。同时，可以监测包括疲劳驾驶、酒后驾驶以及不规范驾驶等多种不规范驾驶的状态，具有很好的准确性。
附图说明
图1是本发明中方向盘检测的流程图。
图2是本发明中手部跟踪的流程图。
图3是模板匹配示意图。
图4是采用本发明的方向盘检测的对应参数以及手部坐标的曲线图和实验效果图。
具体实施方式
本发明的基于手部跟踪的安全驾驶检测方法，如图1所示，包括方向盘检测和手部跟踪。
参见图1，方向盘检测的具体实现步骤如下：
①在汽车驾驶室顶部安装摄像头，拍摄到原始图像A，并尽量使汽车方向盘位于图像的中心位置；
②对原始图像A进行直方图均衡化处理得到图像B；
③依据步骤②中得到的图像B，对图像B进行开运算处理后得到图像C；
④依据步骤③中得到的图像C，利用Canny算子检测图像边缘；
⑤依据步骤④中的边缘图进行处理，得到边缘图像D；
⑥依据步骤⑤中得到的边缘图像D，利用霍夫变换检测出图像中最大的圆，进而得到方向盘的圆心坐标与半径。
参见图2，手部跟踪的具体实现包括如下步骤：
①定义驾驶员手部的模板图像T(宽度为m,高度为n)；
②将模板图像T叠放在原始图像A(宽度为W,高度为H)，利用模板匹配法逐像素的平移遍历，如图3所示。并采用下式计算模板图像T与原始图像A中相应区域S的匹配度，
C o s t = Σ m - 1 M Σ n - 1 N [ S ( m , n ) - T ( m , n ) ] 2 ,
进而获得原始图像A中与模板图像T最接近的区域，即检测出驾驶员的手部区域所在的位置；
(3)若手部区域的位置长时间不变，则判定驾驶员有极大可能处于疲劳驾驶的状态；若手部区域与方向盘的中心距离d大于规范驾驶时手部所在区域的最大距离Dmax或小于最小圆半径Dmin，则判定驾驶员处于不规范驾驶状态并发出警告。
本发明的效果可以通过实验进一步说明。
实验测试了在公交车司机驾驶视频下，采用本发明对方向盘和驾驶员手部跟踪的效果。图4表示出了采用本发明检测方向的圆心坐标以及半径的曲线图和手部跟踪的效果图。由图4可见方向盘检测的圆心坐标与半径曲线在误差可接受的范围内平稳波动，说明方向盘检测较准确。同时，对手部的检测跟踪可实现手部运动的捕捉，并测定手部中心坐标，进而可通过判定手部是否在规定区域运动，实现安全驾驶状态的分析。

Claims (3)

1.一种基于手部跟踪的安全驾驶检测方法，其特征是：包括方向盘检测和手部跟踪，具体过程是：
首先进行方向盘检测：通过对拍摄到的汽车方向盘位于图像中心位置的原始图像依次进行直方图均衡化、开运算与轮廓绘制以及霍夫圆检测，准确检测出方向盘的位置坐标；然后进行手部跟踪：采用模板匹配的方法对驾驶员手部区域进行跟踪定位，进而通过检测手部是否在方向盘附近运动，判断驾驶员是否规范驾驶；若检测过程中发现手部坐标长时间无变化，则判定驾驶员处于疲劳驾驶的状态；若检测到双手长时间超出方向盘所在的范围或者检测不到双手，则判定驾驶员处于危险驾驶状态。
2.根据权利要求1所述的基于手部跟踪的安全驾驶检测方法，其特征是，所述方向盘检测的具体步骤如下：
①在汽车驾驶室顶部安装摄像头，拍摄到尽量使汽车方向盘位于图像中心位置的原始图像A；
②对原始图像A进行直方图均衡化处理得到图像B；
③依据步骤②中得到的图像B，对图像B进行开运算处理后得到图像C；
④依据步骤③中得到的图像C，利用Canny算子检测图像边缘；
⑤依据步骤④中的边缘图进行处理，得到边缘图像D；
⑥依据步骤⑤中得到的边缘图像D，利用霍夫变换检测出图像中最大的圆，进而得到方向盘的圆心坐标与半径。
3.根据权利要求1所述的基于手部跟踪的安全驾驶检测方法，其特征是，所述手部跟踪的具体步骤如下：
①定义驾驶员手部的模板图像T；
②将模板图像T叠放在原始图像A，利用模板匹配法逐像素的平移遍历，并采用下式计算模板图像T与原始图像A中相应区域S的匹配度，
C o s t = Σ m - 1 M Σ n - 1 N [ S ( m , n ) - T ( m , n ) ] 2 ,
进而获得原始图像A中与模板图像T最接近的区域，即检测出驾驶员的手部区域所在的位置；
③若手部区域的位置长时间不变，则判定驾驶员处于疲劳驾驶的状态；若手部区域与方向盘的中心距离大于规范驾驶时手部所在区域的最大距离Dmax或小于最小圆半径Dmin，则判定驾驶员处于不规范驾驶状态并发出警告。
CN201510779249.1A 2015-11-13 2015-11-13 一种基于手部跟踪的安全驾驶检测方法 Pending CN105404862A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510779249.1A CN105404862A (zh) 2015-11-13 2015-11-13 一种基于手部跟踪的安全驾驶检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510779249.1A CN105404862A (zh) 2015-11-13 2015-11-13 一种基于手部跟踪的安全驾驶检测方法

Publications (1)

Publication Number Publication Date
CN105404862A true CN105404862A (zh) 2016-03-16

Family

ID=55470339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510779249.1A Pending CN105404862A (zh) 2015-11-13 2015-11-13 一种基于手部跟踪的安全驾驶检测方法

Country Status (1)

Country Link
CN (1) CN105404862A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106228754A (zh) * 2016-08-10 2016-12-14 集美大学 一种基于双目视觉的手检测设备
CN106447683A (zh) * 2016-08-09 2017-02-22 上海柏楚电子科技有限公司 一种圆的特征提取算法
CN106599792A (zh) * 2016-11-23 2017-04-26 南京信息工程大学 一种手部驾驶违规行为的检测方法
CN108256495A (zh) * 2018-01-31 2018-07-06 浙江工业大学 一种基于假定圆检测的汽车方向盘检测方法
CN109063686A (zh) * 2018-08-29 2018-12-21 安徽华元智控科技有限公司 一种汽车驾驶员疲劳检测方法及***
CN109523450A (zh) * 2018-12-10 2019-03-26 鄂尔多斯市普渡科技有限公司 一种公交车驾驶监控***
CN109858449A (zh) * 2019-02-01 2019-06-07 安谋科技（中国）有限公司 图像处理方法、装置、介质及***
CN110176128A (zh) * 2019-05-28 2019-08-27 成都谷辘信息技术有限公司 一种驾驶员疲劳驾驶预警处理***
CN110356324A (zh) * 2019-08-20 2019-10-22 浙江泰康电子有限公司 汽车方向盘手离检测***
CN111976734A (zh) * 2020-08-28 2020-11-24 陕西科技大学 一种监测驾驶员规范驾驶的方法及***
CN112700198A (zh) * 2020-12-31 2021-04-23 车主邦（北京）科技有限公司 危化品运输监测信息处理方法和装置
CN112849117A (zh) * 2019-11-12 2021-05-28 合肥杰发科技有限公司 一种方向盘调节方法及其相关装置
CN118107605A (zh) * 2024-04-30 2024-05-31 润芯微科技(江苏)有限公司 一种基于方向盘手势交互的车辆控制方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102263937A (zh) * 2011-07-26 2011-11-30 华南理工大学 基于视频检测的驾驶员驾驶行为监控装置及监控方法
CN102289660A (zh) * 2011-07-26 2011-12-21 华南理工大学 一种基于手部姿态跟踪的违规驾驶行为检测方法
CN103150560A (zh) * 2013-03-15 2013-06-12 福州龙吟信息技术有限公司 一种汽车智能安全驾驶的实现方法
CN105022889A (zh) * 2015-08-04 2015-11-04 深圳市哈工大交通电子技术有限公司 一种基于视频的快速模板匹配gpu实现方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102263937A (zh) * 2011-07-26 2011-11-30 华南理工大学 基于视频检测的驾驶员驾驶行为监控装置及监控方法
CN102289660A (zh) * 2011-07-26 2011-12-21 华南理工大学 一种基于手部姿态跟踪的违规驾驶行为检测方法
CN103150560A (zh) * 2013-03-15 2013-06-12 福州龙吟信息技术有限公司 一种汽车智能安全驾驶的实现方法
CN105022889A (zh) * 2015-08-04 2015-11-04 深圳市哈工大交通电子技术有限公司 一种基于视频的快速模板匹配gpu实现方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106447683A (zh) * 2016-08-09 2017-02-22 上海柏楚电子科技有限公司 一种圆的特征提取算法
CN106447683B (zh) * 2016-08-09 2019-08-02 上海柏楚电子科技股份有限公司 一种圆的特征提取方法
CN106228754A (zh) * 2016-08-10 2016-12-14 集美大学 一种基于双目视觉的手检测设备
CN106599792B (zh) * 2016-11-23 2020-02-18 南京信息工程大学 一种手部驾驶违规行为的检测方法
CN106599792A (zh) * 2016-11-23 2017-04-26 南京信息工程大学 一种手部驾驶违规行为的检测方法
CN108256495A (zh) * 2018-01-31 2018-07-06 浙江工业大学 一种基于假定圆检测的汽车方向盘检测方法
CN108256495B (zh) * 2018-01-31 2020-05-19 浙江工业大学 一种基于假定圆检测的汽车方向盘检测方法
CN109063686A (zh) * 2018-08-29 2018-12-21 安徽华元智控科技有限公司 一种汽车驾驶员疲劳检测方法及***
CN109523450A (zh) * 2018-12-10 2019-03-26 鄂尔多斯市普渡科技有限公司 一种公交车驾驶监控***
CN109858449A (zh) * 2019-02-01 2019-06-07 安谋科技（中国）有限公司 图像处理方法、装置、介质及***
CN110176128A (zh) * 2019-05-28 2019-08-27 成都谷辘信息技术有限公司 一种驾驶员疲劳驾驶预警处理***
CN110356324A (zh) * 2019-08-20 2019-10-22 浙江泰康电子有限公司 汽车方向盘手离检测***
CN112849117A (zh) * 2019-11-12 2021-05-28 合肥杰发科技有限公司 一种方向盘调节方法及其相关装置
CN112849117B (zh) * 2019-11-12 2022-11-15 合肥杰发科技有限公司 一种方向盘调节方法及其相关装置
CN111976734A (zh) * 2020-08-28 2020-11-24 陕西科技大学 一种监测驾驶员规范驾驶的方法及***
CN112700198A (zh) * 2020-12-31 2021-04-23 车主邦（北京）科技有限公司 危化品运输监测信息处理方法和装置
CN118107605A (zh) * 2024-04-30 2024-05-31 润芯微科技(江苏)有限公司 一种基于方向盘手势交互的车辆控制方法及***

Similar Documents

Publication Publication Date Title
CN105404862A (zh) 一种基于手部跟踪的安全驾驶检测方法
CN102054163B (zh) 基于单目视觉的驾驶员疲劳检测方法
CN103714660B (zh) 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的***
CN101639894B (zh) 在线检测列车驾驶员行为和疲劳状态的方法及其检测***
CN102289660B (zh) 一种基于手部姿态跟踪的违规驾驶行为检测方法
CN112241658B (zh) 一种基于深度相机的疲劳驾驶预警方法
CN107292251B (zh) 一种基于人眼状态的驾驶员疲劳检测方法及***
CN104269028B (zh) 一种疲劳驾驶检测方法及***
CN105286802B (zh) 基于视频信息的驾驶员疲劳检测方法
CN104794855A (zh) 驾驶员注意力综合评估装置
CN105303830A (zh) 一种驾驶行为分析***及分析方法
CN105354987A (zh) 车载型疲劳驾驶检测与身份认证装置及其检测方法
CN106250801A (zh) 基于人脸检测和人眼状态识别的疲劳检测方法
CN104637246A (zh) 一种驾驶员多种行为预警***及危险评估方法
CN104794856A (zh) 驾驶员注意力综合测评***
CN104021370A (zh) 一种基于视觉信息融合的驾驶员状态监测方法及***
CN108647708A (zh) 驾驶员评估方法、装置、设备和存储介质
CN104881956A (zh) 一种疲劳驾驶预警***
CN107563346A (zh) 一种基于人眼图像处理实现驾驶员疲劳判别的方法
CN108108651B (zh) 基于视频人脸分析的驾驶员非专心驾驶检测方法及***
CN108021875A (zh) 一种车辆驾驶员个性化疲劳监测及预警方法
CN112528843A (zh) 一种融合面部特征的机动车驾驶人疲劳检测方法
Chen Research on driver fatigue detection strategy based on human eye state
Du et al. Driver fatigue detection based on eye state analysis
CN103729646A (zh) 一种眼睛图像有效性检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160316

RJ01 Rejection of invention patent application after publication