CN102752458A - 一种驾驶员疲劳检测手机与检测单元 - Google Patents

一种驾驶员疲劳检测手机与检测单元 Download PDF

Info

Publication number
CN102752458A
CN102752458A CN2012102521184A CN201210252118A CN102752458A CN 102752458 A CN102752458 A CN 102752458A CN 2012102521184 A CN2012102521184 A CN 2012102521184A CN 201210252118 A CN201210252118 A CN 201210252118A CN 102752458 A CN102752458 A CN 102752458A
Authority
CN
China
Prior art keywords
frame
driver
image
unit
mouth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012102521184A
Other languages
English (en)
Inventor
王崇文
牛睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN2012102521184A priority Critical patent/CN102752458A/zh
Publication of CN102752458A publication Critical patent/CN102752458A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及一种驾驶员疲劳检测手机与检测单元,其中驾驶员疲劳检测手机,包括手机摄像头、手机功能单元和检测单元;其中检测单元包括切割单元、人眼判断单元、嘴部判断单元、头部判断单元和警告单元;驾驶员疲劳检测单元,包括切割单元、人眼判断单元、嘴部判断单元、头部判断单元和警告单元;使用本发明能够对驾驶员驾驶机动车过程中疲劳状态的监测,对驾驶员驾驶过程中疲劳状态的及时发现,并作出相应的提醒。

Description

一种驾驶员疲劳检测手机与检测单元
技术领域
本发明涉及交通驾驶领域,具体涉及一种驾驶员疲劳检测手机与检测单元。
背景技术
随着人们生活水平的提高,机动车和驾驶员的数量都有了很大增长,机动车驾驶日渐普及,与此同时,随之而来的是频繁发生的交通事故,对我们的生命财产安全造成很大威胁。调查显示,2011年全国涉及人员伤亡的道路交通事故210812起,共造成62387人死亡,虽较往年数据这两个数字均有所下降,但仍然不容忽视。查阅和分析我国在过去几年中交通事故的案例统计可以知道,在所有交通事故中,由于驾驶员在疲劳状态下驾驶而引发的交通事故在所有的道路交通事故中所占据的比例高达15-20%,令人触目惊心。所以对驾驶员驾驶机动车过程中疲劳状态的监测显得十分必要,对驾驶员驾驶过程中疲劳状态的及时发现,并作出相应的提醒,减少甚至制止驾驶员疲劳驾驶,对于减少交通事故的发生数量,保护生命财产安全,有着非同一般的重要意义。
近年来手机有明显的智能化趋势,智能手机的市场占有率不断提高,在人们日常生活中发挥的作用也越来越大。因此研究一种驾驶员疲劳检测手机与检测单元,对驾驶员驾驶机动车过程中疲劳状态进行监测是十分必要的。
发明内容
有鉴于此,本发明提供了一种驾驶员疲劳检测手机与检测单元,能够对驾驶员驾驶机动车过程中疲劳状态的监测,对驾驶员驾驶过程中疲劳状态的及时发现,并作出相应的提醒。
该种驾驶员疲劳检测手机,包括手机摄像头、手机功能单元和检测单元;其中检测单元包括切割单元、人眼判断单元、嘴部判断单元、头部判断单元和警告单元;
手机摄像头:置于驾驶员前方,获取驾驶员面部的实时图像,并将实时图像帧传输给切割单元;
切割单元根据手机摄像头获得的实时图像帧,进行人脸检测与定位,得到人脸所在区域发送给头部判断单元;再对人脸所在区域进行人眼、嘴部检测得到人眼位置图像和嘴部位置图像分别发送给人眼判断单元和嘴部判断单元;
人眼判断单元:
1.1根据切割单元发送的人眼位置图像,对人眼位置图像进行切割,得到眼睑周围部分区域,再排除眉毛部分得到切割后的眼睑部分图像;
1.2将切割后得到的眼睑部分图像转化为灰度图,接着对转化后的灰度图进行直方图归一化及对比度增强,得到增强后的眼睑灰度图;
1.3将增强后的眼睑灰度图进行二值化处理:根据实验经验设定相应阈值,将图像中颜色值大于设定阈值的点置为黑色,颜色值小于阈值的点置为白色,得到黑白两色图像,其中黑色部分将对应于瞳孔部分;
1.4以50帧为周期进行统计,当周期开始时,对本周期第一帧图像进行计算,如果瞳孔部分比例达到整个画面的25%,则可以认为图像中人眼为正常睁开状态,则取本帧为比对帧;若未达到25%,则弃用本帧,判断下帧是否为对比帧;得到比对帧后,记录比对帧中黑色像素点数目作为比对值,本周期内剩余帧取黑色像素点数目与比对值进行比对,当剩余帧取黑色像素点数目少于比对值的85%时,则判定当前帧中人眼为非正常睁开状态;
1.5统计非正常睁开帧,当连续出现5帧非正常睁开帧时,直接判定驾驶员处于疲劳状态并立即将驾驶员处于疲劳状态的信息发送给警告单元;或者当一个统计周期的50帧图像中,非正常睁开帧达到12%即6帧时,则判定驾驶员处于疲劳状态并将驾驶员处于疲劳状态的信息发送给警告单元;
嘴部判断单元:
2.1根据切割单元发送的嘴部位置图像后,将图像转化为灰度图,接着对转化后的灰度图进行直方图归一化及对比度增强,得到增强后的嘴部灰度图;
2.2将增强后的嘴部灰度图进行二值化处理:根据实验经验设定嘴唇部分颜色值区间,将符合颜色值区间的值置为黑色,剩余部分置为白色,得到黑白两色图像,其中黑色部分就对应于嘴部;
2.3以65帧为周期进行统计,当周期开始时,对本周期第一帧图像进行计算,如果黑色部分比例小于整个画面的35%,则可以认为图像中嘴部为正常闭合状态,则取本帧为比对帧;若未大于35%,则弃用本帧,判断下帧是否为对比帧;得到比对帧后,记录比对帧中黑色像素点数目作为比对值,本周期内剩余帧取黑色像素点数目与比对值进行比对,当黑色像素点数目达到比对值的200%,即超出一倍时,则认为嘴部为非正常张开状态,认定驾驶员打了一次哈欠;
2.4若在65帧周期内产生了3次或3次以上打哈欠的情况,则判定驾驶员处于疲劳状态并将驾驶员处于疲劳状态的信息发送给警告单元;
头部判断单元:
3.1.根据切割单元发送的人脸所在区域的图像,记录人脸在图像中所处的位置,作为比对数据;再次得到新的图像帧人脸所在区域的图像时,得出其中人脸的位置,与已有比对数据进行比较:人脸位置向下移动距离达到人脸区域高度的10%,则判定出现头部非正常位移;若不符合上一条件,则将新的图像帧中人脸位置数据更新为比对数据,对下一帧图像进行比对;
3.2.以50帧为周期进行统计,若周期内连续出现5帧非正常位移帧,则认为头部出现下移后未能及时恢复,直接判定驾驶员出现疲劳状态并立即将驾驶员处于疲劳状态的信息发送给警告单元;若周期内没有连续出现5帧非正常位移帧,而非正常位移帧数量达到所有帧数量的10%,即5帧时,也认为驾驶员出现疲劳状况并将驾驶员处于疲劳状态的信息发送给警告单元;
警告单元:接收人眼判断单元、嘴部判断单元、头部判断单元三个部分的并行分析得到驾驶员的疲劳状态,其中任一部分判定出现疲劳状态则认为驾驶员产生了疲劳状态,并发送警告指令给手机功能单元;
手机功能单元:根据警告单元的警告指令利用手机自身功能对驾驶员进行警告。
手机功能单元通过以下方式对驾驶员发出警示提醒:
1)利用手机功能单元自身功能,发出声音警示;
2)利用手机功能单元的通信功能,向事先预设的一个或多个号码发送预设的警示短信,提醒驾驶员的亲人朋友驾驶员产生了疲劳状态,向他们请求第三方帮助;
还可以进一步利用手机功能单元的定位功能,获取驾驶员所在位置,向驾驶员提供附近的休息场所位置。
或者进一步利用手机上的设置的汽车接口与汽车自身***相连,当警告单元判定驾驶员出现疲劳状态时,发送警告指令给汽车接口,汽车接口将警告指令发送给汽车自身***使汽车方向盘振动,提醒驾驶员注意。该手机接口可以是手机原有,或者新增,通过无线或者有线与汽车自身***相连。
所述检测单元采用Android手机操作***作为开发平台。
该种驾驶员疲劳检测单元,包括切割单元、人眼判断单元、嘴部判断单元、头部判断单元和警告单元;
切割单元:根据外部获得的实时图像帧,进行人脸检测与定位,得到人脸所在区域发送给头部判断单元;再对人脸所在区域进行人眼、嘴部检测得到人眼位置图像和嘴部位置图像分别发送给人眼判断单元和嘴部判断单元;
人眼判断单元:
1.1根据切割单元发送的人眼位置图像,对人眼位置图像进行切割,得到眼睑周围部分区域,再排除眉毛部分得到切割后的眼睑部分图像;
1.2将切割后得到的眼睑部分图像转化为灰度图,接着对转化后的灰度图进行直方图归一化及对比度增强,得到增强后的眼睑灰度图;
1.3将增强后的眼睑灰度图进行二值化处理:根据实验经验设定相应阈值,将图像中颜色值大于设定阈值的点置为黑色,颜色值小于阈值的点置为白色,得到黑白两色图像,其中黑色部分将对应于瞳孔部分;
1.4以50帧为周期进行统计,当周期开始时,对本周期第一帧图像进行计算,如果瞳孔部分比例达到整个画面的25%,则可以认为图像中人眼为正常睁开状态,则取本帧为比对帧;若未达到25%,则弃用本帧,判断下帧是否为对比帧;得到比对帧后,记录比对帧中黑色像素点数目作为比对值,本周期内剩余帧取黑色像素点数目与比对值进行比对,当剩余帧取黑色像素点数目少于比对值的85%时,则判定当前帧中人眼为非正常睁开状态;
1.5统计非正常睁开帧,当连续出现5帧非正常睁开帧时,直接判定驾驶员处于疲劳状态并立即将驾驶员处于疲劳状态的信息发送给警告单元;或者当一个统计周期的50帧图像中,非正常睁开帧达到12%即6帧时,则判定驾驶员处于疲劳状态并将驾驶员处于疲劳状态的信息发送给警告单元;
嘴部判断单元:
2.1根据切割单元发送的嘴部位置图像后,将图像转化为灰度图,接着对转化后的灰度图进行直方图归一化及对比度增强,得到增强后的嘴部灰度图;
2.2将增强后的嘴部灰度图进行二值化处理:根据实验经验设定嘴唇部分颜色值区间,将符合颜色值区间的值置为黑色,剩余部分置为白色,得到黑白两色图像,其中黑色部分就对应于嘴部;
2.3以65帧为周期进行统计,当周期开始时,对本周期第一帧图像进行计算,如果黑色部分比例小于整个画面的35%,则可以认为图像中嘴部为正常闭合状态,则取本帧为比对帧;若未大于35%,则弃用本帧,判断下帧是否为对比帧;得到比对帧后,记录比对帧中黑色像素点数目作为比对值,本周期内剩余帧取黑色像素点数目与比对值进行比对,当黑色像素点数目达到比对值的200%,即超出一倍时,则认为嘴部为非正常张开状态,认定驾驶员打了一次哈欠;
2.4若在65帧周期内产生了3次或3次以上打哈欠的情况,则判定驾驶员处于疲劳状态并将驾驶员处于疲劳状态的信息发送给警告单元;
头部判断单元:
3.1.根据切割单元发送的人脸所在区域的图像,记录人脸在图像中所处的位置,作为比对数据;再次得到新的图像帧人脸所在区域的图像时,得出其中人脸的位置,与已有比对数据进行比较:人脸位置向下移动距离达到人脸区域高度的10%,则判定出现头部非正常位移;若不符合上一条件,则将新的图像帧中人脸位置数据更新为比对数据,对下一帧图像进行比对;
3.2.以50帧为周期进行统计,若周期内连续出现5帧非正常位移帧,则认为头部出现下移后未能及时恢复,直接判定驾驶员出现疲劳状态并立即将驾驶员处于疲劳状态的信息发送给警告单元;若周期内没有连续出现5帧非正常位移帧,而非正常位移帧数量达到所有帧数量的10%,即5帧时,也认为驾驶员出现疲劳状况并将驾驶员处于疲劳状态的信息发送给警告单元;
警告单元:对驾驶员发出警告提示。
有益效果:
该方法利用手机的摄像头获取驾驶员面部的实时图像,并进行图像处理和分析,进而对驾驶员驾驶机动车过程中疲劳状态的监测,并能够发出对应警示信息,防止危险情况的发生。
附图说明
图1为驾驶员疲劳检测手机的框图;
图2为驾驶员疲劳检测单元的框图;
图3为本发明的工作流程图。
具体实施方式
下面结合附图并举实施例,对本发明进行详细描述。
Android是一款由谷歌公司支持和发布的移动操作***,主要应用于智能手机、平板电脑、智能电视等智能移动设备。Android操作***的首个版本于2008年9月23日发布,经过几年的不断更新完善,在2011年10月发布了最新的4.0版本操作***,这一过程中Android操作***的受欢迎程度不断提升,在不久前成功超过了昔日只能手机操作***中的巨无霸Symbian,成为全世界市场份额第一的智能手机操作***。依据2012年初的数据,Android操作***在全世界智能手机操作***市场份额中占据52.5%,其中在中国市场更是具有68.4%的市场占有率,成为移动操作***中名副其实的NO.1。
Android操作***从诞生起就一直保持着开放的姿态。它的核心使用一种经过简化的Linux内核。Android操作***中移动应用的开发编程语言为应用广泛而易用的Java,以及易懂易用的脚本文件。而随着Android操作***本身的快速发展,现在通过使用NDK(Native Development Kit)以及可以使用Java之外的语言来开发Android应用程序,如C/C++等,这使得Android移动应用开发对广大开发人员的更加友好,也吸引了更多的开发人员步入Android开发的行列。也就是说,Android手机具备最大的目标用户群,Android手机相对廉价,Android手机设备多样化,在不同人群中适用性较强。同时Android***的开放性似的Android应用开发进入门槛较低,开发成本较低。
因此本实施例提供了一种基于Android手机的驾驶员疲劳检测方法,利用类似于车载GPS导航仪所配支架的手机专用支架,将安装了与所述检测方法对应的检测***的Android手机屏幕朝行车方向、摄像头朝驾驶员面部方向放置于驾驶员正前方,放置位置应保证手机不影响驾驶员视线及驾驶操作,在驾驶开始前打开Android手机中的驾驶员疲劳检测***应用程序,在驾驶过程中对驾驶员面部进行不间断实时检测。
步骤一:利用置于驾驶员前方的Android手机摄像头,获取一帧包含了驾驶员面部的实时图像;
步骤二:在步骤一获得的实时图像帧中,利用Adaboost算法结合LBP(LocalBinary Patterns,局部二值模式)特征,进行人脸检测与定位,得到人脸所在区域;
步骤三:在得到人脸所在区域的基础上,分别在人脸区域通过运用Adaboost算法结合Haar特征进行人眼、嘴部检测得到人眼位置图像和嘴部位置图像;如果实时图像较暗,则对图像数据进行处理,进行光照补偿,减小较差光线条件对检测准确性的影响;
步骤四:对驾驶员疲劳状态的判定由以下三个判断规则并行判断:1.通过人眼睁闭状态识别和统计来判定疲劳;2.通过嘴部张开闭合状态识别和统计来判定疲劳;3.通过观察相邻实时图像帧之间人头部即面部的位移情况来判定疲劳;三个判断规则互不影响,互不联系,其中任一判断规则判定出现疲劳状态则***认为驾驶员产生了疲劳状态;下面分别对三个判断规则进行具体说明:
1.人眼判断单元:
1.1根据步骤三得到的人眼位置图像,对人眼位置图像进行切割,得到眼睑周围部分区域,再排除眉毛部分得到切割后的眼睑部分图像;因为眉毛与瞳孔均为黑色,会对眼睛睁闭判定造成影响;
1.2将切割后得到的眼睑部分图像转化为灰度图,接着对转化后的灰度图进行直方图归一化及对比度增强,得到增强后的眼睑灰度图;增强后的灰度图使图像显示效果更好,易于产生更好的二值化效果;
1.3将增强后的眼睑灰度图进行二值化处理:根据实验经验设定相应阈值,将图像中颜色值大于设定阈值的点置为黑色,颜色值小于阈值的点置为白色,得到黑白两色图像,其中黑色部分将对应于瞳孔部分;通过计算黑色部分的比例,可以得出瞳孔被遮盖的状况,进而得出眼睛的睁开程度;
1.4以50帧为周期进行统计,当周期开始时,对本周期第一帧图像进行计算,如果黑色部分比例达到整个画面的25%,则可以认为图像中人眼为正常睁开状态,则取本帧为比对帧;若未达到25%,则弃用本帧,对下一帧进行检测;得到比对帧后,记录比对帧中黑色像素点数目作为比对值,本周期内剩余帧取黑色像素点数目与比对值进行比对,当剩余帧取黑色像素点数目少于比对值的85%时,即相对于比对值所减少的部分占比对值的比例达到15%时,则判定当前帧中人眼为非正常睁开状态。以上数值由实验经验得出。
1.5统计非正常睁开帧,当连续出现5帧非正常睁开帧时,判定驾驶员处于疲劳状态;当一个统计周期的50帧图像中,非正常睁开帧达到12%即6帧时,则判定驾驶员处于疲劳状态。12%这一数值由美国国家公路交通***针对眼睛睁闭统计值与驾驶员疲劳状态对应关系进行的大量实验得出,其余数值由实验经验得出。
2.嘴部判断单元:
2.1根据步骤三得到的嘴部位置图像后,将图像转化为灰度图,接着对转化后的灰度图进行直方图归一化及对比度增强,得到增强后的嘴部灰度图;增强后的灰度图使图像显示效果更好,易于产生更好的二值化效果;
2.2将增强后的嘴部灰度图进行二值化处理:根据实验经验设定嘴唇部分颜色值区间,将符合颜色值区间的值置为黑色,剩余部分置为白色,得到黑白两色图像,其中黑色部分就对应于嘴部,通过计算黑色部分的比例,可以得出嘴巴张开程度
2.3以65帧为周期进行统计,当周期开始时,对本周期第一帧图像进行计算,如果黑色部分比例小于整个画面的35%,则可以认为图像中嘴部为正常闭合状态,则取本帧为比对帧;若未大于35%,则弃用本帧,对下一帧进行检测。得到比对帧后,记录比对帧中黑色像素点数目作为比对值,本周期内剩余帧取黑色像素点数目与比对值进行比对,当黑色像素点数目达到比对值的200%,即超出一倍时,则认为嘴部为非正常张开状态,认定驾驶员打了一次哈欠。以上数值由实验经验得出。
2.4若在65帧周期内产生了3次或以上打哈欠的情况,则判定驾驶员处于疲劳状态。以上数值由实验经验得出。
3.头部判断单元:
3.1.根据步骤二得到的人脸所在区域的图像,记录人脸在图像中所处的位置,作为比对数据。再次得到新的图像帧人脸所在区域的图像时,得出其中人脸的位置,与已有比对数据进行比较,若位置发生较大变化:人脸位置向下移动距离达到人脸区域高度的10%,则判定出现头部非正常位移;若不符合上一条件,则将新的图像帧中人脸位置数据更新为比对数据,用于接下来的比对过程。以上数值由实验经验得出。因为驾驶员驾驶机动车过程中,头部处于较为稳定的状态,位移很小,当驾驶员产生疲劳状态时,会发生不自觉点头等情况,本部分即利用这一情况对驾驶员疲劳状态进行检测。
3.2.以50帧为周期进行统计,若周期内连续出现5帧非正常位移帧,则认为头部出现下移后未能及时恢复,直接判定驾驶员出现疲劳状态;若周期内没有连续出现5帧非正常位移帧,而非正常位移帧数量达到所有帧数量的10%,即5帧时,也认为驾驶员出现疲劳状况。以上数值由实验经验得出。
步骤五:疲劳警示:其中步骤四的任一判断规则判定出现疲劳状态则认为驾驶员产生了疲劳状态,通过以下方式对驾驶员发出警示提醒:
5.1利用Android手机自身功能,发出声音警示;
5.2将Android手机与汽车自身***相连,使汽车方向盘振动,提醒驾驶员注意;
5.3***利用Android手机的通信功能,向事先预设的一个或多个号码发送预设的警示短信,提醒驾驶员的亲人朋友驾驶员产生了疲劳状态,向他们请求第三方帮助;
5.4***利用Android手机的定位功能,获取驾驶员所在位置,向驾驶员提供附近的休息场所位置,指引驾驶员就近前往休息,避免疲劳驾驶。
综上所述,以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种驾驶员疲劳检测手机,其特征在于,包括手机摄像头、手机功能单元和检测单元;其中检测单元包括切割单元、人眼判断单元、嘴部判断单元、头部判断单元和警告单元;
手机摄像头:置于驾驶员前方,获取驾驶员面部的实时图像,并将实时图像帧传输给切割单元;
切割单元根据手机摄像头获得的实时图像帧,进行人脸检测与定位,得到人脸所在区域发送给头部判断单元;再对人脸所在区域进行人眼、嘴部检测得到人眼位置图像和嘴部位置图像分别发送给人眼判断单元和嘴部判断单元;
人眼判断单元:
1.1根据切割单元发送的人眼位置图像,对人眼位置图像进行切割,得到眼睑周围部分区域,再排除眉毛部分得到切割后的眼睑部分图像;
1.2将切割后得到的眼睑部分图像转化为灰度图,接着对转化后的灰度图进行直方图归一化及对比度增强,得到增强后的眼睑灰度图;
1.3将增强后的眼睑灰度图进行二值化处理:根据实验经验设定相应阈值,将图像中颜色值大于设定阈值的点置为黑色,颜色值小于阈值的点置为白色,得到黑白两色图像,其中黑色部分将对应于瞳孔部分;
1.4以50帧为周期进行统计,当周期开始时,对本周期第一帧图像进行计算,如果瞳孔部分比例达到整个画面的25%,则可以认为图像中人眼为正常睁开状态,则取本帧为比对帧;若未达到25%,则弃用本帧,判断下帧是否为对比帧;得到比对帧后,记录比对帧中黑色像素点数目作为比对值,本周期内剩余帧取黑色像素点数目与比对值进行比对,当剩余帧取黑色像素点数目少于比对值的85%时,则判定当前帧中人眼为非正常睁开状态;
1.5统计非正常睁开帧,当连续出现5帧非正常睁开帧时,直接判定驾驶员处于疲劳状态并立即将驾驶员处于疲劳状态的信息发送给警告单元;或者当一个统计周期的50帧图像中,非正常睁开帧达到12%即6帧时,则判定驾驶员处于疲劳状态并将驾驶员处于疲劳状态的信息发送给警告单元;
嘴部判断单元:
2.1根据切割单元发送的嘴部位置图像后,将图像转化为灰度图,接着对转化后的灰度图进行直方图归一化及对比度增强,得到增强后的嘴部灰度图;
2.2将增强后的嘴部灰度图进行二值化处理:根据实验经验设定嘴唇部分颜色值区间,将符合颜色值区间的值置为黑色,剩余部分置为白色,得到黑白两色图像,其中黑色部分就对应于嘴部;
2.3以65帧为周期进行统计,当周期开始时,对本周期第一帧图像进行计算,如果黑色部分比例小于整个画面的35%,则可以认为图像中嘴部为正常闭合状态,则取本帧为比对帧;若未大于35%,则弃用本帧,判断下帧是否为对比帧;得到比对帧后,记录比对帧中黑色像素点数目作为比对值,本周期内剩余帧取黑色像素点数目与比对值进行比对,当黑色像素点数目达到比对值的200%,即超出一倍时,则认为嘴部为非正常张开状态,认定驾驶员打了一次哈欠;
2.4若在65帧周期内产生了3次或3次以上打哈欠的情况,则判定驾驶员处于疲劳状态并将驾驶员处于疲劳状态的信息发送给警告单元;
头部判断单元:
3.1.根据切割单元发送的人脸所在区域的图像,记录人脸在图像中所处的位置,作为比对数据;再次得到新的图像帧人脸所在区域的图像时,得出其中人脸的位置,与已有比对数据进行比较:人脸位置向下移动距离达到人脸区域高度的10%,则判定出现头部非正常位移;若不符合上一条件,则将新的图像帧中人脸位置数据更新为比对数据,对下一帧图像进行比对;
3.2.以50帧为周期进行统计,若周期内连续出现5帧非正常位移帧,则认为头部出现下移后未能及时恢复,直接判定驾驶员出现疲劳状态并立即将驾驶员处于疲劳状态的信息发送给警告单元;若周期内没有连续出现5帧非正常位移帧,而非正常位移帧数量达到所有帧数量的10%,即5帧时,也认为驾驶员出现疲劳状况并将驾驶员处于疲劳状态的信息发送给警告单元;
警告单元:接收人眼判断单元、嘴部判断单元、头部判断单元三个部分的并行分析得到驾驶员的疲劳状态,其中任一部分判定出现疲劳状态则认为驾驶员产生了疲劳状态,并发送警告指令给手机功能单元;
手机功能单元:根据警告单元的警告指令利用手机自身功能对驾驶员进行警告。
2.如权利要求1所述的一种驾驶员疲劳检测手机,其特征在于,手机功能单元通过以下方式对驾驶员发出警示提醒:
1)利用手机功能单元自身功能,发出声音警示;
2)利用手机功能单元的通信功能,向事先预设的一个或多个号码发送预设的警示短信。
3.如权利要求1所述的一种驾驶员疲劳检测手机,其特征在于,进一步利用手机功能单元的定位功能,获取驾驶员所在位置,向驾驶员提供附近的休息场所位置。
4.如权利要求1所述的一种驾驶员疲劳检测手机,其特征在于,进一步利用手机上的设置的汽车接口与汽车自身***相连;当警告单元判定驾驶员出现疲劳状态时,发送警告指令给汽车接口,汽车接口将警告指令发送给汽车自身***使汽车方向盘振动,提醒驾驶员注意。
5.如权利要求1所述的一种驾驶员疲劳检测手机,其特征在于,所述检测单元采用Android手机操作***作为开发平台。
6.一种驾驶员疲劳检测单元,其特征在于,检测单元包括切割单元、人眼判断单元、嘴部判断单元、头部判断单元和警告单元;
切割单元:根据外部获得的实时图像帧,进行人脸检测与定位,得到人脸所在区域发送给头部判断单元;再对人脸所在区域进行人眼、嘴部检测得到人眼位置图像和嘴部位置图像分别发送给人眼判断单元和嘴部判断单元;
人眼判断单元:
1.1根据切割单元发送的人眼位置图像,对人眼位置图像进行切割,得到眼睑周围部分区域,再排除眉毛部分得到切割后的眼睑部分图像;
1.2将切割后得到的眼睑部分图像转化为灰度图,接着对转化后的灰度图进行直方图归一化及对比度增强,得到增强后的眼睑灰度图;
1.3将增强后的眼睑灰度图进行二值化处理:根据实验经验设定相应阈值,将图像中颜色值大于设定阈值的点置为黑色,颜色值小于阈值的点置为白色,得到黑白两色图像,其中黑色部分将对应于瞳孔部分;
1.4以50帧为周期进行统计,当周期开始时,对本周期第一帧图像进行计算,如果瞳孔部分比例达到整个画面的25%,则可以认为图像中人眼为正常睁开状态,则取本帧为比对帧;若未达到25%,则弃用本帧,判断下帧是否为对比帧;得到比对帧后,记录比对帧中黑色像素点数目作为比对值,本周期内剩余帧取黑色像素点数目与比对值进行比对,当剩余帧取黑色像素点数目少于比对值的85%时,则判定当前帧中人眼为非正常睁开状态;
1.5统计非正常睁开帧,当连续出现5帧非正常睁开帧时,直接判定驾驶员处于疲劳状态并立即将驾驶员处于疲劳状态的信息发送给警告单元;或者当一个统计周期的50帧图像中,非正常睁开帧达到12%即6帧时,则判定驾驶员处于疲劳状态并将驾驶员处于疲劳状态的信息发送给警告单元;
嘴部判断单元:
2.1根据切割单元发送的嘴部位置图像后,将图像转化为灰度图,接着对转化后的灰度图进行直方图归一化及对比度增强,得到增强后的嘴部灰度图;
2.2将增强后的嘴部灰度图进行二值化处理:根据实验经验设定嘴唇部分颜色值区间,将符合颜色值区间的值置为黑色,剩余部分置为白色,得到黑白两色图像,其中黑色部分就对应于嘴部;
2.3以65帧为周期进行统计,当周期开始时,对本周期第一帧图像进行计算,如果黑色部分比例小于整个画面的35%,则可以认为图像中嘴部为正常闭合状态,则取本帧为比对帧;若未大于35%,则弃用本帧,判断下帧是否为对比帧;得到比对帧后,记录比对帧中黑色像素点数目作为比对值,本周期内剩余帧取黑色像素点数目与比对值进行比对,当黑色像素点数目达到比对值的200%,即超出一倍时,则认为嘴部为非正常张开状态,认定驾驶员打了一次哈欠;
2.4若在65帧周期内产生了3次或3次以上打哈欠的情况,则判定驾驶员处于疲劳状态并将驾驶员处于疲劳状态的信息发送给警告单元;
头部判断单元:
3.1.根据切割单元发送的人脸所在区域的图像,记录人脸在图像中所处的位置,作为比对数据;再次得到新的图像帧人脸所在区域的图像时,得出其中人脸的位置,与已有比对数据进行比较:人脸位置向下移动距离达到人脸区域高度的10%,则判定出现头部非正常位移;若不符合上一条件,则将新的图像帧中人脸位置数据更新为比对数据,对下一帧图像进行比对;
3.2.以50帧为周期进行统计,若周期内连续出现5帧非正常位移帧,则认为头部出现下移后未能及时恢复,直接判定驾驶员出现疲劳状态并立即将驾驶员处于疲劳状态的信息发送给警告单元;若周期内没有连续出现5帧非正常位移帧,而非正常位移帧数量达到所有帧数量的10%,即5帧时,也认为驾驶员出现疲劳状况并将驾驶员处于疲劳状态的信息发送给警告单元;
警告单元:对驾驶员发出警告提示。
CN2012102521184A 2012-07-19 2012-07-19 一种驾驶员疲劳检测手机与检测单元 Pending CN102752458A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2012102521184A CN102752458A (zh) 2012-07-19 2012-07-19 一种驾驶员疲劳检测手机与检测单元

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2012102521184A CN102752458A (zh) 2012-07-19 2012-07-19 一种驾驶员疲劳检测手机与检测单元

Publications (1)

Publication Number Publication Date
CN102752458A true CN102752458A (zh) 2012-10-24

Family

ID=47032352

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012102521184A Pending CN102752458A (zh) 2012-07-19 2012-07-19 一种驾驶员疲劳检测手机与检测单元

Country Status (1)

Country Link
CN (1) CN102752458A (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927007A (zh) * 2014-04-09 2014-07-16 惠州Tcl移动通信有限公司 基于智能设备检测用户是否疲劳的方法及智能设备
CN104008628A (zh) * 2013-02-25 2014-08-27 联想(北京)有限公司 一种提示方法和设备
CN104013414A (zh) * 2014-04-30 2014-09-03 南京车锐信息科技有限公司 一种基于移动智能手机的驾驶员疲劳检测***
CN104398235A (zh) * 2014-12-04 2015-03-11 张晓� 一种眼部疲劳检测仪
CN104540021A (zh) * 2015-01-19 2015-04-22 无锡桑尼安科技有限公司 一种电视机防沉迷观看方法
CN104539996A (zh) * 2015-01-19 2015-04-22 无锡桑尼安科技有限公司 基于观众状态检测的电视遥控设备
CN104574819A (zh) * 2015-01-09 2015-04-29 安徽清新互联信息科技有限公司 一种基于嘴巴特征的疲劳驾驶检测方法
CN104616437A (zh) * 2015-02-27 2015-05-13 浪潮集团有限公司 一种车载的疲劳识别***和方法
CN105023394A (zh) * 2015-06-23 2015-11-04 南京理工大学 基于便携式智能设备的危险驾驶提醒及控制方法
CN105034804A (zh) * 2015-05-11 2015-11-11 南京理工大学 车辆主动安全控制方法与***
CN105034979A (zh) * 2015-04-30 2015-11-11 南京理工大学 车辆主动安全控制方法与***
CN105138947A (zh) * 2014-05-30 2015-12-09 由田新技股份有限公司 守卫提醒方法及其提醒装置与提醒***
CN105139583A (zh) * 2015-06-23 2015-12-09 南京理工大学 基于便携式智能设备的车辆危险提醒方法
CN105185038A (zh) * 2015-10-20 2015-12-23 华东交通大学 一种基于Android智能手机的安全行车***
CN105828701A (zh) * 2013-12-18 2016-08-03 浜松光子学株式会社 测量装置和测量方法
CN106203338A (zh) * 2016-07-11 2016-12-07 南京航空航天大学 基于网格区域分割和阈值自适应的人眼状态快速识别方法
CN106325514A (zh) * 2016-08-26 2017-01-11 珠海格力电器股份有限公司 一种手持智能终端的防掉落方法、装置及其电子设备
CN107346416A (zh) * 2017-06-09 2017-11-14 湖北天业云商网络科技有限公司 一种基于人体拓扑结构的身体运动状态检测方法及***
CN108639056A (zh) * 2018-04-16 2018-10-12 Oppo广东移动通信有限公司 驾驶状态检测方法、装置以及移动终端
CN109833029A (zh) * 2017-11-27 2019-06-04 深圳创达云睿智能科技有限公司 一种睡眠分期方法、***及终端设备
CN111660965A (zh) * 2019-03-07 2020-09-15 上海博泰悦臻网络技术服务有限公司 车辆及其基于座椅调整的方向盘智能调节方法和装置
CN111824032A (zh) * 2019-04-16 2020-10-27 宁波均胜汽车安全***有限公司 便携式终端设置***、操控***、保护***以及方向盘

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101090482A (zh) * 2006-06-13 2007-12-19 唐琎 一种基于图象处理和信息融合技术的驾驶员疲劳监测***及方法
WO2009084042A1 (en) * 2008-01-02 2009-07-09 Hi Tech Robotic Systemz Ltd Driver state monitoring system
CN102436715A (zh) * 2011-11-25 2012-05-02 大连海创高科信息技术有限公司 疲劳驾驶检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101090482A (zh) * 2006-06-13 2007-12-19 唐琎 一种基于图象处理和信息融合技术的驾驶员疲劳监测***及方法
WO2009084042A1 (en) * 2008-01-02 2009-07-09 Hi Tech Robotic Systemz Ltd Driver state monitoring system
CN102436715A (zh) * 2011-11-25 2012-05-02 大连海创高科信息技术有限公司 疲劳驾驶检测方法

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104008628A (zh) * 2013-02-25 2014-08-27 联想(北京)有限公司 一种提示方法和设备
CN105828701B (zh) * 2013-12-18 2018-02-13 浜松光子学株式会社 测量装置和测量方法
CN105828701A (zh) * 2013-12-18 2016-08-03 浜松光子学株式会社 测量装置和测量方法
US10478063B2 (en) 2013-12-18 2019-11-19 Hamamatsu Photonics K.K. Measurement device and measurement method
CN103927007B (zh) * 2014-04-09 2017-08-08 惠州Tcl移动通信有限公司 基于智能设备检测用户是否疲劳的方法及智能设备
CN103927007A (zh) * 2014-04-09 2014-07-16 惠州Tcl移动通信有限公司 基于智能设备检测用户是否疲劳的方法及智能设备
CN104013414A (zh) * 2014-04-30 2014-09-03 南京车锐信息科技有限公司 一种基于移动智能手机的驾驶员疲劳检测***
CN104013414B (zh) * 2014-04-30 2015-12-30 深圳佑驾创新科技有限公司 一种基于移动智能手机的驾驶员疲劳检测***
CN105138947A (zh) * 2014-05-30 2015-12-09 由田新技股份有限公司 守卫提醒方法及其提醒装置与提醒***
CN104398235A (zh) * 2014-12-04 2015-03-11 张晓� 一种眼部疲劳检测仪
CN104574819A (zh) * 2015-01-09 2015-04-29 安徽清新互联信息科技有限公司 一种基于嘴巴特征的疲劳驾驶检测方法
CN104539996A (zh) * 2015-01-19 2015-04-22 无锡桑尼安科技有限公司 基于观众状态检测的电视遥控设备
CN104540021A (zh) * 2015-01-19 2015-04-22 无锡桑尼安科技有限公司 一种电视机防沉迷观看方法
CN104616437A (zh) * 2015-02-27 2015-05-13 浪潮集团有限公司 一种车载的疲劳识别***和方法
CN105034979A (zh) * 2015-04-30 2015-11-11 南京理工大学 车辆主动安全控制方法与***
CN105034804A (zh) * 2015-05-11 2015-11-11 南京理工大学 车辆主动安全控制方法与***
CN105139583A (zh) * 2015-06-23 2015-12-09 南京理工大学 基于便携式智能设备的车辆危险提醒方法
CN105023394A (zh) * 2015-06-23 2015-11-04 南京理工大学 基于便携式智能设备的危险驾驶提醒及控制方法
CN105185038A (zh) * 2015-10-20 2015-12-23 华东交通大学 一种基于Android智能手机的安全行车***
CN106203338B (zh) * 2016-07-11 2019-08-02 南京航空航天大学 基于网格区域分割和阈值自适应的人眼状态快速识别方法
CN106203338A (zh) * 2016-07-11 2016-12-07 南京航空航天大学 基于网格区域分割和阈值自适应的人眼状态快速识别方法
CN106325514A (zh) * 2016-08-26 2017-01-11 珠海格力电器股份有限公司 一种手持智能终端的防掉落方法、装置及其电子设备
CN106325514B (zh) * 2016-08-26 2018-12-28 珠海格力电器股份有限公司 一种手持智能终端的防掉落方法、装置及其电子设备
CN107346416A (zh) * 2017-06-09 2017-11-14 湖北天业云商网络科技有限公司 一种基于人体拓扑结构的身体运动状态检测方法及***
CN109833029A (zh) * 2017-11-27 2019-06-04 深圳创达云睿智能科技有限公司 一种睡眠分期方法、***及终端设备
CN108639056A (zh) * 2018-04-16 2018-10-12 Oppo广东移动通信有限公司 驾驶状态检测方法、装置以及移动终端
CN111660965A (zh) * 2019-03-07 2020-09-15 上海博泰悦臻网络技术服务有限公司 车辆及其基于座椅调整的方向盘智能调节方法和装置
CN111824032A (zh) * 2019-04-16 2020-10-27 宁波均胜汽车安全***有限公司 便携式终端设置***、操控***、保护***以及方向盘

Similar Documents

Publication Publication Date Title
CN102752458A (zh) 一种驾驶员疲劳检测手机与检测单元
Li et al. Modeling of driver behavior in real world scenarios using multiple noninvasive sensors
CN101593425B (zh) 一种基于机器视觉的疲劳驾驶监控方法及***
WO2019232972A1 (zh) 驾驶管理方法和***、车载智能***、电子设备、介质
CN106585629B (zh) 一种车辆控制方法和装置
CN105654753A (zh) 一种智能车载安全驾驶辅助方法及***
CN102263937B (zh) 基于视频检测的驾驶员驾驶行为监控装置及监控方法
CN110532976A (zh) 基于机器学习和多特征融合的疲劳驾驶检测方法及***
CN204028500U (zh) 疲劳驾驶报警眼镜
CN105788028A (zh) 具有疲劳驾驶预警功能的行车记录仪
CN105769120A (zh) 疲劳驾驶检测方法和装置
CN202130312U (zh) 一种驾驶员疲劳驾驶监控装置
CN104183091A (zh) 一种自适应调整疲劳驾驶预警***灵敏度的***
CN103318023A (zh) 车载实时智能疲劳监控及辅助装置
CN106355838A (zh) 一种疲劳驾驶检测方法和***
Xu et al. Sober-Drive: A smartphone-assisted drowsy driving detection system
CN103909826A (zh) 一种协同感知驾驶员违规行为的优化处理方法
CN106295474B (zh) 船舶驾驶员的疲劳检测方法、***和服务器
CN113920491A (zh) 基于面部骨架模型的疲劳检测***、方法、介质、检测设备
CN106143308A (zh) 基于智能后视镜的车道偏离预警***
CN109801475A (zh) 疲劳驾驶检测方法、装置及计算机可读存储介质
CN106073804A (zh) 一种疲劳检测方法及移动终端
EP4042322A1 (en) Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness
Lashkov et al. Driver dangerous state detection based on OpenCV & dlib libraries using mobile video processing
Dua et al. Drowsiness detection and alert system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20121024