CN106627529A - 一种汽车智能监控方法和装置 - Google Patents
一种汽车智能监控方法和装置 Download PDFInfo
- Publication number
- CN106627529A CN106627529A CN201611110035.6A CN201611110035A CN106627529A CN 106627529 A CN106627529 A CN 106627529A CN 201611110035 A CN201611110035 A CN 201611110035A CN 106627529 A CN106627529 A CN 106627529A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- human
- human pilot
- behavior
- human eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
- B60T7/00—Brake-action initiating means
- B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提出了一种汽车智能管理方法和装置,用于监控驾驶人员的不良行为,所述方法包括:监测驾驶人员的驾驶行为,如果驾驶人员不存在不良驾驶行为,则继续保持监测;如果驾驶人员存在不良驾驶行为,则执行以下步骤:获取驾驶人员图像;通过判断驾驶人员视线范围预定距离内是否有手机,判断不良驾驶行为是否为操作手机;当判断不良驾驶行为是操作手机时,通过施加电磁干扰,屏蔽手机的通信信号,使得驾驶人员无法继续使用手机。本发明可以对包括疲劳驾驶在内的多种不良驾驶行为进行检测,并且在检测到不良驾驶行为后,给驾驶人员予以警告,在警告无效时,进一步采取处置措施,主动控制车辆停驶,提高了车辆行驶的安全性,减少了交通事故的发生。
Description
技术领域
本发明涉及汽车智能监控领域,具体涉及一种汽车智能监控方法和装置。
背景技术
自三点式安全带和安全气囊开始广泛应用于汽车,汽车驾驶人的行车安全有了一定的保障。然而这类被动的安全设计,一般无法预判意外突发状况的发生。同时大量的事实说明,如若可以在危险来临之前做出提前预报,或者保持车辆平稳运行,安全系数将会大大提高。因此,汽车主动安全的概念开始出现,主动安全的提出给汽车以智能,通过自主“思考”,可以适时、主动地采取对应措施,从而减免交通事故的发生。主动安全技术配合被动保障设计,可以最大限度地降低交通事故发生的几率。
近些年来,汽车正逐渐成为人们日常出行的重要选择,为人们带来了快捷、舒适的交通体验。然而随着近几年机动车数量的迅速增加,汽车也给人们和相关部门带来了极大的痛苦和烦恼。日益不畅的交通运行、汽车尾气带来的环境污染(如PM2.5指数上升)、严重道路交通事故频发等,都严重刺激着现代人的神经。然而,因直接威胁着人类的生命安全,交通事故己成为一个世界各国共同面临的严重社会问题。据世界卫生组织的数据显示,全世界每年至少有120万人死于道路事故,3000~5000万人受伤;据我国交通管理局通报,全国2011年上半年共接报91,811起涉及人员伤亡的道路交通事故,造成25,864人死亡、106,370人受伤,直接经济损失4.4亿元。
而众多导致交通死亡事故的违法行为中,驾驶人疲劳驾驶是一个重要的诱因。同样来自世界卫生组织的数据表明,在全球范围内因疲劳驾驶导致的交通事故占事故总数的20%左右,占特大交通事故的40%以上。在我国,同样存在比较严重的疲劳驾驶情况,据交通管理局统计,2008至2009年之间,我国直接由于疲劳驾驶导致的交通事故数占总数的12.5%。
汽车驾驶属于感知型劳动,是一项综合性很强的技术工作。其实质可以理解为一个包括道路环境、驾驶人、车辆三个要素构成的闭环***。其中驾驶人的行为模式又分为感知信息、分析决策、实施操作三个阶段。驾驶人在驾驶过程中不断感知外界的信息,如车辆当前状态(包括位置、速度、方向、加速度等)、道路状况等,根据行车要求以及道路状况进行合理的操作,并根据反馈结果进行相应的调节,如此循环,形成驾驶过程。
疲劳虽然是一种正常的生理现象,但是当驾驶人在疲劳状态下进行驾驶劳动,其对周围环境的感知能力、形势判断能力以及对车辆的操控能力都有不同程度的下降,因此也就很容易影响交通安全、发生交通事故。曾有统计数据表明,由感知、决策以及操作三种疲劳类型导致交通事故的比例分别为52%、38%、10%。
疲劳检测(Fatigue Detecting)是通过监测人体各种疲劳特征,及时发现疲劳状态并给出预警信号,涉及到生理学、心理学、图像处理、运动跟踪、模式识别等多个领域,是一个复杂而又同时兼具理论与现实价值的研宄课题。
在较长时间的驾驶过程中,驾驶人的疲劳程度逐渐积蓄,由浅入深。假如可以利用技术手段对驾驶人的精祌状态进行实时检测,一旦有疲劳迹象出现,就即刻发出预警,或釆取强行减速、停车等安全措施,那么安全行车系数将会得到有效的提高。据统计,如果驾驶人在交通事故发生时的反应能快0.5s,就可以60%的减少或避免交通事故的发生。因此,积极开展有关驾驶人疲劳检测技术的研究工作,对营造安全的交通环境具有十分重要的现实意义。
除了疲劳驾驶,还有一些其他的不良驾驶行为对交通安全造成很大的威胁,比如随着智能手机的普及,越来越多的低头族时时刻刻都手不离手机、眼不离手机,即使在开车的时候,仍有不少人放不下手机,这种不负责的行为对交通安全形成了巨大的隐患。现有技术很少对疲劳驾驶以外的不良驾驶行为进行检测,同时,对于不良驾驶行为,现有技术在检测后一般都仅是进行提醒,这种处理方式过于单一,无法满足实际需求。
发明内容
至少部分的解决现有技术中存在的问题,本发明提出一种汽车智能监控方法,用于监控驾驶人员的不良行为,所述方法包括:
监测驾驶人员的驾驶行为,
如果驾驶人员不存在不良驾驶行为,则继续保持监测;
如果驾驶人员存在不良驾驶行为,则执行以下步骤:
获取驾驶人员图像;
通过判断驾驶人员视线范围预定距离内是否有手机,判断不良驾驶行为是否为操作手机;
当判断不良驾驶行为是操作手机时,通过施加电磁干扰,屏蔽手机的通信信号,使得驾驶人员无法继续使用手机。
优选的,所述监测驾驶人员的驾驶行为包括:
步骤S100,对驾驶人员进行人脸定位;
步骤S200,对驾驶人员进行人眼定位;
步骤S300,不良驾驶行为检测;
步骤S400,不良驾驶行为警告;
步骤S500,不良驾驶行为处置;
其中,不良驾驶行为处置包括对于驾驶人员低头操作手机的情况进行处置。
优选的,步骤S100包括自然光照下的人脸定位和红外光照下的人脸定位,其中,
在自然光照下,利用肤色对人脸进行定位,选择YCbCr颜色空间,在YCbCr颜色空间中确定满足109<cb<l40,135<cr<158的像素区域,由此确定出人脸的位置,实现对人脸的定位。
优选的,步骤S200分为人眼粗定位和人眼精确定位,其中,
在实行人眼粗定位之前,先对人眼的搜索范围进一步缩小,将搜索范围确定在脸部区域从上到下的1/5到1/2之间;
对于步骤S100人脸定位后得到的人脸图像,采用灰度投影法对人脸图像从上到下的1/5到1/2之间区域在横向上进行投影,得到第一波峰和第二波峰,第一波峰值大于第二波峰值,将第一波峰位置确定为人眼横向中心线,将第一波峰和第二波峰之间的波谷确定为人眼上边缘界限,人眼横向中心线与人眼上边缘界限之间的距离为d,接着,根据人眼对称性,从人眼横向中心线向下移动距离d,得到眼睛下边缘界限,完成人眼的粗定位;
对粗定位的人眼区域,进一步进行人眼精确定位:
首先建立人眼模板,将眼睛视为椭圆形状,其椭圆内接圆为眼球,其余部分为眼白,通过椭圆和内接圆方程,得出当前像素所在位置。即:
设当前像素坐标为(x,y):
在像素位于眼球区域时:x2+y2<r2,其中r为内接圆半径,
在像素位于眼白区域时:且x2+y2>r2,
R代表椭圆长半轴长度,r代表椭圆短半轴长度,同时也是内接圆半径的长度,
模板建立后,在粗定位的人眼区域内利用该模板进行滑动搜索,同时对眼白和眼球的灰度差进行计算,在灰度图中,当模板覆盖住人眼位置时,由于眼白与眼球的灰度差明显,所以在该位置的灰度积分差值为最大,利用该特点,通过对左右两边分别检测,把搜索找出的左右模板灰度差值最大的地方,分别确定为两眼的精确位置。
优选的,步骤S300包括:
疲劳驾驶检测,在预定时间内,检测驾驶人员眼睛的闭合时间,如果闭合时间超过预定阈值,则判定驾驶人员出现疲劳驾驶行为,和/或
视线偏离检测,在预定时间内,检测驾驶人员视线偏离驾驶视线范围的时间,如果视线偏离驾驶视线范围的时间超过预定阈值,则判定驾驶人员出现了视线偏离的驾驶行为。
优选的,步骤S500包括当在预定时间内检测到的不良驾驶行为次数超过给定阈值,则对不良驾驶行为采取处置措施,进一步包括:
车辆驾驶权限切换,将车辆驾驶权限切换到自动驾驶模式,在自动驾驶模式下,驾驶人员无法对车辆进行控制;
开启警示装置,开启车上的警示装置以引起他人注意,警示装置包括危险警示灯、报警器;
自动减速停车,逐级减速停车,防止发生被其他车辆追尾;
优选的,自动减速停车包括:
定位自身车辆在道路的位置,通过车载摄像头、车载GPS实现对车道线和路面的检测,确定自身车辆在道路的位置以及路面的车道情况和路面最右侧路边的位置;
通过车载摄像头,确定自身车辆前方、右前方、右侧、右后方是否有车辆以及与自身车辆之间的距离;
通过自身车辆的速度和其他车辆与自身车辆之间的距离来确定其他车辆的车速;
当右侧没有车辆,且前方、右前方、右后方车辆的距离和车速满足预定条件,则控制车辆向右侧车道并线变道;
当车辆已经在最右侧路边,即车辆右侧已经没有道路,减速停车。
本发明还提出了一种汽车智能监控装置,用于监控驾驶人员的不良行为,所述装置包括:
监测装置,用于监测驾驶人员的驾驶行为,如果驾驶人员不存在不良驾驶行为,则继续保持监测;
处理装置,如果通过检测装置获知驾驶人员存在不良驾驶行为,则获取驾驶人员图像,通过判断驾驶人员视线范围预定距离内是否有手机,判断不良驾驶行为是否为操作手机,当判断不良驾驶行为是操作手机时,通过施加电磁干扰,屏蔽手机的通信信号,使得驾驶人员无法继续使用手机。
优选的,所述监测装置包括:
人脸定位模块,用于对驾驶人员进行人脸定位;
人眼定位模块,对驾驶人员进行人眼定位;
不良驾驶行为检测模块,用于对不良驾驶行为进行检测;
不良驾驶行为警告模块,用于对不良驾驶行为进行警告。
其中,不良驾驶行为处置模块包括对于驾驶人员低头操作手机的情况进行处置。
本发明可以对包括疲劳驾驶在内的多种不良驾驶行为进行检测,并且在检测到不良驾驶行为后,给驾驶人员予以警告,在警告无效时,进一步采取处置措施,主动控制车辆停驶,提高了车辆行驶的安全性,减少了交通事故的发生。
附图说明
图1为本发明一种汽车智能监控方法的流程图;
图2为本发明一种汽车智能监控装置的框图;
具体实施方式
下面将结合本发明的附图,对本发明的技术方案进行清楚、完整地描述。这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
参见图1,本发明提出了一种汽车智能监控方法,包括:
步骤S100,对驾驶人员进行人脸定位;
为了实现对不同光照条件下的人脸定位,该步骤分为自然光照下的人脸定位和红外光照下的人脸定位。
在自然光照下,可以利用彩色信息对人脸进行定位,其中肤色常常是可以利用的重要信息之一。经过统计证明,不同人种的肤色区别主要受亮度影响,几乎不受色度影响。为了有效地进行肤色聚类,本发明选择YCbCr颜色空间。大量实验表明,人的肤色区域在YCbCr空间中的大致位置为:109<cb<l40,135<cr<158,据此本发明通过在YCbCr颜色空间中确定满足109<cb<l40,135<cr<158的像素区域,由此即可确定出人脸的位置,实现对人脸的定位。
在红外光照下没有颜色信息可以利用,所以像肤色这样利用彩色空间的方法就行不通了,只可利用图像的灰度信息。因为考虑到在真实驾驶环境中,司机的头部并不是一直不动的,而是时刻发生着晃动,所以考虑运动检测的方法把人脸定位出来,在这里我们考虑采用背景更新进行定位。如果在初始帧中没有物体,那么把当前帧和初始帧比较,就会得到整个移动的物体。显然,这个方法不依赖于物体移动的速度,这种更新的办法称为背景更新"动态背景更新的基本思路是:以时间间隔图象差分方法找出图象内的变化区域。然后将非变化区域的背景以当前图象替代。即更新背景在对背景做了这种更新后,背景的很大区域已经就是当前图象的一部分了,所以以这个背景去和下一幅图象进行差分,在很大的区域内实际上就是时间间隔图象差分方法,因此它不仅继承了时间间隔图象差分方法对场景微小变化。特别是光线变化的适应性,基本消除了积累性误差,而且又具有固定背景差分方法检测运动物体准确的优势。
本发明还可以采用其他各种现有技术实现人脸定位。
步骤S200,对驾驶人员进行人眼定位;
该步骤又分为人眼粗定位和人眼精确定位。
在实行人眼粗定位之前,可以根据常规经验先对人眼的搜索范围进一步缩小,将搜索范围确定在脸部区域从上到下的1/5到1/2之间,这样可以减少计算过程的计算量,使***速度加快,满足其实时性的要求。
对于步骤S100人脸定位后得到的人脸图像,采用灰度投影法对人脸图像从上到下的1/5到1/2之间区域在横向上进行投影,得到第一波峰和第二波峰,第一波峰值大于第二波峰值,将第一波峰位置确定为人眼横向中心线,将第一波峰和第二波峰之间的波谷确定为人眼上边缘界限,人眼横向中心线与人眼上边缘界限之间的距离为d,接着,根据人眼对称性,从人眼横向中心线向下移动距离d,得到眼睛下边缘界限,完成人眼的粗定位。
对粗定位的人眼区域,进一步进行人眼精确定位。
首先建立人眼模板,一般情况下,可将眼睛视为椭圆形状,其椭圆内接圆为眼球,其余部分为眼白,通过椭圆和内接圆方程,可以得出当前像素所在位置。即:
设当前像素坐标为(x,y):
在像素位于眼球区域时:x2+y2<r2,其中r为内接圆半径,
在像素位于眼白区域时:且x2+y2>r2。
R代表椭圆长半轴长度,r代表椭圆短半轴长度,同时也是内接圆半径的长度。
模板建立后,在粗定位的人眼区域内利用该模板进行滑动搜索,同时对眼白和眼球的灰度差进行计算,在灰度图中可看出,当模板覆盖住人眼位置时,由于眼白与眼球的灰度差明显,所以在该位置的灰度积分差值为最大,由此可利用该特点,通过对左右两边分别检测,把搜索找出的左右模板灰度差值最大的地方,分别确定为两眼的精确位置。
本发明也可以采用其他各种现有技术实现人眼定位。
步骤S300,不良驾驶行为检测;
不良驾驶行为包括疲劳驾驶、低头看手机或其它视线长时间偏离驾驶视线范围的行为。
疲劳驾驶检测,在预定时间内,检测驾驶人员眼睛的闭合时间,如果闭合时间超过预定阈值,则判定驾驶人员出现疲劳驾驶行为。
对于正常驾驶行为,驾驶人员的视线在绝大多数的时间内应该是注视车辆前方,以保证能够观察到车辆前方的路面情况,本发明将驾驶人员能够观察到车辆前方的路面情况的视线范围称为驾驶视线范围。而当驾驶人员低头看手机或做其他与驾驶无关的动作时,这时的视线范围就会偏离驾驶视线范围。
视线偏离检测,在预定时间内,检测驾驶人员视线偏离驾驶视线范围的时间,如果视线偏离驾驶视线范围的时间超过预定阈值,则判定驾驶人员出现了视线偏离的驾驶行为,比如是在频繁看手机或者做其他影响驾驶的行为。
步骤S400,不良驾驶行为警告;
检测到不良驾驶行为后,通过语音向驾驶人员发出警告,以提醒驾驶人员注意。
步骤S500,不良驾驶行为处置;
当在预定时间内检测到的不良驾驶行为次数超过给定阈值,则对不良驾驶行为采取处置措施。
当驾驶人员处于极度疲劳状态或者沉溺于手机内容,或者极端情况下,驾驶人员身体出现了异常情况,如失去意识,这时外部提醒方式可能不会引起驾驶人员的注意,也就是说这时外部提醒的警告方式无效,这时需要采取主动处置措施,以避免发生交通事故。
不良驾驶行为处置措施包括:
车辆驾驶权限切换,将车辆驾驶权限切换到自动驾驶模式,在自动驾驶模式下,驾驶人员无法对车辆进行控制,当然,驾驶人员可以手工将车辆驾驶权限切换到手动驾驶模式。
开启警示装置,为了提醒道路上其他车辆和行为,开启车上的警示装置以引起他人注意,警示装置包括危险警示灯、报警器等。
自动减速停车,为了方式出现交通危险,需要将车辆停下来,当然,停车时需要逐级减速停车,以防止发生被其他车辆追尾等危险。
为了不影响道路上其他车辆和行人的交通,优选的,停车时自动行驶到最右侧路边停靠。为了实现最右侧路边停靠,首先需要定位自身车辆在道路的位置,这涉及到车道线检测和路面检测,可通过车载摄像头、车载GPS实现对车道线和路面的检测,从而确定自身车辆在道路的位置以及路面的车道情况和路面最右侧路边的位置。为了将车辆停靠到道路最右侧路边,车辆需要进行并线变道,这时需要考虑到路面上其他车辆的情况,通过车载摄像头,确定自身车辆前方、右前方、右侧、右后方是否有车辆以及与自身车辆之间的距离。在进行并线变道时,不仅要考虑到距离,还需要考虑车速,因此还需要检测自身车辆前方、右前方、右侧、右后方车辆的速度,可以通过自身车辆的速度和其他车辆与自身车辆之间的距离来确定其他车辆的车速,例如在给定时间,其他车辆与自身车辆的距离始终保持不变,则其他车辆与自身车辆的速度相等,如果前方或右前方车辆与自身车辆的距离变远,说明前方或右前方车辆的车速大于自身车辆的车速,再根据距离与时间之间的关系,即可计算出前方或右前方车辆的车速,如果右后方车辆与自身车辆的距离变远,说明右后方车辆的车速小于自身车辆的车速,再根据距离与时间之间的关系,即可计算出右后方车辆的车速。当右侧没有车辆,且前方、右前方、右后方车辆的距离和车速满足预定条件,则控制车辆向右侧车道并线变道。当车辆已经在最右侧路边,即车辆右侧已经没有道路,这时减速停车。
考虑到道路交通信号灯的情况,优选的,本发明在自动驾驶模式下,还具有交通信号灯检测功能,当检测到交通信号灯时,控制车辆减速慢行,当检测到交通信号灯为红灯或黄灯时,控制车辆减速停驶。
考虑到不同品牌车辆的价值不同,发生事故时产生的损失不同,本发明在并线变道时,还增加了对其他车辆进行品牌和车型的识别功能,通过获取其他车辆的车标、外形等典型特征,再与数据库中预存的信息进行比对,确定车辆的品牌和车型。对于不同品牌和车型的车辆,设定不同的并线变道预定条件。比如对于价值很高的车辆,可将变道距离设置的长一些。
优选的,对于驾驶人员低头操作手机的情况,还可以进一步的进行特殊处置。通过获取驾驶人员图像,判断其视线范围预定距离内是否有手机,即可判断不良驾驶行为是否为操作手机。当判断不良驾驶行为是操作手机时,通过施加电磁干扰,屏蔽手机的通信信号,使得驾驶人员无法继续使用手机。
本发明上述不良驾驶行为处置措施内容均是在将车辆驾驶权限切换到自动驾驶模式下实施的。
参见图2,本发明还提出了一种汽车智能监控装置,包括:
人脸定位模块,用于对驾驶人员进行人脸定位;
为了实现对不同光照条件下的人脸定位,该模块分为自然光照下的人脸定位模块和红外光照下的人脸定位模块。
在自然光照下,可以利用彩色信息对人脸进行定位,其中肤色常常是可以利用的重要信息之一。经过统计证明,不同人种的肤色区别主要受亮度影响,几乎不受色度影响。为了有效地进行肤色聚类,本发明选择YCbCr颜色空间。大量实验表明,人的肤色区域在YCbCr空间中的大致位置为:109<cb<l40,135<cr<158,据此本发明通过在YCbCr颜色空间中确定满足109<cb<l40,135<cr<158的像素区域,由此即可确定出人脸的位置,实现对人脸的定位。
在红外光照下没有颜色信息可以利用,所以像肤色这样利用彩色空间的方法就行不通了,只可利用图像的灰度信息。因为考虑到在真实驾驶环境中,司机的头部并不是一直不动的,而是时刻发生着晃动,所以考虑运动检测的方法把人脸定位出来,在这里我们考虑采用背景更新进行定位。如果在初始帧中没有物体,那么把当前帧和初始帧比较,就会得到整个移动的物体。显然,这个方法不依赖于物体移动的速度,这种更新的办法称为背景更新"动态背景更新的基本思路是:以时间间隔图象差分方法找出图象内的变化区域。然后将非变化区域的背景以当前图象替代。即更新背景在对背景做了这种更新后,背景的很大区域已经就是当前图象的一部分了,所以以这个背景去和下一幅图象进行差分,在很大的区域内实际上就是时间间隔图象差分方法,因此它不仅继承了时间间隔图象差分方法对场景微小变化。特别是光线变化的适应性,基本消除了积累性误差,而且又具有固定背景差分方法检测运动物体准确的优势。
本发明还可以采用其他各种现有技术实现人脸定位。
人眼定位模块,对驾驶人员进行人眼定位;
该模块又分为人眼粗定位模块和人眼精确定位模块。
在实行人眼粗定位之前,可以根据常规经验先对人眼的搜索范围进一步缩小,将搜索范围确定在脸部区域从上到下的1/5到1/2之间,这样可以减少计算过程的计算量,使***速度加快,满足其实时性的要求。
对于人脸定位后得到的人脸图像,采用灰度投影法对人脸图像从上到下的1/5到1/2之间区域在横向上进行投影,得到第一波峰和第二波峰,第一波峰值大于第二波峰值,将第一波峰位置确定为人眼横向中心线,将第一波峰和第二波峰之间的波谷确定为人眼上边缘界限,人眼横向中心线与人眼上边缘界限之间的距离为d,接着,根据人眼对称性,从人眼横向中心线向下移动距离d,得到眼睛下边缘界限,完成人眼的粗定位。
对粗定位的人眼区域,人眼精确定位模块进一步进行人眼精确定位。
首先建立人眼模板,一般情况下,可将眼睛视为椭圆形状,其椭圆内接圆为眼球,其余部分为眼白,通过椭圆和内接圆方程,可以得出当前像素所在位置。即:
设当前像素坐标为(x,y):
在像素位于眼球区域时:x2+y2<r2,其中r为内接圆半径,
在像素位于眼白区域时:且x2+y2>r2。
R代表椭圆长半轴长度,r代表椭圆短半轴长度,同时也是内接圆半径的长度。
模板建立后,在粗定位的人眼区域内利用该模板进行滑动搜索,同时对眼白和眼球的灰度差进行计算,在灰度图中可看出,当模板覆盖住人眼位置时,由于眼白与眼球的灰度差明显,所以在该位置的灰度积分差值为最大,由此可利用该特点,通过对左右两边分别检测,把搜索找出的左右模板灰度差值最大的地方,分别确定为两眼的精确位置。
本发明也可以采用其他各种现有技术实现人眼定位。
不良驾驶行为检测模块,用于对不良驾驶行为进行检测;
不良驾驶行为包括疲劳驾驶、低头看手机或其它视线长时间偏离驾驶视线范围的行为。
疲劳驾驶检测,在预定时间内,检测驾驶人员眼睛的闭合时间,如果闭合时间超过预定阈值,则判定驾驶人员出现疲劳驾驶行为。
对于正常驾驶行为,驾驶人员的视线在绝大多数的时间内应该是注视车辆前方,以保证能够观察到车辆前方的路面情况,本发明将驾驶人员能够观察到车辆前方的路面情况的视线范围称为驾驶视线范围。而当驾驶人员低头看手机或做其他与驾驶无关的动作时,这时的视线范围就会偏离驾驶视线范围。
视线偏离检测,在预定时间内,检测驾驶人员视线偏离驾驶视线范围的时间,如果视线偏离驾驶视线范围的时间超过预定阈值,则判定驾驶人员出现了视线偏离的驾驶行为,比如是在频繁看手机或者做其他影响驾驶的行为。
不良驾驶行为警告模块,用于对不良驾驶行为进行警告;
检测到不良驾驶行为后,通过语音向驾驶人员发出警告,以提醒驾驶人员注意。
不良驾驶行为处置模块,用于对不良驾驶行为进行处置;
当在预定时间内检测到的不良驾驶行为次数超过给定阈值,则对不良驾驶行为采取处置措施。
当驾驶人员处于极度疲劳状态或者沉溺于手机内容,或者极端情况下,驾驶人员身体出现了异常情况,如失去意识,这时外部提醒方式可能不会引起驾驶人员的注意,也就是说这时外部提醒的警告方式无效,这时需要采取主动处置措施,以避免发生交通事故。
不良驾驶行为处置措施包括:
车辆驾驶权限切换,将车辆驾驶权限切换到自动驾驶模式,在自动驾驶模式下,驾驶人员无法对车辆进行控制,当然,驾驶人员可以手工将车辆驾驶权限切换到手动驾驶模式。
开启警示装置,为了提醒道路上其他车辆和行为,开启车上的警示装置以引起他人注意,警示装置包括危险警示灯、报警器等。
自动减速停车,为了方式出现交通危险,需要将车辆停下来,当然,停车时需要逐级减速停车,以防止发生被其他车辆追尾等危险。
为了不影响道路上其他车辆和行人的交通,优选的,停车时自动行驶到最右侧路边停靠。为了实现最右侧路边停靠,首先需要定位自身车辆在道路的位置,这涉及到车道线检测和路面检测,可通过车载摄像头、车载GPS实现对车道线和路面的检测,从而确定自身车辆在道路的位置以及路面的车道情况和路面最右侧路边的位置。为了将车辆停靠到道路最右侧路边,车辆需要进行并线变道,这时需要考虑到路面上其他车辆的情况,通过车载摄像头,确定自身车辆前方、右前方、右侧、右后方是否有车辆以及与自身车辆之间的距离。在进行并线变道时,不仅要考虑到距离,还需要考虑车速,因此还需要检测自身车辆前方、右前方、右侧、右后方车辆的速度,可以通过自身车辆的速度和其他车辆与自身车辆之间的距离来确定其他车辆的车速,例如在给定时间,其他车辆与自身车辆的距离始终保持不变,则其他车辆与自身车辆的速度相等,如果前方或右前方车辆与自身车辆的距离变远,说明前方或右前方车辆的车速大于自身车辆的车速,再根据距离与时间之间的关系,即可计算出前方或右前方车辆的车速,如果右后方车辆与自身车辆的距离变远,说明右后方车辆的车速小于自身车辆的车速,再根据距离与时间之间的关系,即可计算出右后方车辆的车速。当右侧没有车辆,且前方、右前方、右后方车辆的距离和车速满足预定条件,则控制车辆向右侧车道并线变道。当车辆已经在最右侧路边,即车辆右侧已经没有道路,这时减速停车。
考虑到道路交通信号灯的情况,优选的,本发明在自动驾驶模式下,还具有交通信号灯检测功能,当检测到交通信号灯时,控制车辆减速慢性,当检测到交通信号灯为红灯或黄灯时,控制车辆减速停驶。
考虑到不同品牌车辆的价值不同,发生事故时产生的损失不同,本发明在并线变道时,还增加了对其他车辆进行品牌和车型的识别功能,通过获取其他车辆的车标、外形等典型特征,再与数据库中预存的信息进行比对,确定车辆的品牌和车型。对于不同品牌和车型的车辆,设定不同的并线变道预定条件。比如对于价值很高的车辆,可将变道距离设置的长一些。
优选的,对于驾驶人员低头操作手机的情况,还可以进一步的进行特殊处置。通过获取驾驶人员图像,判断其视线范围预定距离内是否有手机,即可判断不良驾驶行为是否为操作手机。当判断不良驾驶行为是操作手机时,通过施加电磁干扰,屏蔽手机的通信信号,使得驾驶人员无法继续使用手机。
本发明可以对包括疲劳驾驶在内的多种不良驾驶行为进行检测,并且在检测到不良驾驶行为后,给驾驶人员予以警告,在警告无效时,进一步采取处置措施,主动控制车辆停驶,提高了车辆行驶的安全性,减少了交通事故的发生。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (9)
1.一种汽车智能监控方法,用于监控驾驶人员的不良行为,所述方法包括:
监测驾驶人员的驾驶行为,
如果驾驶人员不存在不良驾驶行为,则继续保持监测;
如果驾驶人员存在不良驾驶行为,则执行以下步骤:
获取驾驶人员图像;
通过判断驾驶人员视线范围预定距离内是否有手机,判断不良驾驶行为是否为操作手机;
当判断不良驾驶行为是操作手机时,通过施加电磁干扰,屏蔽手机的通信信号,使得驾驶人员无法继续使用手机。
2.根据权利要求1所述的汽车智能监控方法,所述监测驾驶人员的驾驶行为包括:
步骤S100,对驾驶人员进行人脸定位;
步骤S200,对驾驶人员进行人眼定位;
步骤S300,不良驾驶行为检测;
步骤S400,不良驾驶行为警告;
步骤S500,不良驾驶行为处置;
其中,不良驾驶行为处置包括对于驾驶人员低头操作手机的情况进行处置。
3.如权利要求2所述的汽车智能监控方法,步骤S100包括自然光照下的人脸定位和红外光照下的人脸定位,其中,
在自然光照下,利用肤色对人脸进行定位,选择YCbCr颜色空间,在YCbCr颜色空间中确定满足109<cb<l40,135<cr<158的像素区域,由此确定出人脸的位置,实现对人脸的定位。
4.如权利要求2所述的汽车智能监控方法,步骤S200分为人眼粗定位和人眼精确定位,其中,
在实行人眼粗定位之前,先对人眼的搜索范围进一步缩小,将搜索范围确定在脸部区域从上到下的1/5到1/2之间;
对于步骤S100人脸定位后得到的人脸图像,采用灰度投影法对人脸图像从上到下的1/5到1/2之间区域在横向上进行投影,得到第一波峰和第二波峰,第一波峰值大于第二波峰值,将第一波峰位置确定为人眼横向中心线,将第一波峰和第二波峰之间的波谷确定为人眼上边缘界限,人眼横向中心线与人眼上边缘界限之间的距离为d,接着,根据人眼对称性,从人眼横向中心线向下移动距离d,得到眼睛下边缘界限,完成人眼的粗定位;
对粗定位的人眼区域,进一步进行人眼精确定位:
首先建立人眼模板,将眼睛视为椭圆形状,其椭圆内接圆为眼球,其余部分为眼白,通过椭圆和内接圆方程,得出当前像素所在位置。即:
设当前像素坐标为(x,y):
在像素位于眼球区域时:x2+y2<r2,其中r为内接圆半径,
在像素位于眼白区域时:且x2+y2>r2,
R代表椭圆长半轴长度,r代表椭圆短半轴长度,同时也是内接圆半径的长度,
模板建立后,在粗定位的人眼区域内利用该模板进行滑动搜索,同时对眼白和眼球的灰度差进行计算,在灰度图中,当模板覆盖住人眼位置时,由于眼白与眼球的灰度差明显,所以在该位置的灰度积分差值为最大,利用该特点,通过对左右两边分别检测,把搜索找出的左右模板灰度差值最大的地方,分别确定为两眼的精确位置。
5.如权利要求2所述的汽车智能监控方法,其中,步骤S300包括:
疲劳驾驶检测,在预定时间内,检测驾驶人员眼睛的闭合时间,如果闭合时间超过预定阈值,则判定驾驶人员出现疲劳驾驶行为,和/或
视线偏离检测,在预定时间内,检测驾驶人员视线偏离驾驶视线范围的时间,如果视线偏离驾驶视线范围的时间超过预定阈值,则判定驾驶人员出现了视线偏离的驾驶行为。
6.如权利要求2所述的汽车智能监控方法,步骤S500包括当在预定时间内检测到的不良驾驶行为次数超过给定阈值,则对不良驾驶行为采取处置措施,进一步包括:
车辆驾驶权限切换,将车辆驾驶权限切换到自动驾驶模式,在自动驾驶模式下,驾驶人员无法对车辆进行控制;
开启警示装置,开启车上的警示装置以引起他人注意,警示装置包括危险警示灯、报警器;
自动减速停车,逐级减速停车,防止发生被其他车辆追尾。
7.如权利要求2所述的汽车智能监控方法,其中,自动减速停车包括:
定位自身车辆在道路的位置,通过车载摄像头、车载GPS实现对车道线和路面的检测,确定自身车辆在道路的位置以及路面的车道情况和路面最右侧路边的位置;
通过车载摄像头,确定自身车辆前方、右前方、右侧、右后方是否有车辆以及与自身车辆之间的距离;
通过自身车辆的速度和其他车辆与自身车辆之间的距离来确定其他车辆的车速;
当右侧没有车辆,且前方、右前方、右后方车辆的距离和车速满足预定条件,则控制车辆向右侧车道并线变道;
当车辆已经在最右侧路边,即车辆右侧已经没有道路,减速停车。
8.一种汽车智能监控装置,用于监控驾驶人员的不良行为,所述装置包括:
监测装置,用于监测驾驶人员的驾驶行为,如果驾驶人员不存在不良驾驶行为,则继续保持监测;
处理装置,如果通过检测装置获知驾驶人员存在不良驾驶行为,则获取驾驶人员图像,通过判断驾驶人员视线范围预定距离内是否有手机,判断不良驾驶行为是否为操作手机,当判断不良驾驶行为是操作手机时,通过施加电磁干扰,屏蔽手机的通信信号,使得驾驶人员无法继续使用手机。
9.根据权利要求8所述的智能监控装置,所述监测装置包括:
人脸定位模块,用于对驾驶人员进行人脸定位;
人眼定位模块,对驾驶人员进行人眼定位;
不良驾驶行为检测模块,用于对不良驾驶行为进行检测;
不良驾驶行为警告模块,用于对不良驾驶行为进行警告。
其中,不良驾驶行为处置模块包括对于驾驶人员低头操作手机的情况进行处置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611110035.6A CN106627529A (zh) | 2016-12-06 | 2016-12-06 | 一种汽车智能监控方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611110035.6A CN106627529A (zh) | 2016-12-06 | 2016-12-06 | 一种汽车智能监控方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106627529A true CN106627529A (zh) | 2017-05-10 |
Family
ID=58819659
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611110035.6A Pending CN106627529A (zh) | 2016-12-06 | 2016-12-06 | 一种汽车智能监控方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106627529A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107862296A (zh) * | 2017-11-20 | 2018-03-30 | 深圳市深视创新科技有限公司 | 驾驶员行为的监控方法及***、计算机可读存储介质 |
TWI634454B (zh) * | 2017-05-19 | 2018-09-01 | 致伸科技股份有限公司 | 人體感知檢測系統及其方法 |
CN108608940A (zh) * | 2018-04-27 | 2018-10-02 | 长沙硕铠电子科技有限公司 | 一种判断智能手机是否在驾驶座区域的方法 |
CN108790816A (zh) * | 2018-05-24 | 2018-11-13 | 安徽中科中涣防务装备技术有限公司 | 一种公交车驾驶区安全综合电子围栏*** |
CN109167874A (zh) * | 2018-07-18 | 2019-01-08 | 奇酷互联网络科技(深圳)有限公司 | 移动终端及监控驾驶用户动作状态的方法、装置 |
CN110765994A (zh) * | 2019-10-10 | 2020-02-07 | 广东小天才科技有限公司 | 一种书本内容定位方法、装置、电子设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN2855840Y (zh) * | 2005-12-01 | 2007-01-10 | 张秀云 | 汽车车内的电波屏蔽装置 |
CN104228679A (zh) * | 2014-09-30 | 2014-12-24 | 浙江吉利控股集团有限公司 | 一种车辆驾驶时接打电话提醒装置 |
CN105160913A (zh) * | 2015-08-17 | 2015-12-16 | 上海斐讯数据通信技术有限公司 | 一种规范驾驶人驾驶行为的方法及装置 |
CN105261153A (zh) * | 2015-11-03 | 2016-01-20 | 北京奇虎科技有限公司 | 车辆行驶监控方法和装置 |
CN105574487A (zh) * | 2015-11-26 | 2016-05-11 | 中国第一汽车股份有限公司 | 基于面部特征的驾驶人注意力状态检测方法 |
CN105788028A (zh) * | 2016-03-21 | 2016-07-20 | 上海仰笑信息科技有限公司 | 具有疲劳驾驶预警功能的行车记录仪 |
-
2016
- 2016-12-06 CN CN201611110035.6A patent/CN106627529A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN2855840Y (zh) * | 2005-12-01 | 2007-01-10 | 张秀云 | 汽车车内的电波屏蔽装置 |
CN104228679A (zh) * | 2014-09-30 | 2014-12-24 | 浙江吉利控股集团有限公司 | 一种车辆驾驶时接打电话提醒装置 |
CN105160913A (zh) * | 2015-08-17 | 2015-12-16 | 上海斐讯数据通信技术有限公司 | 一种规范驾驶人驾驶行为的方法及装置 |
CN105261153A (zh) * | 2015-11-03 | 2016-01-20 | 北京奇虎科技有限公司 | 车辆行驶监控方法和装置 |
CN105574487A (zh) * | 2015-11-26 | 2016-05-11 | 中国第一汽车股份有限公司 | 基于面部特征的驾驶人注意力状态检测方法 |
CN105788028A (zh) * | 2016-03-21 | 2016-07-20 | 上海仰笑信息科技有限公司 | 具有疲劳驾驶预警功能的行车记录仪 |
Non-Patent Citations (2)
Title |
---|
刘洪榛: "基于机器视觉的疲劳驾驶检测算法研究", 《华南理工大学硕士学位论文》 * |
郑庆: "基于肤色的人脸检测与人眼定位", 《电子科技大学硕士学位论文》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI634454B (zh) * | 2017-05-19 | 2018-09-01 | 致伸科技股份有限公司 | 人體感知檢測系統及其方法 |
CN107862296A (zh) * | 2017-11-20 | 2018-03-30 | 深圳市深视创新科技有限公司 | 驾驶员行为的监控方法及***、计算机可读存储介质 |
CN108608940A (zh) * | 2018-04-27 | 2018-10-02 | 长沙硕铠电子科技有限公司 | 一种判断智能手机是否在驾驶座区域的方法 |
CN108790816A (zh) * | 2018-05-24 | 2018-11-13 | 安徽中科中涣防务装备技术有限公司 | 一种公交车驾驶区安全综合电子围栏*** |
CN109167874A (zh) * | 2018-07-18 | 2019-01-08 | 奇酷互联网络科技(深圳)有限公司 | 移动终端及监控驾驶用户动作状态的方法、装置 |
CN110765994A (zh) * | 2019-10-10 | 2020-02-07 | 广东小天才科技有限公司 | 一种书本内容定位方法、装置、电子设备及存储介质 |
CN110765994B (zh) * | 2019-10-10 | 2023-05-26 | 广东小天才科技有限公司 | 一种书本内容定位方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106585629B (zh) | 一种车辆控制方法和装置 | |
CN106627529A (zh) | 一种汽车智能监控方法和装置 | |
CN101512617B (zh) | 行驶信息提供装置 | |
US6927694B1 (en) | Algorithm for monitoring head/eye motion for driver alertness with one camera | |
CN100462047C (zh) | 基于全方位计算机视觉的安全驾驶辅助装置 | |
CN108446600A (zh) | 一种车辆驾驶员疲劳监测预警***及方法 | |
CN105769120B (zh) | 疲劳驾驶检测方法和装置 | |
CN103886307B (zh) | 一种视线跟踪及疲劳预警方法 | |
CN108407813A (zh) | 一种基于大数据的车辆抗疲劳安全驾驶方法 | |
CN106143308B (zh) | 基于智能后视镜的车道偏离预警*** | |
CN108639055A (zh) | 车辆的显示***及车辆的显示***的控制方法 | |
CN110532976A (zh) | 基于机器学习和多特征融合的疲劳驾驶检测方法及*** | |
CN106355838A (zh) | 一种疲劳驾驶检测方法和*** | |
CN110826369A (zh) | 一种驾驶员驾驶时注意力检测方法和*** | |
CN102752458A (zh) | 一种驾驶员疲劳检测手机与检测单元 | |
CN101783964A (zh) | 基于图像识别技术的色盲或色弱者辅助驾驶*** | |
CN107292251A (zh) | 一种基于人眼状态的驾驶员疲劳检测方法及*** | |
CN110276968A (zh) | 一种雾区高速公路特长隧道入口安全诱导*** | |
CN110435672A (zh) | 一种基于场景预判安全驾驶辅助方法及其*** | |
CN104318237A (zh) | 基于人脸识别的疲劳驾驶预警方法 | |
CN104751600A (zh) | 基于虹膜识别的防疲劳驾驶安全设备及其使用方法 | |
CN107599956A (zh) | 一种夜间会车安全控制*** | |
CN106652353A (zh) | 一种交通工具控制方法和装置 | |
CN106650635A (zh) | 一种驾驶员后视镜查看行为检测方法及*** | |
CN105572869B (zh) | 智能眼镜及智能眼镜控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170510 |