CN106127155A - 一种行车危险识别方法和*** - Google Patents
一种行车危险识别方法和*** Download PDFInfo
- Publication number
- CN106127155A CN106127155A CN201610473698.8A CN201610473698A CN106127155A CN 106127155 A CN106127155 A CN 106127155A CN 201610473698 A CN201610473698 A CN 201610473698A CN 106127155 A CN106127155 A CN 106127155A
- Authority
- CN
- China
- Prior art keywords
- image
- face
- eyebrow
- eyes
- opens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 210000004709 eyebrow Anatomy 0.000 claims abstract description 81
- 230000008569 process Effects 0.000 claims abstract description 25
- 230000008921 facial expression Effects 0.000 claims abstract description 19
- 238000001514 detection method Methods 0.000 claims abstract description 15
- 238000011946 reduction process Methods 0.000 claims abstract description 11
- 230000001815 facial effect Effects 0.000 claims description 27
- 210000001747 pupil Anatomy 0.000 claims description 22
- 230000014509 gene expression Effects 0.000 claims description 13
- 210000003128 head Anatomy 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 4
- 230000004069 differentiation Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 210000004209 hair Anatomy 0.000 claims description 2
- 238000000605 extraction Methods 0.000 abstract description 4
- 230000005540 biological transmission Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 241001282135 Poromitra oscitans Species 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 206010048232 Yawning Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种行车危险识别方法和***,所述方法为通过获取驾驶人的多张面部图像,并分别对多张所述面部图像进行降噪处理和基于正则化自适应图像超分辨率重建算法的增强处理,以便提高特征点提取的准确性;再对预处理后的面部图像进行边缘检测,获得眉毛、眼睛和嘴部特征,当所述面部图像中的眉毛、眼睛和嘴部特征满足行车危险的判别条件时,能够有效地识别出驾驶人遇到行车危险时的面部表情,从而判别到有危险行车情况;最后通过发送紧急处理信号对行车危险进行相应处理,从而保证驾驶人的行车安全。
Description
技术领域
本发明涉及汽车安全领域,尤其涉及一种行车危险识别方法和***。
背景技术
随着人们生活水平的日益改善,机动车逐渐成为人们出行的必要交通工具。交通事故成为威胁人类生命安全的重要因素之一,因此,汽车行驶安全问题也越来越受关注。尤其是驾驶员自身原因,例如,疲劳驾驶成为造成交通事故的主要原因。另外,行经偏僻路段或是深夜独自行车也可能会发生异常劫车事件,给驾驶人员造成人身财产安全。
因此,如何有效的识别行车危险,保证驾驶人安全成为目前主要解决的技术问题。
发明内容
有鉴于此,本发明公开了一种行车危险识别方法和***,能够通过驾驶人面部表情的识别,有效判别出有行车危险发生,进而保证驾驶人的行车安全。
本发明公开了一种行车危险识别方法,包括:
获取驾驶人的N张面部图像,其中N大于等于2;
分别对N张所述面部图像进行预处理;其中所述预处理包括:降噪处理和基于正则化自适应图像超分辨率重建算法的增强处理;
分别对预处理后的N张所述面部图像进行边缘检测,获得眉毛、眼睛和嘴部特征;
判断N张所述面部图像中眉毛、眼睛和嘴部特征是否满足行车危险的判别条件;
若N张所述面部图像中眉毛、眼睛和嘴部特征满足行车危险的判别条件,发送紧急处理信号,以便对行车危险进行相应处理。
优选的,分别对N张所述面部图像进行基于正则化自适应图像超分辨率重建算法的增强处理,包括:
用插值法分别对N张所述面部图像进行上采样;
分别对上采样后的N张所述面部图像进行分块处理;
基于正则化参数自适应模型,分别对每张面部图像的图像块进行稀疏表示,以获得各个图像块的最优解;
根据所述各个图像块的最优解重建每张面部图像的图像块;
合并重建后的面部图像的图像块,以获得增强后的面部图像。
优选的,所述判断N张所述面部图像的眉毛、眼睛和嘴部特征是否满足行车危险的判别条件,包括:
判断N张所述面部图像的眉毛、眼睛和嘴部特征是否同时满足第一惊恐判别条件和第二惊恐判别条件;
其中,所述若N张所述面部图像的眉毛、眼睛和嘴部特征满足行车危险的判别条件,发送紧急处理信号,以便对行车危险进行相应处理为:
若N张所述面部图像的眉毛、眼睛和嘴部特征同时满足第一惊恐判别条件和第二惊恐判别条件,发送远程报警信号。
优选的,所述判断N张所述面部图像的眉毛、眼睛和嘴部特征是否同时满足第一惊恐判别条件和第二惊恐判别条件,包括:
分别计算每张所述面部图像中眉毛中心特征点与所述眼睛瞳孔中心的距离和两个眉毛中心特征点的距离;
分别判断每张面部图像中眉毛中心特征点与眼睛瞳孔中心的距离是否大于第一预设值,并且两个眉毛中心特征点的距离是否小于第二预设值;
若满足所述眉毛中心特征点与眼睛瞳孔中心的距离大于第一预设值,并且两个眉毛中心特征点的距离小于第二预设值的面部图像的个数大于第三预设值,判定N张所述面部图像的眉毛、眼睛特征满足第一惊恐判别条件;
分别计算每张面部图像中眼睛的边缘特征点与瞳孔中心距离的平均值;
分别判断每张面部图像中眼睛的边缘特征点与瞳孔中心距离的平均值是否大于平静状态下的平均距离;
若满足眼睛的边缘特征点与瞳孔中心距离的平均值大于平静状态下的平均距离的面部图像的个数大于第三预设值,判定N张所述面部图像的眼睛特征满足第二惊恐判别条件。
优选的,所述判断N张所述面部图像的眉毛、眼睛和嘴部特征是否满足行车危险的判别条件,包括:
判断N张所述面部图像的眉毛、眼睛和嘴部特征是否同时满足第一疲劳判别条件和第二疲劳判别条件;
其中,所述若N张所述面部图像的眉毛、眼睛和嘴部特征满足行车危险的判别条件,发送紧急处理信号,以便对行车危险进行相应处理为:
若N张所述面部图像的眉毛、眼睛和嘴部特征同时满足第一疲劳判别条件和第二疲劳判别条件,发送语音提示信号。
优选的,所述判断N张所述面部图像的眉毛、眼睛和嘴部特征是否同时满足第一疲劳判别条件和第二疲劳判别条件,包括:
分别对每张面部图像中的眼睛瞳孔处的特征点进行提取;
判断能提取到眼睛瞳孔处的特征点的面部图像的个数是否小于第三预设值;
若能提取到眼睛瞳孔处的特征点的面部图像的个数小于第三预设值,判定N张所述面部图像的眼睛特征满足第一疲劳判别条件;
分别计算每张面部图像中嘴部上唇中心特征点与下唇中心特征点的距离;
分别判别每张面部图像中嘴部上唇中心特征点与下唇中心特征点的距离是否大于第四预设值;
若满足嘴部上唇中心特征点与下唇中心特征点的距离大于第四预设值的面部图像的个数大于第三预设值,判定N张所述面部图像的嘴部特征满足第二疲劳判别条件。
优选的,所述分别对预处理后的N张面部图像进行边缘检测,获得眉毛、眼睛和嘴部特征,包括:
利用Susan算法分别对预处理后的N张面部图像进行边缘检测,获得眉毛、眼睛和嘴部特征。
优选的,所述分别对N张所述面部图像进行预处理,包括:
利用中值滤波法分别对N张所述面部图像进行降噪处理。
优选的,所述判断N张所述面部图像中眉毛、眼睛和嘴部特征是否满足行车危险的判别条件之前,还包括:
基于匹配模型判断N张所述面部图像中的眉毛、眼睛和嘴部特征是否为同一驾驶人的面部特征;
若N张所述面部图像中的眉毛、眼睛和嘴部特征为同一驾驶人的面部特征,执行判断N张所述面部图像中眉毛、眼睛和嘴部特征是否满足行车危险的判别条件。
优选的,所述基于匹配模型判断N张所述面部图像中的眉毛、眼睛和嘴部特征是否为同一驾驶人的面部特征,包括:
分别计算N张所述面部图像中两眼睛瞳孔的特征点之间的距离,以及嘴部中心点分别与两瞳孔特征点的距离,以建立一个三角比例模型;
判断N张所述面部图像中三角比例是否匹配;
若N张所述面部图像中三角比例匹配,认为N张面部图像中的面部特征为同一驾驶人的面部特征,执行判断N张所述面部表情的眉毛、眼睛和嘴部特征是否满足行车危险的判别条件;
若N张所述面部图像中三角比例不匹配,认为N张面部图像中的面部特征不是同一驾驶人的面部特征,执行获取驾驶人的多张面部图像。
本发明公开了一种行车危险识别***,包括:
图像采集模块、人脸表情识别模块和紧急处理模块;
其中,所述图像采集模块用于采集驾驶人的面部图像;所述人脸表情识别模块用于采用权利要求1~10任意一项的行车危险识别方法对驾驶人的面部表情进行识别,并发送紧急处理信号给所述紧急处理模块;
所述紧急处理模块根据接收到紧急处理信号对行车危险进行紧急处理。
优选的,所述图像采集模块,包括:
摄像装置和补光灯;
其中,所述摄像装置用于对驾驶人的面部区域进行摄像;所述补光灯用于在车内亮度值小于预设的参考值时开启,以便为所述摄像装置提供充足光源。
优选的,所述紧急处理模块,包括:
语音设备;
其中,所述语音设备用于接收所述人脸表情识别模块发送的语音提示信号,并根据所述语音提示信号播放提示语音。
优选的,所述紧急处理模块,包括:
GPS定位终端和远程通信模块;
其中,所述远程通信模块用于接收所述人脸表情识别模块发送的远程报警信号,并且获取所述GPS定位终端的位置信息,并将携带有所述位置信息的报警信息发送至报警平台。
相对于现有技术,本发明的有益效果是:本发明通过获取驾驶人的多张面部图像,并分别对多张所述面部图像进行降噪处理和基于正则化自适应图像超分辨率重建算法的增强处理,以便提高特征点提取的准确性;再对预处理后的面部图像进行边缘检测,获得眉毛、眼睛和嘴部特征,当所述面部图像中的眉毛、眼睛和嘴部特征满足行车危险的判别条件时,能够有效地识别出驾驶人遇到行车危险时的面部表情,从而判别到有危险行车情况;最后通过发送紧急处理信号对行车危险进行相应处理,从而保证驾驶人的行车安全。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1本发明实施例公开的一种行车危险识别方法的流程图;
图2本发明另一实施例公开的一种行车危险识别方法的流程图;
图3本发明另一实施例公开的一种行车危险识别方法的流程图;
图4本发明实施例公开的一种行车危险识别***的结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明公开了一种行车危险识别方法,参见图1,所述方法,包括:
步骤S101、获取驾驶人的N张面部图像,其中N大于等于2;
其中,所述N张面部图像是从拍摄的视频中按照固定频率进行获取的;为保证驾驶人面部表情识别的准确性,需要对多张驾驶人的面部图像进行识别,所述N需要大于等于2;由于驾驶人的某一种面部表情一般会持续几秒钟,在这段时间内拍摄的图像中获取的图像的个数越多,驾驶人面部表情的识别就越准确;
步骤S102、分别对N张所述面部图像进行预处理;其中所述预处理包括:降噪处理和基于正则化自适应图像超分辨率重建算法的增强处理;
其中,利用中值滤波法分别对N张所述面部图像进行降噪处理,以便对面部图像中的噪点进行优化和消除;利用基于正则化自适应图像超分辨率重建算法分别对N张所述面部图像进行增强处理,能够增强面部图像的质量;
步骤S103、分别对预处理后的N张所述面部图像进行边缘检测,获得眉毛、眼睛和嘴部特征;
其中,所述边缘检测的目的是标识面部图像中亮度变化明显的点,保留图像重要的结构属性,也就是眉毛、眼睛和嘴部的特征;
利用Susan算法对面部图像进行边缘检测的过程如下:
首先对面部图像进行3*3图像块的分割,并对每个图像块在x,y方向分别建立一阶差分ΔxK(m,n)、ΔyK(m,n),构建梯度向量函数:
然后使用阈值法即梯度的最大值来估计边缘,取点K(x,y)处的梯度最大值G[K(x,y)],并给出梯度图像p(x,y)=G[K(x,y)],由于平滑区内的点梯度值小于其他区域,因此在此区域可以用K(x,y)代替G[K(x,y)],联立两式得出边缘识别的算法:
其中,T为阈值;正常情况下,边缘分割最优阈值T分布在0.1至0.6之间,在此范围内调整不同阈值T产生的二值化灰度图像中通过搜索到眼睛、眉毛、嘴部位的黑块来确定最优的阈值,此时的黑块坐标即可定位出眉毛、眼睛、嘴的位置,分别在数学坐标中做好标定;
步骤S104、判断N张所述面部图像中眉毛、眼睛和嘴部特征是否满足行车危险的判别条件;若N张所述面部图像中眉毛、眼睛和嘴部特征满足行车危险的判别条件,执行步骤S105,否则,执行步骤S101;
其中,行车危险的判别条件包括疲劳判别条件、惊恐判别条件,而疲劳判别条件包括第一疲劳判别条件和第二疲劳判别条件;惊恐判别条件包括第一惊恐判别条件和第二惊恐判别条件;也就是说本发明能够对驾驶人疲劳和惊恐两种面部表情进行识别;
步骤S105、发送紧急处理信号,以便对行车危险进行相应处理。
其中,针对识别出驾驶人不同的面部表情发送不同的紧急处理信息,如果面部表情特征为疲劳,发送语音提示信号,如果面部表情特征为惊恐,发送远程报警信号,以便针对不同行车危险做应对处理。
本实施例中,通过获取驾驶人的多张面部图像,并分别对多张所述面部图像进行降噪处理和基于正则化自适应图像超分辨率重建算法的增强处理,以便提高特征点提取的准确性;再对预处理后的面部图像进行边缘检测,获得眉毛、眼睛和嘴部特征,当所述面部图像中的眉毛、眼睛和嘴部特征满足行车危险的判别条件时,能够有效地识别出驾驶人遇到行车危险时的面部表情,从而判别到有危险行车情况;最后通过发送紧急处理信号对行车危险进行相应处理,从而保证驾驶人的行车安全。
优选的,另一实施例中,公开了一种行车危险识别方法,参见图2,包括:
步骤S201、获取驾驶人的N张面部图像,其中N大于等于2;
步骤S202、分别对N张所述面部图像进行降噪处理和基于正则化自适应图像超分辨率重建算法的增强处理;
步骤S203、分别对预处理后的N张所述面部图像进行边缘检测,获得眉毛、眼睛和嘴部特征;
步骤S204、分别计算N张所述面部图像中两眼睛瞳孔的特征点之间的距离,以及嘴部中心点分别与两瞳孔特征点的距离,以建立一个三角比例模型;
步骤S205、判断N张所述面部图像中三角比例是否匹配;若N张所述面部图像中三角比例匹配,认为N张面部图像中的面部特征为同一驾驶人的面部特征,执行步骤S206,否则,执行步骤S201;
步骤S206、分别计算每张所述面部图像中眉毛中心特征点与所述眼睛瞳孔中心的距离和两个眉毛中心特征点的距离;
步骤S207、分别判断每张面部图像中眉毛中心特征点与眼睛瞳孔中心的距离是否大于第一预设值,并且两个眉毛中心特征点的距离是否小于第二预设值;若满足所述眉毛中心特征点与眼睛瞳孔中心的距离大于第一预设值,并且两个眉毛中心特征点的距离小于第二预设值的面部图像的个数大于第三预设值,执行步骤S208,否则,执行步骤S201;
步骤S208、判定N张所述面部图像的眉毛、眼睛特征满足第一惊恐判别条件;
步骤S209、分别计算每张面部图像中眼睛的边缘特征点与瞳孔中心距离的平均值;
步骤S210、分别判断每张面部图像中眼睛的边缘特征点与瞳孔中心距离的平均值是否大于平静状态下的平均距离;若满足眼睛的边缘特征点与瞳孔中心距离的平均值大于平静状态下的平均距离的面部图像的个数大于第三预设值,执行步骤S211,否则,执行步骤S201;
步骤S211、判定N张所述面部图像的眼睛特征满足第二惊恐判别条件;
步骤S212、发送远程报警信号。
需要说明的,步骤S206~S208第一惊恐条件判别和步骤S209~S211第二惊恐条件判别仅代表本实施例的一种执行顺序,也可以先执行步骤S209~S211的动作再执行S206~S208的动作。
本实例中,根据获得的驾驶人眉毛、眼睛和嘴部特征,先通过计算N张面部图像中两眼睛瞳孔的特征点之间的距离,以及嘴部中心点分别与两瞳孔特征点的距离,以建立一个三角比例模型,当N张面部图像中三角比例匹配,认为N张面部图像中的面部特征为同一驾驶人的面部特征,再进行面部表情识别,否则重新获取N张驾驶人的面部图像,直至判断到N张面部图像为同一驾驶人的面部特征。而对于驾驶人处于惊恐驾驶状态的识别,主要是分析驾驶人眉毛中心部位特征点与眼睛瞳孔中心的距离增大,并且两边眉毛中心特征点向中间收缩,而且还要满足获取的N张面部图像中出现上述两种情况的频率较高,则认为N张所述面部图像的眼睛特征满足第一惊恐判别条件;如果驾驶人的眼部边缘的特征点向四周扩散,并且N张面部图像中出现上述情况的频率较高,说明N张所述面部图像的眼睛特征满足第二惊恐判别条件;只有获取的N张面部图像同时满足第一惊恐判别条件和第二惊恐判别条件,才能判定此时驾驶人处于惊恐状态,可能处于劫持等危险中;最后发送远程报警信号至报警平台,以便及时报警,对险情进行处理。
优选的,另一实施例中,公开了一种行车危险识别方法,参见图3,包括:
步骤S301、获取驾驶人的N张面部图像,其中N大于等于2;
步骤S302、分别对N张所述面部图像进行降噪处理和基于正则化自适应图像超分辨率重建算法的增强处理;
步骤S303、分别对预处理后的N张所述面部图像进行边缘检测,获得眉毛、眼睛和嘴部特征;
步骤S304、分别计算N张所述面部图像中两眼睛瞳孔的特征点之间的距离,以及嘴部中心点分别与两瞳孔特征点的距离,以建立一个三角比例模型;
步骤S305、判断N张所述面部图像中三角比例是否匹配;若N张所述面部图像中三角比例匹配,认为N张面部图像中的面部特征为同一驾驶人的面部特征,执行步骤S306;否则,执行步骤S301;
步骤S306、分别对每张面部图像中的眼睛瞳孔处的特征点进行提取;
步骤S307、判断能提取到眼睛瞳孔处的特征点的面部图像的个数是否小于第三预设值;若能提取到眼睛瞳孔处的特征点的面部图像的个数小于第三预设值,执行步骤S308,否则、执行步骤S301;
步骤S308、判定N张所述面部图像的眼睛特征满足第一疲劳判别条件;
步骤S309、分别计算每张面部图像中嘴部上唇中心特征点与下唇中心特征点的距离;
步骤S310、分别判别每张面部图像中嘴部上唇中心特征点与下唇中心特征点的距离是否大于第四预设值;若满足嘴部上唇中心特征点与下唇中心特征点的距离大于第四预设值的面部图像的个数大于第三预设值,执行步骤S311,否则,执行步骤S301;
步骤S311、判定N张所述面部图像的嘴部特征满足第二疲劳判别条件;
步骤S312、发送语音提示信号。
需要说明的是,步骤S306~S308第一疲劳条件判别和步骤S309~S311第二疲劳条件判别仅代表本实施例的一种执行顺序,也可以先执行步骤S309~S311的动作再执行S306~S308的动作。
本实施例中,根据获得的驾驶人眉毛、眼睛和嘴部特征,先通过计算N张所述面部图像中两眼睛瞳孔的特征点之间的距离,以及嘴部中心点分别与两瞳孔特征点的距离,以建立一个三角比例模型,当N张所述面部图像中三角比例匹配,认为N张面部图像中的面部特征为同一驾驶人的面部特征,再进行面部表情识别,否则重新获取N张驾驶人的面部图像,直至判别到N张面部图像为同一驾驶人的面部图像。而对于驾驶人处于疲劳驾驶状态的识别,主要是分析驾驶人瞳孔处的特征点高频率消失,表明驾驶人眼部眨眼频繁或是闭眼,此时判定N张面部图像满足第一疲劳判别条件;然后分析驾驶人嘴部的上唇特征点与下唇特征点的中心距离大于预设值,说明驾驶人处于频繁打哈欠的状态,此时认为N张面部图像满足第二疲劳判别条件;只有获取的N张面部图像同时满足第一疲劳判别条件和第二疲劳判别条件,才能判定此时驾驶人处于疲劳行车状态;通过发送语音提示信号,提示音可以是一段音乐或是预置的提示语音,以便对驾驶人进行提醒,避免交通事故发生。
优选的,另一实施例中,所述分别对N张所述面部图像进行基于正则化自适应图像超分辨率重建算法的增强处理,包括:
步骤S401、用插值法分别对N张所述面部图像进行上采样;
其中,在对面部图像通过插值法进行上采样的作用是放大原始图像,能够进行更高分辨率图像处理;
步骤S402、分别对上采样后的N张所述面部图像进行分块处理;
步骤S403、基于正则化参数自适应模型,分别对每张面部图像的图像块进行稀疏表示,以获得各个图像块的最优解;
其中,在执行步骤S403之前,需要对正则化参数自适应模型的字典对Dx、Dy进行训练,过程为:
输入一组HR(高分辨率)训练图像{Xi}j,一组LR(低分辨率){Yi}j测试图像和以及放大因子系数;
建立HR训练图像{Xi}j和LR测试图像{Yi}j相对应的图像块对P={X,Y};
使用拼接字典的方法训练高低分辨率字典对,公式如下:
其中,γ为正则化系数,且γ>0,αi为稀疏系数;
而对于正则化参数λ的获取,包括:
首先对公式(2)
进行加权处理,得到:
式中,Tk为第k次作用的图像块与前一次重建所得的图像的重叠部分的矩阵,zk为前一次重建图像重叠部分的像素值,λ为自适应正则化参数;
然后根据迭代加权最小二乘法获得权值Wi:
wi (k)=((αij (k-1))2+ε)-3/4--(4)
通过约束系所满足的条件:其中μ为约束系数控制凸度,可以将公式(3)转化成:
通过公式(5)进行自适应正则化参数λ的调整;
另外,基于正则化参数自适应模型分别对每张面部图像的图像块进行稀疏表示,以获得各个图像块的最优解,公式如下:
可以根据求解需求进行自适应参数调整,根据上述公式获得每个图像块对应的最优稀疏系数αi;
步骤S404、根据所述各个图像块的最优解重建每张面部图像的图像块;
并通过公式xi=Dxαi,重建第i个图像块xi;
步骤S405、合并重建后的面部图像的图像块,以获得增强后的面部图像。
本实施例中,通过正则化自适应图像超分辨率重建算法对N张面部图像进行增强处理,但增强处理的方法不限于本实施中的方法,还可以对驾驶人面部图像进行直方图均衡化处理,统计采集到的图像中像素个数和灰度值,对像素个数多的灰度值做延展操作,对数量少的灰度值进行归并,从而得到增强后的面部图像。对获取的驾驶人面部图像进行增强处理,可以增强面部图像的质量,进而提高面部特征提取的准确性。
基于上述方法,本发明公开了一种行车危险识别***,参见图4,包括:
图像采集模块101、人脸表情识别模块102和紧急处理模块103;
其中,所述图像采集模块101用于采集驾驶人的面部图像;所述人脸表情识别模块102用于采用上述实施例中公开的行车危险识别方法对驾驶人的面部表情进行识别,并发送紧急处理信号给所述紧急处理模块;所述紧急处理模块103根据接收到紧急处理信号对行车危险进行紧急处理。
优选的,所述图像采集模块101包括摄像装置104和补光灯105;
其中,所述摄像装置104用于对驾驶人的面部区域进行摄像;所述补光灯105用于在车内亮度值小于预设的参考值时开启,以便为所述摄像装置提供充足光源。
优选的,所述紧急处理模块103包括语音设备106;
其中,所述语音设备106用于接收所述人脸表情识别模块102发送的语音提示信号,并根据所述语音提示信号播放提示语音。
优选的,所述紧急处理模块103包括GPS定位终端107和远程通信模块108;
其中,所述远程通信模块108用于接收所述人脸表情识别模块102发送的远程报警信号,并且获取所述GPS定位终端107的位置信息,并将携带有所述位置信息的报警信息发送至报警平台。
本实施公开的行车危险识别***,能够通过摄像装置104实时拍摄驾驶人的面部图像,如果车内光线较弱,补光灯105能自动检测车内亮度值,为摄像装置104提供光源;人脸表情识别模块102按照预设频率获取摄像装置104采集的图像,进行面部表情的识别。当判定驾驶人的面部表情为疲劳时,发送语音提示信号给语音设备106,所述语音设备106开始播放提前设定好的音乐或者提示音,以便提醒驾驶人,避免事故发生;当判定驾驶人的面部表情为惊恐时,发送远程报警信号给远程通信模块108,远程通信模块108获取GPS定位终端107的位置信息,其中位置信息包括城市名、区域名和路段名,结合车内危险的报警信息一起发送给报警平台,以避免驾驶人的生命和财产安全受到损害。
需要说明的是,本实施例公开的行车危险识别***中,各个模块的具体工作过程请参见对应图1、2、3的方法实施例,此处不再赘述。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (14)
1.一种行车危险识别方法,其特征在于,包括:
获取驾驶人的N张面部图像,其中N大于等于2;
分别对N张所述面部图像进行预处理;其中所述预处理包括:降噪处理和基于正则化自适应图像超分辨率重建算法的增强处理;
分别对预处理后的N张所述面部图像进行边缘检测,获得眉毛、眼睛和嘴部特征;
判断N张所述面部图像中眉毛、眼睛和嘴部特征是否满足行车危险的判别条件;
若N张所述面部图像中眉毛、眼睛和嘴部特征满足行车危险的判别条件,发送紧急处理信号,以便对行车危险进行相应处理。
2.根据权利要求1所述的方法,其特征在于,分别对N张所述面部图像进行基于正则化自适应图像超分辨率重建算法的增强处理,包括:
用插值法分别对N张所述面部图像进行上采样;
分别对上采样后的N张所述面部图像进行分块处理;
基于正则化参数自适应模型,分别对每张面部图像的图像块进行稀疏表示,以获得各个图像块的最优解;
根据所述各个图像块的最优解重建每张面部图像的图像块;
合并重建后的面部图像的图像块,以获得增强后的面部图像。
3.根据权利要求1所述的方法,其特征在于,所述判断N张所述面部图像的眉毛、眼睛和嘴部特征是否满足行车危险的判别条件,包括:
判断N张所述面部图像的眉毛、眼睛和嘴部特征是否同时满足第一惊恐判别条件和第二惊恐判别条件;
其中,所述若N张所述面部图像的眉毛、眼睛和嘴部特征满足行车危险的判别条件,发送紧急处理信号,以便对行车危险进行相应处理为:
若N张所述面部图像的眉毛、眼睛和嘴部特征同时满足第一惊恐判别条件和第二惊恐判别条件,发送远程报警信号。
4.根据权利要求3所述的方法,其特征在于,所述判断N张所述面部图像的眉毛、眼睛和嘴部特征是否同时满足第一惊恐判别条件和第二惊恐判别条件,包括:
分别计算每张所述面部图像中眉毛中心特征点与所述眼睛瞳孔中心的距离和两个眉毛中心特征点的距离;
分别判断每张面部图像中眉毛中心特征点与眼睛瞳孔中心的距离是否大于第一预设值,并且两个眉毛中心特征点的距离是否小于第二预设值;
若满足所述眉毛中心特征点与眼睛瞳孔中心的距离大于第一预设值,并且两个眉毛中心特征点的距离小于第二预设值的面部图像的个数大于第三预设值,判定N张所述面部图像的眉毛、眼睛特征满足第一惊恐判别条件;
分别计算每张面部图像中眼睛的边缘特征点与瞳孔中心距离的平均值;
分别判断每张面部图像中眼睛的边缘特征点与瞳孔中心距离的平均值是否大于平静状态下的平均距离;
若满足眼睛的边缘特征点与瞳孔中心距离的平均值大于平静状态下的平均距离的面部图像的个数大于第三预设值,判定N张所述面部图像的眼睛特征满足第二惊恐判别条件。
5.根据权利要求1所述的方法,其特征在于,所述判断N张所述面部图像的眉毛、眼睛和嘴部特征是否满足行车危险的判别条件,包括:
判断N张所述面部图像的眉毛、眼睛和嘴部特征是否同时满足第一疲劳判别条件和第二疲劳判别条件;
其中,所述若N张所述面部图像的眉毛、眼睛和嘴部特征满足行车危险的判别条件,发送紧急处理信号,以便对行车危险进行相应处理为:
若N张所述面部图像的眉毛、眼睛和嘴部特征同时满足第一疲劳判别条件和第二疲劳判别条件,发送语音提示信号。
6.根据权利要求5所述的方法,其特征在于,所述判断N张所述面部图像的眉毛、眼睛和嘴部特征是否同时满足第一疲劳判别条件和第二疲劳判别条件,包括:
分别对每张面部图像中的眼睛瞳孔处的特征点进行提取;
判断能提取到眼睛瞳孔处的特征点的面部图像的个数是否小于第三预设值;
若能提取到眼睛瞳孔处的特征点的面部图像的个数小于第三预设值,判定N张所述面部图像的眼睛特征满足第一疲劳判别条件;
分别计算每张面部图像中嘴部上唇中心特征点与下唇中心特征点的距离;
分别判别每张面部图像中嘴部上唇中心特征点与下唇中心特征点的距离是否大于第四预设值;
若满足嘴部上唇中心特征点与下唇中心特征点的距离大于第四预设值的面部图像的个数大于第三预设值,判定N张所述面部图像的嘴部特征满足第二疲劳判别条件。
7.根据权利要求1所述的方法,其特征在于,所述分别对预处理后的N张面部图像进行边缘检测,获得眉毛、眼睛和嘴部特征,包括:
利用Susan算法分别对预处理后的N张面部图像进行边缘检测,获得眉毛、眼睛和嘴部特征。
8.根据权利要求1所述的方法,其特征在于,所述分别对N张所述面部图像进行预处理,包括:
利用中值滤波法分别对N张所述面部图像进行降噪处理。
9.根据权利要求1所述的方法,其特征在于,所述判断N张所述面部图像中眉毛、眼睛和嘴部特征是否满足行车危险的判别条件之前,还包括:
基于匹配模型判断N张所述面部图像中的眉毛、眼睛和嘴部特征是否为同一驾驶人的面部特征;
若N张所述面部图像中的眉毛、眼睛和嘴部特征为同一驾驶人的面部特征,执行判断N张所述面部图像中眉毛、眼睛和嘴部特征是否满足行车危险的判别条件。
10.根据权利要求9所述的方法,其特征在于,所述基于匹配模型判断N张所述面部图像中的眉毛、眼睛和嘴部特征是否为同一驾驶人的面部特征,包括:
分别计算N张所述面部图像中两眼睛瞳孔的特征点之间的距离,以及嘴部中心点分别与两瞳孔特征点的距离,以建立一个三角比例模型;
判断N张所述面部图像中三角比例是否匹配;
若N张所述面部图像中三角比例匹配,认为N张面部图像中的面部特征为同一驾驶人的面部特征,执行判断N张所述面部表情的眉毛、眼睛和嘴部特征是否满足行车危险的判别条件;
若N张所述面部图像中三角比例不匹配,认为N张面部图像中的面部特征不是同一驾驶人的面部特征,执行获取驾驶人的多张面部图像。
11.一种行车危险识别***,其特征在于,包括:
图像采集模块、人脸表情识别模块和紧急处理模块;
其中,所述图像采集模块用于采集驾驶人的面部图像;所述人脸表情识别模块用于采用权利要求1~10任意一项的行车危险识别方法对驾驶人的面部表情进行识别,并发送紧急处理信号给所述紧急处理模块;
所述紧急处理模块根据接收到紧急处理信号对行车危险进行紧急处理。
12.根据权利要求11所述的方法,其特征在于,所述图像采集模块,包括:
摄像装置和补光灯;
其中,所述摄像装置用于对驾驶人的面部区域进行摄像;所述补光灯用于在车内亮度值小于预设的参考值时开启,以便为所述摄像装置提供充足光源。
13.根据权利要求11所述的方法,其特征在于,所述紧急处理模块,包括:
语音设备;
其中,所述语音设备用于接收所述人脸表情识别模块发送的语音提示信号,并根据所述语音提示信号播放提示语音。
14.根据权利要求11所述的方法,其特征在于,所述紧急处理模块,包括:
GPS定位终端和远程通信模块;
其中,所述远程通信模块用于接收所述人脸表情识别模块发送的远程报警信号,并且获取所述GPS定位终端的位置信息,并将携带有所述位置信息的报警信息发送至报警平台。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610473698.8A CN106127155A (zh) | 2016-06-22 | 2016-06-22 | 一种行车危险识别方法和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610473698.8A CN106127155A (zh) | 2016-06-22 | 2016-06-22 | 一种行车危险识别方法和*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106127155A true CN106127155A (zh) | 2016-11-16 |
Family
ID=57265682
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610473698.8A Pending CN106127155A (zh) | 2016-06-22 | 2016-06-22 | 一种行车危险识别方法和*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106127155A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111429351A (zh) * | 2020-03-24 | 2020-07-17 | 珠海嘉润医用影像科技有限公司 | 一种图像插值处理方法及*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101030316A (zh) * | 2007-04-17 | 2007-09-05 | 北京中星微电子有限公司 | 一种汽车安全驾驶监控***和方法 |
CN102231204A (zh) * | 2011-06-20 | 2011-11-02 | 南京航空航天大学 | 一种序列图像自适应正则超分辨率重建方法 |
CN103530501A (zh) * | 2013-09-12 | 2014-01-22 | 西安交通大学 | 多感知通道交互的应激辅助决策实验装置及其实验方法 |
CN103569084A (zh) * | 2012-08-03 | 2014-02-12 | 能晶科技股份有限公司 | 驾驶侦测装置及其方法 |
-
2016
- 2016-06-22 CN CN201610473698.8A patent/CN106127155A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101030316A (zh) * | 2007-04-17 | 2007-09-05 | 北京中星微电子有限公司 | 一种汽车安全驾驶监控***和方法 |
CN102231204A (zh) * | 2011-06-20 | 2011-11-02 | 南京航空航天大学 | 一种序列图像自适应正则超分辨率重建方法 |
CN103569084A (zh) * | 2012-08-03 | 2014-02-12 | 能晶科技股份有限公司 | 驾驶侦测装置及其方法 |
CN103530501A (zh) * | 2013-09-12 | 2014-01-22 | 西安交通大学 | 多感知通道交互的应激辅助决策实验装置及其实验方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111429351A (zh) * | 2020-03-24 | 2020-07-17 | 珠海嘉润医用影像科技有限公司 | 一种图像插值处理方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108960065B (zh) | 一种基于视觉的驾驶行为检测方法 | |
CN108791299B (zh) | 一种基于视觉的驾驶疲劳检测及预警***及方法 | |
CN105769120A (zh) | 疲劳驾驶检测方法和装置 | |
CN112016457A (zh) | 驾驶员分神以及危险驾驶行为识别方法、设备和存储介质 | |
CN104751600B (zh) | 基于虹膜识别的防疲劳驾驶安全设备及其使用方法 | |
CN110532976A (zh) | 基于机器学习和多特征融合的疲劳驾驶检测方法及*** | |
CN110119676A (zh) | 一种基于神经网络的驾驶员疲劳检测方法 | |
CN109670376A (zh) | 车道线识别方法及*** | |
CN103366506A (zh) | 一种驾驶员行车途中接打手机行为的自动监控装置及方法 | |
CN105956548A (zh) | 驾驶员疲劳状况检测方法和装置 | |
CN101593425A (zh) | 一种基于机器视觉的疲劳驾驶监控方法及*** | |
CN111401188B (zh) | 一种基于人体关键点特征的交警手势识别方法 | |
CN109977930A (zh) | 疲劳驾驶检测方法及装置 | |
CN106295474B (zh) | 船舶驾驶员的疲劳检测方法、***和服务器 | |
CN111626272A (zh) | 一种基于深度学习的驾驶员疲劳监测*** | |
CN105844245A (zh) | 一种伪装人脸检测方法及*** | |
CN110490139A (zh) | 基于人脸识别的夜间疲劳驾驶判断方法 | |
CN109685026A (zh) | 一种驾驶员手持手机通话的实时监测方法 | |
CN107844783A (zh) | 一种营运车辆异常驾驶行为检测方法及*** | |
CN109145843A (zh) | 一种卡口高清相机全车信息识别***及方法 | |
CN111091110A (zh) | 一种基于人工智能的反光背心穿戴识别方法 | |
CN116935361A (zh) | 一种基于深度学习的驾驶员分心行为检测方法 | |
Yi et al. | Safety belt wearing detection algorithm based on human joint points | |
CN114220158A (zh) | 基于深度学习的疲劳驾驶检测方法 | |
CN106127155A (zh) | 一种行车危险识别方法和*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20161116 |