CN107315997B - 一种基于快速特征点定位的视线朝向判断方法及*** - Google Patents
一种基于快速特征点定位的视线朝向判断方法及*** Download PDFInfo
- Publication number
- CN107315997B CN107315997B CN201710390315.5A CN201710390315A CN107315997B CN 107315997 B CN107315997 B CN 107315997B CN 201710390315 A CN201710390315 A CN 201710390315A CN 107315997 B CN107315997 B CN 107315997B
- Authority
- CN
- China
- Prior art keywords
- sight line
- feature point
- driver
- training
- position information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于快速特征点定位的视线朝向判断方法及***,其中方法包括:利用Adaboost算法识别出驾驶员脸部区域;利用基于局部二值特征的形状回归算法获取部分特征点位置信息;定义视线参数并初始化视线参数;计算前设定帧数之后的每帧脸部区域的视线参数与视线参数初始化值的比值,依据比值获取单帧视线偏转结果;根据视线偏转结果出现的频率获取多帧脸部区域图像的视线偏转结果。有益效果:基于局部二值特征的形状回归算法,相比全局特征,噪声、计算量更少,实时性高;对视线参数进行了初始化,所以视线偏转判断不会受限于图像采集装置的安装位置,且可以检测不同驾驶者的视线偏转,适应性强;视线偏转的判断采用多帧判断,准确率更高。
Description
技术领域
本发明涉及图像处理技术领域,尤其是涉及一种基于快速特征点定位的视线朝向判断方法及***。
背景技术
现代社会,人们生活水平有了大幅提高,对于汽车的保有量也是得到快速增长。因此,人们对安全驾驶越来越重视,对安全驾驶技术的研究也越来越深入。据不完全估计,全世界交通事故中几乎有一半左右是由于驾驶员处于非正常驾驶状态所引起的,比如,疲劳驾驶,注意力分散,左顾右盼等。因此,实时对驾驶员状态监测具有重要意义,而一个实时性快,准确性高,判断角度大的驾驶员视线朝向检测方法显得尤为重要。
一种车载型疲劳驾驶检测与身份认证装置及其检测方法,通过基于三维面部图像建立欧拉旋转角坐标系,每种不同的角度分别用平动角、旋转角以及滚动角表示,通过根据欧拉旋转角坐标分析判断左右摆头姿势;该方法通过对头部姿态进行三维立体建模,该方法相对其他方法来说也是稳定性较为可靠的一种方法,但是采用该方法的缺点就是在实时性方面较差,没有考虑到对驾驶员状态监测的实时性要求。
一种眼睛视线判断的方法,通过摄像头采集图像,利用轮廓比对的方式从图像中分析出眼睛区域,分析眼睛区域中的眼部特征,计算瞳孔和眼眶相对距离并依据瞳孔半径算出差异值,根据相对距离与差异值计算出特征比例,根据特征比例判断瞳孔位于眼眶的位置,依据瞳孔所在眼眶的位置,以判定视线朝向,该方法相对来说比较简单,实时性快,能快速检测驾驶员视线朝向,但是却严重依赖于眼睛检测的精度,眼睛检测稍微出现点偏差就会导致误检,因此在稳定性和可靠性上亟待提高。
当前判断驾驶员视线的方法在准确性、实时性以及稳定性等方面存在许多不足之处。
发明内容
本发明的目的在于克服上述技术不足,提出一种基于快速特征点定位的视线朝向判断方法及***,解决现有技术中的上述技术问题。
为达到上述技术目的,本发明的技术方案提供一种基于快速特征点定位的视线朝向判断方法,包括:
S1、利用具有红外补光功能的图像采集装置采集驾驶员头部图像并对采集的驾驶员头部图像进行预处理,利用Adaboost算法训练出识别脸部区域的分类器,利用训练出的所述分类器对预处理后的驾驶员头部图像进行识别从而识别出驾驶员脸部区域图像;
S2、利用基于局部二值特征的形状回归算法训练定位脸部特征点的模型,利用训练出的所述模型定位驾驶员脸部区域图像的特征点,根据定位的驾驶员脸部区域特征点获取所有眼部轮廓特征点位置信息以及特定的耳部特征点位置信息,眼部轮廓特征点位置信息包括左眼轮廓特征点位置信息和右眼轮廓特征点位置信息,特定的耳部特征点位置信息包括一特定的左耳特征点位置信息和一特定的右耳特征点位置信息;
S4、获取前设定帧数之后的驾驶员脸部区域图像后,计算每张驾驶员脸部区域图像的视线参数与视线参数初始化值的比值,并根据比值获取该张驾驶员脸部区域图像的视线偏转结果;
S5、获取设定时长内识别出的驾驶员脸部区域图像的视线偏转结果并统计各视线偏转结果出现的频率,以出现频率最高的一视线偏转结果作为该设定时长的驾驶员视线偏转结果,在偏转角度较大无法识别出驾驶员脸部区域图像时,以上一时长的视线偏转结果作为实时的视线偏转结果。
本发明还提供一种基于快速特征点定位的视线朝向判断***,包括:
脸部识别模块:利用具有红外补光功能的图像采集装置采集驾驶员头部图像并对采集的驾驶员头部图像进行预处理,利用Adaboost算法训练出识别脸部区域的分类器,利用训练出的所述分类器对预处理后的驾驶员头部图像进行识别从而识别出驾驶员脸部区域图像;
特征点定位模块:利用基于局部二值特征的形状回归算法训练定位脸部特征点的模型,利用训练出的所述模型定位驾驶员脸部区域图像的特征点,根据定位的驾驶员脸部区域特征点获取所有眼部轮廓特征点位置信息以及特定的耳部特征点位置信息,眼部轮廓特征点位置信息包括左眼轮廓特征点位置信息和右眼轮廓特征点位置信息,特定的耳部特征点位置信息包括一特定的左耳特征点位置信息和一特定的右耳特征点位置信息;
单帧视线偏转结果获取模块:获取前设定帧数之后的驾驶员脸部区域图像后,计算每张驾驶员脸部区域图像的视线参数与视线参数初始化值的比值,并根据比值获取该张驾驶员脸部区域图像的视线偏转结果;
多帧视线偏转结果获取模块:获取设定时长内识别出的驾驶员脸部区域图像的视线偏转结果并统计各视线偏转结果出现的频率,以出现频率最高的一视线偏转结果作为该设定时长的驾驶员视线偏转结果,在偏转角度较大无法识别出驾驶员脸部区域图像时,以上一时长的视线偏转结果作为实时的视线偏转结果。
与现有技术相比,本发明的有益效果包括:使用了基于局部二值特征的形状回归算法,相比全局特征而言,噪声更少,减少了计算量,可以快速地进行脸部特征点定位,实时性高;建立视线判别模型快速判断视线偏转,由于对视线参数进行了初始化,所以视线偏转判断不会受限于图像采集装置的安装位置(但是安装位置需要能够检测到脸部),且通过初始化过程可以学习个人脸部视线参数,使得可以检测不同驾驶者的视线偏转,适应性强;借助具有红外补光功能的图像采集装置,不同光照强度下,均可采集清晰驾驶员头部图像,准确定位驾驶员脸部区域的特征点,且由于视线偏转的判断只采用了部分特征点,因此受表情变化影响和部分遮挡的影响较小,适应性强;视线偏转的判断采用多帧判断,以出现频率最高的一视线偏转结果作为该设定时长的驾驶员视线偏转结果,准确率更高,并且,在视线偏转角度较大时仍然能输出一个视线偏转结果,适用性更广。
附图说明
图1是本发明提供的一种基于快速特征点定位的视线朝向判断方法流程图;
图2是本发明提供的一种基于快速特征点定位的视线朝向判断***结构框图;
图3是本发明的Adaboost算法流程图;
图4是本发明的局部二值特征的形状回归算法流程图;
图5是步骤S2中定位的特征点标号示意图。
附图中:1、基于快速特征点定位的视线朝向判断***,11、脸部识别模块,12、特征点定位模块,13、视线参数初始化模块,14、单帧视线偏转结果获取模块,15、多帧视线偏转结果获取模块。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供了一种基于快速特征点定位的视线朝向判断方法,包括:
S1、利用具有红外补光功能的图像采集装置采集驾驶员头部图像并对采集的驾驶员头部图像进行预处理,利用Adaboost算法训练出识别脸部区域的分类器,利用训练出的所述分类器对预处理后的驾驶员头部图像进行识别从而识别出驾驶员脸部区域图像;
S2、利用基于局部二值特征的形状回归算法训练定位脸部特征点的模型,利用训练出的所述模型定位驾驶员脸部区域图像的特征点,根据定位的驾驶员脸部区域特征点获取所有眼部轮廓特征点位置信息以及特定的耳部特征点位置信息,眼部轮廓特征点位置信息包括左眼轮廓特征点位置信息和右眼轮廓特征点位置信息,特定的耳部特征点位置信息包括一特定的左耳特征点位置信息和一特定的右耳特征点位置信息;
S3、定义视线参数并将前设定帧数的驾驶员脸部区域图像用以初始化视线参数,其中l1表示左眼轮廓特征点(如图5,编号为36-41)的质心到特定的左耳特征点(如图5,编号为0)的距离,l2表示右眼轮廓特征点(如图5,编号为42-47)的质心到特定的右耳特征点(如图5,编号为16)的距离,优选的,前设定帧数为前300帧;
S4、获取前设定帧数之后的驾驶员脸部区域图像后,计算每张驾驶员脸部区域图像的视线参数与视线参数初始化值的比值,并根据比值获取该张驾驶员脸部区域图像的视线偏转结果,优选的,前设定帧数为前300帧;
S5、获取设定时长内识别出的驾驶员脸部区域图像的视线偏转结果并统计各视线偏转结果出现的频率,以出现频率最高的一视线偏转结果作为该设定时长的驾驶员视线偏转结果,在偏转角度较大无法识别出驾驶员脸部区域图像时,以上一时长的视线偏转结果作为实时的视线偏转结果。
本发明所述的基于快速特征点定位的视线朝向判断方法,步骤S1中对采集的驾驶员头部图像进行预处理的步骤为:灰度化,图像增强,图像去燥等。
本发明所述的基于快速特征点定位的视线朝向判断方法,步骤S1中利用Adaboost算法训练出识别脸部区域的分类器的步骤包括:
S11、准备训练样本:设Adaboost训练过程中样本集合为:{(x1,y1),(x2,y2),(x3,y3),…(xn,yn)}其中,yi=0或1,分别表示该训练样本为负样本(非人脸样本)或正样本(人脸样本);
S12、初始化样本权重:根据yi设置初始化权值,当yi=0时,w1,i=1/2m,当yi=1,w1,i=1/2l,其中m和l分别表示正负样本的个数,若总样本数为n,则n=m+l;
S13、归一化样本权重系数,计算每个样本特征点分类误差,选取分类误差最小的弱分类器,然后重新计算并分配训练样本的权值,具体为:
选择使得当前分类错误率最小的弱分类器ht;
S14、判断训练迭代总次数是否达到预设次数,如果没有达到预设次数,则循环执行步骤S13继续训练分类器,如果达到预设次数,则进行步骤S15;
S15、结束训练,获取强分类器,最终得到的强分类器h(x)的表达式为:
本发明所述的基于快速特征点定位的视线朝向判断方法,步骤S2中利用基于局部二值特征的形状回归算法训练定位脸部特征点的模型的步骤包括:
S21、准备训练样本:样本包括人脸样本库以及对应的人脸样本库标注文件groundTruth;
S22、预处理训练样本:对样本图像进行预处理操作,其中包括(灰度化,图像增强,人脸检测),图像裁剪(加快训练速度);
S23、对样本进行坐标变换,构建平均形状模型:考虑到样本图片之间人脸是各式各样的,受到光照、姿势等各方面的影响,因此在获取平均形状时,应该在一个相对统一的框架下求取,对训练样本进行坐标变换之后,对所有特征点求取平均值获得平均形状模型;
S24、设置训练模型参数,包括提取局部二值特征的随机森林参数(随机树个数,随机树深度等)和用于形状的全局线性回归相关参数(回归阶段次数,形状残差等);
S25、训练随机森林,获得特征映射函数,提取局部二值特征,对形状进行全局线性回归,并对形状进行更新,具体为:
首先,训练随机森林,获得特征映射函数Φt(I,St-1),提取局部二值特征;
然后采用ΔSt=WtΦt(I,St-1)对形状进行全局线性回归,对形状进行更新,其中,ΔSt=Sgt-St为第t个阶段的残差,W为线性回归矩阵,I为样本图像;
S26、判断回归次数是否达到预设次数,如果没有达到预设次数,则循环执行步骤S25,如果达到预设次数,则保存模型。
本发明所述的基于快速特征点定位的视线朝向判断方法,步骤S3中将前设定帧数的驾驶员脸部区域图像用以初始化视线参数的步骤为:
计算前300帧的驾驶员脸部区域图像的初始化参数的平均值,以该平均值作为视线参数的初始化值。
本发明所述的基于快速特征点定位的视线朝向判断方法,步骤S4中根据视线参数比值获取该张驾驶员脸部区域图像的视线偏转结果的步骤为:
前300帧之后的驾驶员脸部区域图像的视线参数与视线参数初始化值的比值如果大于2.0,则视线偏转结果为视线向右偏转,如果比值小于0.5,则视线偏转结果为视线向左偏转,如果比值大于或等于0.5并且小于或等于2.0,则视线偏转结果为视线不发生偏转。
本发明所述的基于快速特征点定位的视线朝向判断方法,步骤S5中:
特征点定位对于姿态偏转的容忍度有限,偏转角度有一定范围的限制,在驾驶员脸部小角度偏转时,可以识别到驾驶员脸部区域图像,获取视线偏转结果,此时,以出现频率最高的一视线偏转结果作为该设定时长的驾驶员视线偏转结果,但是当驾驶员脸部偏转角度较大,无法识别出驾驶员脸部区域图像时,以上一时长的视线偏转结果作为实时的视线偏转结果。
本发明还提供一种基于快速特征点定位的视线朝向判断***1,包括:
脸部识别模块11:利用具有红外补光功能的图像采集装置采集驾驶员头部图像并对采集的驾驶员头部图像进行预处理,利用Adaboost算法训练出识别脸部区域的分类器,利用训练出的所述分类器对预处理后的驾驶员头部图像进行识别从而识别出驾驶员脸部区域图像;
特征点定位模块12:利用基于局部二值特征的形状回归算法训练定位脸部特征点的模型,利用训练出的所述模型定位驾驶员脸部区域图像的特征点,根据定位的驾驶员脸部区域特征点获取所有眼部轮廓特征点位置信息以及特定的耳部特征点位置信息,眼部轮廓特征点位置信息包括左眼轮廓特征点位置信息和右眼轮廓特征点位置信息,特定的耳部特征点位置信息包括一特定的左耳特征点位置信息和一特定的右耳特征点位置信息;
视线参数初始化模块13:定义视线参数并将前设定帧数的驾驶员脸部区域图像用以初始化视线参数,其中l1表示左眼轮廓特征点的质心到特定的左耳特征点的距离,l2表示右眼轮廓特征点的质心到特定的右耳特征点的距离;
单帧视线偏转结果获取模块14:获取前设定帧数之后的驾驶员脸部区域图像后,计算每张驾驶员脸部区域图像的视线参数与视线参数初始化值的比值,并根据比值获取该张驾驶员脸部区域图像的视线偏转结果;
多帧视线偏转结果获取模块15:获取设定时长内识别出的驾驶员脸部区域图像的视线偏转结果并统计各视线偏转结果出现的频率,以出现频率最高的一视线偏转结果作为该设定时长的驾驶员视线偏转结果,在偏转角度较大无法识别出驾驶员脸部区域图像时,以上一时长的视线偏转结果作为实时的视线偏转结果。
本发明所述的基于快速特征点定位的视线朝向判断***1,脸部识别模块11包括:
第一样本准备单元:准备训练样本;
初始化单元:初始化样本权重;
第一训练单元:归一化样本权重系数,计算每个样本特征点分类误差,选取分类误差最小的弱分类器,然后重新计算并分配训练样本的权值;
第一判断单元:判断训练迭代总次数是否达到预设次数,如果没有达到预设次数,则循环执行第一训练单元,如果达到预设次数,则执行强分类器获取单元的操作;
强分类器获取单元:获取强分类器。
本发明所述的基于快速特征点定位的视线朝向判断***1,特征点定位模块12包括:
第二样本准备单元:准备训练样本;
预处理单元:预处理训练样本;
坐标变换单元:对样本进行坐标变换,构建平均形状模型;
参数设置单元:设置训练模型参数;
第二训练单元:训练随机森林,获得特征映射函数,提取局部二值特征,对形状进行全局线性回归,并对形状进行更新;
第二判断单元:判断回归次数是否达到预设次数,如果没有达到预设次数,则循环执行第二训练单元,如果达到预设次数,则保存模型。
本发明所述的基于快速特征点定位的视线朝向判断***1,视线参数初始化模块13中:
计算前设定帧数的驾驶员脸部区域图像的初始化参数的平均值,以该平均值作为视线参数的初始化值。
本发明所述的基于快速特征点定位的视线朝向判断***1,单帧视线偏转结果获取模块14中:
设定帧数之后的驾驶员脸部区域图像的视线参数与视线参数初始化值的比值如果大于2.0,则视线偏转结果为视线向右偏转,如果比值小于0.5,则视线偏转结果为视线向左偏转,如果比值大于或等于0.5并且小于或等于2.0,则视线偏转结果为视线不发生偏转。
与现有技术相比,本发明的有益效果包括:使用了基于局部二值特征的形状回归算法,相比全局特征而言,噪声更少,减少了计算量,可以快速地进行脸部特征点定位,实时性高;建立视线判别模型快速判断视线偏转,由于对视线参数进行了初始化,所以视线偏转判断不会受限于图像采集装置的安装位置(但是安装位置需要能够检测到脸部),且通过初始化过程可以学习个人脸部视线参数,使得可以检测不同驾驶者的视线偏转,适应性强;借助具有红外补光功能的图像采集装置,不同光照强度下,均可采集清晰驾驶员头部图像,准确定位驾驶员脸部区域的特征点,且由于视线偏转的判断只采用了部分特征点,因此受表情变化影响和部分遮挡的影响较小,适应性强;视线偏转的判断采用多帧判断,以出现频率最高的一视线偏转结果作为该设定时长的驾驶员视线偏转结果,准确率更高,并且,在视线偏转角度较大时仍然能输出一个视线偏转结果,适用性更广。
以上所述本发明的具体实施方式,并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形,均应包含在本发明权利要求的保护范围内。
Claims (10)
1.一种基于快速特征点定位的视线朝向判断方法,其特征在于,包括步骤:
S1、利用具有红外补光功能的图像采集装置采集驾驶员头部图像并对采集的驾驶员头部图像进行预处理,利用Adaboost算法训练出识别脸部区域的分类器,利用训练出的所述分类器对预处理后的驾驶员头部图像进行识别从而识别出驾驶员脸部区域图像;
S2、利用基于局部二值特征的形状回归算法训练定位脸部特征点的模型,利用训练出的所述模型定位所述驾驶员脸部区域图像的特征点,根据定位的驾驶员脸部区域特征点获取所有眼部轮廓特征点位置信息以及特定的耳部特征点位置信息,所述眼部轮廓特征点位置信息包括左眼轮廓特征点位置信息和右眼轮廓特征点位置信息,所述特定的耳部特征点位置信息包括一特定的左耳特征点位置信息和一特定的右耳特征点位置信息;
S4、获取前设定帧数之后的所述驾驶员脸部区域图像后,计算每张所述驾驶员脸部区域图像的视线参数与视线参数初始化值的比值,并根据比值获取该张所述驾驶员脸部区域图像的视线偏转结果;
S5、获取设定时长内识别出的所述驾驶员脸部区域图像的视线偏转结果并统计各视线偏转结果出现的频率,以出现频率最高的一视线偏转结果作为该设定时长的驾驶员视线偏转结果,在偏转角度较大无法识别出所述驾驶员脸部区域图像时,以上一时长的视线偏转结果作为实时的视线偏转结果。
2.如权利要求1所述的基于快速特征点定位的视线朝向判断方法,其特征在于,步骤S1中利用Adaboost算法训练出识别脸部区域的分类器的步骤包括:
S11、准备训练样本;
S12、初始化样本权重;
S13、归一化样本权重系数,计算每个样本特征点分类误差,选取分类误差最小的弱分类器,然后重新计算并分配训练样本的权值;
S14、判断训练迭代总次数是否达到预设次数,如果没有达到预设次数,则循环执行步骤S13,如果达到预设次数,则进行步骤S15;
S15、获取强分类器。
3.如权利要求1所述的基于快速特征点定位的视线朝向判断方法,其特征在于,步骤S2中利用基于局部二值特征的形状回归算法训练定位脸部特征点的模型的步骤包括:
S21、准备训练样本;
S22、预处理训练样本;
S23、对样本进行坐标变换,构建平均形状模型;
S24、设置训练模型参数;
S25、训练随机森林,获得特征映射函数,提取局部二值特征,对形状进行全局线性回归,并对形状进行更新;
S26、判断回归次数是否达到预设次数,如果没有达到预设次数,则循环执行步骤S25,如果达到预设次数,则保存模型。
4.如权利要求1所述的基于快速特征点定位的视线朝向判断方法,其特征在于,步骤S3中将前设定帧数的所述驾驶员脸部区域图像用以初始化视线参数的步骤为:
计算前设定帧数的所述驾驶员脸部区域图像的初始化参数的平均值,以该平均值作为视线参数的初始化值。
5.如权利要求1所述的基于快速特征点定位的视线朝向判断方法,其特征在于,步骤S4中根据视线参数比值获取该张所述驾驶员脸部区域图像的视线偏转结果的步骤为:
设定帧数之后的所述驾驶员脸部区域图像的视线参数与视线参数初始化值的比值如果大于2.0,则视线偏转结果为视线向右偏转,如果比值小于0.5,则视线偏转结果为视线向左偏转,如果比值大于或等于0.5并且小于或等于2.0,则视线偏转结果为视线不发生偏转。
6.一种基于快速特征点定位的视线朝向判断***,其特征在于,包括:
脸部识别模块:利用具有红外补光功能的图像采集装置采集驾驶员头部图像并对采集的驾驶员头部图像进行预处理,利用Adaboost算法训练出识别脸部区域的分类器,利用训练出的所述分类器对预处理后的驾驶员头部图像进行识别从而识别出所述驾驶员脸部区域图像;
特征点定位模块:利用基于局部二值特征的形状回归算法训练定位脸部特征点的模型,利用训练出的所述模型定位所述驾驶员脸部区域图像的特征点,根据定位的驾驶员脸部区域特征点获取所有眼部轮廓特征点位置信息以及特定的耳部特征点位置信息,所述眼部轮廓特征点位置信息包括左眼轮廓特征点位置信息和右眼轮廓特征点位置信息,所述特定的耳部特征点位置信息包括一特定的左耳特征点位置信息和一特定的右耳特征点位置信息;
视线参数初始化模块:定义视线参数并将前设定帧数的所述驾驶员脸部区域图像用以初始化视线参数,其中l1表示左眼轮廓特征点的质心到特定的左耳特征点的距离,l2表示右眼轮廓特征点的质心到特定的右耳特征点的距离;
单帧视线偏转结果获取模块:获取前设定帧数之后的所述驾驶员脸部区域图像后,计算每张所述驾驶员脸部区域图像的视线参数与视线参数初始化值的比值,并根据比值获取该张所述驾驶员脸部区域图像的视线偏转结果;
多帧视线偏转结果获取模块:获取设定时长内识别出的所述驾驶员脸部区域图像的视线偏转结果并统计各视线偏转结果出现的频率,以出现频率最高的一视线偏转结果作为该设定时长的驾驶员视线偏转结果,在偏转角度较大无法识别出所述驾驶员脸部区域图像时,以上一时长的视线偏转结果作为实时的视线偏转结果。
7.如权利要求6所述的基于快速特征点定位的视线朝向判断***,其特征在于,脸部识别模块包括:
第一样本准备单元:准备训练样本;
初始化单元:初始化样本权重;
第一训练单元:归一化样本权重系数,计算每个样本特征点分类误差,选取分类误差最小的弱分类器,然后重新计算并分配训练样本的权值;
第一判断单元:判断训练迭代总次数是否达到预设次数,如果没有达到预设次数,则循环执行第一训练单元,如果达到预设次数,则执行强分类器获取单元的操作;
强分类器获取单元:获取强分类器。
8.如权利要求6所述的基于快速特征点定位的视线朝向判断***,其特征在于,特征点定位模块包括:
第二样本准备单元:准备训练样本;
预处理单元:预处理训练样本;
坐标变换单元:对样本进行坐标变换,构建平均形状模型;
参数设置单元:设置训练模型参数;
第二训练单元:训练随机森林,获得特征映射函数,提取局部二值特征,对形状进行全局线性回归,并对形状进行更新;
第二判断单元:判断回归次数是否达到预设次数,如果没有达到预设次数,则循环执行第二训练单元,如果达到预设次数,则保存模型。
9.如权利要求6所述的基于快速特征点定位的视线朝向判断***,其特征在于,视线参数初始化模块中:
计算前设定帧数的所述驾驶员脸部区域图像的初始化参数的平均值,以该平均值作为视线参数的初始化值。
10.如权利要求6所述的基于快速特征点定位的视线朝向判断***,其特征在于,单帧视线偏转结果获取模块中:
设定帧数之后的所述驾驶员脸部区域图像的视线参数与视线参数初始化值的比值如果大于2.0,则视线偏转结果为视线向右偏转,如果比值小于0.5,则视线偏转结果为视线向左偏转,如果比值大于或等于0.5并且小于或等于2.0,则视线偏转结果为视线不发生偏转。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710390315.5A CN107315997B (zh) | 2017-05-27 | 2017-05-27 | 一种基于快速特征点定位的视线朝向判断方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710390315.5A CN107315997B (zh) | 2017-05-27 | 2017-05-27 | 一种基于快速特征点定位的视线朝向判断方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107315997A CN107315997A (zh) | 2017-11-03 |
CN107315997B true CN107315997B (zh) | 2020-08-28 |
Family
ID=60183483
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710390315.5A Active CN107315997B (zh) | 2017-05-27 | 2017-05-27 | 一种基于快速特征点定位的视线朝向判断方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107315997B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108334810B (zh) * | 2017-12-25 | 2020-12-11 | 北京七鑫易维信息技术有限公司 | 视线追踪设备中确定参数的方法和装置 |
CN109508089B (zh) * | 2018-10-30 | 2022-06-14 | 上海大学 | 一种基于层级随机森林的视线控制***与方法 |
CN110503068A (zh) * | 2019-08-28 | 2019-11-26 | Oppo广东移动通信有限公司 | 视线估计方法、终端及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101489467A (zh) * | 2006-07-14 | 2009-07-22 | 松下电器产业株式会社 | 视线方向检测装置和视线方向检测方法 |
CN102510480A (zh) * | 2011-11-04 | 2012-06-20 | 大连海事大学 | 驾驶员视线自动校准和跟踪*** |
JP2013123180A (ja) * | 2011-12-12 | 2013-06-20 | Denso Corp | モニタリング装置 |
CN106355838A (zh) * | 2016-10-28 | 2017-01-25 | 深圳市美通视讯科技有限公司 | 一种疲劳驾驶检测方法和*** |
-
2017
- 2017-05-27 CN CN201710390315.5A patent/CN107315997B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101489467A (zh) * | 2006-07-14 | 2009-07-22 | 松下电器产业株式会社 | 视线方向检测装置和视线方向检测方法 |
CN102510480A (zh) * | 2011-11-04 | 2012-06-20 | 大连海事大学 | 驾驶员视线自动校准和跟踪*** |
JP2013123180A (ja) * | 2011-12-12 | 2013-06-20 | Denso Corp | モニタリング装置 |
CN106355838A (zh) * | 2016-10-28 | 2017-01-25 | 深圳市美通视讯科技有限公司 | 一种疲劳驾驶检测方法和*** |
Also Published As
Publication number | Publication date |
---|---|
CN107315997A (zh) | 2017-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101950355B (zh) | 基于数字视频的驾驶员疲劳状态检测方法 | |
CN105740779B (zh) | 人脸活体检测的方法和装置 | |
EP3680794B1 (en) | Device and method for user authentication on basis of iris recognition | |
CN100592322C (zh) | 照片人脸与活体人脸的计算机自动鉴别方法 | |
CN105205486B (zh) | 一种车标识别方法及装置 | |
WO2016110005A1 (zh) | 基于灰度和深度信息的多层融合的多模态人脸识别装置及方法 | |
CN104123543B (zh) | 一种基于人脸识别的眼球运动识别方法 | |
CN105740781B (zh) | 一种三维人脸活体检测的方法和装置 | |
CN103218609B (zh) | 一种基于隐最小二乘回归的多姿态人脸识别方法及其装置 | |
CN104933389B (zh) | 一种基于指静脉的身份识别方法和装置 | |
CN108182397B (zh) | 一种多姿态多尺度的人脸验证方法 | |
CN103279768B (zh) | 一种基于增量学习人脸分块视觉表征的视频人脸识别方法 | |
CN105512630B (zh) | 人眼检测与定位方法 | |
CN104978549A (zh) | 三维人脸图像特征提取方法和*** | |
WO2009128784A1 (en) | Face expressions identification | |
CN108596087B (zh) | 一种基于双网络结果的驾驶疲劳程度检测回归模型 | |
CN107610177B (zh) | 一种同步定位与地图构建中确定特征点的方法和设备 | |
CN107315997B (zh) | 一种基于快速特征点定位的视线朝向判断方法及*** | |
CN106919913A (zh) | 基于计算机视觉的疲劳驾驶检测方法及装置 | |
CN105320954A (zh) | 人脸认证装置和方法 | |
CN108960142B (zh) | 基于全局特征损失函数的行人再识别方法 | |
CN106650574A (zh) | 基于PCANet的人脸识别方法 | |
CN101533466B (zh) | 一种眼睛定位图像处理方法 | |
CN110796101A (zh) | 一种嵌入式平台的人脸识别方法及*** | |
CN108108651B (zh) | 基于视频人脸分析的驾驶员非专心驾驶检测方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20210611 Address after: 435100 Jinhu Ma Hai, Daye City, Huangshi City, Hubei Province Patentee after: Daye Xinye Special Steel Co.,Ltd. Address before: No.139 kuangye Avenue, Jinhu Street office, Daye City, Huangshi City, Hubei Province Patentee before: HUBEI TIANYE YUNSHANG NETWORK TECHNOLOGY Co.,Ltd. |