CN105260703A - 一种适用于多姿态下的驾驶人员抽烟行为检测方法 - Google Patents

一种适用于多姿态下的驾驶人员抽烟行为检测方法 Download PDF

Info

Publication number
CN105260703A
CN105260703A CN201510585165.4A CN201510585165A CN105260703A CN 105260703 A CN105260703 A CN 105260703A CN 201510585165 A CN201510585165 A CN 201510585165A CN 105260703 A CN105260703 A CN 105260703A
Authority
CN
China
Prior art keywords
point
face
smoking
cigarette end
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510585165.4A
Other languages
English (en)
Other versions
CN105260703B (zh
Inventor
李斌
刘哲
赵振民
王鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Cocoa Eight Technology Co., Ltd.
Original Assignee
Xi'an Bang Wei Electronic Science And Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Bang Wei Electronic Science And Technology Co Ltd filed Critical Xi'an Bang Wei Electronic Science And Technology Co Ltd
Priority to CN201510585165.4A priority Critical patent/CN105260703B/zh
Publication of CN105260703A publication Critical patent/CN105260703A/zh
Application granted granted Critical
Publication of CN105260703B publication Critical patent/CN105260703B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种适用于多姿态下的驾驶人员抽烟行为检测方法,包括以下步骤:1、图像采集,采集驾驶员人脸图像信息;2、图像识别,对采集到的图像进行实时人脸检测;3、面部特征点标定,包括:对检测到的人脸进行眉毛、眼睛、鼻子及嘴巴等特征点定位;4、头部三维姿态检测,包括:利用几何特征对头部三维姿态进行检测,判断头部姿态;5、人脸轮廓椭圆标定,包括:利用眉毛、眼睛、鼻子和嘴巴标记特征点以及驾驶人员头部三维姿态,通过线性回归,对驾驶人员进行人脸轮廓椭圆标定;6、在标定的人脸轮廓椭圆外进行抽烟行为检测判断,包括:获取候选的烟头高亮区域,并对区域形状分析以进行置信决策,由此对驾驶人员是否存在抽烟行为作出判断;本发明具有很强的实时性、实用性及可靠性,能够全天候、非接触式进行驾驶人员抽烟行为检测。

Description

一种适用于多姿态下的驾驶人员抽烟行为检测方法
技术领域
本发明涉及危险驾驶检测方法,属于车辆安全***领域,具体涉及一种适用于多姿态下人脸特征点定位,结合头部三维姿态检测进行人脸轮廓椭圆标定,进而根据人脸轮廓椭圆内烟头高亮区域的分析,以准确、有效地判断驾驶人员是否存在抽烟行为的方法。
背景技术
目前,不少驾驶人员在驾驶车辆过程中均存在抽烟行为,吸烟时驾驶人员往往是一手打方向盘,一手拿香烟,使身体不由自主地侧斜,造成重心偏移,用力不均,极易导致驾驶动作不正规或变形;且吸烟易导致口腔发粘、咽喉发痒,或造成咳嗽,严重时甚至会低头弯腰,因而在驾驶过程中吸烟将不可避免影响驾驶人员操作的准确性,危及行车安全。
同时,在驾驶过程中吸烟会分散驾驶人员的注意力。生理学研究表明,正常情况下,当人吸入第一口烟后7.5秒,烟雾中的尼古丁就可到达大脑,这是静脉注射速度的2倍;连吸几口后,吸烟者的心跳,脉搏就会加快,血压就会升高,使机体乏力、精力受损。大约20~30分钟后,尼古丁的作用逐渐减弱,中枢神经***的兴奋性将会受到抑制,短时间的兴奋感消失,疲劳感随之产生。
另外,人在吸烟时,烟中的一氧化碳与人体的血红蛋白结合,影响了血红蛋白与氧的结合,从而引起各组织器官的缺氧和营养障碍。实验证明:如果人体内的血氧饱和度低于80%,就会引起一系列的缺氧症状,比如精力分散、思维判断能力减弱、记忆力降低、轻度的动作不协调、有疲劳感等,这些因索都可对行车安全造成威胁。
最后,吸烟会影响驾驶员的枧力。现代医学研究证明,吸烟将会伤害视神经,导致视力下降。澳大利亚的医学家曾经就驾驶员吸烟进行过深入研究,结果表明:驾驶员开车前吸3支烟就会使视力降低20%左右,使思维反应速度降低25%,并且会破坏驾驶员分辨红、绿颜色的视觉和明暗适应性,医学上将这种现象称之为“烟蒂中毒性弱视”。即使没有达到慢性中毒的程度,开车时吸烟,导致驾驶室内烟雾弥漫,也会刺激驾驶员的眼睛,影响其视线,降低其眼睛的感光性能和适应能力,这将影响驾驶适性(指能持续安全行车所必备的生理、心理特性),危及行车安全。
但目前暂无一种针对驾驶人员在驾驶过程中的抽烟行为进行有效检测与识别的方法,车队管理者也不能够及时准确的知晓驾驶人员的抽烟行为并进行制止。因此,有必要就驾驶人员在驾驶过程中是否存在抽烟行为提供一种有效的检测与判断方法。
发明内容
为解决上述现有技术问题,本发明的目的在于提供一种适用于多姿态下的驾驶人员抽烟行为检测方法,以实现降低驾驶过程中因驾驶人员抽烟而导致交通事故之效果。
为实现上述技术目的,本发明所采取的技术方案如下:
一种适用于多姿态下的驾驶人员抽烟行为检测方法,其特征在于,包括以下步骤:
步骤1:图像采集,采集驾驶员人脸图像信息;
步骤2:图像识别,对采集到的图像进行实时人脸检测;
步骤3:面部特征点标定,包括:对检测到的人脸进行眉毛、眼睛、鼻子及嘴巴等特征点定位;
步骤4:头部三维姿态检测,包括:利用几何特征对头部三维姿态进行检测,判断头部姿态;
步骤5:人脸轮廓椭圆标定,包括:利用眉毛、眼睛、鼻子和嘴巴标记特征点以及驾驶人员头部三维姿态,通过线性回归,对驾驶人员进行人脸轮廓椭圆标定;
步骤6:在标定的人脸轮廓椭圆外进行抽烟行为检测判断,包括:获取候选的烟头高亮区域,并对区域形状分析以进行置信决策,由此对驾驶人员是否存在抽烟行为作出判断。
进一步地,优选的是,步骤2中,包括:采用统计分析与机器学习的方法归纳出人脸样本与非脸样本各自的haar统计特征,再构建区分各自特征的haar分类器,用haar分类器实现人脸定位检测。
进一步地,优选的是,步骤2中,使用AdaBoost算法检测出人脸位置。
进一步地,优选的是,步骤3中,采用监督梯度下降法进行面部特征点标定,监督梯度下降法主要分为训练和检测两个环节;
训练部分在***运行之前进行操作与计算,主要为了获得人脸特征点定位部分的回归迭代参数,使得算法在运行时可以准确的对人脸中眉毛、眼睛、鼻子、嘴巴等特征点进行定位;
首先,对所有训练库中的人脸图像手工标记眼睛嘴巴鼻子等特征点,并得到一个平均脸;
其次,求出平均脸的扰动参数,即缩放和平移的均值和标准差。针对每一幅图像以该均值和标准差做高斯分布采样,得到特征值点的训练初始值x0,并计算所有初值点的sift特征φ0
再次,通过公式(1)即可求出特征值点的梯度下降方向及其偏差因子:
其中,{di}训练库中的人脸图像集,是人脸图像集中所有手工标记的特征点真值。是训练特征值点xi和真值点间的差值矩阵,φi是特征值点的sift特征,R是梯度下降方向,b是偏差因子,k表示迭代次数;
再次,通过公式(2)对每一幅人脸图像中的特征点x进行更新,并重新计算更新后特征点的sift特征:
xk=xk-1+Rk-1φk-1+bk-1(2)
最后,对公式(1)和公式(2)进行迭代求解,特征值点xk收敛于真值点x*,此时训练结束,最终求得的每次迭代过程当中的梯度下降方向和偏差因子bk即检测所需要的回归迭代参数。
进一步地,优选的是,步骤3中,在检测阶段,具体包括:
首先,将训练过程中所得到的标准平均人脸样本定位到摄像头检测得到的人脸图像当中作为特征点的初始坐标;
其次,计算所有初始坐标点的sift特征,记为φ0
最后,通过公式(3)进行回归迭代计算得到最终的面部特征点坐标,
xk=xk-1+Rk-1φk-1+bk-1(3)
其中,Rk和bk是训练阶段得到的回归迭代参数,φk为每次迭代特征点的sift特征。
进一步地,优选的是,步骤5中,具体包括:检测驾驶员是否处于头部的左右偏转及上下俯仰状态,其中,左右偏转可通过以下方法进行计算:
当人脸处于正面时,鼻下点与左右外眼点的夹角相等;
当人脸左右偏转,即侧深度旋转后,鼻下点与左右外眼点的夹角差为βeye_out,同时可以算得鼻下点与左右内眼点的夹角差βeye_in,鼻下点与左右嘴角点的夹角差βmouth,为了减少误差,可取人脸的侧深度旋转角度为这三个角度的均值,即:
上下俯仰角度可以通过以下方法进行计算,包括:
将人脸的侧面图看作为一个椭圆,y轴即为椭圆的中分线,x轴是眼睛和嘴连线的垂直平分线,那么没有上下俯仰,即垂直深度旋转时有α1=α2。垂直深度旋转后,x轴不再是眼睛和嘴连线的垂直平分线,根据等腰三角形的性质,侧深度旋转角度的计算公式为:
α0、β0为近似姿态估计值,利用α0、β0作为初始值,使用拟牛顿法对人脸姿态精确求解,可以求得人脸姿态的精确偏转角度。
进一步地,优选的是,步骤6中,在标定的人脸轮廓椭圆内进行抽烟行为检测识别,具体包括:
首先,利用高斯曲面拟合以及灰度自适应二值化分割获取候选的烟头高亮区域;
其次,利用边界分析、区域大小分析以及区域形状分析,对候选烟头高亮区域分别进行置信决策;
最后,若上一步中边界分析、区域大小分析和区域形状分析结果均符合烟头高亮区域,则认定驾驶员正在吸烟。
进一步地,优选的是,利用高斯曲面拟合以及灰度自适应二值化分割获取候选的烟头高亮区域,其具体方法如下:
(1)利用高斯曲面拟合,求得画面当中存在的光斑中心,若参与拟合的数据点有N个,则将该N个数据点写成矩阵的形式:A=BC,光斑中N个数据点误差的列向量为:E=A-BC,用最小二乘法拟合,使得N个数据点的均方差最小,即:
(2)在图像数据处理时,数据量比较大,为减小计算量,将矩阵B进行QR分解,即:B=QR,分解后Q为一个N*N的正交矩阵,R为一个N*5的上三角矩阵,对E=A-BC进行如下推导:
S=R1C
C=R1 -1S
由于Q为正交矩阵,可以得到:
令:
其中,S为一个5维列向量;T为一个N-5维列向量;R1为一个5*5的上三角方阵,则
上式中,当S=R1C时取得最小值,因此只需解出C=R1 -1S即可求解出高斯函数的参数:
x0,y0即为光斑的中心点;
(3)以上一步骤中得到的光斑中心点x0,y0,采用自适应二值化分割,获取候选的烟头高亮区域。
进一步地,优选的是,利用边界分析、区域大小分析以及区域形状分析,对候选烟头高亮区域分别进行置信决策,具体如下:
边界分析被配置为:烟头仅可能出现在以嘴部为圆心的圆形范围之内;
区域大小分析被配置为:烟头高亮区域的大小必须符合烟头大小的客观规律,不能超过阈值大小;
区域形状分析被配置为:烟头高亮区域理论上应为以光斑中心点为圆心的近似的圆形。
本发明采取了上述方案以后,其有益效果如下:
1、通过对驾驶员头部三维姿态的检测,实现了多角度、多姿态下驾驶人员抽烟行为的灵活检测、智能分析与准确判断;
2、采用了监督梯度下降法来进行人脸特征点定位,并结合人脸轮廓椭圆标定进行判断,使其更加适用于实际驾驶场景,具有很强的实时性、实用性及可靠性,能够全天候、非接触式进行驾驶人员抽烟行为检测,为安全行车提供有效的安全保障。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,下面用实施例来详细说明本发明的实施方式,借此对本发明如何应用技术手段来解决技术问题,并达成技术效果的实现过程能充分理解并据以实施。
一种适用于多姿态下的驾驶人员抽烟行为检测方法,包括有以下步骤:
步骤1:图像采集,主要通过标/高清摄像头来实现驾驶人员人脸捕捉功能,从摄像头处实时的获取驾驶人员人脸图像视频流,并把数据流送到CPU进行后续的处理;
步骤2:图像识别,对采集到的图像进行实时人脸检测,包括:采用统计分析与机器学习的方法归纳出人脸样本与非脸样本各自的haar统计特征,再构建区分各自特征的haar分类器,用haar分类器实现人脸定位检测,并使用AdaBoost算法检测出人脸位置;
步骤3:采用监督梯度下降法进行面部特征点标定,包括:对检测到的人脸进行眉毛、眼睛、鼻子及嘴巴等特征点定位,主要分为训练和检测两个环节,其中:
训练部分在***运行之前进行操作与计算,主要为了获得人脸特征点定位部分的回归迭代参数,使得算法在运行时可以准确的对人脸中眉毛、眼睛、鼻子、嘴巴等特征点进行定位;
首先,对所有训练库中的人脸图像手工标记眼睛嘴巴鼻子等特征点,并得到一个平均脸;
其次,求出平均脸的扰动参数,即缩放和平移的均值和标准差。针对每一幅图像以该均值和标准差做高斯分布采样,得到特征值点的训练初始值x0,并计算所有初值点的sift特征φ0
再次,通过公式(1)即可求出特征值点的梯度下降方向及其偏差因子:
其中,{di}训练库中的人脸图像集,是人脸图像集中所有手工标记的特征点真值。是训练特征值点xi和真值点间的差值矩阵,φi是特征值点的sift特征,R是梯度下降方向,b是偏差因子,k表示迭代次数;
再次,通过公式(2)对每一幅人脸图像中的特征点x进行更新,并重新计算更新后特征点的sift特征:
xk=xk-1+Rk-1φk-1+bk-1(2)
最后,对公式(1)和公式(2)进行迭代求解,特征值点xk收敛于真值点x*,此时训练结束,最终求得的每次迭代过程当中的梯度下降方向和偏差因子bk即检测所需要的回归迭代参数。
在检测阶段,具体包括:
首先,将训练过程中所得到的标准平均人脸样本定位到摄像头检测得到的人脸图像当中作为特征点的初始坐标;
其次,计算所有初始坐标点的sift特征,记为φ0
最后,通过公式(3)进行回归迭代计算得到最终的面部特征点坐标,
xk=xk-1+Rk-1φk-1+bk-1(3)
其中,Rk和bk是训练阶段得到的回归迭代参数,φk为每次迭代特征点的sift特征。
步骤4:头部三维姿态检测,包括:利用几何特征对头部三维姿态进行检测,判断头部左右偏转及上下俯仰状态;
其中,左右偏转可通过以下方法进行计算:
当人脸处于正面时,鼻下点与左右外眼点的夹角相等;
当人脸左右偏转,即侧深度旋转后,鼻下点与左右外眼点的夹角差为βeye_out,同时可以算得鼻下点与左右内眼点的夹角差βeye_in,鼻下点与左右嘴角点的夹角差βmouth,为了减少误差,可取人脸的侧深度旋转角度为这三个角度的均值,即:
上下俯仰角度可以通过以下方法进行计算,包括:
人脸的侧面图可以看作是一个椭圆,y轴即为椭圆的中分线,x轴是眼睛和嘴连线的垂直平分线,那么没有上下俯仰,即垂直深度旋转时有α1=α2。垂直深度旋转后,x轴不再是眼睛和嘴连线的垂直平分线,根据等腰三角形的性质,侧深度旋转角度的计算公式为:
α0、β0为近似姿态估计值,利用α0、β0作为初始值,使用拟牛顿法对人脸姿态精确求解,可以求得人脸姿态的精确偏转角度。
步骤5:人脸轮廓椭圆标定,包括:利用眉毛、眼睛、鼻子和嘴巴标记特征点以及驾驶人员头部三维姿态,通过线性回归,对驾驶人员进行人脸轮廓椭圆标定;
步骤6:在标定的人脸轮廓椭圆外进行抽烟行为检测判断,具体包括:
首先,利用高斯曲面拟合以及灰度自适应二值化分割获取候选的烟头高亮区域,具体方法如下;
(1)利用高斯曲面拟合,求得画面当中存在的光斑中心,若参与拟合的数据点有N个,则将该N个数据点写成矩阵的形式:A=BC,光斑中N个数据点误差的列向量为:E=A-BC,用最小二乘法拟合,使得N个数据点的均方差最小,即:
(2)在图像数据处理时,数据量比较大,为减小计算量,将矩阵B进行QR分解,即:B=QR,分解后Q为一个N*N的正交矩阵,R为一个N*5的上三角矩阵,对E=A-BC进行如下推导:
S=R1C
C=R1 -1S
由于Q为正交矩阵,可以得到:
令:
其中,S为一个5维列向量;T为一个N-5维列向量;R1为一个5*5的上三角方阵,则
上式中,当S=R1C时取得最小值,因此只需解出C=R1 -1S即可求解出高斯函数的参数:
x0,y0即为光斑的中心点;
(3)以上一步骤中得到的光斑中心点x0,y0,采用自适应二值化分割,获取候选的烟头高亮区域。
其次,利用边界分析、区域大小分析以及区域形状分析,对候选烟头高亮区域分别进行置信决策,其中:
边界分析被配置为:烟头仅可能出现在以嘴部为圆心的圆形范围之内;
区域大小分析被配置为:烟头高亮区域的大小必须符合烟头大小的客观规律,不能超过阈值大小;
区域形状分析被配置为:烟头高亮区域理论上应为以光斑中心点为圆心的近似的圆形。
最后,若上一步中边界分析、区域大小分析和区域形状分析结果均符合烟头高亮区域,则认定驾驶员正在吸烟。
以上所述仅为本发明的优选实施例,并不用于限制本发明,本领域的技术人员可对前述各实施例所记载的技术方案进行修改,或对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内,本发明的保护范围以权利要求书所记载的内容为准。

Claims (8)

1.一种适用于多姿态下的驾驶人员抽烟行为检测方法,其特征在于,包括以下步骤:
步骤1:图像采集,采集驾驶员人脸图像信息;
步骤2:图像识别,对采集到的图像进行实时人脸检测;
步骤3:面部特征点标定,包括:对检测到的人脸进行眉毛、眼睛、鼻子及嘴巴等特征点定位;
步骤4:头部三维姿态检测,包括:利用几何特征对头部三维姿态进行检测,判断头部姿态;
步骤5:人脸轮廓椭圆标定,包括:利用眉毛、眼睛、鼻子和嘴巴标记特征点以及驾驶人员头部三维姿态,通过线性回归,对驾驶人员进行人脸轮廓椭圆标定;
步骤6:在标定的人脸轮廓椭圆外进行抽烟行为检测判断,包括:获取候选的烟头高亮区域,并对区域形状分析以进行置信决策,由此对驾驶人员是否存在抽烟行为作出判断。
2.根据权利要求1所述的一种适用于多姿态下的驾驶人员抽烟行为检测方法,其特征在于:所述步骤2中,采用统计分析与机器学习的方法归纳出人脸样本与非脸样本各自的haar统计特征,再构建区分各自特征的haar分类器,用haar分类器实现人脸定位检测。
3.根据权利要求1所述的一种适用于多姿态下的驾驶人员抽烟行为检测方法,其特征在于:所述步骤2中,使用AdaBoost算法检测出人脸位置。
4.根据权利要求1所述的一种适用于多姿态下的驾驶人员抽烟行为检测方法,其特征在于:所述步骤3中,采用监督梯度下降法进行面部特征点标定,监督梯度下降法主要分为训练和检测两个环节;
训练部分在***运行之前进行操作与计算,主要为了获得人脸特征点定位部分的回归迭代参数,使得算法在运行时可以准确的对人脸中眉毛、眼睛、鼻子、嘴巴等特征点进行定位;
首先,对所有训练库中的人脸图像手工标记眼睛嘴巴鼻子等特征点,并得到一个平均脸;
其次,求出平均脸的扰动参数,即缩放和平移的均值和标准差。针对每一幅图像以该均值和标准差做高斯分布采样,得到特征值点的训练初始值x0,并计算所有初值点的sift特征φ0
再次,通过公式(1)即可求出特征值点的梯度下降方向及其偏差因子:
arg m i n R k , b k Σ d i Σ x k i | | Δx * k i - R k φ k i - b k | | 2 - - - ( 1 )
其中,{di}训练库中的人脸图像集,是人脸图像集中所有手工标记的特征点真值,是训练特征值点xi和真值点间的差值矩阵,φi是特征值点的sift特征,R是梯度下降方向,b是偏差因子,k表示迭代次数;
再次,通过公式(2)对每一幅人脸图像中的特征点x进行更新,并重新计算更新后特征点的sift特征:
xk=xk-1+Rk-1φk-1+bk-1(2)
最后,对公式(1)和公式(2)进行迭代求解,特征值点xk收敛于真值点x*,此时训练结束,最终求得的每次迭代过程当中的梯度下降方向kR和偏差因子bk即检测所需要的回归迭代参数;
在检测阶段,具体包括:
首先,将训练过程中所得到的标准平均人脸样本定位到摄像头检测得到的人脸图像当中作为特征点的初始坐标;
其次,计算所有初始坐标点的sift特征,记为φ0
最后,通过公式(3)进行回归迭代计算得到最终的面部特征点坐标,
xk=xk-1+Rk-1φk-1+bk-1(3)
其中,Rk和bk是训练阶段得到的回归迭代参数,φk为每次迭代特征点的sift特征。
5.根据权利要求1所述的一种适用于多姿态下的驾驶人员抽烟行为检测方法,其特征在于:所述步骤5中,检测驾驶员是否处于头部的左右偏转及上下俯仰状态通过以下方法进行:
当人脸处于正面时,鼻下点与左右外眼点的夹角相等;
当人脸左右偏转,即侧深度旋转后,鼻下点与左右外眼点的夹角差为βeye_out,同时可以算得鼻下点与左右内眼点的夹角差βeye_in,鼻下点与左右嘴角点的夹角差βmouth,为了减少误差,可取人脸的侧深度旋转角度为这三个角度的均值,即:
上下俯仰角度可以通过以下方法进行计算,包括:
将人脸的侧面图看作一个椭圆,y轴即为椭圆的中分线,x轴是眼睛和嘴连线的垂直平分线,那么没有上下俯仰,即垂直深度旋转时有α1=α2;垂直深度旋转后,x轴不再是眼睛和嘴连线的垂直平分线,根据等腰三角形的性质,侧深度旋转角度的计算公式为:
α 0 = α 1 - α 2 2 ;
α0、β0为近似姿态估计值,利用α0、β0作为初始值,使用拟牛顿法对人脸姿态精确求解,可以求得人脸姿态的精确偏转角度。
6.根据权利要求1所述的一种适用于多姿态下的驾驶人员抽烟行为检测方法,其特征在于:所述步骤6中,在标定的人脸轮廓椭圆内进行抽烟行为检测识别,具体包括:
首先,利用高斯曲面拟合以及灰度自适应二值化分割获取候选的烟头高亮区域;
其次,利用边界分析、区域大小分析以及区域形状分析,对候选烟头高亮区域分别进行置信决策;
最后,若上一步中边界分析、区域大小分析和区域形状分析结果均符合烟头高亮区域,则认定驾驶员正在吸烟。
7.根据权利要求6所述的一种适用于多姿态下的驾驶人员抽烟行为检测方法,其特征在于:利用高斯曲面拟合以及灰度自适应二值化分割获取候选的烟头高亮区域,其具体方法如下,
(1)利用高斯曲面拟合,求得画面当中存在的光斑中心,若参与拟合的数据点有N个,则将该N个数据点写成矩阵的形式:A=BC,光斑中N个数据点误差的列向量为:E=A-BC,用最小二乘法拟合,使得N个数据点的均方差最小,即:
M S E = 1 N | | E | | 2 2 = 1 N E T E = 1 N ( A - B C ) T ( A - B C )
(2)在图像数据处理时,数据量比较大,为减小计算量,将矩阵B进行QR分解,即:B=QR,分解后Q为一个N*N的正交矩阵,R为一个N*5的上三角矩阵,对E=A-BC进行如下推导:
| | E | | 2 2 = | | Q T E | | 2 2 = | | Q T A - R C | | 2 2
Q T A = S T R = R 1 0
M S E = 1 N | | E | | 2 2 = 1 N | | Q T A - R C | | 2 2 = 1 N ( | | S - R 1 C | | 2 2 + | | T | | 2 2 )
S=R1C
C = R 1 - 1 S
x 0 = - c 1 2 c 3 , y 0 = - c 2 2 c 4
由于Q为正交矩阵,可以得到:
| | E | | 2 2 = | | Q T E | | 2 2 = | | Q T A - R C | | 2 2
令: Q T A = S T R = R 1 0
其中,S为一个5维列向量;T为一个N-5维列向量;R1为一个5*5的上三角方阵,则
M S E = 1 N | | E | | 2 2 = 1 N | | Q T A - R C | | 2 2 = 1 N ( | | S - R 1 C | | 2 2 + | | T | | 2 2 )
上式中,当S=R1C时取得最小值,因此只需解出C=R1 -1S即可求解出高斯函数的参数: x 0 = - c 1 2 c 3 , y 0 = - c 2 2 c 4 ;
x0,y0即为光斑的中心点;
(3)以上一步骤中得到的光斑中心点x0,y0,采用自适应二值化分割,获取候选的烟头高亮区域。
8.根据权利要求6所述的一种适用于多姿态下的驾驶人员抽烟行为检测方法,其特征在于:利用边界分析、区域大小分析以及区域形状分析,对候选烟头高亮区域分别进行置信决策,具体如下,
边界分析被配置为:烟头仅可能出现在以嘴部为圆心的圆形范围之内;
区域大小分析被配置为:烟头高亮区域的大小必须符合烟头大小的客观规律,不能超过阈值大小;
区域形状分析被配置为:烟头高亮区域理论上应为以光斑中心点为圆心的近似的圆形。
CN201510585165.4A 2015-09-15 2015-09-15 一种适用于多姿态下的驾驶人员抽烟行为检测方法 Expired - Fee Related CN105260703B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510585165.4A CN105260703B (zh) 2015-09-15 2015-09-15 一种适用于多姿态下的驾驶人员抽烟行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510585165.4A CN105260703B (zh) 2015-09-15 2015-09-15 一种适用于多姿态下的驾驶人员抽烟行为检测方法

Publications (2)

Publication Number Publication Date
CN105260703A true CN105260703A (zh) 2016-01-20
CN105260703B CN105260703B (zh) 2019-07-05

Family

ID=55100384

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510585165.4A Expired - Fee Related CN105260703B (zh) 2015-09-15 2015-09-15 一种适用于多姿态下的驾驶人员抽烟行为检测方法

Country Status (1)

Country Link
CN (1) CN105260703B (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056061A (zh) * 2016-05-26 2016-10-26 南京大学 一种基于可穿戴设备的日常抽烟行为检测方法
CN107016319A (zh) * 2016-01-27 2017-08-04 北京三星通信技术研究有限公司 一种关键点定位方法和装置
CN108734125A (zh) * 2018-05-21 2018-11-02 杭州杰视科技有限公司 一种开放空间的吸烟行为识别方法
CN109214258A (zh) * 2017-07-05 2019-01-15 杭州海康威视***技术有限公司 失驾人员违规驾驶的检测方法及装置
CN109460719A (zh) * 2018-10-24 2019-03-12 四川阿泰因机器人智能装备有限公司 一种电力作业安全识别方法
CN109598214A (zh) * 2018-11-22 2019-04-09 深圳爱莫科技有限公司 吸烟行为识别方法和装置
CN109635673A (zh) * 2018-11-22 2019-04-16 深圳爱莫科技有限公司 吸烟行为识别方法和装置
CN109711384A (zh) * 2019-01-09 2019-05-03 江苏星云网格信息技术有限公司 一种基于深度卷积神经网络的人脸识别方法
CN109800640A (zh) * 2018-12-14 2019-05-24 天津大学 一种基于二维曲面拟合的吸烟检测方法
CN109934112A (zh) * 2019-02-14 2019-06-25 青岛小鸟看看科技有限公司 一种人脸对齐方法和相机
CN110503006A (zh) * 2019-07-29 2019-11-26 恒大智慧科技有限公司 一种社区吸烟管控方法、***及其存储介质
CN110909596A (zh) * 2019-10-14 2020-03-24 广州视源电子科技股份有限公司 侧脸识别方法、装置、设备以及存储介质
CN110956060A (zh) * 2018-09-27 2020-04-03 北京市商汤科技开发有限公司 动作识别、驾驶动作分析方法和装置及电子设备
CN111325058A (zh) * 2018-12-14 2020-06-23 长沙智能驾驶研究院有限公司 驾驶行为检测方法、装置、***及存储介质
CN111626101A (zh) * 2020-04-13 2020-09-04 惠州市德赛西威汽车电子股份有限公司 一种基于adas的吸烟监测方法及***
CN111832526A (zh) * 2020-07-23 2020-10-27 浙江蓝卓工业互联网信息技术有限公司 一种行为检测方法及装置
CN112668387A (zh) * 2020-09-24 2021-04-16 上海荷福人工智能科技(集团)有限公司 基于AlphaPose实现的违规抽烟识别方法
CN113554007A (zh) * 2021-09-18 2021-10-26 上海齐感电子信息科技有限公司 人脸框的计算方法及计算***
CN113591615A (zh) * 2021-07-14 2021-11-02 广州敏视数码科技有限公司 一种基于多模型的驾驶员抽烟检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102289660A (zh) * 2011-07-26 2011-12-21 华南理工大学 一种基于手部姿态跟踪的违规驾驶行为检测方法
CN102982316A (zh) * 2012-11-05 2013-03-20 安维思电子科技(广州)有限公司 一种对驾驶员非正常驾驶行为的识别装置和方法
US20130187847A1 (en) * 2012-01-19 2013-07-25 Utechzone Co., Ltd. In-car eye control method
CN104361716A (zh) * 2014-10-31 2015-02-18 新疆宏开电子***集成有限公司 实时检测疲劳并提醒的方法
CN104598934A (zh) * 2014-12-17 2015-05-06 安徽清新互联信息科技有限公司 一种驾驶员吸烟行为监控方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102289660A (zh) * 2011-07-26 2011-12-21 华南理工大学 一种基于手部姿态跟踪的违规驾驶行为检测方法
US20130187847A1 (en) * 2012-01-19 2013-07-25 Utechzone Co., Ltd. In-car eye control method
CN102982316A (zh) * 2012-11-05 2013-03-20 安维思电子科技(广州)有限公司 一种对驾驶员非正常驾驶行为的识别装置和方法
CN104361716A (zh) * 2014-10-31 2015-02-18 新疆宏开电子***集成有限公司 实时检测疲劳并提醒的方法
CN104598934A (zh) * 2014-12-17 2015-05-06 安徽清新互联信息科技有限公司 一种驾驶员吸烟行为监控方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XUEHAN XIONG 等: "Supervised Descent Method and Its Applications to Face Alignment", 《PROCESS OF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016319A (zh) * 2016-01-27 2017-08-04 北京三星通信技术研究有限公司 一种关键点定位方法和装置
CN107016319B (zh) * 2016-01-27 2021-03-05 北京三星通信技术研究有限公司 一种特征点定位方法和装置
CN106056061B (zh) * 2016-05-26 2019-05-21 南京大学 一种基于可穿戴设备的日常抽烟行为检测方法
CN106056061A (zh) * 2016-05-26 2016-10-26 南京大学 一种基于可穿戴设备的日常抽烟行为检测方法
CN109214258A (zh) * 2017-07-05 2019-01-15 杭州海康威视***技术有限公司 失驾人员违规驾驶的检测方法及装置
CN109214258B (zh) * 2017-07-05 2021-06-29 杭州海康威视***技术有限公司 失驾人员违规驾驶的检测方法及装置
CN108734125A (zh) * 2018-05-21 2018-11-02 杭州杰视科技有限公司 一种开放空间的吸烟行为识别方法
CN108734125B (zh) * 2018-05-21 2021-05-04 杭州杰视科技有限公司 一种开放空间的吸烟行为识别方法
CN110956060A (zh) * 2018-09-27 2020-04-03 北京市商汤科技开发有限公司 动作识别、驾驶动作分析方法和装置及电子设备
CN109460719A (zh) * 2018-10-24 2019-03-12 四川阿泰因机器人智能装备有限公司 一种电力作业安全识别方法
CN109598214A (zh) * 2018-11-22 2019-04-09 深圳爱莫科技有限公司 吸烟行为识别方法和装置
CN109635673B (zh) * 2018-11-22 2020-02-21 湖南中烟工业有限责任公司 吸烟行为识别方法和装置
CN109598214B (zh) * 2018-11-22 2021-09-14 湖南中烟工业有限责任公司 吸烟行为识别方法和装置
CN109635673A (zh) * 2018-11-22 2019-04-16 深圳爱莫科技有限公司 吸烟行为识别方法和装置
CN109800640A (zh) * 2018-12-14 2019-05-24 天津大学 一种基于二维曲面拟合的吸烟检测方法
CN111325058A (zh) * 2018-12-14 2020-06-23 长沙智能驾驶研究院有限公司 驾驶行为检测方法、装置、***及存储介质
CN111325058B (zh) * 2018-12-14 2023-12-01 长沙智能驾驶研究院有限公司 驾驶行为检测方法、装置、***及存储介质
CN109711384A (zh) * 2019-01-09 2019-05-03 江苏星云网格信息技术有限公司 一种基于深度卷积神经网络的人脸识别方法
CN109934112A (zh) * 2019-02-14 2019-06-25 青岛小鸟看看科技有限公司 一种人脸对齐方法和相机
CN110503006A (zh) * 2019-07-29 2019-11-26 恒大智慧科技有限公司 一种社区吸烟管控方法、***及其存储介质
CN110909596A (zh) * 2019-10-14 2020-03-24 广州视源电子科技股份有限公司 侧脸识别方法、装置、设备以及存储介质
CN111626101A (zh) * 2020-04-13 2020-09-04 惠州市德赛西威汽车电子股份有限公司 一种基于adas的吸烟监测方法及***
CN111832526A (zh) * 2020-07-23 2020-10-27 浙江蓝卓工业互联网信息技术有限公司 一种行为检测方法及装置
CN111832526B (zh) * 2020-07-23 2024-06-11 浙江蓝卓工业互联网信息技术有限公司 一种行为检测方法及装置
CN112668387A (zh) * 2020-09-24 2021-04-16 上海荷福人工智能科技(集团)有限公司 基于AlphaPose实现的违规抽烟识别方法
CN112668387B (zh) * 2020-09-24 2023-06-27 上海荷福人工智能科技(集团)有限公司 基于AlphaPose实现的违规抽烟识别方法
CN113591615A (zh) * 2021-07-14 2021-11-02 广州敏视数码科技有限公司 一种基于多模型的驾驶员抽烟检测方法
CN113554007A (zh) * 2021-09-18 2021-10-26 上海齐感电子信息科技有限公司 人脸框的计算方法及计算***

Also Published As

Publication number Publication date
CN105260703B (zh) 2019-07-05

Similar Documents

Publication Publication Date Title
CN105260703A (zh) 一种适用于多姿态下的驾驶人员抽烟行为检测方法
CN105260705A (zh) 一种适用于多姿态下的驾驶人员接打电话行为检测方法
CN103479367B (zh) 一种基于面部运动单元识别的驾驶员疲劳检测方法
CN107038422B (zh) 基于空间几何约束深度学习的疲劳状态识别方法
CN108073914B (zh) 一种动物面部关键点标注方法
CN106845327B (zh) 人脸对齐模型的训练方法、人脸对齐方法和装置
CN107358206A (zh) 一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法
CN103810491B (zh) 融合深度和灰度图像特征点的头姿估计兴趣点检测方法
Batista A drowsiness and point of attention monitoring system for driver vigilance
CN109145852B (zh) 一种基于眼睛睁闭状态的驾驶员疲劳状态识别方法
CN107403142A (zh) 一种微表情的检测方法
CN107330249A (zh) 一种基于kinect骨骼数据的帕金森病症计算机辅助判别方法
CN111062292A (zh) 一种疲劳驾驶检测装置与方法
Lee et al. A study on feature extraction methods used to estimate a driver’s level of drowsiness
CN104794449A (zh) 基于人体hog特征的步态能量图获取及身份识别方法
CN106599873A (zh) 基于三维姿态信息的人物身份识别方法
CN103544478A (zh) 一种全方位人脸检测的方法及***
Ying et al. The monitoring method of driver's fatigue based on neural network
CN114022514A (zh) 一种融合头部姿态和眼球跟踪的实时视线推断方法
Das et al. Human gait analysis and recognition using support vector machines
Yongcun et al. Online examination behavior detection system for preschool education professional skills competition based on MTCNN
Dinculescu et al. Novel approach to face expression analysis in determining emotional valence and intensity with benefit for human space flight studies
Bornak et al. 3D face recognition by used region-based with facial expression variation
Das et al. Multimodal feature analysis for quantitative performance evaluation of endotracheal intubation (ETI)
Du et al. Online vigilance analysis combining video and electrooculography features

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TA01 Transfer of patent application right

Effective date of registration: 20190624

Address after: Room 108, Unit 1, Building 7, Ziting Yuan, Furong South Road, Qujiang New District, Xi'an City, Shaanxi Province, 710061

Applicant after: Xi'an Cocoa Eight Technology Co., Ltd.

Address before: 710065 Yicuiyuan-Xi'an (Phase II) Building 2, Unit 6, Room 20627, East of Tang Yannan Road, Xi'an High-tech Zone, Shaanxi Province

Applicant before: Xi'an Bang Wei Electronic Science and Technology Co., Ltd.

TA01 Transfer of patent application right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190705

Termination date: 20190915

CF01 Termination of patent right due to non-payment of annual fee