CN110781718B - 一种驾驶室红外视觉***及驾驶员注意力分析方法 - Google Patents
一种驾驶室红外视觉***及驾驶员注意力分析方法 Download PDFInfo
- Publication number
- CN110781718B CN110781718B CN201910802102.8A CN201910802102A CN110781718B CN 110781718 B CN110781718 B CN 110781718B CN 201910802102 A CN201910802102 A CN 201910802102A CN 110781718 B CN110781718 B CN 110781718B
- Authority
- CN
- China
- Prior art keywords
- loss function
- face
- eyeball
- key point
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 34
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 100
- 238000001514 detection method Methods 0.000 claims abstract description 36
- 210000001508 eye Anatomy 0.000 claims abstract description 32
- 238000013528 artificial neural network Methods 0.000 claims abstract description 16
- 230000000007 visual effect Effects 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 82
- 238000012549 training Methods 0.000 claims description 54
- 230000001815 facial effect Effects 0.000 claims description 46
- 230000006399 behavior Effects 0.000 claims description 43
- 238000000034 method Methods 0.000 claims description 32
- 239000013598 vector Substances 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 14
- 238000012805 post-processing Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000005286 illumination Methods 0.000 claims description 10
- 238000009434 installation Methods 0.000 claims description 7
- 230000015654 memory Effects 0.000 claims description 7
- 238000013138 pruning Methods 0.000 claims description 7
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 238000011478 gradient descent method Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000013139 quantization Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 230000007787 long-term memory Effects 0.000 claims description 2
- 230000006403 short-term memory Effects 0.000 claims description 2
- 230000010354 integration Effects 0.000 claims 1
- 230000001502 supplementing effect Effects 0.000 abstract description 8
- 230000000306 recurrent effect Effects 0.000 abstract description 3
- 239000013589 supplement Substances 0.000 abstract 1
- 238000013527 convolutional neural network Methods 0.000 description 9
- 210000001747 pupil Anatomy 0.000 description 8
- 210000000214 mouth Anatomy 0.000 description 7
- 210000001331 nose Anatomy 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Ophthalmology & Optometry (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种驾驶室红外视觉***及驾驶员注意力分析方法,包括驾驶室红外视觉***,所述驾驶室红外视觉***包括壳体、摄像头、微处理器以及红外补光灯,所述摄像头灯嵌套在壳体侧面,所述红外补光灯安装在摄像头的四周,所述微处理器设置在壳体内,所述微处理器集成有:图像预处理模块、面部关键点检测模块、眼球关键点检测模块、面部朝向回归模块、眼球朝向回归模块以及时序行为分类模块;该技术方案利用基于红外补光的驾驶室视觉输入,通过深度卷积神经网络对驾驶员面部以及眼球特征进行分析,并通过递归神经网络对时序驾驶员目光注意范围进行分类,实现全面驾驶员注意力以及意图分析。
Description
技术领域
本发明涉及驾驶员行为辅助***领域,具体的,涉及一种驾驶室红外视觉***及驾驶员注意力分析方法。
背景技术
据道路交通事故数据统计,有超过半数的交通事故是由驾驶员的危险或错误车辆操作所导致的。然而,此类人为事故中大部分是由于驾驶疲劳或注意力分散造成的,现有乘用车以及商用车的主动安全***很少有涉及驾驶员行为分析与提醒的功能。
对于L2-L3级自动驾驶***而言,需要驾驶员对车辆进行不同层级的监管,因而要求***能够实时感知驾驶员的注意力范围,现有***通过方向盘驾驶力矩信号分析驾驶员对车辆的监控状态,此类***仅能判断驾驶员手部是否脱离方向盘,而无法识别驾驶员注意力(如是否观察车辆前方场景等)是否能够应对相应等级自动驾驶***的功能需求。
对于商业运输车辆而言,长时间以及长途驾驶使上述危险驾驶情况的发生概率更高,现有大部分商用营运车辆不具备功能完善的驾驶员行为监测***,部分具备车载录像以及操作记录功能,不具备疲劳或危险驾驶行为预警***,因而无法有效保障长途驾驶的行车安全。近年来市场中出现的部分驾驶疲劳预警***,或通过驾驶操纵信号(方向盘转角以及油门、制动踏板信号),或通过驾驶员眼部开闭程度进行疲劳驾驶行为判断,此类***仅能对部分疲劳驾驶行为进行识别,然而无法判断驾驶员目光注意力范围以及驾驶意图。
现有驾驶员监测与分析***大部分基于车辆动力学状态(横摆角速度、加速度等),车辆操作信号(方向盘、油门、制动踏板等)以及驾驶员面部特征状态(眼睛开度等)对驾驶员疲劳以及不专注等驾驶行为进行识别、告警并上传相应驾驶行为视频片段,部分驾驶员行为分析***利用驾驶员面部朝向近似驾驶员注意力方向,并以之分析分析低头、左顾右盼等不专注驾驶行为。部分驾驶员行为分析***利用场景驾驶员ROI区域的图像特征描述,并用神经网络或支持向量机等方法对预定义不良驾驶行为进行分类(如接打电话、吸烟、吃东西等)。上述已有***仅具备部分疲劳以及不专注驾驶行为的识别能力,无法对驾驶员注意力类别以及驾驶操作意图进行分辨。
发明内容
本发明的目的是解决现有驾驶员检测与分析***无法对驾驶员注意力类别以及驾驶操作意图进行分辨的弊端,提出了一种驾驶室红外视觉***及驾驶员注意力分析方法,本技术方案利用基于红外补光的驾驶室视觉输入,通过深度卷积神经网络对驾驶员面部以及眼球特征进行分析,并通过递归神经网络对时序驾驶员目光注意范围进行分类,实现全面驾驶员注意力以及意图分析,可应用于辅助驾驶***驾驶员分神提示以及自动驾驶***驾驶员注意力监测。
为实现上述技术目的,本发明提供的一种技术方案是,一种驾驶室红外视觉***,包括壳体、摄像头、微处理器以及红外补光灯,所述摄像头灯嵌套在壳体侧面,所述红外补光灯安装在摄像头的四周,所述微处理器设置在壳体内,所述微处理器集成有:
图像预处理模块:用于摄像头参数的调节以及采集到的图像参数的调节;
面部关键点检测模块:用于进行驾驶员面部关键点检测,输入为Y通道驾驶室图像数据,输出包含眼、鼻、口等部位的预定义面部关键点信息;
眼球关键点检测模块:用于眼球关键点特征提取,输出眼球关键点位置信息;
面部朝向回归模块:用于检测驾驶员的面部朝向角度,建立面部朝向角度分区;
眼球朝向回归模块:用于检测驾驶员眼球朝向角度;
时序行为分类模块:包括时序行为分析模块和长短期记忆模块,将时序连续面部特征fm2以及浅层眼部特征fm1级联后传入时序行为分析模块,采用长短期记忆模块对驾驶员注意力进行分类。
本方案中,以红外补光驾驶室场景视觉图像作为***输入,补光灯波长为940nm,水平视场角为54°,垂直视场角为30°,驾驶室红外视觉***安装于驾驶员座位距离1.5米,水平照射角(镜头与驾驶员面部连线水平平面内投影)左右15°,垂直照射角(镜头与驾驶员面部连线垂直平面内投影)上下15°范围内,默认安装角度水平照射角为0°,垂直照射角为–10,基于驾驶室红外图像输入到面部关键点检测模块,利用面部关键点卷积神经网络(F-NN)进行驾驶员面部关键点检测,输出包含眼、鼻、口等部位的预定义面部关键点信息;基于眼部ROI区域浅层卷积特征输入到眼球关键点检测模块,利用眼球关键点卷积神经网络(P-NN)进行眼球关键点检测,输出包含瞳孔以及眼球等部位的预定义眼球关键点信息;基于人脸ROI区域特征输入到面部朝向回归模块,利用面部朝向卷积神经网络,预测三自由度面部朝向角度,并利用卡尔曼滤波进行面部朝向角后处理;当眼球朝向处于可观测范围内(即按默认安装角度,人脸朝向处于左右旋转30°范围之内),将上述人脸ROI区域特征旋转变换至与驾驶室相机光轴正交的平面,将数据输入到眼球朝向回归模块,利用眼球朝向卷积神经网络,基于眼球ROI区域特征输入,预测面部平面二自由度眼球朝向角度,并利用卡尔曼滤波进行眼球朝向角后处理;级联上述眼部与面部特征,根据不同应用需求,利用注意力行为分类模块中的递归神经网络模型对时序行为进行分类。
一种基于驾驶室红外视觉***的驾驶员注意力分析方法,包括如下步骤:
S1、图像预处理;
S2、面部关键点检测;
S3、面部朝向计算;
S4、眼球关键点检测
S5、眼球朝向计算;
S6、注意力行为分类。
所述步骤S1中,图像预处理包括摄像头参数的调节以及图像参数的调节,所述摄像头参数的调节包括有:摄像头快门、光圈及增益的参数自适应调节;所述图像调节包括有:图像ROI截取、Y通道截取以及缩放所需分辨率。
所述步骤S2中,面部关键点检测包括如下步骤:
S21、面部关键点检测网络拓扑;设计基于驾驶室视觉输入的多任务分析神经网络,所述多任务分析神经网络包括有共享特征编码层以及各解码输出分支,所述解码输出分支包括有面部分类分支、面部框回归分支以及面部关键点回归分支;
S22、面部关键点网络离线训练;在光照情况、背景环境以及驾驶室布局变化的情况下,通过摄像头安装位置与角度采集驾驶室场景训练数据,作为所述网络离线训练的训练数据;
S23、人工标注生成训练标签;
S24、求解损失函数Lface;
S25、面部关键点模型后处理以及前向部署;将训练好的模型参数经剪枝与量化后,部署于前端嵌入式平台。
所述损失函数Lface包括分类损失函数Lcls、区域位置回归损失函数Lbbox以及关键点回归损失函数Lkpts,采用下列公式计算表示:
Lface=k1Lcls+k2Lbbox+k3Lkpts
Lcross-entropy(Y,G)=GlogY+(1-G)log(1-Y)
式中:k1为分类损失函数Lcls的权重系数;k2为区域位置回归损失函数Lbbox的权重系数;k3为关键点回归损失函数Lkpts的权重系数;Bboxi为面部区域坐标;Kptsi为面部关键点坐标;gcls,i为面部分类分支的样本真值标签,gbbox,i为面部框回归分支的样本真值标签,gkpts,i为面部关键点回归分支的样本真值标签。
所述步骤S3中,面部朝向计算包括如下步骤:
S31、面部朝向训练样本生成;利用3D人脸检测模型获取场景下驾驶员面部稠密关键点信息,3D重构红外图像所对应的人脸模型,基于重构红外图像,生成特定朝向角度训练数据集;
S32、面部朝向模型离线训练;利用特定朝向角度训练数据集,采用批量随机梯度下降的方法求优损失函数Lhp;
S33、面部朝向模型后处理以及前向部署:模型输出的面部朝向角,经剪枝与量化后,经低通滤波后送入后续应用层算法。
所述损失函数Lhp包括有区间分类损失函数Lhpc、角度回归损失函数Lhpd以及角度与区间一致性损失函数Lhpe三部分:
Lhp=k4Lhpc+k5Lhpd+k6Lhpe
Lcross-entropy(Y,G)=GlogY+(1-G)log(1-Y)
其中,k4为区间分类损失函数Lhpc的权重系数;k5为角度回归损失函数Lhpd的权重系数;k6为角度与区间一致性损失函数Lhpe的权重系数;Hpi为面部朝向角度,Hpci为面部朝向分类区间;ghp,i为面部朝向角度真值标签,ghpc,i为面部朝向分类区间真值标签;f(Hpi)为面部朝向区间与面部朝向角的映射关系。
所述步骤S4中,眼球关键点检测包括如下步骤:
S41、眼部特征对齐;
S42、眼球关键点模型离线训练;
S43、求解损失函数Lpupil;损失函数Lpupil包括有包括眼球可见性分类损失函数Lp以及关键点回归损失函数Lk,采用下列公式计算表示:
Lpupil=k7Lp+k8Lk
式中:Pi为眼球可见性,Ki为眼球关键点,gp,i为眼球可见性真值标签,gk,i为相应的真值标签;k7为眼球可见性分类损失函数Lp的权重系数,k8为关键点回归损失函数的权重系数。
S43:模型压缩与在线推理;
所述步骤S5中,眼球朝向计算包括如下步骤:
S51、眼球朝向训练样本生成;
S52、眼球朝向模型离线训练;
S53、求解损失函数LGD;损失函数LGD包括有区间分类损失函数Lgdc、角度回归损失函数Lgd以及角度与区间一致性损失函数Lgdf;采用下列公式计算表示:
LGD=k9Lgdc+k10Lgd+k11Lgdf
式中:Gdi为眼球朝向角度,Gdci为分类区间;ggd,i,ggdc,i为眼球朝向真值;k9为区间分类损失函数Lgdc的权重系数,k10为角度回归损失函数Lgd的权重系数,k11为角度与区间一致性损失函数Lgdf的权重系数;h(Gdi)为眼球朝向区间与面部朝向角的映射关系;
S54、眼球朝向模型后处理以及前向部署;模型输出的眼球朝向角,经剪枝与量化后,经低通滤波后送入后续应用层算法。
所述步骤S6,注意力行为分类包括如下步骤:
S61、长短期记忆模块网络拓扑;
使用公式如下:
ft=sigmoid(σf(xt,ht-1))
it=sigmoid(σi(xt,ht-1))
ot=sigmoid(σo(xt,ht-1))
ct=ft·ct-1+it·tanh(σc(xt,ht-1))
ht=ot·tanh(ct)
其中,xt为输入向量,ft为遗忘门向量,it为更新门向量,ht为隐层向量,ot为输出门向量,ct为元组状态向量;
S62、训练数据集;根据驾驶员注意力范围类别,生成时序连续训练数据集;
S63、离线训练求解损失函数Lbehavior;损失函数Lbehavior计算公式如下:
式中:Bi,j为预测行为类别,gb,ij为行为类别真值,N为独立片段数,T为单独片段帧数。
本发明的有益效果:
1、可通过对驾驶室视觉输入下的面部以及眼球特征联合分析,准确识别驾驶员注意力范围与意图,并应用于自动驾驶或辅助驾驶***功能中;
2.采用单通道(Y通道)图像输入,***所占用带宽与神经网络运算量均更优化;
3、可移植性强,应用灵活,可集成于已有基于视觉输入的驾驶员分析***(场景视角、视觉***硬件、处理***硬件均可复用)。
附图说明
图1为本发明的一种驾驶室红外视觉***的结构图。
图2为本发明的一种驶员注意力分析方法的具体方法流程图流程图。
图3为本发明的一种驶员注意力分析方法的深度卷积神经网络拓扑示意图。
图中标记说明:1-壳体、2-摄像头、3-红外补光灯。
具体实施方式
为使本发明的目的、技术方案以及优点更加清楚明白,下面结合附图和实施例对本发明作进一步详细说明,应当理解的是,此处所描述的具体实施方式仅是本发明的一种最佳实施例,仅用以解释本发明,并不限定本发明的保护范围,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例:如图1所示,是一种驾驶室红外视觉***,由壳体1、摄像头2、微处理器(未示出)以及若干红外补光灯3组成,摄像头2嵌套在壳体1侧面,所述若干红外补光灯3安装在摄像头的四周,所述微处理器设置在壳体1内,所述微处理器集成有:图像预处理模块:用于摄像头参数的调节以及采集到的图像参数的调节;面部关键点检测模块:用于进行驾驶员面部关键点检测,输入为Y通道驾驶室图像数据,输出包含眼、鼻、口等部位的预定义面部关键点信息;眼球关键点检测模块:用于眼球关键点特征提取,输出眼球关键点位置信息;面部朝向回归模块:用于检测驾驶员的面部朝向角度,建立面部朝向角度分区;眼球朝向回归模块:用于检测驾驶员眼球朝向角度;时序行为分类模块:包括时序行为分析模块和长短期记忆模块,将时序连续面部特征fm2以及浅层眼部特征fm1级联后传入时序行为分析模块,采用长短期记忆模块对驾驶员注意力进行分类。
本实施例中,以红外补光驾驶室场景视觉图像作为***输入,补光灯波长为940nm,水平视场角为54°,垂直视场角为30°,驾驶室红外视觉***安装于驾驶员座位距离1.5米,水平照射角(镜头与驾驶员面部连线水平平面内投影)左右15°,垂直照射角(镜头与驾驶员面部连线垂直平面内投影)上下15°范围内,默认安装角度水平照射角为0°,垂直照射角为–10,基于驾驶室红外图像输入到面部关键点检测模块,利用面部关键点卷积神经网络(F-NN)进行驾驶员面部关键点检测,输出包含眼、鼻、口等部位的预定义面部关键点信息;基于眼部ROI区域浅层卷积特征输入到眼球关键点检测模块,利用眼球关键点卷积神经网络(P-NN)进行眼球关键点检测,输出包含瞳孔以及眼球等部位的预定义眼球关键点信息;基于人脸ROI区域特征输入到面部朝向回归模块,利用面部朝向卷积神经网络,预测三自由度面部朝向角度,并利用卡尔曼滤波进行面部朝向角后处理;当眼球朝向处于可观测范围内(即按默认安装角度,人脸朝向处于左右旋转30°范围之内),将上述人脸ROI区域特征旋转变换至与驾驶室相机光轴正交的平面,将数据输入到眼球朝向回归模块,利用眼球朝向卷积神经网络,基于眼球ROI区域特征输入,预测面部平面二自由度眼球朝向角度,并利用卡尔曼滤波进行眼球朝向角后处理;级联上述眼部与面部特征,根据不同应用需求,利用注意力行为分类模块中的递归神经网络模型对时序行为进行分类。
如图2所示为一种驶员注意力分析方法的具体方法流程图,包括如下步骤:
S1、图像预处理:主要包括相机快门、光圈及增益等参数自适应调节、图像ROI截取、Y通道截取以及缩放至后续算法模块所需分辨率等。其中,相机快门、光圈及增益等参数自适应调节可通过离线图像质量调试的方式完成;图像ROI、通道截取以及缩放可通过将相应算法配置参数写入初始化函数并由相应函数接口读入而实现。
S2、面部关键点检测:利用面部关键点卷积神经网络(F-NN,如图3是深度卷积神经网络拓扑示意图)进行驾驶员面部关键点检测,输入为Y通道驾驶室图像数据,输出包含眼、鼻、口等部位的预定义面部关键点信息。
详细内容如下:
S21、面部关键点检测网络拓扑:设计基于驾驶室视觉输入的多任务分析神经网络,如图3所示,主要由共享特征编码层以及各解码输出分支。其中共享特征层主要由级联卷积、池化、激活以及正则操作组合而成;面部关键点检测解码分支主要包含面部分类、面部框回归以及面部关键点回归三个分支,包含卷积、全连接以及softmax层构成,面部分类输出为(0-非人脸,1-人脸),面部框回归输出为(x-中心点横坐标,y-中心点纵坐标,w-宽度,h-高度),面部关键点回归输出为(0-左眼左眼角,1-左眼右眼角,2-右眼左眼角,3-右眼右眼角,4-鼻尖,5-左嘴角,6-右嘴角)。
S22、面部关键点网络离线训练:按本部分之前内容所描述的驾驶室相机安装位置与角度采集驾驶室场景训练数据,包含不同光照情况、背景环境以及驾驶室布局等。
S23人工标注生成训练标签。通过随机几何、色彩变换在线扩充上述训练数据集,随机初始化神经网络模型参数。
S24、采用批量随机梯度下降的方法求优如下损失函数Lface,主要包含分类、区域回归以及关键点回归损失函数三部分:
Lface=k1Lcls+k2Lbbox+k3Lkpts
Lcross-entropy(Y,G)=GlogY+(1-G)log(1-Y)
其中,Lcls为分类损失函数;Lbbox为区域位置回归损失函数;Lkpts为关键点回归损失函数;k1,k2,k3为各损失函数权重系数;Bboxi为面部区域坐标;Kptsi为面部关键点坐标;gcls,i,gbbox,i,gkpts,i为各分支输出的样本真值标签。
S25、面部关键点模型后处理以及前向部署:将上述训练好模型参数经剪枝(通道剪裁以及稀疏化)与量化(8位或16位浮点、定点数据类型)等压缩操作后,部署于前端嵌入式平台(包括数据文件与配置文件)。
S3、面部朝向回归:基于面部关键点检测网络特征层输入fm2,设计面部朝向回归分支(如图3所示),主要由卷积(conv),池化(pool),激活(Relu)以及全连接(fc)等基础层构成,输出为相机坐标系下三自由度面部朝向角度。作为中间结果,将面部朝向角度(上下以及左右旋转角)各分为6个区间,每个区间30°,总范围-90°至90°。
详细内容如下:
S31、面部朝向训练样本生成:不同于步骤S2中面部关键点检测的训练任务,面部朝向回归标签难以用人工标注的方式生成。采集驾驶室场景红外图像数据,利用3D人脸检测模型(如PRNET等)获取该场景下驾驶员面部稠密关键点(格栅)信息,并3D重构该红外图像所对应的人脸模型。按预设3自由度角度参数(正负60°范围内)设定若干渲染点,基于上述重构红外图像,生成特定朝向角度训练数据集。
S32、面部朝向模型离线训练:利用步骤S3.1中生成的训练数据集,固化浅层特征参数,随机初始化分支部分神经网络参数。
S33、采用批量随机梯度下降的方法求优如下损失函数Lhp,损失函数Lhp包括有区间分类损失函数Lhpc、角度回归损失函数Lhpd以及角度与区间一致性损失函数Lhpe;采用下列公式计算表示:
Lhp=k4Lhpc+k5Lhpd+k6Lhpe
Lcross-entropy(Y,G)=GlogY+(1-G)log(1-Y)
其中,k4为区间分类损失函数Lhpc的权重系数;k5为角度回归损失函数Lhpd的权重系数;k6为角度与区间一致性损失函数Lhpe的权重系数;Hpi为面部朝向角度,,Hpci为面部朝向分类区间;ghp,i为面部朝向角度真值标签,ghpc,i为面部朝向分类区间真值标签;f(Hpi)为面部朝向区间与面部朝向角的映射关系。
S34、面部朝向模型后处理以及前向部署:模型压缩与嵌入式部署方法参照步骤S25。模型输出的面部朝向角,经低通滤波(如kalman滤波或者moving-average滤波)后送入后续应用层算法。
S4、眼球关键点检测:基于面部关键点检测网络特浅层征层输入fm1,经特征对齐操作后传入眼球关键点检测分支,经卷积(conv),池化(pool),激活(Relu)以及全连接(fc)等神经网络运算操作,输出预定义眼球关键点位置(6个虹膜边缘点以及一个瞳孔点)。具体内容如下:
S41、眼部特征对齐:利用步骤S3中面部朝向回归结果对齐上述卷积特征,方法如下:
其中,θ,ψ,φ为三个轴面部方向角,R为3*3旋转矩阵,fm′1为对齐后特征图谱。
S42、眼球关键点模型离线训练:利用步骤S2中所述的相机安装方式与场景,人工标注生成眼球关键点训练标签,包含眼球是否可见(0-不可见,1-可见)以及步骤S4中描述的7个眼球关键点。按步骤S22中样本增广方法扩充训练数据集,经步骤S4所述的对齐预处理操作后,送入眼球关键点检测分支。
S43、固化浅层神经网络特征参数(仅更新ROI池化后的相应网络权重参数),采用批量随机梯度下降的方法求优如下损失函数Lpupil,主要包括眼球可见性分类损失函数Lp以及关键点回归损失函数Lk;损失函数的计算公式如下:
Lpupil=k7Lp+k8Lk
式中:Pi为眼球可见性,Ki为眼球关键点,gp,i为眼球可见性真值标签,gk,i为相应的真值标签;k7为眼球可见性分类损失函数Lp的权重系数,k8为关键点回归损失函数的权重系数。
S44、模型压缩与在线推理:模型压缩与嵌入式部署方法参照S25.
S5、眼球朝向回归:基于眼球关键点检测网络特征层输入fm3,设计眼球朝向回归分支(如图3相应分支所示),主要由卷积(conv),池化(pool),激活(Relu)以及全连接(fc)等基础层构成,输出为相机坐标系下二自由度(忽略面部平面内旋转角)眼球朝向角度。详细内容如下:
S51、眼球朝向训练样本生成:采用类似于3.1中面部朝向回归的训练样本生成方法,基于正面(或小角度偏转)人脸图像,利用离线眼球稠密关键点检测与重建方法生成特定眼球朝向角度(正负30°范围内)训练数据集。
S52、眼球朝向模型离线训练:利用5.1中生成的训练数据集,固化浅层特征参数,随机初始化分支部分神经网络参数,采用批量随机梯度下降的方法求优如下损失函数LGD,主要包含区间分类损失函数Lgdc、角度回归损失函数Lgd以及角度与区间一致性损失函数Lgdf:
LGD=k9Lgdc+k10Lgd+k11Lgdf
其中,Gdi为眼球朝向角度,Gdci为分类区间;ggd,i,ggdc,i为眼球朝向真值(角度以及区间分类);k9为区间分类损失函数Lgdc的权重系数,k10为角度回归损失函数Lgd的权重系数,k11为角度与区间一致性损失函数Lgdf的权重系数;h(Gdi)为眼球朝向区间与面部朝向角的映射关系;
S53、眼球朝向模型后处理以及前向部署:模型压缩与嵌入式部署方法参照步骤S25。模型输出的眼球朝向角,经低通滤波(如kalman滤波或者moving-average滤波)后送入后续应用层算法。基于相机坐标系的驾驶员注意力朝向角度λfocus为面部朝向λhp以及眼球朝向λhp的几何之和,即:
λfocus=λhp+λhp
S6、时序注意力行为分类:作为可选项,将时序连续面部特征fm2以及浅层眼部特征fm1级联后传入时序行为分析模块,采用长短期记忆模块(LSTM)对驾驶员注意力进行分类,输出为驾驶员注意力范围类别(0-前方路面,1-左后视镜,2-右后视镜,3-中央反光镜,4-中控***,5-其他)。详细信息如下:
6.1 LSTM网络拓扑:如图2所示,时序递归单元个数为12(按12.5帧/秒的处理速度,近似为1秒的时序数据所对应的行为),所使用公式如下:
ft=sigmoid(σf(xt,ht-1))
it=sigmoid(σi(xt,ht-1))
ot=sigmoid(σo(xt,ht-1))
ct=ft·ct-1+it·tanh(σc(xt,ht-1))
ht=ot·tanh(ct)
其中,xt为输入向量,ft为遗忘门向量,it为更新门向量,ht为隐层向量,ot为输出门向量,ct为元组状态向量。
S62、训练数据集:采用2中所述的驾驶室相机安装方式,按本部分之前描述的驾驶员注意力范围类别,生成时序连续训练数据集。每段视频数据长度为2秒(50帧),对应一个行为标签。
S63、离线训练:采用随机梯度下降的方式求解如下损失函数Lbehavior:损失函数Lbehavior计算公式如下:
其中,Bi,j为预测行为类别,gb,ij为行为类别真值,N为独立片段数,T为单独片段帧数。
以上所述之具体实施方式为本发明一种驾驶室红外视觉***及驾驶员注意力分析方法的较佳实施方式,并非以此限定本发明的具体实施范围,本发明的范围包括并不限于本具体实施方式,凡依照本发明之形状、结构所作的等效变化均在本发明的保护范围内。
Claims (10)
1.一种驾驶室红外视觉***,其特征在于:包括壳体、摄像头、微处理器以及若干红外补光灯,所述摄像头灯嵌套在壳体侧面,所述若干红外补光灯安装在摄像头的四周,所述微处理器设置在壳体内,所述微处理器集成有:
图像预处理模块:用于摄像头参数的调节以及采集到的图像参数的调节;
面部关键点检测模块:用于进行驾驶员面部关键点检测,输入为Y通道驾驶室图像数据,输出包含眼、鼻、口部位的预定义面部关键点信息;
眼球关键点检测模块:用于眼球关键点特征提取,输出眼球关键点位置信息;
面部朝向回归模块:用于检测驾驶员的面部朝向角度,建立面部朝向角度分区;
眼球朝向回归模块:用于检测驾驶员眼球朝向角度;
时序行为分类模块:包括时序行为分析模块和长短期记忆模块,将时序连续面部特征fm2以及浅层眼部特征fm1级联后传入时序行为分析模块,采用长短期记忆模块对驾驶员注意力进行分类;
浅层眼部特征fm1包括眼球关键点特征和眼球朝向特征;
面部特征fm2包括面部关键点特征和面部朝向特征。
2.一种驾驶员注意力分析方法,适用于如权利要求1所述的一种驾驶室红外视觉***,其特征在于:包括如下步骤:
S1、图像预处理;
S2、面部关键点检测;
S3、面部朝向计算;
S4、眼球关键点检测;
S5、眼球朝向计算;
S6、时序行为分类。
3.根据权利要求2所述的一种驾驶员注意力分析方法,其特征在于:
所述步骤S1中,图像预处理包括摄像头参数的调节以及图像参数的调节,所述摄像头参数的调节包括有:摄像头快门、光圈及增益的参数自适应调节;所述图像调节包括有:图像ROI截取、Y通道截取以及缩放所需分辨率。
4.根据权利要求2所述的一种驾驶员注意力分析方法,其特征在于:
所述步骤S2中,面部关键点检测包括如下步骤:
S21、面部关键点检测网络拓扑;设计基于驾驶室视觉输入的多任务分析神经网络,所述多任务分析神经网络包括有共享特征编码层以及各解码输出分支,所述解码输出分支包括有面部分类分支、面部框回归分支以及面部关键点回归分支;
S22、面部关键点网络离线训练;在光照情况、背景环境以及驾驶室布局变化的情况下,通过摄像头安装位置与角度采集驾驶室场景训练数据,作为所述网络离线训练的训练数据;
S23、人工标注生成训练标签;
S24、求解损失函数;
S25、面部关键点模型后处理以及前向部署;将训练好的模型参数经剪枝与量化后,部署于前端嵌入式平台。
5.根据权利要求4所述的一种驾驶员注意力分析方法,其特征在于:
所述损失函数包括分类损失函数/>、区域位置回归损失函数/>以及关键点回归损失函数/>,采用下列公式计算表示:
;
;
;
;
;
;
式中:k1为分类损失函数的权重系数;
k2为区域位置回归损失函数的权重系数;
k3为关键点回归损失函数的权重系数;
为面部区域坐标;
为面部关键点坐标;
为面部分类分支的样本真值标签,/>为面部框回归分支的样本真值标签,为面部关键点回归分支的样本真值标签。
6.根据权利要求2所述的一种驾驶员注意力分析方法,其特征在于:
所述步骤S3中,面部朝向计算包括如下步骤:
S31、面部朝向训练样本生成;利用3D人脸检测模型获取场景下驾驶员面部稠密关键点信息,3D重构红外图像所对应的人脸模型,基于重构红外图像,生成特定朝向角度训练数据集;
S32、面部朝向模型离线训练;利用特定朝向角度训练数据集,固化浅层特征参数,随机初始化分支部分神经网络参数;
S33、采用批量随机梯度下降的方法求优损失函数;
S34、面部朝向模型后处理以及前向部署:模型输出的面部朝向角,经剪枝与量化后,经低通滤波后送入后续应用层算法。
7.根据权利要求6所述的一种驾驶员注意力分析方法,其特征在于:
所述损失函数包括有区间分类损失函数/>、角度回归损失函数/>以及角度与区间一致性损失函数/>;采用下列公式计算表示:
;
;
;
;
;
;
其中,k4为区间分类损失函数的权重系数;k5为角度回归损失函数/>的权重系数;k6为角度与区间一致性损失函数/>的权重系数;/>为面部朝向角度, ,/>为面部朝向分类区间;/>为面部朝向角度真值标签,/>为面部朝向分类区间真值标签; f(Hpi)为面部朝向区间与面部朝向角的映射关系。
8.根据权利要求2所述的一种驾驶员注意力分析方法,其特征在于:
所述步骤S4中,眼球关键点检测包括如下步骤:
S41、眼部特征对齐;
S42、眼球关键点模型离线训练;
S43、求解损失函数;损失函数/>包括有包括眼球可见性分类损失函数/>以及关键点回归损失函数/>,采用下列公式计算表示:
;
;
;
式中:Pi为眼球可见性,Ki为眼球关键点,为眼球可见性真值标签, />为相应的真值标签;k7为眼球可见性分类损失函数/>的权重系数, k8为关键点回归损失函数的权重系数;
S44:模型压缩与在线推理。
9.根据权利要求2所述的一种驾驶员注意力分析方法,其特征在于:
所述步骤S5中 ,眼球朝向计算包括如下步骤:
S51、眼球朝向训练样本生成;
S52、眼球朝向模型离线训练;
S53、求解损失函数;损失函数/>包括有区间分类损失函数/>、角度回归损失函数以及角度与区间一致性损失函数/>;采用下列公式计算表示:
;
;
;
;
式中:为眼球朝向角度,/>为分类区间;/>,/>为眼球朝向真值;k9为区间分类损失函数/>的权重系数,k10为角度回归损失函数/>的权重系数,k11为角度与区间一致性损失函数/>的权重系数;/>为眼球朝向区间与面部朝向角的映射关系;
S54、眼球朝向模型后处理以及前向部署;模型输出的眼球朝向角,经剪枝与量化后,经低通滤波后送入后续应用层算法。
10.根据权利要求2所述的一种驾驶员注意力分析方法,其特征在于:
所述步骤S6,注意力行为分类包括如下步骤:
S61、长短期记忆模块网络拓扑;
使用公式如下:
;
;
;
;
;
其中,为输入向量,/>为遗忘门向量,/>为更新门向量,/>为隐层向量,/>为输出门向量,为元组状态向量;
S62、训练数据集;根据驾驶员注意力范围类别,生成时序连续训练数据集;
S63、离线训练求解损失函数;损失函数/>计算公式如下:
;
式中:为预测行为类别,/>为行为类别真值,N为独立片段数,T为单独片段帧数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910802102.8A CN110781718B (zh) | 2019-08-28 | 2019-08-28 | 一种驾驶室红外视觉***及驾驶员注意力分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910802102.8A CN110781718B (zh) | 2019-08-28 | 2019-08-28 | 一种驾驶室红外视觉***及驾驶员注意力分析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110781718A CN110781718A (zh) | 2020-02-11 |
CN110781718B true CN110781718B (zh) | 2023-10-10 |
Family
ID=69383321
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910802102.8A Active CN110781718B (zh) | 2019-08-28 | 2019-08-28 | 一种驾驶室红外视觉***及驾驶员注意力分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110781718B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111680546A (zh) * | 2020-04-26 | 2020-09-18 | 北京三快在线科技有限公司 | 注意力检测方法、装置、电子设备及存储介质 |
CN112706710B (zh) * | 2021-01-27 | 2022-07-22 | 南京工程学院 | 一种机动车安全驾驶智能识别及警示***和方法 |
CN112906633B (zh) * | 2021-03-18 | 2021-11-02 | 南通师范高等专科学校 | 一种基于学生注意力的教学优化方法 |
CN113705349B (zh) * | 2021-07-26 | 2023-06-06 | 电子科技大学 | 一种基于视线估计神经网络的注意力量化分析方法及*** |
CN113591815B (zh) * | 2021-09-29 | 2021-12-21 | 北京万里红科技有限公司 | 生成眼角识别模型的方法及识别眼部图像中眼角的方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017211395A1 (en) * | 2016-06-07 | 2017-12-14 | Toyota Motor Europe | Control device, system and method for determining the perceptual load of a visual and dynamic driving scene |
CN107818310A (zh) * | 2017-11-03 | 2018-03-20 | 电子科技大学 | 一种基于视线的驾驶员注意力检测方法 |
CN109493305A (zh) * | 2018-08-28 | 2019-03-19 | 初速度(苏州)科技有限公司 | 一种人眼视线与前景图像叠加的方法及*** |
EP3493178A1 (en) * | 2017-12-01 | 2019-06-05 | Veoneer Sweden AB | Driver attentiveness detection method and device |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DK3480729T3 (da) * | 2017-11-07 | 2023-04-03 | Tata Consultancy Services Ltd | System og fremgangsmåde til ansigtspositionssporing og alarmering af en bruger |
-
2019
- 2019-08-28 CN CN201910802102.8A patent/CN110781718B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017211395A1 (en) * | 2016-06-07 | 2017-12-14 | Toyota Motor Europe | Control device, system and method for determining the perceptual load of a visual and dynamic driving scene |
CN107818310A (zh) * | 2017-11-03 | 2018-03-20 | 电子科技大学 | 一种基于视线的驾驶员注意力检测方法 |
EP3493178A1 (en) * | 2017-12-01 | 2019-06-05 | Veoneer Sweden AB | Driver attentiveness detection method and device |
CN109493305A (zh) * | 2018-08-28 | 2019-03-19 | 初速度(苏州)科技有限公司 | 一种人眼视线与前景图像叠加的方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN110781718A (zh) | 2020-02-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110781718B (zh) | 一种驾驶室红外视觉***及驾驶员注意力分析方法 | |
JP7332726B2 (ja) | ヒートマップを使用したドライバーの注目の検出 | |
CN107622527B (zh) | 支持开发基于视觉的雨水检测算法的虚拟传感器数据生成***和方法 | |
US10684626B1 (en) | Handling intersection navigation without traffic lights using computer vision | |
US6927694B1 (en) | Algorithm for monitoring head/eye motion for driver alertness with one camera | |
CN110826369A (zh) | 一种驾驶员驾驶时注意力检测方法和*** | |
US10744936B1 (en) | Using camera data to automatically change the tint of transparent materials | |
CN110807352B (zh) | 一种用于危险驾驶行为预警的车内外场景视觉分析方法 | |
CN113378771B (zh) | 驾驶员状态确定方法、装置、驾驶员监控***、车辆 | |
CN111062292B (zh) | 一种疲劳驾驶检测装置与方法 | |
EP3956807A1 (en) | A neural network for head pose and gaze estimation using photorealistic synthetic data | |
CN105654753A (zh) | 一种智能车载安全驾驶辅助方法及*** | |
CN110728241A (zh) | 一种基于深度学习多特征融合的驾驶员疲劳检测方法 | |
CN111626272A (zh) | 一种基于深度学习的驾驶员疲劳监测*** | |
CN111231971A (zh) | 基于大数据的汽车安全性能分析评价方法及*** | |
CN115690750A (zh) | 一种驾驶员分心检测方法和装置 | |
CN115205729A (zh) | 基于多模态特征融合的行为识别方法、*** | |
CN113661495A (zh) | 视线校准方法及装置、设备、计算机可读存储介质、***、车辆 | |
JP2023549914A (ja) | 雨天、逆光、汚れ時におけるサラウンドビューカメラシステムの画像の修正 | |
JP2009096365A (ja) | リスク認識システム | |
CN116935361A (zh) | 一种基于深度学习的驾驶员分心行为检测方法 | |
CN114299473A (zh) | 一种基于多源信息融合的驾驶员行为识别方法 | |
CN109624667A (zh) | 一种汽车智能防交通摄像装置炫目的方法及*** | |
JP2004334786A (ja) | 状態検出装置及び状態検出システム | |
CN117292346A (zh) | 面向驾驶人和车辆状态一体感知的车辆行驶风险预警方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 310051 1st and 6th floors, no.451 Internet of things street, Binjiang District, Hangzhou City, Zhejiang Province Applicant after: Zhejiang Zero run Technology Co.,Ltd. Address before: 310051 1st and 6th floors, no.451 Internet of things street, Binjiang District, Hangzhou City, Zhejiang Province Applicant before: ZHEJIANG LEAPMOTOR TECHNOLOGY Co.,Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |