CN107038422B - 基于空间几何约束深度学习的疲劳状态识别方法 - Google Patents
基于空间几何约束深度学习的疲劳状态识别方法 Download PDFInfo
- Publication number
- CN107038422B CN107038422B CN201710261386.5A CN201710261386A CN107038422B CN 107038422 B CN107038422 B CN 107038422B CN 201710261386 A CN201710261386 A CN 201710261386A CN 107038422 B CN107038422 B CN 107038422B
- Authority
- CN
- China
- Prior art keywords
- eye
- canthi
- mouth
- task
- corner
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种空间几何约束深度学习的疲劳状态识别方法。目前基于机器视觉的疲劳检测方法使用HOG、SHIT、Haar等人为定制的特征进行模式识别,在光照条件变化、部分遮挡、振动变化下检测精度有所下降。本发明建立建立基于人脸特征点定位和姿态回归任务协同的深度卷积神经网络模型,协同回归出人脸特征点定位和头部姿态估计,然后利用空间几何约束方法对卷积神经网络进行预训练,最后采用多特征融合的决策方法评估疲劳状态,检测结果具有良好的准确性和可靠性。这种使用非接触式的图像处理方法,仅仅需要常规摄像头对信号采集,设备简单,具有很好的实用性。
Description
技术领域
本发明属于计算机图像处理领域,涉及一种深度学习算法的图像处理技术,根据对驾驶员面部信息的学习得出驾驶员疲劳程度的方法。
背景技术
当前,我国公路交通事业逐渐繁荣,汽车数量不断上升。随之到来的道路交通安全问题变得日益严重起来。根据公安部相关统计调查,由于疲劳驾驶导致的交通事故占总事故数的比例超过20%。美国国家交通安全管理局对于本国的最近几年调查显示,约有27%的受采访者有过开车打瞌睡的经历。由于驾驶疲劳导致的交通事故通常比一般交通事故要严重很多,通常为重大交通事故,驾驶员在事故中死亡概率较高,具体事故原因无法判断;为了逃避相关法律责任,当事人往往隐瞒疲劳驾驶的事实,当对事故原因进行深入调查时发现,交通事故中疲劳驾驶比例会上升至35%-45%,甚至更高。据有关研究表明,在发生交通事故前对司机进行提醒,可以成功避免交通事故的概率达90%左右。因此,对驾驶员的疲劳程度进行实时检测与预警,对避免交通事故的发生具有重要的意义。
疲劳驾驶是导致道路交通事故的主要原因之一,如何有效对驾驶员疲劳状态进行检测和预警已成为世界各国科学家的研究热点。与基于生理参数的疲劳检测方法相比,基于图像处理的非接触式检测方法交互方便且自然,日益受到广泛关注,但在光照变化、部分遮挡、振动等复杂环境下如何有效地提高疲劳检测的准确率和稳定性,仍然需要深入探索。
发明内容
本发明针对现有基于传统图像处理算法进行疲劳检测的不足,提供一种基于空间几何约束深度学习的疲劳状态识别方法。
近年,深度学习技术发展迅猛,尤其是在图像处理领域如目标检测、物体跟踪、人脸识别、场景理解等等取得了很多突破性进展。深度的网络结构有较强的特征学习能力,对光照、遮挡、振动等等表现鲁棒性。本发明进行汽车驾驶疲劳检测的方法基于深度学习与多任务协同的图像处理技术,结合空间几何约束的方法对深度学习网络进行预训练,使得***具有高效性和鲁棒性等优点。另外,利用融合决策的思想,选取表征疲劳驾驶的非常关键的指标:眼睛状态、嘴巴状态和头部姿态进行融合得到驾驶员的疲劳程度,检测结果具有可靠性。这种使用非接触式的图像处理方法,仅仅需要常规摄像头对信号采集,设备简单,具有很好的实用性。
为了实现以上目的,本发明方法主要包括以下步骤:
步骤(1)对摄像头采集的驾驶员头部图像进行人脸检测,得到人脸区域图像;
步骤(2)建立基于人脸特征点定位和姿态回归任务协同的深度卷积网络模型,相应的目标函数如式(1),以人脸区域图像数据作为网络输入,将人脸特征点定位和姿态估计两个任务协同优化,同时回归得到人脸特征点坐标和姿态角度值;
其中,任务r代表人脸特征点检测定位任务,任务a表示头部姿态估计;N表示样本的总数;λ∈(0,1)表示头部姿态估计在整个任务中所占的权重;W表示各个任务的待学***动角(Yaw)、转动角(Pitch)、滚动角(Roll);f(xi;Wr)=(Wr)Txi为一个线性回归函数,f(xi;Wa)=(Wa)Txi也是一个线性回归函数;||·||表示l2范数;
步骤(3)采用空间几何约束方法对基于任务协同的深度卷积网络进行预训练,对应的目标函数如式(2),提高人脸特征点定位的鲁棒性,加快网络训练的收敛时间;
其中,表示估计的人脸特征点坐标值与实际标签值的损失;S1,S2,...,S6分别表示固定特征数所对应的六点组合,其中S1为右眼的左右眼角、左眼的左眼角、鼻翼的右侧端部、嘴巴的左右角,S2为右眼的左右眼角、左眼的右眼角、鼻翼的右侧端部、嘴巴的左右角,S3为右眼的左右眼角、左眼的左眼角、鼻翼的左右侧端部、嘴巴的左角,S4为右眼的左右眼角、左眼的右眼角、鼻翼的左右侧端部、嘴巴的左角,S5为右眼的左右眼角、左眼的左眼角、鼻翼的左侧端部、嘴巴的左右角,S6为右眼的左右眼角、左眼的右眼角、鼻翼的左侧端部、嘴巴的左右角;表示第i个样本第j个组合的固定特征数;是从第i个样本第j个组合中计算出的实际特征数;η∈(0,1)表示约束项的权重;
步骤(4)利用人脸特征点坐标和头部姿态角度信息提取眼部状态、嘴巴形状、头部姿态多个疲劳特征,然后采用粗糙集方法对特征信息进行融合决策,以评估驾驶员疲劳状态。
本发明与已有汽车驾驶疲劳检测方法相比,具有如下特点:
1、基于深度学习算法的疲劳检测方法
基于机器视觉的检测方法是一种非接触式的方式,不会对驾驶员进行干扰,是当前研究的热点。但传统的机器视觉方法使用HOG、SHIT、Haar等人为定制的特征进行模式识别,在光照条件变化、部分遮挡、振动变化下检测精度有所下降。本发明使用多任务协同深度学习算法,利用深度网络的较强的特征学习能力,对光照、遮挡、振动等等表现鲁棒性。
2、基于多任务协同的深度模型设计方法
设计一个深度卷积神经网络同时协同回归出人脸特征点坐标和头部姿态欧拉角度值,利用二者提取眼部状态、嘴巴形状、头部姿态等多个特征去评估驾驶员的疲劳状态,提高检测准确性。
3、利用空间几何约束方法对深度卷积神经网络进行预训练
当前,深度卷积网络方法网络参数初始化难是一个普遍存在的问题,本发明提出一种基于空间几何约束的初始化方法使得模型输出对姿态变化更加鲁棒,也加快了网络的收敛速度。
附图说明
图1算法整体网络框架图;
图2六点的特征数描述图;
图3八特征点分布图;
图4信息融合决策结构图
具体实施方式
下面结合附图详细描述本发明基于空间几何约束深度学习的疲劳状态识别方法。
本发明方法的实施主要包括四个步骤:(1)对摄像头采集的驾驶员头部图像进行人脸检测,得到人脸区域图像;(2)建立基于人脸特征点定位和姿态估计任务协同的深度卷积网络模型,以人脸区域图像数据作为网络输入,将人脸特征点定位和姿态估计两个任务协同优化,同时回归得到人脸特征点坐标和姿态角度值;(3)采用空间几何约束方法对基于任务协同的深度卷积网络进行预训练,提高人脸特征点定位的鲁棒性,加快网络训练的收敛时间;(4)利用人脸特征点坐标和头部姿态角度信息提取眼部状态、嘴巴形状、头部姿态等多个疲劳特征,然后采用粗糙集方法对特征信息进行融合决策,以评估驾驶员疲劳状态。
下面逐一对各步骤进行详细说明。
步骤一:对摄像头采集的驾驶员头部图像进行人脸检测,得到人脸区域图像;
首先使用普通摄像头采集驾驶员头部图像,摄像头位置方向固定,可以较好地捕捉驾驶员的整个头部区域图像。然后,采用SVM算法进行人脸区域的检测提取。
步骤二:建立基于人脸特征点定位和姿态估计任务协同的深度卷积网络模型;
采用基于任务协同的深度卷积神经网络学***动角(Yaw)、转动角(Pitch)、滚动角(Roll)。可对头部运动空间完整表达。整体网络框架如图1所示。
将人脸特征点定位和姿态估计两个任务都设计为回归模型,本发明设计算法的目标函数为:
其中,任务r代表人脸特征点检测定位任务,任务a表示头部姿态估计;N表示样本的总数;λ∈(0,1)表示头部姿态估计在整个任务中所占的权重;W表示各个任务的待学***动角(Yaw)、转动角(Pitch)、滚动角(Roll);f(xi;Wr)=(Wr)Txi为一个线性回归函数,f(xi;Wa)=(Wa)Txi也是一个线性回归函数;||·||表示l2范数。
给定一张人脸图像x°,深度卷积网络模型逐层将x°由低层次表示映射为高层次表示,过程如下所示:
其中,l为卷积-池化层的总层数,xl表示两个任务的共享特征表达。可知,式(2)学习共享特征空间,而式(1)表示使用这个共享特征空间优化两个任务,利用误差反向传播进行网络参数的学习。
步骤三:采用空间几何约束方法对基于任务协同的深度卷积网络进行预训练;
深度卷积网络学习的是一个复杂的非线性函数,最终是收敛到一个局部最优,不同的网络初始化对最终的局部最优值影响很大。传统的深度卷积神经网络权重和偏置的初始化都是采用均值为0、标准差为1的高斯分布随机初始化一个较小值,这种初始化的方法比较会导致隐藏神经元的饱和,最终导致权重在进行梯度下降算法时学习得非常缓慢。对此,本发明提出根据空间几何理论,构造约束项进行网络模型预训练,保存训练得到的相关模型参数,作为步骤二中网络参数的初始化。利用几何约束进行模型参数初始化的优点是:不但让深度卷积神经网络学习到对空间几何信息鲁棒的特征,并且可以加快网络的训练时间。
(1)六点构成的特征数
在射影空间中,取任意三点都不共线的六点A=(xa,ya,1),I=(xi,yi,1),B=(xb,yb,1),C=(xc,yc,1),H=(xh,yh,1),J=(xj,yj,1),如图2所示。根据有向三角形面积的比率,计算该六点的特征数κ,
进一步,用点的坐标构成的行列式表示三角形的面积,则κ可表示为:
其中,
将六点特征数理论应用到人脸特征点检测时,对任意三点不共线的条件不必进行严格限制,这六个点只要可以构成一个三角形即可。
(2)构造特征数约束
人脸有很强的结构化特性,不同人脸上都存在固有的几何属性。对于正脸,如图3中2,1,3,4编号特征点的连线、5,6编号特征点的连线和编号7,8点特征点连线是相互平行,虽然随着视角的变换这些平行和垂直的性质会发生改变,但是特征数的值在射影变换下却能保持不变。特征数描述了人脸特征点位置的子集所构成的固有的几何属性。将这些几何属性作为形状约约束,进行人脸特征点提取。
对于图3的8个特征点,以穷举方法找到人脸的共有几何特征。具体是:首先从8个人脸特征点中任意选出6个不同的点,共得到28种组合;然后,对于某种组合,实施中使用515张正脸图像,分别计算在每张图像中的六点特征数,得到515个特征数值;最后,从28种组合中找出所有满足式(6)条件的组合:
其中,κj是六点组合的特征数,j=1,2,…,28;ε和σ是很小的正整数;std(·)表示特征数的标准差;C是找出的满足式(6)条件的六点组合所对应的固定特征数值。最终,共找到了6组这样的六点组合满足上面的公式,如具体如下表1所示。
表1六点组合的固定特征数
本发明根据特征数的性质,在图3所示的8个点中找到6组特征数固定不变的组合,形成人脸固有属性,再将这些固有属性作为形状约束,用来提取人脸特征点。预训练的网络结构与步骤三的网络一样,输出为8个人脸特征点的二维坐标值。目标函数为:
其中,表示估计的人脸特征点坐标值与实际标签值的损失;S1,S2,...,S6分别表示固定特征数所对应的六点组合,其中S1为右眼的左右眼角、左眼的左眼角、鼻翼的右侧端部、嘴巴的左右角,S2为右眼的左右眼角、左眼的右眼角、鼻翼的右侧端部、嘴巴的左右角,S3为右眼的左右眼角、左眼的左眼角、鼻翼的左右侧端部、嘴巴的左角,S4为右眼的左右眼角、左眼的右眼角、鼻翼的左右侧端部、嘴巴的左角,S5为右眼的左右眼角、左眼的左眼角、鼻翼的左侧端部、嘴巴的左右角,S6为右眼的左右眼角、左眼的右眼角、鼻翼的左侧端部、嘴巴的左右角;表示第i个样本第j个组合的固定特征数;是从第i个样本第j个组合中计算出的实际特征数;η∈(0,1)表示约束项的权重。
步骤四:利用人脸特征点坐标和头部姿态角度信息提取眼部状态、嘴巴形状、头部姿态多个疲劳特征,然后采用粗糙集方法对特征信息进行融合决策,以评估驾驶员疲劳状态;
根据步骤三得到人脸特征点坐标和头部姿态欧拉旋转角,分别从眼部状态、嘴部状态、头部姿态提出反映驾驶疲劳的特征,具体包括PERCLOS,眨眼频率,打哈欠频率,点头频率,异常姿态占比。
当Roll旋转角的平均变化大于15.4°或者Yaw旋转角的平均变化大于15.8°时,判断驶员处于异常姿态。设异常姿态占比fpose:
其中,Npose为时间T内检测出现异常姿态的帧数,NT为T时间内的视频总帧数,实验中T值大小为30s。
在提取眼部状态、嘴巴形状、头部姿态多个疲劳特征之后,进行融合决策的步骤是:首先对各疲劳特征进行分析处理,做出判决结果,然后在决策层根据粗糙集理论对各结果做融合处理,得出最终判断。基于信息融合决策的疲劳评估过程如图4所示。
Claims (1)
1.基于空间几何约束深度学习的疲劳状态识别方法,其特征在于该方法包括如下步骤:
步骤(1)对摄像头采集的驾驶员头部图像进行人脸检测,得到人脸区域图像;
步骤(2)建立基于人脸特征点定位和姿态回归任务协同的深度卷积网络模型,相应的目标函数如式(1),以人脸区域图像数据作为网络输入,将人脸特征点定位和姿态估计两个任务协同优化,同时回归得到人脸特征点坐标和姿态角度值;
其中,任务r代表人脸特征点检测定位任务,任务a表示头部姿态估计;N表示样本的总数;λ∈(0,1)表示头部姿态估计在整个任务中所占的权重;W表示各个任务的待学***动角(Yaw)、转动角(Pitch)、滚动角(Roll);f(xi;Wr)=(Wr)Txi为一个线性回归函数,f(xi;Wa)=(Wa)Txi也是一个线性回归函数;||·||表示l2范数;
步骤(3)采用空间几何约束方法对基于任务协同的深度卷积网络进行预训练,对应的目标函数如式(2),提高人脸特征点定位的鲁棒性,加快网络训练的收敛时间;
其中,表示估计的人脸特征点坐标值与实际标签值的损失;S1,S2,...,S6分别表示固定特征数所对应的六点组合,其中S1为右眼的左右眼角、左眼的左眼角、鼻翼的右侧端部、嘴巴的左右角,S2为右眼的左右眼角、左眼的右眼角、鼻翼的右侧端部、嘴巴的左右角,S3为右眼的左右眼角、左眼的左眼角、鼻翼的左右侧端部、嘴巴的左角,S4为右眼的左右眼角、左眼的右眼角、鼻翼的左右侧端部、嘴巴的左角,S5为右眼的左右眼角、左眼的左眼角、鼻翼的左侧端部、嘴巴的左右角,S6为右眼的左右眼角、左眼的右眼角、鼻翼的左侧端部、嘴巴的左右角;表示第i个样本第j个组合的固定特征数;是从第i个样本第j个组合中计算出的实际特征数;η∈(0,1)表示约束项的权重;
步骤(4)利用人脸特征点坐标和头部姿态角度信息提取眼部状态、嘴巴形状、头部姿态多个疲劳特征,然后采用粗糙集方法对特征信息进行融合决策,以评估驾驶员疲劳状态。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710261386.5A CN107038422B (zh) | 2017-04-20 | 2017-04-20 | 基于空间几何约束深度学习的疲劳状态识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710261386.5A CN107038422B (zh) | 2017-04-20 | 2017-04-20 | 基于空间几何约束深度学习的疲劳状态识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107038422A CN107038422A (zh) | 2017-08-11 |
CN107038422B true CN107038422B (zh) | 2020-06-23 |
Family
ID=59535449
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710261386.5A Active CN107038422B (zh) | 2017-04-20 | 2017-04-20 | 基于空间几何约束深度学习的疲劳状态识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107038422B (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109670520B (zh) * | 2017-10-13 | 2021-04-09 | 杭州海康威视数字技术股份有限公司 | 一种目标姿态识别方法、装置及电子设备 |
CN107832721B (zh) * | 2017-11-16 | 2021-12-07 | 百度在线网络技术(北京)有限公司 | 用于输出信息的方法和装置 |
US10373332B2 (en) | 2017-12-08 | 2019-08-06 | Nvidia Corporation | Systems and methods for dynamic facial analysis using a recurrent neural network |
CN108256454B (zh) * | 2018-01-08 | 2020-08-14 | 浙江大华技术股份有限公司 | 一种基于cnn模型的训练方法、人脸姿态估测方法及装置 |
CN110060296A (zh) * | 2018-01-18 | 2019-07-26 | 北京三星通信技术研究有限公司 | 估计姿态的方法、电子设备和显示虚拟对象的方法及设备 |
CN108985257A (zh) * | 2018-08-03 | 2018-12-11 | 北京字节跳动网络技术有限公司 | 用于生成信息的方法和装置 |
CN109146962B (zh) * | 2018-09-07 | 2020-06-09 | 百度在线网络技术(北京)有限公司 | 检测脸部角度的方法、装置、存储介质和终端设备 |
CN109829491B (zh) * | 2019-01-22 | 2021-09-28 | 开易(北京)科技有限公司 | 用于图像检测的信息处理方法、装置以及存储介质 |
CN109977781A (zh) * | 2019-02-26 | 2019-07-05 | 上海上湖信息技术有限公司 | 人脸检测方法及装置、可读存储介质 |
CN109875568A (zh) * | 2019-03-08 | 2019-06-14 | 北京联合大学 | 一种用于疲劳驾驶检测的头部姿态检测方法 |
CN109948509A (zh) * | 2019-03-11 | 2019-06-28 | 成都旷视金智科技有限公司 | 对象状态监测方法、装置及电子设备 |
CN109977820A (zh) * | 2019-03-14 | 2019-07-05 | 重庆邮电大学 | 一种疲劳驾驶判定方法 |
CN111507244B (zh) * | 2020-04-15 | 2023-12-08 | 阳光保险集团股份有限公司 | Bmi检测方法、装置以及电子设备 |
CN112287855B (zh) * | 2020-11-02 | 2024-05-10 | 东软睿驰汽车技术(沈阳)有限公司 | 基于多任务神经网络的驾驶行为检测方法和装置 |
CN113239794B (zh) * | 2021-05-11 | 2023-05-23 | 西北工业大学 | 一种面向在线学习的学习状态自动识别方法 |
CN116912808B (zh) * | 2023-09-14 | 2023-12-01 | 四川公路桥梁建设集团有限公司 | 架桥机控制方法、电子设备和计算机可读介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105769120A (zh) * | 2016-01-27 | 2016-07-20 | 深圳地平线机器人科技有限公司 | 疲劳驾驶检测方法和装置 |
CN106446811A (zh) * | 2016-09-12 | 2017-02-22 | 北京智芯原动科技有限公司 | 基于深度学习的驾驶员疲劳检测方法及装置 |
-
2017
- 2017-04-20 CN CN201710261386.5A patent/CN107038422B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105769120A (zh) * | 2016-01-27 | 2016-07-20 | 深圳地平线机器人科技有限公司 | 疲劳驾驶检测方法和装置 |
CN106446811A (zh) * | 2016-09-12 | 2017-02-22 | 北京智芯原动科技有限公司 | 基于深度学习的驾驶员疲劳检测方法及装置 |
Non-Patent Citations (6)
Title |
---|
Driver Fatigue Detection based on Eye State Recognition;Fang Zhang等;《2017 International Conference on Machine Vision and Information Technology》;20170331;第105-110页 * |
EOG-based Drowsiness Detection Using Convolutional Neural Networks;Xuemin Zhu等;《2014 International Joint Conference on Neural Networks》;20140711;第128-134页 * |
Facial Landmark Detection by Deep Multi-task Learning;Zhanpeng Zhang等;《ResearchGate》;20140930;第1-15页 * |
基于不变量约束的人脸基准点提取算法研究;汪浩;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150715;论文第1.3节、3-4章 * |
基于任务协同的DCNN学习方法及人机交互应用;田卓等;《第27届中国过程控制会议》;20160731;第1页 * |
头部姿势估计研究综述;唐云祁等;《模式识别与人工智能》;20140331;第27卷(第3期);第213-225页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107038422A (zh) | 2017-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107038422B (zh) | 基于空间几何约束深度学习的疲劳状态识别方法 | |
Lu et al. | Soft tissue feature tracking based on deep matching network | |
CN108491880B (zh) | 基于神经网络的物体分类和位姿估计方法 | |
CN105574518B (zh) | 人脸活体检测的方法和装置 | |
CN105930767B (zh) | 一种基于人体骨架的动作识别方法 | |
CN104008370B (zh) | 一种视频人脸识别方法 | |
CN103218609B (zh) | 一种基于隐最小二乘回归的多姿态人脸识别方法及其装置 | |
CN110852182B (zh) | 一种基于三维空间时序建模的深度视频人体行为识别方法 | |
CN103279768B (zh) | 一种基于增量学习人脸分块视觉表征的视频人脸识别方法 | |
CN108182397B (zh) | 一种多姿态多尺度的人脸验证方法 | |
CN106295568A (zh) | 基于表情和行为双模态结合的人类自然状态情感识别方法 | |
CN111652827A (zh) | 一种基于生成对抗网络的正面人脸合成方法及*** | |
CN112560741A (zh) | 一种基于人体关键点的安全穿戴检测方法 | |
CN108875586B (zh) | 一种基于深度图像与骨骼数据多特征融合的功能性肢体康复训练检测方法 | |
Zhou et al. | Learning to estimate 3d human pose from point cloud | |
Nambiar et al. | Context-aware person re-identification in the wild via fusion of gait and anthropometric features | |
CN111680550B (zh) | 情感信息识别方法、装置、存储介质及计算机设备 | |
Iosifidis et al. | Neural representation and learning for multi-view human action recognition | |
Amanatiadis et al. | ViPED: On-road vehicle passenger detection for autonomous vehicles | |
CN115331205A (zh) | 一种云边协同的驾驶员疲劳检测*** | |
CN111222469B (zh) | 一种由粗到精的人脸姿态量化估计方法 | |
CN111310720A (zh) | 基于图度量学习的行人重识别方法及*** | |
CN107967944A (zh) | 一种基于Hadoop的户外环境大数据人体健康监测方法与平台 | |
Hsieh et al. | Online human action recognition using deep learning for indoor smart mobile robots | |
CN111428555A (zh) | 一种分关节的手部姿态估计方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20170811 Assignee: Ruixukang (Hangzhou) Intelligent Technology Co.,Ltd. Assignor: HANGZHOU DIANZI University Contract record no.: X2022330000044 Denomination of invention: Fatigue state identification method based on deep learning of spatial geometric constraints Granted publication date: 20200623 License type: Common License Record date: 20220218 |
|
EE01 | Entry into force of recordation of patent licensing contract |