CN109886241A - 基于长短期记忆网络的驾驶员疲劳检测 - Google Patents
基于长短期记忆网络的驾驶员疲劳检测 Download PDFInfo
- Publication number
- CN109886241A CN109886241A CN201910156037.6A CN201910156037A CN109886241A CN 109886241 A CN109886241 A CN 109886241A CN 201910156037 A CN201910156037 A CN 201910156037A CN 109886241 A CN109886241 A CN 109886241A
- Authority
- CN
- China
- Prior art keywords
- driver
- shot
- fatigue
- long term
- eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 28
- 230000007787 long-term memory Effects 0.000 title claims abstract description 14
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 25
- 238000013528 artificial neural network Methods 0.000 claims abstract description 9
- 230000001815 facial effect Effects 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims abstract description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 239000011521 glass Substances 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 4
- 230000008447 perception Effects 0.000 claims description 2
- 238000012549 training Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims description 2
- 238000009412 basement excavation Methods 0.000 claims 1
- 230000001629 suppression Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种基于长短期记忆网络的驾驶员疲劳检测方法，包括：1)借助红外采集设备采集驾驶员人脸视频图像；2)利用多任务级联的卷积神经网络进行人脸检测与特征点定位，根据特征点之间的几何关系获取驾驶员人眼图像序列；3)设计了一种端到端的卷积循环神经网络，提取人眼空间特征，同时分析相邻图像帧之间上下文关系，结合一段时间内人眼图像特征的时序变化来判断驾驶员是否处于疲劳状态。结果表明，该方法在光线条件差以及驾驶员佩戴墨镜等情况下，也能准确地提取眼部特征，相比于基于CNN结合PERCLOS标准的疲劳检测方法，取得了更高的疲劳检测准确率，实现了对驾驶员驾驶状态视频级别的预测。
Description
技术领域
本发明涉及一种基于长短期记忆网络的驾驶员疲劳检测方法，在灵敏度、鲁棒性以及准确性方面比现有技术较优，具有很好的检测性能，属于图像处理、深度学习领域。
背景技术
研究表明，疲劳驾驶是引发交通事故的重要原因之一，各国法律法规都明令禁止疲劳驾驶。但由于其明显的渐变、隐蔽和主观抑制特性，监管机构难以及时监测。若在驾驶员出现疲劳状态时及时提醒，将有效地避免交通事故的发生。因此，对驾驶员进行疲劳检测具有重大的研究意义以及社会价值。
基于视觉特征的疲劳检测方法已被广泛关注，目前存在一些难点：(1)当前驾驶员疲劳检测相关数据集相对匮乏；(2)实际的驾驶过程中，驾驶环境复杂多样，光线的变化对提取视觉特征造成了很大的干扰；(3)面部朝向以及头部姿态的变化一定程度上会影响驾驶员脸部图像采集的完整性。另外当驾驶员佩戴眼镜或者墨镜时，会对眼睛区域造成遮挡。
传统的驾驶员疲劳检测方法有很多种，但是存在很多弊端。基于生理信号的疲劳检测方法在理论上具有较高的检测准确率，但是在实际应用中很容易受环境因素、检测仪器、仪器测量的准确性以及驾驶员个人驾驶习惯等的影响，抗干扰能力差，检测设备价格昂贵，在实际使用过程中，生理信号的测量需要佩戴仪器，通常为接触式的检测，会对驾驶员带来不便和干扰，可操作性不强，难以大范围推广；基于驾驶行为特征的疲劳检测方法会受到不同驾驶员的驾驶习惯差异、车辆型号和道路状况等因素的影响，由于存在个体差异，难以确定驾驶员疲劳的评级指标的阈值，疲劳特征的参数和疲劳程度之间的相关性不容易被量化。
近年来，深度学习算法取得了重大突破，将深度学习引入疲劳检测领域，通过卷积神经网络等算法对驾驶员视觉特征进行提取与分析，最后做出疲劳判决，这种做法不仅保留了传统机器视觉算法与人体无接触的优点，还降低了对特定参数阈值的依赖以及个体差异带来的影响，很大程度上提高了疲劳检测的准确率。
发明内容
本发明提出了一种基于深度学习以及驾驶员眼部特征的疲劳检测方法，将疲劳检测问题看作基于人眼图像序列的识别问题，首先通过多任务级联的卷积神经网络进行驾驶员人脸检测与特征点定位，根据特征点之间的几何关系获取驾驶员人眼图像序列，提取一段时间内驾驶员眼部状态的空间时序特征，最后根据眼部相邻帧的特征之间的上下文关系做出疲劳判决。
本发明的技术方案，包括下列步骤：
步骤1：搭建红外视频采集***分别采集驾驶员在不戴眼镜、戴墨镜、戴近视眼镜三种情况下的人脸视频图像组成疲劳检测数据集；
步骤2：利用基于多任务级联的卷积神经网络的检测算法通过对三个卷积神经网络进行级联，可以同时实现人脸检测与脸部特征点定位；
步骤3：对步骤2中的人脸图像进行处理，驾驶员眼睛区域可以根据得到的特征点坐标结合眼睛分布的对称性和实验测试结果确定位置约束条件来求解；
步骤4：将步骤3中得到的驾驶员人眼图像序列数据输入到端到端的卷积循环神经网络中，将深层卷积结构与长短期记忆单元结合，通过分析一段时间内人眼图像序列的时序关系进行疲劳判决。
与现有技术相比，本发明的有益效果是：
本发明在少量数据的基础上进行有监督的学习，避免了复杂的图像处理过程。在灵敏度、鲁棒性以及准确性上比现有技术较优，而且准确率达到了98.96％，说明本发明有很好的检测性能。
另外，对于在光线条件差以及驾驶员佩戴墨镜等情况下，也能准确地提取眼部特征，相比于基于CNN结合PERCLOS标准的疲劳检测方法，取得了更高的疲劳检测准确率，因此本发明对于驾驶员疲劳驾驶有较好的检测结果。
附图说明
图1总体框架示意图，即摘要附图；
图2人脸检测与特征点定位部分检测结果图；
图3眼部区域提取示意图；
图4疲劳检测框架图；
图5(a)SE模块结构图；
图5(b)Res-SE模块结构图；
图6 FDRNet网络结构图。
具体实施方式
下面结合具体实施方式对本发明作进一步详细地描述。
本发明的总体框架示意图如图1所示，首先借助红外视频采集***分别采集驾驶员在不戴眼镜、戴墨镜、戴近视眼镜三种情况下的人脸视频图像；然后通过多任务级联的卷积神经网络进行人脸检测与特征点定位，根据特征点之间的几何关系获取驾驶员人眼图像序列；接下来，设计了一种端到端的卷积循环神经网络模型，提取一段时间内驾驶员眼部状态的空间时序特征，最后根据眼部相邻图像帧的特征之间的上下文关系做出疲劳判决。
下面结合附图，对本发明技术方案的具体实施过程加以说明。
1.实验对象
本发明的疲劳检测图像数据集由30名实验人员分别在不戴眼镜、佩戴近视眼镜以及佩戴墨镜三种情况的实验环境下模拟疲劳和清醒两种驾驶状态，同时利用红外采集***采集实验人员脸部视频，组成疲劳检测数据集TJPU-FDD，共计500个平均时长为6秒钟的视频片段，画面分辨率为1920×1080。
2.人脸检测与特征点定位
本发明采用了基于多任务级联的卷积神经网络的检测算法通过对三个卷积神经网络进行级联，可以同时实现人脸检测与脸部特征点定位。首先在数据处理阶段，为应对目标多尺度问题，将原始人脸图像缩放到不同尺寸，构建图像金字塔，作为三阶级联架构的输入。然后在构建图像金字塔的基础上，利用全卷积网络P-Net(类似于Faster-RNN的区域生成网络)生成候选窗和边框回归向量。接着使用一个卷积神经网络R-Net精选上一阶段生成的人脸候选框，进一步舍弃重叠的候选窗体。最后通过另一个卷积神经网络O-Net，得到最终的人脸边框和五个特征点位置，如图2所示。
3.驾驶员眼部区域提取
运用多任务级联的卷积神经网络算法检测出人脸边框以及五个特征点位置，眼睛感兴趣区域定位可以依据得到的特征点坐标结合眼睛分布的对称性和实验测试结果确定位置约束条件来求解：(1)两瞳孔距离约为单只眼睛宽度的1.7倍；(2)眼睛宽高比的选取为5∶4；(3)待提取的眼睛区域顶点与瞳孔位置之间横纵坐标的距离差分别为一半的眼睛宽高值。根据上述三点中左、右眼特征点之间的几何关系确定驾驶员眼睛区域，其中点A、B均代表驾驶员人眼特征点，坐标分别为(xA，yA)、(xB，yB)，两点之间的距离为d。点C代表左侧眼睛区域左上角顶点，坐标为(xC，yC)，w、h分别代表对应眼睛区域的宽、高，如图3所示。
4基于长短期记忆网络的驾驶员疲劳检测
4.1端到端的疲劳检测框架
深层卷积神经网络的深度体现在空间上网络层数的数量，通过深层次的CNN很容易提取图像的空间特征，得到图像特征的分层式表达，但不能在时域上对图像序列的变化进行建模。相对于CNN，循环神经网络的深度体现在其网络结构可以在时域上展开。在时域上链状的网络结构表明RNN是一种适合处理时序数据的神经网络。LSTM是一种特殊的RNN，能够实现远程学习并防止梯度消失与***，更加适合于疲劳检测任务。
本发明通过端到端、可训练的疲劳检测框架(如图4所示)，实现了卷积神经网络与长短期记忆单元两种结构的优势互补。利用深层次的卷积层提取眼睛的空间特征，通过LSTM单元分析驾驶过程中驾驶员相邻眼部图像的时序关系。与单一的CNN模型相比，该疲劳检测框架可以学习到眼部特征在空间和时间上更深层次的组合式表达，从而提高疲劳检测的准确率。首先，通过基于多任务级联的卷积神经网络人眼区域定位算法从视频片段中获取眼部图像的连续帧序列。接着将每个视频的连续16帧看作一个时间步长，每个时间步中的输入{x1，x2，...，x15，x16}通过一个具有深层卷积层的CNN模块，学习人眼的深层次的卷积感知表达，产生1×1×512的向量，并输入到一个由LSTM单元构成的序列学习模块中，用以捕获时间序列的相关性，最后产生一个二维的向量预测结果。为了防止模型参数的大小与序列长度成比例地增长，疲劳检测框架以端到端的形式优化模型的权重，这些权重在每个时间步长内被重复使用。空间特征提取模块与时序特征提取模块直接相连，可以通过联合训练来判断每个时间步长内驾驶员的驾驶状态，然后整合每个时间步长内的识别结果。具体来说，为了对整个视频片段进行单个标签预测，在网络的末端，利用softmax层对所有时间步长的特征输出进行整合预测作为最终的识别结果。
4.2卷积循环神经网络FDRNet
本发明将疲劳检测视为对驾驶状态的二分类问题，结合深层卷积提取空间特征的能力以及LSTM单元学习时序特征的优势，设计了一种端到端、可训练的卷积循环神经网络结构(FDRNet)，该网络是ResNet-10的一种变体，在FDRNet中，将SE模块嵌入残差结构中，从空间维度上简化网络学习的同时，并且通过衡量特征通道相互依赖性来提升网络的性能。
图5(b)为嵌入SE模块后的残差结构Res-SE，其中Conv_1、Conv_2均为卷积核为3×3的卷积层，Conv_1的步长为2，Conv_2的步长为1。SE模块作用于Conv_2，将残差支路的学习到的特征进行重标定后输出。卷积层Conv_3所在支路为残差结构的快捷连接支路，其卷积核尺寸为1×1，步长为2。若输入维度为H×W×C，通过Res-SE模块后，输出维度变为H/2×W/2×2C，网络学习到了经过特征重标定的残差特征，提升了对疲劳检测任务有用的信息，抑制了作用不大的信息。用C表示Res-SE模块的输入通道数。此外，将BN层、ReLU层放到了预激活中，这样能够提高模型的正则化，从而减小了过拟合的可能性，进一步提升网络性能。图6描绘了FDRNet的网络结构，其中空间特征提取器由卷积层Conv、带有残差映射的最大池化层Pool、三个Res-SE模块以及全局池化层组成。Conv选用7×7大卷积核，步长为2。三个Res-SE模块输入特征通道数C分别为64、128、256，其中残差支路上的卷积核尺寸均为3×3，快捷支路上为1×1的卷积。人眼图像经由空间特征提取器得到固定长度的向量输出，输出维度为1×1×512。然后通过名为“Reshape_CNN”的reshape层将CNN的输出维度调整为T×N×512，作为LSTM单元的输入之一，随后传递给时序特征提取器进行处理。这里的T代表LSTM单元的时间步长，在网络中代表一个时间步的视频帧数，本文中T＝16。N代表LSTM单元同时处理的独立数据流的个数，表示视频段的数量，在网络训练时中N设置为16；在模型验证时，N设置为4。LSTM的另一输入为序列连续性标志，标志为“0”代表当前处理的图像帧为时间步的开端，标志为“1”代表当前图像帧为上一帧的延续。通过另一个名为“Resahpe_markers”的reshape层将连续性标志的维度调整为T×N。最终在全连接层上得到每个视频段二维的特征表示，由softmax层计算两类特征的概率，概率最大的类别为最终的疲劳判决结果。
发明的是一种基于长短期记忆网络的驾驶员疲劳检测方法，取得了更高的疲劳检测准确率，实现了对驾驶员驾驶状态视频级别的预测。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应当理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善，因此本发明只受到本发明权利要求的内容和范围的限制，其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。
Claims (5)
1.一种基于长短期记忆网络的驾驶员疲劳检测方法，包括下列步骤：
步骤1：搭建红外视频采集***分别采集驾驶员在不戴眼镜、戴墨镜、戴近视眼镜三种情况下的人脸视频图像组成疲劳检测数据集；
步骤2：利用基于多任务级联的卷积神经网络的检测算法通过对三个卷积神经网络进行级联，可以同时实现人脸检测与脸部特征点定位；
步骤3：对步骤2中的人脸图像进行处理，驾驶员眼睛区域可以根据得到的特征点坐标结合眼睛分布的对称性和实验测试结果确定位置约束条件来求解；
步骤4：将步骤3中得到的人眼图像序列数据输入到端到端的卷积循环神经网络中，将深层卷积结构与长短期记忆单元结合，通过分析一段时间内人眼图像序列的时序关系进行疲劳判决。
2.根据权利要求1所述的基于长短期记忆网络的驾驶员疲劳检测方法，其特征在于，步骤1中，采用3.6mm焦距、70度视角的红外相机采集驾驶员脸部图像，并搭配850nm的红外光源进行补光，同时借助850nm的窄带滤光片减少其他波长光线的干扰，并且可以透过墨镜获取到清晰的眼部区域图像，同时也能满足夜间使用的需求，提高算法的鲁棒性。
3.根据权利要求1所述的基于长短期记忆网络的驾驶员疲劳检测方法，其特征在于，步骤2中，在数据处理阶段，为应对目标多尺度问题，将原始人脸图像缩放到不同尺寸，构建图像金字塔，作为三阶级联架构的输入，然后在构建图像金字塔的基础上，利用全卷积网络P-Net生成候选窗和边框回归向量，接着使用一个卷积神经网络R-Net精选上一阶段生成的人脸候选框，进一步舍弃重叠的候选窗体，最后通过另一个卷积神经网络O-Net，得到最终的人脸边框和五个特征点位置。
4.根据权利要求1所述的基于长短期记忆网络的驾驶员疲劳检测方法，其特征在于，步骤3中，为了获得驾驶员人眼图像序列，通过多任务级联的卷积神经网络定位人脸边框和特征点位置，将人脸检测和特征点定位两个问题统一到多任务框架下，并利用三个子网络和非极大值抑制在训练过程中完成样本的挖掘，眼睛感兴趣区域的坐标可以通过特征点坐标结合位置约束条件来求解。
5.根据权利要求1所述的基于长短期记忆网络的驾驶员疲劳检测方法，其特征在于，步骤4中，通过基于多任务级联的卷积神经网络人眼区域定位算法从视频片段中获取眼部图像的连续帧序列，接着将每个视频的连续16帧看作一个时间步长，每个时间步中的输入通过一个具有深层卷积层的CNN模块，学习人眼的深层次的卷积感知表达，产生维度为1×1×512的向量，并输入到一个由LSTM单元构成的序列学习模块中，用以捕获时间序列的相关性，最后产生一个二维的向量预测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910156037.6A CN109886241A (zh) | 2019-03-05 | 2019-03-05 | 基于长短期记忆网络的驾驶员疲劳检测 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910156037.6A CN109886241A (zh) | 2019-03-05 | 2019-03-05 | 基于长短期记忆网络的驾驶员疲劳检测 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109886241A true CN109886241A (zh) | 2019-06-14 |
Family
ID=66930300
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910156037.6A Pending CN109886241A (zh) | 2019-03-05 | 2019-03-05 | 基于长短期记忆网络的驾驶员疲劳检测 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109886241A (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110363093A (zh) * | 2019-06-19 | 2019-10-22 | 深圳大学 | 一种司机动作识别方法及装置 |
| CN110427871A (zh) * | 2019-07-31 | 2019-11-08 | 长安大学 | 一种基于计算机视觉的疲劳驾驶检测方法 |
| CN110490299A (zh) * | 2019-07-25 | 2019-11-22 | 南京信息工程大学 | 基于状态变化微分的灵敏长短期记忆方法 |
| CN110633665A (zh) * | 2019-09-05 | 2019-12-31 | 卓尔智联(武汉)研究院有限公司 | 识别方法、设备和存储介质 |
| CN110717389A (zh) * | 2019-09-02 | 2020-01-21 | 东南大学 | 基于生成对抗和长短期记忆网络的驾驶员疲劳检测方法 |
| CN110738190A (zh) * | 2019-10-28 | 2020-01-31 | 北京经纬恒润科技有限公司 | 一种疲劳驾驶的判断方法、装置及设备 |
| CN111027391A (zh) * | 2019-11-12 | 2020-04-17 | 湖南大学 | 一种基于cnn金字塔特征和lstm的疲劳状态识别方法 |
| CN111243236A (zh) * | 2020-01-17 | 2020-06-05 | 南京邮电大学 | 一种基于深度学习的疲劳驾驶预警方法及*** |
| CN111645695A (zh) * | 2020-06-28 | 2020-09-11 | 北京百度网讯科技有限公司 | 一种疲劳驾驶的检测方法、装置、计算机设备和存储介质 |
| CN111723694A (zh) * | 2020-06-05 | 2020-09-29 | 广东海洋大学 | 基于cnn-lstm时空特征融合的异常驾驶行为识别方法 |
| CN111723707A (zh) * | 2020-06-09 | 2020-09-29 | 天津大学 | 一种基于视觉显著性的注视点估计方法及装置 |
| CN111814956A (zh) * | 2020-06-23 | 2020-10-23 | 哈尔滨工程大学 | 一种基于多维度二次特征提取的多任务学习的空气质量预测方法 |
| CN112434611A (zh) * | 2020-11-25 | 2021-03-02 | 中山大学 | 基于眼部运动细微特征的早期疲劳检测方法及*** |
| CN112580527A (zh) * | 2020-12-22 | 2021-03-30 | 之江实验室 | 一种基于卷积长短期记忆网络的人脸表情识别方法 |
| CN112906631A (zh) * | 2021-03-17 | 2021-06-04 | 南京邮电大学 | 一种基于视频的危险驾驶行为检测方法和检测*** |
| CN113128360A (zh) * | 2021-03-30 | 2021-07-16 | 苏州乐达纳米科技有限公司 | 基于深度学习的司机驾驶行为检测与识别方法 |
| CN117079255A (zh) * | 2023-10-17 | 2023-11-17 | 江西开放大学 | 一种基于人脸识别和语音交互的疲劳驾驶检测方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107748858A (zh) * | 2017-06-15 | 2018-03-02 | 华南理工大学 | 一种基于级联卷积神经网络的多姿态眼睛定位方法 |
| US20180150684A1 (en) * | 2016-11-30 | 2018-05-31 | Shenzhen AltumView Technology Co., Ltd. | Age and gender estimation using small-scale convolutional neural network (cnn) modules for embedded systems |
| CN108294759A (zh) * | 2017-01-13 | 2018-07-20 | 天津工业大学 | 一种基于cnn眼部状态识别的驾驶员疲劳检测方法 |
| CN108921051A (zh) * | 2018-06-15 | 2018-11-30 | 清华大学 | 基于循环神经网络注意力模型的行人属性识别网络及技术 |
| CN109034159A (zh) * | 2018-05-28 | 2018-12-18 | 北京捷通华声科技股份有限公司 | 图像信息提取方法和装置 |
| CN109376603A (zh) * | 2018-09-25 | 2019-02-22 | 北京周同科技有限公司 | 一种视频识别方法、装置、计算机设备及存储介质 |
-
2019
- 2019-03-05 CN CN201910156037.6A patent/CN109886241A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180150684A1 (en) * | 2016-11-30 | 2018-05-31 | Shenzhen AltumView Technology Co., Ltd. | Age and gender estimation using small-scale convolutional neural network (cnn) modules for embedded systems |
| CN108294759A (zh) * | 2017-01-13 | 2018-07-20 | 天津工业大学 | 一种基于cnn眼部状态识别的驾驶员疲劳检测方法 |
| CN107748858A (zh) * | 2017-06-15 | 2018-03-02 | 华南理工大学 | 一种基于级联卷积神经网络的多姿态眼睛定位方法 |
| CN109034159A (zh) * | 2018-05-28 | 2018-12-18 | 北京捷通华声科技股份有限公司 | 图像信息提取方法和装置 |
| CN108921051A (zh) * | 2018-06-15 | 2018-11-30 | 清华大学 | 基于循环神经网络注意力模型的行人属性识别网络及技术 |
| CN109376603A (zh) * | 2018-09-25 | 2019-02-22 | 北京周同科技有限公司 | 一种视频识别方法、装置、计算机设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 张国基等: "《生物辨识***与深度学习》", 31 December 2018 * |
| 耿磊等: "基于多形态红外特征与深度学习的实时驾驶员疲劳检测", 《红外与激光工程》 * |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110363093A (zh) * | 2019-06-19 | 2019-10-22 | 深圳大学 | 一种司机动作识别方法及装置 |
| CN110490299A (zh) * | 2019-07-25 | 2019-11-22 | 南京信息工程大学 | 基于状态变化微分的灵敏长短期记忆方法 |
| CN110490299B (zh) * | 2019-07-25 | 2022-07-29 | 南京信息工程大学 | 基于状态变化微分的灵敏长短期记忆方法 |
| CN110427871A (zh) * | 2019-07-31 | 2019-11-08 | 长安大学 | 一种基于计算机视觉的疲劳驾驶检测方法 |
| CN110427871B (zh) * | 2019-07-31 | 2022-10-14 | 长安大学 | 一种基于计算机视觉的疲劳驾驶检测方法 |
| CN110717389A (zh) * | 2019-09-02 | 2020-01-21 | 东南大学 | 基于生成对抗和长短期记忆网络的驾驶员疲劳检测方法 |
| CN110717389B (zh) * | 2019-09-02 | 2022-05-13 | 东南大学 | 基于生成对抗和长短期记忆网络的驾驶员疲劳检测方法 |
| CN110633665B (zh) * | 2019-09-05 | 2023-01-10 | 卓尔智联(武汉)研究院有限公司 | 识别方法、设备和存储介质 |
| CN110633665A (zh) * | 2019-09-05 | 2019-12-31 | 卓尔智联(武汉)研究院有限公司 | 识别方法、设备和存储介质 |
| CN110738190A (zh) * | 2019-10-28 | 2020-01-31 | 北京经纬恒润科技有限公司 | 一种疲劳驾驶的判断方法、装置及设备 |
| CN111027391A (zh) * | 2019-11-12 | 2020-04-17 | 湖南大学 | 一种基于cnn金字塔特征和lstm的疲劳状态识别方法 |
| CN111243236A (zh) * | 2020-01-17 | 2020-06-05 | 南京邮电大学 | 一种基于深度学习的疲劳驾驶预警方法及*** |
| CN111723694A (zh) * | 2020-06-05 | 2020-09-29 | 广东海洋大学 | 基于cnn-lstm时空特征融合的异常驾驶行为识别方法 |
| CN111723707A (zh) * | 2020-06-09 | 2020-09-29 | 天津大学 | 一种基于视觉显著性的注视点估计方法及装置 |
| CN111723707B (zh) * | 2020-06-09 | 2023-10-17 | 天津大学 | 一种基于视觉显著性的注视点估计方法及装置 |
| CN111814956A (zh) * | 2020-06-23 | 2020-10-23 | 哈尔滨工程大学 | 一种基于多维度二次特征提取的多任务学习的空气质量预测方法 |
| CN111814956B (zh) * | 2020-06-23 | 2022-04-08 | 哈尔滨工程大学 | 一种基于多维度二次特征提取的多任务学习的空气质量预测方法 |
| CN111645695A (zh) * | 2020-06-28 | 2020-09-11 | 北京百度网讯科技有限公司 | 一种疲劳驾驶的检测方法、装置、计算机设备和存储介质 |
| CN112434611A (zh) * | 2020-11-25 | 2021-03-02 | 中山大学 | 基于眼部运动细微特征的早期疲劳检测方法及*** |
| CN112580527A (zh) * | 2020-12-22 | 2021-03-30 | 之江实验室 | 一种基于卷积长短期记忆网络的人脸表情识别方法 |
| CN112906631B (zh) * | 2021-03-17 | 2022-07-29 | 南京邮电大学 | 一种基于视频的危险驾驶行为检测方法和检测*** |
| CN112906631A (zh) * | 2021-03-17 | 2021-06-04 | 南京邮电大学 | 一种基于视频的危险驾驶行为检测方法和检测*** |
| CN113128360A (zh) * | 2021-03-30 | 2021-07-16 | 苏州乐达纳米科技有限公司 | 基于深度学习的司机驾驶行为检测与识别方法 |
| CN117079255A (zh) * | 2023-10-17 | 2023-11-17 | 江西开放大学 | 一种基于人脸识别和语音交互的疲劳驾驶检测方法 |
| CN117079255B (zh) * | 2023-10-17 | 2024-01-05 | 江西开放大学 | 一种基于人脸识别和语音交互的疲劳驾驶检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109886241A (zh) | 基于长短期记忆网络的驾驶员疲劳检测 | |
| CN111259850B (zh) | 一种融合随机批掩膜和多尺度表征学习的行人重识别方法 | |
| CN106951867B (zh) | 基于卷积神经网络的人脸识别方法、装置、***及设备 | |
| CN110569772B (zh) | 一种泳池内人员状态检测方法 | |
| CN106503687B (zh) | 融合人脸多角度特征的监控视频人物身份识别***及其方法 | |
| CN109819208A (zh) | 一种基于人工智能动态监控的密集人群安防监控管理方法 | |
| CN104063719B (zh) | 基于深度卷积网络的行人检测方法及装置 | |
| CN104378582B (zh) | 一种基于ptz摄像机巡航的智能视频分析***及方法 | |
| CN103824070B (zh) | 一种基于计算机视觉的快速行人检测方法 | |
| CN110378259A (zh) | 一种面向监控视频的多目标行为识别方法及*** | |
| CN107451568A (zh) | 使用深度卷积神经网络的姿态检测方法及设备 | |
| CN106529419B (zh) | 视频显著性堆栈式聚合的对象自动检测方法 | |
| Yu et al. | Railway obstacle detection algorithm using neural network | |
| CN109034134A (zh) | 基于多任务深度卷积神经网络的异常驾驶行为检测方法 | |
| Li et al. | Sign language recognition based on computer vision | |
| CN113239822A (zh) | 基于时空双流卷积神经网络的危险行为检测方法及*** | |
| CN108960047A (zh) | 基于深度二次树的视频监控中人脸去重方法 | |
| CN109299658A (zh) | 脸部检测方法、脸部图像渲染方法、装置及存储介质 | |
| Hwang et al. | Multi-modal human action recognition using deep neural networks fusing image and inertial sensor data | |
| Elihos et al. | Comparison of image classification and object detection for passenger seat belt violation detection using NIR & RGB surveillance camera images | |
| CN103902989A (zh) | 基于非负矩阵分解的人体动作视频识别方法 | |
| CN113378649A (zh) | 身份、位置和动作识别方法、***、电子设备及存储介质 | |
| CN103049748B (zh) | 行为监测方法及装置 | |
| Pramita et al. | Mask wearing classification using CNN | |
| CN111860457A (zh) | 一种斗殴行为识别预警方法及其识别预警*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190614 |
|
| WD01 | Invention patent application deemed withdrawn after publication |