CN111368696A - 基于视觉协同的危化品运输车违规驾驶行为检测方法及*** - Google Patents

基于视觉协同的危化品运输车违规驾驶行为检测方法及*** Download PDF

Info

Publication number
CN111368696A
CN111368696A CN202010129691.0A CN202010129691A CN111368696A CN 111368696 A CN111368696 A CN 111368696A CN 202010129691 A CN202010129691 A CN 202010129691A CN 111368696 A CN111368696 A CN 111368696A
Authority
CN
China
Prior art keywords
driving behavior
frame
key points
detecting
sensitive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010129691.0A
Other languages
English (en)
Inventor
高尚兵
黄子赫
蔡创新
相林
朱全银
李翔
周泓
张海艳
臧晨
耿璇
沈晓坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaiyin Institute of Technology
Original Assignee
Huaiyin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaiyin Institute of Technology filed Critical Huaiyin Institute of Technology
Priority to CN202010129691.0A priority Critical patent/CN111368696A/zh
Publication of CN111368696A publication Critical patent/CN111368696A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视觉协同的危化品运输车违规驾驶行为检测方法及***，首先制作数据集并进行图像增强和归一化处理；对危险驾驶行为敏感物品进行标注，通过目标识别神经网络对数据集针对敏感物体进行训练；读取视频每一帧，先经过训练好的网络模型检测敏感物体，后将帧进行人体姿态关键点检测；人体姿态检测得到左右手关键点在帧图像中坐标位置，判断其与敏感物体识别框的位置信息，识别对应违规驾驶行为；在违规驾驶行为连续时间窗口超过设定阈值进行预警，并将视频片段保留。本发明可以适应驾驶员监控视频危险驾驶行为实时检测预警，便于及时发现并提醒不规范驾驶行为，从而减小交通事故的发生，检测种类多，识别效果好。

Description

基于视觉协同的危化品运输车违规驾驶行为检测方法及***
技术领域
本发明涉及图像处理及交通安全领域，具体涉及一种基于视觉协同的危化品运输车违规驾驶行为检测方法及***。
背景技术
随着社会经济的快速发展，化学工业产品的市场规模日益壮大，成为国民经济的基础。根据研究数据显示，2018年我国危险化学品市场的规模达到了1.4万亿，并且这一规模今后还将持续扩大。江苏省根据2016年12月18日发布的《中共中央、国务院关于推进安全生产领域改革发展的意见》(中发〔2016〕32号)精神，连续下发了两份红头文件。两份文件中都同时要求“两客一危”强制安装防碰撞***。2017年10月27日江苏省交通运输厅正式印发《江苏省交通运输厅关于进一步推进重点营运车辆主动安全智能防控技术的通知》(苏交运〔2017〕97号)。庞大的危化品市场规模对危险化学品的生产、存储和运输提出了挑战，危化品生产和存储通过引进国外规范化的管理，已经形成一套成熟的体系。相较于生产和存储，危化品的运输的管理和监控略显困难。首先，危化品运输规模庞大，需要大量的车辆同时进行分散式的运输，难以集中管理。由于运输距离较远、运输道路复杂和运输线路的不确定性，运送车辆的实时动态难以得到及时的反馈。2017年，我国危化品罐装车数量超过21万辆，总吨位达到了422万吨。我国每年运输的危化品总量超过10亿吨，由公路运输的危化品占运输总量的三成以上，并且公路运输危化品的规模仍处于上升趋势。其次，危化品的化学性质极不稳定，具有易燃、易爆、易腐蚀等特点，如果在运输过程中摩擦、受热、或者撞击，可能会造成车辆罐体的破裂、燃烧甚至***，造成人员的伤亡和财产的损失，给环境和生态造成不可估量的损害。
在现有驾驶员违规行为检测技术中，通过对视频行为特征检测技术不同，视频检测技术有以下种类：(1)基于多层卷积神经网络：钟忺等提出基于独立子空间分析(ISA)模型与神经网络理论形成的ISA深度网络模型特征提取方法，结合了数据预处理方法等方法，对人体行为进行了分类识别。(2)基于背景差分法：关百胜等提出采用了背景减除算法和深度学习技术融合，最后在测试数据集上进行算法模型的验证，验证了神经网络技术可以用于交互式行为识别，保证了行为识别的准确率。(3)基于SVM向量强分类器：李庆辉等人通过Rank支持向量机算法将光流序列压缩成有序光流图，最后将双流网络的C3D描述子和VGG描述子融合后输入到线性SVM进行行为识别。(4)基于RGB二维行为识别：将人的各个部位用不同颜色编码，并且用局部相连和贪心算法来识别视频中人体动作的连续性变化，利用局部特征的方法应用在高难度的数据采集上，取得很大成功，在帮助采集驾驶员的行为信息也有很大帮助。(5)基于聚类多任务识别方法：Liu A A等提出了一种分层聚类多任务学习(HC-MTL)方法，通过目标函数加强特定行为的特征来实现行为识别。
这些常用的视频行为检测技术方法是对交通视频大数据处理的有效思路，但对于危化品运输车驾驶员视频监控没有行为特征特异性处理，无法辨别驾驶员危险驾驶行为，且无法辨别敏感物品，故无法综合识别驾驶员危险驾驶行为。
发明内容
发明目的：本发明提供一种基于视觉协同的危化品运输车违规驾驶行为检测方法及***，可以对危化品运输车驾驶员双手脱离方向盘、接打手机、喝水等违规驾驶行为进行识别预警，检测效率高，可视化效果好。
技术方案：本发明所述的一种基于视觉协同的危化品运输车违规驾驶行为检测方法，包括以下步骤：
(1)制作数据集并进行图像增强和图像归一化处理；
(2)对危险驾驶行为敏感物品进行标注，通过目标识别神经网络对数据集针对敏感物品进行训练；所述敏感物品包括方向盘、电话、水杯和烟；
(3)读取视频每一帧图像，经过训练好的网络模型检测敏感物体，并将帧图像进行人体姿态关键点检测；
(4)根据手肘关键点和手腕关键点像素坐标得到左右手关键点在帧图像中坐标位置，判断其与敏感物体识别框的位置信息，识别对应违规驾驶行为；若双手关键点帧坐标均在方向盘区域外，则视为双手脱离方向盘；若左和/或右手关键点帧坐标在其他敏感物品检测区域内，则根据敏感物品检测类别确定违规驾驶行为类型；
(5)在违规驾驶行为连续时间窗口超过设定阈值进行预警，并保留对应视频片段。
作为优选，所述步骤(1)包括：
(11)对危化品运输车驾驶员监控视频中不规范驾驶行为进行图像提取，不规范驾驶行为特征包括：双手脱离方向盘、接打电话、喝水、抽烟；
(12)将图像数据集做对比度增强，归一化处理。
作为优选，所述步骤(2)中所采用的神经网络为改进的yolov3-medium网络，其特征为：将L1正则产生的梯度添加到BN(Batch Normalization)层的梯度中；设置裁剪率为0.8进行裁剪；将所有的BN层的γ参数提取到一个列表并从小到大进行排序，裁剪阈值为列表中0.8分位数的值；将偏置量β合并到下一个卷积层中BN中计算。
作为优选，所述步骤(3)包括：
(31)读取视频流中的每一帧记为origin_img，将帧图像首先送入网络模型中检测敏感物品，得到其BBOX框起始点及置信度；
(32)将origin_img送入姿态检测框架，检测人***置；
(33)每一个人体得到检测框后，然后独立地去检测所有肢体节点，并对单人ROI区域进行自顶向下关节点增广连接，并得到关键点坐标信息；
(34)根据敏感物品检测窗口及姿态检测信息，对origin_img进行渲染，得到result_img。
作为优选，所述步骤(4)中通过手肘关键点和手腕关键点像素坐标，对其矢量方向进行延长二分之一得到手指部分关键点。
作为优选，所述步骤(5)中预警判断规则是：记录首次检出违规驾驶行为帧时间，当连续检出时间超过1秒，并且检出帧数量超过总帧数60％，进行预警提示和片段保留。
基于相同的发明构思，本发明所述的一种基于视觉协同的危化品运输车违规驾驶行为检测***，包括:
预处理模块，用于制作数据集并进行图像增强和图像归一化处理；
敏感物品检测训练模块，用于对危险驾驶行为敏感物品进行标注，通过神经网络对数据集针对敏感物品进行训练；所述敏感物品包括方向盘、电话、水杯和烟；
物品及姿态检测模块，用于读取视频每一帧图像，经过训练好的网络模型检测敏感物体，并将帧图像进行人体姿态关键点检测；
违规驾驶行为识别模块，根据手肘关键点和手腕关键点像素坐标得到左右手关键点在帧图像中坐标位置，判断其与敏感物体识别框的位置信息，识别对应违规驾驶行为；若双手关键点帧坐标均在方向盘区域外，则视为双手脱离方向盘；若左和/或右手关键点帧坐标在其他敏感物品检测区域内，则根据敏感物品检测类别确定违规驾驶行为类型；
以及预警模块，用于在违规驾驶行为连续时间窗口超过设定阈值进行预警，并保留对应视频片段。
基于相同的发明构思，本发明所述的一种基于视觉协同的危化品运输车违规驾驶行为检测***，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的基于视觉协同的危化品运输车违规驾驶行为检测方法。
有益效果：与现有技术相比，本发明的有益效果：1、相比较现有技术，目标识别与姿态检测协同检测算法克服了传统驾驶员行为检测***检测效率差、检测精度低，检测手段单一的问题；2、能够应对复杂环境下对物品、姿态的检测，适应白天彩色图像与夜间红外灰度图像不同时段危化品运输车行驶环境，适用性高，实用性强，具有较好的应用价值。
附图说明
图1为本发明实施例的方法流程图；
图2为本发明实施例中yolov3-medium网络对红外夜视视频中敏感物体识别图；
图3为本发明实施例中yolov3-medium网络对白天驾驶员视角敏感物体识别图；
图4为本发明实施例中驾驶员姿态检测图；
图5为本发明实施例中危化品运输车违规驾驶行为视觉融合检测图。
具体实施方式
下面结合附图对本发明作进一步说明。
如图1所示，本发明实施例公开的一种基于视觉协同的危化品运输车违规驾驶行为检测方法，包括以下步骤：
(1)制作数据集进行图像增强和图像归一化处理的预处理
本实例数据集来源为淮安市危货驾驶员车内监控视频，视频数据为一周内多辆驾驶员行车监控。监控视频为红外摄像头获取的夜间灰度图像以及高清摄像头获取的日间行车视频数据。对采集的视频人工进行不规范驾驶行为筛选，截取驾驶员行驶过程中的不规范驾驶行为(不规范驾驶行为特征包括：双手脱离方向盘、接打电话、喝水、抽烟)，同一不规范驾驶行为不同姿势采样5张。将截取完成的图片数据集进行编号保存到同一目录下。
由于车内环境嘈杂，夜间红外摄像头成像质量较差，需要对图像进行预处理，有利于提高敏感物品检测精度。处理步骤主要为对比度增强和图像归一化处理。从截图中初始灰度图像数据进行数据增强的方法为：让每个通道像素都乘以一个数，使得图像整体的像素扩大，提高对比度，增强轮廓特征，便于图像的训练与检测。经过图像增强后的图像像素值可以通过下列公式表示。
G(X,Y)＝N*F(x,y)
式中：(x,y)表示初始图像像素，N表示倍数，F(x,y)为每个像素中的灰度值，G(X,Y)表示经过对比度增强的处理之后的像素值。
将已进行图像增强的数据集图片进行图像归一化处理，将数据集按照416*416px做离差标准化归一化处理，对原始数据的线性变换，使结果值映射到[0-1]之间。
y＝(x-MinValue)/(MaxValue-MinValue)
式中，x、y分别为转换前、后的像素点值，MaxValue、MinValue分别为样本中的最大像素点值和最小像素点值。
(2)对危险驾驶行为敏感物品进行标注，通过目标识别神经网络对数据集针对方向盘、电话、水杯、烟等敏感物体进行训练。本步骤数据集标注工具使用lambellmg，标注的格式为VOC2007。首先将待处理的文件夹导入到标注工具中并将敏感物品如手机、水杯和香烟设置为标签值，随之使用矩形框将敏感物品进行标示，然后勾选相应的标签值。将标注完成的数据保存到同一文件目录下。标注完成的数据集包括图片集以及xml文件集两部分，xml文件中记录的内容有文件名、存放路径、图像尺寸、图像、标签值、以及标注图像在原图像中的相对位置。以标注完成的10000张VOC格式的数据集图像作为输入，输入图像尺度为416*416*3，设置批训练所选取的样本数batch_size为64、学习率learning_rate为0.001进行训练，激活函数选用Leaky ReLU。
目标识别神经网络采用改进的yolov3-medium网络，调整yolov3-medium模型，去除网络中一些不重要的神经元来降低计算量和权重数量。首先将L1正则化产生稀疏权值矩阵，得到的梯度添加到BN(Batch Normalization)层的梯度中。利用BN层中的缩放因子γ作为重要性因子，根据每个神经元的L1绝对值的权重参数γ从小到大进行排序将γ低于阈值0.8的权重参数置0。然后将由BN层得到的卷积计算结果与合并后的权值参数β(偏置量)进行计算，提高模型计算速度。
对样本进行1000次迭代训练。训练完成后衡量目标检测均值平均精度(类别预测准确率)[email protected]以及GloU(预测框与实际框大小重合程度)。
(3)读取视频每一帧图像，经过训练好的网络模型检测敏感物体，并将帧图像进行人体姿态关键点检测。通过CV2(Open Source Computer Vision Library2)的读取待检测视频的总帧数，设置含违规驾驶行为视频片段的起始帧以及结束帧，进行全局初始化操作。读取将CV2读取的每一帧记为origin_img，通过归一化将像素矩阵作为输入传递到yolov3-medium模型网络，并运行前向传递以获得预测边界框列表作为网络的输出。滤除具有低置信度分数的预测框，将含有最终边界框的图像保存下来。若检测到方向盘、电话、水杯、烟等敏感物品，则进行标示并给出置信度，敏感物品经检测后的效果图如图2，图3所示。
将origin_img帧同时送入姿态检测框架，首先检测人***置，然后进行姿态估计。每一个人体得到预测框后，独立地去检测所有肢体节点，并对单人ROI区域进行自顶向下关节点增广连接，并得到关键点坐标信息(姿态检测的具体实施可参见Fang H,Xie S,Tai Y,et al.RMPE:Regional Multi-person Pose Estimation[J].2016.)。对同一视频流BBOX进行归一化以解决视频连续帧颜色跳动的问题，结合敏感物品检测窗口及姿态检测信息对每一帧初始图像origin_img进行渲染。人体姿态估计检测的图像如图4所示。
(4)将目标检测与人体姿态估计进行联合检测，通过借助手肘关键点和手腕关键点像素坐标，对其矢量方向进行延长二分之一得到手指部分关键点，进而计算提取左右手指头在帧图像中坐标位置。判断双手手指关键点与敏感物品识别区域是否有重叠，以检测行车过程中的、玩手机、抽烟、喝水等违规驾驶行为；通过判断手指关键点位置与方向盘的识别区域是否有重叠来判断驾驶员行车过程中可能出现的双手脱离方向盘的危险驾驶行为。
(5)设定一个阈值，若检测到驾驶员的危险驾驶行为在连续时间内超过阈值，进行语音播报，提醒驾驶员“您已处于违规驾驶状态，请规范您的驾驶行为”并将视频节点保留，同时为公共交运平台的管理与出发提供依据。如记录首次检出违规驾驶行为帧时间，当连续检出时间超过1秒，并且检出帧数量超过总帧数60％，进行预警提示和片段保留。通过CV2对危险驾驶行为视频中文本可视化，显示出视频中驾驶员的行为状态，检测效果如图5所示。
实验证明本发明实施例公开的一种基于视觉协同的危化品运输车违规驾驶行为检测方法可以广泛有效适应危化品运输车车内监控视频，并对视频中出现的危险驾驶行为实时检测预警，便于及时发现并提醒不规范驾驶行为，从而减小交通事故的发生，检测种类多，识别效果好。基于相同的发明构思，本发明实施例公开的一种基于视觉协同的危化品运输车违规驾驶行为检测***，包括:预处理模块，用于制作数据集并进行图像增强和图像归一化处理；敏感物品检测训练模块，用于对危险驾驶行为敏感物品进行标注，通过神经网络对数据集针对敏感物品进行训练；所述敏感物品包括方向盘、电话、水杯和烟；物品及姿态检测模块，用于读取视频每一帧图像，经过训练好的网络模型检测敏感物体，并将帧图像进行人体姿态关键点检测；违规驾驶行为识别模块，根据手肘关键点和手腕关键点像素坐标得到左右手关键点在帧图像中坐标位置，判断其与敏感物体识别框的位置信息，识别对应违规驾驶行为；若双手关键点帧坐标均在方向盘区域外，则视为双手脱离方向盘；若左和/或右手关键点帧坐标在其他敏感物品检测区域内，则根据敏感物品检测类别确定违规驾驶行为类型；以及预警模块，用于在违规驾驶行为连续时间窗口超过设定阈值进行预警，并保留对应视频片段。具体实施细节参考上述方法实施例，此处不再赘述。
基于相同的发明构思，本发明实施例公开的一种基于视觉协同的危化品运输车违规驾驶行为检测***，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的基于视觉协同的危化品运输车违规驾驶行为检测方法。

Claims (8)

1.一种基于视觉协同的危化品运输车违规驾驶行为检测方法，其特征在于，包括以下步骤：
(1)制作数据集并进行图像增强和图像归一化处理；
(2)对危险驾驶行为敏感物品进行标注，通过目标识别神经网络对数据集针对敏感物品进行训练；所述敏感物品包括方向盘、电话、水杯和烟；
(3)读取视频每一帧图像，经过训练好的网络模型检测敏感物体，并将帧图像进行人体姿态关键点检测；
(4)根据手肘关键点和手腕关键点像素坐标得到左右手关键点在帧图像中坐标位置，判断其与敏感物体识别框的位置信息，识别对应违规驾驶行为；若双手关键点帧坐标均在方向盘区域外，则视为双手脱离方向盘；若左和/或右手关键点帧坐标在其他敏感物品检测区域内，则根据敏感物品检测类别确定违规驾驶行为类型；
(5)在违规驾驶行为连续时间窗口超过设定阈值进行预警，并保留对应视频片段。
2.根据权利要求1所述的一种基于视觉协同的危化品运输车违规驾驶行为检测方法，其特征在于，所述步骤(1)包括：
(11)对危化品运输车驾驶员监控视频中不规范驾驶行为进行图像提取，不规范驾驶行为特征包括：双手脱离方向盘、接打电话、喝水、抽烟；
(12)将图像数据集做对比度增强，归一化处理。
3.根据权利要求1所述的一种基于视觉协同的危化品运输车违规驾驶行为检测方法，其特征在于，所述步骤(2)中所采用的神经网络为改进的yolov3-medium网络，其特征为：将L1正则产生的梯度添加到BN层的梯度中；设置裁剪率为0.8进行裁剪；将所有的BN层的γ参数提取到一个列表并从小到大进行排序，裁剪阈值为列表中0.8分位数的值；将偏置量β合并到下一个卷积层中BN中计算。
4.根据权利要求1所述的一种基于视觉协同的危化品运输车违规驾驶行为检测方法，其特征在于，所述步骤(3)包括：
(31)读取视频流中的每一帧记为origin_img，将帧图像首先送入网络模型中检测敏感物品，得到其BBOX框起始点及置信度；
(32)将origin_img送入姿态检测框架，检测人***置；
(33)每一个人体得到检测框后，然后独立地去检测所有肢体节点，并对单人ROI区域进行自顶向下关节点增广连接，并得到关键点坐标信息；
(34)根据敏感物品检测窗口及姿态检测信息，对origin_img进行渲染，得到result_img。
5.根据权利要求1所述的一种基于视觉协同的危化品运输车违规驾驶行为检测方法，其特征在于，所述步骤(4)中通过手肘关键点和手腕关键点像素坐标，对其矢量方向进行延长二分之一得到手指部分关键点。
6.根据权利要求1所述的一种基于视觉协同的危化品运输车违规驾驶行为检测方法，其特征在于，所述步骤(5)中预警判断规则是：记录首次检出违规驾驶行为帧时间，当连续检出时间超过1秒，并且检出帧数量超过总帧数60％，进行预警提示和片段保留。
7.一种基于视觉协同的危化品运输车违规驾驶行为检测***，其特征在于，包括:
预处理模块，用于制作数据集并进行图像增强和图像归一化处理；
敏感物品检测训练模块，用于对危险驾驶行为敏感物品进行标注，通过神经网络对数据集针对敏感物品进行训练；所述敏感物品包括方向盘、电话、水杯和烟；
物品及姿态检测模块，用于读取视频每一帧图像，经过训练好的网络模型检测敏感物体，并将帧图像进行人体姿态关键点检测；
违规驾驶行为识别模块，根据手肘关键点和手腕关键点像素坐标得到左右手关键点在帧图像中坐标位置，判断其与敏感物体识别框的位置信息，识别对应违规驾驶行为；若双手关键点帧坐标均在方向盘区域外，则视为双手脱离方向盘；若左和/或右手关键点帧坐标在其他敏感物品检测区域内，则根据敏感物品检测类别确定违规驾驶行为类型；
以及预警模块，用于在违规驾驶行为连续时间窗口超过设定阈值进行预警，并保留对应视频片段。
8.一种基于视觉协同的危化品运输车违规驾驶行为检测***，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现根据权利要求1-6任一项所述的基于视觉协同的危化品运输车违规驾驶行为检测方法。
CN202010129691.0A 2020-02-28 2020-02-28 基于视觉协同的危化品运输车违规驾驶行为检测方法及*** Pending CN111368696A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010129691.0A CN111368696A (zh) 2020-02-28 2020-02-28 基于视觉协同的危化品运输车违规驾驶行为检测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010129691.0A CN111368696A (zh) 2020-02-28 2020-02-28 基于视觉协同的危化品运输车违规驾驶行为检测方法及***

Publications (1)

Publication Number Publication Date
CN111368696A true CN111368696A (zh) 2020-07-03

Family

ID=71212638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010129691.0A Pending CN111368696A (zh) 2020-02-28 2020-02-28 基于视觉协同的危化品运输车违规驾驶行为检测方法及***

Country Status (1)

Country Link
CN (1) CN111368696A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111985874A (zh) * 2020-08-21 2020-11-24 重庆电子工程职业学院 危险品运输管理***及方法
CN112149511A (zh) * 2020-08-27 2020-12-29 深圳市点创科技有限公司 基于神经网络的驾驶员违规行为检测方法、终端、装置
CN112232273A (zh) * 2020-11-02 2021-01-15 上海翰声信息技术有限公司 一种基于机器学习识别图像的预警方法及***
CN112395978A (zh) * 2020-11-17 2021-02-23 平安科技（深圳）有限公司 行为检测方法、装置及计算机可读存储介质
CN112818839A (zh) * 2021-01-29 2021-05-18 北京市商汤科技开发有限公司 驾驶员违章行为识别方法、装置、设备及介质
CN112818913A (zh) * 2021-02-24 2021-05-18 西南石油大学 一种实时吸烟打电话识别方法
CN112990069A (zh) * 2021-03-31 2021-06-18 新疆爱华盈通信息技术有限公司 异常驾驶行为检测方法、装置、终端及介质
CN113052071A (zh) * 2021-03-25 2021-06-29 淮阴工学院 危化品运输车驾驶员分心行为快速检测方法及***
CN113065474A (zh) * 2021-04-07 2021-07-02 泰豪软件股份有限公司 行为识别方法、装置及计算机设备
CN113111866A (zh) * 2021-06-15 2021-07-13 深圳市图元科技有限公司 一种基于视频分析的智能监控管理***及方法
CN113255509A (zh) * 2021-05-20 2021-08-13 福州大学 一种基于Yolov3和OpenPose的工地危险行为监控方法
CN113435402A (zh) * 2021-07-14 2021-09-24 深圳市比一比网络科技有限公司 一种用于列车车厢的不文明行为检测方法及***
CN113449656A (zh) * 2021-07-01 2021-09-28 淮阴工学院 一种基于改进的卷积神经网络的驾驶员状态识别方法
CN113470080A (zh) * 2021-07-20 2021-10-01 浙江大华技术股份有限公司 一种违规行为识别方法
CN115147817A (zh) * 2022-06-17 2022-10-04 淮阴工学院 一种姿态引导的实例感知网络的驾驶员分心行为识别方法
CN115320498A (zh) * 2022-08-30 2022-11-11 珠海市魅族科技有限公司 车内危险行为的检测方法、装置、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530730A (zh) * 2016-11-02 2017-03-22 重庆中科云丛科技有限公司 交通违规检测方法及***
CN108062536A (zh) * 2017-12-29 2018-05-22 纳恩博（北京）科技有限公司 一种检测方法及装置、计算机存储介质
WO2018124672A1 (en) * 2016-12-28 2018-07-05 Samsung Electronics Co., Ltd. Apparatus for detecting anomaly and operating method for the same
CN108510491A (zh) * 2018-04-04 2018-09-07 深圳市未来媒体技术研究院 虚化背景下人体骨骼关键点检测结果的过滤方法
CN108960065A (zh) * 2018-06-01 2018-12-07 浙江零跑科技有限公司 一种基于视觉的驾驶行为检测方法
CN109543651A (zh) * 2018-12-06 2019-03-29 长安大学 一种驾驶员危险驾驶行为检测方法
CN109558865A (zh) * 2019-01-22 2019-04-02 郭道宁 一种基于人体关键点的对需特别看护人员的异常状态检测方法
CN110443172A (zh) * 2019-07-25 2019-11-12 北京科技大学 一种基于超分辨率和模型压缩的目标检测方法及***
CN110618635A (zh) * 2019-10-08 2019-12-27 中兴飞流信息科技有限公司 一种基于ai技术的列车驾驶室作业规范监测***

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530730A (zh) * 2016-11-02 2017-03-22 重庆中科云丛科技有限公司 交通违规检测方法及***
WO2018124672A1 (en) * 2016-12-28 2018-07-05 Samsung Electronics Co., Ltd. Apparatus for detecting anomaly and operating method for the same
CN108062536A (zh) * 2017-12-29 2018-05-22 纳恩博（北京）科技有限公司 一种检测方法及装置、计算机存储介质
CN108510491A (zh) * 2018-04-04 2018-09-07 深圳市未来媒体技术研究院 虚化背景下人体骨骼关键点检测结果的过滤方法
CN108960065A (zh) * 2018-06-01 2018-12-07 浙江零跑科技有限公司 一种基于视觉的驾驶行为检测方法
CN109543651A (zh) * 2018-12-06 2019-03-29 长安大学 一种驾驶员危险驾驶行为检测方法
CN109558865A (zh) * 2019-01-22 2019-04-02 郭道宁 一种基于人体关键点的对需特别看护人员的异常状态检测方法
CN110443172A (zh) * 2019-07-25 2019-11-12 北京科技大学 一种基于超分辨率和模型压缩的目标检测方法及***
CN110618635A (zh) * 2019-10-08 2019-12-27 中兴飞流信息科技有限公司 一种基于ai技术的列车驾驶室作业规范监测***

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
_从前从前_: "YOLOV3剪枝源码阅读---模型部署加速", 《HTTPS://WWW.JIANSHU.COM/P/D2D0D230EB74?CLICKTIME=1582269342》 *
PRADEEP.T.R 等: "Abnormal Behavior Detection In Intelligent Transport System for Intelligent Driving", 《INTERNATIONAL JOURNAL OF SOFTWARE & HARDWARE RESEARCH IN ENGINEERING》 *
呼布钦: "基于深度学习的驾驶员头部及姿态识别和分类方法研究", 《中国优秀硕士学位论文全文数据库 工程科技II辑》 *
熊群芳 等: "基于深度学习的驾驶员打电话行为检测方法", 《控制与信息技术》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111985874A (zh) * 2020-08-21 2020-11-24 重庆电子工程职业学院 危险品运输管理***及方法
CN112149511A (zh) * 2020-08-27 2020-12-29 深圳市点创科技有限公司 基于神经网络的驾驶员违规行为检测方法、终端、装置
CN112232273A (zh) * 2020-11-02 2021-01-15 上海翰声信息技术有限公司 一种基于机器学习识别图像的预警方法及***
WO2021208735A1 (zh) * 2020-11-17 2021-10-21 平安科技（深圳）有限公司 行为检测方法、装置及计算机可读存储介质
CN112395978A (zh) * 2020-11-17 2021-02-23 平安科技（深圳）有限公司 行为检测方法、装置及计算机可读存储介质
CN112395978B (zh) * 2020-11-17 2024-05-03 平安科技（深圳）有限公司 行为检测方法、装置及计算机可读存储介质
CN112818839A (zh) * 2021-01-29 2021-05-18 北京市商汤科技开发有限公司 驾驶员违章行为识别方法、装置、设备及介质
CN112818913A (zh) * 2021-02-24 2021-05-18 西南石油大学 一种实时吸烟打电话识别方法
CN112818913B (zh) * 2021-02-24 2023-04-07 西南石油大学 一种实时吸烟打电话识别方法
CN113052071A (zh) * 2021-03-25 2021-06-29 淮阴工学院 危化品运输车驾驶员分心行为快速检测方法及***
CN112990069A (zh) * 2021-03-31 2021-06-18 新疆爱华盈通信息技术有限公司 异常驾驶行为检测方法、装置、终端及介质
CN113065474A (zh) * 2021-04-07 2021-07-02 泰豪软件股份有限公司 行为识别方法、装置及计算机设备
CN113255509A (zh) * 2021-05-20 2021-08-13 福州大学 一种基于Yolov3和OpenPose的工地危险行为监控方法
CN113111866B (zh) * 2021-06-15 2021-10-26 深圳市图元科技有限公司 一种基于视频分析的智能监控管理***及方法
CN113111866A (zh) * 2021-06-15 2021-07-13 深圳市图元科技有限公司 一种基于视频分析的智能监控管理***及方法
CN113449656A (zh) * 2021-07-01 2021-09-28 淮阴工学院 一种基于改进的卷积神经网络的驾驶员状态识别方法
CN113435402A (zh) * 2021-07-14 2021-09-24 深圳市比一比网络科技有限公司 一种用于列车车厢的不文明行为检测方法及***
CN113470080A (zh) * 2021-07-20 2021-10-01 浙江大华技术股份有限公司 一种违规行为识别方法
CN113470080B (zh) * 2021-07-20 2024-05-14 浙江大华技术股份有限公司 一种违规行为识别方法
CN115147817A (zh) * 2022-06-17 2022-10-04 淮阴工学院 一种姿态引导的实例感知网络的驾驶员分心行为识别方法
CN115147817B (zh) * 2022-06-17 2023-06-20 淮阴工学院 一种姿态引导的实例感知网络的驾驶员分心行为识别方法
CN115320498A (zh) * 2022-08-30 2022-11-11 珠海市魅族科技有限公司 车内危险行为的检测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN111368696A (zh) 基于视觉协同的危化品运输车违规驾驶行为检测方法及***
CN107992819B (zh) 一种车辆属性结构化特征的确定方法与装置
CN108875803B (zh) 一种基于视频图像的危化品运输车辆检测与识别方法
CN111695514A (zh) 一种基于深度学习的雾天下车辆检测方法
CN108960074B (zh) 基于深度学习的小尺寸行人目标检测方法
CN111523415A (zh) 一种基于图像的两客一危车辆检测方法和装置
CN113052071B (zh) 危化品运输车驾驶员分心行为快速检测方法及***
CN114972316A (zh) 基于改进YOLOv5的电池壳端面缺陷实时检测方法
CN112613434A (zh) 道路目标检测方法、装置及存储介质
CN116935361A (zh) 一种基于深度学习的驾驶员分心行为检测方法
Varun et al. A road traffic signal recognition system based on template matching employing tree classifier
CN115131826B (zh) 物品检测识别方法、网络模型的训练方法和装置
CN115359306B (zh) 一种铁路货检高清图像智能识别方法和***
CN115953744A (zh) 一种基于深度学习的车辆识别追踪方法
TWI619099B (zh) Intelligent multifunctional driving assisted driving recording method and system
Prakash-Borah et al. Real-Time Helmet Detection and Number Plate Extraction Using Computer Vision
Tayo et al. Vehicle license plate recognition using edge detection and neural network
CN112633287A (zh) 一种面向矿井多源异构图文信息的文本识别方法及装置
Loungani et al. Vision Based Vehicle-Pedestrian Detection and Warning System
Rani et al. Recognition of High-Security Registration Plate for Indian Vehicles
Ramakrishnan et al. Autonomous Vehicle Image Classification using Deep Learning
Khumaidi et al. Vehicle Safe Distance Detection System Based On Image Processing As Accident Prevention With Faster R-CNN Method
Jeon et al. Dynamic Framerate SlowFast Network for Improving Autonomous Driving Performance
CN116665187A (zh) 交通标识识别方法、交通标识模型的训练方法及装置
Gunay et al. A Deep Learning-Based License Plate Recognition for Tricycles in General Santos City

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200703

RJ01 Rejection of invention patent application after publication