CN108446678B - 一种基于骨骼特征的危险驾驶行为识别方法 - Google Patents

一种基于骨骼特征的危险驾驶行为识别方法 Download PDF

Info

Publication number
CN108446678B
CN108446678B CN201810425640.5A CN201810425640A CN108446678B CN 108446678 B CN108446678 B CN 108446678B CN 201810425640 A CN201810425640 A CN 201810425640A CN 108446678 B CN108446678 B CN 108446678B
Authority
CN
China
Prior art keywords
driving behavior
dangerous driving
image information
training
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810425640.5A
Other languages
English (en)
Other versions
CN108446678A (zh
Inventor
董延超
何士波
林敏静
岳继光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN201810425640.5A priority Critical patent/CN108446678B/zh
Publication of CN108446678A publication Critical patent/CN108446678A/zh
Application granted granted Critical
Publication of CN108446678B publication Critical patent/CN108446678B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及一种基于骨骼特征的危险驾驶行为识别方法，所述方法包括下列步骤：危险驾驶行为模型训练步骤，根据驾驶行为的历史影像信息，确定用于区别驾驶行为种类的特征，根据确定的特征提取对应的骨骼特征信息并进行训练，确定危险驾驶行为模型；危险驾驶行为识别步骤，采集驾驶员在驾驶过程中的当前影像信息，代入到危险驾驶行为模型中进行测试，根据测试结果确定危险驾驶行为的预测结果。与现有技术相比，本发明具有预测准确性高、实时处理性强以及硬件成本低等优点。

Description

一种基于骨骼特征的危险驾驶行为识别方法
技术领域
本发明涉及行为识别领域，尤其是涉及一种基于骨骼特征的危险驾驶行为识别方法。
背景技术
随着经济水平的不断发展，汽车已经成为一种普遍的交通工具，但随之而来的还有大量的交通事故。通过对这些事故的分析，可以得出，驾驶员的危险行为已经成为交通事故的主要原因。因此驾驶员的行为规范至关重要，对其行为检测的需求也不断提高。以往，通常采用监控录像和人为分析的方式来对汽车驾驶员的行为进行采集与检测。但这样的传统方法一般无法做到实时处理，对于驾驶员的行为分析也会相当繁琐。
专利CN105551182A提供了一种基于Kinect人体姿势识别的驾驶状态监测***，通过Kinect传感器和红外摄像机来捕捉驾驶员的人体切面图像，从而实现对人体关节点位置的识别，并根据关节识别的结果分别分析驾驶员的头部、脊椎和手臂等部位的动作，从而判断驾驶员是否有危险驾驶行为，这个***一方面硬件成本高，需要Kinect传感器和红外摄像机的配合才能对驾驶员的行为进行识别，另一方面，该***的分析模式是将驾驶员的整体动作拆分为人体多个部位各自的动作，由于人体的危险驾驶行为往往是多个通过部位一起动作来体现，因此该***的分析不具有完整性，准确程度明显下降。
发明内容
本发明的目的是针对上述问题提供一种基于骨骼特征的危险驾驶行为识别方法。
本发明的目的可以通过以下技术方案来实现：
一种基于骨骼特征的危险驾驶行为识别方法，所述方法包括下列步骤：
危险驾驶行为模型训练步骤，根据驾驶行为的历史影像信息，确定用于区别驾驶行为种类的特征，根据确定的特征提取对应的骨骼特征信息并进行训练，确定危险驾驶行为模型；
危险驾驶行为识别步骤，采集驾驶员在驾驶过程中的当前影像信息，代入到危险驾驶行为模型中进行测试，根据测试结果确定危险驾驶行为的预测结果。
优选地，所述危险驾驶行为模型训练步骤包括下列步骤：
A1)读取驾驶行为的历史影像信息，并根据驾驶行为的种类进行分类标注；
A2)将分类后的历史影像信息输入到骨骼算法模型，提取骨骼特征点，确定用于区别驾驶行为种类的特征，根据确定的的特征提取对应的骨骼特征信息；
A3)根据步骤A2)得到的骨骼特征信息进行训练，得到危险驾驶行为模型。
优选地，所述步骤A2)包括：
A21)将分类后的历史影像信息输入到骨骼算法模型，提取骨骼特征点，得到历史影像信息的每一帧的特征点文本数据；
A22)根据所有的特征点文本数据对应的驾驶行为的种类，确定不同种类驾驶行为发生时变化差异大的骨骼特征点组别，作为区别驾驶行为种类的特征；
A23)将历史影像信息按一定帧数长度划分为多个时间窗口，读取每个时间窗口内的特征，并将与特征对应的驾驶行为的种类作为真值，得到对应的骨骼特征信息。
优选地，每个所述时间窗口包含的帧数为55～65帧。
优选地，所述步骤A3)包括：
A31)将步骤A2)得到的骨骼特征信息随机划分为训练集和验证集；
A32)根据随机森林训练方法对训练集内的骨骼特征信息进行训练，得到中间训练模型；
A33)根据步骤A32)得到的中间训练模型，对验证集内的骨骼特征信息进行测试，判断准确率是否达到阈值，若是则将当前的中间训练模型作为危险驾驶行为模型，若否则修改随机森林训练过程中的参数，并返回步骤A32)。
优选地，所述步骤A33)中根据中间训练模型对验证集内的骨骼特征信息进行测试的过程次数不少于1次。
优选地，所述危险驾驶行为识别步骤包括：
B1)采集驾驶员在驾驶过程中的当前影像信息；
B2)提取当前影像信息对应的骨骼特征信息；
B3)将步骤B2)中提取到的当前影像信息对应的骨骼特征信息通过危险驾驶行为模型，得到危险驾驶行为的预测结果。
优选地，所述步骤B2)包括：
B21)将步骤B1)采集的当前影像信息按照一定帧数长度划分为多个时间窗口，读取每个时间窗口内对应的所有特征，作为一组测试数据；
B22)整理当前影像信息内包含的所有组测试数据，作为当前影像信息对应的骨骼特征信息。
优选地，所述步骤B3)包括：
B31)将步骤B2)中提取到的当前影像信息对应的骨骼特征信息通过危险驾驶行为模型，得到每组测试数据对应的危险驾驶行为预测种类和对应的预测概率，作为危险驾驶行为的初始预测结果；
B32)将预测概率最大的预测种类作为每组测试数据的预测值；
B33)根据每组测试数据的预测值对危险驾驶行为的初始预测结果进行平滑滤波，得到危险驾驶行为的预测结果。
与现有技术相比，本发明具有以下有益效果：
(1)本发明提出的方法，通过历史的骨骼特征信息来训练出危险驾驶行为模型，在识别时只需将当前影像信息通过训练好的模型即可识别出是否发生危险驾驶，这样的方法主要的优点有两个，一是直接通过驾驶行为的影像信息即可提取相应的骨骼特征信息，无需Kinect传感器的配合，硬件成本低；二是本发明提出的方法首先是根据历史影像信息确定区别驾驶行为种类的特征，来作为骨骼特征信息提取的依据，因此提取的骨骼特征信息是基于驾驶员整个身体的整体动作，而不是每个部位单独的动作来考虑的，因此整体性强，从而识别的结果更为准确，提升了整个方法的准确程度。
(2)在训练过程中，在确定特征时，是通过大量的历史数据来确定不同种类驾驶行为发生时变化差异大的骨骼特征点组别，也就是说特征的确定是通过大量历史数据的汇集来实现的，因此选取的特征是具有着极强的代表性的，从而可以大大提升本发明中识别的危险驾驶行为识别的准确性。
(3)在训练过程中，将根据历史影像信息提取的骨骼特征信息首先划分为训练集和验证集，通过训练集训练后再通过验证集的验证结果不断进行修正，这样的方式可以使得训练得到的模型具有着极强的代表性，从而进一步提升了识别的准确程度。
(4)将训练好的模型通过验证集进行测试验证时，过程次数不少于1次，这样的多次验证过程可以进一步提高模型的精确程度，从而提升危险驾驶行为识别的准确性。
(5)在进行危险驾驶行为识别时，在将当前影像对应的骨骼特征信息通过危险驾驶行为模型后，将每组的预测值都进行了平滑滤波，这样可以过滤掉部分不准确的预测结果，提高危险驾驶行为识别的准确性。
附图说明
图1为危险驾驶行为模型训练步骤的方法流程图；
图2为危险驾驶行为识别步骤的方法流程图；
图3为手部特征点示意图；
图4为肢体特征点示意图；
图5为本实施例中危险驾驶行为识别的初步识别结果；
图6为本实施例中危险驾驶行为识别在经历过平滑滤波后的识别结果。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
本实施例提出了一种基于骨骼特征的危险驾驶行为识别方法，包括下列步骤：
危险驾驶行为模型训练步骤，根据驾驶行为的历史影像信息，确定区别驾驶行为种类的特征，根据确定的特征提取对应的骨骼特征信息并进行训练，确定危险驾驶行为模型；
危险驾驶行为识别步骤，采集驾驶员在驾驶过程中的当前影像信息，代入到危险驾驶行为模型中进行测试，根据测试结果确定危险驾驶行为的预测结果。
其中，如图1所示，危险驾驶行为模型训练步骤包括下列步骤：
A1)读取驾驶行为的历史影像信息，并根据驾驶行为的种类进行分类标注；
A2)将分类后的历史影像信息输入到骨骼算法模型，如CMU提出的openpose多人姿态估计骨骼算法模型、谷歌提出的deepgaze研究头部姿态和注意力方向算法模型以及Facebook提出的mask RCNN等现有的比较成熟的骨骼算法模型，可以根据实际情况进行选择，提取骨骼特征点，确定用于区别驾驶行为种类的特征，根据确定的特征提取对应的骨骼特征信息，包括：
A21)将分类后的历史影像信息输入到骨骼算法模型，提取骨骼特征点，得到历史影像信息的每一帧的特征点文本数据；
A22)根据所有的特征点文本数据对应的驾驶行为的种类，确定不同种类驾驶行为发生时变化差异大的骨骼特征点组别，作为区别驾驶行为种类的特征；
A23)将历史影像信息按一定帧数长度划分为多个时间窗口，每个时间窗口包含的帧数相同，一般选在55～65帧之间，本实施例中，每个时间窗口包含的帧数均为60帧，读取每个时间窗口内的特征，并将与特征对应的驾驶行为的种类作为真值，得到对应的骨骼特征信息；
A3)根据步骤A2)得到的骨骼特征信息进行训练，得到危险驾驶行为模型，包括：
A31)将步骤A2)得到的骨骼特征信息随机划分为训练集和验证集；
A32)根据随机森林训练方法对训练集内的骨骼特征信息进行训练，得到中间训练模型；
A33)根据步骤A32)得到的中间训练模型，对验证集内的骨骼特征信息进行测试，判断准确率是否达到阈值，若是则将当前的中间训练模型作为危险驾驶行为模型，若否则修改随机森林训练过程中的参数，并返回步骤A32)。
如图2所示，危险驾驶行为识别步骤包括：
B1)采集驾驶员在驾驶过程中的当前影像信息；
B2)提取当前影像信息对应的骨骼特征信息，包括：
B21)将步骤B1)采集的当前影像信息按照一定帧数长度划分为多个时间窗口，读取每个时间窗口内对应的所有特征，作为一组测试数据；
B22)整理当前影像信息内包含的所有组测试数据，作为当前影像信息对应的骨骼特征信息；
B3)将步骤B2)中提取到的当前影像信息对应的骨骼特征信息通过危险驾驶行为模型，得到危险驾驶行为的预测结果，包括：
B31)将步骤B2)中提取到的当前影像信息对应的骨骼特征信息通过危险驾驶行为模型，得到每组测试数据对应的危险驾驶行为预测种类和对应的预测概率，作为危险驾驶行为的初始预测结果；
B32)将预测概率最大的预测种类作为每组测试数据的预测值；
B33)根据每组测试数据的预测值对危险驾驶行为的初始预测结果进行平滑滤波，得到危险驾驶行为的预测结果。
根据上述步骤，本实施例中描述了在危险驾驶行为模型还未训练出的情况下，进行危险驾驶行为识别的完整过程：
首先为了通过训练得到危险驾驶行为模型，需要进行数据收集：将车内摄像头安装在车内后视镜的位置上，注意摄像头视野不被遮挡，而且可以完全录制到驾驶员的上半身全景，包括头部，肩膀，腹部以及双手。分别录制出不同驾驶员在驾驶过程中的各种危险驾驶行为与正常驾驶行为，危险驾驶行为包括：吸烟，喝水，玩手机，双手离开方向盘，接打电话等，正常驾驶行为包括观看左右后视镜，打方向盘，触碰显示屏等。录制的视频包含白天，黑夜以及各种天气状况下的场景，特别在场景采光不佳时，应该使用星光摄像机，保证能够采集到明亮清晰的画面。并且相关行为的每段视频控制在10秒至20秒之间，保证每段视频清流畅，并剔除不符合要求的视频段落，包括驾驶员行为不完整，视频模糊，摄像头视角不全情况等。按照行为类别对所有视频进行分类，并进行标注。
接着对收集到的数据进行数据处理：将上述录制的视频以及标注作为训练过程的输入数据。将收集到的视频输入骨骼算法模型，得到汽车驾驶员的骨骼特征点，包括身体的18个特征点和两只手部的各21个特征点，共计60个特征点，如图3和图4所示。对于视频的每一帧都可以得到一组特征点文本，每组文本包含60组数据，对应60个特征点，每一组数据(特征点)包含一个可以表示位置的二维坐标(x，y)与可信度p，其中0<＝p<＝1,。对于部分无法检测到的缺省值，其二维坐标以及可信度的原始值为(0,0)和0。在处理的过程中，以前一帧相应的特征点对应的数据作为该缺省值的值。提取出每组数组的二维坐标构成初始数据集。
在对数据处理完整后，即可进行骨骼特征信息的收集：根据得到的特征点坐标收集一系列的特征。驾驶员的不同行为对于不同的特征会产生较大差异的表现，这些特征包括各个关节处的角度特征，相对距离特征，移动速度特征以及相对位置的特征等，特征涉及到驾驶员上半身的所有关节与手部的重要关节。详细如下表所示，总计20个特征。取录像的60帧作为一个时间窗口，即每个时间窗口的特征维数为60*20＝1200维，真值为实际对应的各类行为，将这样的数据作为收集的骨骼特征信息。
表1由骨骼特征点得到的特征
编号 特征点选择 特征
(1) 左肩2，左肘3，左手4 左手肘部的弯转角度
(2) 右肩5，右肘6，右手7 右手肘部的弯转角度
(3) 颈部1，左肩2，左肘3 左肩部的弯转角度
(4) 颈部1，右肩5，右肘6， 右肩部的弯转角度
(5) 左肘3，右肘6 肘部的距离
(6) 左手4，右手7 手部的距离
(7) 鼻子0，左手4 鼻子到左手的距离
(8) 鼻子0，右手7 鼻子都右手的距离
(9) 左肩2 左肩的移动速度
(10) 右肩5 右肩的移动速度
(11) 左手4 左手的移动速度
(12) 右手7 右手的移动速度
(13) 左手食指关节5，6，7 左手食指角度
(14) 左手中指关节9,10,11 左手中指角度
(15) 右手食指关节5，6，7 右手食指角度
(16) 右手中指关节9,10,11 右手中指角度
(17) 左手0，鼻子0 左手到鼻子的距离
(18) 右手0，鼻子0 右手到鼻子距离
(19) 左手0 左手移动速度
(20) 右手0 右手移动速度
在骨骼特征信息收集完成后，即可进行模型的训练与测试：整合所有数据以及对应的真值，通过随机森林训练得到模型。在训练的过程中，将原始数据集分割成两部分，包括训练集和验证集，其中测试集不参与训练。在训练的过程中，选择信息增益作为特征选择得到标准，其中当前集合D中的第k类样本所占比例为，则D的信息熵定义为：
Figure BDA0001651992070000071
其中，y代表分类的类别数；Ent(D)的值越小，则D的纯度越高。
信息增益的表达式为：
Figure BDA0001651992070000072
其中，a为对应的具体特征，v当前具体特征a下的分类节点，当信息增益越大时，则所选的特征进行的分类就越纯。
则通过训练集得到一个预测模型，用该预测模型对验证集进行测试，若正确率低于98％，再通过不断修改随机森林的参数(决策树深度，子节点个数等)，以提高正确率。当正确率稳定在98％以上时，改变测试集数据，重复上述过程，直到最终正确率稳定在98％以上，确定最终的危险驾驶行为模型。
在得到上述的危险驾驶行为模型后，每次需要进行危险驾驶行为的识别时，只需采集当前驾驶员的驾驶视频，从视频的第一帧开始取，每60帧作为一个时间窗口，最后一个时间窗口为倒数第60帧至最后一帧，将每个时间窗口按照危险驾驶行为模型训练步骤中的过程进行处理，最终每一个时间窗口包含1200维特征，以此作为一组测试数据。将每组测试数据输入到训练模型中，可以得到每种行为的预测概率。这样得到的预测概率往往具有较大的波动，结果不太准确，如图5所示，为了解决这样的情况，本实施例需要对预测结果进行平滑滤波，具体为：对于某一段测试数据的预测结果，结合其前后四段的预测结果，共计9组，求出每一种预测行为的平均值，公式如下：
Figure BDA0001651992070000081
其中，p(x0)为当前段测试数据的预测结果，p(x-1)、p(x-2)、p(x-3)和p(x-4)分别为当前段数据前四段的预测结果，p(x1)、p(x2)、p(x3)和p(x4)分别为当前段数据后四段的预测结果，
Figure BDA0001651992070000082
则为每一种预测行为的平均值。最终取各预测行为平均值最大的一类作为最终结果，若该最大值小于30％，则该帧的预测行为置空，通过这种方式可以有效的减小波动，效果如图6所示。

Claims (3)

1.一种基于骨骼特征的危险驾驶行为识别方法，其特征在于，所述方法包括下列步骤：
危险驾驶行为模型训练步骤，根据驾驶行为的历史影像信息，确定用于区别驾驶行为种类的特征，根据确定的特征提取对应的骨骼特征信息并进行训练，确定危险驾驶行为模型，
危险驾驶行为识别步骤，采集驾驶员在驾驶过程中的当前影像信息，代入到危险驾驶行为模型中进行测试，根据测试结果确定危险驾驶行为的预测结果；
所述危险驾驶行为模型训练步骤包括下列步骤：
A1)读取驾驶行为的历史影像信息，并根据驾驶行为的种类进行分类标注，
A2)将分类后的历史影像信息输入到骨骼算法模型，提取骨骼特征点，确定用于区别驾驶行为种类的特征，根据确定的的特征提取对应的骨骼特征信息，
A3)根据步骤A2)得到的骨骼特征信息进行训练，得到危险驾驶行为模型；
所述步骤A2)包括：
A21)将分类后的历史影像信息输入到骨骼算法模型，提取骨骼特征点，得到历史影像信息的每一帧的特征点文本数据，
A22)根据所有的特征点文本数据对应的驾驶行为的种类，确定不同种类驾驶行为发生时变化差异大的骨骼特征点组别，作为区别驾驶行为种类的特征，
A23)将历史影像信息按一定帧数长度划分为多个时间窗口，读取每个时间窗口内的特征，并将与特征对应的驾驶行为的种类作为真值，得到对应的骨骼特征信息；
所述步骤A3)包括：
A31)将步骤A2)得到的骨骼特征信息随机划分为训练集和验证集，
A32)根据随机森林训练方法对训练集内的骨骼特征信息进行训练，得到中间训练模型，
A33)根据步骤A32)得到的中间训练模型，对验证集内的骨骼特征信息进行测试，判断准确率是否达到阈值，若是则将当前的中间训练模型作为危险驾驶行为模型，若否则修改随机森林训练过程中的参数，并返回步骤A32)；
所述危险驾驶行为识别步骤包括：
B1)采集驾驶员在驾驶过程中的当前影像信息，
B2)提取当前影像信息对应的骨骼特征信息，
B3)将步骤B2)中提取到的当前影像信息对应的骨骼特征信息通过危险驾驶行为模型，得到危险驾驶行为的预测结果；
所述步骤B2)包括：
B21)将步骤B1)采集的当前影像信息按照一定帧数长度划分为多个时间窗口，读取每个时间窗口内对应的所有特征，作为一组测试数据，
B22)整理当前影像信息内包含的所有组测试数据，作为当前影像信息对应的骨骼特征信息；
所述步骤B3)包括：
B31)将步骤B2)中提取到的当前影像信息对应的骨骼特征信息通过危险驾驶行为模型，得到每组测试数据对应的危险驾驶行为预测种类和对应的预测概率，作为危险驾驶行为的初始预测结果，
B32)将预测概率最大的预测种类作为每组测试数据的预测值，
B33)根据每组测试数据的预测值对危险驾驶行为的初始预测结果进行平滑滤波，得到危险驾驶行为的预测结果。
2.根据权利要求1所述的基于骨骼特征的危险驾驶行为识别方法，其特征在于，每个所述时间窗口包含的帧数为55～65帧。
3.根据权利要求1所述的基于骨骼特征的危险驾驶行为识别方法，其特征在于，所述步骤A33)中根据中间训练模型对验证集内的骨骼特征信息进行测试的过程次数不少于1次。
CN201810425640.5A 2018-05-07 2018-05-07 一种基于骨骼特征的危险驾驶行为识别方法 Active CN108446678B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810425640.5A CN108446678B (zh) 2018-05-07 2018-05-07 一种基于骨骼特征的危险驾驶行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810425640.5A CN108446678B (zh) 2018-05-07 2018-05-07 一种基于骨骼特征的危险驾驶行为识别方法

Publications (2)

Publication Number Publication Date
CN108446678A CN108446678A (zh) 2018-08-24
CN108446678B true CN108446678B (zh) 2021-05-11

Family

ID=63202410

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810425640.5A Active CN108446678B (zh) 2018-05-07 2018-05-07 一种基于骨骼特征的危险驾驶行为识别方法

Country Status (1)

Country Link
CN (1) CN108446678B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866417A (zh) * 2018-08-27 2020-03-06 阿里巴巴集团控股有限公司 图像处理方法、装置及电子设备
CN109359538B (zh) * 2018-09-14 2020-07-28 广州杰赛科技股份有限公司 卷积神经网络的训练方法、手势识别方法、装置及设备
CN109325450A (zh) * 2018-09-25 2019-02-12 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN109543651B (zh) * 2018-12-06 2022-11-22 长安大学 一种驾驶员危险驾驶行为检测方法
CN109614939B (zh) * 2018-12-13 2022-03-18 四川长虹电器股份有限公司 基于人体姿态估计的“玩手机”行为检测识别方法
CN109376720B (zh) * 2018-12-19 2022-01-18 杭州电子科技大学 基于关节点时空简单循环网络和注意力机制的动作分类方法
CN109902562B (zh) * 2019-01-16 2022-07-01 重庆邮电大学 一种基于强化学习的驾驶员异常姿态监测方法
CN109815884A (zh) * 2019-01-21 2019-05-28 深圳市能信安科技股份有限公司 基于深度学习的不安全驾驶行为检测方法及装置
CN109886150A (zh) * 2019-01-29 2019-06-14 上海佑显科技有限公司 一种基于Kinect摄像机的驾驶行为识别方法
CN110096957B (zh) * 2019-03-27 2023-08-08 苏州清研微视电子科技有限公司 基于面部识别和行为识别融合的疲劳驾驶监测方法和***
CN110348395B (zh) * 2019-07-12 2023-01-20 电子科技大学 一种基于时空关系的骨架行为识别方法
CN111860312A (zh) * 2020-07-20 2020-10-30 上海汽车集团股份有限公司 一种驾乘环境调节方法和装置
CN113591661A (zh) * 2021-07-24 2021-11-02 深圳市铁越电气有限公司 一种打电话行为预测方法及***
CN114581953B (zh) * 2022-03-14 2022-09-30 北京科技大学 一种基于关节点难例挖掘的人体姿态估计方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105023269A (zh) * 2015-04-27 2015-11-04 东华大学 一种车载红外图像彩色化方法
CN105551182A (zh) * 2015-11-26 2016-05-04 吉林大学 基于Kinect人体姿势识别的驾驶状态监测***
CN105718065A (zh) * 2016-01-27 2016-06-29 北京交通大学 车路协同环境下的交互式视景仿真***
CN106314438A (zh) * 2016-08-15 2017-01-11 西北工业大学 一种司机驾驶轨迹中异常轨迹的检测方法和***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108369643B (zh) * 2016-07-20 2022-05-13 杭州凌感科技有限公司 用于3d手部骨架跟踪的方法和***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105023269A (zh) * 2015-04-27 2015-11-04 东华大学 一种车载红外图像彩色化方法
CN105551182A (zh) * 2015-11-26 2016-05-04 吉林大学 基于Kinect人体姿势识别的驾驶状态监测***
CN105718065A (zh) * 2016-01-27 2016-06-29 北京交通大学 车路协同环境下的交互式视景仿真***
CN106314438A (zh) * 2016-08-15 2017-01-11 西北工业大学 一种司机驾驶轨迹中异常轨迹的检测方法和***

Also Published As

Publication number Publication date
CN108446678A (zh) 2018-08-24

Similar Documents

Publication Publication Date Title
CN108446678B (zh) 一种基于骨骼特征的危险驾驶行为识别方法
CN109977812B (zh) 一种基于深度学习的车载视频目标检测方法
CN110119726B (zh) 一种基于YOLOv3模型的车辆品牌多角度识别方法
CN111860274B (zh) 基于头部朝向与上半身骨架特征的交警指挥手势识别方法
CN111126224A (zh) 车辆检测方法及分类识别模型训练方法
CN111611905A (zh) 一种可见光与红外融合的目标识别方法
CN112487908B (zh) 基于车载视频的前方车辆压线行为检测和动态追踪方法
CN110516633B (zh) 一种基于深度学习的车道线检测方法及***
CN107992807B (zh) 一种基于cnn模型的人脸识别方法及装置
CN111401188B (zh) 一种基于人体关键点特征的交警手势识别方法
CN104615986A (zh) 利用多检测器对场景变化的视频图像进行行人检测的方法
CN111091044B (zh) 一种面向网约车的车内危险场景识别方法
CN109657599B (zh) 距离自适应的车辆外观部件的图片识别方法
CN106295645A (zh) 一种车牌字符识别方法和装置
CN112101183B (zh) 车辆识别方法及装置、电子设备及存储介质
CN112906631A (zh) 一种基于视频的危险驾驶行为检测方法和检测***
CN115861981A (zh) 基于视频姿态不变性的驾驶员疲劳行为检测方法及***
CN116129405A (zh) 一种基于多模态混合融合的驾驶员愤怒情绪识别方法
CN116977937A (zh) 一种行人重识别的方法及***
CN116416503A (zh) 一种基于多模态融合的小样本目标检测方法、***及介质
CN110659572A (zh) 基于双向特征金字塔的视频动作检测方法
CN111753610A (zh) 天气识别方法及装置
CN116524725B (zh) 一种智能驾驶的交通标志图像数据识别***
CN111428589B (zh) 一种渐变转场的识别方法及***
CN111339834B (zh) 车辆行驶方向的识别方法、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant