CN114926825A - 一种基于时空特征融合的车辆驾驶行为检测方法 - Google Patents

一种基于时空特征融合的车辆驾驶行为检测方法 Download PDF

Info

Publication number
CN114926825A
CN114926825A CN202210547632.4A CN202210547632A CN114926825A CN 114926825 A CN114926825 A CN 114926825A CN 202210547632 A CN202210547632 A CN 202210547632A CN 114926825 A CN114926825 A CN 114926825A
Authority
CN
China
Prior art keywords
driving
driving behavior
data
time
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210547632.4A
Other languages
English (en)
Inventor
宋梁
刘靖
朱伟
张冠华
蒋林华
胡兴
商慧亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202210547632.4A priority Critical patent/CN114926825A/zh
Publication of CN114926825A publication Critical patent/CN114926825A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/80—Technologies aiming to reduce greenhouse gasses emissions common to all road transportation technologies
    • Y02T10/84—Data processing systems or methods, management, administration

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明属于车辆驾驶检测技术领域，具体为基于时空特征融合的车辆驾驶行为检测方法。本发明方法：在离线阶段，包括数据预处理，通过时空特征抽取网络分别提取空间和时间特征，并在全连接层嵌入驾驶上下文信息；使用Softmax函数对融合的时空特征进行驾驶行为分类；在在线阶段，包括对检测的驾驶行为进行驾驶行为评分，评分策略首先使用驾驶行为检测模型自动地检测具体的驾驶行为；接着结合驾驶表现分及驾驶水平积分两种方式全面评价驾驶员的日常及长期的驾驶行为，可以更好地引导驾驶员向高效驾驶、安全驾驶演变；最后可选择将驾驶数据与交管部门联网，优化交通管理与安全。并通过智能手机进行驾驶行为检测和反馈，极大地提高其应用价值。

Description

一种基于时空特征融合的车辆驾驶行为检测方法
技术领域
本发明属于车辆驾驶检测技术领域，具体涉及车辆驾驶行为检测方法。
背景技术
驾驶行为检测旨在通过检测算法对危险驾驶事件进行检测，广泛应用于交通管理、汽车保险、油耗优化等领域。驾驶行为检测方法可以分为传统机器学习方法和深度学习方法。前者受限于人类领域知识，在特征提取阶段需要手动挑选有意义的特征，而后者可以通过设计神经网络自动地提取数据中的时间和空间关系，使得该方法被广泛应用于水质预测、质量检测等领域。然而单独的深度学习模型如CNN只能提取空间特征，而LSTM又不能有效捕捉时间长程依赖，并且他们均将所有的特征同等对待。
发明内容
本发明的目的在于提供一种基于时空特征融合的车辆驾驶行为检测方法，让神经网络同时学习空间信息和时间信息以提高对危险驾驶事件的检测能力。本发明可检测7种驾驶行为：急刹车、快速变道、连续变道、快速左转、快速右转、快速掉头、正常驾驶。
本发明提供的基于时空特征融合的的车辆驾驶行为检测方法，主要分为离线训练阶段和在线训练阶段。离线训练阶段包括数据预处理、时空特征提取、驾驶分类。训练后的模型可以高效且自动地检测滑动窗口内多模态传感信息中的驾驶行为。在线检测阶段包括实时数据处理、驾驶行为检测、驾驶行为评价。通过智能手机软件程序加载离线训练好的模型，实现实时驾驶行为检测和驾驶行为评价，参见图2所示。具体步骤如下：
(1)数据预处理(L1)
由智能手机采集车辆多模态传感离线数据，所述数据包括：车辆加速度和陀螺仪、GPS数据，磁传感计、道路类型、天气类型等传感数据，对这些数据进行预处理操作，包括坐标转换、上采样(针对低采样率模态数据)、小波变换去噪、最大最小归一化、滑动窗口划分等；
(2)时空特征提取(L2)
分别通过CNN(深度卷积神经网络)和LSTM(长短期记忆网络)对不同模态数据的空间和时间关系进行特征提取，并通过自注意力网络分别对空间特征和时间特征进行权重衡量；
(3)对驾驶行为进行分类(L3)
使用全连接网络层和Softmax函数对时空特征分类，得到具体的驾驶行为的分类；
(4)实时数据处理(S1)
由智能手机APP应用实时获取车辆的动力数据，包括：车辆加速度、方位，磁传感器、GPS数据，驾驶上下文信息(如天气类型、道路类型、地图信息等)，并对实时多模态数据进行预处理；
(5)对驾驶行为进行检测(S2)
使用离线训练好的驾驶行为分类模型，检测具体的驾驶行为类别；
(6)对驾驶行为进行评价(S3)
对驾驶行为进行评价，采用两种评价规则；一是驾驶表现分评价，用于规范驾驶员日常的驾驶表现；二是驾驶水平积分评价，用于改善驾驶员的驾驶习惯；
其中，驾驶表现分的扣分公式为：
score＝100-countano (1)
其中，countano为每10公里内出现5次及以上异常驾驶行为则计数1次，并作语音警示；所述异常驾驶行分为六种类型，分别为：急刹车、快速变道、快连续变道、快速左转、快速右转、快速掉头。
本发明中，步骤(1)所述的数据预处理的具体流程为：
首先，考虑到原始信号由多个智能手机传感器获得，其中不同的传感器有不同的频率；故需要对这些低频信号进行上采样，本发明通过线性插值滤波来表示对原始信号进行上采样操作，表示为：
Figure BDA0003639074800000021
其中，os(·)和s(·)分别代表上采样和原始信号；i2和i1分别上采样位置i的后与前位置。
接着，通过小波变换对采样后的信号进行分解来获得更平滑的序列，以提高模型的泛化能力。小波变换操作表示为：
Figure BDA0003639074800000022
其中，N、lm和Nw分别代表原序列长度、分解的层数和分解滤波器的长度，最后通过反小波变换得到去噪后的序列。
由于不同的模态输入信号有不同的数值范围。一旦原始数据被送入模型，训练速度就会减慢，检测性能可能会随之受到影响。本发明利用最大-最小归一化，将所有变量映射到范围[0,1]，以减轻影响。表示为：
Figure BDA0003639074800000023
其中，s、s′、smin和smax分别代表待归一化的原变量、归一化变量、原始变量中的最小和最大值。
最后，为了最大限度地探索驾驶行为的原始特征，本发明将预处理后的序列分割成多个输入序列，并通过滑动窗口策略，将其输入到网络中，可表示为：
Figure BDA00036390748000000316
其中，ts、ws和T分别为单个时间步长的持续时间、滑动窗口持续时间和时间步长的数量，sw和fhz分别是单个滑动窗口的总序列长度和数据集的采样率。
本发明中，步骤(2)所述的时空特征提取的具体流程为：
首先，通过CNN网络提取驾驶行为数据中的空间特征，表示为：
Figure BDA0003639074800000031
Figure BDA0003639074800000032
Figure BDA0003639074800000033
其中，vtm是ctm通过全连接层计算的隐表示，
Figure BDA0003639074800000034
和
Figure BDA0003639074800000035
是CNN网络中在第t个时间步中自动学习的网络参数，
Figure BDA0003639074800000036
是通过Softmax函数计算的归一化权重，
Figure BDA0003639074800000037
是所有模态通过注意力计算后的统一表示。
接着，通过LSTM网络提取驾驶行为数据中的时间特征，表示为：
Figure BDA0003639074800000038
Figure BDA0003639074800000039
Figure BDA00036390748000000310
Figure BDA00036390748000000311
Figure BDA00036390748000000312
其中，it、ft、ot、
Figure BDA00036390748000000313
和Ct分别是LSTM的输入门、遗忘门、输出门、候选内存单元和内存单元。
Figure BDA00036390748000000314
和ht-1分别是CNN网络的第t个时间步的隐表示输出(也是LSTM网络第t个时间步的输入)和LSTM网络第t-1时刻的隐状态。W和b分别表示LSTM网络中上述门控单元自动学习的网络参数。提取的时间特征使用全连接层和Softmax函数进一步衡量不同时间步的重要性，表示为：
kt＝tanh(W2ht+b2)， (14)
Figure BDA00036390748000000315
δ＝∑tβtht， (16)
其中，kt、βt和δ分别表示全连接层计算后得到的LSTM隐状态的隐表示、时间特征的归一化权重和所有时间步通过注意力计算后的统一表示。ht是全连接层第t个时间步的输入(也是LSTM在t时间步的输出)，w2、W2和b2分别表示全连接网络中自动学习的网络参数。
本发明中，步骤(3)所述的对驾驶行为进行分类的具体流程为：
将驾驶上下文信息嵌入到全连接层中，对驾驶行为进行分类，表示为：
er＝onehot(v)×We， (17)
Figure BDA0003639074800000041
Figure BDA0003639074800000042
其中，er、
Figure BDA0003639074800000043
和rbehavior分别表示嵌入的驾驶上下文信息、通过Softmax函数计算的驾驶行为分类和具体的驾驶行为类别。onehot(v)和fs分别表示驾驶上下文信息v的独热变量，和上一层将注意力网络的输出δ再次使用全连接计算(过程同公式(14))后得到的隐表示。argmax(·)是求解预测的驾驶行为类别中概率最大的驾驶行为。We、Wy和by表示分类层网络自动学习的网络参数。
本发明中，步骤(6)所述对驾驶行为进行评价，其中：
所述驾驶表现分，共分5个等级，初始值为100分，驾驶表现分级别划分见表1。当驾驶行为为正常驾驶且分数score低于100分时，每10公里加1分。当驾驶表现分级别为2，即驾驶意识极差时，不建议驾驶员在高速路段行驶；当驾驶表现分级别为1，即驾驶意识恶劣时，不建议驾驶员在市区路段行驶。
所述驾驶水平积分，共分为7个等级，具体等级划分见表2，初始分值为750，级别为1。当驾驶表现分等级为4及以上时，对应当前驾驶水平的积分等级(表2第1列)，每正常行驶一定的公里数(表2第3列)加1积分；仅当每100公里驾驶中累积出现5次及以上异常驾驶行为，扣5积分。
表1，驾驶表现分级别划分
表现分级别 分值区段 描述
5 100 驾驶意识优秀
4 [90,99] 驾驶意识良好
3 [80,89] 驾驶意识较差
2 [60,79] 驾驶意识极差
1 <＝59 驾驶意识恶劣
表2，驾驶水平积分等级划分
Figure BDA0003639074800000044
Figure BDA0003639074800000051
本发明提出的基于时空特征融合车辆驾驶行为检测方法，在离线阶段，通过数据预处理，使数据更符合神经网络的输入要求；通过时空特征抽取网络，分别提取空间和时间特征，并在不同的阶段衡量其重要性，并在其后的全连接层嵌入驾驶上下文信息；通过使用Softmax函数对融合的时空特征进行驾驶行为分类。在在线阶段，对检测的驾驶行为进行驾驶行为评分，相比于以往基于加速度或方位数据阈值设定的评分策略，本发明评价策略首先使用驾驶行为检测模型自动地检测具体的驾驶行为；接着结合驾驶表现分及驾驶水平积分两种方式全面评价驾驶员的日常及长期的驾驶行为，兼具全面性与实用性，因此可以更好地引导驾驶员向高效驾驶、安全驾驶演变；最后也可以选择将驾驶数据与交管部门联网，优化交通管理与安全。
本发明中，引入时空特征融合策略，通过嵌入的驾驶上下文信息可进一步提高检测效率，应用自定义的驾驶行为评价准则，可以改善驾驶员的日常及长期的不良驾驶习惯。相较于以往方法中手动分析和挑选特征策略，可以更高效地识别数据中的时空特征并衡量其重要性，并可通过智能手机这一便携载体进行驾驶行为检测和反馈，极大地提高了其应用价值。
附图说明
图1为本发明数据预处理中车辆坐标系示意图。其中，A1为右视图，A2为正视图。
图2为本发明时空特征融合的车辆驾驶行为检测方法流程图。
图3为本发明中使用的时空特征融合网络的架构图。
图4为本发明涉及的驾驶行为检测设备的结构图和工作流程示意图。
图5为发明的车辆驾驶行为检测方法在UAH-Driveset数据集上的测试结果。
具体实施方式
下面通过具体实施例和附图对本发明作进一步说明。
本发明中的目标车辆坐标系如图1所示。由于智能手机可能平放或竖放在车内，并且不同手机的原始数据坐标系各不相同，使得获取到的数据的坐标系不统一。为统一坐标系，在获取传感器中的原始数据后，需在预处理操作中将原始数据的坐标系转换为目标车辆坐标系，使数据符合神经网络的输入要求。如图1所示，A1为右视图，A2为正视图。该操作包含在离线训练及在线检测阶段，通过转换后的坐标系方可正确处理数据，进行驾驶行为检测和评分。
本发明提出的基于时空特征融合的车辆驾驶行为检测方法，包括离线训练和在线检测两个阶段。具体流程如图2所示，具体包括数据预处理L1、时空特征提取L2、驾驶行为分类L3，实时数据处理S1、驾驶行为检测S2、驾驶行为评价S3共6个关键步骤。方法可检测7种驾驶行为：急刹车、快速变道、连续变道、快速左转、快速右转、快速掉头、正常驾驶。本发明引入时空特征融合策略，通过嵌入的驾驶上下文信息可进一步提高检测效率，应用自定义的驾驶行为评价准则，可以改善驾驶员的日常及长期的不良驾驶习惯。相较于以往方法中手动分析和挑选特征策略，可以更高效地识别数据中的时空特征并衡量其重要性，并可通过智能手机这一便携载体进行驾驶行为检测和反馈，极大地提高了其应用价值。
在离线训练阶段，首先将智能手机采集的多模态传感离线数据，包括车辆加速度和陀螺仪、GPS数据、磁传感计、道路类型、天气类型等传感数据，进行坐标转换、上采样(针对低采样率模态数据)、小波变换去噪、最大最小归一化、滑动窗口划分等预处理操作；然后分别通过CNN和LSTM对不同模态数据的空间和时间关系进行特征提取建模，并通过自注意力网络分别对空间特征和时间特征进行权重衡量；最后使用全连接网络层和Softmax函数对时空特征分类得到具体的驾驶行为的分类；在在线检测阶段，首先通过智能手机APP应用实时获取车辆的动力数据包括车辆加速度、方位、磁传感器、GPS数据、驾驶上下文信息(天气类型、道路类型、地图信息等)，并对实时多模态数据进行预处理；接着，通过使用离线训练好的驾驶行为分类模型，检测具体的驾驶行为类别；最后通过驾驶评价准则，计算驾驶水平积分，警示驾驶员的不良驾驶习惯。
本发明提出的时空特征融合的网络架构，包括多模态输入层、基于注意力的CNN融合子网层、基于注意力的LSTM融合子网层以及全连接输出层，参见图3所示。
通过多模态输入层生成多模态驾驶序列，具体的，多模态输入层的输入为加速度、方位、磁传感计、GPS四种模态信息，一个输入窗口的持续时间ws为5s，一个时间步ts为0.5s，一个输入窗口包含时间步T为10，数据集的采样率fhz为100，窗口输入的序列长度sw为500；
通过基于注意力的CNN融合子网提取不同模态之间局部空间特征，具体的，CNN的卷积核为1×3，通道数64，每个卷积层后会附加值为0.2的Dropout层、RELU激活层和核为1×3的最大池化层，并使用自注意力对空间特征进行重要性衡量和融合；
通过基于注意力的LSTM融合子网探索时间段之间的长期关系，具体的，按照时间步逐次接收融合后的空间特征，使用LSTM进一步提取特征中的时间关系，LSTM的隐状态为64，最佳时间步为15，并使用自注意力对所有时间步输出的LSTM的隐状态进行权重衡量和融合；
通过将驾驶上下文信息嵌入到全连接层来计算驾驶行为概率，具体的，将驾驶上下文信息(天气、道路、地图数据)作为嵌入信息嵌入融合时空特征中，这类信息通过one-hot编码输入神经网络，而不是作为数值输入，然后通过全连接层和Softmax函数对融合时空特征计算驾驶行为分类，即由100个全连接神经元加2个驾驶上下文的one-hot向量联合，输出6分类。网络训练的批处理大小为32，迭代次数为500，应用5-fold交叉验证，学习率为1×10-4。
图4为本发明实施例的驾驶行为检测设备的结构图和工作流程示意图，该设备包括智能手机、手机软件程序、计算机存储器、计算机处理器。分别通过计算机处理器执行计算机软件程序及智能手机执行手机软件程序，可以实现上述发明实施例的时空特征融合的车辆驾驶行为检测方法与在线反馈。如图4所示，该设备包括4个流程；
流程P1，将智能手机采集的数据多模态数据转存到计算机存储设备，用于模型训练及更新；
流程P2，计算机处理器从存储器读取数据，通过模型训练算法得到驾驶行为检测模型；
流程P3，不定期将训练的检测模型上载到智能手机中，不断迭代模型，提高模型检测准确率；
流程P4，通过执行手机软件程序，实时检测具体的驾驶行为，并根据评价准则提示驾驶员的不良驾驶习惯。通过这一套完整的离线训练及在线检测设备，可以显著提高检测效率及程序执行灵活性，进一步提高应用的实用价值。
为了研究每个组件的必要性，我们分别排除或替换组件以观察模型性能的变化。图5为在UAH-Driveset数据集上的测试结果，评价指标为MacroF1-score(mF1)，D1-D6为6个不同驾驶人，Model1-Model6分别表示排除或取代神经网络中的模块，包括单模态输入序列(UIS)、卷积神经网络(CNN)、自我注意力(SA)、长短期记忆网络(LSTM)、多头注意力(MHA)和嵌入上下文信息(ECI)。结果表明，本发明方法中的每个模块都对最终的测试结果起到了优化作用。
本发明中，用于获取多模态传感数据的智能手机设备可被替换为任何嵌入式设备。
本发明中，可以选择性增加或减少传感数据的模态种类，如加速度、方位、磁传感器、GPS、道路类型、天气类型、地图上下文信息等。
本发明中，用于提取空间特征的CNN网络可被替换为Resnet、Inception、Densenet等其他类型的卷积神经网络。
本发明中，用于提取时间特征的LSTM网络可被替换为RNN、GRU等其他类型的循环神经网络。
本发明中，用于驾驶表现分和驾驶水平积分的分值设定可根据需要修改，也可以仅应用驾驶表现分或驾驶水平积分。
本发明中输出的驾驶行为类型和数量可根据训练数据的标签重定义。
本发明中涉及的一些自定义参数可被修改。

Claims (6)

1.一种基于时空特征融合的车辆驾驶行为检测方法，其特征在于，分为离线训练阶段和在线训练阶段；离线训练阶段包括数据预处理、时空特征提取、驾驶分类；训练后的模型用于检测滑动窗口内多模态传感信息中的驾驶行为；在线检测阶段包括实时数据处理、驾驶行为检测、驾驶行为评价；通过智能手机软件程序加载离线训练好的模型，实现实时驾驶行为检测和驾驶行为评价；具体步骤如下：
(1)数据预处理
由智能手机采集车辆多模态传感离线数据，所述数据包括：车辆加速度和陀螺仪、GPS数据，磁传感计、道路类型、天气类型传感数据，对这些数据进行预处理操作，包括坐标转换、上采样、小波变换去噪、最大最小归一化、滑动窗口划分；
(2)时空特征提取
分别通过CNN和LSTM对不同模态数据的空间和时间关系进行特征提取，并通过自注意力网络分别对空间特征和时间特征进行权重衡量；
(3)对驾驶行为进行分类
使用全连接网络层和Softmax函数对时空特征分类，得到具体的驾驶行为类别；
(4)实时数据处理
由智能手机APP应用实时获取车辆的动力数据，包括：车辆加速度、方位，磁传感器、GPS数据，驾驶上下文信息，并对实时多模态数据进行预处理；
(5)对驾驶行为进行检测
使用离线训练好的驾驶行为分类模型，检测具体的驾驶行为类别；
(6)对驾驶行为进行评价
对驾驶行为进行评价，采用两种评价规则；一是驾驶表现分评价，用于规范驾驶员日常的驾驶表现；二是驾驶水平积分评价，用于改善驾驶员的驾驶习惯；
其中，驾驶表现分的扣分公式为：
score＝100-countano (1)
其中，countano为每10公里内出现5次及以上异常驾驶行为则计数1次，并作语音警示；所述异常驾驶行分为六种类型，分别为：急刹车、快速变道、快连续变道、快速左转、快速右转、快速掉头。
2.根据权利要求1所述的基于时空特征融合的车辆驾驶行为检测方法，其特征在于，步骤(1)所述的数据预处理的具体流程为：
首先，考虑到原始信号由多个智能手机传感器获得，其中不同的传感器有不同的频率；故对低频信号进行上采样，具体通过线性插值滤波来表示：
Figure FDA0003639074790000021
其中，os(·)和s(·)分别代表上采样和原始信号，i2和i1分别上采样位置i的后与前位置；
接着，通过小波变换对采样后的信号进行分解，获得更平滑的序列，以提高模型的泛化能力；小波变换操作表示为：
Figure FDA0003639074790000022
其中，N、lm和Nw分别代表原序列长度、分解的层数和分解滤波器的长度，最后通过反小波变换得到去噪后的序列；
并且，利用最大-最小归一化，将所有变量映射到范围[0,1]，表示为：
Figure FDA0003639074790000023
其中，s、s′、smin和smax分别代表待归一化的原变量、归一化变量、原始变量中的最小和最大值；
最后，将经上述预处理后的序列分割成多个输入序列，并通过滑动窗口策略，将其输入到网络中，表示为：
Figure FDA0003639074790000024
其中，ts、ws和T分别为单个时间步长的持续时间、滑动窗口持续时间和时间步长的数量，sw和fhz分别是单个滑动窗口的总序列长度和数据集的采样率。
3.根据权利要求2所述的基于时空特征融合的车辆驾驶行为检测方法，其特征在于，步骤(2)所述的时空特征提取的具体流程为：
首先，通过CNN网络提取驾驶行为数据中的空间特征，表示为：
Figure FDA0003639074790000025
Figure FDA0003639074790000026
Figure FDA0003639074790000027
其中，vtm是ctm通过全连接层计算的隐表示，
Figure FDA0003639074790000028
和
Figure FDA0003639074790000029
是CNN网络中在第t个时间步中自动学习的网络参数，
Figure FDA00036390747900000210
是通过Softmax函数计算的归一化权重，
Figure FDA00036390747900000211
是所有模态通过注意力计算后的统一表示；
接着，通过LSTM网络提取驾驶行为数据中的时间特征，表示为：
Figure FDA0003639074790000031
Figure FDA0003639074790000032
Figure FDA0003639074790000033
Figure FDA0003639074790000034
Figure FDA0003639074790000035
其中，it、ft、ot、
Figure FDA0003639074790000036
和Ct分别是LSTM的输入门、遗忘门、输出门、候选内存单元和内存单元；
Figure FDA0003639074790000037
和ht-1分别是CNN网络的第t个时间步的隐表示输出和LSTM网络第t-1时刻的隐状态；W和b分别表示LSTM网络中上述门控单元自动学习的网络参数；提取的时间特征使用全连接层和Softmax函数进一步衡量不同时间步的重要性，表示为：
kt＝tanh(W2ht+b2)， (14)
Figure FDA0003639074790000038
δ＝∑tβtht， (16)
其中，kt、βt和δ分别表示全连接层计算后得到的LSTM隐状态的隐表示、时间特征的归一化权重和所有时间步通过注意力计算后的统一表示；ht是全连接层第t个时间步的输入，w2、W2和b2分别表示全连接网络中自动学习的网络参数。
4.根据权利要求3所述的基于时空特征融合的车辆驾驶行为检测方法，其特征在于，步骤(3)所述的对驾驶行为进行分类的具体流程为：
将驾驶上、下文信息嵌入到全连接层中，对驾驶行为进行分类，表示为：
er＝onehot(v)×We， (17)
Figure FDA0003639074790000039
Figure FDA00036390747900000310
其中，er、
Figure FDA00036390747900000311
和rbehavior分别表示嵌入的驾驶上下文信息、通过Softmax函数计算的驾驶行为分类和具体的驾驶行为类别；onehot(v)和fs分别表示驾驶上下文信息v的独热变量，和上一层将注意力网络的输出δ再次使用全连接计算后得到的隐表示；argmax(·)是求解预测的驾驶行为类别中概率最大的驾驶行为；We、Wy和by表示分类层网络自动学习的网络参数。
5.根据权利要求4所述的基于时空特征融合的车辆驾驶行为检测方法，其特征在于，步骤(6)所述对驾驶行为进行评价，其中：
所述驾驶表现分，共分5个等级，初始值为100分，驾驶表现分级别划分见表1；当驾驶行为为正常驾驶且分数score低于100分时，每10公里加1分；当驾驶表现分级别为2，即驾驶意识极差时，不建议驾驶员在高速路段行驶；当驾驶表现分级别为1，即驾驶意识恶劣时，不建议驾驶员在市区路段行驶；
所述驾驶水平积分，共分为7个等级，具体等级划分见表2，初始分值为750，级别为1；当驾驶表现分等级为4及以上时，对应当前驾驶水平的积分等级，即表2第1列，每正常行驶一定的公里数，即表2第3列，加1积分；仅当每100公里驾驶中累积出现5次及以上异常驾驶行为，扣5积分；
表1，驾驶表现分级别划分
表现分级别 分值区段 描述 5 100 驾驶意识优秀 4 [90,99] 驾驶意识良好 3 [80,89] 驾驶意识较差 2 [60,79] 驾驶意识极差 1 <＝59 驾驶意识恶劣
表2，驾驶水平积分等级划分
驾驶水平积分等级 分值区段 加分所需公里数 7 >＝1800 40 6 [1600,1799] 35 5 [1400,1599] 30 4 [1200,1399] 25 3 [1000,1199] 20 2 [800,999] 15 1 <＝799 10
。
6.一种基于权利要求1-5之一所述基于时空特征融合的车辆驾驶行为检测方法的检测设备，其特征在于，包括智能手机、手机软件程序、计算机存储器、计算机处理器；分别通过计算机处理器执行计算机软件程序及智能手机执行手机软件程序，实现上述时空特征融合的车辆驾驶行为检测与在线反馈；具体操作流程为：
流程P1，将智能手机采集的多模态数据转存到计算机存储设备，用于模型训练及更新；
流程P2，计算机处理器从存储器读取数据，通过模型训练算法得到驾驶行为检测模型；
流程P3，不定期将训练的检测模型上载到智能手机中，不断迭代模型，提高模型检测准确率；
流程P4，通过执行手机软件程序，实时检测具体的驾驶行为，并根据评价准则提示驾驶员的不良驾驶习惯。
CN202210547632.4A 2022-05-11 2022-05-11 一种基于时空特征融合的车辆驾驶行为检测方法 Pending CN114926825A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210547632.4A CN114926825A (zh) 2022-05-11 2022-05-11 一种基于时空特征融合的车辆驾驶行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210547632.4A CN114926825A (zh) 2022-05-11 2022-05-11 一种基于时空特征融合的车辆驾驶行为检测方法

Publications (1)

Publication Number Publication Date
CN114926825A true CN114926825A (zh) 2022-08-19

Family

ID=82808801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210547632.4A Pending CN114926825A (zh) 2022-05-11 2022-05-11 一种基于时空特征融合的车辆驾驶行为检测方法

Country Status (1)

Country Link
CN (1) CN114926825A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116343177A (zh) * 2023-03-02 2023-06-27 安庆梁葛业网络科技有限公司 基于数据处理监控智慧交通异常驾驶行为的方法及***
CN116991157A (zh) * 2023-04-14 2023-11-03 北京百度网讯科技有限公司 具备人类专家驾驶能力的自动驾驶模型、训练方法和车辆
CN117056799A (zh) * 2023-08-03 2023-11-14 广东省机场管理集团有限公司工程建设指挥部 一种车辆传感器数据的处理方法、装置、设备及介质
CN117315428A (zh) * 2023-10-30 2023-12-29 燕山大学 一种跨模态特征对齐融合的人群计数***及方法
CN117724137A (zh) * 2023-11-21 2024-03-19 江苏北斗星通汽车电子有限公司 一种基于多模态传感器的汽车事故自动检测***及方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116343177A (zh) * 2023-03-02 2023-06-27 安庆梁葛业网络科技有限公司 基于数据处理监控智慧交通异常驾驶行为的方法及***
CN116991157A (zh) * 2023-04-14 2023-11-03 北京百度网讯科技有限公司 具备人类专家驾驶能力的自动驾驶模型、训练方法和车辆
CN117056799A (zh) * 2023-08-03 2023-11-14 广东省机场管理集团有限公司工程建设指挥部 一种车辆传感器数据的处理方法、装置、设备及介质
CN117056799B (zh) * 2023-08-03 2024-03-26 广东省机场管理集团有限公司工程建设指挥部 一种车辆传感器数据的处理方法、装置、设备及介质
CN117315428A (zh) * 2023-10-30 2023-12-29 燕山大学 一种跨模态特征对齐融合的人群计数***及方法
CN117315428B (zh) * 2023-10-30 2024-04-05 燕山大学 一种跨模态特征对齐融合的人群计数***及方法
CN117724137A (zh) * 2023-11-21 2024-03-19 江苏北斗星通汽车电子有限公司 一种基于多模态传感器的汽车事故自动检测***及方法

Similar Documents

Publication Publication Date Title
CN114926825A (zh) 一种基于时空特征融合的车辆驾驶行为检测方法
CN110263846B (zh) 基于故障数据深度挖掘及学习的故障诊断方法
CN111160139B (zh) 心电信号的处理方法、装置及终端设备
CN110097037B (zh) 智能监测方法、装置、存储介质及电子设备
CN111859010B (zh) 一种基于深度互信息最大化的半监督音频事件识别方法
CN110751108A (zh) 一种地铁分布式振动信号相似度确定方法
CN108694408B (zh) 一种基于深度稀疏滤波卷积神经网络的驾驶行为识别方法
CN104749334A (zh) 基于模式识别的生物式异常水质评价***设计方法
CN116010885A (zh) 一种长序列条件下的车辆异常时空数据检测方法及***
CN113848417A (zh) 轨道交通供电设备故障预测方法及装置
CN117421684B (zh) 基于数据挖掘和神经网络的异常数据监测与分析方法
CN112699793A (zh) 一种基于随机森林的疲劳驾驶检测优化识别方法
Ma et al. Real-time detection of abnormal driving behavior based on long short-term memory network and regression residuals
CN112529638B (zh) 基于用户分类和深度学习的服务需求动态预测方法及***
CN115204302A (zh) 一种无人机小样本故障诊断***及方法
CN112504682A (zh) 基于粒子群优化算法的底盘发动机故障诊断方法及***
CN113707175B (zh) 基于特征分解分类器与自适应后处理的声学事件检测***
CN114926299A (zh) 一种基于大数据分析的预测车辆事故风险预测方法
CN111476102A (zh) 一种安全防护方法、中控设备及计算机存储介质
CN114331214A (zh) 基于强化学习的域自适应轴承声纹故障诊断方法及***
CN111968003B (zh) 一种基于农作物本体概念响应的农作物病害预测方法
CN116714437B (zh) 基于大数据的氢燃料电池汽车安全监控***及监控方法
CN110263836B (zh) 一种基于多特征卷积神经网络的不良驾驶状态识别方法
CN116946183A (zh) 一种考虑驾驶能力的商用车驾驶行为预测方法及车用设备
CN116955945A (zh) 一种基于Transformer_LSTM的船舶异常检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination