CN117313034A - 一种融合多源数据的安全驾驶行为检测方法 - Google Patents

一种融合多源数据的安全驾驶行为检测方法 Download PDF

Info

Publication number
CN117313034A
CN117313034A CN202311399935.7A CN202311399935A CN117313034A CN 117313034 A CN117313034 A CN 117313034A CN 202311399935 A CN202311399935 A CN 202311399935A CN 117313034 A CN117313034 A CN 117313034A
Authority
CN
China
Prior art keywords
driver
data
information
vehicle
driving behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311399935.7A
Other languages
English (en)
Inventor
成飞
赖宝华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dingfei Technology Co ltd
Original Assignee
Shenzhen Dingfei Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dingfei Technology Co ltd filed Critical Shenzhen Dingfei Technology Co ltd
Priority to CN202311399935.7A priority Critical patent/CN117313034A/zh
Publication of CN117313034A publication Critical patent/CN117313034A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开一种融合多源数据的安全驾驶行为检测方法，获取驾乘人员、车辆状况以及路面情况等数据信息，形成多源数据，并将获取后的多源数据及多模态数据输入到神经网络中进行处理，从而对驾驶员的行为进行相应的预测，并根据预测结果对驾驶员发出提醒或对车辆的状态进行干预，以此提升驾驶安全系数。本发明通过改进模型和***，将驾乘人员语音、驾驶员情绪、表情、GPS信息、加速减速、车道信息、交通标志等信息作为模型和***输入，融合后进行驾驶行为判断和监测，提升驾驶安全系数。

Description

一种融合多源数据的安全驾驶行为检测方法
技术领域
本发明涉及自动驾驶及辅助驾驶技术领域，尤其涉及一种融合多源数据的安全驾驶行为检测方法。
背景技术
在深度学习和人工智能得到快速发展和大量应用后，目前驾驶员监测和安全驾驶辅助***中逐步使用人工智能及深度学习来分析驾驶员驾驶行为，对违规的驾驶行为及时提醒从而避免事故发生。而影响安全驾驶因素非常多，包括驾驶人、车辆、环境及外部因素等。各种因素数据类型不完全相同，如会存在图像、视频、声音、点云、时序数据、结构化数据等。而目前应用的安全驾驶检测的深度学习模型及***以驾驶员动作行为等图像信息作为输入和检测源，存在输入判断因素不全的问题，影响安全驾驶辅助***的准确度和可信度。
因此，现有技术存在缺陷，需要改进。
发明内容
本发明的目的是克服现有技术的不足，提供一种融合多源数据的安全驾驶行为检测方法。
本发明的技术方案如下：提供一种融合多源数据的安全驾驶行为检测方法，包括如下步骤：
步骤1：获取包括驾乘人员信息、车辆信息以及路况信息的多源数据，将获取的多源数据输入单个神经网络；
步骤2：对多源数据处理成满足神经网络输入的格式要求；
步骤3：根据输入的数据模态，通过对应的骨干网络BackBone进行特征提取；
步骤4：通过特征融合层与分类器，将多源数据提取到的特征进行融合处理，并使用分类器进行分类；或根据特征提取结果获取预测结果；
步骤5：根据分类结果或预测结果进行输出，对驾乘人员进行提醒和干预。
进一步地，所述驾乘人员信息包括：驾乘人员语音、驾乘人员动作、以及驾驶员表情。
进一步地，驾乘人员信息通过摄像头、麦克风进行采集获取。
进一步地，所述车辆信息包括：车速、车辆加速情况、车辆减速情况、车辆振动以及GPS位置信息。
进一步地，所述路况信息包括：前向的车道线、车辆周围行车情况、与旁侧的距离、以及交通灯信号。
进一步地，数据模态包括图像、时序数据或声音。
采用上述方案，本发明通过改进模型和***，将驾乘人员语音、驾驶员情绪、表情、GPS信息、加速减速、车道信息、交通标志等信息作为模型和***输入，融合后进行驾驶行为判断和监测，提升驾驶安全系数。
附图说明
图1为本发明的流程示意框图。
图2为本发明的结构框图。
图3为处理多源数据的神经网络结构示意图。
具体实施方式
以下结合附图和具体实施例，对本发明进行详细说明。
请参阅图1至图3，本发明提供一种融合多源数据的安全驾驶行为检测方法，包括如下步骤：
步骤1：获取包括驾乘人员信息、车辆信息以及路况信息的多源数据，将获取的多源数据输入单个神经网络；
步骤2：对多源数据处理成满足神经网络输入的格式要求；
步骤3：根据输入的数据模态，通过对应的骨干网络BackBone进行特征提取；
步骤4：通过特征融合层与分类器，将多源数据提取到的特征进行融合处理，并使用分类器进行分类；或根据特征提取结果获取预测结果；
步骤5：根据分类结果或预测结果进行输出，对驾乘人员进行提醒和干预。
所述驾乘人员信息包括：驾乘人员语音、驾乘人员动作、以及驾驶员表情。驾乘人员信息通过摄像头、麦克风进行采集获取。对驾乘人员的信息状态进行获取识别，可以对驾乘人员的情绪、动作、行为等进行判断与学习，以此提高安全驾驶辅助***的准确度和可信度。
所述车辆信息包括：车速、车辆加速情况、车辆减速情况、车辆振动以及GPS位置信息。所述路况信息包括：前向的车道线、车辆周围行车情况、与旁侧的距离、以及交通灯信号。结合车辆本身的行驶状况与路面情况，对驾驶人的驾驶行为的安全性进行识别与判断，以此根据不同的情况对驾驶人进行提醒或干预。
本发明提供以下两种实施例：
实施例一：首先获取多源数据，如驾乘人员语音、驾乘人员动作、驾驶员表情、车速、车辆加速情况、车辆减速情况、车辆振动、GPS位置信息、前向的车道线、车辆周围行车情况、与旁侧的距离、以及交通灯信号。获取多源数据后，将数据输入到单个神经网络中进行处理。具体步骤为：将获取的数据模块(包括图像、时序数据、声音等)分别处理成满足多个神经网络输入的格式要求。然后根据输入的数据模态信息，使用多个骨干网络BackBone进行特征提取，并获取各个神经网络中的预测结果，将预测结果进行识别判断，根据设定规则按优先级或结合情况进行结果输出。根据输出结果，在车辆内通过声音提醒驾驶员注意行车安全，或对驾驶员的危险操作进行干预。如在一定的行车速度下，判断与前车之间距离过近时，先发出急促的警示音，提醒驾驶员注意保持安全距离，如果车辆与前车之间的距离不断拉近，并在接近设定的阈值时，对车辆进行减速或制动，避免与前车发生碰撞而造成事故。
在此实施例中，对不同的数据分别进行识别判断，并根据警示状态的优先级设定，对不同的不安全情况进行示警，以便于驾驶人员对最紧急的情况进行优先处理，有效保证驾乘人员的安全。
实施例二：首先获取多源数据，如驾乘人员语音、驾乘人员动作、驾驶员表情、车速、车辆加速情况、车辆减速情况、车辆振动、GPS位置信息、前向的车道线、车辆周围行车情况、与旁侧的距离、以及交通灯信号。获取多源数据后，将部分多源数据输入单个神经网络处理，具体步骤为：将多源数据及多模态数据(包括图像、时序数据或声音等)进行归一化，将数据处理成满足单个神经网络输入的格式要求。根据输入的数据模态，通过对应的骨干网络BackBone进行特征提取，并通过特征融合层将从多源数据中提取到的特征进行融合，再使用分类器进行分类处理。根据分类的情况，将处理后获得的信息分别对驾驶员进行声音提醒或干预处理。
***同时获取的数据较多的情况下，如果对每一个情况分别进行提醒及干预，则每一项提醒所需占用的时间累积起来较长，在本实施例将检测到的各类情况进行分类处理，以此分类别进行提醒或干预，以此降低每次提醒所占用的时间，便于驾驶人员快速获知相应的警示内容以采用对应的处理方式，提高驾乘过程中的安全性与安全提醒的可靠性。
现有技术中，为了降低交通事故发生，对违规驾驶行为提前进行提醒和干预，提升驾驶安全性，目前驾驶员监测和安全驾驶辅助***中通常使用深度学习来进行驾驶行为判断。影响安全驾驶因素非常多，包括驾驶人、车辆、环境及外部因素等。各种因素数据类型不完全相同，如会存在图像、视频、声音、点云、时序数据、结构化数据等。而目前深度学习模型及辅助驾驶算法大部分只处理其他一种或者几种，如常见的驾驶员行为图像视频信息，如驾驶员声音和情绪、GPS信息、加速减速、外部车道、周边车辆和障碍物、交通标志、信息、声音、振动等信息未充分利用，现有技术存在输入源单一、判断因素不全的问题，影响安全驾驶辅助***的准确性。本发明通过改进模型和***，将驾乘人员语音、驾驶员情绪、表情、GPS信息、加速减速、车道信息、交通标志等信息作为模型和***输入，融合后进行驾驶行为判断和监测，提升驾驶安全系数。
以上仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种融合多源数据的安全驾驶行为检测方法，其特征在于，包括如下步骤：
步骤1：获取包括驾乘人员信息、车辆信息以及路况信息的多源数据，将获取的多源数据输入单个神经网络；
步骤2：对多源数据处理成满足神经网络输入的格式要求；
步骤3：根据输入的数据模态，通过对应的骨干网络BackBone进行特征提取；
步骤4：通过特征融合层与分类器，将多源数据提取到的特征进行融合处理，并使用分类器进行分类；或根据特征提取结果获取预测结果；
步骤5：根据分类结果或预测结果进行输出，对驾乘人员进行提醒和干预。
2.根据权利要求1所述的融合多源数据的安全驾驶行为检测方法，其特征在于，所述驾乘人员信息包括：驾乘人员语音、驾乘人员动作、以及驾驶员表情。
3.根据权利要求1所述的融合多源数据的安全驾驶行为检测方法，其特征在于，驾乘人员信息通过摄像头、麦克风进行采集获取。
4.根据权利要求1所述的融合多源数据的安全驾驶行为检测方法，其特征在于，所述车辆信息包括：车速、车辆加速情况、车辆减速情况、车辆振动以及GPS位置信息。
5.根据权利要求1所述的融合多源数据的安全驾驶行为检测方法，其特征在于，所述路况信息包括：前向的车道线、车辆周围行车情况、与旁侧的距离、以及交通灯信号。
6.根据权利要求1所述的融合多源数据的安全驾驶行为检测方法，其特征在于，数据模态包括图像、时序数据或声音。
CN202311399935.7A 2023-10-26 2023-10-26 一种融合多源数据的安全驾驶行为检测方法 Pending CN117313034A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311399935.7A CN117313034A (zh) 2023-10-26 2023-10-26 一种融合多源数据的安全驾驶行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311399935.7A CN117313034A (zh) 2023-10-26 2023-10-26 一种融合多源数据的安全驾驶行为检测方法

Publications (1)

Publication Number Publication Date
CN117313034A true CN117313034A (zh) 2023-12-29

Family

ID=89262108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311399935.7A Pending CN117313034A (zh) 2023-10-26 2023-10-26 一种融合多源数据的安全驾驶行为检测方法

Country Status (1)

Country Link
CN (1) CN117313034A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114852088A (zh) * 2022-05-31 2022-08-05 南京邮电大学 一种识别并警告危险及疲劳驾驶行为的驾驶员辅助***及方法
CN115496978A (zh) * 2022-09-14 2022-12-20 北京化工大学 一种图像和车速信息融合的驾驶行为分类方法及装置
CN116572984A (zh) * 2023-05-16 2023-08-11 重庆长安汽车股份有限公司 一种基于多特征融合的危险驾驶管控方法及***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114852088A (zh) * 2022-05-31 2022-08-05 南京邮电大学 一种识别并警告危险及疲劳驾驶行为的驾驶员辅助***及方法
CN115496978A (zh) * 2022-09-14 2022-12-20 北京化工大学 一种图像和车速信息融合的驾驶行为分类方法及装置
CN116572984A (zh) * 2023-05-16 2023-08-11 重庆长安汽车股份有限公司 一种基于多特征融合的危险驾驶管控方法及***

Similar Documents

Publication Publication Date Title
CN109562758B (zh) 自动驾驶车辆的控制方法及控制装置
JP7263233B2 (ja) 車両衝突を検出するための方法、システム及びプログラム
CN112319491B (zh) 一种安全驾驶预警方法及***
US11055605B2 (en) Detecting dangerous driving situations by parsing a scene graph of radar detections
CN106297409A (zh) 一种智能行车安全装置及其实现方法
CN110619747A (zh) 一种高速公路道路智能监控方法及***
CN111137284A (zh) 一种基于驾驶分心状态的预警方法及预警装置
CN112373467A (zh) 无人驾驶汽车的智能避障***
WO2018138980A1 (ja) 制御システム、制御方法及びプログラム
JP7181654B2 (ja) 自律走行自動車のパーセプションネットワークを学習させるためのオン‐ビークルアクティブラーニング方法及び装置
CN105128838A (zh) 在人行横道对汽车进行主动降速的方法及***
CN115366907A (zh) 驾驶员的状态异常提醒方法、装置、车辆及存储介质
CN116572984A (zh) 一种基于多特征融合的危险驾驶管控方法及***
DE102019215366A1 (de) Verfahren zur Bereitstellung eines Warnsignals und/oder Signals zur Ansteuerung eines Fahrzeugs
CN112277940B (zh) 基于图像信息的司机状态控制***
CN112896166A (zh) 车辆换道方法、装置和电子设备
CN112180951A (zh) 无人驾驶汽车的智能避障方法、计算机可读取的存储介质
CN117313034A (zh) 一种融合多源数据的安全驾驶行为检测方法
Kashevnik et al. Driver intelligent support system in internet of transportation things: Smartphone-based approach
JP7320928B2 (ja) 運転評価装置及び運転評価方法
TWI843641B (zh) 根據交通場景影片自動整理事故發生因素並預測路段事故的方法及電腦裝置、電腦可讀取的記錄媒體
US20230045706A1 (en) System for displaying attention to nearby vehicles and method for providing an alarm using the same
CN115798182B (zh) 一种摩托车的智能安全管理方法及***
WO2022196659A1 (ja) 運転支援装置、運転支援方法、ドライブレコーダ、運転支援制御プログラム
CN115230693A (zh) 用于车辆与行人的信息交互的方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination