CN115063766B - 一种自动驾驶汽车运行安全评估及预警方法 - Google Patents

一种自动驾驶汽车运行安全评估及预警方法 Download PDF

Info

Publication number
CN115063766B
CN115063766B CN202210689087.2A CN202210689087A CN115063766B CN 115063766 B CN115063766 B CN 115063766B CN 202210689087 A CN202210689087 A CN 202210689087A CN 115063766 B CN115063766 B CN 115063766B
Authority
CN
China
Prior art keywords
behavior
vehicle
risk
driver
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210689087.2A
Other languages
English (en)
Other versions
CN115063766A (zh
Inventor
罗为明
王敏
杨达
陆文杰
俞春俊
孙巍
袁建华
蔡晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Traffic Management Research Institute of Ministry of Public Security
Original Assignee
Traffic Management Research Institute of Ministry of Public Security
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Traffic Management Research Institute of Ministry of Public Security filed Critical Traffic Management Research Institute of Ministry of Public Security
Priority to CN202210689087.2A priority Critical patent/CN115063766B/zh
Publication of CN115063766A publication Critical patent/CN115063766A/zh
Application granted granted Critical
Publication of CN115063766B publication Critical patent/CN115063766B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0635—Risk analysis of enterprise or organisation activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Human Resources & Organizations (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Primary Health Care (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供的一种自动驾驶汽车运行安全评估及预警方法，其通过数据采集设备采集驾驶人状态数据和车辆状态数据，通过预先构建的行为判断模型识别出会影响车辆运行安全的驾驶人行为和车辆行为，然后送入到风险等级判别矩阵中，输出对应的风险等级，按照风险等级进行相应的预警；整个过程自动实施，实现了对自动驾驶汽车公共道路运行安全全面、快速的自动化、智能化监管；同时，基于风险判别矩阵，判断运行安全风险，将风险判断量化可计算，同时简化了风险评判逻辑，降低计算量，提高算法运行效率，进而确保了本发明技术方案的安全评估和预警的实时性。

Description

一种自动驾驶汽车运行安全评估及预警方法
技术领域
本发明涉及智能交通控制技术领域，具体为一种自动驾驶汽车运行安全评估及预警方法。
背景技术
为了实现自动驾驶汽车产业化，很多城市出台了自动驾驶汽车道路测试地方管理细则，也有一些城市展开了自动驾驶汽车测试评价与示范应用工作。然而目前自动驾驶汽车在公共道路的运行中，缺少有效的技术手段对其运行安全进行评估和预警，实现对自动驾驶汽车的运行安全进行自动监管。
发明内容
为了解决目前自动驾驶汽车在公共道路的测试过程中缺少有效的技术手段对其运行安全进行评估和预警处置，实现对自动驾驶汽车的运行安全进行自动监管的问题，本发明提供一种自动驾驶汽车运行安全评估及预警方法，其可实现对自动驾驶汽车公共道路运行安全全面、快速的自动化、智能化监管。
本发明的技术方案是这样的：一种自动驾驶汽车运行安全评估及预警方法，其特征在于，其包括以下步骤：
S1：为待监控自动驾驶车辆安装采集评估用数据用的数据采集设备；
所述评估用数据包括：驾驶人状态数据和车辆状态数据；
所述车辆状态数据包括：车道标线数据、交通管控设施数据、动态交通参与者数据；
所述数据采集设备包括：车内驾驶人摄像头和车辆前置摄像头；所述驾驶人状态数据基于所述车载摄像头中车内驾驶人摄像头采集；所述车道标线数据、所述交通管控设施数据、所述动态交通参与者数据基于所述车载摄像头中的车辆前置摄像头采集；
S2：构建行为判断模型；
所述行为判断模型的结构包括：特征提取模块和状态判断模块；
所述特征提取模块基于深度学习模型构建，输入为所述评估用数据，输出为评估用状态；
所述状态判断模块的输入为所述评估用状态，输出为评估用行为；
所述评估用行为包括：会影响车辆运行安全的驾驶人行为和车辆行为；
S3：基于历史数据中对所述驾驶人行为判断模型和所述车辆行为判断模型进行训练，得到训练好的所述驾驶人行为判断模型和所述车辆行为判断模型；
S4：构建风险等级判别矩阵；
所述风险等级判别矩阵的输入为：所评估用行为，输出为：风险等级；
设：共有m个的风险等级，其中，0级表示安全，最高等级的风险为m-1级；
所述评估用行为中一共包括n种行为；
则，所述风险等级判别矩阵R为：
其中，rij表示，第j个评估用行为对应为第i个级别的风险等级；
rij＝1表示车辆存在对应的评估用行为；rij＝0表示车辆不存在对应的评估用行为；
S5：基于所述数据采集设备实时采集所述待监控自动驾驶车辆的所述评估用数据，送入所述行为判断模型中；
S6:将所述风险等级判别矩阵R初始化为0；
S7:将所述行为判断模型的输出结果评估用行为送入所述风险等级判别矩阵中，当所述驾驶人评估用行为和所述车辆评估用行为存在任意一项行为时，将矩阵R中对应的rij赋值为1；
S8:读取所述风险等级判别矩阵R中的所有值为1的项目；
当rij＝1且max(i)＝imax时，所述待监控自动驾驶车辆对应的风险等级为imax；
其中，1≤imax≤m-1；
S9：根据的预警方式，找到imax级风险对应的预警方式和内容，对所述待监控自动驾驶车辆进行预警。
其进一步特征在于：
所述行为判断模型的类型包括：驾驶人行为判断模型和车辆行为判断模型；
所述驾驶人行为判断模型的输入为所述驾驶人状态数据，输出为驾驶人评估用行为；
所述车辆行为判断模型的输入为所述车辆状态数据，输出为车辆评估用行为；
所述车辆行为判断模型的状态判断模块包括：违反交通标线驾驶行为识别任务、违反交通管控措施行为识别任务和与动态交通参与者的相对状态识别任务；
所述违反交通标线驾驶行为识别任务中，在识别分类车道线种类基础上，采用单目相机光学几何法实时计算车辆到车道线的横向距离，并判断车辆是否出现违反交通标线驾驶行为；
所述违反交通管控措施行为识别任务中，在识别交通信号灯的颜色的基础上，判断车辆是否出现违反交通管控措施行为；
所述与动态交通参与者的相对状态识别任务中，在识别动态交通参与者基础上，使用跟踪算法实时跟踪所述动态交通参与者，采用单目相机光学几何法实时计算与动态交通参与者相对距离，并判断得到待监控自动驾驶车辆与动态交通参与者的相对状态；
所述车辆行为判断模型输出的车辆评估用行为包括：违反交通标线驾驶行为、违反交通管控措施行为和与动态交通参与者的相对状态；
所述驾驶人行为判断模型中的特征提取模块基于resnet50骨干网络进行构建；将所述车内驾驶人摄像头采集图片数据作为输入，送入驾驶人行为判断模型中的特征提取模块，提取驾驶人特征后，输入到损失函数Loss1中；
其中，λ1和λ2为权重系数；S表示特征数量，B表示锚框的数量；x、y、w、h为特征在图像坐标系中的坐标；表示真实值，即当锚框是负责预测的第i个特征时/>反之/> 表示预测值，即预测结果为第i个特征时/>反之/>Pi j当锚框是负责预测的第i个特征时的概率Pi j＝1，反之Pi j＝0；/>预测结果为第i个特征的概率；
所述车辆行为判断模型中的特征提取模块基于resnet101骨干网络进行构架；
将车辆前置摄像头采集的图片数据作为输入，经过车辆行为判断模的特征提取模块提取道路环境特征后，载输入到损失函数Loss2中：
其中，λ3和λ4为权重系数；N表示特征数量；B表示锚框的数量；x、y、w、h为特征在图像坐标系中的坐标；表示真实值，即当锚框是负责预测的第i个特征时/>反之/> 表示预测值，即预测结果为第i个特征时/>反之/>Pi j当锚框是负责预测的第i个特征时的概率Pi j＝1，反之Pi j＝0；/>预测结果为第i个特征的概率；
所述风险等级包括：安全、低风险、中风险、高风险；
所述风险等级判别矩阵R中，所述驾驶人评估用行为和所述车辆评估用行为分别包括的具体行为和对应的风险等级详细如下：
所述驾驶人评估用行为包括：抽烟和打电话的驾驶行为对应低风险，疲劳驾驶和低头玩手机的驾驶行为对应中风险，长时间不专心监控道路环境对应高风险；
所述违反交通标线驾驶行为包括：压虚线行驶3秒以上对应低风险，压实线或双黄线行驶对应中风险，1分钟内3次以上压线行驶对应高风险；
所述违反交通管控措施行为包括：超速行驶不到10％对应低风险，超速行驶10％至20％对应中风险，超速行驶20％以上或闯红灯对应高风险；
所述与动态交通参与者的相对状态包括：相对距离快速减少对应中风险，距离过近对应高风险。
本发明提供的一种自动驾驶汽车运行安全评估及预警方法，其通过数据采集设备采集驾驶人状态数据和车辆状态数据，通过预先构建的行为判断模型识别出会影响车辆运行安全的驾驶人行为和车辆行为，然后送入到风险等级判别矩阵中，输出对应的风险等级，按照风险等级进行相应的预警；基于本发明技术方案可以实现对自动驾驶汽车公共道路运行安全全面、快速的自动化、智能化监管；同时，基于风险判别矩阵，判断运行安全风险，将风险判断量化可计算，同时简化了风险评判逻辑，降低计算量，提高算法运行效率，进而确保了本发明技术方案的安全评估和预警的实时性。
附图说明
图1为本发明提供的自动驾驶汽车运行安全评估及预警方法的流程图；
图2为本发明提供的驾驶人行为判断模型的结构示意图；
图3为本发明提供的车辆行为判断模型的结构示意图。
具体实施方式
如图1所示，本发明提供一种自动驾驶汽车运行安全评估及预警方法，其包括以下步骤。
S1：为待监控自动驾驶车辆安装采集评估用数据用的数据采集设备；
评估用数据包括：驾驶人状态数据和车辆状态数据；
车辆状态数据包括：车道标线数据、交通管控设施数据、动态交通参与者数据；
数据采集设备包括：车内驾驶人摄像头和车辆前置摄像头；驾驶人状态数据基于车载摄像头中车内驾驶人摄像头采集；车道标线数据、交通管控设施数据、动态交通参与者数据基于车载摄像头中的车辆前置摄像头采集。数据采集设备通信连接具备计算功能的车载开发板，实时地将数据送入到车载开发中，本方法中的后续计算过程基于车载开发板实现。
车内驾驶人摄像头安装在车辆内部，车辆前置摄像头安装在车辆的车身外部，具体摄像头的安装方式和安装位置，基于现有技术，和待监控自动驾驶车辆的具体形状进行适应性调整即可。
S2：构建行为判断模型；
行为判断模型的结构包括：特征提取模块和状态判断模块；
特征提取模块基于深度学习模型构建，输入为评估用数据，输出为评估用状态；
状态判断模块的输入为评估用状态，输出为评估用行为；
评估用行为包括：会影响车辆运行安全的驾驶人行为和车辆行为。
本实施例中，行为判断模型的类型包括：驾驶人行为判断模型和车辆行为判断模型；驾驶人行为判断模型中的特征提取模块基于resnet50骨干网络进行构建；车辆行为判断模型中的特征提取模块基于resnet101骨干网络进行构架。训练的时候，需要用不同的训练数据分别训练两个模型。
驾驶人行为判断模型如图2所示，选取深度神经网络模型resnet50骨干网络作为特征提取模块，将车内驾驶人摄像头采集图片数据作为输入，提取驾驶人特征后，输入到损失函数Loss1，输出驾驶人状态特征；其中，Loss1的公式如下：
其中，λ1和λ2为权重系数；S表示特征数量，本事实例中，驾驶人行为特征分别为抽烟、打电话、打哈气、闭眼、低头玩手机、长时间不专心监控道路环境等6类驾驶人特征，即i＝1,2,3,4,5,6；B表示锚框的数量，本实施例中取值为300；x、y、w、h为特征在图像坐标系中的坐标；表示真实值，即当锚框是负责预测的第i个特征时/>反之/> 表示预测值，即预测结果为第i个特征时/>反之/>Pi j当锚框是负责预测的第i个特征时的概率Pi j＝1，反之Pi j＝0；/>预测结果为第i个特征的概率。
构建车辆行为判断模型接收车辆前置摄像头输入的图像数据，通过车辆行为判断模的特征提取模块提取图像特征；特征提取模块中包括：违反交通标线驾驶行为识别任务、违反交通管控措施行为识别任务和与动态交通参与者的相对状态识别任务；违反交通标线驾驶行为识别任务输出车道标线特征、违反交通管控措施行为识别任务输出交通管控设施特征、动态交通参与者的相对状态识别任务输出动态交通参与者特征；
车道标线特征包括：虚线、白实线、黄实线、双黄线；
交通管控设施特征包括：交通信号灯红灯、交通信号灯黄灯、交通信号灯绿灯、40限速、60限速、80限速、120限速；
动态交通参与者特征包括：车辆、行人、电动自行车、自行车。
车辆行为判断模型搭建为图3所示的深度神经网络模型，选取resnet101骨干网络作为车辆行为判断模的特征提取模块，将图片数据作为输入车辆行为判断模的特征提取模块提取道路环境特征后，输入到损失函数Loss2，其公式如下：
其中，λ3和λ4为权重系数；N表示特征数量，本实施例中，车辆行为特征分别为：车道标线特征、交通管控设施特征、动态交通参与者特征等15类特征，即i＝1,…,15；B表示锚框的数量，本实施例中取值为2000；x、y、w、h为特征在图像坐标系中的坐标；表示真实值，即当锚框是负责预测的第i个特征时/>反之/> 表示预测值，即预测结果为第i个特征时/>反之/>Pi j当锚框是负责预测的第i个特征时的概率Pi j＝1，反之Pi j＝0；/>预测结果为第i个特征的概率。
本发明技术方案中，通过对损失函数Loss1和Loss2的设计以及对损失函数中参数的调整，确保驾驶人行为判断模型和车辆行为判断模型的输出结果符合自动驾驶汽车运行的场景需求，进而确保模型检测结果的准确性。
S3：基于历史数据中对驾驶人行为判断模型和车辆行为判断模型进行训练，得到训练好的驾驶人行为判断模型和车辆行为判断模型。
对驾驶人行为判断模型进行训练时：
采集5000张分辨率为608*352的驾驶人图片数据并对驾驶人行为特征进行标注将图片数据按照8：2比例划分为训练集和测试集。驾驶人行为特征包括：抽烟、打电话、打哈气、闭眼、低头玩手机、长时间不专心监控道路环境等。对驾驶人行为判断模型进行训练使得Loss1收敛到相对最小值。抽烟、打电话、低头玩手机可以直接通过训练后的驾驶人行为判断模型实时识别分类。
具体实施时，疲劳驾驶和长时间不专心监控道路环境通过下述方式判断：
疲劳驾驶为驾驶人在1秒钟内连续三次打哈气或闭眼超过3帧，即驾驶人行为判断模型在连续的25帧图像中检测出驾驶人打哈气或闭眼超过3帧的行为3次以上判断为疲劳驾驶。
长时间不专心监控道路环境：检测驾驶人在3分钟内抽烟、使用手机、疲劳驾驶等超过10次，即驾驶人行为判断模型在75帧图像中检测出驾驶人抽烟、使用手机、疲劳驾驶等行为总次数10次以上判断为长时间不专心监控道路环境。
对车辆行为判断模型训练时：
采集100000张分辨率为1920*1080的前向道路场景图片数据并对道路相关属性进行标注，包括车道标线特征、交通管控设施特征、动态交通参与者特征等15类特征。对车辆行为判断模型进行训练使得Loss2收敛到相对最小值。通过训练后的车辆行为判断模型实时识别分类上述15类特征。
车辆行为判断模型的状态判断模块包括：违反交通标线驾驶行为识别任务、违反交通管控措施行为识别任务和与动态交通参与者的相对状态识别任务；违反交通标线驾驶行为识别任务中，在识别分类车道线种类基础上，采用单目相机光学几何法实时计算车辆到车道线的横向距离，通过车辆是否压线来判断车辆是否出现违反交通标线驾驶行为；
违反交通管控措施行为识别任务中，在识别交通信号灯颜色的基础上，如识别出红灯，然后根据车辆运行位置判断是否闯红灯，最终得到车辆是否出现违反交通管控措施行为；
与动态交通参与者的相对状态识别任务中，在识别动态交通参与者基础上，使用跟踪算法实时跟踪动态交通参与者，采用单目相机光学几何法实时计算与动态交通参与者相对距离，并判断得到待监控自动驾驶车辆与动态交通参与者的相对状态；如：使用deepsort算法实时跟踪动态交通参与者，再采用单目相机光学几何法实时计算交通参与者相对距离，判断车辆到交通参与者距离是否过近。
本发明技术方案中，通过将车辆行为判断模型的输出分为三个任务，每个任务根据不同车辆行为判断算法复杂程度分配线程，充分利用车载开发板的计算资源，在保证正确率的情况下，使得算法运行速度更快。
S4：构建风险等级判别矩阵；
风险等级判别矩阵的输入为：所评估用行为，输出为：风险等级；
设：共有m个的风险等级，其中，0级表示安全，最高等级的风险为m-1级；
评估用行为中一共包括n种行为；
则，风险等级判别矩阵R为：
其中，rij表示，第j个评估用行为对应为第i个级别的风险等级；
rij＝1表示车辆存在对应的评估用行为；rij＝0表示车辆不存在对应的评估用行为。
本实施例中，驾驶人行为判断模型的输入为驾驶人状态数据，输出为驾驶人评估用行为；车辆行为判断模型的输入为车辆状态数据，输出为车辆评估用行为；
车辆评估用行为包括：违反交通标线驾驶行为、违反交通管控措施行为和与动态交通参与者的相对状态；
风险等级包括：安全、低风险、中风险、高风险。风险等级和评估用行为的对照关系如下面表1所示：
表1：风险等级和评估用行为的对照关系
则对应的风险等级判别矩阵R为：
S5：基于数据采集设备实时采集待监控自动驾驶车辆的评估用数据，送入行为判断模型中，得到待监控自动驾驶车辆对应的评估用行为；
本实施例中，行为判断模型包括：驾驶人行为判断模型和车辆行为判断模型，评估用行为包括：驾驶人评估用行为和车辆评估用行为。
S6:将风险等级判别矩阵R初始化为0。
S7:将行为判断模型的输出结果评估用行为送入风险等级判别矩阵中，当驾驶人评估用行为和车辆评估用行为存在任意一项行为时，将矩阵R中对应的rij赋值为1。
S8:读取风险等级判别矩阵R中的所有值为1的项目；
当rij＝1且max(i)＝imax时，待监控自动驾驶车辆对应的风险等级为imax；
其中，1≤imax≤m-1。
如：当驾驶人行为判断模型输出驾驶人评估用行为存在抽烟行为时，r21＝1；
更新风险判别矩阵
即，当r21＝1且max(i)＝2时，风险等级为低风险；
如：当驾驶人行为判断模型输出驾驶人存在抽烟行为，同时车辆行为判断模型输出超速行驶10％至20％，且压实线/双黄线行驶时：r21＝1、r33＝1、r32＝1；
即，当r21＝1、r32＝1、r33＝1且max(i)＝3时，风险等级为中风险；
S9：根据的预警方式，找到imax级风险对应的预警方式和内容，对待监控自动驾驶车辆进行预警。
本施例中，具体可以包括：
当风险等级为安全时，不预警；
当风险等级为低风险时，发出一级预警，并存储视频数据；
当风险等级为中风险时，发出二级预警，并存储视频数据；
当风险等级为高风险时，发出三级预警，并存储视频和分析过程数据；
预警方式可以基于语音播报“低风险”“中风险”“高风险”，也可以通过视频、LED屏等方式进行。
同时将相关数据存储在车载存储介质中。
本发明提供的基于深度学习网络模型构建了驾驶人行为判断模型和车辆行为判断模型，通过多个车载摄像头进行多源数据采集，计算得到驾驶人评估用行为和车辆评估用行为，再通过风险等级判别矩阵得到自动驾驶汽车运行安全风险，基于本发明的技术方案可以对自动驾驶汽车运行安全风险进行快速、全面的自动化、智能化评判，实现运行安全风险实时预警与监管，为自动驾驶汽车安全行驶提供技术保障。

Claims (2)

1.一种自动驾驶汽车运行安全评估及预警方法，其特征在于，其包括以下步骤：
S1：为待监控自动驾驶车辆安装采集评估用数据用的数据采集设备；
所述评估用数据包括：驾驶人状态数据和车辆状态数据；
所述车辆状态数据包括：车道标线数据、交通管控设施数据、动态交通参与者数据；
所述数据采集设备包括：车内驾驶人摄像头和车辆前置摄像头；所述驾驶人状态数据基于车载摄像头中车内驾驶人摄像头采集；所述车道标线数据、所述交通管控设施数据、所述动态交通参与者数据基于所述车载摄像头中的车辆前置摄像头采集；
S2：构建行为判断模型；
所述行为判断模型的结构包括：特征提取模块和状态判断模块；
所述特征提取模块基于深度学习模型构建，输入为所述评估用数据，输出为评估用状态；
所述状态判断模块的输入为所述评估用状态，输出为评估用行为；
所述评估用行为包括：会影响车辆运行安全的驾驶人行为和车辆行为；
S3：基于历史数据中对所述驾驶人行为判断模型和所述车辆行为判断模型进行训练，得到训练好的所述驾驶人行为判断模型和所述车辆行为判断模型；
S4：构建风险等级判别矩阵；
所述风险等级判别矩阵的输入为：所评估用行为，输出为：风险等级；
设：共有m个的风险等级，其中，0级表示安全，最高等级的风险为m-1级；
所述评估用行为中一共包括n种行为；
则，所述风险等级判别矩阵R为：
其中，rij表示，第j个评估用行为对应为第i个级别的风险等级；
rij＝1表示车辆存在对应的评估用行为；rij＝0表示车辆不存在对应的评估用行为；
S5：基于所述数据采集设备实时采集所述待监控自动驾驶车辆的所述评估用数据，送入所述行为判断模型中；
S6:将所述风险等级判别矩阵R初始化为0；
S7:将所述行为判断模型的输出结果评估用行为送入所述风险等级判别矩阵中，当所述驾驶人评估用行为和所述车辆评估用行为存在任意一项行为时，将矩阵R中对应的rij赋值为1；
S8:读取所述风险等级判别矩阵R中的所有值为1的项目；
当rij＝1且max(i)＝imax时，所述待监控自动驾驶车辆对应的风险等级为imax；
其中，1≤imax≤m-1；
S9：根据的预警方式，找到imax级风险对应的预警方式和内容，对所述待监控自动驾驶车辆进行预警；所述行为判断模型的类型包括：驾驶人行为判断模型和车辆行为判断模型；
所述驾驶人行为判断模型的输入为所述驾驶人状态数据，输出为驾驶人评估用行为；
所述车辆行为判断模型的输入为所述车辆状态数据，输出为车辆评估用行为；
所述车辆行为判断模型的状态判断模块包括：违反交通标线驾驶行为识别任务、违反交通管控措施行为识别任务和与动态交通参与者的相对状态识别任务；
所述违反交通标线驾驶行为识别任务中，在识别分类车道线种类基础上，采用单目相机光学几何法实时计算车辆到车道线的横向距离，并判断车辆是否出现违反交通标线驾驶行为；
所述违反交通管控措施行为识别任务中，在识别交通信号灯的颜色的基础上，判断车辆是否出现违反交通管控措施行为；
所述与动态交通参与者的相对状态识别任务中，在识别动态交通参与者基础上，使用跟踪算法实时跟踪所述动态交通参与者，采用单目相机光学几何法实时计算与动态交通参与者相对距离，并判断得到待监控自动驾驶车辆与动态交通参与者的相对状态；
所述车辆行为判断模型输出的车辆评估用行为包括：违反交通标线驾驶行为、违反交通管控措施行为和与动态交通参与者的相对状态；
所述驾驶人行为判断模型中的特征提取模块基于resnet50骨干网络进行构建；将所述车内驾驶人摄像头采集图片数据作为输入，送入驾驶人行为判断模型中的特征提取模块，提取驾驶人特征后，输入到损失函数Loss1中；
其中，λ1和λ2为权重系数；S表示特征数量，B表示锚框的数量；x、y、w、h为特征在图像坐标系中的坐标；表示真实值，即当锚框是负责预测的第i个特征时/>反之/> 表示预测值，即预测结果为第i个特征时/>反之/>Pi j当锚框是负责预测的第i个特征时的概率Pi j＝1，反之Pi j＝0；/>预测结果为第i个特征的概率；
所述车辆行为判断模型中的特征提取模块基于resnet101骨干网络进行构架；
将车辆前置摄像头采集的图片数据作为输入，经过车辆行为判断模的特征提取模块提取道路环境特征后，载输入到损失函数Loss2中：
其中，λ3和λ4为权重系数；N表示特征数量；B表示锚框的数量；x、y、w、h为特征在图像坐标系中的坐标；表示真实值，即当锚框是负责预测的第i个特征时/>反之/> 表示预测值，即预测结果为第i个特征时/>反之/>Pi j当锚框是负责预测的第i个特征时的概率Pi j＝1，反之Pi j＝0；/>预测结果为第i个特征的概率。
2.根据权利要求1所述一种自动驾驶汽车运行安全评估及预警方法，其特征在于：所述风险等级包括：安全、低风险、中风险、高风险；
所述风险等级判别矩阵R中，所述驾驶人评估用行为和所述车辆评估用行为分别包括的具体行为和对应的风险等级详细如下：
所述驾驶人评估用行为包括：抽烟和打电话的驾驶行为对应低风险，疲劳驾驶和低头玩手机的驾驶行为对应中风险，长时间不专心监控道路环境对应高风险；
所述违反交通标线驾驶行为包括：压虚线行驶3秒以上对应低风险，压实线或双黄线行驶对应中风险，1分钟内3次以上压线行驶对应高风险；
所述违反交通管控措施行为包括：超速行驶不到10％对应低风险，超速行驶10％至20％对应中风险，超速行驶20％以上或闯红灯对应高风险；
所述与动态交通参与者的相对状态包括：相对距离快速减少对应中风险，距离过近对应高风险。
CN202210689087.2A 2022-06-17 2022-06-17 一种自动驾驶汽车运行安全评估及预警方法 Active CN115063766B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210689087.2A CN115063766B (zh) 2022-06-17 2022-06-17 一种自动驾驶汽车运行安全评估及预警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210689087.2A CN115063766B (zh) 2022-06-17 2022-06-17 一种自动驾驶汽车运行安全评估及预警方法

Publications (2)

Publication Number Publication Date
CN115063766A CN115063766A (zh) 2022-09-16
CN115063766B true CN115063766B (zh) 2024-05-24

Family

ID=83201401

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210689087.2A Active CN115063766B (zh) 2022-06-17 2022-06-17 一种自动驾驶汽车运行安全评估及预警方法

Country Status (1)

Country Link
CN (1) CN115063766B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109147368A (zh) * 2018-08-22 2019-01-04 北京市商汤科技开发有限公司 基于车道线的智能驾驶控制方法装置与电子设备
CN111311093A (zh) * 2020-02-13 2020-06-19 中交第一公路勘察设计研究院有限公司 基于驾驶员生理数据的道路交叉口风险评估与预警方法
CN113257023A (zh) * 2021-04-13 2021-08-13 哈尔滨工业大学 一种l3级自动驾驶风险评估与接管预警方法及***

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7839292B2 (en) * 2007-04-11 2010-11-23 Nec Laboratories America, Inc. Real-time driving danger level prediction
EP2950294B1 (en) * 2014-05-30 2019-05-08 Honda Research Institute Europe GmbH Method and vehicle with an advanced driver assistance system for risk-based traffic scene analysis

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109147368A (zh) * 2018-08-22 2019-01-04 北京市商汤科技开发有限公司 基于车道线的智能驾驶控制方法装置与电子设备
CN111311093A (zh) * 2020-02-13 2020-06-19 中交第一公路勘察设计研究院有限公司 基于驾驶员生理数据的道路交叉口风险评估与预警方法
CN113257023A (zh) * 2021-04-13 2021-08-13 哈尔滨工业大学 一种l3级自动驾驶风险评估与接管预警方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于深度学习的驾驶安全评估方法研究;张博雅;《硕士电子期刊》;20200131;第1-67页 *
基于车联网数据的驾驶行为识别与风险评估方法研究;张俊;《博士电子期刊》;20210630;第1-151页 *

Also Published As

Publication number Publication date
CN115063766A (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
EP3533681B1 (en) Method for detecting safety of driving behavior, apparatus and storage medium
CN111325978B (zh) 一种高速公路车辆异常行为的全程监测警示***和方法
CN108647630A (zh) 一种基于视频识别的危险驾驶行为监督方法与装置
CN106652468A (zh) 车辆道路前车违规检测和自车违规预警提醒装置及方法
CN110866427A (zh) 一种车辆行为检测方法及装置
CN112686090B (zh) 一种公交车内异常行为智能监控***
CN112633057B (zh) 一种公交车内异常行为智能监控方法
CN110619277A (zh) 一种多社区智慧布控方法以及***
CN111723854B (zh) 一种高速公路交通拥堵检测方法、设备及可读存储介质
KR102015945B1 (ko) 자율주행을 위한 학습대상 이미지 패키징 장치 및 방법
CN109935080A (zh) 一种交通线路上的车流量实时计算的监测***及方法
CN114241589B (zh) 一种基于车载视频的公交司机违规行为判定方法及装置
CN111415533A (zh) 弯道安全预警监控方法、装置以及***
CN112883936A (zh) 一种对车辆违规行为的检测方法及其***
CN111274886A (zh) 一种基于深度学习的行人闯红灯违法行为分析方法及***
CN111785050A (zh) 一种高速公路疲劳驾驶预警装置及方法
CN113034378A (zh) 一种区分电动汽车与燃油汽车的方法
CN111383248B (zh) 一种行人闯红灯判断方法、装置和电子设备
CN115063766B (zh) 一种自动驾驶汽车运行安全评估及预警方法
CN112509321A (zh) 一种基于无人机的城市复杂交通情景的驾驶控制方法、***及可读存储介质
CN112052829A (zh) 一种基于深度学习的飞行员行为监控方法
CN110705416A (zh) 一种基于驾驶员面部图像建模的安全驾驶预警方法及***
CN112633163B (zh) 一种基于机器学习算法实现非法运营车辆检测的检测方法
CN109767627B (zh) 一种交通违章智能语音抓拍方法和***
Wang et al. A driver abnormal behavior warning method based on isolated forest algorithm.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant