CN117416349A - V2X环境下基于改进YOLOV7-Tiny和SS-LSTM的自动驾驶风险预判***及方法 - Google Patents

V2X环境下基于改进YOLOV7-Tiny和SS-LSTM的自动驾驶风险预判***及方法 Download PDF

Info

Publication number
CN117416349A
CN117416349A CN202311656358.5A CN202311656358A CN117416349A CN 117416349 A CN117416349 A CN 117416349A CN 202311656358 A CN202311656358 A CN 202311656358A CN 117416349 A CN117416349 A CN 117416349A
Authority
CN
China
Prior art keywords
vehicle
vehicles
target
lstm
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311656358.5A
Other languages
English (en)
Inventor
赵红专
张继康
潘佳雯
李文勇
王涛
周旦
何水龙
李新凯
廉冠
周长红
徐奇
陈倩
付建胜
陈昊
农常
刘永磊
韦德宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN202311656358.5A priority Critical patent/CN117416349A/zh
Publication of CN117416349A publication Critical patent/CN117416349A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0017—Planning or execution of driving tasks specially adapted for safety of other traffic participants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00272—Planning or execution of driving tasks using trajectory prediction for other traffic participants relying on extrapolation of current movement
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4042—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种V2X环境下基于改进YOLOV7‑Tiny和SS‑LSTM的自动驾驶风险预判***和方法，包括：视觉识别跟踪模块，用于对自身车辆周围的图像进行拍摄，对拍摄得到的视觉图像进行目标检测；测速测距模块，用于将检测到的目标车辆分类为社会车辆和智能网联车辆，得到社会车辆的位置、速度及与自身车辆的两车距离；轨迹预测模块，用于通过StrongSORT算法中卡尔曼滤波的短期预测来不断矫正LSTM算法中的长期预测，以建立SS‑LSTM轨迹预测模型，将两车距离和目标车辆的位置、速度作为模型的输入得到目标车辆的行驶轨迹；车联网通信模块，用于获得智能网联车辆的速度、位置及两车距离；风险预判模块，用于根据目标和自身车辆的行驶轨迹判断两者是否存在碰撞风险。其提高了自动驾驶风险预判的准确性。

Description

V2X环境下基于改进YOLOV7-Tiny和SS-LSTM的自动驾驶风险 预判***及方法
技术领域
本发明涉及智能交通领域，尤其是涉及一种V2X环境下基于改进YOLOV7-Tiny和SS-LSTM的自动驾驶风险预判***及方法。
背景技术
北上广历年智能网联道路测试报告显示，造成自动驾驶脱离的原因主要有两个：一个是由于社会车辆不按交规行驶导致，另一个是由于社会车辆或其他智能网联车辆切入时过于贴近，自身的感知***未能及时反应导致。对于社会车辆不按交规行驶需要更完善的法律法规来约束，而对于智能网联车辆自身存在的感知***反应不及时问题，我们可以通过优化感知算法、提高感知精度和进行风险预判来解决。
现有技术的自动驾驶风险预判***通常采用基于LSTM算法的轨迹预测模型来对切入车辆的行驶轨迹进行预测，然而，LSTM长期预测会带来的累计误差，难以准确地对车辆轨迹进行预测，导致自动驾驶风险预判的准确性不高。此外，智能网联车辆常用的感知设备为激光雷达、毫米波雷达和摄像头，而在这些感知设备中，摄像头所获取的数据是最丰富的。然而，在实际复杂的混合交通流环境中，采用现有技术的视觉检测社会车辆和其他智能网联车辆进行跟踪预测其轨迹时存在车辆遮挡、目标尺度差异大以及真实道路环境中背景复杂、干扰物较多等问题，导致视觉检测的识别存在准确率不高以及速率较慢的缺陷。
发明内容
本发明旨在至少解决上述背景技术中提出的技术问题之一，提供一种V2X环境下基于改进YOLOV7-Tiny和SS-LSTM的自动驾驶风险预判***，以提高自动驾驶风险预判的准确性。
为达到上述目的，本发明所采用的技术方案是：
一种V2X环境下基于改进YOLOV7-Tiny和SS-LSTM的自动驾驶风险预判***，包括：
视觉识别跟踪模块，用于使用摄像头对自身车辆周围的图像进行拍摄，对拍摄得到的视觉图像进行目标检测，并对检测到的目标车辆进行跟踪预测；
测速测距模块，用于对视觉识别跟踪到的目标车辆进行分类，将目标车辆分为社会车辆和智能网联车辆，对识别跟踪到的社会车辆进行测速测距，得到社会车辆与自身车辆的两车距离、社会车辆的位置及社会车辆的移动速度；
轨迹预测模块：用于通过StrongSORT算法中卡尔曼滤波的短期预测来不断矫正LSTM算法中的长期预测，对基于LSTM算法的轨迹预测模型进行改进以建立SS-LSTM轨迹预测模型，将两车距离和目标车辆的位置、移动速度信息作为SS-LSTM轨迹预测模型的输入，得到目标车辆的行驶轨迹；
车联网通信模块，用于获得智能网联车辆的移动速度、位置以及智能网联车辆与自身车辆的两车距离，并通过V2X车联网将智能网联车辆的移动速度、位置以及智能网联车辆与自身车辆的两车距离以及测速测距模块得到的社会车辆的位置、移动速度及两车距离发送到轨迹预测模块，为后续进行轨迹预测提供数据输入；
风险预判模块：用于将预测得到的目标车辆的行驶轨迹与自身车辆行驶轨迹进行同一时间纬度下的拟合，以判断目标车辆与自身车辆是否存在碰撞风险。
进一步地，所述视觉识别跟踪模块采用以YOLOV7-Tiny模型为基础网络架构，对YOLOV7-Tiny模型网络基础架构中的P3层进行卷积和上采样操作，增大特征图的尺寸，并与YOLOV7-Tiny模型网络基础架构中的backbone层中的包含了大量细节信息的F2层进行拼接，再经过YOLOV7-Tiny模型网络基础架构中的基础构建块MCB充分混合图像特征，输出额外构建的特征图P2，得到改进后的YOLOV7-Tiny模型，利用改进后的YOLOV7-Tiny模型进行多尺度预测。
进一步地，在基础构建块MCB充分混合图像特征的过程中引入SimAM注意力机制模块，具体引入位置为在Backbone层中每个MCB块后、Neck层Concat块后和特征图P2、P3、P4中Concat块前引入SimAM注意力机制模块。
进一步地，所述视觉识别跟踪模块对拍摄得到的视觉图像进行多尺度预测时，还对以YOLOV7-Tiny模型为基础网络的训练损失函数进行优化，使用Focal-EIOU损失函数代替YOLOV7-Tiny模型中默认的CIOU损失函数。
进一步地，进行目标检测时，将横纵比的损失项拆分成预测的宽、高分别与最小外接框宽、高的差值，提出并集有效交集损耗，明确测量BBR中重叠面积、中心点和边长3个几何因子的差异，同时加入Focal聚焦优质的锚框，从而优化边界框回归任务中样本不平衡的问题，进而实现对识别到的每帧目标通过StrongSORT进行跟踪；边界框优化过程中的惩罚项公式为其中/>为Focal-EIOU惩罚项，IOU为预测框与真实框交并比，γ是用于控制曲线弧度的超参数，/>为EIOU惩罚项。
进一步地，测速测距模块进行对识别跟踪到的社会车辆进行测速测距的步骤包括：首先对识别到的图像进行视觉透视变换，即对目标车辆四个角的像素点通过进行齐次坐标变换，其中/>表示目标车辆四个角的像素点的齐次坐标，/>表示变换矩阵，/>表示转换后的坐标，并对不同的目标进行分类，使用目标车辆真实长度与视觉识别中的目标车辆像素长度的比值，乘以两帧视觉图像中目标车辆移动的像素距离，求出目标车辆的真实移动距离，随后使用目标车辆的真实移动距离与两帧视觉图像之间的时间的比值，计算目标车辆的车速/>其式中，L′为目标车辆真实移动距离，Δt为两帧视觉图像之间的时间，(Xk，Yk)为目标车辆k时刻的位置，(Xk+1，Yk+1)为目标车辆k+1时刻的位置，tk为k帧时刻，tk+1为k+1帧时刻，Li为目标车辆真实长度，Pi为目标车辆像素长度；使用目标车辆真实长度、真实宽度与目标车辆像素长度宽度的比值，乘上相机焦距，计算出目标车辆x,y方向距离，根据车辆距离公式得到两车距离/>其中M为相机焦距，Wi是目标车辆的真实宽度，Li是目标车辆的真实长度，qi是指目标车辆在视觉图像中的车辆像素宽度，pi是指目标车辆在视觉图像中的车辆像素长度。
进一步地，所述轨迹预测模块通过StrongSORT算法中卡尔曼滤波的短期预测来不断矫正LSTM算法中的长期预测的方法为：
(1)卡尔曼滤波算法分为两步：预测和更新，其中，时间更新方程，即预测阶段根据前一时刻的状态估计值推算当前时刻的状态变量先验估计值/>和误差协方差先验估计值Pk+1 -，如公式(1)、(2)所示：
Pk+1 -＝APkAT+Q (2)
式中，A为状态转移矩阵，B为控制变量矩阵，Q为***噪声协方差矩阵，Pk为k时刻的后验估计协方差，k为时刻，uk为状态控制向量；
(2)K为卡尔曼增益，测量更新方程，即更新阶段，负责将先验估计值和新的测量变量zk结合起来构造改进的后验估计值/>以此来得到最优的估计值/>减少测量误差，如公式(3)、(4)、(5)所示：
式中，I为单位矩阵，H为状态向量到测量向量的转换矩阵，为k时刻的先验估计协方差，R为测量噪声的协方差矩阵；
(3)上一时刻的输出值ht-1和这一时刻的输入值xt，这两个参数先输入进遗忘门，得到要舍弃的信息ft，将通过卡尔曼滤波得到的最优估计值作为xt输入到遗忘门中，如公式(6)所示：
ft＝σ(Wf*[ht-1,xt]+bf) (6)
式中，σ为sigmoid函数，Wf和bf为全连接参数；
(4)进入输入门，得到决定要更新的信息it，以及当前时刻的状态如公式(7)、(8)所示：
it＝σ(Wi*[ht-1,xt]+bi) (7)
式中，Wi、bi、Wc、bc为全连接参数；
(5)由遗忘门和输入门的输出值，即ft，it，进行组合，得到长时记忆Ct，并对Ct做tanh激活，最后与输出门Ot进行乘积操作，最终得到输出ht，并且对于ht进行反馈矫正，最终实现通过StrongSORT中卡尔曼滤波的短期预测来不断矫正LSTM的长期预测，如公式(9)、(10)、(11)所示：
Ot＝σ(Wc*[ht-1,xt]+bo) (10)
ht＝Ot*tanh(Ct) (11)
式中，Wo、bo为全连接参数。
进一步地，风险预判模块的风险预判方法为：按照公式(12)对预测到的目标车辆的行驶轨迹与自身车辆的行驶轨迹进行同一时间纬度下的融合判断，得到目标车辆的行驶轨迹与自身车辆的行驶轨迹的最小距离，当连续三帧视觉图像中预测出的两条轨迹的最小距离小于设定的最小安全距离阈值时，判断两车存在碰撞风险，并进行风险提示；
式中，Smin为最小安全距离，Ls为自身车辆长度，Ws为自身车辆的宽度；df为车辆安全区间参数；Li为目标车辆真实长度，Wi为目标车辆真实宽度。
进一步地，所述V2X环境下基于改进YOLOV7-Tiny和SS-LSTM的自动驾驶风险预判***还包括震动提示模块和显示模块，所述通讯模块还将预判到的社会车辆和其他智能网联车辆切入风险信息发送到所述显示模块和所述震动提示模块，所述震动提示模块接收到所述通信模块发送的风险预警信息，通过蜂鸣器的震动来提示驾驶员当前存在驾驶风险，警示驾驶员进行接管；所述显示模块包括屏幕显示装置，所述显示模块能够将所述风险预判模块的风险提示信息进行显示，以此来警示驾驶员及时进行车辆接管，同时将所述轨迹预测模块预测到的目标车辆的行驶轨迹与自身车辆的行驶轨迹进行显示，使驾驶员清楚的了解当前车辆及周围车辆信息，以便驾驶员接管后有足够的信息进行安全驾驶。
本发明还提供一种V2X环境下基于改进YOLOV7-Tiny和SS-LSTM的自动驾驶风险预判方法，包括以下步骤：
使用摄像头对自身车辆周围的图像进行拍摄，对拍摄得到的视觉图像进行目标检测，并对检测到的目标车辆进行跟踪预测；
对视觉识别跟踪到的目标车辆进行分类，将目标车辆分为社会车辆和智能网联车辆，对识别跟踪到的社会车辆进行测速测距，得到目标车辆与自身车辆的两车距离、目标车辆的位置及目标车辆的移动速度；
通过V2X车联网获得智能网联车辆的移动速度、位置以及智能网联车辆与自身车辆的两车距离，并通过V2X车联网将目标车辆的移动速度、目标车辆的位置及目标车辆与自身车辆的两车距离进行发送；
通过StrongSORT算法中卡尔曼滤波的短期预测来不断矫正LSTM算法中的长期预测，对基于LSTM算法的轨迹预测模型进行改进以建立SS-LSTM轨迹预测模型，将两车距离和目标车辆的位置、移动速度信息作为SS-LSTM轨迹预测模型的输入，得到目标车辆的行驶轨迹；
将预测得到的目标车辆的行驶轨迹与自身车辆行驶轨迹进行同一时间纬度下的拟合，以判断目标车辆与自身车辆是否存在碰撞风险。
由于采用上述技术方案，本发明具有以下有益效果：
1、上述V2X环境下基于改进YOLOV7-Tiny和SS-LSTM的自动驾驶风险预判***和方法，对于LSTM长期预测所带来的累计误差，通过StrongSORT中卡尔曼滤波的短期预测来不断矫正长期预测，从而实现准确的车辆轨迹预测，以提高自动驾驶风险预判的准确性。
2、上述V2X环境下基于改进YOLOV7-Tiny和SS-LSTM的自动驾驶风险预判***和方法，对于视觉中由于背景复杂存在识别准确率不高以及速率较慢等问题，通过改进YOLOV7-Tiny算法的网络结构来提升视觉识别的精度和效率。
附图说明
图1为本发明实施方式的视觉识别模块改进图；
图2为本发明实施方式的V2X环境下基于改进YOLOV7-Tiny和SS-LSTM的自动驾驶风险预判***的风险预判方法流程图；
图3为本发明实施方式的V2X环境下基于改进YOLOV7-Tiny和SS-LSTM的自动驾驶风险预判***的数据流向图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
需要说明的是，当组件被称为“固定于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。当一个组件被认为是“设置于”另一个组件，它可以是直接设置在另一个组件上或者可能同时存在居中组件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
请参见图1至图3，本发明主要针对社会车辆和其他智能网联车辆切入过近导致自车自动驾驶脱离，从而产生交通风险的问题，提出一种V2X环境下基于改进YOLOV7-Tiny和SS-LSTM的自动驾驶风险预判***，以实现智能网联车辆在道路上的高效、安全、优质的自动驾驶。
所述V2X环境下基于改进YOLOV7-Tiny和SS-LSTM的自动驾驶风险预判***，包括视觉识别跟踪模块、测速测距模块、轨迹预测模块、车联网通信模块和风险预判模块，其中：
视觉识别跟踪模块，用于使用摄像头对自身车辆周围的图像进行拍摄，对拍摄得到的视觉图像进行目标检测，并对检测到的目标车辆进行跟踪预测。
在本实施方式中，视觉识别跟踪模块采用以YOLOV7-Tiny模型为基础网络架构，现有技术中的YOLOV7-Tiny模型的基础网络架构通常由input层，backbone层，neck层和head层组成，其中，input层用于输入，backbone层用于提取特征，neck层用于特征融合，head层用于预测。利用YOLOV7-Tiny模型对图像进行目标检测时，首先，图片经过输入部分数据增强等一系列操作进行预处理后，被送入backbone层，backbone层对处理后的图片提取特征；随后，提取到的特征经过neck层特征融合处理得到大、中、小三种尺寸的特征；最终，融合后的特征被送入head层，head层对图像检测的三类任务(分类、前后背景分类、边框)预测，输出最后的结果。
然而，针对实际的复杂的混合交通流环境中通过现有技术的YOLOV7-Tiny模型视觉检测社会车辆和其他智能网联车辆进行跟踪预测其轨迹时存在车辆遮挡、目标尺度差异大以及真实道路环境中背景复杂、干扰物较多等问题。为解决该问题，本实施例参考FPN网络思想，对YOLOV7-Tiny模型网络基础架构进行改进，由于Neck层中P3层充分融合各层图像的信息，因此对YOLOV7-Tiny模型网络基础架构中的neck层中的P3层进行卷积和上采样操作，增大特征图的尺寸，并与YOLOV7-Tiny模型网络基础架构中的backbone层中的包含了大量细节信息的F2层进行拼接，再经过YOLOV7-Tiny模型网络基础架构中的基础构建块MCB充分混合图像特征，输出额外构建的特征图P2，并在基础构建块MCB充分混合图像特征的过程中引入SimAM注意力机制模块，具体引入位置为在Backbone层中每个MCB块后、Neck层Concat块后和特征图P2、P3、P4中Concat块前引入SimAM注意力机制模块，如图1所示，得到改进后的YOLOV7-Tiny模型，利用改进后的YOLOV7-Tiny模型进行多尺度预测。
另外，在本实施方式中，视觉识别跟踪模块对拍摄得到的图像进行目标检测时，还对以YOLOV7-Tiny模型为基础网络的训练损失函数进行优化，使用Focal-EIOU损失函数代替YOLOV7-Tiny模型中默认的CIOU损失函数，从而提高视觉检测对目标车辆的收敛速度和定位精度，对每一帧识别到的目标进行跟踪检测，并且在进行目标检测时，将横纵比的损失项拆分成预测的宽、高分别与最小外接框宽、高的差值，提出并集有效交集(EIOU)损耗，明确测量BBR中重叠面积、中心点和边长3个几何因子的差异，同时加入Focal聚焦优质的锚框，从而优化边界框回归任务中样本不平衡的问题，进而实现对识别到的每帧目标通过StrongSORT进行跟踪。边界框优化过程中的惩罚项公式为其中为Focal-EIOU惩罚项，IOU为预测框与真实框交并比，γ是用于控制曲线弧度的超参数，/>为EIOU惩罚项。
本发明实施例针对复杂的混合交通流环境中通过视觉检测社会车辆和其他智能网联车辆进行跟踪预测其轨迹时存在车辆遮挡、目标尺度差异大以及真实道路环境中背景复杂、干扰物较多等问题，采用多尺度预测方法，相对于原YOLOV7-Tiny的三层预测特征图，新添加的特征图P2能够有效提升目标车辆检测的可能性，减少漏检概率，小目标层的改进对车辆密集分布以及尺寸大小不一的目标车辆检测任务更加有效。在不增加网络参数数量的情况下，引入SimAM注意力机制模块，SimAM注意力机制模块，是通过推断特征图中的三维注意力权重进行工作，不增加额外网络参数，具有即插即用的特点，能够突出社会车辆的关键特征，增强关键特征的提取能力，减少复杂背景对车辆检测的干扰。同时，将横纵比的损失项拆分成预测的宽、高分别与最小外接框宽、高的差值，提出并集有效交集(EIOU)损耗，明确测量BBR中重叠面积、中心点和边长3个几何因子的差异，同时加入Focal聚焦优质的锚框，优化了边界框回归任务中样本不平衡的问题，提高目标识别的准确度和速度，同时保证模型轻量化的需求。
测速测距模块，用于对视觉识别跟踪到的不同目标进行分类，将目标车辆分为社会车辆和智能网联车辆，并对识别跟踪到的社会车辆进行测速测距，得到社会车辆与自身车辆的两车距离、目标车辆的位置及目标车辆的移动速度。
测速测距模块对识别跟踪到的目标车辆进行测速测距时，针对视觉图像中图形产生形变的问题，首先对视觉图像进行透视变换，在矫正后的图像中，对视觉识别跟踪到的目标进行分类，将目标车辆分为社会车辆和智能网联车辆，此外，测速测距模块还根据视觉识别跟踪模块识别到的目标车辆的车辆形状，将识别到的目标车辆分为自行车、小汽车、卡车等类型，因为不同类型车辆的真实距离与像素距离比值是不同的。在本实施方式中，社会车辆是指不具有通信模块、定位模块等不能在多个车辆进行联网的车辆，智能网联车辆是指具有OBU，即通信模块和定位模块等的车辆。对于社会车辆，测速测距模块能够利用真实距离和像素距离比值的关系获得社会车辆的位置和车速；对于智能网联车辆，由于智能网联车辆具有OBU，所以可以通过V2X车联网通信模块直接获得目标车辆(智能网联车辆)的位置、移动速度以及目标车辆(智能网联车辆)与自身车辆的两车距离，其属于现有技术，为省略篇幅，这里不再赘述。本申请中，自身车辆同样为智能网联车辆。
测速测距模块进行对识别跟踪到的目标车辆进行测速测距的具体步骤包括：首先对识别到的图像进行视觉透视变换，即对目标车辆四个角的像素点通过进行齐次坐标变换，其中/>表示目标车辆四个角的像素点的齐次坐标，/>表示变换矩阵，/>表示转换后的坐标，并对目标车辆进行分类，对于社会车辆，使用目标车辆真实长度与视觉识别中的目标车辆像素长度的比值，乘以两帧视觉图像中目标车辆移动的像素距离，求出目标车辆的真实移动距离，随后使用目标车辆的真实移动距离与两帧视觉图像之间的时间的比值，计算目标车辆的车速其式中，L′为目标车辆真实移动距离，Δt为两帧视觉图像之间的时间，(Xk，Yk)为目标车辆k时刻的位置，(Xk+1，Yk+1)为目标车辆k+1时刻的位置，tk为k帧时刻，tk+1为k+1帧时刻，Li为目标车辆真实长度，Pi为目标车辆像素长度。使用目标车辆真实长度、真实宽度与目标车辆像素长度宽度的比值，乘上相机焦距，计算出目标车辆x,y方向距离，根据车辆距离公式得到两车距离/> 其中M为相机焦距，Wi是目标车辆的真实宽度，Li是目标车辆的真实长度，qi是指目标车辆在视觉图像中的车辆像素宽度，pi是指目标车辆在视觉图像中的车辆像素长度。
轨迹预测模块：用于通过StrongSORT算法中卡尔曼滤波的短期预测来不断矫正LSTM算法中的长期预测，对基于LSTM算法的轨迹预测模型进行改进以建立SS-LSTM轨迹预测模型，将两车距离和目标车辆的位置、移动速度信息作为SS-LSTM轨迹预测模型的输入，得到目标车辆的行驶轨迹。
在本实施方式中，轨迹预测模块通过StrongSORT算法中卡尔曼滤波的短期预测来不断矫正LSTM算法中的长期预测的方法为：
(1)卡尔曼滤波算法分为两步：预测和更新，其中，时间更新方程(即预测阶段)根据前一时刻的状态估计值推算当前时刻的状态变量先验估计值/>和误差协方差先验估计值Pk+1 -，如公式(1)、(2)所示：
Pk+1 -＝APiAT+Q (2)
式中，A为状态转移矩阵，B为控制变量矩阵，Q为***噪声协方差矩阵，Pk为k时刻的后验估计协方差，k为时刻，uk为状态控制向量。
(2)K为卡尔曼增益，测量更新方程(即更新阶段)负责将先验估计值和新的测量变量zk结合起来构造改进的后验估计值/>以此来得到最优的估计值/>减少测量误差，如公式(3)、(4)、(5)所示：
式中，I为单位矩阵，H为状态向量到测量向量的转换矩阵，为k时刻的先验估计协方差，R为测量噪声的协方差矩阵。
(3)上一时刻的输出值ht-1和这一时刻的输入值xt，这两个参数先输入进遗忘门，得到要舍弃的信息ft，将通过卡尔曼滤波得到的最优估计值作为xt输入到遗忘门中，如公式(6)所示：
ft＝σ(Wf*[ht-1,xt]+bf) (6)
式中，σ为sigmoid函数，Wf和bf为全连接参数。
(4)进入输入门，得到决定要更新的信息it，以及当前时刻的状态如公式(7)、(8)所示：
it＝σ(Wi*[ht-1,xt]+bi) (7)
式中，Wi、bi、Wc、bc为全连接参数。
(5)由遗忘门和输入门的输出值(即ft，it，)进行组合，得到长时记忆Ct，并对Ct做tanh激活，最后与输出门Ot进行乘积操作，最终得到输出ht，并且对于ht进行反馈矫正，最终实现通过StrongSORT中卡尔曼滤波的短期预测来不断矫正LSTM的长期预测，如公式(9)、(10)、(11)所示：
Ot＝σ(Wo*[ht-1,xt]+bo) (10)
ht＝Ot*tanh(Ct) (11)
式中，Wo、bo为全连接参数。
车联网通信模块，用于获得智能网联车辆的移动速度、位置以及智能网联车辆与自身车辆的两车距离，并通过V2X车联网将智能网联车辆的移动速度、位置以及智能网联车辆与自身车辆的两车距离以及测速测距模块得到的社会车辆的位置、移动速度及两车距离发送到轨迹预测模块，为后续进行轨迹预测提供数据输入。
在本实施方式中，在其他智能网联车辆(目标车辆)切入时，通过V2X车联网获取并将切入的目标车辆(智能网联车辆)位置、移动速度及两车距离发送到自身正常行驶车辆，且当目标车辆为社会车辆时，通过V2X车联网将切入的目标车辆的位置、移动速度及两车距离发送到自身正常行驶车辆，为后续进行轨迹预测提供数据输入。优选地，V2X车联网可采用5GNR-V2X(基于5G设计的车联网无线通信技术)。
风险预判模块用于将预测得到的目标车辆的行驶轨迹与自身车辆行驶轨迹进行同一时间纬度下的拟合，以判断目标车辆与自身车辆是否存在碰撞风险。在本实施方式中，风险预判模块的风险预判方法为：按照公式(12)对预测到的目标车辆的行驶轨迹与自身车辆的行驶轨迹进行同一时间纬度下的融合判断，得到目标车辆的行驶轨迹与自身车辆的行驶轨迹的最小距离，当连续三帧视觉图像中预测出的两条轨迹(即目标车辆的行驶轨迹与自身车辆的行驶轨迹)的最小距离小于设定的最小安全距离阈值时，判断两车存在碰撞风险，并进行风险提示：
式中，Smin为最小安全距离，Ls为自身车辆长度，Ws为自身车辆的宽度；df为车辆安全区间参数；Li为目标车辆真实长度，Wi为目标车辆真实宽度。
在本实施方式中，V2X环境下基于改进YOLOV7-Tiny和SS-LSTM的自动驾驶风险预判***还包括震动提示模块，通过震动提示模块进行风险提示。具体地，震动提示模块可以为蜂鸣器，使用时，通讯模块将预判到的社会车辆和其他智能网联车辆切入的风险信息发送到震动提示模块，震动提示模块接收到通信模块发送的风险预警信息，通过蜂鸣器的震动来提示驾驶员当前存在驾驶风险，警示驾驶员进行接管。
在本实施方式中，V2X环境下基于改进YOLOV7-Tiny和SS-LSTM的自动驾驶风险预判***还包括显示模块，显示模块可以为屏幕显示装置，使用时，通讯模块将预判到的社会车辆和其他智能网联车辆切入的风险信息发送到显示模块，显示模块能够将风险预判模块的风险提示信息进行显示，以此来警示驾驶员及时进行车辆接管，同时将轨迹预测模块预测到的目标车辆的行驶轨迹与自身车辆的行驶轨迹进行大屏幕显示，使驾驶员清楚的了解当前车辆及周围车辆信息，以便驾驶员接管后有足够的信息进行安全驾驶。
本发明实施例还提供一种V2X环境下基于改进YOLOV7-Tiny和SS-LSTM的自动驾驶风险预判方法，包括以下步骤：
使用摄像头对自身车辆周围的图像进行拍摄，对拍摄得到的视觉图像进行目标检测，并对检测到的目标车辆进行跟踪预测；
对视觉识别跟踪到的目标车辆进行分类，将目标车辆分为社会车辆和智能网联车辆，对识别跟踪到的社会车辆进行测速测距，得到目标车辆与自身车辆的两车距离、目标车辆的位置及目标车辆的移动速度；
通过V2X车联网获得智能网联车辆的移动速度、位置以及智能网联车辆与自身车辆的两车距离，并通过V2X车联网将目标车辆(包括智能网联车辆和社会车辆)的移动速度、目标车辆的位置及目标车辆与自身车辆的两车距离进行发送；
通过StrongSORT算法中卡尔曼滤波的短期预测来不断矫正LSTM算法中的长期预测，对基于LSTM算法的轨迹预测模型进行改进以建立SS-LSTM轨迹预测模型，将两车距离和目标车辆的位置、移动速度信息作为SS-LSTM轨迹预测模型的输入，得到目标车辆的行驶轨迹；
将预测得到的目标车辆的行驶轨迹与自身车辆行驶轨迹进行同一时间纬度下的拟合，以判断目标车辆与自身车辆是否存在碰撞风险。
上述V2X环境下基于改进YOLOV7-Tiny和SS-LSTM的自动驾驶风险预判***和方法，对于LSTM长期预测所带来的累计误差，通过StrongSORT中卡尔曼滤波的短期预测来不断矫正长期预测，从而实现准确的车辆轨迹预测，以提高自动驾驶风险预判的准确性。
上述V2X环境下基于改进YOLOV7-Tiny和SS-LSTM的自动驾驶风险预判***和方法，对于视觉中由于背景复杂存在识别准确率不高以及速率较慢等问题，通过改进YOLOV7-Tiny算法的网络结构来提升视觉识别的精度和效率。
上述V2X环境下基于改进YOLOV7-Tiny和SS-LSTM的自动驾驶风险预判***和方法，基于V2X技术，改进YOLOV7-Tiny算法和SS-LSTM算法，实现在社会车辆和其他智能网联车辆切入过近导致自动驾驶脱离之前进行风险预警。将得到的预警信息通过5GNR-V2X技术，实时反馈给显示模块和震动提示模块，实现社会车辆和其他智能网联车辆切入预测轨迹与自车自动驾驶轨迹信息的实时动态显示以及可能造成自动驾驶脱离的风险预警蜂鸣器震动提示功能，从视觉、触觉等方面对驾驶员进行风险提醒，以便在自动驾驶脱离之前及时进行接管，从而实现高效、安全、优质的自动驾驶。
针对现有视觉识别算法识别精度低、识别速度慢、算法模型体量大，难以部署到车载端等问题，改进了YOLOV7-Tiny算法，增加小目标检测层和SimAM注意力机制模块，增强关键特征的提取能力，同时优化网络训练损失函数，提高了视觉检测对目标车辆的收敛速度和定位精度，同时保证了模型轻量化的需求，可以部署到车端。
针对传统轨迹预测方法存在的累计误差的问题，改进LSTM算法，利用视觉测速测距模块和V2X技术得到的目标车辆的速度、位置等信息作为轨迹预测的输入，同时利用卡尔曼滤波的短期预测来不断矫正LSTM的长期预测，解决了传统轨迹预测算法累计误差的问题，提高了轨迹预测的精确度。
针对司机在车辆自动驾驶时，精力不够集中，出现走神的问题，设计的震动提示模块和显示模块，通过声音、图像来提醒驾驶员当前行驶环境可能存在自动驾驶脱离风险，以便驾驶员能及时对车辆进行接管以及对接管后驾驶做出合理的判断。
该***对预测到的目标车辆轨迹以及自身车辆轨迹进行同一时间纬度下的拟合，以此来判断两车存在的碰撞风险，当预测出当前驾驶环境可能存在风险时，利用5GNR-V2X进行风险信息的传输，及时提醒驾驶员，给予驾驶员足够的反应时间。
而且，本发明专利，根据智能网联车辆在自动驾驶过程中现存的问题，利用视觉对目标车辆进行识别跟踪，同时利用视觉特性对社会车辆进行测速测距以及利用V2X技术获取其他智能网联车的速度、位置等信息，将其作为轨迹预测的输入数据，同时利用卡尔曼滤波的短期预测来不断矫正LSTM的长期预测，将预测得到的轨迹与自身车辆行驶轨迹进行同一时间纬度下的拟合，以此来实现交通风险预判，大大降低了自动驾驶脱离风险，降低交通事故，提高自动驾驶行车安全。
在本申请所提供的实施例中，应该理解到，所揭露***和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或模块可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
上述说明是针对本发明较佳可行实施例的详细说明，但实施例并非用以限定本发明的专利申请范围，凡本发明所提示的技术精神下所完成的同等变化或修饰变更，均应属于本发明所涵盖专利范围。

Claims (10)

1.一种V2X环境下基于改进YOLOV7-Tiny和SS-LSTM的自动驾驶风险预判***，其特征在于，包括：
视觉识别跟踪模块，用于使用摄像头对自身车辆周围的图像进行拍摄，对拍摄得到的视觉图像进行目标检测，并对检测到的目标车辆进行跟踪预测；
测速测距模块，用于对视觉识别跟踪到的目标车辆进行分类，将目标车辆分为社会车辆和智能网联车辆，对识别跟踪到的社会车辆进行测速测距，得到社会车辆与自身车辆的两车距离、社会车辆的位置及社会车辆的移动速度；
轨迹预测模块：用于通过StrongSORT算法中卡尔曼滤波的短期预测来不断矫正LSTM算法中的长期预测，对基于LSTM算法的轨迹预测模型进行改进以建立SS-LSTM轨迹预测模型，将两车距离和目标车辆的位置、移动速度信息作为SS-LSTM轨迹预测模型的输入，得到目标车辆的行驶轨迹；
车联网通信模块，用于获得智能网联车辆的移动速度、位置以及智能网联车辆与自身车辆的两车距离，并通过V2X车联网将智能网联车辆的移动速度、位置以及智能网联车辆与自身车辆的两车距离以及测速测距模块得到的社会车辆的位置、移动速度及两车距离发送到轨迹预测模块，为后续进行轨迹预测提供数据输入；
风险预判模块：用于将预测得到的目标车辆的行驶轨迹与自身车辆行驶轨迹进行同一时间纬度下的拟合，以判断目标车辆与自身车辆是否存在碰撞风险。
2.如权利要求1所述的V2X环境下基于改进YOLOV7-Tiny和SS-LSTM的自动驾驶风险预判***，其特征在于，所述视觉识别跟踪模块采用以YOLOV7-Tiny模型为基础网络架构，对YOLOV7-Tiny模型网络基础架构中的P3层进行卷积和上采样操作，增大特征图的尺寸，并与YOLOV7-Tiny模型网络基础架构中的backbone层中的包含了大量细节信息的F2层进行拼接，再经过YOLOV7-Tiny模型网络基础架构中的基础构建块MCB充分混合图像特征，输出额外构建的特征图P2，得到改进后的YOLOV7-Tiny模型，利用改进后的YOLOV7-Tiny模型进行多尺度预测。
3.如权利要求2所述的V2X环境下基于改进YOLOV7-Tiny和SS-LSTM的自动驾驶风险预判***，其特征在于，在基础构建块MCB充分混合图像特征的过程中引入SimAM注意力机制模块，具体引入位置为在Backbone层中每个MCB块后、Neck层Concat块后和特征图P2、P3、P4中Concat块前引入SimAM注意力机制模块。
4.如权利要求2所述的V2X环境下基于改进YOLOV7-Tiny和SS-LSTM的自动驾驶风险预判***，其特征在于，所述视觉识别跟踪模块对拍摄得到的视觉图像进行多尺度预测时，还对以YOLOV7-Tiny模型为基础网络的训练损失函数进行优化，使用Focal-EIOU损失函数代替YOLOV7-Tiny模型中默认的CIOU损失函数。
5.如权利要求4所述的V2X环境下基于改进YOLOV7-Tiny和SS-LSTM的自动驾驶风险预判***，其特征在于，进行目标检测时，将横纵比的损失项拆分成预测的宽、高分别与最小外接框宽、高的差值，提出并集有效交集损耗，明确测量BBR中重叠面积、中心点和边长3个几何因子的差异，同时加入Focal聚焦优质的锚框，从而优化边界框回归任务中样本不平衡的问题，进而实现对识别到的每帧目标通过StrongSORT进行跟踪；边界框优化过程中的惩罚项公式为其中/>为Focal-EIOU惩罚项，IOU为预测框与真实框交并比，γ是用于控制曲线弧度的超参数，/>为EIOU惩罚项。
6.如权利要求1所述的V2X环境下基于改进YOLOV7-Tiny和SS-LSTM的自动驾驶风险预判***，其特征在于，测速测距模块进行对识别跟踪到的目标车辆进行测速测距的步骤包括：首先对识别到的图像进行视觉透视变换，即对目标车辆四个角的像素点通过 进行齐次坐标变换，其中/>表示目标车辆四个角的像素点的齐次坐标，表示变换矩阵，/>表示转换后的坐标，并对目标车辆进行分类，对于社会车辆，使用目标车辆真实长度与视觉识别中的目标车辆像素长度的比值，乘以两帧视觉图像中目标车辆移动的像素距离，求出目标车辆的真实移动距离，随后使用目标车辆的真实移动距离与两帧视觉图像之间的时间的比值，计算目标车辆的车速其式中，L′为目标车辆真实移动距离，Δt为两帧视觉图像之间的时间，(Xk，Yk)为目标车辆k时刻的位置，(Xk+1，Yk+1)为目标车辆k+1时刻的位置，tk为k帧时刻，tk+1为k+1帧时刻，Li为目标车辆真实长度，Pi为目标车辆像素长度；使用目标车辆真实长度、真实宽度与目标车辆像素长度宽度的比值，乘上相机焦距，计算出目标车辆x,y方向距离，根据车辆距离公式得到两车距离/>其中M为相机焦距，Wi是目标车辆的真实宽度，Li是目标车辆的真实长度，qi是指目标车辆在视觉图像中的车辆像素宽度，pi是指目标车辆在视觉图像中的车辆像素长度。
7.如权利要求2所述的V2X环境下基于改进YOLOV7-Tiny和SS-LSTM的自动驾驶风险预判***，其特征在于，所述轨迹预测模块通过StrongSORT算法中卡尔曼滤波的短期预测来不断矫正LSTM算法中的长期预测的方法为：
(1)卡尔曼滤波算法分为两步：预测和更新，其中，时间更新方程，即预测阶段根据前一时刻的状态估计值推算当前时刻的状态变量先验估计值/>和误差协方差先验估计值Pk+1 -，如公式(1)、(2)所示：
Pk+1 -＝APkAT+Q (2)
式中，A为状态转移矩阵，B为控制变量矩阵，Q为***噪声协方差矩阵，Pk为k时刻的后验估计协方差，k为时刻，uk为状态控制向量；
(2)K为卡尔曼增益，测量更新方程，即更新阶段，负责将先验估计值和新的测量变量zk结合起来构造改进的后验估计值/>以此来得到最优的估计值/>减少测量误差，如公式(3)、(4)、(5)所示：
式中，I为单位矩阵，H为状态向量到测量向量的转换矩阵，为k时刻的先验估计协方差，R为测量噪声的协方差矩阵；
(3)上一时刻的输出值ht-1和这一时刻的输入值xt，这两个参数先输入进遗忘门，得到要舍弃的信息ft，将通过卡尔曼滤波得到的最优估计值作为xt输入到遗忘门中，如公式(6)所示：
ft＝σ(Wf*[ht-1,xt]+bf) (6)
式中，σ为sigmoid函数，Wf和bf为全连接参数；
(4)进入输入门，得到决定要更新的信息it，以及当前时刻的状态如公式(7)、(8)所示：
it＝σ(Wi*[ht-1,xt]+bi) (7)
式中，Wi、bi、Wc、bc为全连接参数；
(5)由遗忘门和输入门的输出值，即ft，it，进行组合，得到长时记忆Ct，并对Ct做tanh激活，最后与输出门Ot进行乘积操作，最终得到输出ht，并且对于ht进行反馈矫正，最终实现通过StrongSORT中卡尔曼滤波的短期预测来不断矫正LSTM的长期预测，如公式(9)、(10)、(11)所示：
Ot＝σ(Wc*[ht-1,xt]+bo) (10)
ht＝Ot*tanh(Ct) (11)
式中，Wo、bo为全连接参数。
8.如权利要求1所述的V2X环境下基于改进YOLOV7-Tiny和SS-LSTM的自动驾驶风险预判***，其特征在于，风险预判模块的风险预判方法为：按照公式(12)对预测到的目标车辆的行驶轨迹与自身车辆的行驶轨迹进行同一时间纬度下的融合判断，得到目标车辆的行驶轨迹与自身车辆的行驶轨迹的最小距离，当连续三帧视觉图像中预测出的两条轨迹的最小距离小于设定的最小安全距离阈值时，判断两车存在碰撞风险，并进行风险提示；
式中，Snin为最小安全距离，Ls为自身车辆长度，Ws为自身车辆的宽度；df为车辆安全区间参数；Li为目标车辆真实长度，Wi为目标车辆真实宽度。
9.如权利要求1所述的V2X环境下基于改进YOLOV7-Tiny和SS-LSTM的自动驾驶风险预判***，其特征在于，所述V2X环境下基于改进YOLOV7-Tiny和SS-LSTM的自动驾驶风险预判***还包括震动提示模块和显示模块，所述通讯模块还将预判到的社会车辆和其他智能网联车辆切入风险信息发送到所述显示模块和所述震动提示模块，所述震动提示模块接收到所述通信模块发送的风险预警信息，通过蜂鸣器的震动来提示驾驶员当前存在驾驶风险，警示驾驶员进行接管；所述显示模块包括屏幕显示装置，所述显示模块能够将所述风险预判模块的风险提示信息进行显示，以此来警示驾驶员及时进行车辆接管，同时将所述轨迹预测模块预测到的目标车辆的行驶轨迹与自身车辆的行驶轨迹进行显示，使驾驶员清楚的了解当前车辆及周围车辆信息，以便驾驶员接管后有足够的信息进行安全驾驶。
10.一种V2X环境下基于改进YOLOV7-Tiny和SS-LSTM的自动驾驶风险预判方法，其特征在于，包括以下步骤：
使用摄像头对自身车辆周围的图像进行拍摄，对拍摄得到的视觉图像进行目标检测，并对检测到的目标车辆进行跟踪预测；
对视觉识别跟踪到的目标车辆进行分类，将目标车辆分为社会车辆和智能网联车辆，对识别跟踪到的社会车辆进行测速测距，得到目标车辆与自身车辆的两车距离、目标车辆的位置及目标车辆的移动速度；
通过V2X车联网获得智能网联车辆的移动速度、位置以及智能网联车辆与自身车辆的两车距离，并通过V2X车联网将目标车辆的移动速度、目标车辆的位置及目标车辆与自身车辆的两车距离进行发送；
通过StrongSORT算法中卡尔曼滤波的短期预测来不断矫正LSTM算法中的长期预测，对基于LSTM算法的轨迹预测模型进行改进以建立SS-LSTM轨迹预测模型，将两车距离和目标车辆的位置、移动速度信息作为SS-LSTM轨迹预测模型的输入，得到目标车辆的行驶轨迹；
将预测得到的目标车辆的行驶轨迹与自身车辆行驶轨迹进行同一时间纬度下的拟合，以判断目标车辆与自身车辆是否存在碰撞风险。
CN202311656358.5A 2023-12-05 2023-12-05 V2X环境下基于改进YOLOV7-Tiny和SS-LSTM的自动驾驶风险预判***及方法 Pending CN117416349A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311656358.5A CN117416349A (zh) 2023-12-05 2023-12-05 V2X环境下基于改进YOLOV7-Tiny和SS-LSTM的自动驾驶风险预判***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311656358.5A CN117416349A (zh) 2023-12-05 2023-12-05 V2X环境下基于改进YOLOV7-Tiny和SS-LSTM的自动驾驶风险预判***及方法

Publications (1)

Publication Number Publication Date
CN117416349A true CN117416349A (zh) 2024-01-19

Family

ID=89526821

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311656358.5A Pending CN117416349A (zh) 2023-12-05 2023-12-05 V2X环境下基于改进YOLOV7-Tiny和SS-LSTM的自动驾驶风险预判***及方法

Country Status (1)

Country Link
CN (1) CN117416349A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117975734A (zh) * 2024-03-29 2024-05-03 松立控股集团股份有限公司 一种基于多目标跟踪的道路交通状态预测方法及***

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117975734A (zh) * 2024-03-29 2024-05-03 松立控股集团股份有限公司 一种基于多目标跟踪的道路交通状态预测方法及***

Similar Documents

Publication Publication Date Title
CN112700470B (zh) 一种基于交通视频流的目标检测和轨迹提取方法
CN110362077B (zh) 无人驾驶车辆紧急避险决策***、方法及介质
WO2022206942A1 (zh) 一种基于行车安全风险场的激光雷达点云动态分割及融合方法
US20230256896A1 (en) Intelligent light switching method and system, and related device
KR101534056B1 (ko) 교통 신호 맵핑 및 검출
Rawashdeh et al. Collaborative automated driving: A machine learning-based method to enhance the accuracy of shared information
CN107202983A (zh) 基于图像识别和毫米波雷达融合的自动刹车方法和***
KR20210080459A (ko) 차선 검출방법, 장치, 전자장치 및 가독 저장 매체
KR20210078530A (ko) 차선 속성 검출방법, 장치, 전자장치 및 가독 저장 매체
CN108638999A (zh) 一种基于360度环视输入的防碰撞预警***及方法
CN111667512A (zh) 基于改进卡尔曼滤波的多目标车辆轨迹预测方法
CN104157160B (zh) 车辆行驶控制方法、装置及车辆
CN112215306A (zh) 一种基于单目视觉与毫米波雷达融合的目标检测方法
CN117416349A (zh) V2X环境下基于改进YOLOV7-Tiny和SS-LSTM的自动驾驶风险预判***及方法
CN113085852A (zh) 自动驾驶车辆的行为预警方法、装置及云端设备
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
CN114694060B (zh) 一种道路抛洒物检测方法、电子设备及存储介质
CN115376108A (zh) 一种复杂天气下障碍物检测方法及装置
CN114084129A (zh) 一种基于融合的车辆自动驾驶控制方法及***
CN111332306A (zh) 一种基于机器视觉的交通道路感知辅助驾驶预警装置
CN112509321A (zh) 一种基于无人机的城市复杂交通情景的驾驶控制方法、***及可读存储介质
CN115379408B (zh) 基于场景感知的v2x多传感器融合方法及装置
CN113435224A (zh) 用于获取车辆3d信息的方法和装置
CN112883846A (zh) 一种用于检测车辆前方目标的三维数据采集成像***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination