CN112562405A - 一种雷达视频智能融合与预警方法及*** - Google Patents

一种雷达视频智能融合与预警方法及*** Download PDF

Info

Publication number
CN112562405A
CN112562405A CN202011358042.4A CN202011358042A CN112562405A CN 112562405 A CN112562405 A CN 112562405A CN 202011358042 A CN202011358042 A CN 202011358042A CN 112562405 A CN112562405 A CN 112562405A
Authority
CN
China
Prior art keywords
radar
data
vehicle
early warning
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011358042.4A
Other languages
English (en)
Inventor
吕新建
郭忠印
邹宗民
张昱
徐庆超
朱本成
张瀚坤
樊兆董
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong High Speed Construction Management Group Co ltd
Tongji University
Shandong Transportation Institute
Original Assignee
Shandong High Speed Construction Management Group Co ltd
Tongji University
Shandong Transportation Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong High Speed Construction Management Group Co ltd, Tongji University, Shandong Transportation Institute filed Critical Shandong High Speed Construction Management Group Co ltd
Priority to CN202011358042.4A priority Critical patent/CN112562405A/zh
Publication of CN112562405A publication Critical patent/CN112562405A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/91—Radar or analogous systems specially adapted for specific applications for traffic control
    • G01S13/92—Radar or analogous systems specially adapted for specific applications for traffic control for velocity measurement
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及雷达/视频信号处理技术与交通安全技术领域，具体地涉及一种一种雷达视频智能融合与预警方法及***，所述***包括安装在同一位置的雷视一体机、边缘计算机、RSU传输设备；所述雷视一体机用于采集实时雷达/视频数据；所述边缘计算机用于对所采集数据进行存储、分析与处理；所述RSU路侧单元用于将数据通过无线网络进行通信；所述方法包括设备安装、数据采集、分析与处理，风险预警等步骤；本发明能够对雷达数据和视频数据进行动态融合，提高目标物的识别精度，并根据设定风险阈值对道路使用者进行预警。

Description

一种雷达视频智能融合与预警方法及***
技术领域
本发明涉及雷达/视频信号处理技术与交通安全技术领域，具体地涉及一种雷达视频智能融合与预警方法。
背景技术
随着科学技术的发展，雷达和视频传感技术越来越多的应用在智能交通领域中，雷达传感器通过发射高频电磁波并接收回波的原理来测量周围物体的距离、速度、角度。视频传感器通过监测镜头内的视频影像来检测周围物体的类型、角度。但是雷达传感器和视频传感器在实际应用中均存在局限性，如雷达技术虽可以准确锁定目标距离并计算速度，但存在以下不足：第一，对环境和障碍物的细节分辨率(尤其角度分辨率方面)较差；第二，无法对目标类型进行识别。而视频技术虽可以有效识别物体，但精度不高，其局限性在于：第一，受外界环境如光照、能见度、不良天气(雨、雪、雾)等影响较大；第二，无法获取目标的精确距离、速度等信息。由此可见，雷达与视频技术各自优点明确，缺点明显，因此，有必要设计一种能够对雷达数据和视频数据进行动态融合，提高目标物的识别精度，并根据设定风险阈值对道路使用者进行预警的雷达视频智能融合与预警方法及***。
发明内容
为解决现有技术存在的技术问题，本发明提供一种雷达视频智能融合与预警方法及***，其能够对雷达数据和视频数据进行动态融合，提高目标物的识别精度，并根据设定风险阈值对道路使用者进行预警。
本发明解决其技术问题所采取的技术方案是：
一种雷达视频智能融合与预警方法，基于雷达视频智能融合与预警***实现，所述***包括安装在同一位置的雷视一体机、边缘计算机、RSU传输设备；所述雷视一体机用于采集实时雷达/视频数据；所述边缘计算机用于对所采集数据进行存储、分析与处理；所述RSU路侧单元用于将数据通过无线网络进行通信；
所述方法包括以下步骤：
S1、在公路(如高速公路)安装雷视一体机、边缘计算机、RSU路侧单元；
S2、将数据预处理算法、最优估计算法、雷达视频数据融合算法及其所依赖的环境打包成docker镜像，并在边缘计算机上生成基于Linux***的文件；
S3、车辆经过时，雷视一体机所采集到的数据通过有线网络传输至边缘计算机内进行数据分析与处理；
S4、RSU传输设备将风险预警信息发布给道路使用者，根据道路使用者的驾驶行为状态发布跟车风险指数。
进一步的，在步骤S3中，所述边缘计算机内进行数据分析与处理的步骤为：数据预处理、最优估计、雷视数据融合、基于第三视觉风险场的跟驰风险预警算法。
进一步的，所述边缘计算机使用最大交通量阈值法对数据进行预处理，从而剔除错误数据，修复缺失数据，以保证采集到数据的安全性、可靠性、有效性。
进一步的，所述边缘计算机利用卡尔曼滤波器对数据进行最优估计，将雷达与视觉相机测量到的车辆横/纵向速度、加速度、车头车尾间距等数据进行优化处理，然后把融合后的交通信息数据生成报表。
进一步的，所述边缘计算机利用雷达视频融合算法对视频图像和雷达监测图像上的目标物是否为同一目标物进行判别，将同一目标物的视频和雷达数据进行动态智能融合，最后输出新的含有横/纵向速度、横/纵向加速度与车道信息的视频图像。
进一步的，所述边缘计算机基于第三视觉风险场理论对车辆实行预警算法，计算出监测区间内各车辆相对行车安全指数，结合实验数据提出的跟驰行为风险阈值对运行车辆进行实时风险分级评估。
与现有技术相比，本发明取得的有益之处为：
(1)本发明实现雷达、视觉相机数据在采集阶段的预处理，该方法可以有效对不规则时间点数据、异常数据、缺失数据、冗余数据等问题数据进行整理，经过剔除异常数据、过滤非法、无效数据等操作后，将有效、合法的数据按照一定的标准进行格式化处理：利用最大占有率阈值法进行错误数据修复，利用多尺度主元分析方法进行缺失数据补齐，利用历史数据和实时数据加权补齐法进行错误/缺失数据复原；
(2)实现雷达、视频参数最优估计算法，雷达与视觉相机采集到的车辆运行数据(如纵向速度、加速度以及车头车尾间距等)在经过预处理后，通过卡尔曼滤波算法生成数据的最优估计值；
(3)实现雷达、视频数据融合，利用计算机技术对按时序获得的若干传感器的采集信息在一定准则下加以自动分析与综合优化，以获取满足决策和估计任务要求的大量信息；
(4)实现跟驰行为的风险预警，通过对驾驶模拟实验中跟驰场景下发生追尾事故的车辆数进行统计，计算碰撞概率为16％、10％与5％时目标车辆的RSDI值，并使其成为车辆跟驰场景下的风险等级阈值。
附图说明
图1为本发明结构原理示意图；
图2为本发明最优估计算法结构流程图；
图3为本发明空间融合算法中各坐标系关系图；
图4为本发明空间融合算法中各坐标系三维关系图；
图5为本发明时间融合算法中相机采样时间与雷达采样时间对应关系图；
图6为本发明基于第三视觉风险场的跟驰风险预警算法在四车道多车场景中应用实例图；
图7为本发明基于第三视觉风险场的跟驰风险预警算法在车辆跟驰场景中应用实例图；
图8为本发明基于第三视觉风险场的跟驰风险预警算法流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面结合本发明说明书附图，对本发明实施例中的技术方案进行清楚、完整地描述。
实施例1：
本实施例涉及的一种雷达视频智能融合与预警***，其主体结构包括雷视一体机、边缘计算机、RSU传输设备；所述雷视一体机用于对道路车辆信息进行全息全程数据采集；所述边缘计算机用于对采集到的原始数据进行融合，并对各个传感器的原始信息进行预处理后进行存储、分析与处理；所述RSU路侧单元用于边缘计算机与其他模块的无线通信。
本实施例所述雷视一体机包括毫米波雷达与视觉相机，优选为双目视觉相机；雷达对于恶劣探测环境和恶劣天气的适应性较强，且具备高精度多维搜索测量功能，可对运行车辆进行高精度距离、方位、横/纵向速度与加速度、空间位置的测量定位；视觉相机用于记录车流运动行驶状况，并应用视频处理软件逐帧分析视频录像以提取车辆行驶轨迹，进而推算得到车辆行驶速度、加速度、车头间距以及车头时距等信息。
本实施例所述的边缘计算机中包含数据预处理模块、最优估计算法模块和第三视觉风险场预警算法模块；所述数据预处理模块用于将各类传感器采集到的信息进行剔除异常数据、过滤非法/无效数据，并进行去噪声处理等过程后，将有效、合法的数据按照一定的标准进行格式化处理。经过数据预处理后，才能保证采集到的数据的安全性、可靠性、有效性；所述最优估计算法模块用于将雷达与视觉相机采集到的车辆横纵向速度、加速度、车头车尾间距等数据进行最优估计，然后把得到的交通信息融合数据生成报表，以提高交通运行环境与状态监测精度，提供可靠性更强的运行风险评估与交通事件预警服务；所述第三视觉风险场预警算法模块针对人－车－路(包括环境)相互作用的复杂道路交通环境，结合雷视一体机获取的交通各要素(等效为不同场源)对道路上的行驶车辆所产生的风险(等效为场强)，计算出道路上每一辆车辆的相对行车安全指数，并依此对各车辆进行风险分级短临预警。
所述RSU路侧单元内含通信模块，既能够直接与可变信息交通标志板(VMS)通信，实现边缘计算机预警信息发布功能，也能够将边缘计算机处理过的数据经由无线网络或自建光纤网络上传至服务器，实现数据存储功能。
本实施例所述的RSU路侧单元集成了模块化的DSRC、LTE-V、GNSS及其他扩展通信方式(如4G/5G等)，通信距离不低于500m，支持车路信息实时交互。
本实施例所述的边缘计算机采用Linux***，通过将数据预处理算法、最优估计算法、雷达视频数据融合算法以及车辆碰撞预警算法编写成Python文件，并将其所依赖的环境打包成docker镜像，在边缘计算机上生成基于Linux***的文件；融合数据通过计算获取相应阈值，并与风险值对比，判定风险等级，通过RSU设备发布给周边车辆。
实施例2：
本实施例涉及的一种雷达视频智能融合与预警方法，包括如下步骤：
S1、雷视一体机实时采集该断面各个车道的车辆信息并将数据传输至边缘计算机；
S2、边缘计算机使用最大交通量阈值法对数据进行预处理，从而剔除错误数据，修复缺失数据，以保证采集到数据的安全性、可靠性、有效性；
S3、边缘计算机利用卡尔曼滤波器对数据进行最优估计，将雷达与视觉相机测量到的车辆横/纵向速度、加速度、车头车尾间距等数据进行优化处理，然后把融合后的交通信息数据生成报表，以提高交通运行环境与状态监测精度，提供可靠性更强的运行风险评估与交通事件预警服务；
S4、边缘计算机利用雷达视频融合算法对视频图像和雷达监测图像上的目标物是否为同一目标物进行判别，将同一目标物的视频和雷达数据进行动态智能融合，最后输出新的含有横/纵向速度、横/纵向加速度与车道信息的视频图像；
S5、边缘计算机基于第三视觉风险场理论对车辆实行预警算法，计算出监测区间内各车辆相对行车安全指数，结合实验数据提出的跟驰行为风险阈值对运行车辆进行实时风险分级评估；
S6、边缘计算机将跟驰行为风险预警信息通过RSU路侧单元进行无线发布，道路使用者通过车载终端实时获取该风险等级。
所述最优估计算法结构流程图如图2所示，在初始时刻t0时，输入传感器初始测量值视为初始预测值；将初始预测误差设为习惯值，通过比较测量误差与预测误差可以量化测量值与预测值的可靠程度权重，即为卡尔曼增益K，根据K可对测量值与预测值进行加权，得到当前时刻的最优估计值。在下一时刻t1时，可通过前一时刻t0输出的最优估计值来生成下一时刻的预测值，并根据t0时预测误差与K来得到当前时刻t1的预测误差，然后用与上一时刻相同的方法生成当前时刻的最优估计值。算法将随着时间而不断优化，从而在一段适应时间过后稳定输出准确度高的最优估计值。
所述雷达视频时空融合算法结构分为时间融合与空间融合，其中空间融合算法转换关系如图3、图4所示，其中，毫米波雷达坐标系为Or-XrYrZr，世界坐标系为Ow-XwYwZw，相机坐标系为Oc-XcYcZc，这三个坐标系的YOZ平面重合，XOY平面相互平行，世界坐标系与相机坐标系的XOZ平面重合且与雷达坐标系的XOZ平面平行。Z0、Z1分别为雷达坐标系与相机坐标系、相机坐标系与世界坐标系在Z轴方向的距离，H为雷达坐标系与相机坐标系和世界坐标系在Y轴方向的距离。
由于毫米波雷达与相机安装位置相对固定，因此可得到雷达坐标系P(R,α)与相机坐标系P(Xc,Yc,Zc)的转换关系，其中P点为坐标系内任意一点：
Figure BDA0002803174520000081
改写为矩阵形式为:
Figure BDA0002803174520000082
假设相机模型为理想的线性针孔模型，根据相机坐标系与图像坐标系的转换关系，可以得到P点未进行畸变校正前的图像坐标P(x,y)：
Figure BDA0002803174520000083
考虑到由于相机镜头畸变影响，相机采集到的图像与真实图像存在偏差，因此需要对图像坐标进行畸变校正，得到去畸变后的图像坐标P(x’,y’)：
Figure BDA0002803174520000084
式中，r为图像距坐标原点距离,既
Figure BDA0002803174520000085
k1、k2、k3为一至三阶径向畸变系数，p1、p2为一、二阶切向畸变系数，根据相机物理属性选择对应去畸变模型，既可确定各畸变系数。
得到去畸变后的图像坐标后，通过图像坐标系与像素坐标系的转换关系，得到P点在图像中的实际像素位置坐标P(u’,v’)：
Figure BDA0002803174520000091
得到毫米波雷达探测目标的距离R和角度α信息后，使用张正友相机标定法，获得相机的焦距、主点坐标、畸变参数等内部参数，然后按照以上方法进行计算，便可得到该目标在图像中的投影坐标，实现雷达坐标系P(R,α)向像素坐标系P(u’,v’)的转换。
所述时间融合算法中，相机采样时间与雷达采样时间对应关系如图5所示，雷达和视觉信息除在空间上需要进行融合，还需要传感器在时间上同步采集数据，实现时间的融合。根据毫米波雷达功能工作手册，其采样周期为50ms，即采样帧速率为20帧/秒，而摄像机采样帧速率为25帧/秒。为了保证数据的可靠性，以摄像机采样速率为基准，摄像机每采一帧图像，选取毫米波雷达上一帧缓存的数据，即完成共同采样一帧雷达与视觉融合的数据如图5所示，从而保证了毫米波雷达数据和摄像机数据时间上的同步。
所述基于第三视觉风险场的跟驰风险预警算法应用场景广泛，下面将以如图6所示的四车道多车场景为例，结合第三视觉行车风险场理论分别计算车辆跟驰状态中的行车安全指数，并结合在实验中测得的阈值对车辆进行动态安全评估与预警，具体步骤如下：
在图6所示的跟驰场景中，车1(自车)跟随车4(前车)沿着车道中心线行驶，而车2与车6(邻车)在车1临近车道行驶。v1、v2、v4和v6分别为车1、车2、车4和车6的速度矢量，建立道路坐标系xoy，其中x轴平行于车道线向前，y轴垂直于车道线方向。
目前已有的车辆碰撞预警算法多是集中在纵向避撞，即避免与同车道前方车辆的碰撞(对于图7中车1而言，就是避免和车4发生碰撞)。实际上邻近区域内的全部车辆都会对车辆的行驶产生影响，尤其是邻车道车辆的换道切入行为，其不仅会造成本车道车辆行驶效率降低，也会带来一定的安全隐患。此外，需要特别指出的是，邻车道车辆只要表现出换道趋势(或让自车驾驶员认为邻车道车辆有换道的趋势)，就会对自车产生影响。而行车安全场理论能够对复杂场景中车辆受多个目标作用造成的综合行车风险进行评价(对于图7中车1而言，其受车2、车4和车6综合作用)。因此，针对图7中所示多车场景，提出了一种基于行车安全场的车辆碰撞预警算法，旨在为行驶在该交通环境下的车辆进行碰撞预警。
车1的行车安全受到车2、车4、车6和当前车道两侧车道线的影响。考虑到车1沿道路中心线行驶，而车道线在道路中心线处形成的行车安全场场强为零，安全势能也为零，因此，在计算车1的行车风险时只需要考虑车2、车4和车6的影响，从行车安全场理论来说，也即是计算车1在车2、车4和车6形成的行车安全场中的行车安全指数。
因此，车1跟驰状态时的行车风险场场强为：
Figure BDA0002803174520000111
其中，i＝2,4,6，grad Ev，i1是车i形成的动能场在车1质心位置处场强的梯度向量,K(＞0)和k(＞1)均为待定常数，Ri为道路条件影响因子，Mi是车i的虚拟质量，vi为车i速度，
Figure BDA0002803174520000116
是vi和x轴的夹角(逆时针为正)，θi是ri1和vi的夹角(逆时针为正)，ri1是从车1质心位置指向车i质心位置的距离矢量，
Figure BDA0002803174520000117
和
Figure BDA0002803174520000118
为两正交单位向量，EV1，i1和ED1，i1分别为跟驰状态下表示车1质心位置处车i形成的动能场和车i的驾驶员形成的行为场的场强矢量，DRi为驾驶员风险因子，Ei1是车i形成的总的行车安全场在车1质心位置处的场强矢量。
由此，可推断出车1在车2,4,6共同影响下的安全势能为：
Figure BDA0002803174520000112
其中，SPEV，i1和SPED，i1分别表示车1在车i形成的动能场和车i的驾驶员形成的行为场中具有的安全势能，SPE1是车1具有的综合的安全势能，
Figure BDA0002803174520000113
是车1在车i形成的行车安全场中安全势能随时间的变化率，
Figure BDA0002803174520000114
是车1具有的综合的安全势能随时间的变化率。车1行车安全指数为：
Figure BDA0002803174520000115
其中，η为权重系数，DSI1为车1的行车安全指数(是对车1当前受到的行车风险的综合评价指标)。但是，DSI1是一个绝对的风险指标，其变化范围大。因此，若直接用DSI1来作为预警的指标，很难确定算法预警的阈值。因此，为了解决这个问题，引入一个新的指标——相对行车安全指数(Relative driving safety index，RDSI)。定义车1的相对行车安全指数RSDI，如下式所示。其中，DSI＊是车1在特定危险场景中的标准行车安全指数。
Figure BDA0002803174520000121
通过对驾驶模拟实验中跟驰场景下发生追尾事故的车辆数进行统计的方法，计算碰撞概率为16％、10％与5％时目标车辆的RSDI值，并使其成为车辆跟驰场景下的风险等级阈值。表1为跟驰场景中各风险等级下RSDI值与传统车辆风险评级指数的近似参照情况，其中THW(The Headway)为车头时距，TTC(Time to Collision)为车辆碰撞剩余时间，即两车保持当前速度行驶直至碰撞的时间：
表1各风险等级下不同风险评级指数对照表
Figure BDA0002803174520000122
依据表1中各等级RDSI风险阈值制定车辆风险分级预警算法，其算法流程如图8所示：
(1)获取目标车辆周围交通信息；
(2)计算车辆行车安全指数DSI；
(3)计算车辆相对行车安全指数RDSI；
1)若RDSI大于1，则为一级预警；
2)若RDSI小于1且大于0.75，则为二级预警；
3)若RDSI小于0.75且大于0.5，则为三级预警；
4)若RDSI小于0.5，则再次执行步骤(1)至步骤(3)。
上述具体实施方式仅是本发明的具体个案，本发明的专利保护范围包括但不限于上述具体实施方式的产品形态和式样，任何符合本发明权利要求书且任何所属技术领域的普通技术人员对其所做的适当变化或修饰，皆应落入本发明的专利保护范围。

Claims (10)

1.一种雷达视频智能融合与预警方法，其特征在于：包括以下步骤：
S1、在公路安装雷视一体机、边缘计算机、RSU路侧单元；
S2、将数据预处理算法、最优估计算法、雷达视频数据融合算法及其所依赖的环境打包成docker镜像，并在边缘计算机上生成基于Linux***的文件；
S3、车辆经过时，雷视一体机所采集到的数据通过有线网络传输至边缘计算机内进行数据分析与处理；
S4、RSU传输设备将风险预警信息发布给道路使用者，根据道路使用者的驾驶行为状态发布跟车风险指数。
2.根据权利要求1所述的雷达视频智能融合与预警方法，其特征在于：在步骤S3中，所述边缘计算机内进行数据分析与处理的步骤为：数据预处理、最优估计、雷视数据融合、基于第三视觉风险场的跟驰风险预警算法。
3.根据权利要求2所述的雷达视频智能融合与预警方法，其特征在于：所述边缘计算机使用最大交通量阈值法对数据进行预处理，从而剔除错误数据，修复缺失数据。
4.根据权利要求2或3所述的雷达视频智能融合与预警方法，其特征在于：所述边缘计算机利用卡尔曼滤波器对数据进行最优估计，将雷达与视觉相机测量到的车辆横/纵向速度、加速度、车头车尾间距数据进行优化处理，然后把融合后的交通信息数据生成报表。
5.根据权利要求2或3所述的雷达视频智能融合与预警方法，其特征在于：所述边缘计算机利用雷达视频融合算法对视频图像和雷达监测图像上的目标物是否为同一目标物进行判别，将同一目标物的视频和雷达数据进行动态智能融合，最后输出新的含有横/纵向速度、横/纵向加速度与车道信息的视频图像。
6.根据权利要求2或3所述的雷达视频智能融合与预警方法，其特征在于：所述边缘计算机基于第三视觉风险场理论对车辆实行预警算法，计算出监测区间内各车辆相对行车安全指数，结合实验数据提出的跟驰行为风险阈值对运行车辆进行实时风险分级评估。
7.一种雷达视频智能融合与预警***，其特征在于：其主体结构包括雷视一体机、边缘计算机、RSU传输设备；所述雷视一体机用于对道路车辆信息进行全息全程数据采集；所述边缘计算机用于对采集到的原始数据进行融合，并对各个传感器的原始信息进行预处理后进行存储、分析与处理；所述RSU路侧单元用于边缘计算机与其他模块的无线通信。
8.根据权利要求7所述的雷达视频智能融合与预警***，其特征在于：所述雷视一体机包括毫米波雷达与视觉相机；雷达对于恶劣探测环境和恶劣天气的适应性较强，且具备高精度多维搜索测量功能，能够对运行车辆进行高精度距离、方位、横/纵向速度与加速度、空间位置的测量定位；视觉相机用于记录车流运动行驶状况，并应用视频处理软件逐帧分析视频录像以提取车辆行驶轨迹，进而推算得到车辆行驶速度、加速度、车头间距以及车头时距信息。
9.根据权利要求7或8所述的雷达视频智能融合与预警***，其特征在于：所述的边缘计算机中包含数据预处理模块、最优估计算法模块和第三视觉风险场预警算法模块；所述数据预处理模块用于将各类传感器采集到的信息进行剔除异常数据、过滤非法/无效数据，并进行去噪声处理过程后，将有效、合法的数据按照一定的标准进行格式化处理；所述最优估计算法模块用于将雷达与视觉相机采集到的车辆横纵向速度、加速度、车头车尾间距数据进行最优估计，然后把得到的交通信息融合数据生成报表；所述第三视觉风险场预警算法模块针对人－车－路相互作用的复杂道路交通环境，结合雷视一体机获取的交通各要素对道路上的行驶车辆所产生的风险，计算出道路上每一辆车辆的相对行车安全指数，并依此对各车辆进行风险分级短临预警。
10.根据权利要求7或8所述的雷达视频智能融合与预警***，其特征在于：所述RSU路侧单元内含通信模块，既能够直接与可变信息交通标志板通信，实现边缘计算机预警信息发布功能，也能够将边缘计算机处理过的数据经由无线网络或自建光纤网络上传至服务器，实现数据存储功能。
CN202011358042.4A 2020-11-27 2020-11-27 一种雷达视频智能融合与预警方法及*** Pending CN112562405A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011358042.4A CN112562405A (zh) 2020-11-27 2020-11-27 一种雷达视频智能融合与预警方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011358042.4A CN112562405A (zh) 2020-11-27 2020-11-27 一种雷达视频智能融合与预警方法及***

Publications (1)

Publication Number Publication Date
CN112562405A true CN112562405A (zh) 2021-03-26

Family

ID=75046295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011358042.4A Pending CN112562405A (zh) 2020-11-27 2020-11-27 一种雷达视频智能融合与预警方法及***

Country Status (1)

Country Link
CN (1) CN112562405A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033684A (zh) * 2021-03-31 2021-06-25 浙江吉利控股集团有限公司 一种车辆预警方法、装置、设备及存储介质
CN113191459A (zh) * 2021-05-27 2021-07-30 山东高速建设管理集团有限公司 一种基于路侧激光雷达的在途目标分类方法
CN113341730A (zh) * 2021-06-28 2021-09-03 上海交通大学 一种远程人机协同下的车辆转向控制方法
CN113570854A (zh) * 2021-06-21 2021-10-29 陕西交通电子工程科技有限公司 一种用于高速公路运营管理的智能稽核控制***
CN113627569A (zh) * 2021-09-27 2021-11-09 浙江高速信息工程技术有限公司 一种用于交通大场景的雷达视频一体机的数据融合方法
CN113899405A (zh) * 2021-10-20 2022-01-07 中煤科工集团沈阳设计研究院有限公司 一体化在线边坡智能监测预警***及预警方法
CN114241775A (zh) * 2021-12-31 2022-03-25 南京邮电大学 移动的雷达和视频图像的校准方法、终端和可读存储介质
CN114419874A (zh) * 2021-11-25 2022-04-29 山东高速建设管理集团有限公司 基于路侧感知设备数据融合的目标行车安全风险预警方法
CN114550448A (zh) * 2022-02-16 2022-05-27 中国山东国际经济技术合作有限公司 一种基于毫米波雷达的车道级交通风险管控***
CN114637003A (zh) * 2022-03-16 2022-06-17 中国第一汽车股份有限公司 一种车辆的目标识别方法、装置、汽车及存储介质
CN114648870A (zh) * 2022-02-11 2022-06-21 行云新能科技（深圳）有限公司 边缘计算***、边缘计算决策预测方法以及计算机可读存储介质
CN115063966A (zh) * 2022-05-31 2022-09-16 河南越秀尉许高速公路有限公司 针对acc跟车行驶的高速公路施工区预警***及其方法
CN115583249A (zh) * 2022-12-13 2023-01-10 深圳佑驾创新科技有限公司 一种模块化自动驾驶硬件***
CN116189116A (zh) * 2023-04-24 2023-05-30 江西方兴科技股份有限公司 一种交通状态感知方法及***
WO2023207624A1 (zh) * 2022-04-26 2023-11-02 阿里云计算有限公司 数据处理方法、设备、介质及路侧协同设备、***

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104506764A (zh) * 2014-11-17 2015-04-08 南京泓众电子科技有限公司 一种基于拼接视频图像的汽车行驶记录***
CN104636204A (zh) * 2014-12-04 2015-05-20 中国联合网络通信集团有限公司 一种任务调度方法与装置
CN107609486A (zh) * 2017-08-16 2018-01-19 中国地质大学（武汉） 一种车辆前向防撞预警方法及***
CN108353090A (zh) * 2015-08-27 2018-07-31 雾角***公司 边缘智能平台和物联网传感器流***
CN108639059A (zh) * 2018-05-08 2018-10-12 清华大学 基于最小作用量原理的驾驶人操控行为量化方法及装置
CN109532826A (zh) * 2017-09-21 2019-03-29 天津所托瑞安汽车科技有限公司 一种基于车道线视觉识别技术优化的雷达防碰撞预警方法
CN109996039A (zh) * 2019-04-04 2019-07-09 中南大学 一种基于边缘计算的目标追踪方法及装置
CN110149412A (zh) * 2019-06-05 2019-08-20 广州云华智慧科技有限公司 基于云化通信器的智能化云平台***
CN110458000A (zh) * 2019-06-28 2019-11-15 安徽四创电子股份有限公司 一种基于docker的视频车辆识别方法
CN110570688A (zh) * 2019-08-30 2019-12-13 唐山茁棋科技发展有限公司 一种雷达数据处理装置及信号数据处理方法
CN111107675A (zh) * 2020-01-21 2020-05-05 山东科华电力技术有限公司 基于泛在电力物联网的电缆通道边缘物联终端及方法
CN111199578A (zh) * 2019-12-31 2020-05-26 南京航空航天大学 基于视觉辅助激光雷达的无人机三维环境建模方法
CN111262875A (zh) * 2020-01-21 2020-06-09 腾讯科技（深圳）有限公司 服务器安全监测方法、装置、***及存储介质
CN111275270A (zh) * 2020-03-09 2020-06-12 南京中电科能技术有限公司 基于边缘计算和神经网络预测区域电气火灾风险的方法
CN111402626A (zh) * 2020-02-09 2020-07-10 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种基于车路协同的安全跟车距离控制***及控制方法
CN111489588A (zh) * 2020-03-30 2020-08-04 腾讯科技（深圳）有限公司 车辆驾驶风险预警方法及装置、设备、存储介质
CN111489585A (zh) * 2020-03-04 2020-08-04 昆明理工大学 一种基于边缘计算的车辆行人碰撞避免方法
CN111554088A (zh) * 2020-04-13 2020-08-18 重庆邮电大学 一种多功能v2x智能路侧基站***
CN111627072A (zh) * 2020-04-30 2020-09-04 贝壳技术有限公司 一种对多传感器进行标定的方法、装置和存储介质
CN111880174A (zh) * 2020-07-03 2020-11-03 芜湖雄狮汽车科技有限公司 一种用于支持自动驾驶控制决策的路侧服务***及其控制方法
CN111951573A (zh) * 2020-07-21 2020-11-17 华设设计集团股份有限公司 基于车路协同技术的智能公交***及方法

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104506764A (zh) * 2014-11-17 2015-04-08 南京泓众电子科技有限公司 一种基于拼接视频图像的汽车行驶记录***
CN104636204A (zh) * 2014-12-04 2015-05-20 中国联合网络通信集团有限公司 一种任务调度方法与装置
CN108353090A (zh) * 2015-08-27 2018-07-31 雾角***公司 边缘智能平台和物联网传感器流***
CN107609486A (zh) * 2017-08-16 2018-01-19 中国地质大学（武汉） 一种车辆前向防撞预警方法及***
CN109532826A (zh) * 2017-09-21 2019-03-29 天津所托瑞安汽车科技有限公司 一种基于车道线视觉识别技术优化的雷达防碰撞预警方法
CN108639059A (zh) * 2018-05-08 2018-10-12 清华大学 基于最小作用量原理的驾驶人操控行为量化方法及装置
CN109996039A (zh) * 2019-04-04 2019-07-09 中南大学 一种基于边缘计算的目标追踪方法及装置
CN110149412A (zh) * 2019-06-05 2019-08-20 广州云华智慧科技有限公司 基于云化通信器的智能化云平台***
CN110458000A (zh) * 2019-06-28 2019-11-15 安徽四创电子股份有限公司 一种基于docker的视频车辆识别方法
CN110570688A (zh) * 2019-08-30 2019-12-13 唐山茁棋科技发展有限公司 一种雷达数据处理装置及信号数据处理方法
CN111199578A (zh) * 2019-12-31 2020-05-26 南京航空航天大学 基于视觉辅助激光雷达的无人机三维环境建模方法
CN111107675A (zh) * 2020-01-21 2020-05-05 山东科华电力技术有限公司 基于泛在电力物联网的电缆通道边缘物联终端及方法
CN111262875A (zh) * 2020-01-21 2020-06-09 腾讯科技（深圳）有限公司 服务器安全监测方法、装置、***及存储介质
CN111402626A (zh) * 2020-02-09 2020-07-10 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种基于车路协同的安全跟车距离控制***及控制方法
CN111489585A (zh) * 2020-03-04 2020-08-04 昆明理工大学 一种基于边缘计算的车辆行人碰撞避免方法
CN111275270A (zh) * 2020-03-09 2020-06-12 南京中电科能技术有限公司 基于边缘计算和神经网络预测区域电气火灾风险的方法
CN111489588A (zh) * 2020-03-30 2020-08-04 腾讯科技（深圳）有限公司 车辆驾驶风险预警方法及装置、设备、存储介质
CN111554088A (zh) * 2020-04-13 2020-08-18 重庆邮电大学 一种多功能v2x智能路侧基站***
CN111627072A (zh) * 2020-04-30 2020-09-04 贝壳技术有限公司 一种对多传感器进行标定的方法、装置和存储介质
CN111880174A (zh) * 2020-07-03 2020-11-03 芜湖雄狮汽车科技有限公司 一种用于支持自动驾驶控制决策的路侧服务***及其控制方法
CN111951573A (zh) * 2020-07-21 2020-11-17 华设设计集团股份有限公司 基于车路协同技术的智能公交***及方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
吴剑: "考虑人—车—路因素的行车风险评价方法研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 *
张亚兰: "基于碰撞预警和深度学习的车辆避撞策略研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
徐德: "《机器人视觉测量与控制》", 31 January 2016 *
王亚丽: "基于毫米波雷达与机器视觉融合的前方车辆检测研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
肖殿良，郭忠印: "山区高速公路桥隧群运行风险预警***", 《公路》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033684A (zh) * 2021-03-31 2021-06-25 浙江吉利控股集团有限公司 一种车辆预警方法、装置、设备及存储介质
CN113191459A (zh) * 2021-05-27 2021-07-30 山东高速建设管理集团有限公司 一种基于路侧激光雷达的在途目标分类方法
CN113570854A (zh) * 2021-06-21 2021-10-29 陕西交通电子工程科技有限公司 一种用于高速公路运营管理的智能稽核控制***
CN113341730A (zh) * 2021-06-28 2021-09-03 上海交通大学 一种远程人机协同下的车辆转向控制方法
CN113627569A (zh) * 2021-09-27 2021-11-09 浙江高速信息工程技术有限公司 一种用于交通大场景的雷达视频一体机的数据融合方法
CN113899405A (zh) * 2021-10-20 2022-01-07 中煤科工集团沈阳设计研究院有限公司 一体化在线边坡智能监测预警***及预警方法
CN114419874A (zh) * 2021-11-25 2022-04-29 山东高速建设管理集团有限公司 基于路侧感知设备数据融合的目标行车安全风险预警方法
CN114419874B (zh) * 2021-11-25 2023-12-26 山东高速建设管理集团有限公司 基于路侧感知设备数据融合的目标行车安全风险预警方法
CN114241775A (zh) * 2021-12-31 2022-03-25 南京邮电大学 移动的雷达和视频图像的校准方法、终端和可读存储介质
CN114648870A (zh) * 2022-02-11 2022-06-21 行云新能科技（深圳）有限公司 边缘计算***、边缘计算决策预测方法以及计算机可读存储介质
CN114550448A (zh) * 2022-02-16 2022-05-27 中国山东国际经济技术合作有限公司 一种基于毫米波雷达的车道级交通风险管控***
CN114550448B (zh) * 2022-02-16 2024-02-13 中国山东国际经济技术合作有限公司 一种基于毫米波雷达的车道级交通风险管控***
CN114637003A (zh) * 2022-03-16 2022-06-17 中国第一汽车股份有限公司 一种车辆的目标识别方法、装置、汽车及存储介质
WO2023207624A1 (zh) * 2022-04-26 2023-11-02 阿里云计算有限公司 数据处理方法、设备、介质及路侧协同设备、***
CN115063966A (zh) * 2022-05-31 2022-09-16 河南越秀尉许高速公路有限公司 针对acc跟车行驶的高速公路施工区预警***及其方法
CN115063966B (zh) * 2022-05-31 2024-01-26 河南越秀尉许高速公路有限公司 针对acc跟车行驶的高速公路施工区预警***及其方法
CN115583249A (zh) * 2022-12-13 2023-01-10 深圳佑驾创新科技有限公司 一种模块化自动驾驶硬件***
CN116189116A (zh) * 2023-04-24 2023-05-30 江西方兴科技股份有限公司 一种交通状态感知方法及***
CN116189116B (zh) * 2023-04-24 2024-02-23 江西方兴科技股份有限公司 一种交通状态感知方法及***

Similar Documents

Publication Publication Date Title
CN112562405A (zh) 一种雷达视频智能融合与预警方法及***
CN112700470B (zh) 一种基于交通视频流的目标检测和轨迹提取方法
US11380105B2 (en) Identification and classification of traffic conflicts
CN106255899B (zh) 用于将对象用信号通知给配备有此装置的车辆的导航模块的装置
CN111554088A (zh) 一种多功能v2x智能路侧基站***
CN112389440B (zh) 一种基于车路作用机理的越野环境中车辆行驶风险预测方法
CN111461088B (zh) 一种基于图像处理与目标识别的轨道交通避障***
CN112693466A (zh) 一种车辆环境感知传感器性能测评***及方法
CN102542843A (zh) 防止车辆碰撞的预警方法及装置
KR101735557B1 (ko) 실시간 목표 탐지에 의한 교통 정보 수집 시스템 및 방법
KR102565573B1 (ko) 서브시스템 성능 평가를 위한 메트릭 역전파
CN113820714B (zh) 一种基于多传感器融合的尘雾天气道路环境感知***
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
CN113850102B (zh) 基于毫米波雷达辅助的车载视觉检测方法及***
CN108021899A (zh) 基于双目相机的车载智能前车防撞预警方法
CN112906777A (zh) 目标检测方法、装置、电子设备及存储介质
Tak et al. Development of AI‐Based Vehicle Detection and Tracking System for C‐ITS Application
KR102505867B1 (ko) 라이다 센서를 이용한 다중 차량 데이터 분석 및 교통 신호 제어 방법 및 시스템
CN115257784A (zh) 基于4d毫米波雷达的车路协同***
CN113658427A (zh) 基于视觉与雷达的路况监控方法及***、设备
CN113962301B (zh) 一种多源输入信号融合的路面质量检测方法及***
EP3467545A1 (en) Object classification
CN113792598B (zh) 基于车载摄像头的汽车碰撞预测***和方法
KR100962329B1 (ko) 스테레오 카메라 영상으로부터의 지면 추출 방법과 장치 및이와 같은 방법을 구현하는 프로그램이 기록된 기록매체
CN113313012B (zh) 一种基于卷积生成对抗网络的危险驾驶行为识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210326