CN112946628A - 一种基于雷达与视频融合的道路运行状态检测方法及*** - Google Patents

一种基于雷达与视频融合的道路运行状态检测方法及*** Download PDF

Info

Publication number
CN112946628A
CN112946628A CN202110172642.XA CN202110172642A CN112946628A CN 112946628 A CN112946628 A CN 112946628A CN 202110172642 A CN202110172642 A CN 202110172642A CN 112946628 A CN112946628 A CN 112946628A
Authority
CN
China
Prior art keywords
radar
millimeter wave
coordinate system
wave radar
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110172642.XA
Other languages
English (en)
Inventor
张志祥
杨阳
刘强
关永胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Sinoroad Engineering Technology Research Institute Co ltd
Original Assignee
Jiangsu Sinoroad Engineering Technology Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Sinoroad Engineering Technology Research Institute Co ltd filed Critical Jiangsu Sinoroad Engineering Technology Research Institute Co ltd
Priority to CN202110172642.XA priority Critical patent/CN112946628A/zh
Publication of CN112946628A publication Critical patent/CN112946628A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/91—Radar or analogous systems specially adapted for specific applications for traffic control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明涉及道路交通状态检测技术领域，尤其涉及一种基于雷达与视频融合的道路运行状态检测方法及***，包括如下步骤：步骤一：通过毫米波雷达和视频检测器对运动目标进行数据采集，对数据进行预处理；步骤二：将毫米波雷达数据坐标转换至视频像素坐标系坐标，并将毫米波雷达与视频检测器的时间进行配准，实现毫米波雷达的冗余车辆感兴趣区域对视频图像的映射，完成空间与时间上的融合；步骤三：采用经历史图像数据训练得到的卷积神经网络对感兴趣区域进行车辆识别，确定存在车辆的感兴趣区域，剔除雷达虚警信息。步骤四：根据车辆识别结果进行交通统计数据计算，得到一定时间段内交通运行状态参数，包括流量、平均速度和排队长度。

Description

一种基于雷达与视频融合的道路运行状态检测方法及***
技术领域
本发明涉及道路交通状态检测技术领域，尤其涉及一种基于雷达与视频融合的道路运行状态检测方法及***。
背景技术
国民经济的飞速发展不断刺激居民出行需求，人均机动车保有量逐年攀升，城市间交通活动出行日益频繁，高速公路作为公路交通的主动脉将承载越来越多的出行交通流量。智慧高速公路建设是提升高速公路通行效率与运营安全的有效手段，而全方位智慧感知体系是实现高速公路智能管控、智能服务和智能决策的基础条件，技术发展使得交通检测器不断向智能感知***发展，交通状态检测性能逐渐优化，设备种类多样。
高速公路现有的感知***大多基于视频检测器，视频检测器集成了图像处理技术、摄像机技术和车辆检测技术，摄像头一般固定安装在道路门架上，摄像机在道路现场实时监测区域视频图像，当车辆通过摄像机检测区域时，引起无车状态时视频图像的灰度数值变化，在图像处理技术的支持下比较灰度变化，以车辆检测技术获得车辆流量、车型、车速等交通信息。常用的视频车辆检测算法有光流法、背景差分法，但这些算法精确度较差，基于深度学习的目标检测算法不需要人工设定特征，且运行速度较快，逐渐得到推广应用。基于视频检测器的交通状态检测单元一般由摄像机、视频处理模块、交通分析模块、通信传输模块等构成。视频检测器采集的图像信息直观且检测精度较高，但在大雾、雨雪等光照条件较差的恶劣天气环境中，视频检测器的观察范围受到影响，此外体积较大车辆的遮挡容易造成小型车辆的漏检。
在建设智慧高速时毫米波雷达被广泛采用，可以安装在道路侧方或者车道上方。毫米波雷达是工作在毫米波波段探测的雷达，利用高频电路产生的特定调制频率电磁波，根据发射信号与回波信号差频频率计算目标的径向距离以及目标速度在目标与雷达中心连线方向的分速度。根据辐射电磁波方式不同，毫米波雷达主要有脉冲体制及连续波体制两种工作体制，目前大多数交通信息检测雷达采用基于调频连续波的工作模式。基于毫米波雷达的交通状态检测单元一般由天线、收发模块、信号处理模块、数据传输模块等构成。毫米波雷达能够穿透雾、烟、灰尘，通过捕获反射信号，可以对多车道多目标进行跟踪，能够获取距离、速度、角度等参数，但在大车长时间遮挡小车和因高分辨率多次识别大型车辆不同位置的情况下会产生检测误差。
鉴于上述问题的存在，本设计人基于从事此类产品工程应用多年丰富的实务经验及专业知识，并配合学理的运用，积极加以研究创新，以期创设一种基于雷达与视频融合的道路运行状态检测方法及***，使其更具有实用性。
发明内容
为了达到上述目的，本发明所采用的技术方案是：一种基于雷达与视频融合的道路运行状态检测方法，包括如下步骤：
步骤一：通过毫米波雷达和视频检测器对运动目标进行数据采集，毫米波雷达实时采集运动目标的位置、速度和角度；视频检测器实时采集高清图像信息，对数据进行初步处理，过滤干扰和无效信息，保证传感器数据质量；
步骤二：将毫米波雷达数据坐标转换至视频像素坐标系坐标，并将毫米波雷达与视频检测器的时间进行配准，把毫米波雷达的冗余车辆感兴趣区域对视频图像的映射，完成传感器的时空融合；
步骤三：采用经历史图像数据训练得到的卷积神经网络对感兴趣区域进行识别，确定存在车辆的感兴趣区域，剔除雷达虚警信息。
步骤四：根据车辆识别结果进行交通统计数据计算，得到一定时间段内交通运行状态参数，包括流量、平均速度和排队长度。
进一步地，步骤二中在实现空间的融合时，包括如下步骤：
步骤S210：获取毫米波雷达的安装高度与角度；
步骤S211：将毫米波雷达所在的球坐标系转换到世界坐标系中，以毫米波雷达位置为坐标原点，毫米波雷达检测到的目标为P，目标P与毫米波雷达的径向距离为r，方位角为α。假设雷达安装高度为h，雷达波束斜向下照射，s为雷达波束中轴线和地平面的交点与雷达的径向距离，目标P与毫米波雷达在中轴线与竖直方向的平面内的角度为θ。
将径向距离r分解为：
Figure BDA0002939326520000031
Figure BDA0002939326520000032
以直线s向地面倾斜方向为O-Zw轴正方向，以雷达所在平面水平向左为O-Xw轴正方向，垂直于O-Xw轴向上的设为O-Yw轴正方向，建立O-XwYwZw世界坐标系。可得：
Figure BDA0002939326520000041
由三角函数关系可得：
Figure BDA0002939326520000042
步骤212：根据视频检测器安装位置，将毫米波雷达世界坐标系转换为视频检测器的相机坐标系，点(xw,yw,zw)从世界坐标系向相机坐标系转换的关系式为：
Figure BDA0002939326520000043
其中，R为3×3的坐标系旋转矩阵，T为3×1的平移向量，点(xc,yc,zc)是点(xw,yw,zw)在相机坐标系下的坐标。R和T的参数数值取决于摄像机安装位置；
步骤S213：将相机坐标系下的点(xc,yc,zc)转换为图像坐标系中的点(xi,yi)，其坐标为：
Figure BDA0002939326520000051
公式中f为摄像机的焦距；
进一步地，在步骤S213中，对图像坐标系和图像像素坐标系进行校准，具体为：将图像坐标系下的点(xi,yi)转换为图像像素坐标系下的点(u,v)，
Figure BDA0002939326520000052
图像坐标系O-xiyi的坐标原点在像素坐标系O-uv中的坐标为(u0,v0)，δ为像素坐标系O-uv中坐标轴之间的夹角。
进一步地，所述步骤二中，在时间上的融合包括如下步骤：
步骤S220：设置一个时延，使毫米波雷达和视频检测器的时间采集起点一致，具体为：
tradar＝tcamera±τcal
其中，tradar为毫米波雷达的时间坐标，tcamera为视频检测器的时间坐标，τcal设定的时延；
步骤S221：对毫米波雷达和视频检测器的时间进行配准；具体为：设置插值区间，且区间内三点估计值为
Figure BDA0002939326520000053
假设三个时刻tk-1、tk、tk+1是等间隔的，即tk-tk-1＝T；当插值点时间为t＝tk+Δt，利用拉格朗日三点插值法计算出t时刻的测量值为：
Figure BDA0002939326520000061
从而实现时间的配准。
进一步地，步骤S221中，在对毫米波雷达和视频检测器的时间进行配准时，以数据采集周期长的传感器为基准，并假设配准时刻位于插值区间中间。
进一步地，步骤三中，感兴趣区域根据以下步骤确定：
步骤S300：先定义车辆宽高比rwh，
Figure BDA0002939326520000062
其中，width表示车辆宽度，height为车辆高度；
步骤S301：根据车辆宽高比建立感兴趣区域尺寸，具体为：
Ps＝Pst×rwh×α×β×γ
Ps为感兴趣区域纵向像素大小，Pst为初始像素纵向大小；α表示车辆是否为货车，为货车时取2，其余车辆取1；β表示放大系数；γ表示距离系数，将感兴趣区域的中心选在目标中心。
进一步地，感兴趣区域像素大小与目标距离为反比关系。
进一步地，步骤三中，采用卷积神经网络Mask-R-CNN对冗余的感兴趣区域进行识别，神经网络处理器根据处理后的历史数据获取训练样本集合测试样本集，确定卷积神经网络的卷积层、池化层、全连接层层数与结构，保存车辆检测模型参数，提取视频采集器图像中目标元素的特征，通过训练得到的车辆检测模型对图像深度学习，确定存在车辆的感兴趣区域。
本发明还包括一种基于雷达与视频融合的道路运行状态检测***，包括：
数据采集模块，所述数据采集模块包括毫米波雷达和视频检测器，所述毫米波雷达用于检测运动目标的位置、速度和角度；所述视频检测器用于检测运动目标的图像信息；
数据处理模块，所述数据处理模块与所述数据采集模块通信连接，对所述数据采集模块采集的原始数据进行处理并输出交通参数，所述数据处理模块包括微处理器和嵌入式神经网络处理器；
数据存储模块，所述数据存储模块与所述数据处理模块通信连接，所述数据存储模块用于存储交通参数。
数据通信模块，所述数据通信模块与所述数据存储模块和数据中心通信连接，将交通参数传输至数据中心或实现数据中心对交通参数的调用。
本发明的有益效果为：
1、本发明结合了视频检测器和毫米波雷达的信息，将毫米波雷达采集的信息和视频检测器采集的信息实现空间和时间上的融合，获取更丰富准确的交通运行状态信息，提高了道路检测***的鲁棒性；
2、能够在路侧完成交通运行状态信息的获取，减轻上一级数据中心的运算压力；
3、通过卷积神经网络处理视频图像信息，实现目标检测和目标参数获取，比传统目标检测的帧间差分、背景差分等方法精确度更高；
4、考虑到毫米波雷达因高分辨率而基本涵盖了所有有效目标且输出存在冗余的特点，在毫米波雷达的感兴趣区域内进行图像检测，提高了***实时检测速度和准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明检测方法的流程图；
图2为本发明检测***的示意图；
图3为毫米波雷达架设示意图；
图4为图像坐标系与像素坐标系转换的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
如图1所示，一种基于雷达与视频融合的道路运行状态检测方法，包括如下步骤：
步骤一：通过毫米波雷达和视频检测器对运动目标进行数据采集，毫米波雷达实时采集运动目标的位置、速度和角度；视频检测器实时采集高清路面图像信息。对数据进行预处理，过滤干扰和无效信息，保证传感器数据质量；
步骤二：将毫米波雷达数据坐标转换至视频像素坐标系坐标，并将毫米波雷达与视频检测器的时间进行配准，实现毫米波雷达的冗余车辆感兴趣区域对视频图像的映射，完成传感器的时空融合；
步骤三：采用经历史图像数据训练得到的卷积神经网络对感兴趣区域进行识别，确定存在车辆的感兴趣区域，剔除雷达虚警信息。
步骤四：根据车辆识别结果进行交通统计数据计算，得到一定时间段内交通运行状态参数，包括流量、平均速度和排队长度。
本发明的有益效果为：
1、本发明结合了视频检测器和毫米波雷达的信息，将毫米波雷达采集的信息和视频检测器采集的信息实现空间和时间上的融合，获取更丰富准确的交通运行状态信息，提高了道路检测***的鲁棒性；
2、能够在路侧完成交通运行状态信息的获取，减轻上一级数据中心的运算压力；
3、通过卷积神经网络处理视频图像信息，实现目标检测和目标参数获取，比传统目标检测的帧间差分、背景差分等方法精确度更高；
4、考虑到毫米波雷达因高分辨率而基本涵盖了所有有效目标且输出存在冗余的特点，在毫米波雷达的感兴趣区域内进行图像检测，提高了***实时检测速度和准确率。
毫米波雷达与视频检测器的参考坐标系和数据率均不同，二者联合交通检测的前提是实现坐标系的统一以及数据率的匹配，需要考虑空间和时间上的同步，毫米波雷达与视频检测器在空间上的融合是将不同传感器坐标系的测量结果统一到同一坐标系，即将毫米波雷达坐标系转换到世界坐标系中，再转换到视频检测器坐标系中，最后转换到图像坐标系，确定毫米波雷达采集到的运动目标在视频图像上的位置。
如图3所示，步骤二中在实现空间的融合时，包括如下步骤：
步骤S210：获取毫米波雷达的安装高度与角度；
步骤S211：将毫米波雷达所在的球坐标系转换到世界坐标系中，以毫米波雷达位置为坐标原点，毫米波雷达检测到的目标为P，目标P与毫米波雷达的径向距离为r，方位角为α。假设雷达安装高度为h，雷达波束斜向下照射，s为雷达波束中轴线和地平面的交点与雷达的径向距离，目标P与毫米波雷达在中轴线与竖直方向的平面内的角度为θ。
由图3几何关系可知，径向距离r可分解为：
Figure BDA0002939326520000101
Figure BDA0002939326520000102
以直线s向地面倾斜方向为O-Zw轴正方向，以雷达所在平面水平向左为O-Xw轴正方向，垂直于O-Xw轴向上的设为O-Yw轴正方向，建立O-XwYwZw世界坐标系。可得：
Figure BDA0002939326520000111
由三角函数关系可得：
Figure BDA0002939326520000112
步骤212：根据视频检测器安装位置，将毫米波雷达世界坐标系转换为视频检测器的相机坐标系，点(xw,yw,zw)从世界坐标系向相机坐标系转换的关系式为：
Figure BDA0002939326520000113
其中，R为3×3的坐标系旋转矩阵，T为3×1的平移向量，点(xc,yc,zc)是点(xw,yw,zw)在相机坐标系下的坐标。R和T的参数数值取决于摄像机安装位置，在实际应用中，毫米波雷达与视频检测器的安装位置应根据检验需求，检测性能等确定合适的位置，二者安装的位置可能存在距离，此处采用不同位置的毫米波雷达和视频检测器空间融合的坐标系转换算法，增加适用性。
步骤S213：将相机坐标系下的点(xc,yc,zc)转换为图像坐标系中的点(xi,yi)，其坐标为：
Figure BDA0002939326520000121
公式中f为摄像机的焦距；
通过上述步骤，将毫米波雷达所在的球坐标系转换为世界坐标系，再将世界坐标系转换为相机坐标系，再将相机坐标系转换为图像坐标系，从而实现空间上的转换。
如图4所示，在步骤S213中，对图像坐标系和图像像素坐标系进行校准，具体为：将图像坐标系下的点(xi,yi)转换为图像像素坐标系下的点(u,v)，
Figure BDA0002939326520000122
图像坐标系O-xiyi的坐标原点在像素坐标系O-uv中的坐标为(u0,v0)，δ为像素坐标系O-uv中坐标轴之间的夹角，u0，v0可以通过张正友相机标定法获取。
在理想状态中，图像坐标系和像素坐标系是重合的，但实际中，由于镜头的几何结构差异和畸变，在将图像坐标系转换为像素坐标系中时，需要对二者进行校准，从而增加数据处理的准确性。
作为上述实施例的优选，步骤二中，在时间上的融合包括如下步骤：
步骤S220：设置一个时延，使毫米波雷达和视频检测器的时间采集起点一致，具体为：
tradar＝tcamera±τcal
其中，tradar为毫米波雷达的时间坐标，tcamera为视频检测器的时间坐标，τcal设定的时延；
步骤S221：对毫米波雷达和视频检测器的时间进行配准；具体为：设置插值区间，且区间内三点估计值为
Figure BDA0002939326520000131
假设三个时刻tk-1、tk、tk+1是等间隔的，即tk-tk-1＝T；当插值点时间为t＝tk+Δt，利用拉格朗日三点插值法计算出t时刻的测量值为：
Figure BDA0002939326520000132
从而实现时间的配准。
不同的传感器数据采集频率存在差异且采集时间起点不同，通过将毫米波雷达和视频检测器的时间同步，从而使二者描述相同时刻的信息，方便后续进行处理。
作为上述实施例的优选，步骤S221中，在对毫米波雷达和视频检测器的时间进行配准时，以数据采集周期长的传感器为基准，并假设配准时刻位于插值区间中间。
在实际应用中，因采用的传感器的型号不同，毫米波雷达的数据采集频率可能大于或者小于视频检测器的数据采集频率，为了不失一般性，以数据采集周期长的传感器为基准，有效增加了数据处理的准确性。
由于分辨率高，毫米波雷达可以先后检测到车辆的不同位置形成多条航迹，单一的毫米波雷达检测输出结果存在冗余，可以利用雷达信息在图像上找到可能存在车辆的区域，即感兴趣区域。
基于毫米波雷达的感兴趣区域的定义直接影响检测器的融合结果，感兴趣区域可以采用下面方法确定：
步骤S300：先定义车辆宽高比rwh，
Figure BDA0002939326520000141
其中，width表示车辆宽度，height为车辆高度；
根据车辆的典型三维点云图像可知车辆几何特征比较稳定，可根据车辆外形获得感兴趣区域尺寸，
步骤S301：根据车辆宽高比建立感兴趣区域尺寸，具体为：
Ps＝Pst×rwh×α×β×γ
Ps为感兴趣区域纵向像素大小，Pst为初始像素纵向大小，可取100；α表示车辆是否为货车，为货车时取2，其余车辆取1；β表示放大系数，旨在降低漏检率，可取1.2；γ表示距离系数，将感兴趣区域的中心选在目标中心；感兴趣区域像素大小与目标距离为反比关系。
作为上述实施例的优选，步骤三中，采用卷积神经网络Mask-R-CNN对冗余的感兴趣区域进行识别，神经网络处理器根据处理后的历史数据获取训练样本集合测试样本集，确定卷积神经网络的卷积层、池化层、全连接层层数与结构，保存车辆检测模型参数，提取视频采集器图像中目标元素的特征，通过训练得到的车辆检测模型对图像深度学习，确定存在车辆的感兴趣区域。
通过采用卷积神经网络进行识别，在识别过程中，通过训练得到的车辆检测模型对图像深度学习，且将处理后的历史数据获取训练样本集合测试样本集，确定卷积神经网络的卷积层、池化层、全连接层层数与结构，保存车辆检测模型参数，增加识别的准确性。
如图2所示，本发明还包括一种基于雷达与视频融合的道路运行状态检测***，包括：
数据采集模块，数据采集模块包括毫米波雷达和视频检测器，毫米波雷达用于检测运动目标的位置、速度和角度；视频检测器用于检测运动目标的图像信息；
数据处理模块，数据处理模块与数据采集模块通信连接，对数据采集模块采集的原始数据进行处理并输出交通参数，数据处理模块包括微处理器和嵌入式神经网络处理器；
数据存储模块，数据存储模块与数据处理模块通信连接，数据存储模块用于存储交通参数。
数据通信模块，数据通信模块与数据存储模块和数据中心通信连接，将交通参数传输至数据中心或实现数据中心对交通参数的调用。
通过设置数据采集模块、数据处理模块、数据存储模块和数据通信模块，从而在路侧检测单元内完成边缘计算，减少上一级数据中心的处理压力，输出一定时间内的交通参数统计数据，包括流量、排队长度、平均速度等，结合了视频检测器和毫米波雷达的信息，将毫米波雷达采集的信息和视频检测器采集的信息实现空间和时间上的融合，获取更丰富准确的交通运行状态信息，提高了道路检测***的鲁棒性；能够在路侧完成交通运行状态信息的获取，减轻上一级数据中心的运算压力；通过卷积神经网络Mask-R-CNN处理视频图像信息，实现目标检测和目标参数获取，比传统目标检测的帧间差分、背景差分等方法精确度更高；
本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (9)

1.一种基于雷达与视频融合的道路运行状态检测方法，其特征在于，包括如下步骤：
步骤一：通过毫米波雷达和视频检测器对运动目标进行数据采集，毫米波雷达实时采集运动目标的位置、速度和角度；视频检测器实时采集高清路面图像信息，对数据进行预处理，过滤干扰和无效信息；
步骤二：将毫米波雷达数据坐标转换至视频像素坐标系坐标，并将毫米波雷达与视频检测器的时间进行配准，实现毫米波雷达的冗余车辆感兴趣区域对视频图像的映射，完成传感器的时空融合；
步骤三：采用经历史图像数据训练得到的卷积神经网络对感兴趣区域进行识别，确定存在车辆的感兴趣区域，剔除雷达虚警信息；
步骤四：根据车辆识别结果进行交通统计数据计算，得到一定时间段内交通运行状态参数，包括流量、平均速度和排队长度。
2.根据权利要求1所述的基于雷达与视频融合的道路运行状态检测方法，其特征在于，步骤二中在实现空间的融合时，包括如下步骤：
步骤S210：获取毫米波雷达的安装高度与角度；
步骤S211：将毫米波雷达所在的球坐标系转换到世界坐标系中，以毫米波雷达位置为坐标原点，毫米波雷达检测到的目标为P，目标P与毫米波雷达的径向距离为r，方位角为α，雷达安装高度为h，雷达波束斜向下照射，s为雷达波束中轴线和地平面的交点与雷达的径向距离，目标P与毫米波雷达在中轴线与竖直方向的平面内的角度为θ；
将径向距离r分解为：
Figure FDA0002939326510000021
Figure FDA0002939326510000022
以直线s向地面倾斜方向为O-Zw轴正方向，以雷达所在平面水平向左为O-Xw轴正方向，垂直于O-Xw轴向上的设为O-Yw轴正方向，建立O-XwYwZw世界坐标系：
Figure FDA0002939326510000023
由三角函数关系可得：
Figure FDA0002939326510000024
步骤212：根据视频检测器安装位置，将毫米波雷达世界坐标系转换为视频检测器的相机坐标系，点(xw,yw,zw)从世界坐标系向相机坐标系转换的关系式为：
Figure FDA0002939326510000025
其中，R为3×3的坐标系旋转矩阵，T为3×1的平移向量，点(xc,yc,zc)是点(xw,yw,zw)在相机坐标系下的坐标；R和T的参数数值取决于摄像机安装位置；
步骤S213：将相机坐标系下的点(xc,yc,zc)转换为图像坐标系中的点(xi,yi)，其坐标为：
Figure FDA0002939326510000031
公式中f为摄像机的焦距。
3.根据权利要求2所述的基于雷达与视频融合的道路运行状态检测方法，其特征在于，在步骤S213中，对图像坐标系和图像像素坐标系进行校准，具体为：将图像坐标系下的点(xi,yi)转换为图像像素坐标系下的点(u,v)，
Figure FDA0002939326510000032
图像坐标系O-xiyi的坐标原点在像素坐标系O-uv中的坐标为(u0,v0)，δ为像素坐标系O-uv中坐标轴之间的夹角。
4.根据权利要求3所述的基于雷达与视频融合的道路运行状态检测方法，其特征在于，所述步骤二中，在时间上的融合包括如下步骤：
步骤S220：设置一个时延，使毫米波雷达和视频检测器的时间采集起点一致，具体为：
tradar＝tcamera±τcal
其中，tradar为毫米波雷达的时间坐标，tcamera为视频检测器的时间坐标，τcal设定的时延；
步骤S221：对毫米波雷达和视频检测器的时间进行配准；具体为：设置插值区间，且区间内三点估计值为
Figure FDA0002939326510000041
假设三个时刻tk-1、tk、tk+1是等间隔的，即tk-tk-1＝T；当插值点时间为t＝tk+Δt，利用拉格朗日三点插值法计算出t时刻的测量值为：
Figure FDA0002939326510000042
从而实现时间的配准。
5.根据权利要求4所述的基于雷达与视频融合的道路运行状态检测方法，其特征在于，步骤S221中，在对毫米波雷达和视频检测器的时间进行配准时，以数据采集周期长的传感器为基准，并假设配准时刻位于插值区间中间。
6.根据权利要求1所述的基于雷达与视频融合的道路运行状态检测方法，其特征在于，步骤三中，感兴趣区域根据以下步骤确定：
步骤S300：先定义车辆宽高比rwh，
Figure FDA0002939326510000043
其中，width表示车辆宽度，height为车辆高度；
步骤S301：根据车辆宽高比建立感兴趣区域尺寸，具体为：
Ps＝Pst×rwh×α×β×γ
Ps为感兴趣区域纵向像素大小，Pst为初始像素纵向大小；α表示车辆是否为货车，为货车时取2，其余车辆取1；β表示放大系数；γ表示距离系数，将感兴趣区域的中心选在目标中心。
7.根据权利要求6所述的基于雷达与视频融合的道路运行状态检测方法，其特征在于，感兴趣区域像素大小与目标距离为反比关系。
8.根据权利要求1所述的基于雷达与视频融合的道路运行状态检测方法，其特征在于，步骤三中，采用卷积神经网络Mask-R-CNN对冗余的感兴趣区域进行识别，神经网络处理器根据处理后的历史数据获取训练样本集合测试样本集，确定卷积神经网络的卷积层、池化层、全连接层层数与结构，保存车辆检测模型参数，提取视频采集器图像中目标元素的特征，通过训练得到的车辆检测模型对图像深度学习，确定存在车辆的感兴趣区域。
9.一种基于雷达与视频融合的道路运行状态检测***，其特征在于，包括：
数据采集模块，所述数据采集模块包括毫米波雷达和视频检测器，所述毫米波雷达用于检测运动目标的位置、速度和角度；所述视频检测器用于检测运动目标的图像信息；
数据处理模块，所述数据处理模块与所述数据采集模块通信连接，对所述数据采集模块采集的原始数据进行处理并输出交通参数，所述数据处理模块包括微处理器和嵌入式神经网络处理器；
数据存储模块，所述数据存储模块与所述数据处理模块通信连接，所述数据存储模块用于存储交通参数；
数据通信模块，所述数据通信模块与所述数据存储模块和数据中心通信连接，将交通参数传输至数据中心或实现数据中心对交通参数的调用。
CN202110172642.XA 2021-02-08 2021-02-08 一种基于雷达与视频融合的道路运行状态检测方法及*** Pending CN112946628A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110172642.XA CN112946628A (zh) 2021-02-08 2021-02-08 一种基于雷达与视频融合的道路运行状态检测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110172642.XA CN112946628A (zh) 2021-02-08 2021-02-08 一种基于雷达与视频融合的道路运行状态检测方法及***

Publications (1)

Publication Number Publication Date
CN112946628A true CN112946628A (zh) 2021-06-11

Family

ID=76244200

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110172642.XA Pending CN112946628A (zh) 2021-02-08 2021-02-08 一种基于雷达与视频融合的道路运行状态检测方法及***

Country Status (1)

Country Link
CN (1) CN112946628A (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113450580A (zh) * 2021-08-19 2021-09-28 浙江安沿科技有限公司 一种用于车流量监测的雷达
CN113506440A (zh) * 2021-09-08 2021-10-15 四川国蓝中天环境科技集团有限公司 一种拉格朗日坐标系下多源数据融合的交通状态估计方法
CN113581199A (zh) * 2021-06-30 2021-11-02 银隆新能源股份有限公司 车辆的控制方法及装置
CN113627569A (zh) * 2021-09-27 2021-11-09 浙江高速信息工程技术有限公司 一种用于交通大场景的雷达视频一体机的数据融合方法
CN114202931A (zh) * 2021-12-10 2022-03-18 深圳市旗扬特种装备技术工程有限公司 一种雷视融合交通事件检测***的5g空中升级方法
CN114419572A (zh) * 2022-03-31 2022-04-29 国汽智控(北京)科技有限公司 多雷达目标检测方法、装置、电子设备及存储介质
CN114495520A (zh) * 2021-12-30 2022-05-13 北京万集科技股份有限公司 一种车辆的计数方法、装置、终端和存储介质
CN114627409A (zh) * 2022-02-25 2022-06-14 海信集团控股股份有限公司 一种车辆异常变道的检测方法及装置
CN114814825A (zh) * 2022-03-23 2022-07-29 合肥工业大学 一种基于雷达和视频融合的车辆轨迹感知与状态提取方法
CN114842643A (zh) * 2022-04-20 2022-08-02 深圳市旗扬特种装备技术工程有限公司 视频车辆检测模型在线更新方法、装置及雷视融合***
CN115019512A (zh) * 2022-07-05 2022-09-06 北京动视元科技有限公司 一种基于雷达视频融合的道路事件检测***
CN115083088A (zh) * 2022-05-11 2022-09-20 长江慧控科技(武汉)有限公司 铁路周界入侵预警方法
CN115331190A (zh) * 2022-09-30 2022-11-11 北京闪马智建科技有限公司 一种基于雷视融合的道路隐患识别方法及装置
CN115346368A (zh) * 2022-07-30 2022-11-15 东南大学 一种基于远、近景多传感器一体融合的交通路侧感知***及方法
CN115376312A (zh) * 2022-07-22 2022-11-22 交通运输部路网监测与应急处置中心 一种基于雷达和视频融合的公路监控方法及***
CN115421136A (zh) * 2022-07-28 2022-12-02 广西北投信创科技投资集团有限公司 一种车辆检测***及其检测方法
CN115440056A (zh) * 2022-08-02 2022-12-06 天津光电聚能专用通信设备有限公司 基于毫米波雷达与视觉融合的智能安全防护***
CN115527364A (zh) * 2022-08-25 2022-12-27 西安电子科技大学广州研究院 一种基于雷视数据融合的交通事故溯源方法及***
CN115830032A (zh) * 2023-02-13 2023-03-21 杭州闪马智擎科技有限公司 基于旧有设施的道路伸缩缝病变识别方法及装置
CN115985095A (zh) * 2022-12-23 2023-04-18 河北德冠隆电子科技有限公司 一种智慧交通用多维度雷视融合一体机
CN116189116A (zh) * 2023-04-24 2023-05-30 江西方兴科技股份有限公司 一种交通状态感知方法及***
CN116913097A (zh) * 2023-09-14 2023-10-20 江西方兴科技股份有限公司 一种交通状态预测方法及***
CN117233725A (zh) * 2023-11-15 2023-12-15 中国空气动力研究与发展中心计算空气动力研究所 基于图神经网络多特征融合的相干雷达目标检测方法
CN117672007A (zh) * 2024-02-03 2024-03-08 福建省高速公路科技创新研究院有限公司 一种基于雷视融合的道路施工区域安全预警***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609522A (zh) * 2017-09-19 2018-01-19 东华大学 一种基于激光雷达和机器视觉的信息融合车辆检测***
CN110068818A (zh) * 2019-05-05 2019-07-30 中国汽车工程研究院股份有限公司 通过雷达和图像采集设备进行交通路口车辆及行人检测的工作方法
US20200041612A1 (en) * 2018-08-02 2020-02-06 Metawave Corporation Recurrent super-resolution radar for autonomous vehicles
CN111368706A (zh) * 2020-03-02 2020-07-03 南京航空航天大学 基于毫米波雷达和机器视觉的数据融合动态车辆检测方法
CN112130136A (zh) * 2020-09-11 2020-12-25 中国重汽集团济南动力有限公司 一种交通目标综合感知***及方法
CN112147612A (zh) * 2020-08-19 2020-12-29 上海图丽信息技术有限公司 一种融合雷达视频的车辆实时跟踪的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609522A (zh) * 2017-09-19 2018-01-19 东华大学 一种基于激光雷达和机器视觉的信息融合车辆检测***
US20200041612A1 (en) * 2018-08-02 2020-02-06 Metawave Corporation Recurrent super-resolution radar for autonomous vehicles
CN110068818A (zh) * 2019-05-05 2019-07-30 中国汽车工程研究院股份有限公司 通过雷达和图像采集设备进行交通路口车辆及行人检测的工作方法
CN111368706A (zh) * 2020-03-02 2020-07-03 南京航空航天大学 基于毫米波雷达和机器视觉的数据融合动态车辆检测方法
CN112147612A (zh) * 2020-08-19 2020-12-29 上海图丽信息技术有限公司 一种融合雷达视频的车辆实时跟踪的方法
CN112130136A (zh) * 2020-09-11 2020-12-25 中国重汽集团济南动力有限公司 一种交通目标综合感知***及方法

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113581199A (zh) * 2021-06-30 2021-11-02 银隆新能源股份有限公司 车辆的控制方法及装置
CN113450580A (zh) * 2021-08-19 2021-09-28 浙江安沿科技有限公司 一种用于车流量监测的雷达
CN113506440A (zh) * 2021-09-08 2021-10-15 四川国蓝中天环境科技集团有限公司 一种拉格朗日坐标系下多源数据融合的交通状态估计方法
CN113506440B (zh) * 2021-09-08 2021-11-30 四川国蓝中天环境科技集团有限公司 一种拉格朗日坐标系下多源数据融合的交通状态估计方法
CN113627569A (zh) * 2021-09-27 2021-11-09 浙江高速信息工程技术有限公司 一种用于交通大场景的雷达视频一体机的数据融合方法
CN114202931B (zh) * 2021-12-10 2022-07-08 深圳市旗扬特种装备技术工程有限公司 一种雷视融合交通事件检测***的5g空中升级方法
CN114202931A (zh) * 2021-12-10 2022-03-18 深圳市旗扬特种装备技术工程有限公司 一种雷视融合交通事件检测***的5g空中升级方法
CN114495520A (zh) * 2021-12-30 2022-05-13 北京万集科技股份有限公司 一种车辆的计数方法、装置、终端和存储介质
CN114495520B (zh) * 2021-12-30 2023-10-03 北京万集科技股份有限公司 一种车辆的计数方法、装置、终端和存储介质
CN114627409A (zh) * 2022-02-25 2022-06-14 海信集团控股股份有限公司 一种车辆异常变道的检测方法及装置
CN114814825A (zh) * 2022-03-23 2022-07-29 合肥工业大学 一种基于雷达和视频融合的车辆轨迹感知与状态提取方法
CN114419572B (zh) * 2022-03-31 2022-06-17 国汽智控(北京)科技有限公司 多雷达目标检测方法、装置、电子设备及存储介质
CN114419572A (zh) * 2022-03-31 2022-04-29 国汽智控(北京)科技有限公司 多雷达目标检测方法、装置、电子设备及存储介质
CN114842643A (zh) * 2022-04-20 2022-08-02 深圳市旗扬特种装备技术工程有限公司 视频车辆检测模型在线更新方法、装置及雷视融合***
CN115083088A (zh) * 2022-05-11 2022-09-20 长江慧控科技(武汉)有限公司 铁路周界入侵预警方法
CN115019512A (zh) * 2022-07-05 2022-09-06 北京动视元科技有限公司 一种基于雷达视频融合的道路事件检测***
CN115376312A (zh) * 2022-07-22 2022-11-22 交通运输部路网监测与应急处置中心 一种基于雷达和视频融合的公路监控方法及***
CN115421136A (zh) * 2022-07-28 2022-12-02 广西北投信创科技投资集团有限公司 一种车辆检测***及其检测方法
CN115346368A (zh) * 2022-07-30 2022-11-15 东南大学 一种基于远、近景多传感器一体融合的交通路侧感知***及方法
CN115346368B (zh) * 2022-07-30 2024-01-05 东南大学 一种基于远、近景多传感器一体融合的交通路侧感知***及方法
CN115440056A (zh) * 2022-08-02 2022-12-06 天津光电聚能专用通信设备有限公司 基于毫米波雷达与视觉融合的智能安全防护***
CN115527364A (zh) * 2022-08-25 2022-12-27 西安电子科技大学广州研究院 一种基于雷视数据融合的交通事故溯源方法及***
CN115527364B (zh) * 2022-08-25 2023-11-21 西安电子科技大学广州研究院 一种基于雷视数据融合的交通事故溯源方法及***
CN115331190A (zh) * 2022-09-30 2022-11-11 北京闪马智建科技有限公司 一种基于雷视融合的道路隐患识别方法及装置
CN115331190B (zh) * 2022-09-30 2022-12-09 北京闪马智建科技有限公司 一种基于雷视融合的道路隐患识别方法及装置
CN115985095A (zh) * 2022-12-23 2023-04-18 河北德冠隆电子科技有限公司 一种智慧交通用多维度雷视融合一体机
CN115830032A (zh) * 2023-02-13 2023-03-21 杭州闪马智擎科技有限公司 基于旧有设施的道路伸缩缝病变识别方法及装置
CN116189116A (zh) * 2023-04-24 2023-05-30 江西方兴科技股份有限公司 一种交通状态感知方法及***
CN116189116B (zh) * 2023-04-24 2024-02-23 江西方兴科技股份有限公司 一种交通状态感知方法及***
CN116913097A (zh) * 2023-09-14 2023-10-20 江西方兴科技股份有限公司 一种交通状态预测方法及***
CN116913097B (zh) * 2023-09-14 2024-01-19 江西方兴科技股份有限公司 一种交通状态预测方法及***
CN117233725A (zh) * 2023-11-15 2023-12-15 中国空气动力研究与发展中心计算空气动力研究所 基于图神经网络多特征融合的相干雷达目标检测方法
CN117233725B (zh) * 2023-11-15 2024-01-23 中国空气动力研究与发展中心计算空气动力研究所 基于图神经网络多特征融合的相干雷达目标检测方法
CN117672007A (zh) * 2024-02-03 2024-03-08 福建省高速公路科技创新研究院有限公司 一种基于雷视融合的道路施工区域安全预警***
CN117672007B (zh) * 2024-02-03 2024-04-26 福建省高速公路科技创新研究院有限公司 一种基于雷视融合的道路施工区域安全预警***

Similar Documents

Publication Publication Date Title
CN112946628A (zh) 一种基于雷达与视频融合的道路运行状态检测方法及***
CN109444911B (zh) 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法
EP3885794A1 (en) Track and road obstacle detecting method
CN110379178B (zh) 基于毫米波雷达成像的无人驾驶汽车智能泊车方法
Sugimoto et al. Obstacle detection using millimeter-wave radar and its visualization on image sequence
CN110568433A (zh) 基于毫米波雷达的高空抛物检测方法
CN111045000A (zh) 监测***和方法
CN116685873A (zh) 一种面向车路协同的感知信息融合表征及目标检测方法
CN112363167A (zh) 一种基于毫米波雷达与单目相机融合的扩展目标跟踪方法
CN113359097A (zh) 一种毫米波雷达和相机联合标定的方法
CN113850102B (zh) 基于毫米波雷达辅助的车载视觉检测方法及***
CN113566833A (zh) 一种多传感器融合的车辆定位方法及***
CN110764083B (zh) 毫米波雷达防入侵的数据融合方法及***
Cui et al. 3D detection and tracking for on-road vehicles with a monovision camera and dual low-cost 4D mmWave radars
CN113504525B (zh) 一种雾区能见度反演方法及***
CN112784679A (zh) 车辆避障方法和装置
CN115690746A (zh) 一种基于车路协同的无盲区感知方法和***
CN116978009A (zh) 基于4d毫米波雷达的动态物体滤除方法
CN113504543B (zh) 无人机LiDAR***定位定姿***及方法
CN117029840A (zh) 一种移动车辆定位方法及***
CN113947141B (zh) 一种城市路口场景的路侧灯塔感知***
CN110865367A (zh) 一种雷达视频数据智能融合方法
Huang et al. An efficient multi-threshold selection method for lane detection based on lidar
CN113848825B (zh) 柔性生产车间agv状态监控***及方法
CN112162283B (zh) 一种全路段组网交通雷达多目标探测***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210611