CN116699602A - 一种基于毫米波雷达和相机融合的目标检测***及方法 - Google Patents

一种基于毫米波雷达和相机融合的目标检测***及方法 Download PDF

Info

Publication number
CN116699602A
CN116699602A CN202310619119.6A CN202310619119A CN116699602A CN 116699602 A CN116699602 A CN 116699602A CN 202310619119 A CN202310619119 A CN 202310619119A CN 116699602 A CN116699602 A CN 116699602A
Authority
CN
China
Prior art keywords
millimeter wave
wave radar
target
camera
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310619119.6A
Other languages
English (en)
Inventor
王咸鹏
蔡贵忠
兰翔
黄梦醒
国月皓
李亮亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hainan University
Original Assignee
Hainan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hainan University filed Critical Hainan University
Priority to CN202310619119.6A priority Critical patent/CN116699602A/zh
Publication of CN116699602A publication Critical patent/CN116699602A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明提供一种基于毫米波雷达和相机融合的目标检测***及方法，该方法使用毫米波雷达和相机分别对目标进行检测，通过时间匹配对准后，对毫米波雷达采集的毫米波雷达原始数据进行距离FFT、多普勒FFT、CFAR恒虚警检测和DOA估计等算法处理，初步得到检测场景毫米波雷达感兴趣目标的3D点云数据，再通过真实的道路情况制定的规则对毫米波雷达感兴趣目标的3D点云数据进行初步筛选、聚类融合、有效目标提取等算法处理后，和来自同一时间经过YOLOv4算法目标检测后的相机数据在空间坐标系的统一转换下进行信息融合，实现了两个传感器检测性能的优势互补，有效解决自动驾驶***和智能监控***中单传感器目标检测信息不全面、错检和漏检的情况。

Description

一种基于毫米波雷达和相机融合的目标检测***及方法
技术领域
本发明涉及雷达信号处理技术领域，尤其涉及一种基于毫米波雷达和相机融合的目标检测***及方法。
背景技术
多传感器信息融合技术主要是指利用计算机技术将多传感器或多源的信息和数据，在一定的准则下加以自动分析和综合，以完成所需的决策和估计而进行的信息处理过程。而在智能交通***的应用中，用于环境感应的传感器主要有激光雷达、毫米波雷达、相机等。每个传感器都有自己的优点和缺点。对于视觉传感器相机，它有着成本低、信息丰富、易于感知分类的优点，且不断提高的检测率和计算效率的网络结构包括YOLO、Fast-RCNN等网络的出现证明使用深度学习的相机图像中的目标检测无疑是成功的。但相机对照明环境的适应性差，难以获得目标的三维信息，并且精度比较低，这就导致了在雨雾天等比较恶劣的环境或者有遮挡的环境下，相机对目标检测的性能会大打折扣。
而同样作为使用最广泛的汽车传感器之一的毫米波雷达，则具有更长的探测距离，对目标纵向距离和速度的测量精度更高，并且不受光照条件的影响，可以在所有天气下工作，但却无法准确识别目标类型。由于毫米波雷达和相机两个传感器极具互补的特性，导致它们的融合在多传感器融合技术研究中最为广泛。基于毫米波雷达和相机融合的目标检测技术作为当前的研究热点，在对它的研究中，丰田汽车公司(Toyota MotorCorporation)的Shigeki提出了一种基于单应变换的毫米波雷达和相机联合校准方法，并使用占用网格法对目标进行聚类；而国外学者Masaki的方法是利用毫米波雷达检测到的目标点云点投影到图像像素坐标系生成目标假设区域，再通过传统视觉检测进行目标类别识别；类似的，清华大学学者罗逍，利用同样的融合思想，但在针对车辆检测中，采用了车辆底部阴影和毫米波雷达点同时提取目标假设区域，可减少毫米波雷达的漏检的情况。学者Xinyu则是利用毫米波雷达点投影得到目标假设区域直接输入到RPN网络中进行目标分类。
基于以上分析，当前对毫米波雷达和相机信息融合的目标检测中，往往以下问题和不足：1)没有充分运用毫米波雷达的信息；2)融合***数据量过高造成后期处理困难3)使用二阶段视觉目标检测算法导致处理速度没有一阶段快等。因此，发明一种新的基于毫米波雷达和相机融合的目标检测***及方法具有非常大的理论意义和现实意义。
发明内容
鉴于此，本发明的目的在于针对现有基于单传感器目标检测的信息不全面、鲁棒性差、受外界环境影响严重、以及容易漏检和错检的问题，提供一种基于毫米波雷达和相机融合的目标检测***及方法。该方法中的毫米波雷达目标检测处理算法主要利用距离FFT、多普勒FFT、CFAR恒虚警检测和DOA估计等算法处理，再结合实际道路情况设置一系列的规则对数据进行筛选剔除，提高目标的检测精度和降低后期的数据处理量。相机视频目标检测主要使用当下兼具检测精度和检测速度的YOLOv4网络，并且YOLOv4网络的训练使用的数据集是在真实的道路情况采集的车辆图片制作得到的。本发明所提供的利用毫米波雷达的采样值和相机采集的视频作为输入，在时间匹配下分别通过雷达算法和YOLOv4算法处理，得到毫米波雷达感兴趣目标和相机感兴趣目标，然后再空间坐标系转化下，进行目标的匹配和目标的融合，有效综合了两个传感器的信息，使目标的信息更全面，弥补了单一传感器的不足，降低了错检和漏检的情况。
为实现上述发明目的，本发明第一方面提供一种基于毫米波雷达和相机融合的目标检测方法，所述方法包括步骤：
S1、使用毫米波雷达和相机同时对检测场景进行检测，实现毫米波雷达原始数据和相机采集数据的时间匹配；
S2、对经过时间匹配得到的毫米波雷达原始数据通过预设雷达算法进行处理，得到检测场景毫米波雷达兴趣目标的距离、速度和角度信息，从而得到检测场景毫米波雷达兴趣目标的3D点云数据；
S3、将步骤S2得到的3D点云数据经过实际车道情况的横向距离和纵向距离限制，以及预设规则对其中的静止目标、无效目标和空目标进行筛除，得到可信度更高的3D点云数据；
S4、将步骤S3得到的可信度更高的3D点云数据经过DBSCAN聚类融合后得到目标簇，再通过对簇内的点进行筛选得到新簇，对其进行距离平均得到可以代表目标位置的3D坐标点；
S5、对经过时间匹配得到的相机采集数据使用YOLOv4网络进行目标检测和测距模型算法检测，得到相机兴趣目标和目标的相机检测距离；
S6、以相机的光心为中心建立相机坐标系，以毫米波雷达采集板中心建立毫米波雷达坐标系，计算得到毫米波雷达坐标系、相机坐标系、世界坐标系、图像坐标系和像素坐标系之间的转化关系；
S7、将可以代表目标位置的3D坐标点根据步骤S6中各个坐标系之间的转化关系转化到像素坐标系下，得到其在像素坐标系下的2D像素点，根据2D像素点是否在步骤S5中得到的目标识别框内，以及毫米波雷达测得目标纵向距离与相机测得的目标纵向距离的差值大小两组关系进行目标匹配和目标融合。
进一步的，步骤S1中实现毫米波雷达原始数据和相机采集数据的时间匹配，具体为：以频率相对较低的毫米波雷达原始数据采集时间为参考，对频率相对较高的相机采集数据进行向后兼容。
进一步的，步骤S2具体包括以下步骤：
S21、将毫米波雷达采集的原始数据使用距离FFT和多普勒FFT算法处理得到检测场景毫米波雷达兴趣目标的距离和速度信息；
S22、根据接收信号的强度分析设置最佳的CFAR恒虚警检测阈值，得到毫米波雷达兴趣目标的个数；
S23、根据毫米波雷达兴趣目标的个数，使用DOA估计算法处理得到毫米波雷达兴趣目标的角度信息，根据步骤S21、S22、S23得到的信息绘制毫米波雷达兴趣目标的3d点云图。
进一步的，步骤S21具体包括以下步骤：
S211、对毫米波雷达采集的原始数据进行3维FFT，然后通过峰值搜索检测出峰值位置，得到差拍频率和多普勒频率；
S212、通过差拍频率减去多普勒频率得到中频信号，根据频率与实际距离和速度的关系，得到毫米波雷达兴趣目标的距离和速度。
进一步的，步骤S3具体包括以下步骤：
S31、根据车道实际距离，设置横向距离为三个标准车道距离，剔除车道两端树木、垃圾桶、护栏以及非相邻车道的目标的干扰；
S32、根据毫米波雷达测试的最大检测距离，设置纵向距离为2m-200m，剔除远距离非感兴趣的目标车辆以及近距离的地杂波反射造成的虚假目标的干扰；
S33、根据3D点云数据的情况，对目标参数为0的点云数据进行剔除，剔除空目标以及无效目标的干扰。
进一步的，步骤S4具体包括以下步骤：
S41、根据实际车辆的长宽和测试结果进行对比分析，得到最佳的DBSCAN聚类融合算法的指定半径值和最小点minPts；
S42、对所得到的高可信度的点云数据进行DBSCAN聚类融合形成簇；
S43、对每一个簇里面的点进行筛选得到新簇，对新簇内的点进行距离平均，得到可以代表目标位置的3D坐标点。
进一步的，步骤S43具体包括以下步骤：
S431、针对每一个形成的簇都先选择所有点的速度值的众数为vref，其他点的速度分别为vi(i≥3),设置速度的阈值vthold为0.05m/s；
S432、针对每一个形成的簇中除了参考点之外的每一个点的速度都与参考点的速度进行减法运算；
S433、进行减法运算之后的点若是满足式1，则保留该点，若是不满足，则剔除该点，每一个形成的簇剔除掉不满足式1的点之后形成新簇，式1如下所示：
|vref-vi|<vthold
S434、得到的新簇里面的点分别进行x方向、y方向和z方向上的距离平均，得到可以代表目标位置的3d坐标点。
进一步的，步骤S7具体包括以下步骤：
S71、对每一个新簇里面的点距离平均得到可以代表目标位置的3D坐标点，通过步骤S6所建立的坐标关系，将可以代表目标位置的3d坐标点转化到像素坐标系下的像素点；
S72、如果转化后的像素点满足在视觉的识别框内，而且相机所测得的目标纵向距离dc以及毫米波雷达所测得的目标纵向距离dr满足式2，则视为匹配成功，式2如下所示：
|dc-dr|<dthold
其中dthold为纵向距离阈值，若是两个条件有一个不满足，则匹配不成功；
S73、若是匹配不成功，则根据条件不满足的情况进行具体判断，包括：当相机检测成功而毫米波雷达未检测成功时，根据视觉检测目标得到的置信度进行判断，置信度大于0.75则认为目标存在，且初步采用相机测得的目标距离值，在接下来的若干帧数据再对其与毫米波雷达进行匹配；当毫米波雷达检测成功而相机未检测成功，则对毫米波雷达采集数据进行多帧的处理跟踪，如果目标不丢失则视为目标存在，直接使用毫米波雷达检测的数据，目标丢失则视为干扰目标丢弃。
本发明第二方面提供一种基于毫米波雷达和相机融合的目标检测***，所述***包括毫米波雷达、相机和计算机，所述毫米波雷达和相机分别与计算机相连接，所述计算机用于实现前述第一方面所述的方法。
与现有技术相比，本发明的有益效果是：
本发明提供的一种基于毫米波雷达和相机融合的目标检测***及方法，首先利用毫米波雷达和相机搭建的***对目标进行检测，然后在两路数据时间匹配的前提下，对毫米波雷达数据使用雷达相关算法处理之后，再对得到的毫米波雷达数据进行数据的筛选剔除、聚类融合、有效目标的提取等处理从而获取高可信度的目标，而对相机视频数据则是利用真实道路行驶的车辆目标图片作为训练集训练得到的YOLOv4网络进行目标检测从而获取高可信度的相机感兴趣目标，然后基于建立的硬件平台中相机和毫米波雷达的位置关系，以及坐标系的转化关系，将毫米波雷达感兴趣目标转化到图像坐标系与相机感兴趣目标进行目标匹配之后融合。本发明可以很好的融合两个传感器的信息，具有比较好的鲁棒性。同时，与一些现有的多传感器融合方法相比，本发明对毫米波雷达无效数据进行提前筛选滤除，使用工程常用的聚类DBSCAN算法可以有效的提取目标；在相机目标检测方面，使用一阶段YOLOv4算法，具备更高的检测精度和更快的速度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的优选实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于毫米波雷达和相机融合的目标检测方法整体流程示意图。
图2是本发明实施例提供的传感器时间匹配示意图。
图3是本发明实施例提供的毫米波雷达测试的结构框图。
图4是本发明实施例提供的毫米波雷达DOA估计原理图。
图5是本发明实施例提供的目标的检测场景的点云图。
图6是本发明实施例提供的目标通过提出的规则筛选后的图。
图7是本发明实施例提供的目标实际距离和速度图。
图8是本发明实施例通过DBSCAN聚类融合算法处理，再通过距离平均后得到可以代表目标的3d坐标点效果图。
图9是本发明实施例提供的基于毫米波雷达和相机融合的目标检测效果图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所列举实施例只用于解释本发明，并非用于限定本发明的范围。
参照图1，本实施例提供一种基于毫米波雷达和相机融合的目标检测方法，包括以下步骤：
S1、采用安装在同一三角架上的毫米波雷达和相机采集检测场景的数据，对采集得到的毫米波雷达原始数据和相机的视频数据进行时间匹配对准。毫米波雷达的帧率是25FPS，而相机的帧率是30FPS；对应的频率分别是40ms和33ms。为了保证融合的准确性，最适当的时间匹配方式是选取同一时刻的数据，也就是选取40和33的公倍数，但是这样会导致损失的过多的数据，达不到对目标实时检测的效果。对获取的检测场景的毫米波雷达原始数据和相机视频数据，采用以频率较低的毫米波雷达的数据测量时间为参考，实现了频率较高的相机数据的向后兼容，如图2所示，这样所造成的数据的时间误差最大不超过33ms，而按照我国城市道路规定的最高时速70km/h的时速，计算得知，在33ms内目标的移动转换到像素坐标系所造成的像素偏移很小，所以以频率较低的毫米波雷达的数据测量时间为参考，实现了频率较高的相机数据的向后兼容，从而实现两个传感器数据的时间匹配。
S2、如图2所示，从步骤S1时间匹配得到的第0ms、第40ms、第80ms和第120ms等等的毫米波雷达原始数据,使用相关的雷达检测算法处理得到检测场景相关目标的距离和速度信息，从而得到的检测场景毫米波雷达兴趣目标的3D点云数据。使用相关的雷达检测算法处理获取相关目标的信息具体步骤如下：
S211:在毫米波雷达采集的数据进行3维FFT，然后通过峰值搜索检测出峰值位置(x,y,z),并得到差拍频率fe：
多普勒频率fd为：
其中，fs是采样频率，NdFFT和NvFFT分别是距离和速度维度的FFT点数。
S212、实际情况下，目标由于移动会产生多普勒频移，为了得到真正的中频信号频率fIF，需要通过差拍频率fe减去多普勒频率fd得到，最终根据频率与实际距离和速度的关系，可以得到目标的距离d为：
目标的速度v为：
其中，c是光速，k是调频连续波信号随时间的变化率。
S22、根据接收信号的强度分析设置最佳的CFAR恒虚警检测阈值，得到兴趣目标的个数，并有效的降低了虚警和漏检的问题。
S23、毫米波雷达角度估计一个物体的角度，至少需要两个接收天线,如图4，通过发射天线发送一个chirp，经过物体发射后信号，信号分别被第一根天线和第二根天线接收，第一根天线接收的距离为d，第二根天线接收的距离为d+Δd，额外的距离会产生相位差，那么可以得到频率ω为：
假设两根天线接收回来的信号是平行的，如图4所示，则有Δd＝d sinθ，则频率ω可以变换为：
目标的角度θ随着可以得到。
S3、从步骤S2得到的检测场景毫米波雷达兴趣目标的3D点云数据，既包含了目标的点云数据，也包含了像路边的垃圾桶、广告牌、护栏、树木等干扰目标，其他杂波干扰所产生的无效目标以及一些空目标的点云数据。为了降低后期处理的运算量，提高处理速度，通过对实际车道情况的横向距离和纵向距离限制，以及设定相关的规则对静止目标、无效目标以及空目标的进行滤除，得到可信度高的点云数据的具体步骤如下：
S31、由于非相邻车道的目标不是主要的检测对象，根据车道的实际距离，设置合适的横向距离为本车道和包括相邻两个车道这三个车道的标准距离(-5.4m-5.4m)，可以剔除车道两端树木、垃圾桶、护栏以及非相邻车道的目标的干扰。
S32、实际测试中，会出现近距离的地杂波反射造成的虚假目标。再根据毫米波雷达测试的最大检测距离，设置纵向距离为2m-200m，可以有效剔除远距离非感兴趣的目标车辆以及近距离的地杂波反射造成的虚假目标的干扰。
S33、通过对大量的测量数据分析得到，点云数据中存在一些参数为0的空目标，这些会提高后期处理的数据量，可以根据目标参数是否为0进行剔除对这些空目标进行剔除。
进一步地，为了检验本发明提出的设定相关的规则对静止目标、无效目标以及空目标的进行滤除，得到可信度高的点云数据的算法的有效性，分别采用不同的检测下的静态和动态目标数据进行验证，结果如图5所示，由图5可知，本实施例基于设定相关的规则对静止目标、无效目标以及空目标的进行滤除，得到可信度高的点云数据的算法可以有效的滤除掉静止目标、无效目标和空目标的点云数据，有效地降低了后期处理的数据量和融合的干扰。
S4、一个目标往往对应多个点云数据点，从步骤S3得到的可信度高的点云数据之后，需要经过DBSCAN聚类融合，找到同一个目标对应的点云数据形成目标簇，对形成的簇内的点云进行筛选形成新簇，再通过距离平均得到可以代表目标位置的3D坐标点的具体步骤如下：
S41:根据实际的车辆的长宽和大量的实验结果对比分析，得到最佳的DBSCAN聚类融合算法的指定半径ε值为2和最小点minPts为4。
S42:对所得到的高可信度的点云数据进行DBSCAN聚类融合形成簇。
S43:形成目标簇之后，里面可能存在非本目标的点云数据，需要剔除这些点云数据，然后对每一个形成的新簇里面的点分别进行x方向、y方向和z方向上的距离平均，得到可以代表目标位置的点的具体步骤如下：
S431、针对每一个形成的簇都先选择所有点的速度值的众数为vref，其他点的速度分别为vi(i≥3),设置速度的阈值vthold为0.05m/s；
S432、针对每一个形成的簇中除了参考点之外的每一个点的速度都与参考点的速度进行减法运算，得到与参考点的速度差值；
S433、进行减法运算之后的点若是满足式1，则保留该点，若是不满足，则剔除该点，每一个形成的簇剔除掉不满足式1的点之后形成新簇，式1如下所示：
|vref-vi|<vthold
S434、得到的新簇里面的点分别进行x方向、y方向和z方向上的距离平均，得到可以代表目标位置的3d坐标点。
进一步地，为了检验本发明提出的基于DBSCAN聚类融合后距离平均得到可以代表目标位置的3D坐标点算法的有效性，通过对检测场景的初筛得到的3d点云数据进行DBSCAN聚类融合，根据实际情况设置聚类融合的指定半径ε值为2和最小点minPts为4，结果如图6所示，与图7的目标位置对比可知，DBSCAN聚类融合算法可以有效地将目标的点云点融合成簇。同时通过图8和图7的目标位置对比可知，对簇内的点进行筛选剔除之后得到的新簇的点距离平均后可以得到能有效代表目标位置的3D坐标点。
S5、使用了实际道路环境中18000张车辆图像作为训练集，2000张车辆图像作为测试集，对YOLOv4网络进行了Batch Size等于100和180个epoch大小的训练。得到的YOLOv4网络对步骤S1时间匹配得到的相机视频数据进行目标检测，得到视频兴趣目标并画出识别框和置信度，以及相机测得的目标距离。
S6、以相机的光心为中心建立摄像头坐标系，以毫米波雷达采集板中心建立毫米波雷达坐标系，选择相机坐标系为世界坐标系，通过张正友标定法对相机进行标定得到摄像头的内参矩阵、外参矩阵和畸变函数，结合相机和毫米波雷达的安装位置，从而得到毫米波雷达坐标系、相机坐标系、世界坐标系、图片坐标系和像素坐标系的关系。
S7、将步骤S4得到的可以代表目标位置的3D点云数据通过步骤S6的坐标系之间的关系转化到像素坐标系下，得到毫米波雷达目标点在像素坐标系下的像素点。根据像素点与步骤S5得到的目标识别框的中心点的距离，以及雷达测得目标纵向距离和相机测得的目标纵向距离两组关系进行目标匹配和目标融合，具体步骤如下：
S71:对每一个新簇里面的点距离平均得到可以代表目标的点云数据点，通过步骤S6所建立的坐标关系，将可以代表目标的点云数据点转化到像素坐标系下的像素点。
S72、如果转化后的像素点满足在视觉的识别框内，而且相机所测得的目标纵向距离dc以及毫米波雷达所测得的目标纵向距离dr满足式2，则视为匹配成功，式2如下所示：
|dc-dr|<dthold
其中dthold为纵向距离阈值，若是两个条件有一个不满足，则匹配不成功。
S73、若是匹配不成功，则根据条件不满足的情况进行具体判断，包括：当相机检测成功而毫米波雷达未检测成功时，根据视觉检测目标得到的置信度进行判断，置信度大于0.75则认为目标存在，且初步采用相机测得的目标距离值，在接下来的若干帧数据再对其与毫米波雷达进行匹配；当毫米波雷达检测成功而相机未检测成功，则对毫米波雷达采集数据进行多帧的处理跟踪，如果目标不丢失则视为目标存在，直接使用毫米波雷达检测的数据，目标丢失则视为干扰目标丢弃。
本发明另一实施例提供一种基于毫米波雷达和相机融合的目标检测***，所述***包括毫米波雷达、相机和计算机，所述毫米波雷达和相机分别与计算机相连接，所述计算机用于实现前述方法实施例所述的方法。所述***的工作原理和有益效果均可以参照前述方法实施例，在此不再赘述。
为了验证本发明基于毫米波雷达和相机融合的目标检测***及方法的效果，采用建立的毫米波雷达和相机采集***，置于道路路口采集数据验证，通过采集的数据处理的结果可知，如图9，基于毫米波雷达和相机融合的目标检测***及方法可以有效地融合来自毫米波雷达和相机的信息，有效的综合了两个传感器的优点，弥补了单一传感器检测带来的目标信息不全面的问题，一定程度上也降低了错检和漏检的情况。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于毫米波雷达和相机融合的目标检测方法，其特征在于，所述方法包括步骤：
S1、使用毫米波雷达和相机同时对检测场景进行检测，实现毫米波雷达原始数据和相机采集数据的时间匹配；
S2、对经过时间匹配得到的毫米波雷达原始数据通过预设雷达算法进行处理，得到检测场景毫米波雷达兴趣目标的距离、速度和角度信息，从而得到检测场景毫米波雷达兴趣目标的3D点云数据；
S3、将步骤S2得到的3D点云数据经过实际车道情况的横向距离和纵向距离限制，以及预设规则对其中的静止目标、无效目标和空目标进行筛除，得到可信度更高的3D点云数据；
S4、将步骤S3得到的可信度更高的3D点云数据经过DBSCAN聚类融合后得到目标簇，再通过对簇内的点进行筛选得到新簇，对其进行距离平均得到可以代表目标位置的3D坐标点；
S5、对经过时间匹配得到的相机采集数据使用YOLOv4网络进行目标检测和测距模型算法检测，得到相机兴趣目标和目标的相机检测距离；
S6、以相机的光心为中心建立相机坐标系，以毫米波雷达采集板中心建立毫米波雷达坐标系，计算得到毫米波雷达坐标系、相机坐标系、世界坐标系、图像坐标系和像素坐标系之间的转化关系；
S7、将可以代表目标位置的3D坐标点根据步骤S6中各个坐标系之间的转化关系转化到像素坐标系下，得到其在像素坐标系下的2D像素点，根据2D像素点是否在步骤S5中得到的目标识别框内，以及毫米波雷达测得目标纵向距离与相机测得的目标纵向距离的差值大小两组关系进行目标匹配和目标融合。
2.根据权利要求1所述的一种基于毫米波雷达和相机融合的目标检测方法，其特征在于，步骤S1中实现毫米波雷达原始数据和相机采集数据的时间匹配，具体为：以频率相对较低的毫米波雷达原始数据采集时间为参考，对频率相对较高的相机采集数据进行向后兼容。
3.根据权利要求1所述的一种基于毫米波雷达和相机融合的目标检测方法，其特征在于，步骤S2具体包括以下步骤：
S21、将毫米波雷达采集的原始数据使用距离FFT和多普勒FFT算法处理得到检测场景毫米波雷达兴趣目标的距离和速度信息；
S22、根据接收信号的强度分析设置最佳的CFAR恒虚警检测阈值，得到毫米波雷达兴趣目标的个数；
S23、根据毫米波雷达兴趣目标的个数，使用DOA估计算法处理得到毫米波雷达兴趣目标的角度信息，根据步骤S21、S22、S23得到的信息绘制毫米波雷达兴趣目标的3d点云图。
4.根据权利要求1所述的一种基于毫米波雷达和相机融合的目标检测方法，其特征在于，步骤S21具体包括以下步骤：
S211、对毫米波雷达采集的原始数据进行3维FFT，然后通过峰值搜索检测出峰值位置，得到差拍频率和多普勒频率；
S212、通过差拍频率减去多普勒频率得到中频信号，根据频率与实际距离和速度的关系，得到毫米波雷达兴趣目标的距离和速度。
5.根据权利要求4所述的一种基于毫米波雷达和相机融合的目标检测方法，其特征在于，步骤S3具体包括以下步骤：
S31、根据车道实际距离，设置横向距离为三个标准车道距离，剔除车道两端树木、垃圾桶、护栏以及非相邻车道的目标的干扰；
S32、根据毫米波雷达测试的最大检测距离，设置纵向距离为2m-200m，剔除远距离非感兴趣的目标车辆以及近距离的地杂波反射造成的虚假目标的干扰；
S33、根据3D点云数据的情况，对目标参数为0的点云数据进行剔除，剔除空目标以及无效目标的干扰。
6.根据权利要求1所述的一种基于毫米波雷达和相机融合的目标检测方法，其特征在于，步骤S4具体包括以下步骤：
S41、根据实际车辆的长宽和测试结果进行对比分析，得到最佳的DBSCAN聚类融合算法的指定半径ε值和最小点minPts；
S42、对所得到的高可信度的点云数据进行DBSCAN聚类融合形成簇；
S43、对每一个簇里面的点进行筛选得到新簇，对新簇内的点进行距离平均，得到可以代表目标位置的3D坐标点。
7.根据权利要求6所述的一种基于毫米波雷达和相机融合的目标检测方法，其特征在于，步骤S43具体包括以下步骤：
S431、针对每一个形成的簇都先选择所有点的速度值的众数为vref，其他点的速度分别为vi(i≥3),设置速度的阈值vthold为0.05m/s；
S432、针对每一个形成的簇中除了参考点之外的每一个点的速度都与参考点的速度进行减法运算；
S433、进行减法运算之后的点若是满足式1，则保留该点，若是不满足，则剔除该点，每一个形成的簇剔除掉不满足式1的点之后形成新簇，式1如下所示：
|vref-vi|<vthold
S434、得到的新簇里面的点分别进行x方向、y方向和z方向上的距离平均，得到可以代表目标位置的3d坐标点。
8.根据权利要求1所述的一种基于毫米波雷达和相机融合的目标检测方法，其特征在于，步骤S7具体包括以下步骤：
S71、对每一个新簇里面的点距离平均得到可以代表目标位置的3D坐标点，通过步骤S6所建立的坐标关系，将可以代表目标位置的3d坐标点转化到像素坐标系下的像素点；
S72、如果转化后的像素点满足在视觉的识别框内，而且相机所测得的目标纵向距离dc以及毫米波雷达所测得的目标纵向距离dr满足式2，则视为匹配成功，式2如下所示：
|dc-dr|<dthold
其中dthold为纵向距离阈值，若是两个条件有一个不满足，则匹配不成功；
S73、若是匹配不成功，则根据条件不满足的情况进行具体判断，包括：当相机检测成功而毫米波雷达未检测成功时，根据视觉检测目标得到的置信度进行判断，置信度大于0.75则认为目标存在，且初步采用相机测得的目标距离值，在接下来的若干帧数据再对其与毫米波雷达进行匹配；当毫米波雷达检测成功而相机未检测成功，则对毫米波雷达采集数据进行多帧的处理跟踪，如果目标不丢失则视为目标存在，直接使用毫米波雷达检测的数据，目标丢失则视为干扰目标丢弃。
9.一种基于毫米波雷达和相机融合的目标检测***，其特征在于，所述***包括毫米波雷达、相机和计算机，所述毫米波雷达和相机分别与计算机相连接，所述计算机用于实现权利要求1-8任一条所述的方法。
CN202310619119.6A 2023-05-29 2023-05-29 一种基于毫米波雷达和相机融合的目标检测***及方法 Pending CN116699602A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310619119.6A CN116699602A (zh) 2023-05-29 2023-05-29 一种基于毫米波雷达和相机融合的目标检测***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310619119.6A CN116699602A (zh) 2023-05-29 2023-05-29 一种基于毫米波雷达和相机融合的目标检测***及方法

Publications (1)

Publication Number Publication Date
CN116699602A true CN116699602A (zh) 2023-09-05

Family

ID=87825007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310619119.6A Pending CN116699602A (zh) 2023-05-29 2023-05-29 一种基于毫米波雷达和相机融合的目标检测***及方法

Country Status (1)

Country Link
CN (1) CN116699602A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117093872A (zh) * 2023-10-19 2023-11-21 四川数字交通科技股份有限公司 雷达目标分类模型自训练方法及***
CN117949942A (zh) * 2024-03-26 2024-04-30 北京市计量检测科学研究院 基于雷达数据和视频数据融合的目标跟踪方法及***

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117093872A (zh) * 2023-10-19 2023-11-21 四川数字交通科技股份有限公司 雷达目标分类模型自训练方法及***
CN117093872B (zh) * 2023-10-19 2024-01-02 四川数字交通科技股份有限公司 雷达目标分类模型自训练方法及***
CN117949942A (zh) * 2024-03-26 2024-04-30 北京市计量检测科学研究院 基于雷达数据和视频数据融合的目标跟踪方法及***
CN117949942B (zh) * 2024-03-26 2024-06-07 北京市计量检测科学研究院 基于雷达数据和视频数据融合的目标跟踪方法及***

Similar Documents

Publication Publication Date Title
CN111368706B (zh) 基于毫米波雷达和机器视觉的数据融合动态车辆检测方法
CN109444911B (zh) 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法
CN111369541B (zh) 一种智能汽车恶劣天气条件下车辆检测方法
CN103176185B (zh) 用于检测道路障碍物的方法及***
WO2022141914A1 (zh) 一种基于雷视融合的多目标车辆检测及重识别方法
CN112946628A (zh) 一种基于雷达与视频融合的道路运行状态检测方法及***
CN112215306B (zh) 一种基于单目视觉与毫米波雷达融合的目标检测方法
CN116699602A (zh) 一种基于毫米波雷达和相机融合的目标检测***及方法
CN114565900A (zh) 基于改进YOLOv5和双目立体视觉的目标检测方法
CN105225482A (zh) 基于双目立体视觉的车辆检测***和方法
CN113850102B (zh) 基于毫米波雷达辅助的车载视觉检测方法及***
CN105160649A (zh) 基于核函数非监督聚类的多目标跟踪方法及***
CN111476762B (zh) 一种巡检设备的障碍物检测方法、装置和巡检设备
CN111123262B (zh) 自动驾驶3d建模方法、装置及***
CN109541601A (zh) 基于毫米波的障碍物识别***及其检测方法
CN112906777A (zh) 目标检测方法、装置、电子设备及存储介质
CN113627373A (zh) 一种基于雷视融合探测的车辆识别方法
CN115690713A (zh) 一种基于双目相机的雷视融合事件检测方法
CN112784679A (zh) 车辆避障方法和装置
CN116978009A (zh) 基于4d毫米波雷达的动态物体滤除方法
CN117111085A (zh) 一种自动驾驶汽车车路云融合感知方法
CN114092778A (zh) 基于表征学习的雷达摄像头数据融合***及方法
CN117197019A (zh) 一种车辆三维点云图像融合方法及***
CN110865367A (zh) 一种雷达视频数据智能融合方法
CN116413725A (zh) 一种基于摄像头与毫米波雷达数据融合的障碍物检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination