CN113848545A - 一种基于视觉和毫米波雷达的融合目标检测和跟踪方法 - Google Patents

一种基于视觉和毫米波雷达的融合目标检测和跟踪方法 Download PDF

Info

Publication number
CN113848545A
CN113848545A CN202111018876.5A CN202111018876A CN113848545A CN 113848545 A CN113848545 A CN 113848545A CN 202111018876 A CN202111018876 A CN 202111018876A CN 113848545 A CN113848545 A CN 113848545A
Authority
CN
China
Prior art keywords
target
millimeter wave
wave radar
clustering
speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111018876.5A
Other languages
English (en)
Other versions
CN113848545B (zh
Inventor
李曙光
郑珂
李振旭
赵洋
程洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202111018876.5A priority Critical patent/CN113848545B/zh
Publication of CN113848545A publication Critical patent/CN113848545A/zh
Application granted granted Critical
Publication of CN113848545B publication Critical patent/CN113848545B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明属于计算机视觉与模式识别领域，具体为一种基于视觉和毫米波雷达的融合目标检测和跟踪方法。本发明基于不同坐标系下相同目标的运动特征相同的假设，将图像和毫米波雷达数据视为两个独立的分支进行处理。图像分支中采用CenterTrack完成对目标的跟踪、毫米波雷达分支基于卡尔曼滤波算法进行多目标跟踪，通过跟踪得到目标的短时速度曲线；然后针对跟踪得到目标的短时速度曲线后，依据不同坐标系下相同目标的运动特征相同的假设定义出两者之间的差异度，通过衡量曲线的差异度进行目标匹配。从而在不需要进行相机和毫米波雷达的联合标定的前提下，实现了毫米波雷达和摄像头的目标级融合。

Description

一种基于视觉和毫米波雷达的融合目标检测和跟踪方法
技术领域
本发明属于计算机视觉与模式识别领域，具体为一种基于视觉和毫米波雷达的融合目标检测和跟踪方法。
背景技术
自动驾驶汽车通常配备不同类型的传感器，常用的主要有摄像头、激光雷达和毫米波雷达，三种传感器拥有各自的优缺点。其中，摄像头是自动驾驶车辆上最简单且最接近人眼成像的传感器，其优点是成像清晰、成本低；缺点是受环境影响大，不能提供三维信息。激光雷达具有分辨率高、隐蔽性好和抗有源干扰能力强等优点，其最大的缺点是工作时受到天气和大气影响大，在大雨、浓雾等天气情况下，传播距离受较大影响。与摄像头和激光雷达相比，毫米波雷达抗环境干扰能力强，可以满足车辆对全天气候的适应性要求，但在分辨率上远不如激光雷达。因此，融合多种传感器以使其特性互补，能有效提高自动驾驶汽车对周围环境的感知能力。
近年来，大多数关于传感器融合方法的研究都集中于融合激光雷达和摄像头。这两种传感器的融合，已经被证明在大多数情况下能够实现高精度的检测，但这两种传感器都易受空气中雨雪雾霾等的影响，且激光雷达得到的大量扫描点对数据处理以及实时性提出了很大的挑战。相较于激光雷达和摄像头这两种传感器的融合，毫米波雷达与摄像头的融合受环境影响最小。
目前，毫米波雷达与摄像头的数据融合大致有三种策略：特征级、目标级和信号级。特征级融合是将毫米波雷达的点目标投影到图像上，分别提取毫米波雷达和图像特征后，利用毫米波雷达特征补充图像特征，以图像为主完成目标检测等任务。目标级融合方法通常仅根据图像数据得到目标检测框，毫米波雷达的检测点直接与检测框关联，或通过滤波或其他方式去掉大部分噪点后再与检测框关联，从而赋予相应检测框对应目标的深度和速度信息；而信号级融合方法不同于上述两种方法对毫米波雷达的检测点进行处理，而是将毫米波雷达的原始数据与图像数据进行融合。这三种融合方式在融合的过程中，都需要对两个传感器进行联合标定，才能将毫米波雷达数据点投影到图像平面完成融合。由于联合标定过程繁琐，且在标定的过程中会引入一定的误差，不可避免出现工作量增加、融合难度升高的问题，且标定过程中引入的误差也会降低目标识别准确性。因此有必要提供一种新的毫米波雷达和摄像头的融合方法。
发明内容
本发明的目的在于：提供一种基于视觉和毫米波雷达的融合目标检测和跟踪方法，该方法不需要对毫米波雷达和相机进行联合标定，即可实现毫米波雷达和相机的融合。
为实现上述目的，本发明采取如下技术方案：
一种基于视觉和毫米波雷达的融合目标检测和跟踪方法，包括以下步骤：
步骤1、分别获取图像目标的短时速度变化曲线以及毫米波雷达目标的短时速度变化曲线；
所述图像目标的短时速度变化曲线获取过程为：
(1)采用3D目标跟踪网络完成图像目标的检测和跟踪，得到包含目标行为的图像序列；并针对每个图像标注出每个目标的深度值以及每个目标对应的ID；
(2)依据t时刻，目标的速度为同一目标相邻两帧的深度差与时间间隔的比值，计算出每个时刻中各个目标的速度值，得到图像中多目标的短时速度变化曲线；
所述毫米波雷达目标的短时速度变化曲线的获取过程为：
(1)获取与图像时间戳相同的毫米波雷达点云数据，并滤除点云数据中的静止目标；
(2)采用最近邻聚类算法对点云数据中的数据点进行聚类，得到多个聚类中心；将每个聚类中心视为一个目标，分别计算出每个时刻各聚类中心的位置坐标和速度值；
(3)针对每个聚类中心，分别构建一个卡尔曼滤波器预测下一时刻t+1的位置和速度；再基于位置和速度，采用近邻匹配的方式将预测结果与对应时刻的聚类中心进行匹配，并利用在t+1时刻匹配上的聚类中心对卡尔曼滤波器的参数进行更新，然后以更新后的参数作为下一次预测的初始值；对于未匹配上的聚类中心则直接将当前预测结果作为下一次预测初始值进行下一次预测，若连续两帧都未匹配到对应目标则视为中心已行驶出可观测范围；
重复步骤这一过程以实现连续帧中同一目标关联,得到毫米波雷达目标的短时速度变化曲线；
步骤2、对图像目标和毫米波目标进行相似度衡量，以实现图像和毫米波雷达的目标极融合
(1)根据图像序列与点云数据的时间戳信息，将两者进行时间序列配准，保证两个传感器融合数据的时间一致；
(2)基于不同传感器坐标系下同一目标速度相同的假设，定义出毫米波雷达目标与图像目标的速度差异度Vd:
Figure BDA0003241017690000021
其中，vradar,i表示i时刻的毫米波雷达目标速度值，vcamerai,表示i时刻图像目标的速度值。Frame_num表示用于计算速度差异度的帧数。
(3)利用定义的速度差异度公式计算同一时刻下，每个毫米波雷达目标与各图像目标的差异度，然后取最小值所对应目标作为匹配结果，以完成两个传感器坐标下的目标相似度衡量，实现图像与毫米波雷达的目标级融合。
进一步的，所述步骤毫米波雷达短时速度曲线获取过程中采用的最近邻聚类算法对点云数据中的数据点进行聚类得到多个聚类中心的过程为：
(1)设定两点之间的速度差阈值Tv，距离阈值Td以及速度差容许值ΔvT；
(2)对毫米波雷达每一帧的数据点进行聚类，得到多个聚类中心
先选取第一个数据点作为第一聚类中心；再选取第二个数据点，计算第二个数据点与第一聚类中心的速度差和欧氏距离，得到第二个数据点与第一聚类中心的速度差和欧氏距离；
将计算出的速度差和欧氏距离与设定阈值比较，当计算出的速度差和欧式距离均大于设定阈值时，则判定第二个数据点为第二聚类中心；
从当前剩余数据点中，选取第三个数据点，分别计算第三个数据点与前两个聚类中心的速度差和欧氏距离；当计算出所有速度差和欧式距离都大于设定阈值时，则判定第三个数据点为第三聚类中心；以此类推，直至所有数据点都判定完毕，得到多个聚类中心；
(3)对非聚类中心的数据点进行归类
从非聚类中心的数据点中，选取任一数据点，计算该数据点与每个聚类中心的速度差和距离；取与当前数据点距离最近的聚类中心，若其速度差小于速度差容许值ΔvT，则该毫米波雷达数据点属于该聚类中心对应的簇；若速度差大于速度差容许值ΔvT，则放弃该聚类中心，取距离第二近的聚类中心；
然后循环直至所有数据点完成聚类，得到多个聚类簇后，计算簇内所有数据点的速度和位置的平均值作为聚类簇的聚类中心。
进一步的，所述图像目标的检测和跟踪所采用的3D目标跟踪网络为CenterTrack。
本发明提供的一种基于视觉和毫米波雷达的融合目标检测和跟踪方法，是基于不同坐标系下相同目标的运动特征相同这一假设，实现的毫米波雷达目标和图像目标的融合。融合过程中，先将图像和毫米波雷达数据视为两个独立部分进行处理：图像部分采用3D目标跟踪网络完成对目标的跟踪，得到图像目标的短时速度曲线；毫米波雷达部分采用最邻近聚类算法结合卡尔曼滤波器进行多目标跟踪，得到毫米波雷达目标的短时速度曲线。再依据不同坐标系下相同目标的运动特征相同这一假设，定义出毫米波雷达目标与图像目标的速度差异度公式，并通过该公式计算同一时刻，毫米波雷达目标与图像目标的差异度值进行目标匹配。从而在不需要进行相机和毫米波雷达的联合标定的前提下，实现毫米波雷达和摄像头的目标级融合。
与现有的毫米波雷达和视觉的融合方法相比，本发明提供了一种不同的融合方式，在本发明的融合过程中，不需要对毫米波雷达和视觉进行联合标定，即可完成毫米波雷达和摄像头的目标级融合。一方面减少了前期标定的相关工作，降低了融合难度；另一方面避免了因标定过程引入误差带来的目标识别准确率降低问题。
说明书附图
图1为本发明跟踪流程图；
图2为CenterTrack跟踪结果示意图；
图3为实施例聚类结果图；
图4为实施例图像所得短时速度曲线与毫米波雷达所得短时速度曲线；
图5为图像目标与毫米波雷达目标匹配结果图。
具体实施方式
本发明提供的一种基于视觉和毫米波雷达的融合目标检测和跟踪方法，如图1所示，包括以下步骤：
一种基于视觉和毫米波雷达的融合目标检测和跟踪方法，包括以下步骤：
步骤1、对图像的目标进行检测和跟踪，获取图像目标的短时速度变化曲线
1.1、采用3D目标跟踪网络完成图像目标的检测和跟踪，得到包含目标行为的图像序列；并针对每个图像标注出每个目标的深度值以及每个目标对应的ID。由于CenterTrack网络能够直接给出跟踪所需的很多信息,如位置、大小和深度值等信息，具体可以参阅图2。为简化后期操作流程，本实施选用CenterTrack网络来完成的图像目标的检测和跟踪。
1.2、由现有的速度公式中一段时间内的平均速度v＝s/Δt，可以得知t时刻目标的速度为同一目标相邻两帧的深度差与时间间隔的比值，即
Figure BDA0003241017690000041
其中s表示在该时间间隔内的位移，Δt表示时间间隔；vt表示t时刻速度值，ht表示t时刻的深度，ht-1表示t-1时刻的深度。Δt表示两时刻的时间差。
将步骤1.1获取的每个目标的深度值代入上述速度计算公式中，即各目标在每帧中的速度值。
1.3、取连续5帧，得到图像中多目标的短时速度变化曲线。
步骤2、对毫米波雷达的目标进行跟踪，获取毫米波雷达的目标的短时速度变化曲线
2.1、获取与图像时间戳相同的毫米波雷达点云数据，并滤除点云数据中的静止目标；
2.2、采用最近邻聚类算法对点云数据中的数据点进行聚类，得到多个聚类中心；将每个聚类中心视为一个目标，分别计算出每个时刻各聚类中心的位置坐标和速度值。具体的：
2.2.1、设定两点之间的速度差阈值Tv，距离阈值Td以及速度差容许值ΔvT；
2.2.2、对毫米波雷达每一帧中的数据点进行聚类，得到多个聚类中心
先选取第一个数据点作为第一聚类中心；再选取第二个数据点，计算第二个数据点与第一聚类中心的速度差和欧氏距离，得到第二个数据点与第一聚类中心的速度差和欧氏距离。速度差Δv和位置的欧式距离计算Δd公式如下：
Δd＝||pi-p0||
Δv＝||vi-v0||
其中，pi＝(xi,yi)，表示第i个毫米波雷达数据点的坐标；p0表示第一聚类中心的坐标；xi，yi分别表示其x和y坐标。vi表示第i个毫米波雷达数据点的速度值；v0表示第一个聚类中心的速度值；。
将计算出的速度差和欧氏距离与设定阈值比较，当计算出的速度差和欧式距离均大于设定阈值时，则判定第二个数据点为第二个聚类中心。
从当前剩余数据点中，选取第三个数据点，分别计算第三个数据点与每个聚类中心的速度差和欧氏距离；当计算出所有速度差和欧式距离都大于设定阈值时，则判定第三个数据点为第三个聚类中心；以此类推，直至所有数据点都判定完毕，得到多个聚类中心；
2.2.3、根据步骤2.2.3的聚类中心对不是聚类中心的数据点进行归类
将同一帧中，从除作为聚类中心的数据点外的数据点中，选取任一数据点，然后计算该数据点与每个聚类中心的速度差和距离；
取与当前数据点距离最近的聚类中心，若其速度差小于速度差容许值ΔvT，则该毫米波雷达数据点属于该聚类中心对应的簇；若速度差大于速度差容许值ΔvT，则放弃该聚类中心，取距离第二近的聚类中心，重新按照上述过程进行判定；如此循环直至所有数据点完成聚类，得到多个聚类簇后，计算簇内所有数据点的速度和位置的平均值作为聚类簇的聚类中心。
2.3、针对每个聚类中心，分别构建一个卡尔曼滤波器对下一时刻t+1的位置和速度进行预测；
再基于位置和速度，采用近邻匹配的方式将t+1时刻的预测结果与对与步骤2.2中t+1时刻的聚类中心进行匹配；然后利用在t+1时刻匹配上的聚类中心对卡尔曼滤波器的参数进行更新，然后以更新后的参数作为下一次预测的初始值；对于未匹配上的聚类中心则直接当前预测结果进行下一次预测，若连续两帧都未匹配到对应目标则视为中心已行驶出可观测范围。
本实施例以单个目标来说明构建卡尔曼滤波器预测过程：
为方面方便公式的描述，本实施例根据卡尔曼滤波远公式推导的过程定义了加速度a和额外的控制向量
Figure BDA0003241017690000061
提取时刻聚类目标Xt的位置坐标Xt＝[xt vt]T和速度值作为输入值，采用协方差矩阵Pt表示t时刻与t+1时刻中位置和速度的相关性；结合定义的加速度a和额外的控制向量
Figure BDA0003241017690000062
进行t+1时刻的速度值和位置数据预测。预测过程中更新步骤方程如下所示：
Figure BDA0003241017690000063
P't+1＝Pt+1-K'Ht+1Pt+1
Figure BDA0003241017690000064
其中，K'为卡尔曼增益，Ht+1为传感器的数据，zt+1为观测值。
需要说明的是，上述观测值指的是目标在下一时刻t+1的坐标值；卡尔曼滤波器对目标下一时刻的位置预测得到预测坐标值后，采用欧几里得距离匹配该时刻的测量值。
多目标跟踪建立在单一目标跟踪的基础上，采用多个单一目标卡尔曼滤波器；计算方式与单一目标相同。
2.5、重复步骤2.4以实现连续帧中同一目标关联,得到毫米波雷达目标的短时速度变化曲线。
在上述过程中，需要注意的是：在近邻匹配过程中，对于未匹配上的数据点，则需根据数据点的速度值判断其是否为车辆目标，并创建新的单一目标卡尔曼滤波器。对于未匹配上的卡尔曼滤波器，则持续预测2帧，若2帧内无匹配上的观测，则舍弃该卡尔曼滤波器，视其为行驶出了可观测区域。取连续4帧的检测结果，最终的到毫米波雷达目标的短时速度变化曲线。本实施例中，图像所得速度曲线与毫米波雷达所得速度曲线如图4所示。图4中虚线为图像目标的速度曲线，实现为毫米波雷达的速度曲线。
步骤3、对图像目标和毫米波目标进行相似度衡量，以实现图像和毫米波雷达的目标极融合
3.1、根据图像序列与点云数据的时间戳信息，将两者进行时间序列配准，保证两个传感器融合数据的时间一致；
3.2、基于不同传感器坐标系下同一目标速度相同的假设，定义出毫米波雷达目标与图像目标的速度差异度Vd:
Figure BDA0003241017690000071
其中，vradar,i表示i时刻的毫米波雷达目标速度值，vcamerai,表示i时刻图像目标的速度值。Frame_num表示用于计算速度差异度的帧数。
3.3、利用步骤3.2定义的速度差异度公式计算同一时刻下，每个毫米波雷达目标与各图像目标的差异度，然后取最小值所对应目标作为匹配结果，以完成两个传感器坐标下的目标相似度衡量，实现图像与毫米波雷达的目标级融合。
若存在不同的毫米波雷达目标匹配到了同一图像目标，则比较这些毫米波雷达目标与该图像目标的差异度，取与图像目标差异度最小的毫米波雷达目标匹配。剩余未与该图像目标匹配上的毫米波雷达目标则在去除该图像目标的前提下，与剩余的其他图像目标重新匹配，匹配结果如图5所示。
由此可见，本发明提供了一种不同于现有技术的融合方式。在整个融合过程中，先将图像和毫米波雷达视为两个独立部分，分别获取各自的短时速度曲线，这样可以将图像和毫米波雷达的优势充分发挥出来，保证了目标识别的准确性。在图像部分，直接利用成熟的CenterTrack网络跟踪，获得的图像目标信息准确、完整；在毫米波雷达部分，通过最近邻聚类算法与卡尔曼滤波器的配合完成多目标跟踪，这种方式既可以降低整体运算量，还避免毫米波雷达目标出现跟踪丢失的情况。然后针对跟踪得到的目标短时速度曲线，通过衡量曲线的差异度进行目标匹配。从而在不需要进行相机和毫米波雷达的联合标定的前提下，实现了毫米波雷达和摄像头的目标级融合。

Claims (3)

1.一种基于视觉和毫米波雷达的融合目标检测和跟踪方法，其特征在于：包括以下步骤：
步骤1、分别获取图像目标的短时速度变化曲线以及毫米波雷达目标的短时速度变化曲线；
所述图像目标的短时速度变化曲线获取过程为：
(1)采用3D目标跟踪网络完成图像目标的检测和跟踪，得到包含目标行为的图像序列；并针对每个图像标注出每个目标的深度值以及每个目标对应的ID；
(2)依据t时刻，目标的速度为同一目标相邻两帧的深度差与时间间隔的比值，计算出每个时刻中各个目标的速度值，得到图像中多目标的短时速度变化曲线；
所述毫米波雷达目标的短时速度变化曲线的获取过程为：
(1)获取与图像时间戳相同的毫米波雷达点云数据，并滤除点云数据中的静止目标；
(2)采用最近邻聚类算法对点云数据中的数据点进行聚类，得到多个聚类中心；将每个聚类中心视为一个目标，分别计算出每个时刻各聚类中心的位置坐标和速度值；
(3)针对每个聚类中心，分别构建一个卡尔曼滤波器预测下一时刻t+1的位置和速度；再基于位置和速度，采用近邻匹配的方式将预测结果与对应时刻的聚类中心进行匹配，并利用在t+1时刻匹配上的聚类中心对卡尔曼滤波器的参数进行更新，然后以更新后的参数作为下一次预测的初始值；对于未匹配上的聚类中心则直接将当前预测结果作为下一次预测初始值进行下一次预测，若连续两帧都未匹配到对应目标则视为中心已行驶出可观测范围；
重复步骤这一过程以实现连续帧中同一目标关联,得到毫米波雷达目标的短时速度变化曲线；
步骤2、对图像目标和毫米波目标进行相似度衡量，以实现图像和毫米波雷达的目标极融合
(1)根据图像序列与点云数据的时间戳信息，将两者进行时间序列配准，保证两个传感器融合数据的时间一致；
(2)基于不同传感器坐标系下同一目标速度相同的假设，定义出毫米波雷达目标与图像目标的速度差异度Vd:
Figure FDA0003241017680000011
其中，vradar,i表示i时刻的毫米波雷达目标速度值，vcamerai,表示i时刻图像目标的速度值。Frame_num表示用于计算速度差异度的帧数；
(3)利用定义的速度差异度公式计算同一时刻下，每个毫米波雷达目标与各图像目标的差异度，然后取最小值所对应目标作为匹配结果，以完成两个传感器坐标下的目标相似度衡量，实现图像与毫米波雷达的目标级融合。
2.根据权利要求1所述的一种基于视觉和毫米波雷达的融合目标检测和跟踪方法，其特征在于：所述步骤毫米波雷达短时速度曲线获取过程中采用的最近邻聚类算法对点云数据中的数据点进行聚类得到多个聚类中心的过程为：
(1)设定两点之间的速度差阈值Tv，距离阈值Td以及速度差容许值ΔvT；
(2)对毫米波雷达每一帧的数据点进行聚类，得到多个聚类中心
先选取第一个数据点作为第一聚类中心；再选取第二个数据点，计算第二个数据点与第一聚类中心的速度差和欧氏距离，得到第二个数据点与第一聚类中心的速度差和欧氏距离；
将计算出的速度差和欧氏距离与设定阈值比较，当计算出的速度差和欧式距离均大于设定阈值时，则判定第二个数据点为第二聚类中心；
从当前剩余数据点中，选取第三个数据点，分别计算第三个数据点与前两个聚类中心的速度差和欧氏距离；当计算出所有速度差和欧式距离都大于设定阈值时，则判定第三个数据点为第三聚类中心；以此类推，直至所有数据点都判定完毕，得到多个聚类中心；
(3)对非聚类中心的数据点进行归类
从非聚类中心的数据点中，选取任一数据点，计算该数据点与每个聚类中心的速度差和距离；取与当前数据点距离最近的聚类中心，若其速度差小于速度差容许值ΔvT，则该毫米波雷达数据点属于该聚类中心对应的簇；若速度差大于速度差容许值ΔvT，则放弃该聚类中心，取距离第二近的聚类中心；
然后循环直至所有数据点完成聚类，得到多个聚类簇后，计算簇内所有数据点的速度和位置的平均值作为聚类簇的聚类中心。
3.根据权利要求1所述的一种基于视觉和毫米波雷达的融合目标检测和跟踪方法，其特征在于：所述图像目标的检测和跟踪所采用的3D目标跟踪网络为CenterTrack。
CN202111018876.5A 2021-09-01 2021-09-01 一种基于视觉和毫米波雷达的融合目标检测和跟踪方法 Active CN113848545B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111018876.5A CN113848545B (zh) 2021-09-01 2021-09-01 一种基于视觉和毫米波雷达的融合目标检测和跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111018876.5A CN113848545B (zh) 2021-09-01 2021-09-01 一种基于视觉和毫米波雷达的融合目标检测和跟踪方法

Publications (2)

Publication Number Publication Date
CN113848545A true CN113848545A (zh) 2021-12-28
CN113848545B CN113848545B (zh) 2023-04-14

Family

ID=78976637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111018876.5A Active CN113848545B (zh) 2021-09-01 2021-09-01 一种基于视觉和毫米波雷达的融合目标检测和跟踪方法

Country Status (1)

Country Link
CN (1) CN113848545B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114442101A (zh) * 2022-01-28 2022-05-06 南京慧尔视智能科技有限公司 基于成像毫米波雷达的车辆导航方法、装置、设备及介质
CN115542308A (zh) * 2022-12-05 2022-12-30 德心智能科技(常州)有限公司 基于毫米波雷达的室内人员探测方法、装置、设备及介质
WO2023202335A1 (zh) * 2022-04-20 2023-10-26 深圳市普渡科技有限公司 目标跟踪方法、机器人、计算机设备和存储介质
CN117630907A (zh) * 2023-11-29 2024-03-01 哈尔滨工业大学（威海） 一种红外成像与毫米波雷达融合的海面目标跟踪方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19746970A1 (de) * 1997-10-24 1999-04-29 Cit Alcatel Verfahren und Vorrichtung zur Erkennung von Hindernissen vor Schienenfahrzeugen
US20070073473A1 (en) * 2005-09-26 2007-03-29 Altan Osman D System and method of target tracking using sensor fusion
JP2008145295A (ja) * 2006-12-11 2008-06-26 Mitsubishi Electric Corp センサシステム
US20160109566A1 (en) * 2014-10-21 2016-04-21 Texas Instruments Incorporated Camera Assisted Tracking of Objects in a Radar System
CN107817488A (zh) * 2017-09-28 2018-03-20 西安电子科技大学昆山创新研究院 基于毫米波雷达与视觉融合的无人机避障装置及避障方法
CN110532896A (zh) * 2019-08-06 2019-12-03 北京航空航天大学 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法
CN111157984A (zh) * 2020-01-08 2020-05-15 电子科技大学 基于毫米波雷达及惯性测量单元的一种行人自主导航方法
CN111862157A (zh) * 2020-07-20 2020-10-30 重庆大学 一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法
CN111967498A (zh) * 2020-07-20 2020-11-20 重庆大学 基于毫米波雷达和视觉融合的夜间目标检测和跟踪方法
US20210080558A1 (en) * 2019-09-13 2021-03-18 Aptiv Technologies Limited Extended Object Tracking Using RADAR

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19746970A1 (de) * 1997-10-24 1999-04-29 Cit Alcatel Verfahren und Vorrichtung zur Erkennung von Hindernissen vor Schienenfahrzeugen
US20070073473A1 (en) * 2005-09-26 2007-03-29 Altan Osman D System and method of target tracking using sensor fusion
JP2008145295A (ja) * 2006-12-11 2008-06-26 Mitsubishi Electric Corp センサシステム
US20160109566A1 (en) * 2014-10-21 2016-04-21 Texas Instruments Incorporated Camera Assisted Tracking of Objects in a Radar System
CN107817488A (zh) * 2017-09-28 2018-03-20 西安电子科技大学昆山创新研究院 基于毫米波雷达与视觉融合的无人机避障装置及避障方法
CN110532896A (zh) * 2019-08-06 2019-12-03 北京航空航天大学 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法
US20210080558A1 (en) * 2019-09-13 2021-03-18 Aptiv Technologies Limited Extended Object Tracking Using RADAR
CN111157984A (zh) * 2020-01-08 2020-05-15 电子科技大学 基于毫米波雷达及惯性测量单元的一种行人自主导航方法
CN111862157A (zh) * 2020-07-20 2020-10-30 重庆大学 一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法
CN111967498A (zh) * 2020-07-20 2020-11-20 重庆大学 基于毫米波雷达和视觉融合的夜间目标检测和跟踪方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JOSIP ĆESIĆ 等: "Radar and stereo vision fusion for multitarget tracking on the special Euclidean group" *
张炳力 等: "基于毫米波雷达和机器视觉融合的车辆检测" *
李宁 等: "汽车ACC毫米波雷达和视觉传感器目标级融合方法研究" *
甘耀东 等: "融合毫米波雷达与深度视觉的多目标检测与跟踪" *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114442101A (zh) * 2022-01-28 2022-05-06 南京慧尔视智能科技有限公司 基于成像毫米波雷达的车辆导航方法、装置、设备及介质
CN114442101B (zh) * 2022-01-28 2023-11-14 南京慧尔视智能科技有限公司 基于成像毫米波雷达的车辆导航方法、装置、设备及介质
WO2023202335A1 (zh) * 2022-04-20 2023-10-26 深圳市普渡科技有限公司 目标跟踪方法、机器人、计算机设备和存储介质
CN115542308A (zh) * 2022-12-05 2022-12-30 德心智能科技(常州)有限公司 基于毫米波雷达的室内人员探测方法、装置、设备及介质
CN117630907A (zh) * 2023-11-29 2024-03-01 哈尔滨工业大学（威海） 一种红外成像与毫米波雷达融合的海面目标跟踪方法
CN117630907B (zh) * 2023-11-29 2024-05-28 哈尔滨工业大学（威海） 一种红外成像与毫米波雷达融合的海面目标跟踪方法

Also Published As

Publication number Publication date
CN113848545B (zh) 2023-04-14

Similar Documents

Publication Publication Date Title
CN113848545B (zh) 一种基于视觉和毫米波雷达的融合目标检测和跟踪方法
CN111693972B (zh) 一种基于双目序列图像的车辆位置与速度估计方法
CN111369541B (zh) 一种智能汽车恶劣天气条件下车辆检测方法
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、***、装置
CN107330925B (zh) 一种基于激光雷达深度图像的多障碍物检测和跟踪方法
CN111260683A (zh) 一种三维点云数据的目标检测与跟踪方法及其装置
CN111932580A (zh) 一种基于卡尔曼滤波与匈牙利算法的道路3d车辆跟踪方法及***
CN102806913B (zh) 一种车道线偏离检测方法及装置
CN108645375B (zh) 一种用于车载双目***快速车辆测距优化方法
CN115032651A (zh) 一种基于激光雷达与机器视觉融合的目标检测方法
CN113850102B (zh) 基于毫米波雷达辅助的车载视觉检测方法及***
CN112991391A (zh) 一种基于雷达信号和视觉融合的车辆检测与跟踪方法
CN107796373B (zh) 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法
CN111723778B (zh) 基于MobileNet-SSD的车辆测距***及方法
CN115731268A (zh) 基于视觉/毫米波雷达信息融合的无人机多目标跟踪方法
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
CN111913177A (zh) 对目标物探测方法、装置以及存储介质
CN109541601A (zh) 基于毫米波的障碍物识别***及其检测方法
CN114280611A (zh) 一种融合毫米波雷达与摄像头的路侧感知方法
WO2024114119A1 (zh) 一种基于双目相机引导的传感器融合方法
CN115308732A (zh) 一种融合毫米波雷达与深度视觉的多目标检测与跟踪方法
CN116978009A (zh) 基于4d毫米波雷达的动态物体滤除方法
CN110703272B (zh) 一种基于车车通信和gmphd滤波的周边目标车辆状态估计方法
CN115144828A (zh) 一种智能汽车多传感器时空融合的自动在线标定方法
CN113221739B (zh) 基于单目视觉的车距测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant