CN111862157B - 一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法 - Google Patents

一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法 Download PDF

Info

Publication number
CN111862157B
CN111862157B CN202010699138.0A CN202010699138A CN111862157B CN 111862157 B CN111862157 B CN 111862157B CN 202010699138 A CN202010699138 A CN 202010699138A CN 111862157 B CN111862157 B CN 111862157B
Authority
CN
China
Prior art keywords
target
millimeter wave
tracking
radar
wave radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010699138.0A
Other languages
English (en)
Other versions
CN111862157A (zh
Inventor
郑玲
甘耀东
张翔
李以农
高锋
詹振飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN202010699138.0A priority Critical patent/CN111862157B/zh
Publication of CN111862157A publication Critical patent/CN111862157A/zh
Application granted granted Critical
Publication of CN111862157B publication Critical patent/CN111862157B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/585—Velocity or trajectory determination systems; Sense-of-movement determination systems processing the video signal in order to evaluate or display the velocity value
    • G01S13/587—Velocity or trajectory determination systems; Sense-of-movement determination systems processing the video signal in order to evaluate or display the velocity value using optical means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法，利用毫米波雷达获取道路目标信息，根据运动学参数涉及滤波模型筛选车辆目标；利用视觉信息检测道路前方车辆，并基于检测结果进行多车辆目标跟踪；采用机器视觉与毫米波雷达融合模型将车辆目标投影到图像中，设定关联判定策略将视觉跟踪目标与车辆目标关联，并基于毫米波雷达探测的距离信息对视觉跟踪边界框在图像中的位置与尺寸进行修正。本发明可以解决现有技术中存在的对前方多车辆连续跟踪时，视觉跟踪边界框尺寸过大或过小造成误差累计后，丢失有效目标的技术问题。

Description

一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法
技术领域
本发明涉及智能汽车自动驾驶环境感知技术领域，具体涉及一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法。
背景技术
随着智能化、信息化、自动化水平的提高，越来越多的企业和机构正在大力研发汽车的智能驾驶***与先进驾驶员辅助***。环境感知作为自动驾驶汽车的“眼睛”，为车辆提供前方道路交通信息，具有非常重要的作用。跟踪作为环境感知重要的一环，愈发得到研究人员的重视。
目前，对多传感器信息进行融合是当前跟踪领域的研究热点。现有技术提供了一种基于视频图像和毫米波雷达数据融合的目标物识别方法，通过控制终端将卫星定位***采集的目标物动态位置、图像采集设备获取的目标物图像行动状态以及雷达设备采集的目标物行动状态进行数据融合，来对车辆周围的目标物进行精确的识别及定位。但在实际自动驾驶过程中，需要对多车辆进行目标跟踪。在连续跟踪的过程中，通过视频图像对目标物进行图像识别时，因为自动驾驶车辆和周边目标车辆的相对位置是实时变化的，所以目标物图像的视觉跟踪边界框尺寸也会随之不断的变化。边界框尺寸在持续变化的过程中，如果尺寸过大或过小，就会产生累计误差，进而可能会出现跟踪时丢失有效目标的情况。
发明内容
针对现有技术中的缺陷，本发明提供一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法，以解决现有技术中存在的对前方多车辆连续跟踪时，视觉跟踪边界框尺寸过大或过小造成误差累计后，丢失有效目标的技术问题。
本发明采用的技术方案是，一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法。
在第一种可实现方式中，包括以下步骤：
获取毫米波雷达检测数据，对数据进行滤波，得到车辆目标；
获取道路环境图像，使用深度学习神经网络模型在道路环境图像中检测周边环境车辆，获得视觉跟踪目标的位置信息和尺寸信息；
根据位置信息与尺寸信息，利用改进的粒子滤波算法在视觉图像中进行多目标跟踪；
使用机器视觉与毫米波雷达融合模型，根据关联判定策略将车辆目标与视觉跟踪目标进行关联，并利用毫米波雷达测距信息对视觉跟踪边界框的位置与尺寸进行修正；
进行轨迹信息更新，得出跟踪结果。
结合第一种可实现方式，在第二种可实现方式中，对数据进行滤波包括以下步骤：
对毫米波雷达数据进行预处理，初步滤除无效雷达目标；
基于三阶卡尔曼滤波器，结合目标的距离、角度、速度、加速度参数，对雷达目标进行一致性检验；
针对当前时刻每一个雷达目标，结合相邻k个时刻数据进行连续性判断。
结合第二种可实现方式，在第三种可实现方式中，对毫米波雷达数据进行预处理包括以下步骤：
利用雷达返回空目标的特征数值，筛除空目标；
根据目标区域范围，设置纵向、横向距离阈值，筛除区域外雷达目标。
结合第一种可实现方式，在第四种可实现方式中，深度学习神经网络为卷积神经网络。
结合第一种可实现方式，在第五种可实现方式中，改进的粒子滤波算法，采用遗传算法改进重采样步骤，在遗传算法的交叉操作中生成单个子替代换小权重粒子，在变异操作中利用标准正态分布计算种群适应度。
结合第五种可实现方式，在第六种可实现方式中，遗传算法进行个体适应度评价时，利用巴氏系数计算跟踪模板与粒子窗口之间的相似度，满足以下公式：
其中，pi表示第i个粒子表征窗口直方图，q表示模板直方图，ρ为巴氏系数。
结合第五种可实现方式，在第七种可实现方式中，改进的粒子滤波算法，在两个视觉跟踪边界框重叠时比较其观测值，较小者判定处于被遮挡状态，满足以下公式：
其中，返回Oid为被遮挡粒子的序号，pi表示第i个粒子表征窗口直方图，q表示模板直方图。
结合第一种可实现方式，在第八种可实现方式中，机器视觉与毫米波雷达融合模型的建模方法如下：
建立毫米波雷达坐标系、相机坐标系、图像物理坐标系、图像像素坐标系之间的转换关系，将雷达坐标点准确投影到图像上；
使用向下兼容原则对毫米波雷达和摄像机两个传感器进行采样，保持采样时间一致；
根据雷达目标投影点与视觉跟踪边界框之间的位置关系，设定关联判定策略，实现毫米波雷达数据中车辆目标与视觉跟踪目标的关联；
结合第一种或第八种可实现方式，在第九种可实现方式中，关联判定策略的设定具体包括以下步骤：
(1)视觉跟踪边界框内没有雷达投影点，视觉跟踪目标没有雷达目标与之关联匹配；
(2)一个视觉跟踪边界框内存在且仅有一个雷达投影点，将视觉跟踪边界框与雷达投影点关联匹配；
(3)一个视觉跟踪边界框内存在多个雷达投影点，将距离中心点(x+w/2,y+h/2)处最近的雷达目标与视觉跟踪边界框关联；其中，x为视觉跟踪边界框的横向像素坐标，y为视觉跟踪边界框的纵向像素坐标，w为视觉跟踪边界框的宽度，h为视觉跟踪边界框的高度。
结合第九种可实现方式，在第十种可实现方式中，步骤(1)、(2)、(2)存在优先级关系，当满足前者判断时，不再进行后一级判断。
结合第八种可实现方式，在第十一种可实现方式中，雷达投影点与视觉跟踪边界框的位置关系，满足以下公式：
其中，x为视觉跟踪边界框的横向像素坐标，y为视觉跟踪边界框的纵向像素坐标，u为毫米波雷达投影点的横向像素坐标，v为毫米波雷达投影点的纵向像素坐标，w为视觉跟踪边界框的宽度，h为视觉跟踪边界框的高度。
结合第一种可实现方式，在第十二种可实现方式中，利用毫米波雷达测距信息，对视觉跟踪边界框的位置与尺寸进行修正，修正后的位置及尺寸满足以下公式：
其中，[x1,y1,w1,h1]表示前一时刻下跟踪目标窗口的位置与尺寸，对应的纵向距离为D1；[x2,y2,w2,h2]表示当前时刻视觉跟踪生成的目标的位置与尺寸，对应的纵向距离为D2。
由上述技术方案可知，本发明的有益技术效果如下：
1.在机器视觉与毫米波雷达相融合的前方多车辆跟踪方法中，通过毫米波雷达返回的目标运动学参数，去修正视觉跟踪边界框尺寸，解决了连续跟踪时边界框尺寸过大或过小造成误差累计后，丢失有效目标的问题。
2.针对传统粒子滤波跟踪算法中粒子退化、以及经典重采样中的样本枯竭问题，基于检测得到车辆目标的位置与尺寸信息，利用改进的粒子滤波算法在视觉图像中进行多目标跟踪，采用遗传算法改进重采样步骤，在交叉操作中生成单个子代替换小权重粒子、利用标准正态分布计算种群适应度及完成变异操作，以逼近真实运动规律。在保证实时性的前提下，解决了车辆多目标跟踪中的尺度变化与遮挡问题。
3.采用了深度学习强大的特征学习能力，避免了传统机器学习人工选取特征的缺陷性，通过卷积神经网络训练提取到的特征信息更丰富，表达能力更强，得到的结果也更准确。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1为机器视觉与毫米波雷达融合的多车辆目标跟踪方法流程图。
图2为改进的粒子滤波算法在车辆跟踪中的实现流程图。
图3为毫米波雷达坐标系与世界坐标系转换关系图。
图4为摄像机坐标系与世界坐标系转换关系图。
图5为毫米波雷达与摄像头时间信息示意图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
实施例1
如图1所示，本发明提供一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法，包括以下步骤：
获取毫米波雷达检测数据，对数据进行滤波，得到车辆目标；
获取道路环境图像，使用深度学习神经网络模型在道路环境图像中检测周边环境车辆，获得视觉跟踪目标的位置信息和尺寸信息；
根据位置信息与尺寸信息，利用改进的粒子滤波算法在视觉图像中进行多目标跟踪；
使用机器视觉与毫米波雷达融合模型，根据关联判定策略将车辆目标与视觉跟踪目标进行关联，并利用毫米波雷达测距信息对视觉跟踪边界框的位置与尺寸进行修正；
进行轨迹信息更新，得出跟踪结果。
以下对实施例1工作原理进行详细说明。
本实施例中，机器视觉与毫米波雷达融合的多车辆目标跟踪方法具体按以下步骤进行：
1.获取毫米波雷达检测数据，对数据进行滤波，得到车辆目标
在本实施例中，毫米波雷达每帧输出64个通道信息，其中包含大量空目标以及无效目标。获取毫米波雷达检测数据后，需要对检测数据进行滤波，根据前方车辆目标运动信息，滤除掉无效信息，只保留符合车辆运动特征的目标信息，该目标信息即为车辆目标。具体步骤如下：
1.1对毫米波雷达数据进行预处理，初步滤除无效雷达目标
(1)利用雷达返回空目标的特征数值，筛除空目标。在本实施例中，对于毫米波雷达每帧数据，如果每个通道的相对速度v＝81.91km/h，相对距离d＝0，角度α＝0，我们则认定该通道数据为空目标信息，从而进行滤除。
(2)根据目标区域范围，设置纵向、横向距离阈值，筛除区域外目标。在本实施例中，毫米波雷达检测前方时，纵向距离为d，横向距离为x。要检测与跟踪的目标为本车道与两边车道的同向车辆。通过设置纵向距离阈值Y0与横向距离阈值X0，当|d|<Y0且|x|<X0时，表明目标在区域内进行保留。这样就初步过滤筛选出了目标信息。
1.2基于三阶卡尔曼滤波器，结合雷达目标距离、角度、速度、加速度参数，设计扩展卡尔曼滤波器，对雷达目标进行一致性检验。
1.3针对当前时刻每一个雷达目标，结合相邻k个时刻数据进行连续性判断，当多于k/2时刻内都存在目标满足一致性检验时，则判定该雷达目标为车辆目标。
2.获取道路环境图像，使用深度学习神经网络模型在道路环境图像中检测车辆目标，获得车辆目标的位置信息和尺寸信息
训练深度学习神经网络模型主要包括以下步骤：
(1)采集前方道路车辆视频帧数据，使用Labelimg软件，为每张图片框选出前方车辆位置信息，制作车辆训练数据集。
(2)修改深度学习神经网络中的参数信息，在本实施例中，选用的神经网络为卷积神经网络，卷积神经网络训练提取到的特征信息更丰富，表达能力更强，得到的结果也更准确。因为训练类别数为车辆与背景，因此修改参数classes＝2，batch＝64，subdivsions＝16；使本神经网络适用于训练自己制作的车辆训练数据集。
(3)将车辆训练数据集输入到神经网络中进行训练，当总的损失值不再降低时表示神经网络训练完毕，即可使用该神经网络模型对前方车辆目标进行识别。
使用已经训练好的神经网络模型，在道路环境图像中检测前方车辆，获得每个车辆目标的位置信息和尺寸信息。
3.基于车辆目标的位置与尺寸信息，利用改进的粒子滤波算法在视觉图像中进行多目标跟踪，采用遗传算法改进重采样步骤
在本实施例中，具体的，在遗传算法的交叉操作中生成单个子替代换小权重粒子，在变异操作中利用标准正态分布计算种群适应度。如图2所示，改进的粒子滤波算法在车辆跟踪中的实现流程，具体步骤如下：
3.1选取基因编码
考虑选用车辆目标在图像中的位置及尺寸为基本状态模型，同时还选取车辆目标在图像中纵横方向上像素偏移速率，以及目标视觉跟踪边界框尺度变换因子。最终选取的基因编码为s＝[x,y,h,w,vx,vy,sc]；
3.2个体适应度评价
选用图像HSV空间用于颜色直方图特征，利用巴氏系数计算跟踪模板与粒子窗口之间的相似度，满足以下公式：
在公式(1)中，pi表示第i个粒子表征窗口的直方图，q表示模板直方图，ρ为巴氏系数，值越大则表明两个直方图分布越相似。
3.3选择
先计算前一帧粒子集中每个粒子的适应度，然后据此计算当前有效粒子数。将总粒子数和有效采样粒子数代入动态自适应概率中计算得到交叉概率Pc。其中动态自适应概率函数为：
在公式(2)中，Neff表示实时有效采样粒子数，k为遗传概率系数，Ns为粒子总数，Nth为设定阈值。
3.4交叉
利用每对父代粒子仅交叉产生一个子代，满足如下公式：
C＝α×P1+(1-α)×P2 (3)
在公式(3)中，P1与P2为父代粒子的基因编码，C为生成的子代粒子基因编码，α为比例因子。完成交叉操作后利用生成的子代替换前一帧粒子集中个体适应度排名靠后的相应粒子，即可形成新的包含N个粒子的粒子集；
3.5变异
使用标准正态分布对粒子变异，使的概率分布更接近目标运动规律，其标准正态分布满足如下公式：
在公式(4)中，Si为第i个粒子的基因编码，r为服从[0,1]均匀分布的随机数，rth为变异概率。
3.6两个视觉跟踪边界框重叠时比较其观测值，较小者判定处于被遮挡状态，满足以下公式：
在公式(5)中，返回Oid为被遮挡粒子的序号，pi表示第i个粒子表征窗口的直方图，q表示模板直方图。若连续遮挡达到一定帧数，则判定该目标行驶出视野之外，删除对应的直方图模板。
4.使用机器视觉与毫米波雷达融合模型，根据关联判定策略实现毫米波雷达数据中车辆目标与视觉跟踪目标的关联，并利用毫米波雷达测距信息对视觉跟踪边界框位置与尺寸进行修正
4.1机器视觉与毫米波雷达融合模型的建模方法如下：如图3所示，建立毫米波雷达坐标系与世界坐标系之间的转换关系；图3中Ow为世界坐标系中心，横向坐标轴为Xw，纵向坐标轴为Yw，r1为雷达中距离扫描范围，r2为长距离扫描范围。如图4所示，建立摄像机坐标系与世界坐标系之间的转换关系。这样就建立起毫米波雷达坐标系、相机坐标系、图像物理坐标系、图像像素坐标系之间的转换关系，将雷达坐标点准确投影到图像上。如图5所示，为本发明使用的ESR毫米波雷达与摄像头时间信息对准图，使用向下兼容原则，对毫米波雷达和摄像机两个传感器进行采样，以保持采样时间一致。
4.2根据雷达目标投影点与视觉跟踪边界框之间的位置关系，设计关联判定策略，实现毫米波雷达数据中车辆目标与视觉跟踪目标的关联。
关联判定策略的设定具体包括以下步骤：
(1)若视觉跟踪边界框内没有雷达投影点，视觉跟踪目标没有雷达目标与之关联匹配；
(2)若一个视觉跟踪边界框内存在且仅有一个雷达投影点，直接将视觉跟踪边界框与雷达投影点其关联匹配；
(3)若一个视觉跟踪边界框内存在多个雷达投影点，则将距离中心点(x+w/2,y+h/2)处最近的雷达目标与视觉跟踪边界框关联；其中，x为视觉跟踪边界框的横向像素坐标，y为视觉跟踪边界框的纵向像素坐标，w为视觉跟踪边界框的宽度，h为视觉跟踪边界框的高度。
上述步骤(1)、(2)、(3)存在优先级关系，当满足前者判断时，不再进行后一级判断，这样可以提高关联判定的效率。
在本实施例中，关联判定策略是指雷达投影点与视觉跟踪边界框的位置关系满足如下公式：
在公式(6)中，x为视觉跟踪边界框的横向像素坐标，y为视觉跟踪边界框的纵向像素坐标，u为毫米波雷达投影点的横向像素坐标，v为毫米波雷达投影点的纵向像素坐标，w为视觉跟踪边界框的宽度，h为视觉跟踪边界框的高度。
4.3利用毫米波雷达测距信息，对视觉跟踪边界框位置与尺寸进行修正
修正后的位置及尺寸可由坐标[x’,y’,w’,h’]表示，计算公式如下：
在公式(7)中，[x1,y1,w1,h1]表示前一时刻下跟踪目标窗口的位置与尺寸，对应的纵向距离为D1；[x2,y2,w2,h2]表示当前时刻视觉跟踪生成的目标的位置与尺寸，对应的纵向距离为D2。
5.重复进行以上步骤，并进行轨迹信息更新，得出跟踪结果。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (5)

1.一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法，其特征在于,包括以下步骤：
获取毫米波雷达检测数据，对毫米波雷达数据进行预处理，初步滤除无效雷达目标；基于三阶卡尔曼滤波器，结合目标的距离、角度、速度、加速度参数，对雷达目标进行一致性检验；针对当前时刻每一个雷达目标，结合相邻k个时刻数据进行连续性判断；当多于k/2时刻内都存在目标满足一致性检验时，判定该雷达目标为车辆目标；
获取道路环境图像，使用深度学习神经网络模型在所述道路环境图像中检测周边环境车辆，获得视觉跟踪目标的位置信息和尺寸信息；
根据所述位置信息与尺寸信息，利用改进的粒子滤波算法在视觉图像中进行多目标跟踪，所述改进的粒子滤波算法采用遗传算法改进重采样步骤，在遗传算法的交叉操作中生成单个子替代换小权重粒子，在变异操作中利用标准正态分布计算种群适应度；进行多目标跟踪包括：选用车辆目标在图像中的位置信息及尺寸信息为基本状态模型，选取基因编码，通过颜色直方图进行个体适应度评价，先计算前一帧粒子集中每个粒子的适应度，然后据此计算当前有效粒子数，再将总粒子数和有效采样粒子数代入动态自适应概率中计算得到交叉概率；利用每对父代粒子仅交叉产生一个子代；使用标准正态分布对粒子变异，使其概率分布更接近目标运动规律；当两个视觉跟踪边界框重叠时比较其观测值，较小者判定处于被遮挡状态；
所述改进的粒子滤波算法，在两个视觉跟踪边界框重叠时比较其观测值，较小者判定处于被遮挡状态，满足以下公式：
其中，返回Oid为被遮挡粒子的序号，表示第i个粒子表征窗口直方图，qu表示模板直方图；
所述遗传算法进行个体适应度评价时，利用巴氏系数计算跟踪模板与粒子窗口之间的相似度，满足以下公式：
其中pi表示第i个粒子表征窗口直方图，q表示模板直方图，ρ为巴氏系数；
使用机器视觉与毫米波雷达融合模型，根据关联判定策略将所述车辆目标与所述视觉跟踪目标进行关联，关联判定策略包括：S1、视觉跟踪边界框内没有雷达投影点，视觉跟踪目标没有雷达目标与之关联匹配；S2、一个视觉跟踪边界框内存在且仅有一个雷达投影点，直接将视觉跟踪边界框与雷达投影点其关联匹配；S3、一个视觉跟踪边界框内存在多个雷达投影点，则将距离中心点(x+w/2,y+h/2)处最近的雷达目标与视觉跟踪边界框关联；其中，x为视觉跟踪边界框的横向像素坐标，y为视觉跟踪边界框的纵向像素坐标，w为视觉跟踪边界框的宽度，h为视觉跟踪边界框的高度；所述步骤S1、S2、S3存在优先级关系，当满足前者判断时，不再进行后一级判断；
利用毫米波雷达测距信息对视觉跟踪边界框的位置与尺寸进行修正；修正后的位置及尺寸可由坐标[x’,y’,w’,h’]表示，计算公式如下：
在上式中，[x1,y1,w1,h1]表示前一时刻下跟踪目标窗口的位置与尺寸，对应的纵向距离为D1；[x2,y2,w2,h2]表示当前时刻视觉跟踪生成的目标的位置与尺寸，对应的纵向距离为D2；
进行轨迹信息更新，得出跟踪结果。
2.根据权利要求1所述一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法，其特征在于，对毫米波雷达数据进行预处理包括以下步骤：
利用雷达返回空目标的特征数值，筛除空目标；
根据目标区域范围，设置纵向、横向距离阈值，筛除区域外雷达目标。
3.根据权利要求1所述一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法，其特征在于：所述深度学习神经网络为卷积神经网络。
4.根据权利要求1所述一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法，其特征在于，所述机器视觉与毫米波雷达融合模型的建模方法如下：
建立毫米波雷达坐标系、相机坐标系、图像物理坐标系、图像像素坐标系之间的转换关系，将雷达坐标点准确投影到图像上；
使用向下兼容原则对毫米波雷达和摄像机两个传感器进行采样，保持采样时间一致；
根据雷达目标投影点与视觉跟踪边界框之间的位置关系，设定关联判定策略，实现毫米波雷达数据中车辆目标与视觉跟踪目标的关联。
5.根据权利要求1所述一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法，其特征在于，所述雷达投影点与视觉跟踪边界框的位置关系，满足以下公式：
其中，x为视觉跟踪边界框的横向像素坐标，y为视觉跟踪边界框的纵向像素坐标，u为毫米波雷达投影点的横向像素坐标，v为毫米波雷达投影点的纵向像素坐标，w为视觉跟踪边界框的宽度，h为视觉跟踪边界框的高度。
CN202010699138.0A 2020-07-20 2020-07-20 一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法 Active CN111862157B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010699138.0A CN111862157B (zh) 2020-07-20 2020-07-20 一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010699138.0A CN111862157B (zh) 2020-07-20 2020-07-20 一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法

Publications (2)

Publication Number Publication Date
CN111862157A CN111862157A (zh) 2020-10-30
CN111862157B true CN111862157B (zh) 2023-10-10

Family

ID=73001093

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010699138.0A Active CN111862157B (zh) 2020-07-20 2020-07-20 一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法

Country Status (1)

Country Link
CN (1) CN111862157B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112363167A (zh) * 2020-11-02 2021-02-12 重庆邮电大学 一种基于毫米波雷达与单目相机融合的扩展目标跟踪方法
CN112505684B (zh) * 2020-11-17 2023-12-01 东南大学 恶劣环境路侧视角下雷达视觉融合的车辆多目标跟踪方法
CN112550287B (zh) * 2020-12-16 2022-08-26 重庆大学 一种面向结构化道路的驾驶风险评估方法
CN112767475B (zh) * 2020-12-30 2022-10-18 重庆邮电大学 一种基于c-v2x、雷达与视觉的智能路侧感知***
GB2620877A (en) * 2021-01-01 2024-01-24 Du Yuchuan On-board positioning device-based roadside millimeter-wave radar calibration method
CN115943439A (zh) * 2021-03-01 2023-04-07 杜豫川 一种基于雷视融合的多目标车辆检测及重识别方法
CN112950678A (zh) * 2021-03-25 2021-06-11 上海智能新能源汽车科创功能平台有限公司 一种基于车路协同的超视距融合感知***
CN113253255A (zh) * 2021-05-11 2021-08-13 浙江大学 一种多点位多传感器目标监测***和方法
CN113343849A (zh) * 2021-06-07 2021-09-03 西安恒盛安信智能技术有限公司 一种基于雷达和视频的融合感知设备
CN113591941B (zh) * 2021-07-12 2024-06-04 武汉科技大学 一种基于多传感器融合的智能限高警示***及方法
CN113848545B (zh) * 2021-09-01 2023-04-14 电子科技大学 一种基于视觉和毫米波雷达的融合目标检测和跟踪方法
CN113743385A (zh) * 2021-11-05 2021-12-03 陕西欧卡电子智能科技有限公司 一种无人船水面目标检测方法、装置及无人船
CN116125488A (zh) * 2021-11-12 2023-05-16 北京万集科技股份有限公司 目标追踪方法、信号融合方法、装置、终端和存储介质
CN114137512B (zh) * 2021-11-29 2024-04-26 湖南大学 一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法
CN114266859B (zh) * 2021-12-02 2022-09-06 国汽智控(北京)科技有限公司 数据处理方法、装置、设备和存储介质
CN113888602B (zh) * 2021-12-03 2022-04-05 深圳佑驾创新科技有限公司 一种雷达车辆目标与视觉车辆目标的关联方法及装置
CN114152942B (zh) * 2021-12-08 2022-08-05 北京理工大学 一种毫米波雷达与视觉二阶融合多分类目标检测方法
CN114200442B (zh) * 2021-12-10 2024-04-05 合肥工业大学 一种基于毫米波雷达和视觉的道路目标检测与关联方法
CN115542312B (zh) * 2022-11-30 2023-03-21 苏州挚途科技有限公司 多传感器关联方法及装置
CN116128962A (zh) * 2022-12-21 2023-05-16 惠州市德赛西威智能交通技术研究院有限公司 基于单目视觉的车辆3d定位方法，装置，汽车及存储介质
CN117611638B (zh) * 2023-12-07 2024-05-17 北京擎锋精密科技有限公司 一种基于图像处理的车辆行人多目标跟踪方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508246A (zh) * 2011-10-13 2012-06-20 吉林大学 车辆前方障碍物检测跟踪方法
CN102521612A (zh) * 2011-12-16 2012-06-27 东华大学 一种基于协同关联粒子滤波的多视频目标主动跟踪方法
WO2016205951A1 (en) * 2015-06-25 2016-12-29 Appropolis Inc. A system and a method for tracking mobile objects using cameras and tag devices
CN108320300A (zh) * 2018-01-02 2018-07-24 重庆信科设计有限公司 一种融合粒子滤波的时空上下文视觉跟踪方法
CN109376493A (zh) * 2018-12-17 2019-02-22 武汉理工大学 一种粒子群优化的径向基神经网络车辆速度跟踪方法
CN109459750A (zh) * 2018-10-19 2019-03-12 吉林大学 一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法
CN110208793A (zh) * 2019-04-26 2019-09-06 纵目科技（上海）股份有限公司 基于毫米波雷达的辅助驾驶***、方法、终端和介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8989442B2 (en) * 2013-04-12 2015-03-24 Toyota Motor Engineering & Manufacturing North America, Inc. Robust feature fusion for multi-view object tracking
US10852419B2 (en) * 2017-10-20 2020-12-01 Texas Instruments Incorporated System and method for camera radar fusion
US11630197B2 (en) * 2019-01-04 2023-04-18 Qualcomm Incorporated Determining a motion state of a target object

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508246A (zh) * 2011-10-13 2012-06-20 吉林大学 车辆前方障碍物检测跟踪方法
CN102521612A (zh) * 2011-12-16 2012-06-27 东华大学 一种基于协同关联粒子滤波的多视频目标主动跟踪方法
WO2016205951A1 (en) * 2015-06-25 2016-12-29 Appropolis Inc. A system and a method for tracking mobile objects using cameras and tag devices
CN108320300A (zh) * 2018-01-02 2018-07-24 重庆信科设计有限公司 一种融合粒子滤波的时空上下文视觉跟踪方法
CN109459750A (zh) * 2018-10-19 2019-03-12 吉林大学 一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法
CN109376493A (zh) * 2018-12-17 2019-02-22 武汉理工大学 一种粒子群优化的径向基神经网络车辆速度跟踪方法
CN110208793A (zh) * 2019-04-26 2019-09-06 纵目科技（上海）股份有限公司 基于毫米波雷达的辅助驾驶***、方法、终端和介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于多特征融合的粒子滤波目标跟踪算法;刘士荣;朱伟涛;杨帆;仲朝亮;;信息与控制(第06期);全文 *

Also Published As

Publication number Publication date
CN111862157A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN111862157B (zh) 一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法
CN109977812B (zh) 一种基于深度学习的车载视频目标检测方法
CN108960183B (zh) 一种基于多传感器融合的弯道目标识别***及方法
CN109447018B (zh) 一种基于改进Faster R-CNN的道路环境视觉感知方法
CN106599792B (zh) 一种手部驾驶违规行为的检测方法
Nieto et al. Road environment modeling using robust perspective analysis and recursive Bayesian segmentation
CN114970321A (zh) 一种基于动态轨迹流的场景流数字孪生方法及***
CN115995063A (zh) 作业车辆检测与跟踪方法和***
CN101470809B (zh) 一种基于扩展混合高斯模型的运动目标检测方法
CN109753949B (zh) 一种基于深度学习的多视窗交通标志检测方法
CN103903019A (zh) 一种多车道车辆轨迹时空图的自动生成方法
CN110379168A (zh) 一种基于Mask R-CNN的交通车辆信息获取方法
CN113052873B (zh) 一种在线自监督学习场景适应的单目标跟踪方法
CN113516853B (zh) 一种针对复杂监控场景的多车道车流量检测方法
CN111681259A (zh) 基于无Anchor机制检测网络的车辆跟踪模型建立方法
CN111738336A (zh) 基于多尺度特征融合的图像检测方法
CN111259796A (zh) 一种基于图像几何特征的车道线检测方法
CN107808524A (zh) 一种基于无人机的道路交叉口车辆检测方法
CN113593035A (zh) 一种运动控制决策生成方法、装置、电子设备及存储介质
CN112801021B (zh) 基于多级语义信息的车道线检测方法及***
CN112288765A (zh) 一种用于车载红外行人检测跟踪的图像处理方法
CN113158747A (zh) 一种黑烟车夜间抓拍识别方法
CN112052768A (zh) 基于无人机的城市违章停车检测方法、装置及存储介质
CN112085101A (zh) 一种高性能高可靠的环境融合感知方法及***
CN111881748A (zh) 一种基于vbai平台建模的车道线视觉识别方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant