CN107238834A - 用于自动车辆的使用雷达/视觉融合的目标跟踪*** - Google Patents

用于自动车辆的使用雷达/视觉融合的目标跟踪*** Download PDF

Info

Publication number
CN107238834A
CN107238834A CN201710286682.0A CN201710286682A CN107238834A CN 107238834 A CN107238834 A CN 107238834A CN 201710286682 A CN201710286682 A CN 201710286682A CN 107238834 A CN107238834 A CN 107238834A
Authority
CN
China
Prior art keywords
radar
vision
matching
tracking
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710286682.0A
Other languages
English (en)
Other versions
CN107238834B (zh
Inventor
J·K·希夫曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aptiv Technologies Ltd
Original Assignee
Delphi Automotive Systems LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Delphi Automotive Systems LLC filed Critical Delphi Automotive Systems LLC
Publication of CN107238834A publication Critical patent/CN107238834A/zh
Application granted granted Critical
Publication of CN107238834B publication Critical patent/CN107238834B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/581—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of interrupted pulse modulated waves and based upon the Doppler effect resulting from movement of targets
    • G01S13/582—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of interrupted pulse modulated waves and based upon the Doppler effect resulting from movement of targets adapted for simultaneous range and velocity measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/583—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets
    • G01S13/584—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets adapted for simultaneous range and velocity measurements

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种目标跟踪***(10)，适合于用在自动车辆上，包括相机(14)、雷达传感器(18)以及控制器(22)。控制器(22)被配置成将视觉标识(58)分配给与使用相机(14)检测到的目标(54)的实例相关联的每个视觉跟踪(26)，以及将雷达标识(60)分配给与使用雷达传感器(18)检测到的指示的分组轨迹片段(56)的实例相关联的每个雷达团(28)。控制器(22)进一步配置成确定视觉跟踪(26)和雷达团(28)指示相同目标(54)的概率。如果组合具有合理的匹配机会，则它被包括在数据的进一步筛选中，以确定每个视觉跟踪(26)与具有最大概率为正确组合的雷达跟踪的配对的组合。

Description

用于自动车辆的使用雷达/视觉融合的目标跟踪***
技术领域
本公开一般涉及目标跟踪，且更具体地涉及融合来自雷达传感器和 相机的信息以便确定目标(诸如接近主车辆的其他车辆)的相对运动的***。
背景技术
已知基于目标的形状和外观尺寸对出现在来自自动车辆安装的相机 的图像中的目标进行标识或分类的图像处理算法。然而，由于进行距离测量所 必需的关键对准，所以难以测量与目标的距离。相反地，自动车辆雷达传感器 可容易地确定与目标的距离，但是仅仅基于对反射的雷达信号的分析难以对目 标进行标识或分类。已知“融合”或组合来自不同类型的目标检测器(例如， 相机，雷达，激光雷达)的目标检测数据，以利用一种类型的传感器的优势去 补偿另一种类型传感器的劣势。然而，融合过程产生的数据量会不受欢迎地增 加执行融合过程的计算硬件的成本以及复杂度。
发明内容
在此描述的是一种目标跟踪***，其包括或采用融合***，该融 合***用于组合来自主车辆传感器诸如速度传感器和偏航率传感器以及目标 检测传感器诸如雷达传感器和相机的信息。组合该信息以估算存在于主车辆附 近的区域中的目标的数量和身份，并估算每个感兴趣的目标的例如位置、速率、 轨迹等等。这种融合***中的困难任务之一在于决定使用雷达传感器跟踪的 目标如何与使用相机跟踪的目标有关。换句话说，问题在于如何将每个视觉跟 踪(vision-track)与雷达跟踪(radar-track)(或与一簇或一“团(glob)”雷达跟 踪)匹配。已经观察到，如果这里假定***的视觉方面对每个感兴趣的目标产 生最多一个视觉跟踪，而允许雷达传感器对每个目标产生若干雷达跟踪(或者 在大型卡车的情况下，多达40或50个)，则实现可接受的性能。在此描述的系 统包括尤其适于检测接近于主车辆车辆目标的其他车辆的雷达/视觉匹配算法。
根据一个实施例，提供了一种适合于用在自动车辆上的目标跟踪系 统。该***包括相机、雷达传感器和控制器。该相机用于捕捉相机的视觉视场 (VFOV)的图像。雷达传感器用于检测从与VFOV重叠的雷达视场(RFOV) 反射的雷达信号。控制器与相机和雷达传感器通信。该控制器被配置成将视觉 标识分配给与控制器在图像中所检测到的目标的实例相关联的每个视觉跟踪。 控制器还被配置成将雷达标识分配给与由雷达信号指示的分组轨迹片段 (grouped-tracklet)的实例相关联的每个雷达团。该控制器还被配置成确定视觉 跟踪和雷达团的每个组合的匹配可行性，其中，当以下情况中的至少一种情况 时，每个匹配可行性是被设置为等于一(1)的二进制值：a)视觉跟踪的视觉角 和雷达团的雷达角之间的方位角差小于方位角阈值，b)视觉跟踪的视觉距离和雷 达团的雷达距离之间的距离差小于距离阈值，以及c)视觉跟踪的视觉速度和雷 达团的雷达速度之间的速度差小于速度阈值。该控制器还被配置成从所有可能 的视觉跟踪和雷达团配对组合中选择可行的匹配模式(pattern)列表，其中当配 对组合中的视觉跟踪和雷达团的每个组合的匹配可行性等于一时，该配对组合 是可行的匹配模式。该控制器还被配置成确定可行的匹配模式的每个实例的品 质值。品质值基于用于确定匹配可行性的方位角差、距离差和速度差的实例的加权组合的倒数。该控制器还被配置成通过利用选择的比例因子比例化品质值 来确定每个品质值的归一化(normalized)值，从而归一化值的总和等于一(1)。 该控制器还被配置成通过对指示视觉跟踪和雷达团的组合的匹配的可行的匹配 模式的归一化值求和来计算视觉跟踪和雷达团的每个组合的原始概率。
在另一实施例中，该控制器还被配置成通过对针对该组合获得的原 始概率进行低通过滤来确定视觉跟踪和雷达团的每个组合的匹配概率，通过将 视觉跟踪和雷达团的组合的匹配概率与上阈值和下阈值进行比较来确定对视觉 跟踪和雷达团之间的现有关联进行重新组织测试的需要，并且当匹配概率之一 从小于上阈值转变到大于上阈值或从大于下阈值转变到小于下阈值时，执行对 视觉跟踪和雷达团之间的关联的重新组织测试。
在阅读下述优选实施例的详细描述后，进一步的特征和优势将更清 楚地呈现，其仅以非限制性示例的方式给出且参考附图而给出。
附图说明
现在将参考附图借助示例来描述本发明，其中：
图1是根据一个实施例的目标跟踪***的示图；
图2是根据一个实施例的由图1的***经历的交通场景；
图3是根据一个实施例的由图1的***确定的可行性矩阵；
图4是根据一个实施例的由图1的***确定的可行的匹配模式的列 表；以及
图5是根据一个实施例的由图1的***确定的匹配概率的累积。
具体实施方式
图1示出了目标跟踪***10(此后称为***10)的非限制性示例， ***10通常适合于在自动车辆(此后称为主车辆12)上使用。***10包括相 机14以及雷达传感器18，该相机14用于捕捉相机14的视觉视场16(此后称 为VFOV 16)的图像，该雷达传感器18用于检测从雷达视场20(此后称为RFOV 20)反射的雷达信号。通常，VFOV 16和RFOV 20重叠，使得各自的大部分片 段覆盖相同区域，从而使得由一个设备(相机14或雷达传感器18)在***感测区域检测到的目标的实例不会被另一个设备错过。尽管图1建议相机14和雷达 传感器18并排布置，但这只是为了简化说明。应认识到，如果两个设备被定位 成靠近在一起，那么使相机14和雷达传感器18彼此对准被简化，但这不是系 统10的要求。相信，如果VFOV 16和RFOV20是如图2中所建议的基本上相 同的区域，那么***10的构造和操作通常将被优化。
***10还包括与相机14和雷达传感器18通信的控制器22。控制器 22可包括处理器(未具体示出)，诸如微处理器或其他控制电路，诸如模拟和/ 或数字控制电路，包括专用集成电路(ASIC)，用于处理数据，如对于本领域技 术人员而言应当明显的。控制器22可包括存储器(未具体示出)，包括非易失 性存储器，诸如电可擦除可编程只读存储器(EEPROM)，以用于存储一个或多 个例程、阈值和捕获的数据。该一个或多个例程可由处理器执行，以执行步骤 以用于基于由控制器22从相机14和雷达传感器18接收的并如下面更详细地描 述地处理的信号确定例如实际目标24的一个或多个实例的身份、位置、速度和行驶方向。图2中的实际目标24由虚线矩形指示，其中矩形的相对尺寸指示实 际目标24相对于彼此的相对尺寸。
通常，在主车辆12上执行在此描述的***10，其中融合来自雷达传 感器18和相机14的数据；然而这并不是要求。场景里的实际目标24，即其他 车辆，可在任何方向上移动，但是在此为了简化解释，假设所有的目标在与主 车辆12大致相同的方向上移动。假设主车辆12车载的***10的视觉部分50 独立于***10的雷达部分52而工作。它提供被跟踪的目标的列表，以及每个 目标的相对目标上的“质心(centroid)”参考点(例如，在前车辆的背面的中心) 的位置、速率、目标类别以及方位角以及(部分时间)相对于车辆目标的近角 的“范围角(extent angle)”的估算。图2示出了此的平面图(“鸟瞰”图)。
主车辆12车载的***10的雷达部分52在每个时刻报告“检测”列 表。每个检测实例典型地包括距离值、距离率值和方位角值。雷达***随时 间观察这些检测列表，并创建“轨迹片段(tracklet)”列表(即，散射中心上的 雷达跟踪，其是目标车辆上的雷达“亮点”)。每个轨迹片段包含随时间收集的 信息，诸如位置、速率、加速度和状态信息，其指示检测实例最近如何被用来 更新该轨迹片段。
因此，与图像部分50相似，雷达部分52提供雷达跟踪列表，其假 设为主要是其检测的车辆上的跟踪散射中心。在未被阻挡的且处于相当近的范 围处的给定车辆上，通常有多于一个的这样的轨迹片段。被称为“分组”的融 合***中的功能被假设为已经将这些轨迹片段分组为“雷达团”。在车辆之间 具有适当的间隔的普通高速场景下，该任务不是非常困难的。由此，每个雷达 团有效地是车辆目标上的分组的雷达跟踪。形成此分组的雷达跟踪的具体方式 (例如，通过对轨迹片段进行分组)对于匹配算法并不是重要的。例如，不同但 完全可允许的方案将是通过直接跟踪目标上的多个检测的集合的序列(即，“跟 踪组”，而不是“对追踪进行分组”)来形成分组的雷达跟踪。
这里描述的匹配或融合算法主要涉及检测车辆目标，即其他车辆。 这使得一些匹配更加简单。例如，雷达传感器可以检测到相机可以检测到的任 何车辆似乎是合理的假设。到该场景中的可能的目标的子集的此限制减少了匹 配的组合复杂度，从而使得计算在汽车级处理器上实时可行。理想地，当考虑 如何匹配雷达跟踪和视觉跟踪时，在它们正在提供的估算中将具有对传感器系 统的不确定性的估算(除了估算它们自己以外)。由于这些估算对于***10的 一些实施例中所使用的传感器***是不可用的，所以使用从这些***的“专家 知识”借来的信息。
如前所指出的，***10的视觉部分50在估算质心方位角方面相对 较好，并且同样也在对目标的类型(例如，汽车，摩托车，卡车等)进行分类 方面较好。相对来说，视觉部分50在估算目标的位置或速率方面不是特别好。 这些估算被匹配算法利用，但对它们的准确度仅具有健康的不尊重(healthy disrespect)。例如，目标的估算的纵向位置的100％误差对于视觉***并不罕见， 这意味着被确定为处于下行范围(downrange)100米处的目标实际上可能处于 200米。相反，雷达部分52在测量距离和距离率方面相对较好，但是在测量方位角方面不太好。***10的雷达部分52和视觉部分50的这些优点/缺点的互补 性是使得它们的估算的融合如此期望，但也使得匹配困难的东西。
下面，术语“匹配模式(match pattern)”涉及将N个(M个中的N 个，M＞＝N)不同的雷达团(图2中的R1、R2……R8)分配给考虑中的N个 视觉跟踪(图2中的V1、V2……V5)的特定方式。术语“可行的匹配对”涉 及具体的视觉跟踪26(图1)和雷达团28对，其基于对它们的估算中的可能的 误差的考虑，被匹配算法视为用于匹配的合理的候选对。“可行的匹配模式”是 包括N个可行的匹配对的匹配模式。归因于由较靠近的目标对所提议的匹配之 一的明显遮挡，可行的匹配模式随后可被遮挡测试30视为“不可行”，该较靠 近的目标显然应当正在阻塞相机对更远目标的视野(使得所提议的视觉跟踪与 该更远雷达团的匹配似乎是不可能的)。匹配模式的任何单个问题都导致整个模 式是不可行的。预期的是，一些可获得的雷达团可能不被匹配至视觉跟踪，因 为它们对应于被雷达检测到而没被视觉检测到的目标。
这里描述的匹配算法针对视觉跟踪26的每个实例(例如，V1、V2…… V5)，有效地计算视觉跟踪26的具体实例应当被匹配至(有限)数量的雷达团 28的实例(例如，R1、R2……R8)中的每一个的概率。作为示例而非限制，算 法的结果，其细节将在后续描述，是视觉跟踪26的具体实例，例如V3，被匹 配至雷达团28的具体实例(例如，R3，R4，R1)的匹配概率32。对于图2中 示出的场景，对于一些组合的匹配概率32是V3∶R3＝0.77，V3∶R4＝0.15，以及 V3∶R1＝0.08。对于视觉跟踪26的具体实例与雷达团28的具体实例的其它组合的匹配概率32通过后续将更详细描述的遮挡测试30或其它测试被设定为零， 和/或因为概率太低，例如，低于某一阈值而被设定为零。那就是，对于视觉跟 踪26的每个实例，存在若干个雷达团28候选被考虑适合于匹配。还预期的是， 可基于来自相机14和雷达传感器18的当前信息以及基于如下面将更详细描述 的历史信息来确定匹配概率32。
在上述附图中，如果视觉ID 3还未被匹配至雷达团3(其具有匹配 概率0.77)，则如果该匹配概率超过阈值(例如，0.60)，那么将进行对现有的雷 达/视觉匹配的重新布置，以便使得该雷达/视觉对能够被匹配。注意的是，两个 不同的视觉跟踪都具有与雷达团3的超过足够高阈值的匹配概率不应该是可能 的。
现在将考虑历史信息如何可影响视觉跟踪26和雷达团28的实例的 配对。如果V3在当前时刻之前被匹配至R1(其具有匹配概率0.08)，并且已经 建立了预定的最小阈值0.10，那么该雷达/视觉匹配将被分开。通常，在重新组 织测试34中同时考虑所有需要的新匹配和打破匹配动作。这允许最少量的不受 期望的融合跟踪ID切换由重新组织测试34造成。
现在呈现该匹配算法中的步骤的轮廓。术语“运动状态”涉及整体 对地运动的确定，即，接近，静止，后退。
创建要被考虑的雷达团列表。
计算这些雷达团的相关特征，例如，运动状态，位置，速率。
创建视觉跟踪列表。
计算相关特征，例如，运动状态。
对候选匹配对进行可行性测试，以创建可行性矩阵。
从考虑移除任何完全不可行的雷达团或视觉跟踪。
对可行的匹配模式的循环(由对可行性矩阵的检查创建的匹配模式)。
遮挡测试。
如果模式可以，
加入匹配模式列表，
计算匹配模式的品质值。
结束
结束循环
归一化匹配模式品质值(例如，因此总和等于1.0)。
通过从概率列表移除任何新的/死的雷达团来清理雷达/视觉匹配概率。
对零可行的模式的情况的特殊处理。
降低所有匹配概率(对匹配概率的低通过滤的第一步骤)。
从可行的匹配模式累积匹配信息，以得到瞬时原始概率。
使用原始概率值更新匹配概率(低通过滤的第二步骤)。
计划重新组织测试(基于匹配概率)。
重新组织雷达/视觉匹配。
下面是以上列出的一些步骤的细节。
对候选匹配对进行可行性测试，以创建可行性矩阵。
图3示出了可行性矩阵38的非限制性示例。通过比较视觉跟踪26和 雷达团28的各个实例的状态估算，针对每个可能的配对确定匹配可行性36。结 果被存储在可行性矩阵38中。完成对潜在的雷达/视觉相配(match-up)的此“预 把关(pre-gating)”以减小组合复杂度，且此预把关是基于雷达跟踪和视觉跟踪 之间在运动状态、方位角、纵向位置和纵向速率方面的相似性。在图3中所示 的示例中，视觉跟踪1仅是与雷达团1和2的可行的匹配。
预期的是，可改变此预把关的关口(gate)，例如，当特定雷达/视觉对 已经被匹配达很长时间且被相信是正确的相配时，可加宽关口。该加宽的关口 可用于维持此正确的匹配，即使在视觉跟踪或雷达跟踪中存在简短的(brief) 错误，而所述简短的错误足够大以否则引起匹配打破。通过检查等于一的条目， 随后生成所有可能的可行的匹配模式的序列。这些可行的匹配模式中的一些后 续可通过遮挡测试30被拒绝。
使用可行的匹配对确定的该“预把关”以及所得的可行性矩阵38的实 例的目的是显著地减少需要被检查的匹配模式的数目。对于图中具有五个视觉 跟踪26实例和八个雷达团28实例的非限制性示例，在没有预把关的情况下， 存在6720个匹配模式将需要被考虑。利用预把关，存在少于192个模式(192＝ 每行中1的数目的积，即，2*3*4*4*2，但这是过高估算，因为它没有考虑在相 同列中具有1的多个行)。
对可行的匹配模式的循环(由对可行性矩阵的检查创建的匹配模式)。
图4示出了来自图3的可行的匹配模式40列表的非限制性示例，对其 循环以意图创建也通过遮挡测试30的最终的模式列表。也为可行的匹配模式40 的实例中的每一个测量品质值42。如图4中所示，每个匹配模式(矩阵的行) 显示在该模式下具体视觉跟踪被匹配至哪个雷达团。例如，在匹配模式3中， 视觉跟踪1被匹配至雷达团1，视觉跟踪2被匹配至雷达团3，视觉跟踪3被匹 配至雷达团4等等。
遮挡测试。
遮挡测试30的目的是排除不可能的匹配。例如，假设在主车辆12前 面有两辆车，都在相同的车道，并且对于两个在前车辆中的每一个存在不同的 雷达团28实例。同样也有视觉跟踪26实例，其由是雷达团28中的任一个的良 好匹配的方位角表征。遮挡测试确定视觉部分50不可能看见第二辆(更远的) 车，因为第一辆(最靠近的)车将阻塞第二辆车的视野或到第二辆车的视线。 因此，视觉跟踪26和第一辆车之间的匹配将被遮挡测试30批准。如果当前的 匹配模式正在建议视觉跟踪26应该被匹配至第二辆车，那么遮挡测试30将使该匹配模式无效，且处理将继续进行到列表上的下一匹配模式。那就是，假定 考虑中的匹配模式可能试图将雷达团28的更远实例与考虑中的视觉跟踪26的 实例匹配，并且雷达团28的更近的实例也是与考虑中的视觉跟踪26的合理匹 配(例如，两者都已知为车辆且具有相同的运动状态，等等)，那么遮挡测试30 将把将该视觉跟踪26与雷达团28的更远的(被遮挡的)实例配对的匹配模式 标记为“不可行”，因为被更近的雷达团的视觉遮挡。
对此的一种例外是如果考虑中的当前匹配模式也命令更靠近的雷达团 与不同的视觉跟踪匹配。在这种情况下，更远的匹配将被允许。这样的一种示 例在一辆车正在经过另一辆车并且随后变道到另一辆车的前面时会发生。视觉 ***可坚持在更远的车辆上的视觉跟踪达一时间段，即使该更远的车辆被更靠 近的车辆大部分遮挡。
计算匹配模式的品质。
每个可行的匹配模式具有确定的品质值42。品质值42旨在代表假定 的误差模型下的贝叶斯类型的可能性。品质值42可被计算为每个雷达团/视觉跟 踪对中方位角、纵向位置和纵向速率的加权平方差的指示的匹配对的总和的倒 数。如果指示的匹配中的任一个包含“可疑的”雷达团(即，融合***对该 雷达团中的轨迹片段中的一个或多个的有效性或准确度具有低信心)，则品质值 42降低。如果雷达团28和视觉跟踪26估算在这三个类别上吻合得很好，则匹 配的雷达/视觉对将具有增加值的品质值42。它们彼此越不吻合，品质值42越 低，因此它们实际匹配的可能性或概率就更低。
最终的可行的匹配模式中的每一个的品质值42被归一化，以提供成比 例的归一化值44，从而归一化值的总和等于1.0。在“累积匹配信息”步骤(接 下来描述)中，这些归一化值被解释为匹配模式是正确的概率。
从可行的匹配模式累积匹配信息，以得到瞬时原始概率。
图5示出了在计算每个视觉/雷达对(例如，视觉跟踪Vi和雷达团Rj) 的原始概率46中的关键步骤的非限制性示例。该匹配算法工作的方式是标识可 接受的潜在匹配模式的列表，赋予它们每个一个归一化值44，然后把使视觉跟 踪Vi和雷达团Rj相配的匹配模式的所有归一化值44相加。如图5中所示，对 于每个视觉跟踪，通过在整个表的可行的匹配模式和归一化的匹配模式品质值 上使用此累积过程来计算与每个可行的雷达团的原始匹配概率。这些原始匹配 概率值随后被低通过滤。
作为示例，使视觉ID 1(V1)在列表上的每单个匹配模式中与雷达团 ID 2(R2)匹配。在刚刚描述的累积过程中，该对的原始概率46将总和为1.0。 基于该对在每个可行的模式中被匹配的观察，此概率值匹配直觉。在该对仅在 一部分模式中被匹配的情况中，原始概率46将在0.0和1.0之间，其取决于匹 配出现的模式的品质/概率。如果该对在没有一个模式中被匹配，则原始概率46 将是0.0。
降低所有匹配概率(对匹配概率的低通过滤的第一步骤)以及使用原始概率值更 新匹配概率(低通过滤的第二步骤)。
这两个步骤代表对原始概率46应用低通过滤器48以获得具有足够高 概率的所选雷达/视觉对的匹配概率。离散时间下的第一阶低通过滤器操作可由 类似xk＝αxk-1+(1-α)uk的等式表示，其中，xk是在时间k经过滤的输出值，uk是 在时间k的原始输入值，且α是过滤器增益系数(0.0和1.0之间的值)。
项αxk-1代表匹配概率的降低，且项(1-α)uk代表使用原始值的匹配概 率更新。在发现零可行的匹配模式的情况下，uk项有效地等于零，并且只有概 率降低步骤发生。
α的可能值是0.8。作为示例，假设当突然地特定雷达/视觉匹配对看 起来像极好的匹配时，该对具有0.0的匹配概率，且1.0的原始概率值被计算。 如果该原始概率被维持数个步骤，则(经过滤的)匹配概率将采用值0.0、0.2、 0.36、0.49、0.59、0.67、……。在某点，该值将超过阈值(例如，0.6)，且雷达 /视觉匹配将被重新组织，以执行该匹配。因此，对于该阈值，进行匹配花费(至 少)5步。
在这里描述的匹配算法中，在一些条件下可允许例外。如果视觉跟踪 当前未被匹配，并接着与特定雷达团具有足够高的值的原始概率46，那么经过 滤的匹配概率被允许跳至1.0。这允许在这些明确匹配情况下即刻匹配可用于融 合。如果对于该视觉跟踪，匹配是模棱两可的，那么概率必须被允许根据上述 的方案升高或降低。
计划重新组织测试(基于匹配概率)。
在重新组织测试34中，针对每个视觉跟踪检查匹配概率。可能存在具 有高于与它们当前未被匹配至的雷达团匹配的阈值的匹配概率的视觉跟踪。或 者也许现有的匹配的雷达/视觉对的匹配概率已经下降到阈值以下，且这两个需 要被***开。在前者情况中，可能是此视觉跟踪想要的该雷达团已经被匹配至 不同的视觉跟踪，从而使得在任何新的匹配可发生之前，其他的融合跟踪将需 要被分开。或者在该相同的情况下，考虑中的视觉跟踪可能已经被匹配至雷达 团，从而使得融合跟踪将需要被分开。
重新组织测试34在概念上是直截了当的。它首先将包含重新组织测试 中所需的雷达或视觉块的所有融合跟踪***开，并接着如匹配概率所指示的重 新组装这些块。
还需要以对正在使用融合***输出的警告/方便特征而言最满意的 方式最小化融合跟踪ID的切换并且将ID维持在正确的块上。
重新组织雷达/视觉匹配
该步骤是融合跟踪的雷达和视觉块的计划的重新组织测试的概念上简 单的执行。计划步骤已经制定出哪些雷达/视觉融合跟踪将需要被***开，以及 块中的哪些将需要被放到一起。重新组织测试中包含的所有融合跟踪的融合跟 踪ID已经以最小化不必要的ID切换的方式在计划中被预先确定。重新组织的 融合跟踪的融合跟踪状态被调整以考虑新的雷达和视觉块的状态值。
注意的是，这里描述的算法还可包括测试以标识对雷达团的疑心，具 有长历史的良好匹配的视觉/雷达对，怀疑的消失的雷达轨迹片段等等。为每个 视觉跟踪维持与一小组的潜在雷达团的匹配概率，该一小组的潜在雷达团是与 该视觉跟踪的可行的匹配。这些匹配概率是通过低通过滤每个潜在的视觉/雷达 相配的原始概率46的值获得的。特定视觉/雷达对的原始概率46是通过对指示 该相配的可行的匹配模式的归一化值44求和获得的。可行的匹配模式列表通过 由可行性矩阵记录的预把关有效地获得，该可行性矩阵指示哪些单独的视觉/雷 达对是足够相似的，从而它们的相配可以是匹配模式的一部分。每个所得的可 行的匹配模式被遮挡功能额外地详查敏感性，且匹配模式的品质被测量为与模式中指示的雷达/视觉匹配中的每一个中的雷达和视觉跟踪状态信息之间的差异 有关。最后，将视觉/雷达匹配概率与阈值相比较，并且如果需要，计划对现有 的融合跟踪中的一些的重新组织并执行，以便符合匹配概率的规定。
再次参考图1，目标跟踪***10，通常适合于用在自动车辆(例如， 主车辆12)上，包括相机14以及雷达传感器18，该相机14用于捕捉相机14 的VFOV 16的图像，该雷达传感器18用于检测从雷达传感器18的RFOV 20 反射的雷达信号，该RFOV 20与VFOV 16重叠。优选地，该重叠是使得VFOV 16和RFOV 20是相同的区域或者基本上(例如，＞90％)相同的区域，但是这 不是要求。
***10包括控制器22，该控制器22与相机14和雷达传感器18通信， 使得控制器22接收来自相机14和雷达传感器18的数据或信息，以用于检测各 自视场中实际目标24的存在。控制器22被配置成或者编程成执行多个步骤， 以将由相机14检测到的目标54的实例与由雷达传感器18检测到的分组轨迹片 段56的实例匹配。尽管下面的步骤以第一、第二、第三等步骤的方式表征，但 这并不是建议这些步骤必须以所呈现的准确顺序来执行，或者排除了其它的中 间步骤，或绝对需要所描述的所有步骤。
第一步骤可以是将视觉标识58分配给视觉跟踪26的每个实例，其与 由控制器在来自相机14的图像(即，信息或信号)中所检测到的目标54的实 例相关联。图2示出了***10可能碰到的交通场景的非限制示例，其中基于对 实际目标24的检测分配视觉标识58，并以V1、V2、V3、V4和V5指示。
第二步骤可以是将雷达标识60分配给与通过雷达传感器18检测的雷 达信号所指示的分组轨迹片段56的实例相关联的雷达团28的每个实例。图2 示出了非限制示例，其中雷达标识60基于对实际目标24的检测被分配，并以 R1、R2、R3、R4、R5、R6、R7和R8指示。
第三步骤可以是为视觉跟踪26和雷达团28的每个组合确定匹配可行 性36。每个匹配可行性36是二进制值，取决于对视觉跟踪26和雷达团28的实 例彼此间如何紧密相关的比较或测试的结果而被设置为等于零(0)或一(1)。 通过示例的方式而非限制，当以下情况中的至少一种情况时，视觉跟踪26和雷 达团28的特定组合的匹配可行性36被设定为一(1)：a)视觉跟踪26的视觉角 64(图2)和雷达团28的雷达角66之间的方位角差小于方位角阈值68，例如 五度角(5°)；b)视觉跟踪26的视觉距离和雷达团28的雷达距离之间的距离差70小于距离阈值72，例如五米(5m)或者百分之二十(20％)(以较大者为 准)；以及c)视觉跟踪26的视觉速度76和雷达团28的雷达速度78之间的速 度差74小于速度阈值80，例如五公里每小时(5kph)。这些差可被计算为绝对 值，例如方位角差＝|视觉角-雷达角|，距离差＝|视觉距离-雷达距离|，且速度差＝| 视觉速度-雷达速度|。
作为示例的方式而非限制，在一个实施例中，视觉速度76和雷达速度 78可以分别指示视觉跟踪26和雷达团28的纵向速率。那就是，视觉速度76 和雷达速度78的仅平行于主车辆12的当前行驶方向的那部分可被考虑，并且 任何相对的横向运动可被忽略。在另一实施例中，视觉距离(未示出)和雷达 距离(未示出)可分别指示视觉跟踪和雷达团的纵向位置。那就是，仅平行于 主车辆12的当前行驶方向的距离可被考虑，且任何横向偏移可被忽略。
多种替换规则可被用于确定匹配可行性36。例如，当方位角差62不 小于方位角阈值68时，视觉跟踪26和雷达团28的特定组合的匹配可行性36 可被设定为等于零(0)，而不管距离差70和速度差74的值。替代地，仅当所 有测试通过时，例如，a)方位角差62小于方位角阈值68，b)距离差70小于距离 阈值72，以及c)速度差74小于速度阈值80，每个匹配可行性被设定为等于一 (1)。替代地，当以下情况中的至少一种情况时，每个匹配可行性被设定为等于 一(1)：a)方位角差小于方位角阈值，b)距离差小于距离阈值，以及c)速度差小 于速度阈值，以及d)视觉跟踪26的视觉运动状态(未示出)与雷达团28的雷 达运动状态(未示出)匹配，其中视觉运动状态和雷达运动状态各自由接近、 静止和后退之一表征，其指示相对于主车辆12的对地的方向。在确定运动状态 时，对地运动，而不是相对于主车辆的运动的运动，是关键。例如，假设在主 车辆12的前面有另一辆车，该车在相同的方向上移动但以减小的速度移动。该 其他车辆的相对运动是朝向主车辆，但是它并不被表征为接近。因为它的对地 运动是在与主车辆正在移动相同的方向上，所以它被表征为后退。
第四步骤可以是从所有可能的视觉跟踪和雷达团配对组合中选择可行 的匹配模式40的列表。当配对组合中的视觉跟踪26和雷达团28的每个组合的 匹配可行性36等于一(1)时，该配对组合被表征为可行的匹配模式。作为示 例，配对组合的所有的匹配可行性可一起相乘。如果结果是一，那么匹配可行 性的每个实例是一。然而，如果结果是零，那么匹配可行性的至少一个实例是 零。
第五步骤可以是确定可行的匹配模式40的每个实例的品质值42。品 质值42可以是基于用于确定匹配可行性36的方位角差62、距离差70和速度差 74的实例的加权组合的倒数。每个差的权重可以是预定的值，例如方位角权重 82，距离权重84以及速度权重86，其可以是通过经验测试确定的预定值。
第六步骤可以是通过利用所选的比例因子比例化品质值42来为每个 品质值42确定归一化值44，从而归一化值的总和等于一(1)，即归一化值(i) ＝品质值(i)/总和(所有品质值)。
第七步骤可以是通过对指示视觉跟踪26和雷达团28的组合的匹配的 可行的匹配模式40的归一化值44求和，为视觉跟踪26和雷达团28的每个组 合计算原始概率46。
第八步骤可以是通过对针对该组合获得的原始概率46进行低通过滤 48来确定视觉跟踪26和雷达团28的每个组合的匹配概率32。
第九步骤可以是通过将视觉跟踪26和雷达团28的组合的匹配概率与 上阈值88和下阈值90进行比较，来确定对视觉跟踪26和雷达团28之间的现 有关联进行重新组织测试34的需要，并在匹配概率32之一从小于上阈值88转 变到大于上阈值88或者从大于下阈值90转变到小于下阈值90时，执行对视觉 跟踪26和雷达团28之间的关联的重新组织测试34。
第四步骤和第五步骤之间的额外步骤可以是对由基本上相等的方位角 值表征的雷达团执行遮挡测试30，以使因为位置到一个的视线被另一个遮挡而 遮挡测试30指示不可能的视觉跟踪26和雷达团28的任何组合的匹配概率为空。
因此，提供了一种目标跟踪***(***10)、用于***10的控制器22 和以步骤的方式描述的方法。具体地，提供了用于将由相机14检测到的视觉跟 踪26与由雷达传感器18检测到的雷达团28匹配的改进的方法。有利地，已经 通过经由确定每个可能组合的匹配可行性36的把关(gating)过程排除一些可 能的组合来减少数据处理的量。
尽管已根据本发明的优选实施例对本发明进行了描述，然而本发明不 旨在受如此限制，而是仅受所附权利要求中给出的范围限制。

Claims (9)

1.一种目标跟踪***(10)，适于用在自动车辆上，所述***(10)包括：
相机(14)，所述相机(14)用于捕捉所述相机(14)的视觉视场(16)(VFOV(16))的图像；
雷达传感器(18)，所述雷达传感器(18)用于检测从与VFOV(16)重叠的雷达视场(20)(RFOV(20))反射的雷达信号；以及
控制器(22)，所述控制器(22)与相机(14)和雷达传感器(18)通信，所述控制器(22)被配置成
将视觉标识(58)分配给与所述控制器(22)在所述图像中所检测到的目标(54)的实例相关联的每个视觉跟踪(26)，
将雷达标识(60)分配给与由雷达信号指示的分组轨迹片段(56)的实例相关联的每个雷达团(28)，
为视觉跟踪(26)和雷达团(28)的每个组合确定匹配可行性(36)，其中每个匹配可行性(36)是二进制值，当以下情况中的至少一种情况时，被设定为等于一(1)：
a)视觉跟踪(26)的视觉角(64)和雷达团(28)的雷达角(66)之间的方位角差(62)小于方位角阈值(68)，
b)视觉跟踪(26)的视觉距离和雷达团(28)的雷达距离之间的距离差(70)小于距离阈值(72)，以及
c)视觉跟踪(26)的视觉速度(76)和雷达团(28)的雷达速度(78)之间的速度差(74)小于速度阈值(80)，
从所有可能的视觉跟踪(26)和雷达团(28)配对组合中选择可行的匹配模式(40)的列表，其中，当配对组合中的视觉跟踪(26)和雷达团(28)的每个组合的匹配可行性(36)等于一时，所述配对组合是可行的匹配模式，
确定可行的匹配模式的每个实例的品质值(42)，所述品质值(42)基于用于确定匹配可行性(36)的方位角差(62)、距离差(70)和速度差(74)的实例的加权组合的倒数，
通过利用选择的比例因子比例化所述品质值(42)，来为每个品质值(42)确定归一化值(44)，从而归一化值(44)的总和等于一(1)，以及
通过对指示视觉跟踪(26)和雷达团(28)的组合的匹配的可行的匹配模式(40)的归一化值(44)求和，来为视觉跟踪(26)和雷达团(28)的每个组合计算原始概率(46)。
2.根据权利要求1所述的***(10)，其中，所述控制器(22)被配置成
通过对针对该组合获得的原始概率(46)进行低通过滤来确定视觉跟踪(26)和雷达团(28)的每个组合的匹配概率(32)，
通过将视觉跟踪(26)和雷达团(28)的组合的匹配概率(32)与上阈值(88)和下阈值(90)进行比较，来确定对视觉跟踪(26)和雷达团(28)之间的现有关联进行重新组织测试(34)的需要，以及
在匹配概率(32)之一从小于上阈值(88)转变到大于上阈值(88)或者从大于下阈值(90)转变到小于下阈值(90)时，执行对视觉跟踪(26)和雷达团(28)之间的关联的重新组织测试(34)。
3.根据权利要求1所述的***(10)，其中，当方位角差(62)不小于方位角阈值(68)时，视觉跟踪(26)和雷达团(28)的组合的匹配可行性(36)被设定为等于零(0)。
4.根据权利要求1所述的***(10)，其中，仅当以下情况时，每个匹配可行性(36)被设定为等于一(1)：
a)方位角差(62)小于方位角阈值(68)，
b)距离差(70)小于距离阈值(72)，且
c)之间的速度差(74)小于速度阈值(80)。
5.根据权利要求1所述的***(10)，其中，当以下情况中的至少一种情况时，每个匹配可行性(36)被设定为等于一(1)：
a)方位角差(62)小于方位角阈值(68)，
b)距离差(70)小于距离阈值(72)，
c)之间的速度差(74)小于速度阈值(80)，以及
d)视觉跟踪(26)的视觉运动状态与雷达团(28)的雷达运动状态匹配，其中所述视觉运动状态和雷达运动状态各自由接近、静止和后退之一表征。
6.根据权利要求1所述的***(10)，其中，所述视觉速度(76)和雷达速度(78)分别指示视觉跟踪(26)和雷达团(28)的纵向速率。
7.根据权利要求1所述的***(10)，其中，所述视觉距离和雷达距离分别指示视觉跟踪(26)和雷达团(28)的纵向位置。
8.根据权利要求1所述的***(10)，其中，所述品质值(42)是基于所述方位角差(62)、距离差(70)和速度差(74)的平方的加权求和的平方根的倒数。
9.根据权利要求1所述的***(10)，其中，所述控制器(22)被配置成对由基本上相等的方位角值表征的雷达团(28)执行遮挡测试(30)，以使所述遮挡测试(30)指示不可能的视觉跟踪(26)和雷达团(28)的任何组合的匹配概率(32)为空。
CN201710286682.0A 2016-01-19 2017-01-19 用于自动车辆的使用雷达/视觉融合的目标跟踪*** Active CN107238834B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/000,730 US10565468B2 (en) 2016-01-19 2016-01-19 Object tracking system with radar/vision fusion for automated vehicles
US15/000,730 2016-01-19

Publications (2)

Publication Number Publication Date
CN107238834A true CN107238834A (zh) 2017-10-10
CN107238834B CN107238834B (zh) 2021-10-08

Family

ID=57714549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710286682.0A Active CN107238834B (zh) 2016-01-19 2017-01-19 用于自动车辆的使用雷达/视觉融合的目标跟踪***

Country Status (3)

Country Link
US (1) US10565468B2 (zh)
EP (1) EP3196668B1 (zh)
CN (1) CN107238834B (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109270523A (zh) * 2018-09-21 2019-01-25 宝沃汽车（中国）有限公司 多传感器数据融合方法和装置，车辆
CN109375211A (zh) * 2018-12-10 2019-02-22 西安电子科技大学 基于雷达和多光学设备的可移动无人平台目标搜索方法
CN109459750A (zh) * 2018-10-19 2019-03-12 吉林大学 一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法
CN109799505A (zh) * 2017-11-17 2019-05-24 通用汽车环球科技运作有限责任公司 用于多雷达***中的连续追踪的方法和装置
CN109960254A (zh) * 2017-12-25 2019-07-02 深圳市优必选科技有限公司 机器人及其路径规划方法
CN110095770A (zh) * 2019-04-26 2019-08-06 东风柳州汽车有限公司 车辆周边目标物的检测方法
CN110133637A (zh) * 2019-06-05 2019-08-16 中国科学院长春光学精密机械与物理研究所 目标定位方法、装置及***
CN110320515A (zh) * 2018-03-29 2019-10-11 Aptiv技术有限公司 用于测试目标物体作为单点散射中心的方法
CN110378178A (zh) * 2018-09-30 2019-10-25 长城汽车股份有限公司 目标跟踪方法及装置
CN110517483A (zh) * 2019-08-06 2019-11-29 杭州博信智联科技有限公司 一种路况信息处理方法及数字轨路侧单元
CN110609274A (zh) * 2018-06-15 2019-12-24 杭州海康威视数字技术股份有限公司 一种测距方法、装置及***
CN110736981A (zh) * 2018-07-19 2020-01-31 德尔福技术有限责任公司 基于雷达的对慢速移动对象的跟踪
CN110794405A (zh) * 2019-10-18 2020-02-14 北京全路通信信号研究设计院集团有限公司 一种基于相机和雷达融合的目标检测方法及***
CN111045024A (zh) * 2018-10-15 2020-04-21 图森有限公司 一种基于光检测和测距的车辆追踪方法和***
CN111201451A (zh) * 2018-02-09 2020-05-26 宝马股份公司 基于场景的激光数据和雷达数据进行场景中的对象检测的方法及装置
CN111505624A (zh) * 2020-04-30 2020-08-07 中国汽车工程研究院股份有限公司 一种基于机器视觉和毫米波雷达数据融合的环境感知方法
CN111856445A (zh) * 2019-04-11 2020-10-30 杭州海康威视数字技术股份有限公司 一种目标检测方法、装置、设备及***
CN111971579A (zh) * 2018-03-30 2020-11-20 三菱电机株式会社 物体辨识装置
CN112130136A (zh) * 2020-09-11 2020-12-25 中国重汽集团济南动力有限公司 一种交通目标综合感知***及方法
CN113228133A (zh) * 2018-12-27 2021-08-06 株式会社电装 驾驶辅助装置
CN113253254A (zh) * 2020-01-28 2021-08-13 安波福技术有限公司 用于多个对象跟踪的成像和雷达融合
CN113330331A (zh) * 2019-12-04 2021-08-31 华为技术有限公司 用于交通场景中收集和自动标记测量数据的装置和方法
CN113505732A (zh) * 2021-07-26 2021-10-15 浙江大华技术股份有限公司 视觉目标的确定方法及装置、存储介质、电子装置
CN113924464A (zh) * 2019-05-10 2022-01-11 萨克提斯有限责任公司 一种用于对结构进行测量的方法、以及一种用于限定对所述结构进行测量的最优方法的过程
CN115657012A (zh) * 2022-12-23 2023-01-31 深圳佑驾创新科技有限公司 图像目标与雷达目标的匹配方法、装置、设备及存储介质

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10317522B2 (en) * 2016-03-01 2019-06-11 GM Global Technology Operations LLC Detecting long objects by sensor fusion
JP6547785B2 (ja) * 2016-07-29 2019-07-24 株式会社デンソー 物標検出装置
EP3415945B1 (en) 2017-06-12 2024-01-10 Aptiv Technologies Limited Method of determining the yaw rate of a target vehicle
WO2019092874A1 (ja) * 2017-11-13 2019-05-16 三菱電機株式会社 物体認識装置および物体認識方法
IL258347B (en) * 2017-12-31 2020-11-30 Elta Systems Ltd A system and method for combining data from JMT radar and electro-optical sensors
KR102391205B1 (ko) * 2018-03-20 2022-04-27 주식회사 에이치엘클레무브 객체 검출 기반 거리 추정 장치 및 그 방법
EP3572839A1 (en) 2018-05-23 2019-11-27 Aptiv Technologies Limited Method of estimating a velocity magnitude of a moving target in a horizontal plane and radar detection system
DE102018208205A1 (de) 2018-05-24 2019-11-28 Ford Global Technologies, Llc Verfahren zum Kartographieren der Umgebung von Kraftfahrzeugen
EP3575827A1 (en) 2018-06-01 2019-12-04 Aptiv Technologies Limited Method for robust estimation of the velocity of a target using a host vehicle
CN108921925B (zh) * 2018-06-27 2022-12-09 广州视源电子科技股份有限公司 基于激光雷达和视觉融合的语义点云生成方法和装置
EP3611541B1 (en) 2018-08-16 2024-07-03 Aptiv Technologies AG Method of determining an uncertainty estimate of an estimated velocity
EP3861370A1 (en) * 2018-10-01 2021-08-11 KPIT Technologies Limited Perception sensors based fusion system for vehicle control and method thereof
CN111382768B (zh) 2018-12-29 2023-11-14 华为技术有限公司 多传感器数据融合方法和装置
KR20200133863A (ko) 2019-05-20 2020-12-01 삼성전자주식회사 첨단 운전자 지원 장치, 이의 캘리브레이션 방법 및 이의 객체를 검출하는 방법
US11994579B2 (en) * 2019-08-22 2024-05-28 Bdcm A2 Llc Hybrid radar and camera edge sensors
CN112904331B (zh) * 2019-11-19 2024-05-07 杭州海康威视数字技术股份有限公司 移动轨迹的确定方法、装置、设备及存储介质
US11594144B2 (en) * 2020-01-31 2023-02-28 Honeywell International Inc. Collision awareness using cameras mounted on a vehicle
CN111402296B (zh) * 2020-03-12 2023-09-01 浙江大华技术股份有限公司 基于摄像机、雷达的目标跟踪方法及相关装置
KR20210152741A (ko) 2020-06-09 2021-12-16 삼성전자주식회사 첨단 운전자 지원 장치 및 이의 객체를 검출하는 방법
US20220026557A1 (en) * 2020-07-22 2022-01-27 Plato Systems, Inc. Spatial sensor system with background scene subtraction
CN112285700B (zh) * 2020-08-24 2023-12-15 江苏大学 基于激光雷达与毫米波雷达融合的机动目标跟踪方法
EP3961255A1 (en) 2020-08-28 2022-03-02 Aptiv Technologies Limited Driver assistance system for a vehicle, vehicle and a driver assistance method implementable by the system
JP7154470B2 (ja) * 2020-09-24 2022-10-17 三菱電機株式会社 情報処理システム、情報処理装置、プログラム及び情報処理方法
WO2022093860A1 (en) * 2020-10-26 2022-05-05 Mohammad Amin Arbabian Centralized tracking system with distributed fixed sensors
US11618480B2 (en) 2020-11-18 2023-04-04 Aptiv Technologies Limited Kurtosis based pruning for sensor-fusion systems
CN112562009A (zh) * 2020-12-03 2021-03-26 深圳宇磐科技有限公司 一种相机设备参数和安装姿态参数自动标定方法及***
US20240045052A1 (en) * 2020-12-09 2024-02-08 Symeo Gmbh Method, apparatus and radar system for tracking objects
DE102021105659A1 (de) 2020-12-09 2022-06-09 Symeo Gmbh Verfahren, Vorrichtung und Radarsystem zum Verfolgen von Objekten
CN112731371B (zh) * 2020-12-18 2024-01-23 重庆邮电大学 一种激光雷达与视觉融合的集成化目标跟踪***及方法
US20220262129A1 (en) 2021-02-15 2022-08-18 Aptiv Technologies Limited Multiple Hypothesis-Based Fusion of Sensor Data
US20230046396A1 (en) * 2021-08-13 2023-02-16 Aptiv Technologies Limited Occlusion Constraints for Resolving Tracks from Multiple Types of Sensors
CN113740843B (zh) * 2021-09-07 2024-05-07 中国兵器装备集团自动化研究所有限公司 一种跟踪目标的运动状态估计方法、***及电子装置
US20230147100A1 (en) * 2021-11-11 2023-05-11 Aptiv Technologies Limited Clustering Track Pairs for Multi-Sensor Track Association
CN114998886B (zh) * 2022-08-04 2022-10-28 智慧互通科技股份有限公司 基于雷视融合的车辆追踪方法以及装置
CN116630765B (zh) * 2023-07-24 2023-09-26 济南卓伦智能交通技术有限公司 一种基于多元信息的单车融合感知***
CN117093872B (zh) * 2023-10-19 2024-01-02 四川数字交通科技股份有限公司 雷达目标分类模型自训练方法及***

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1484014A1 (en) * 2003-06-02 2004-12-08 Delphi Technologies, Inc. Target awareness determination system and method
EP1760491A2 (en) * 2005-09-02 2007-03-07 Delphi Technologies, Inc. Method for estimating unknown parameters for vehicle object detection system
CN101739843A (zh) * 2009-12-04 2010-06-16 河海大学常州校区 多视觉信息融合的车辆安全驾驶实时立体感知装置及方法
US20100191391A1 (en) * 2009-01-26 2010-07-29 Gm Global Technology Operations, Inc. multiobject fusion module for collision preparation system
CN202163431U (zh) * 2011-06-30 2012-03-14 中国汽车技术研究中心 基于多传感器信息融合的碰撞及偏离预警装置
CN102508246A (zh) * 2011-10-13 2012-06-20 吉林大学 车辆前方障碍物检测跟踪方法
CN102792314A (zh) * 2009-12-03 2012-11-21 通用汽车环球科技运作有限责任公司 交叉通行碰撞警报***
US20130242284A1 (en) * 2012-03-15 2013-09-19 GM Global Technology Operations LLC METHODS AND APPARATUS OF FUSING RADAR/CAMERA OBJECT DATA AND LiDAR SCAN POINTS
CN104919793A (zh) * 2013-01-18 2015-09-16 德尔福技术有限公司 用于源谐振器的物体检测***

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002189075A (ja) 2000-12-20 2002-07-05 Fujitsu Ten Ltd 道路上方静止物検知方法
JP3941765B2 (ja) 2003-09-11 2007-07-04 トヨタ自動車株式会社 物体検出装置
US7460951B2 (en) * 2005-09-26 2008-12-02 Gm Global Technology Operations, Inc. System and method of target tracking using sensor fusion
US20110190972A1 (en) * 2010-02-02 2011-08-04 Gm Global Technology Operations, Inc. Grid unlock
JP5673568B2 (ja) * 2012-01-16 2015-02-18 トヨタ自動車株式会社 物体検出装置
US8705797B2 (en) 2012-03-07 2014-04-22 GM Global Technology Operations LLC Enhanced data association of fusion using weighted Bayesian filtering
US9599706B2 (en) * 2015-04-06 2017-03-21 GM Global Technology Operations LLC Fusion method for cross traffic application using radars and camera
WO2016176487A1 (en) * 2015-04-28 2016-11-03 Henri Johnson Systems to track a moving sports object

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1484014A1 (en) * 2003-06-02 2004-12-08 Delphi Technologies, Inc. Target awareness determination system and method
EP1760491A2 (en) * 2005-09-02 2007-03-07 Delphi Technologies, Inc. Method for estimating unknown parameters for vehicle object detection system
US20100191391A1 (en) * 2009-01-26 2010-07-29 Gm Global Technology Operations, Inc. multiobject fusion module for collision preparation system
CN102792314A (zh) * 2009-12-03 2012-11-21 通用汽车环球科技运作有限责任公司 交叉通行碰撞警报***
CN101739843A (zh) * 2009-12-04 2010-06-16 河海大学常州校区 多视觉信息融合的车辆安全驾驶实时立体感知装置及方法
CN202163431U (zh) * 2011-06-30 2012-03-14 中国汽车技术研究中心 基于多传感器信息融合的碰撞及偏离预警装置
CN102508246A (zh) * 2011-10-13 2012-06-20 吉林大学 车辆前方障碍物检测跟踪方法
US20130242284A1 (en) * 2012-03-15 2013-09-19 GM Global Technology Operations LLC METHODS AND APPARATUS OF FUSING RADAR/CAMERA OBJECT DATA AND LiDAR SCAN POINTS
CN104919793A (zh) * 2013-01-18 2015-09-16 德尔福技术有限公司 用于源谐振器的物体检测***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AXEL GEM ET AL.: "Robust Vehicle Tracking Fusing Radar and Vision", 《IEEE》 *
陈莹 韩崇昭: "基于雷达和视觉技术的车辆跟踪窗口", 《公路交通科技》 *

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109799505B (zh) * 2017-11-17 2023-10-10 通用汽车环球科技运作有限责任公司 用于多雷达***中的连续追踪的方法和装置
CN109799505A (zh) * 2017-11-17 2019-05-24 通用汽车环球科技运作有限责任公司 用于多雷达***中的连续追踪的方法和装置
CN109960254A (zh) * 2017-12-25 2019-07-02 深圳市优必选科技有限公司 机器人及其路径规划方法
CN111201451A (zh) * 2018-02-09 2020-05-26 宝马股份公司 基于场景的激光数据和雷达数据进行场景中的对象检测的方法及装置
CN111201451B (zh) * 2018-02-09 2023-09-12 宝马股份公司 基于场景的激光数据和雷达数据进行场景中的对象检测的方法及装置
CN110320515B (zh) * 2018-03-29 2023-05-02 Aptiv技术有限公司 用于测试目标物体作为单点散射中心的方法
CN110320515A (zh) * 2018-03-29 2019-10-11 Aptiv技术有限公司 用于测试目标物体作为单点散射中心的方法
CN111971579A (zh) * 2018-03-30 2020-11-20 三菱电机株式会社 物体辨识装置
CN110609274A (zh) * 2018-06-15 2019-12-24 杭州海康威视数字技术股份有限公司 一种测距方法、装置及***
CN110736981A (zh) * 2018-07-19 2020-01-31 德尔福技术有限责任公司 基于雷达的对慢速移动对象的跟踪
CN110736981B (zh) * 2018-07-19 2023-12-05 德尔福技术有限责任公司 基于雷达的对慢速移动对象的跟踪
CN109270523A (zh) * 2018-09-21 2019-01-25 宝沃汽车（中国）有限公司 多传感器数据融合方法和装置，车辆
CN110378178A (zh) * 2018-09-30 2019-10-25 长城汽车股份有限公司 目标跟踪方法及装置
CN110378178B (zh) * 2018-09-30 2022-01-28 毫末智行科技有限公司 目标跟踪方法及装置
CN111045024B (zh) * 2018-10-15 2024-04-19 图森有限公司 一种基于光检测和测距的车辆追踪方法和***
CN111045024A (zh) * 2018-10-15 2020-04-21 图森有限公司 一种基于光检测和测距的车辆追踪方法和***
CN109459750A (zh) * 2018-10-19 2019-03-12 吉林大学 一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法
CN109375211B (zh) * 2018-12-10 2023-03-10 西安电子科技大学 基于雷达和多光学设备的可移动无人平台目标搜索方法
CN109375211A (zh) * 2018-12-10 2019-02-22 西安电子科技大学 基于雷达和多光学设备的可移动无人平台目标搜索方法
CN113228133B (zh) * 2018-12-27 2023-02-17 株式会社电装 驾驶辅助装置
CN113228133A (zh) * 2018-12-27 2021-08-06 株式会社电装 驾驶辅助装置
CN111856445A (zh) * 2019-04-11 2020-10-30 杭州海康威视数字技术股份有限公司 一种目标检测方法、装置、设备及***
CN110095770A (zh) * 2019-04-26 2019-08-06 东风柳州汽车有限公司 车辆周边目标物的检测方法
CN113924464A (zh) * 2019-05-10 2022-01-11 萨克提斯有限责任公司 一种用于对结构进行测量的方法、以及一种用于限定对所述结构进行测量的最优方法的过程
CN110133637B (zh) * 2019-06-05 2021-06-01 中国科学院长春光学精密机械与物理研究所 目标定位方法、装置及***
CN110133637A (zh) * 2019-06-05 2019-08-16 中国科学院长春光学精密机械与物理研究所 目标定位方法、装置及***
CN110517483A (zh) * 2019-08-06 2019-11-29 杭州博信智联科技有限公司 一种路况信息处理方法及数字轨路侧单元
CN110794405A (zh) * 2019-10-18 2020-02-14 北京全路通信信号研究设计院集团有限公司 一种基于相机和雷达融合的目标检测方法及***
CN113330331A (zh) * 2019-12-04 2021-08-31 华为技术有限公司 用于交通场景中收集和自动标记测量数据的装置和方法
CN113253254A (zh) * 2020-01-28 2021-08-13 安波福技术有限公司 用于多个对象跟踪的成像和雷达融合
CN111505624B (zh) * 2020-04-30 2022-07-01 中国汽车工程研究院股份有限公司 一种基于机器视觉和毫米波雷达数据融合的环境感知方法
CN111505624A (zh) * 2020-04-30 2020-08-07 中国汽车工程研究院股份有限公司 一种基于机器视觉和毫米波雷达数据融合的环境感知方法
CN112130136A (zh) * 2020-09-11 2020-12-25 中国重汽集团济南动力有限公司 一种交通目标综合感知***及方法
CN112130136B (zh) * 2020-09-11 2024-04-12 中国重汽集团济南动力有限公司 一种交通目标综合感知***及方法
CN113505732A (zh) * 2021-07-26 2021-10-15 浙江大华技术股份有限公司 视觉目标的确定方法及装置、存储介质、电子装置
CN115657012A (zh) * 2022-12-23 2023-01-31 深圳佑驾创新科技有限公司 图像目标与雷达目标的匹配方法、装置、设备及存储介质

Also Published As

Publication number Publication date
EP3196668B1 (en) 2019-08-14
US20170206436A1 (en) 2017-07-20
CN107238834B (zh) 2021-10-08
US10565468B2 (en) 2020-02-18
EP3196668A1 (en) 2017-07-26

Similar Documents

Publication Publication Date Title
CN107238834A (zh) 用于自动车辆的使用雷达/视觉融合的目标跟踪***
CN1940591B (zh) 使用传感器融合进行目标跟踪的***和方法
US20180075303A1 (en) Traffic Monitoring and Reporting System and Method
US4806936A (en) Method of determining the position of multiple targets using bearing-only sensors
KR102338370B1 (ko) 센서를 이용하여 획득한 공간 정보를 활용하는 차량 및 센싱 장치, 그리고 이를 위한 서버
CN110542885B (zh) 一种复杂交通环境下的毫米波雷达目标跟踪方法
CN107490794A (zh) 物体辨识处理装置、物体辨识处理方法及自动驾驶***
US20140049647A1 (en) Method for detecting target objects in a surveillance region
CN106093951A (zh) 基于超声波传感器阵列的物体跟踪方法
CN106203381A (zh) 一种行车中障碍物检测方法与装置
JP6792722B2 (ja) 車両台数計測システム
CN109766867A (zh) 车辆运行状态确定方法、装置、计算机设备和存储介质
Cordes et al. Roadsaw: A large-scale dataset for camera-based road surface and wetness estimation
CN108263389A (zh) 一种车辆前方虚假目标剔除装置及方法
CN114170274A (zh) 目标跟踪方法和装置、电子设备和存储介质
CN110307841A (zh) 一种基于信息量测不完全的车辆运动参数估计方法
CN112598932A (zh) 一种基于车路协同技术的汽车防碰撞预警模型
CN115249066A (zh) 分位数神经网络
CN117115752A (zh) 一种高速公路视频监控方法及***
CN114783181B (zh) 一种基于路侧感知的交通流量统计方法和装置
CN104931024B (zh) 障碍物检测装置
KR20170073220A (ko) 교통 데이터 보정장치 및 방법
CN113163708B (zh) 农业机器在农业用地上的自动转向
Linjie et al. Approach to obtaining traffic volume and speed based on video-extracted trajectories
CN117689907B (zh) 车辆跟踪方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20181205

Address after: Babado J San Michaele

Applicant after: Amberford Technology Co., Ltd.

Address before: Michigan state

Applicant before: Delphi Automotive Systems LLC (US)

GR01 Patent grant
GR01 Patent grant