CN113253254A - 用于多个对象跟踪的成像和雷达融合 - Google Patents

用于多个对象跟踪的成像和雷达融合 Download PDF

Info

Publication number
CN113253254A
CN113253254A CN202110111330.8A CN202110111330A CN113253254A CN 113253254 A CN113253254 A CN 113253254A CN 202110111330 A CN202110111330 A CN 202110111330A CN 113253254 A CN113253254 A CN 113253254A
Authority
CN
China
Prior art keywords
probability
frame
determining
imaging sensor
exact
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110111330.8A
Other languages
English (en)
Inventor
宋三灵
郑阳
I·H·伊扎特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anbofu Technology Co ltd
Original Assignee
Delphi Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Delphi Technologies Inc filed Critical Delphi Technologies Inc
Publication of CN113253254A publication Critical patent/CN113253254A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本文档描述了涉及多个对象跟踪的成像传感器和雷达融合的方法和***。使用按检测跟踪，首先在由成像传感器捕获的帧中检测对象，然后通过成像传感器和雷达***两者在若干连续的帧中跟踪对象。通过分配在一帧中标识的对象与在连续帧中标识的对象是同一对象的概率来跟踪对象。通过监督学习神经网络模型使用从传感器收集的数据来为由传感器捕获的每个数据集计算概率。然后，将与每个传感器相关联的概率融合为精确的概率。与单独使用传感器数据来跟踪对象相比，通过将由成像传感器和雷达***收集的数据融合在连续的帧中，安全***可以更准确且更可靠地跟踪多个对象。

Description

用于多个对象跟踪的成像和雷达融合
相关申请的交叉引用
本申请根据35U.S.C.119(e)要求于2020年1月28日提交的美国临时申请第62/966,604号的权益，该申请的公开内容通过引用以其整体并入本文。
背景技术
跟踪多个对象可使安全***预测对象的路径，并且对于提高交通工具的安全性和自主性至关重要。多个对象跟踪的目的在于在场景的连续帧中发现多个对象并恢复这些在连续帧中对象的身份信息。相机***、光检测和测距(LiDAR)***和雷达***被广泛用于完成这些任务。这些***继续经历使多个对象跟踪变得复杂的关键问题，包括频繁的遮挡、踪迹的初始化和终止、对象外观的变化以及多个对象之间的交互。改善多个对象跟踪的挑战在于，在连续帧中可靠地标识相同对象的能力以克服这些关键问题。
发明内容
本文档描述了涉及多个对象跟踪的成像传感器和雷达融合的方法和***。使用按检测跟踪，首先在由成像传感器捕获的帧中检测对象，然后通过成像传感器和雷达***在若干连续的帧中跟踪该对象。通过分配在一帧中标识的对象是在连续帧中标识的同一对象的概率来跟踪对象。通过监督学习神经网络模型使用从传感器收集的数据来计算与每个传感器相关联的概率。然后，将与每个传感器相关联的概率融合为精确的概率。与单独使用传感器数据来跟踪对象相比，通过将由成像传感器和雷达***收集的数据融合在连续的帧中，安全***可以更准确且更可靠地跟踪多个对象。
在一个示例中，一种方法包括基于由成像传感器捕获的第一帧来确定第一帧内的第一对象。方法进一步包括基于由成像传感器捕获的第二帧来确定第二帧内的第二对象，该第二帧在捕获第一帧后被连续捕获。方法进一步包括基于在第一时间接收的第一雷达信号来确定第三对象的位置，该第一时间与第一帧的捕获相对应，第一雷达信号被反射自该第三对象。方法进一步包括基于在第二时间接收的第二雷达信号来确定第四对象的位置，该第二时间与第二帧的捕获相对应，第二雷达信号被反射自该第四对象。方法进一步包括确定第一对象与第二对象是同一对象的第一概率。方法进一步包括确定第三对象与第四对象是同一对象的第二概率。方法进一步包括通过组合第一概率和第二概率确定精确的概率，该精确的概率是第一对象、第二对象、第三对象和第四对象是同一对象的概率。
在另一示例中，一种***包括成像传感器、雷达***、以及一个或多个处理器，该一个或多个处理器被配置成基于由成像传感器捕获的第一帧来确定该第一帧内的第一对象。该一个或多个处理器被进一步配置成基于由成像传感器捕获的第二帧来确定第二帧内的第二对象，该第二帧在捕获第一帧后被连续捕获。该一个或多个处理器被进一步配置成基于在第一时间接收的第一雷达信号来确定第三对象的位置，该第一时间与第一帧的捕获相对应，第一雷达信号被反射自该第三对象。该一个或多个处理器被进一步配置成基于在第二时间接收的第二雷达信号来确定第四对象的位置，该第二时间与第二帧的捕获相对应，第二雷达信号被反射自该第四对象。该一个或多个处理器被进一步配置成确定第一对象与第二对象是同一对象的第一概率。该一个或多个处理器被进一步配置成确定第三对象与第四对象是同一对象的第二概率。该一个或多个处理器被进一步配置成通过组合第一概率和第二概率确定精确的概率，该精确的概率是第一对象、第二对象、第三对象和第四对象是同一对象的概率。
在另一个示例中，描述了一种***，该***包括用于基于由成像传感器捕获的第一帧来确定第一帧内的第一对象的装置。***进一步包括基于用于由成像传感器捕获的第二帧来确定第二帧内的第二对象的装置，该第二帧在捕获第一帧后被连续捕获。***进一步包括用于基于在第一时间接收的第一雷达信号来确定第三对象的位置的装置，该第一时间与第一帧的捕获相对应，第一雷达信号被反射自该第三对象。***进一步包括用于基于在第二时间接收的第二雷达信号来确定第四对象的位置的装置，该第二时间与第二帧的捕获相对应，第二雷达信号被反射自该第四对象。***进一步包括用于确定第一对象与第二对象是同一对象的第一概率的装置。***进一步包括用于确定第三对象与第四对象是同一对象的第二概率的装置。***进一步包括用于通过组合第一概率和第二概率确定精确的概率的装置，该精确的概率是第一对象、第二对象、第三对象和第四对象是同一对象的概率。
除了描述配置成执行以上概述的方法和本文所阐述的其他方法的***之外，本文档还描述了一种计算机可读存储介质，其包括指令，该指令在被执行时配置一个或多个处理器以执行以上概述的方法和本文所阐述的其他方法。
本发明内容介绍了使用机器学习来改进多个对象跟踪***的简化概念，下面将在具体实施方式和附图中对其进行进一步描述。本发明内容并非旨在标识出要求保护的主题的必要特征，亦非旨在用于确定要求保护的主题的范围。
附图说明
本文档参考以下附图描述了用于多个对象跟踪的成像和雷达融合的一个或多个方面的细节。贯穿附图通常使用相同的数字来引用相似的特征和组件。
图1示出了根据本公开的技术的示例环境，在该示例环境中，***被配置成执行用于多个对象跟踪的成像和雷达融合。
图2示出了根据本公开的技术的汽车***的示例，该汽车***被配置成执行用于多个对象跟踪的成像和雷达融合。
图3示出了示例操作环境由成像传感器捕获的连续帧。
图4示出了示例数据关联矩阵。
图5示出了输出数据关联矩阵的示例成像模块。
图6示出了示例雷达模块，该示例雷达模块通过用于雷达***的监督学习神经网络输出数据关联矩阵。
图7示出了通过融合基于成像传感器数据的对象关联矩阵和基于雷达数据的对象关联矩阵而生成的精确的对象关联矩阵的示例。
图8-1和图8-2示出了用于多个对象跟踪的成像和雷达融合的示例方法。
具体实施方式
概述
跟踪***广泛使用成像传感器来跟踪传感器正在成像的场景中的对象。通过使用感兴趣对象的外观特征，基于由成像传感器捕获的图像来跟踪对象。这些特征包括对象的颜色以及对象图像中像素的关系。
仅使用成像传感器有许多限制。许多进入或离开场景的对象、频繁的遮挡以及多个对象之间的交互使可靠地跟踪这些对象的能力变得复杂。不利的天气(诸如雾天或雨天)可能使传感器捕获的图像降级，从而使对象标识更加困难。
为了提高这些跟踪***的性能，现在正在结合成像传感器实现雷达***。雷达***通常使用卡尔曼滤波器或其他类似的滤波算法来改进对对象的跟踪。尽管实现这些滤波算法的雷达***已经帮助成像***跟踪对象，但是如本公开中所描述的其他方法提供了更可靠的对象跟踪。
一种称为按检测跟踪的技术提供了更高的可靠性。通过检测在由成像传感器捕获的两个连续帧中的对象来实现检测步骤。跟踪步骤涉及通过机器学习将第一帧中的对象与连续的第二帧中的对象相关联。表示为概率的该关联是从由成像传感器提供的数据和由雷达提供的数据中得出的，并且产生基于成像的关联和基于雷达的关联。然后将这两个关联融合为一个更准确、更精确的关联。
示例环境
图1示出了根据本公开的技术的示例环境100，在该示例环境100中，交通工具102被配置成执行用于多个对象跟踪的成像和雷达融合。在所描绘的环境100中，安全***104被安装到交通工具102上或被集成在交通工具102内。尽管示出为汽车，交通工具102可以表示其他类型的交通工具和机械(例如，摩托车、公共汽车、拖拉机、半挂车、水运工具、飞行器或其他重型装备)，包括可以用于各种目的的有人和无人***。交通工具102可以在道路112上行驶，道路112可以衬有植被140、路牌150或其他静止的对象(未示出)，包括建筑物和停放的交通工具。移动的对象(例如，行人120和移动的交通工具130)也可以在道路112中或在道路112附近。在图1中，交通工具102正在沿着道路112行驶，并且交通工具102的安全***104具有除了行人120、移动的交通工具130、植被140和路牌150之外还包含道路112的视场(FOV)。
安全***104可以基于从交通工具102的多个传感器获得的传感器数据来跟踪FOV中的对象。标识多个传感器之间的对象并将来自这些传感器的数据融合在一起，使安全***更准确、更可靠地跟踪那些当交通工具102行驶在道路112上时可能需要避免的对象。
通常，安全***104包括安装在交通工具102上的具有在远离交通工具102的任何方向上的FOV的多个传感器(例如，光学相机、LiDAR、雷达)和对象跟踪模块110。在图1中，成像传感器106和雷达传感器108安装到交通工具102，其中FOV面向交通工具102的前方。成像传感器106和雷达传感器108可以捕获关于该FOV内的任何对象(包括行人120、移动的交通工具130、植被140和路牌150)的数据。
在图1中，对象跟踪模块110安装在交通工具102的发动机舱中或发动机舱附近，但是交通工具制造商可以将对象跟踪模块110集成到交通工具中的任何位置。例如，对象跟踪模块110可以位于交通工具102的仪表板后面、座椅下方或后备箱附近。对象跟踪模块110与成像传感器106和雷达传感器108对接以接收数据。安装在交通工具102上或以其他方式集成到交通工具102中的传感器连续地捕获数据，要么作为由本示例中成像传感器106捕获的连续帧，要么作为在连续时间接收的由本示例中雷达传感器108捕获的雷达信号，该连续时间与由成像传感器106捕获的连续帧相对应。
对于每个传感器，对象跟踪模块110接收数据，并且基于从该数据中检测的对象，来分配第二组接收数据中标识的对象与在第一组接收数据中标识的对象相同的概率。第一组接收数据和第二组接收数据可以是从成像传感器106、雷达传感器108或两者中接收的数据。然后，对象跟踪模块将与来自成像传感器106的数据有关的概率和与来自雷达传感器108的数据有关的概率相融合，从而得到精确的概率。
图2示出了根据本公开的技术的汽车***200的示例，该汽车***200被配置成执行用于多个对象跟踪的成像和雷达融合。***200可以集成在交通工具102内。例如，汽车***200包括控制器202和安全***104-1，该安全***104-1是安全***104的示例。安全***104-1可以集成在汽车或其他交通工具环境内。安全***104-1可以通过链路212与控制器202通信，诸如当标识出FOV中的对象踪迹时从安全***104-1输出的数据。
控制器202包括处理器204-1和计算机可读存储介质(CRM)206-1(例如，存储器、长期存储、短期存储)，该CRM 206-1存储用于汽车模块208的指令。除了成像传感器106之外，安全***104-1还包括雷达传感器108。同样可以使用任何数量的其他传感器。安全***104-1可包括处理硬件，该处理硬件包括处理器204-2和计算机可读存储介质(CRM)206-2，该CRM 206-2存储与对象跟踪模块110-1相关联的指令。作为对象跟踪模块110的示例的对象跟踪模块110-1包括成像子模块210-1、雷达子模块210-2和融合子模块210-3。
处理器204-1和204-2可以是两个单独的微处理器或单个微处理器或计算设备、控制器或控制单元的一对片上***或单个片上***。处理器204-1和204-2执行存储在CRM206-1和206-2内的计算机可执行指令。作为示例，处理器204-1可以执行汽车模块208以进行汽车***200的驾驶功能或其他操作。类似地，处理器204-2可以基于从多个不同传感器(诸如成像传感器106和雷达传感器108)中获得的传感器数据来执行对象跟踪模块110-1以推断出FOV中的对象。汽车模块208在处理器204-1上执行时，可以响应于对象跟踪模块110-1组合并分析在传感器(例如，成像传感器106和雷达传感器108)中的每个传感器处生成的传感器数据而接收由对象跟踪模块110-1跟踪的一个或多个对象的指示。
对象跟踪模块110从成像传感器106和雷达传感器108接收数据。由成像传感器106接收的数据(在本示例中表示为两个连续帧)被输入到成像子模块210-1中。成像子模块210-1标识两个连续帧内的对象并且输出第二帧中的对象与第一帧中的对象一致的概率。类似地，由雷达传感器108接收的数据(表示为自对象反射两次之后接收的且与成像传感器106对两个帧的捕获相对应的雷达信号)被输入到雷达子模块210-2中。雷达子模块210-2输出两个反射的雷达信号被反射自同一对象的概率。融合子模块210-3接收由成像子模块210-1输出的概率和由雷达子模块210-2输出的概率，将这两个概率融合，并输出精确的概率。当在捕获的帧和接收的雷达信号中标识出多个对象时，子模块210输出的多个概率被呈现为数据关联矩阵。数据关联矩阵的每一行表示在第一帧中或通过在与第一帧相对应的第一时间接收到的反射雷达信号找到的对象。数据关联矩阵的每一列表示在第二帧中或通过在与第二帧相对应的第二时间接收到的反射雷达信号找到的对象。数据关联矩阵中的每个元素是在第二帧中或通过在与第二帧相对应的第二时间接收到的反射雷达信号标识的对象与在第一帧中或通过在与第一帧相对应的第一时间接收到的反射雷达信号标识的对象是同一对象的概率。
图3示出了示例环境100由成像传感器106捕获的两个连续帧。帧300-1是由成像传感器106捕获的第一帧，而帧300-2是由成像传感器106捕获的连续的第二帧。在帧300-1中，检测并标识对象，包括行人120-1、交通工具130-1、植被140-1和路牌150-1。行人120-1的雷达信号320-1、交通工具130-1的雷达信号330-1、植被140-1的雷达信号340-1和路牌150-1的雷达信号350-1由雷达传感器108在与被捕获的时间帧300-1相对应的时间接收。同样，在帧300-2中，检测并标识对象，包括行人120-2、交通工具130-2、植被140-2和路牌150-2。行人120-2的雷达信号320-2、交通工具130-2的雷达信号330-2、植被140-2的雷达信号340-2和路牌150-2的雷达信号350-2由雷达传感器108在与被捕获的时间帧300-2相对应的时间接收。
通常，汽车***200执行汽车模块208以进行功能。例如，汽车模块208可以提供自动巡航控制并监测道路112中或道路112附近的对象的存在。在此类示例中，对象跟踪模块110-1提供从由融合子模块210-3输出到汽车模块208的对象概率得出的对象踪迹。当从对象跟踪模块110-1获得的数据指示一个或多个对象正穿过交通工具102前方时，汽车模块208可提供警报。
在一个场景中，在帧300-1中，行人120-1和路牌150-1彼此紧邻。由于示例环境100中的大雾天气条件，成像子模块210-1将行人120-1误标识为第二路牌。在帧2中，成像子模块正确标识行人120-2，但是计算出行人120-1和行人120-2是同一对象的低概率。然而，在另外考虑雷达信号320-1和雷达信号320-2的情况下，雷达子模块210-2产生这两个雷达信号被反射自同一对象的高概率。融合子模块210-3计算从由成像子模块210-1输出的概率和由雷达子模块210-2输出的概率融合的精确的概率，该精确的概率更精准地预测行人120-1和行人120-2是同一对象。对象跟踪模块110-1将该融合概率输出到汽车模块208，汽车模块208向汽车***200指示：正在跟踪的对象在汽车***200前面移动。
示例架构
图4示出了示例数据关联矩阵400。数据关联矩阵400是在捕获数据的一帧中标识的对象与在捕获数据的连续的第二帧中标识的对象是相同对象的一组概率。数据关联矩阵400的行表示在捕获的第一帧中标识的对象。数据关联矩阵400的列表示在捕获的第二帧中标识的对象。数据关联矩阵400中的每个元素(诸如元素402)是来自该元素行的对象和该元素列的对象一致的概率。元素的数量取决于每个帧中标识出多少个对象。数据关联矩阵400可以将由成像传感器数据标识的对象关联。同样，数据关联矩阵400可以将与由成像传感器数据标识的对象有关的雷达数据关联。成像子模块210-1、雷达子模块210-2和融合子模块210-3输出与数据关联矩阵400类似的数据关联矩阵。
图5示出了与成像子模块210-1类似的示例成像模块500。在该示例中，成像传感器是相机，但是成像传感器可以是能够捕获其中可以唯一地标识一个或多个对象的数据的任何类型的传感器。帧502-1和帧502-2是由成像传感器106连续捕获的两个帧。帧502-1是第一帧，而帧502-2是第二帧。特征提取器504通过提取特征来标识每个帧中的对象并标记在两个帧中找到的每个对象。特征提取器504是通过机器学习来实现的，该机器学习可包括神经网络、卷积神经网络、递归神经网络或其任意组合。神经网络可以是已知模型(诸如视觉几何组(VGG)或ResNet50)，或者神经网络可以是其他设计的模型。使用大型数据集(诸如ImageNet图像数据库)训练模型。亲和力估计器506接收在第一帧中被标识并标记的对象列表以及在第二帧中被标识并标记的对象列表，并计算第二帧中的每个对象与在第一帧中是同一对象的概率。然后将该概率作为集合输出，呈现为数据关联矩阵510。
图6示出了与雷达子模块210-2类似的示例雷达模块600。在该示例中，雷达模块600使用监督学习神经网络模型602来输出数据关联矩阵。示例神经网络602包括输入层604、隐藏层606和输出层608。尽管在神经网络602中示出了两个隐藏层，但是可以使用任何数量的隐藏层。与在帧502-1和502-2中标识的对象有关的雷达信号被连接并被输入到输入层604中。神经网络602计算与成像模块500的第一帧相对应的每个雷达信号和与成像模块500的第二帧相对应的每个雷达信号与由成像模块500标识的同一对象相关联的概率。输出层将该概率作为呈现为数据关联矩阵610的集合输出。
图7是与融合子模块210-3类似的示例融合模块700。由成像模块500输出的数据关联矩阵510和由雷达模块600输出的数据关联矩阵610被输入到融合模块700中。通过平均、加权平均，通过机器学习或通过任何其他得出融合数据的计算方式，融合模块700可以将数据关联矩阵510的元素与数据关联矩阵610的元素进行融合。融合模块700将该概率作为呈现为数据关联矩阵710的集合输出。
示例方法
图8-1和图8-2示出了根据本公开的技术的用于多个对象跟踪的成像和雷达融合的示例方法。方法800被示为以但不限于示出或描述操作的顺序或组合执行的一组操作(或动作)。此外，操作中的任一者可以被重复、被组合或被重组以提供其他方法。在以下讨论的部分中，在描述方法800的一些非限制性示例时，可以参考先前介绍的附图。
在802处，确定在由成像传感器捕获的第一帧内的第一对象。成像传感器可以是光学相机、LiDAR、或者能够捕获从中可以标识对象的图像的任何传感器。在804处，确定在由成像传感器捕获的第二帧内的第二对象，该第二帧在第一帧之后被连续捕获。
在806处，基于在第一时间接收的第一雷达信号来确定第三对象的位置，该第一时间与第一帧的捕获相对应，该第一雷达信号反射自第三对象。雷达信号可包含有关对象的大量数据，包括但不限于距主机***的距离、速度和方位角。在808处，基于在第二时间接收的第二雷达信号来确定第四对象的位置，该第二时间与第二帧的捕获相对应，该第二雷达信号反射自第四对象。
在810处，确定第一对象与第二对象是同一对象的第一概率。在812处，确定第三对象与第四对象是同一对象的第二概率。在814处，通过组合第一概率和第二概率确定精确的概率，该精确的概率是第一对象、第二对象、第三对象和第四对象是同一对象的概率。通过机器学习确定第一概率、第二概率或第三概率中的至少一者或多者。机器学习可以使用监督学习神经网络模型来标识第一对象、第二对象、第三对象和第四对象中的至少两者或多者之间的关联。第一概率、第二概率和精确的概率可以呈现为数据关联矩阵。
根据本公开的技术，通过将来自两个或更多传感器的数据融合为精确的数据，该精确的数据可用于更可靠和准确地跟踪场景中多个对象。此外，通过由监督学习神经网络模型实现的机器学习，进一步提高了精确的数据的可靠性和准确性。
附加示例
在以下部分中，提供了用于多个对象跟踪***的成像和雷达融合的附加示例。
示例1。一种由对象跟踪***执行的方法，所述方法包括：基于由成像传感器捕获的第一帧，来确定第一帧内的第一对象；基于由成像传感器捕获的第二帧，来确定第二帧内的第二对象，第二帧在捕获第一帧后被连续捕获；基于在第一时间接收的第一雷达信号，来确定第三对象的位置，第一时间与第一帧的捕获相对应，第一雷达信号被反射自第三对象；基于在第二时间接收的第二雷达信号，来确定第四对象的位置，第二时间与第二帧的捕获相对应，第二雷达信号被反射自第四对象；确定第一对象与第二对象是同一对象的第一概率；确定第三对象与第四对象是同一对象的第二概率；以及通过组合第一概率和第二概率确定精确的概率，该精确的概率是第一对象、第二对象、第三对象和第四对象是同一对象的概率。
示例2。示例1的方法，进一步包括：通过机器学习确定第一概率、第二概率或精确的概率中的至少一者或多者。
示例3。如前述示例中任一项的方法，进一步包括：通过使用监督学习神经网络模型的机器学习来确定第一概率、第二概率或精确的概率中的至少一者或多者，以标识第一对象、第二对象、第三对象和第四对象中的至少两者或多者之间的关联。
示例4。如前述示例中任一项的方法，进一步包括：确定第一概率，该第一概率被呈现为第一对象关联矩阵；确定第二概率，该第二概率被呈现为第二对象关联矩阵；以及确定精确的概率，该精确的概率基于通过机器学习对第一对象关联矩阵和第二对象关联矩阵进行组合而被呈现为精确的对象关联矩阵。
示例5。如前述示例中任一项的方法，进一步包括：利用成像传感器捕获第一帧和第二帧，成像传感器是能够捕获可见光谱中的图像的光学相机。
示例6。如前述示例中任一项的方法，进一步包括：利用成像传感器捕获第一帧和第二帧，成像传感器是光检测和测距***。
示例7。一种对象跟踪***，该***包括：成像传感器；雷达***；以及一个或多个处理器，该一个或多个处理器被配置成用于：基于由成像传感器捕获的第一帧，来确定第一帧内的第一对象；基于由成像传感器捕获的第二帧，来确定第二帧内的第二对象，第二帧在捕获第一帧后被连续捕获；基于在第一时间接收的第一雷达信号，来确定第三对象的位置，第一时间与第一帧的捕获相对应，第一雷达信号被反射自第三对象；基于在第二时间接收的第二雷达信号，来确定第四对象的位置，第二时间与第二帧的捕获相对应，第二雷达信号被反射自第四对象；确定第一对象与第二对象是同一对象的第一概率；确定第三对象与第四对象是同一对象的第二概率；以及通过组合第一概率和第二概率确定精确的概率，精确的概率是第一对象、第二对象、第三对象和第四对象是同一对象的概率。
示例8。示例7的对象跟踪***，其特征在于，一个或多个处理器被进一步配置成用于通过机器学习确定第一概率、第二概率或精确的概率中的至少一者或多者。
示例9。如前述示例中任一项的对象跟踪***，其特征在于，一个或多个处理器被进一步配置成用于通过使用监督学习神经网络模型的机器学习来确定第一概率、第二概率或精确的概率中的至少一者或多者，以标识第一对象、第二对象、第三对象和第四对象中的至少两者或多者之间的关联。
示例10。如前述示例中任一项的对象跟踪***，其特征在于，一个或多个处理器被进一步配置成用于：确定第一概率，第一概率被呈现为第一对象关联矩阵；确定第二概率，第二概率被呈现为第二对象关联矩阵；以及确定精确的概率，精确的概率基于通过机器学习对第一对象关联矩阵和第二对象关联矩阵进行组合而被呈现为精确的对象关联矩阵。
示例11。如前述示例中任一项的对象跟踪***，其特征在于：成像传感器是能够捕获可见光谱中的图像的光学相机。
示例12。如前述示例中任一项的对象跟踪***，其特征在于：成像传感器是光检测和测距***。
示例13。如前述示例中任一项的对象跟踪***，其特征在于，***作为安装在机动交通工具上的安全***的一部分进行操作。
示例14。一种对象跟踪***，该***包括：用于基于由成像传感器捕获的第一帧来确定第一帧内的第一对象的装置；用于基于由成像传感器捕获的第二帧来确定第二帧内的第二对象的装置，第二帧在捕获第一帧后连续捕获；用于基于在第一时间接收的第一雷达信号来确定第三对象的位置的装置，第一时间与第一帧的捕获相对应，第一雷达信号被反射自第三对象；用于基于在第二时间接收的第二雷达信号来确定第四对象的位置的装置，第二时间与第二帧的捕获相对应，第二雷达信号被反射自第四对象；用于确定第一对象与第二对象是同一对象的第一概率的装置；用于确定第三对象与第四对象是同一对象的第二概率的装置；以及用于通过组合第一概率和第二概率确定精确的概率的装置，精确的概率是第一对象、第二对象、第三对象和第四对象是同一对象的概率。
示例15。示例14的对象跟踪***，该***进一步包括：用于通过机器学习确定第一概率、第二概率或精确的概率中的至少一者或多者的装置。
示例16。如前述示例中任一项的对象跟踪***，该***进一步包括：用于通过使用监督学习神经网络模型的机器学习来确定第一概率、第二概率或精确的概率中的至少一者或多者的装置，以标识第一对象、第二对象、第三对象和第四对象中的至少两者或多者之间的关联。
示例17。如前述示例中任一项的对象跟踪***，该***进一步包括：用于确定第一概率的装置，第一概率被呈现为第一对象关联矩阵；用于确定第二概率的装置，第二概率被呈现为第二对象关联矩阵；以及用于确定精确的概率的装置，精确的概率基于通过机器学习对第一对象关联矩阵和第二对象关联矩阵进行组合而被呈现为精确的对象关联矩阵。
示例18。如前述示例中任一项的对象跟踪***，其特征在于：成像传感器是能够捕获可见光谱中的图像的光学相机。
示例19。如前述示例中任一项的对象跟踪***，其特征在于：成像传感器是光检测和测距***。
示例20。如前述示例中任一项的对象跟踪***，其特征在于，***作为安装在机动交通工具上的安全***的一部分进行操作。
结论
虽然本公开的各种实施例在前述描述中进行了描述并且在附图中示出，但是应当理解，本公开不限于此，而是可以在接下来的权利要求的范围内以各种方式实施为实践。从前述描述中，将显而易见的是，可以在不偏离由接下来的权利要求所限定的本公开的精神和范围的情况下做出各种更改。与多个对象跟踪相关联的问题会出现在解决分配问题的其他***中，其中代理或任务的数量很大。因此，尽管被描述为改进基于交通工具的对象跟踪技术的一种方式，上述说明书的技术可以应用于其他分配问题，以减少任务与代理之间的分配总数。
除非上下文另有明确规定，否则“或”和语法相关术语的使用表示无限制的非排他性替代物。如本文中所使用的，引述一列项目“中的至少一者”的短语是指这些项目的任何组合，包括单个成员。作为示例，“a、b或c中的至少一者”旨在涵盖：a、b、c、a-b、a-c、b-c、和a-b-c，以及具有多个相同元素的任何组合(例如，a-a、a-a-a、a-a-b、a-a-c、a-b-b、a-c-c、b-b、b-b-b、b-b-c、c-c、和c-c-c，或者a、b和c的任何其他排序)。

Claims (20)

1.一种由对象跟踪***执行的方法，所述方法包括：
基于由成像传感器捕获的第一帧，来确定所述第一帧内的第一对象；
基于由所述成像传感器捕获的第二帧，来确定所述第二帧内的第二对象，所述第二帧在捕获所述第一帧后被连续捕获；
基于在第一时间接收的第一雷达信号，来确定第三对象的位置，所述第一时间与所述第一帧的捕获相对应，所述第一雷达信号被反射自所述第三对象；
基于在第二时间接收的第二雷达信号，来确定第四对象的位置，所述第二时间与所述第二帧的捕获相对应，所述第二雷达信号被反射自所述第四对象；
确定所述第一对象与所述第二对象是同一对象的第一概率；
确定所述第三对象与所述第四对象是同一对象的第二概率；以及
通过组合所述第一概率和所述第二概率确定精确的概率，所述精确的概率是所述第一对象、所述第二对象、所述第三对象和所述第四对象是同一对象的概率。
2.如权利要求1所述的方法，所述方法进一步包括：
通过机器学习确定所述第一概率、所述第二概率或所述精确的概率中的至少一者或多者。
3.如权利要求2所述的方法，其特征在于：
通过使用监督学习神经网络模型的机器学习来确定所述第一概率、所述第二概率或所述精确的概率中的至少一者或多者，以标识所述第一对象、所述第二对象、所述第三对象和所述第四对象中的至少两者或多者之间的关联。
4.如权利要求1所述的方法，所述方法进一步包括：
确定所述第一概率，所述第一概率被呈现为第一对象关联矩阵；
确定所述第二概率，所述第二概率被呈现为第二对象关联矩阵；以及
确定所述精确的概率，所述精确的概率基于通过机器学习对所述第一对象关联矩阵和所述第二对象关联矩阵进行组合而被呈现为精确的对象关联矩阵。
5.如权利要求1所述的方法，所述方法进一步包括：
利用所述成像传感器捕获所述第一帧和所述第二帧，所述成像传感器是能够捕获可见光谱中的图像的光学相机。
6.如权利要求1所述的方法，所述方法进一步包括：
利用所述成像传感器捕获所述第一帧和所述第二帧，所述成像传感器是光检测和测距***。
7.一种对象跟踪***，所述***包括：
成像传感器；
雷达***；以及
一个或多个处理器，所述一个或多个处理器被配置成用于：
基于由所述成像传感器捕获的第一帧，来确定所述第一帧内的第一对象；
基于由所述成像传感器捕获的第二帧，来确定所述第二帧内的第二对象，所述第二帧在捕获所述第一帧后被连续捕获；
基于在第一时间接收的第一雷达信号，来确定第三对象的位置，所述第一时间与所述第一帧的捕获相对应，所述第一雷达信号被反射自所述第三对象；
基于在第二时间接收的第二雷达信号，来确定第四对象的位置，所述第二时间与所述第二帧的捕获相对应，所述第二雷达信号被反射自所述第四对象；
确定所述第一对象与所述第二对象是同一对象的第一概率；
确定所述第三对象与所述第四对象是同一对象的第二概率；以及
通过组合所述第一概率和所述第二概率确定精确的概率，所述精确的概率是所述第一对象、所述第二对象、所述第三对象和所述第四对象是同一对象的概率。
8.如权利要求7所述的对象跟踪***，其特征在于，所述一个或多个处理器被进一步配置成用于：
通过机器学习确定所述第一概率、所述第二概率或所述精确的概率中的至少一者或多者。
9.如权利要求8所述的对象跟踪***，其特征在于，所述一个或多个处理器被进一步配置成用于：
通过使用监督学习神经网络模型的机器学习来确定所述第一概率、所述第二概率或所述精确的概率中的至少一者或多者，以标识所述第一对象、所述第二对象、所述第三对象和所述第四对象中的至少两者或多者之间的关联。
10.如权利要求7所述的对象跟踪***，其特征在于，所述一个或多个处理器被进一步配置成用于：
确定所述第一概率，所述第一概率被呈现为第一对象关联矩阵；
确定所述第二概率，所述第二概率被呈现为第二对象关联矩阵；以及
确定所述精确的概率，所述精确的概率基于通过机器学习对所述第一对象关联矩阵和所述第二对象关联矩阵进行组合而被呈现为精确的对象关联矩阵。
11.如权利要求7所述的对象跟踪***，其特征在于：
所述成像传感器是能够捕获可见光谱中的图像的光学相机。
12.如权利要求7所述的对象跟踪***，其特征在于：
所述成像传感器是光检测和测距***。
13.如权利要求7所述的对象跟踪***，其特征在于，所述***作为安装在机动交通工具上的安全***的一部分进行操作。
14.一种对象跟踪***，所述***包括：
用于基于由成像传感器捕获的第一帧来确定所述第一帧内的第一对象的装置；
用于基于由所述成像传感器捕获的第二帧来确定所述第二帧内的第二对象的装置，所述第二帧在捕获所述第一帧后被连续捕获；
用于基于在第一时间接收的第一雷达信号来确定第三对象的位置的装置，所述第一时间与所述第一帧的捕获相对应，所述第一雷达信号被反射自所述第三对象；
用于基于在第二时间接收的第二雷达信号来确定第四对象的位置的装置，所述第二时间与所述第二帧的捕获相对应，所述第二雷达信号被反射自所述第四对象；
用于确定所述第一对象与所述第二对象是同一对象的第一概率的装置；
用于确定所述第三对象与所述第四对象是同一对象的第二概率的装置；以及
用于通过组合所述第一概率和所述第二概率来确定精确的概率的装置，所述精确的概率是所述第一对象、所述第二对象、所述第三对象和所述第四对象是同一对象的概率。
15.如权利要求14所述的对象跟踪***，所述***进一步包括：
用于通过机器学习确定所述第一概率、所述第二概率或所述精确的概率中的至少一者或多者的装置。
16.如权利要求15所述的对象跟踪***，所述***进一步包括：
用于通过使用监督学习神经网络模型的机器学习来确定所述第一概率、所述第二概率或所述精确的概率中的至少一者或多者的装置，以标识所述第一对象、所述第二对象、所述第三对象和所述第四对象中的至少两者或多者之间的关联。
17.如权利要求14所述的对象跟踪***，所述***进一步包括：
用于确定所述第一概率的装置，所述第一概率被呈现为第一对象关联矩阵；
用于确定所述第二概率的装置，所述第二概率被呈现为第二对象关联矩阵；以及
用于确定所述精确的概率的装置，所述精确的概率基于通过机器学习对所述第一对象关联矩阵和所述第二对象关联矩阵进行组合而被呈现为精确的对象关联矩阵。
18.如权利要求14所述的对象跟踪***，其特征在于：
所述成像传感器是能够捕获可见光谱中的图像的光学相机。
19.如权利要求14所述的对象跟踪***，其特征在于：
所述成像传感器是光检测和测距***。
20.如权利要求14所述的对象跟踪***，其特征在于，所述***作为安装在机动交通工具上的安全***的一部分进行操作。
CN202110111330.8A 2020-01-28 2021-01-27 用于多个对象跟踪的成像和雷达融合 Pending CN113253254A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202062966604P 2020-01-28 2020-01-28
US62/966,604 2020-01-28

Publications (1)

Publication Number Publication Date
CN113253254A true CN113253254A (zh) 2021-08-13

Family

ID=74285339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110111330.8A Pending CN113253254A (zh) 2020-01-28 2021-01-27 用于多个对象跟踪的成像和雷达融合

Country Status (3)

Country Link
US (1) US11774582B2 (zh)
EP (1) EP3859386B1 (zh)
CN (1) CN113253254A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114609634A (zh) * 2022-03-21 2022-06-10 电子科技大学 一种基于阴影的交互式多模型下的视频sar多目标跟踪方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4116738A4 (en) * 2020-03-31 2024-03-20 Bitsensing Inc. RADAR DEVICE AND METHOD FOR CLASSIFYING OBJECTS
US11618480B2 (en) 2020-11-18 2023-04-04 Aptiv Technologies Limited Kurtosis based pruning for sensor-fusion systems
EP4012603B1 (en) * 2020-12-10 2023-12-06 Aptiv Technologies Limited Method for classifying a tracked object
CN114187328B (zh) * 2022-02-15 2022-07-05 智道网联科技(北京)有限公司 一种物体检测方法、装置和电子设备
CN115184917B (zh) * 2022-09-13 2023-03-10 湖南华诺星空电子技术有限公司 一种融合毫米波雷达与相机的区域目标跟踪方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105083161A (zh) * 2014-05-09 2015-11-25 本田技研工业株式会社 物体识别装置以及物体识别方法
CN107238834A (zh) * 2016-01-19 2017-10-10 德尔福技术有限公司 用于自动车辆的使用雷达/视觉融合的目标跟踪***
US20190147372A1 (en) * 2017-11-15 2019-05-16 Uber Technologies, Inc. Systems and Methods for Object Detection, Tracking, and Motion Prediction
US10451712B1 (en) * 2019-03-11 2019-10-22 Plato Systems, Inc. Radar data collection and labeling for machine learning
CN110389582A (zh) * 2018-04-18 2019-10-29 百度（美国）有限责任公司 利用多个线索跟踪对象

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105628951B (zh) * 2015-12-31 2019-11-19 北京迈格威科技有限公司 用于测量对象的速度的方法和装置
US11138745B2 (en) * 2018-04-30 2021-10-05 Uatc, Llc Object association for autonomous vehicles
US11454975B2 (en) * 2018-06-28 2022-09-27 Uatc, Llc Providing actionable uncertainties in autonomous vehicles

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105083161A (zh) * 2014-05-09 2015-11-25 本田技研工业株式会社 物体识别装置以及物体识别方法
CN107238834A (zh) * 2016-01-19 2017-10-10 德尔福技术有限公司 用于自动车辆的使用雷达/视觉融合的目标跟踪***
US20190147372A1 (en) * 2017-11-15 2019-05-16 Uber Technologies, Inc. Systems and Methods for Object Detection, Tracking, and Motion Prediction
CN110389582A (zh) * 2018-04-18 2019-10-29 百度（美国）有限责任公司 利用多个线索跟踪对象
US10451712B1 (en) * 2019-03-11 2019-10-22 Plato Systems, Inc. Radar data collection and labeling for machine learning

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
VENKATA PATHURI BHUVANA 等: "Integrated Camera and Radar Tracking using Multi-Model Cubature Kalman Filter", 《2019 IEEE GLOBAL CONFERENCE ON SIGNAL AND INFORMATION PROCESSING》, 11 November 2019 (2019-11-11), pages 1 - 5, XP033696327, DOI: 10.1109/GlobalSIP45357.2019.8969484 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114609634A (zh) * 2022-03-21 2022-06-10 电子科技大学 一种基于阴影的交互式多模型下的视频sar多目标跟踪方法
CN114609634B (zh) * 2022-03-21 2023-04-25 电子科技大学 一种基于阴影的交互式多模型下的视频sar多目标跟踪方法

Also Published As

Publication number Publication date
US11774582B2 (en) 2023-10-03
EP3859386A1 (en) 2021-08-04
EP3859386B1 (en) 2023-08-23
US20210231794A1 (en) 2021-07-29

Similar Documents

Publication Publication Date Title
CN113253254A (zh) 用于多个对象跟踪的成像和雷达融合
US11312353B2 (en) Vehicular control system with vehicle trajectory tracking
US20200003573A1 (en) Top-down refinement in lane marking navigation
CN113492851B (zh) 车辆控制装置、车辆控制方法以及车辆控制用计算机程序
US20170220875A1 (en) System and method for determining a visibility state
JP4420011B2 (ja) 物体検知装置
US11100806B2 (en) Multi-spectral system for providing precollision alerts
US20160217335A1 (en) Stixel estimation and road scene segmentation using deep learning
Dueholm et al. Trajectories and maneuvers of surrounding vehicles with panoramic camera arrays
CN110490217B (zh) 用于改进对象检测和对象分类的方法和***
CN112466141A (zh) 一种面向车路协同的智能网联路端设备交互方法、***及存储介质
US11662221B2 (en) Change point detection device and map information distribution system
US10832428B2 (en) Method and apparatus for estimating a range of a moving object
US10796167B2 (en) Periphery recognition device
CN115146694A (zh) 基于历史的不相容跟踪的标识
JP5097681B2 (ja) 地物位置認識装置
US11741718B2 (en) Light interference detection during vehicle navigation
US20220101025A1 (en) Temporary stop detection device, temporary stop detection system, and recording medium
Mandai et al. Real time vision based overtaking assistance system for drivers at night on two-lane single carriageway
Quintero et al. Extended floating car data system-experimental study
CN109871020B (zh) 车载自动驾驶***、方法、设备及存储介质
WO2021053031A1 (en) Method for detecting a moving state of a vehicle
Thiem et al. Datafusion of two driver assistance system sensors
Krajewski et al. Drone-based Generation of Sensor Reference and Training Data for Highly Automated Vehicles
EP2851840B1 (en) Vision system and vision method for a motor vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240415

Address after: Jiraum, Luxembourg, Luxembourg J. 12C Kroll Street

Applicant after: Anbofu Manufacturing Management Services Co.,Ltd.

Country or region after: Luxembourg

Address before: Babado J San Michaele

Applicant before: Delphi Technologies, Inc.

Country or region before: Barbados

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240424

Address after: 2 Pestaroz Street, Schaffhausen, Switzerland

Applicant after: Anbofu Technology Co.,Ltd.

Country or region after: Switzerland

Address before: Jiraum, Luxembourg, Luxembourg J. 12C Kroll Street

Applicant before: Anbofu Manufacturing Management Services Co.,Ltd.

Country or region before: Luxembourg