CN117011816A - 跟踪对象的踪迹段清理 - Google Patents

跟踪对象的踪迹段清理 Download PDF

Info

Publication number
CN117011816A
CN117011816A CN202310489794.1A CN202310489794A CN117011816A CN 117011816 A CN117011816 A CN 117011816A CN 202310489794 A CN202310489794 A CN 202310489794A CN 117011816 A CN117011816 A CN 117011816A
Authority
CN
China
Prior art keywords
trace
segment
trace segment
quality score
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310489794.1A
Other languages
English (en)
Inventor
周禄兵
杨炯
郭奕栾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motional AD LLC
Original Assignee
Motional AD LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motional AD LLC filed Critical Motional AD LLC
Publication of CN117011816A publication Critical patent/CN117011816A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

提供了使用神经网络的跟踪对象的踪迹段清理所用的方法，这些方法可以包括检测第一踪迹段和第二踪迹段。该方法包括应用经训练的机器学习模型以确定第一踪迹段和第二踪迹段是否捕获真实对象以及第一踪迹段和第二踪迹段是否代表运载工具外部的相同对象。该方法还包括响应于第一踪迹段和第二踪迹段被确定为代表相同对象而将第一踪迹段和第二踪迹段组合以形成具有单个轨迹的单个踪迹段。还提供了***和计算机程序产品。

Description

跟踪对象的踪迹段清理
技术领域
本发明涉及跟踪对象的踪迹段清理的技术。
背景技术
自主运载工具是能够在没有人类输入的情况下感测其环境并进行导航的运载工具。自主运载工具依赖于多个类型的传感器以感知周围环境。这些传感器向自主运载工具提供代表周围环境的数据。自主运载工具对该数据进行各种处理技术以识别运载工具周围的对象。识别运载工具周围的对象为自主运载工具提供了安全地导航驾驶情景所需的信息。
现代感知检测和跟踪***需要跟踪对象的大量数据来训练神经网络模型以供在线部署。开发了自动标记***或离线感知，以根据原始数据自动对跟踪框进行注释。注释质量对于在线部署所用的模型训练的成功至关重要。在在线和离线的对象检测和跟踪***中通常发生分段踪迹和误报踪迹。来自同一道路用户的分段踪迹以及误报踪迹将导致自主运载工具为安全地导航运载工具做出错误的决策。
发明内容
根据本发明的第一方面，一种方法包括：使用至少一个处理器，检测第一踪迹段和第二踪迹段；使用所述至少一个处理器，确定为所述第一踪迹段和所述第二踪迹段代表运载工具外部的相同对象；使用所述至少一个处理器，确定与所述第一踪迹段相关联的第一踪迹段质量得分和与所述第二踪迹段相关联的第二踪迹段质量得分、以及所述第一踪迹段和所述第二踪迹段之间的拼接得分；以及响应于由于所述第一踪迹段质量得分和所述第二踪迹段质量得分满足质量得分阈值并且所述拼接得分满足拼接得分阈值而确定为所述第一踪迹段和所述第二踪迹段代表相同对象，使用所述至少一个处理器，将所述第一踪迹段和所述第二踪迹段组合以形成具有单个轨迹的单个踪迹段。
根据本发明的第二方面，一种***包括：至少一个处理器；以及至少一个非暂态存储介质，其存储有指令，所述指令在由所述至少一个处理器执行时，使得所述至少一个处理器进行操作，所述操作包括：检测第一踪迹段和第二踪迹段；确定为所述第一踪迹段和所述第二踪迹段代表运载工具外部的相同对象；确定与所述第一踪迹段相关联的第一踪迹段质量得分和与所述第二踪迹段相关联的第二踪迹段质量得分、以及所述第一踪迹段和所述第二踪迹段之间的拼接得分；以及响应于由于所述第一踪迹段质量得分和所述第二踪迹段质量得分满足质量得分阈值并且所述拼接得分满足拼接得分阈值而确定为所述第一踪迹段和所述第二踪迹段代表相同对象，将所述第一踪迹段和所述第二踪迹段组合以形成具有单个轨迹和单个云点特征的单个踪迹段。
根据本发明的第三方面，一种非暂态计算机可读存储介质，其包括供由第一装置的一个或多于一个处理器执行的至少一个程序，所述至少一个程序包括指令，所述指令在由所述一个或多于一个处理器执行时，使得所述第一装置进行操作，所述操作包括：检测第一踪迹段和第二踪迹段；确定为所述第一踪迹段和所述第二踪迹段代表运载工具外部的相同对象；确定与所述第一踪迹段相关联的第一踪迹段质量得分和与所述第二踪迹段相关联的第二踪迹段质量得分、以及所述第一踪迹段和所述第二踪迹段之间的拼接得分；以及响应于由于所述第一踪迹段质量得分和所述第二踪迹段质量得分满足质量得分阈值并且所述拼接得分满足拼接得分阈值而确定为所述第一踪迹段和所述第二踪迹段代表相同对象，将所述第一踪迹段和所述第二踪迹段组合以形成具有单个轨迹和单个云点特征的单个踪迹段。
根据本发明的第四方面，一种方法包括：使用至少一个处理器，检测第一踪迹段和第二踪迹段；使用所述至少一个处理器，确定与所述第一踪迹段相关联的第一踪迹段质量得分和与所述第二踪迹段相关联的第二踪迹段质量得分；使用所述至少一个处理器，确定所述第一踪迹段和所述第二踪迹段之间的拼接得分；以及响应于所述第一踪迹段质量得分和所述第二踪迹段质量得分满足质量得分阈值并且所述拼接得分满足拼接得分阈值，使用所述至少一个处理器，将所述第一踪迹段和所述第二踪迹段组合以形成代表运载工具外部的相同对象的单个踪迹段。
附图说明
图1是可以实现包括自主***的一个或多于一个组件的运载工具的示例环境；
图2是包括自主***的运载工具的一个或多于一个***的图；
图3是图1和图2的一个或多于一个装置和/或一个或多于一个***的组件的图；
图4A是自主***的某些组件的图；
图4B是神经网络的实现的图；
图5是踪迹段清理的实现的图；
图6是踪迹段清理数据流的实现的图；
图7是踪迹特征提取网的实现的图；
图8是踪迹段清理模块的实现的图；
图9是被配置为生成用于训练机器学习模型的样本的训练样本生成器的实现的图；
图10是用于将踪迹段与地面真值踪迹匹配以生成训练样本的流程图；
图11是将地面真值踪迹与踪迹段匹配的实现的图；以及
图12是使用机器学习模型的踪迹段清理所用的处理的流程图。
具体实施方式
在以下描述中，为了解释的目的，阐述了许多具体细节，以便提供对本公开的透彻理解。然而，本公开所描述的实施例可以在没有这些具体细节的情况下实施将是明显的。在一些实例中，众所周知的构造和装置是以框图形式例示的，以避免不必要地使本公开的方面模糊。
在附图中，为了便于描述，例示了示意要素(诸如表示***、装置、模块、指令块和/或数据要素等的那些要素等)的具体布置或次序。然而，本领域技术人员将要理解，除非明确描述，否则附图中示意要素的具体次序或布置并不意在意味着要求特定的处理次序或序列、或处理的分离。此外，除非明确描述，否则在附图中包含示意要素并不意在意味着在所有实施例中都需要这种要素，也不意在意味着由这种要素表示的特征不能包括在一些实施例中或不能在一些实施例中与其他要素结合。
此外，在附图中，连接要素(诸如实线或虚线或箭头等)用于例示两个或多于两个其他示意要素之间或之中的连接、关系或关联，没有任何此类连接要素并不意在意味着不能存在连接、关系或关联。换句话说，要素之间的一些连接、关系或关联未在附图中例示，以便不使本公开内容模糊。此外，为了便于例示，可以使用单个连接要素来表示要素之间的多个连接、关系或关联。例如，如果连接要素表示信号、数据或指令(例如，“软件指令”)的通信，本领域技术人员应理解，这种要素可以表示影响通信可能需要的一个或多于一个信号路径(例如，总线)。
尽管使用术语“第一”、“第二”和/或“第三”等来描述各种要素，但这些要素不应受这些术语的限制。术语“第一”、“第二”和/或第三”仅用于区分一个要素与另一要素。例如，在没有背离所描述的实施例的范围的情况下，第一触点可被称为第二触点，并且类似地，第二触点可被称为第一触点。第一触点和第二触点这两者都是触点，但它们不是相同的触点。
在本文所描述的各种实施例的说明书中使用的术语仅是为了描述特定实施例的目的而包括的，而不是意在限制。如在所描述的各种实施例的说明书和所附权利要求书中所使用的，单数形式“a”、“an”和“the”也意在包括复数形式，并且可以与“一个或多于一个”或者“至少一个”互换使用，除非上下文另有明确说明。还将理解的是，如本文所使用的术语“和/或”是指并且包括关联的列出项中的一个或多于一个的任何和所有可能的组合。还将理解的是，当在本说明书中使用术语“包括”、“包含”、“具备”和/或“具有”时，具体说明存在所陈述的特征、整数、步骤、操作、要素和/或组件，但并不排除存在或添加一个或多于一个其他特征、整数、步骤、操作、要素、组件和/或其群组。
如本文所使用的，术语“通信”和“进行通信”是指信息(或者由例如数据、信号、消息、指令和/或命令等表示的信息)的接收、收到、传输、传送和/或提供等中的至少一者。对于要与另一单元进行通信的一个单元(例如，装置、***、装置或***的组件、以及/或者它们的组合等)而言，这意味着该一个单元能够直接地或间接地从另一单元接收信息和/或向该另一单元发送(例如，传输)信息。这可以是指本质上为有线和/或无线的直接或间接连接。另外，即使可以在第一单元和第二单元之间修改、处理、中继和/或路由所传输的信息，两个单元也可以彼此进行通信。例如，即使第一单元被动地接收信息并且不主动地向第二单元传输信息，第一单元也可以与第二单元进行通信。作为另一示例，如果至少一个中介单元(例如，位于第一单元和第二单元之间的第三单元)处理从第一单元接收到的信息、并将处理后的信息传输至第二单元，则第一单元可以与第二单元进行通信。在一些实施例中，消息可以是指包括数据的网络分组(例如，数据分组等)。
如本文所使用的，取决于上下文，术语“如果”可选地被解释为意指“当…时”、“在…时”、“响应于确定为”和/或“响应于检测到”等。类似地，取决于上下文，短语“如果已确定”或“如果检测到[所陈述的条件或事件]”可选地被解释为意指“在确定…时”、“响应于确定为“或”在检测到[所陈述的条件或事件]时”和/或“响应于检测到[所陈述的条件或事件]”等。此外，如本文所使用的，术语“有”、“具有”或“拥有”等旨在是开放式术语。此外，除非另有明确说明，否则短语“基于”意在是意味着“至少部分基于”。
现在将详细参考实施例，其示例在附图中例示出。在以下的详细描述中，阐述了许多具体细节，以便提供对所描述的各种实施例的透彻理解。然而，对于本领域的普通技术人员来说将明显的是，可以在没有这些具体细节的情况下实施所描述的各种实施例。在其他情况下，尚未详细描述众所周知的方法、过程、组件、电路和网络，以便不会不必要地使实施例的方面模糊。
总体概述
在一些方面和/或实施例中，本文所述的***、方法和计算机程序产品包括和/或实现跟踪对象的数据表示的踪迹段清理。踪迹段清理***可以使用机器学习***来识别和移除潜在错误的踪迹段。踪迹段是与运载工具(诸如自主运载工具等)所遇到的感知对象相关联的数据。踪迹段清理是如下的技术：消除错误的踪迹段或者将错误的踪迹段与其他踪迹段组合，以捕获跟踪对象的完整踪迹。错误的踪迹段的示例包括由于对运载工具外部的对象的感知差或者未能将对象移动识别为属于同一对象而造成的冗余的、断开的或假的踪迹段。为了消除错误的踪迹段，踪迹段清理***可以消除或组合踪迹段。该消除或组合减少了监视运载工具外部的对象所需的计算资源，并且确保了运载工具的规划***响应于各种驾驶情景而做出安全的规划移动。
作为示例技术，踪迹段清理***将两个踪迹段检测为潜在候选以组合成单个踪迹段。在检测到踪迹段候选之后，踪迹段清理***应用经过训练的机器学习模型，以确定第一踪迹段和第二踪迹段是否代表自主运载工具周围的相同对象。踪迹段清理***可以将第一踪迹段和第二踪迹段组合以形成单个踪迹段。例如，踪迹段清理***基于确定为第一踪迹段与第一时间段内的自行车相关联并且第二踪迹段与第二时间段内的同一自行车相关联，来确定为将组合第一踪迹段和第二踪迹段。踪迹段清理***组合第一踪迹段和第二踪迹段的各个轨迹和/或云点特征。然后，组合后的踪迹段具有单个轨迹集合和单个云点特征集合。踪迹段清理由于移除了错误的踪迹段而增加了利用运载工具的规划***的准确移动规划的可能性。这样，规划***具有运载工具周围的对象的准确表示。此外，踪迹段清理***消除或组合错误的踪迹段，由此减少了运行规划***所需的计算资源并且确保了规划***响应于各种驾驶情景而做出安全的规划移动。
借助本文所述的***、方法和计算机程序产品的实现，提供了跟踪对象的踪迹段清理所用的技术。不同于机器学习模型中的其他对象跟踪模块，本文的踪迹段清理框架包括用于消除错误的踪迹段并将错误的踪迹段组合成单个踪迹的技术。代替潜在地跟踪假对象或者使得多个踪迹段能够表示同一对象，踪迹段清理框架消除了冗余的、断开的和假的踪迹段。消除这些错误的踪迹段减少了移动规划所需的计算资源，并且提高了响应于各种驾驶情景的规划移动的安全性。更具体地，踪迹段清理框架可以比较踪迹段的轨迹特征、云点特征和/或图像特征，以确定哪些踪迹段将被拼接在一起或以其他方式消除。这些技术改进使得规划***的决策制定增强。
此外，踪迹段清理***解决了与被配置为进行规划移动的规划模块相关联的技术问题。规划模块的技术问题包括获得用于评估踪迹质量的度量，以确保运载工具正在对现有的新的对象类型作出反应。例如，在规划模块不能识别错误的踪迹段时，规划***会做出规划差的移动。在没有识别踪迹段的评估度量(例如，踪迹段质量得分、拼接得分)的情况下，特别是在运载工具遇到新对象时，规划模块无法分辨假的踪迹段和准确的踪迹段。结果，错误的踪迹段可以不利地影响规划模块的用于安全地导航自主运载工具的能力。
这样，需要被配置为评估跟踪对象段以消除或组合错误的踪迹段的踪迹段清理***。
需要训练样本以对机器学习模型进行训练。训练样本是通过向感知检测和跟踪***所生成的踪迹段添加踪迹质量标签所生成的。添加到踪迹段的标签可以是代表踪迹样本与地面真值踪迹相比较的质量的值。例如，值“1”意味着训练样本与地面真值踪迹相对应，并且值“0”意味着训练样本与假踪迹相对应。但在没有足够数量的经标记的训练样本的情况下，机器学习模型不能准确地确定代表运载工具所遇到的对象的踪迹段的质量得分。这样，实现了训练样本生成器以纠正经标记的训练样本的不足。
训练样本生成器产生经标记的训练样本以对机器学习模型进行训练。训练样本生成器被配置为将标签与踪迹段相关联以生成训练样本。训练样本生成器利用包括运载工具所观察到的对象的已知良好表示的地面真值踪迹。训练样本生成器将地面真值踪迹与一个或多于一个踪迹段进行比较，以产生具有所指派的标签的训练样本。
另外，训练样本生成器利用数据增强技术以生成经标记的训练样本。例如，训练样本生成器将单个踪迹分割为两个或多于两个踪迹段以创建训练样本。将训练样本与用于将两个或多于两个踪迹段识别为属于单个踪迹的标签相关联。例如，包括两个或多于两个踪迹段的训练样本的标签具有地面真值拼接得分“1”，以指示这两个或多于两个踪迹段来自同一踪迹。可替代地，将训练样本与用于将两个或多于两个踪迹段识别为属于单独踪迹的标签相关联。例如，包括属于单独踪迹的两个或多于两个踪迹段的训练样本的标签具有地面真值拼接得分“0”，以指示这两个或多于两个踪迹段来自不同踪迹。这些技术改进为机器学习模型提供了准确的训练工具。经训练的机器学习模型可以评估踪迹段的质量，并且基于根据训练样本的训练来评估要拼接在一起的段。
现在参考图1，例示示例环境100，在该示例环境100中，包括自主***的运载工具以及不包括自主***的运载工具进行操作。如所例示的，环境100包括运载工具102a-102n、对象104a-104n、路线106a-106n、区域108、运载工具到基础设施(V2I)装置110、网络112、远程自主运载工具(AV)***114、队列管理***116和V2I***118。运载工具102a-102n、运载工具到基础设施(V2I)装置110、网络112、自主运载工具(AV)***114、队列管理***116和V2I***118经由有线连接、无线连接、或者有线或无线连接的组合互连(例如，建立用于通信的连接等)。在一些实施例中，对象104a-104n经由有线连接、无线连接、或者有线或无线连接的组合与运载工具102a-102n、运载工具到基础设施(V2I)装置110、网络112、自主运载工具(AV)***114、队列管理***116和V2I***118中的至少一者互连。
运载工具102a-102n(单独称为运载工具102且统称为运载工具102)包括被配置为运输货物和/或人员的至少一个装置。在一些实施例中，运载工具102被配置为与V2I装置110、远程AV***114、队列管理***116和/或V2I***118经由网络112进行通信。在一些实施例中，运载工具102包括小汽车、公共汽车、卡车和/或火车等。在一些实施例中，运载工具102与本文所述的运载工具200(参见图2)相同或类似。在一些实施例中，一组运载工具200中的运载工具200与自主队列管理器相关联。在一些实施例中，如本文所述，运载工具102沿着相应的路线106a-106n(单独称为路线106且统称为路线106)行驶。在一些实施例中，一个或多于一个运载工具102包括自主***(例如，与自主***202相同或类似的自主***)。
对象104a-104n(单独称为对象104且统称为对象104)例如包括至少一个运载工具、至少一个行人、至少一个骑车者和/或至少一个构造物(例如，建筑物、标志、消防栓等)等。各对象104(例如，位于固定地点处并在一段时间内)是静止的或(例如，具有速度且与至少一个轨迹相关联地)移动。在一些实施例中，对象104与区域108中的相应地点相关联。
路线106a-106n(单独称为路线106且统称为路线106)各自与连接AV可以导航所沿着的状态的一系列动作(也称为轨迹)相关联(例如，规定该一系列动作)。各个路线106始于初始状态(例如，与第一时空地点和/或速度等相对应的状态)，并且结束于最终目标状态(例如，与不同于第一时空地点的第二时空地点相对应的状态)或目标区(例如，可接受状态(例如，终止状态)的子空间)。在一些实施例中，第一状态包括一个或多于一个个体将要搭载AV的地点，并且第二状态或区包括搭载AV的一个或多于一个个体将要下车的一个或多于一个地点。在一些实施例中，路线106包括多个可接受的状态序列(例如，多个时空地点序列)，这多个状态序列与多个轨迹相关联(例如，限定多个轨迹)。在示例中，路线106仅包括高级别动作或不精确的状态地点，诸如指示在车行道交叉口处转换方向的一系列连接道路等。附加地或可替代地，路线106可以包括更精确的动作或状态，诸如例如车道区域内的特定目标车道或精确地点以及这些位置处的目标速率等。在示例中，路线106包括沿着具有到达中间目标的有限前瞻视界的至少一个高级别动作的多个精确状态序列，其中有限视界状态序列的连续迭代的组合累积地与共同形成在最终目标状态或区处终止的高级别路线的多个轨迹相对应。
区域108包括运载工具102可以导航的物理区域(例如，地理区)。在示例中，区域108包括至少一个州(例如，国家、省、国家中所包括的多个州中的单独州等)、州的至少一部分、至少一个城市、城市的至少一部分等。在一些实施例中，区域108包括至少一个已命名干道(本文称为“道路”)，诸如公路、州际公路、公园道路、城市街道等。附加地或可替代地，在一些示例中，区域108包括至少一个未命名道路，诸如行车道、停车场的一段、空地和/或未开发地区的一段、泥路等。在一些实施例中，道路包括至少一个车道(例如，道路的运载工具102可以穿过的部分)。在示例中，道路包括与至少一个车道标记相关联的(例如，基于至少一个车道标记所识别的)至少一个车道。
运载工具到基础设施(V2I)装置110(有时称为运载工具到万物(Vehicle-to-Everything)(V2X)装置)包括被配置为与运载工具102和/或V2I基础设施***118进行通信的至少一个装置。在一些实施例中，V2I装置110被配置为与运载工具102、远程AV***114、队列管理***116和/或V2I***118经由网络112进行通信。在一些实施例中，V2I装置110包括射频识别(RFID)装置、标牌、照相机(例如，二维(2D)和/或三维(3D)照相机)、车道标记、路灯、停车计时器等。在一些实施例中，V2I装置110被配置为直接与运载工具102进行通信。附加地或可替代地，在一些实施例中，V2I装置110被配置为与运载工具102、远程AV***114和/或队列管理***116经由V2I***118进行通信。在一些实施例中，V2I装置110被配置为与V2I***118经由网络112进行通信。
网络112包括一个或多于一个有线和/或无线网络。在示例中，网络112包括蜂窝网络(例如，长期演进(LTE)网络、第三代(3G)网络、***(4G)网络、第五代(5G)网络、码分多址(CDMA)网络等)、公共陆地移动网络(PLMN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、电话网(例如，公共交换电话网(PSTN))、专用网络、自组织网络、内联网、因特网、基于光纤的网络、云计算网络等、以及/或者这些网络中的一部分或全部的组合等。
远程AV***114包括被配置为与运载工具102、V2I装置110、网络112、队列管理***116和/或V2I***118经由网络112进行通信的至少一个装置。在示例中，远程AV***114包括服务器、服务器组和/或其他类似装置。在一些实施例中，远程AV***114与队列管理***116位于同一位置。在一些实施例中，远程AV***114参与运载工具的组件(包括自主***、自主运载工具计算和/或由自主运载工具计算实现的软件等)中的一部分或全部的安装。在一些实施例中，远程AV***114在运载工具的寿命期间维护(例如，更新和/或更换)这些组件和/或软件。
队列管理***116包括被配置为与运载工具102、V2I装置110、远程AV***114和/或V2I基础设施***118进行通信的至少一个装置。在示例中，队列管理***116包括服务器、服务器组和/或其他类似装置。在一些实施例中，队列管理***116与拼车公司(例如，用于控制多个运载工具(例如，包括自主***的运载工具和/或不包括自主***的运载工具)的操作等的组织)相关联。
在一些实施例中，V2I***118包括被配置为与运载工具102、V2I装置110、远程AV***114和/或队列管理***116经由网络112进行通信的至少一个装置。在一些示例中，V2I***118被配置为与V2I装置110经由不同于网络112的连接进行通信。在一些实施例中，V2I***118包括服务器、服务器组和/或其他类似装置。在一些实施例中，V2I***118与市政当局或私营机构(例如，用于维护V2I装置110的私营机构等)相关联。
提供图1所例示的要素的数量和布置作为示例。与图1例示的要素相比，可以存在附加的要素、更少的要素、不同的要素和/或不同布置的要素。附加地或可替代地，环境100的至少一个要素可以进行被描述为由图1的至少一个不同要素进行的一个或多于一个功能。附加地或可替代地，环境100的至少一组要素可以进行被描述为由环境100的至少一个不同组的要素进行的一个或多于一个功能。
现在参考图2，运载工具200包括自主***202、动力总成控制***204、转向控制***206和制动***208。在一些实施例中，运载工具200与运载工具102(参见图1)相同或类似。在一些实施例中，运载工具200具有自主能力(例如，实现如下的至少一个功能、特征和/或装置等，该至少一个功能、特征和/或装置使得运载工具200能够在无人类干预的情况下部分地或完全地操作，其包括但不限于完全自主运载工具(例如，放弃依赖人类干预的运载工具)和/或高度自主运载工具(例如，在某些情形下放弃依赖人类干预的运载工具)等)。对于完全自主运载工具和高度自主运载工具的详细描述，可以参考SAE国际标准J3016:道路上机动车自动驾驶***相关术语的分类和定义(SAE International's standard J3016:Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle AutomatedDriving Systems)，其全部内容通过引用而被包含。在一些实施例中，运载工具200与自主队列管理器和/或拼车公司相关联。
自主***202包括传感器套件，该传感器套件包括诸如照相机202a、LiDAR传感器202b、雷达(radar)传感器202c和麦克风202d等的一个或多于一个装置。在一些实施例中，自主***202可以包括更多或更少的装置和/或不同的装置(例如，超声波传感器、惯性传感器、(以下论述的)GPS接收器、以及/或者用于生成与运载工具200已行驶的距离的指示相关联的数据的里程计传感器等)。在一些实施例中，自主***202使用自主***202中所包括的一个或多于一个装置来生成与本文所述的环境100相关联的数据。由自主***202的一个或多于一个装置生成的数据可以由本文所述的一个或多于一个***使用以观测运载工具200所位于的环境(例如，环境100)。在一些实施例中，自主***202包括通信装置202e、自主运载工具计算202f和安全控制器202g。
照相机202a包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。照相机202a包括用以捕获包括物理对象(例如，小汽车、公共汽车、路缘和/或人员等)的图像的至少一个照相机(例如，使用诸如电荷耦合器件(CCD)等的光传感器的数字照相机、热照相机、红外(IR)照相机和/或事件照相机等)。在一些实施例中，照相机202a生成照相机数据作为输出。在一些示例中，照相机202a生成包括与图像相关联的图像数据的照相机数据。在该示例中，图像数据可以指定与图像相对应的至少一个参数(例如，诸如曝光、亮度等的图像特性、以及/或者图像时间戳等)。在这样的示例中，图像可以采用格式(例如，RAW、JPEG和/或PNG等)。在一些实施例中，照相机202a包括配置在(例如，定位在)运载工具上以为了立体影像(立体视觉)的目的而捕获图像的多个独立照相机。在一些示例中，照相机202a包括生成图像数据并将该图像数据传输到自主运载工具计算202f和/或队列管理***(例如，与图1的队列管理***116相同或类似的队列管理***)的多个照相机。在这样的示例中，自主运载工具计算202f基于来自至少两个照相机的图像数据来确定多个照相机中的至少两个照相机的视场中的到一个或多于一个对象的深度。在一些实施例中，照相机202a被配置为捕获在相对于照相机202a的距离(例如，高达100米和/或高达1千米等)内的对象的图像。因此，照相机202a包括为了感知在相对于照相机202a一个或多于一个距离处的对象而优化的诸如传感器和镜头等的特征。
在实施例中，照相机202a包括被配置为捕获与一个或多于一个交通灯、街道标志和/或提供视觉导航信息的其他物理对象相关联的一个或多于一个图像的至少一个照相机。在一些实施例中，照相机202a生成与一个或多于一个图像相关联的交通灯数据。在一些示例中，照相机202a生成与包括格式(例如，RAW、JPEG和/或PNG等)的一个或多于一个图像相关联的TLD数据。在一些实施例中，生成TLD数据的照相机202a与本文所述的包含照相机的其他***的不同之处在于：照相机202a可以包括具有宽视场(例如，广角镜头、鱼眼镜头、以及/或者具有约120度或更大的视角的镜头等)的一个或多于一个照相机，以生成与尽可能多的物理对象有关的图像。
激光检测和测距(LiDAR)传感器202b包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。LiDAR传感器202b包括被配置为从发光器(例如，激光发射器)发射光的***。由LiDAR传感器202b发射的光包括在可见光谱之外的光(例如，红外光等)。在一些实施例中，在操作期间，由LiDAR传感器202b发射的光遇到物理对象(例如，运载工具)并被反射回到LiDAR传感器202b。在一些实施例中，由LiDAR传感器202b发射的光不会穿透该光遇到的物理对象。LiDAR传感器202b还包括至少一个光检测器，该至少一个光检测器在从发光器发射的光遇到物理对象之后检测到该光。在一些实施例中，与LiDAR传感器202b相关联的至少一个数据处理***生成表示LiDAR传感器202b的视场中所包括的对象的图像(例如，点云和/或组合点云等)。在一些示例中，与LiDAR传感器202b相关联的至少一个数据处理***生成表示物理对象的边界和/或物理对象的表面(例如，表面的拓扑结构)等的图像。在这样的示例中，该图像用于确定LiDAR传感器202b的视场中的物理对象的边界。
无线电检测和测距(雷达)传感器202c包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。雷达传感器202c包括被配置为发射(脉冲的或连续的)无线电波的***。由雷达传感器202c发射的无线电波包括预先确定的频谱内的无线电波。在一些实施例中，在操作期间，由雷达传感器202c发射的无线电波遇到物理对象并被反射回到雷达传感器202c。在一些实施例中，由雷达传感器202c发射的无线电波未被一些对象反射。在一些实施例中，与雷达传感器202c相关联的至少一个数据处理***生成表示雷达传感器202c的视场中所包括的对象的信号。例如，与雷达传感器202c相关联的至少一个数据处理***生成表示物理对象的边界和/或物理对象的表面(例如，表面的拓扑结构)等的图像。在一些示例中，该图像用于确定雷达传感器202c的视场中的物理对象的边界。
麦克风202d包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。麦克风202d包括捕获音频信号并生成与该音频信号相关联(例如，表示该音频信号)的数据的一个或多于一个麦克风(例如，阵列麦克风和/或外部麦克风等)。在一些示例中，麦克风202d包括变换器装置和/或类似装置。在一些实施例中，本文所述的一个或多于一个***可以接收由麦克风202d生成的数据，并基于与该数据相关联的音频信号来确定对象相对于运载工具200的位置(例如，距离等)。
通信装置202e包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、自主运载工具计算202f、安全控制器202g和/或线控(DBW)***202h进行通信的至少一个装置。例如，通信装置202e可以包括与图3的通信接口314相同或类似的装置。在一些实施例中，通信装置202e包括运载工具到运载工具(V2V)通信装置(例如，用于实现运载工具之间的数据的无线通信的装置)。
自主运载工具计算202f包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、通信装置202e、安全控制器202g和/或DBW***202h进行通信的至少一个装置。在一些示例中，自主运载工具计算202f包括诸如客户端装置、移动装置(例如，蜂窝电话和/或平板电脑等)和/或服务器(例如，包括一个或多于一个中央处理单元和/或图形处理单元等的计算装置)等的装置。在一些实施例中，自主运载工具计算202f与本文所述的自主运载工具计算400相同或类似。附加地或可替代地，在一些实施例中，自主运载工具计算202f被配置为与自主运载工具***(例如，与图1的远程AV***114相同或类似的自主运载工具***)、队列管理***(例如，与图1的队列管理***116相同或类似的队列管理***)、V2I装置(例如，与图1的V2I装置110相同或类似的V2I装置)和/或V2I***(例如，与图1的V2I***118相同或类似的V2I***)进行通信。
安全控制器202g包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、通信装置202e、自主运载工具计算202f和/或DBW***202h进行通信的至少一个装置。在一些示例中，安全控制器202g包括被配置为生成和/或传输控制信号以操作运载工具200的一个或多于一个装置(例如，动力总成控制***204、转向控制***206和/或制动***208等)的一个或多于一个控制器(电气控制器和/或机电控制器等)。在一些实施例中，安全控制器202g被配置为生成优先于(例如，覆盖)由自主运载工具计算202f生成和/或传输的控制信号的控制信号。
DBW***202h包括被配置为与通信装置202e和/或自主运载工具计算202f进行通信的至少一个装置。在一些示例中，DBW***202h包括被配置为生成和/或传输控制信号以操作运载工具200的一个或多于一个装置(例如，动力总成控制***204、转向控制***206和/或制动***208等)的一个或多于一个控制器(例如，电气控制器和/或机电控制器等)。附加地或可替代地，DBW***202h的一个或多于一个控制器被配置为生成和/或传输控制信号以操作运载工具200的至少一个不同的装置(例如，转向信号灯、前灯、门锁和/或挡风玻璃雨刮器等)。
动力总成控制***204包括被配置为与DBW***202h进行通信的至少一个装置。在一些示例中，动力总成控制***204包括至少一个控制器和/或致动器等。在一些实施例中，动力总成控制***204从DBW***202h接收控制信号，并且动力总成控制***204使运载工具200开始向前移动、停止向前移动、开始向后移动、停止向后移动、沿某方向加速、沿某方向减速、进行左转和/或进行右转等。在示例中，动力总成控制***204使提供至运载工具的马达的能量(例如，燃料和/或电力等)增加、保持相同或减少，由此使运载工具200的至少一个轮旋转或不旋转。
转向控制***206包括被配置为使运载工具200的一个或多于一个轮旋转的至少一个装置。在一些示例中，转向控制***206包括至少一个控制器和/或致动器等。在一些实施例中，转向控制***206使运载工具200的两个前轮和/或两个后轮向左或向右旋转，以使运载工具200左转或右转。
制动***208包括被配置为使一个或多于一个制动器致动以使运载工具200减速和/或保持静止的至少一个装置。在一些示例中，制动***208包括被配置为使与运载工具200的一个或多于一个轮相关联的一个或多于一个卡钳在运载工具200的相应转子上闭合的至少一个控制器和/或致动器。附加地或可替代地，在一些示例中，制动***208包括自动紧急制动(AEB)***和/或再生制动***等。
在一些实施例中，运载工具200包括用于测量或推断运载工具200的状态或条件的性质的至少一个平台传感器(未明确例示出)。在一些示例中，运载工具200包括诸如全球定位***(GPS)接收器、惯性测量单元(IMU)、轮速率传感器、轮制动压力传感器、轮转矩传感器、引擎转矩传感器和/或转向角传感器等的平台传感器。
现在参考图3，例示装置300的示意图。如所例示的，装置300包括处理器304、存储器306、存储组件308、输入接口310、输出接口312、通信接口314和总线302。在一些实施例中，装置300对应于：运载工具102的至少一个装置(例如，运载工具102的***的至少一个装置)；以及/或者网络112的一个或多于一个装置(例如，网络112的***的一个或多于一个装置)。在一些实施例中，运载工具102的一个或多于一个装置(例如，运载工具102的***的一个或多于一个装置)、以及/或者网络112的一个或多于一个装置(例如，网络112的***的一个或多于一个装置)包括至少一个装置300和/或装置300的至少一个组件。如图3所示，装置300包括总线302、处理器304、存储器306、存储组件308、输入接口310、输出接口312和通信接口314。
总线302包括许可装置300的组件之间的通信的组件。在一些实施例中，处理器304以硬件、软件、或者硬件和软件的组合来实现。在一些示例中，处理器304包括处理器(例如，中央处理单元(CPU)、图形处理单元(GPU)和/或加速处理单元(APU)等)、麦克风、数字信号处理器(DSP)、以及/或者可被编程为进行至少一个功能的任意处理组件(例如，现场可编程门阵列(FPGA)和/或专用集成电路(ASIC)等)。存储器306包括随机存取存储器(RAM)、只读存储器(ROM)、以及/或者存储供处理器304使用的数据和/或指令的另一类型的动态和/或静态存储装置(例如，闪速存储器、磁存储器和/或光存储器等)。
存储组件308存储与装置300的操作和使用相关的数据和/或软件。在一些示例中，存储组件308包括硬盘(例如，磁盘、光盘、磁光盘和/或固态盘等)、紧凑盘(CD)、数字多功能盘(DVD)、软盘、盒式磁带、磁带、CD-ROM、RAM、PROM、EPROM、FLASH-EPROM、NV-RAM和/或另一类型的计算机可读介质、以及相应的驱动器。
输入接口310包括许可装置300诸如经由用户输入(例如，触摸屏显示器、键盘、小键盘、鼠标、按钮、开关、麦克风和/或照相机等)等接收信息的组件。附加地或可替代地，在一些实施例中，输入接口310包括用于感测信息的传感器(例如，全球定位***(GPS)接收器、加速度计、陀螺仪和/或致动器等)。输出接口312包括用于提供来自装置300的输出信息的组件(例如，显示器、扬声器和/或一个或多于一个发光二极管(LED)等)。
在一些实施例中，通信接口314包括许可装置300与其他装置经由有线连接、无线连接、或者有线连接和无线连接的组合进行通信的类似收发器那样的组件(例如，收发器和/或单独的接收器和发射器等)。在一些示例中，通信接口314许可装置300从另一装置接收信息和/或向另一装置提供信息。在一些示例中，通信接口314包括以太网接口、光接口、同轴接口、红外接口、射频(RF)接口、通用串行总线(USB)接口、接口和/或蜂窝网络接口等。
在一些实施例中，装置300进行本文所述的一个或多于一个处理。装置300基于处理器304执行由诸如存储器306和/或存储组件308等的计算机可读介质所存储的软件指令来进行这些处理。计算机可读介质(例如，非暂时性计算机可读介质)在本文被限定为非暂时性存储器装置。非暂时性存储器装置包括位于单个物理存储装置内的存储空间或跨多个物理存储装置分布的存储空间。
在一些实施例中，经由通信接口314从另一计算机可读介质或从另一装置将软件指令读取到存储器306和/或存储组件308中。存储器306和/或存储组件308中所存储的软件指令在执行时，使处理器304进行本文所述的一个或多于一个处理。附加地或可替代地，代替软件指令或与软件指令组合使用硬连线电路以进行本文所述的一个或多于一个处理。因此，除非另外明确说明，否则本文所描述的实施例不限于硬件电路和软件的任何特定组合。
存储器306和/或存储组件308包括数据存储部或至少一个数据结构(例如，数据库等)。装置300能够从存储器306或存储组件308中的数据存储部或至少一个数据结构接收信息，将信息存储在该数据存储部或至少一个数据结构中，将信息通信至该数据存储部或至少一个数据结构，或者搜索该数据存储部或至少一个数据结构中所存储的信息。在一些示例中，该信息包括网络数据、输入数据、输出数据或其任何组合。
在一些实施例中，装置300被配置为执行存储在存储器306和/或另一装置(例如，与装置300相同或类似的另一装置)的存储器中的软件指令。如本文所使用的，术语“模块”是指存储器306和/或另一装置的存储器中所存储的至少一个指令，该至少一个指令在由处理器304和/或另一装置(例如，与装置300相同或类似的另一装置)的处理器执行时，使装置300(例如，装置300的至少一个组件)进行本文所述的一个或多于一个处理。在一些实施例中，模块以软件、固件和/或硬件等来实现。
提供图3所例示的组件的数量和布置作为示例。在一些实施例中，与图3所例示的组件相比，装置300可以包括附加的组件、更少的组件、不同的组件或不同布置的组件。附加地或可替代地，装置300的一组组件(例如，一个或多于一个组件)可以进行被描述为由装置300的另一组件或另一组组件进行的一个或多于一个功能。
现在参考图4A，例示出自主运载工具计算400(有时称为“AV堆栈”)的示例框图。如所例示的，自主运载工具计算400包括感知***402(有时称为感知模块)、规划***404(有时称为规划模块)、定位***406(有时称为定位模块)、控制***408(有时称为控制模块)和数据库410。在一些实施例中，感知***402、规划***404、定位***406、控制***408和数据库410包括在运载工具的自动导航***(例如，运载工具200的自主运载工具计算202f)中和/或在该自动导航***中实现。附加地或可替代地，在一些实施例中，感知***402、规划***404、定位***406、控制***408和数据库410包括在一个或多于一个独立***(例如，与自主运载工具计算400相同或类似的一个或多于一个***等)中。在一些示例中，感知***402、规划***404、定位***406、控制***408和数据库410包括在位于运载工具中的一个或多于一个独立***以及/或者如本文所述的至少一个远程***中。在一些实施例中，自主运载工具计算400中所包括的***中的任意和/或全部以软件(例如，存储器中所存储的软件指令)、计算机硬件(例如，通过微处理器、微控制器、专用集成电路(ASIC)和/或现场可编程门阵列(FPGA)等)、或者计算机软件和计算机硬件的组合来实现。还将理解，在一些实施例中，自主运载工具计算400被配置为与远程***(例如，与远程AV***114相同或类似的自主运载工具***、与队列管理***116相同或类似的队列管理***116、以及/或者与V2I***118相同或类似的V2I***等)进行通信。
在一些实施例中，感知***402接收与环境中的至少一个物理对象相关联的数据(例如，感知***402检测至少一个物理对象所使用的数据)，并对该至少一个物理对象进行分类。在一些示例中，感知***402接收由至少一个照相机(例如，照相机202a)捕获到的图像数据，该图像与该至少一个照相机的视场内的一个或多于一个物理对象相关联(例如，表示该一个或多于一个物理对象)。在这样的示例中，感知***402基于物理对象(例如，自行车、运载工具、交通标志和/或行人等)的一个或多于一个分组来对至少一个物理对象进行分类。在一些实施例中，基于感知***402对物理对象进行分类，感知***402将与物理对象的分类相关联的数据传输到规划***404。
在一些实施例中，规划***404接收与目的地相关联的数据，并且生成与运载工具(例如，运载工具102)可以朝向目的地行驶所沿着的至少一个路线(例如，路线106)相关联的数据。在一些实施例中，规划***404定期地或连续地从感知***402接收数据(例如，上述的与物理对象的分类相关联的数据)，并且规划***404基于感知***402所生成的数据来更新至少一个轨迹或生成至少一个不同轨迹。在一些实施例中，规划***404从定位***406接收与运载工具(例如，运载工具102)的更新位置相关联的数据，并且规划***404基于定位***406所生成的数据来更新至少一个轨迹或生成至少一个不同轨迹。
在一些实施例中，定位***406接收与运载工具(例如，运载工具102)在区域中的地点相关联(例如，表示该地点)的数据。在一些示例中，定位***406接收与至少一个LiDAR传感器(例如，LiDAR传感器202b)所生成的至少一个点云相关联的LiDAR数据。在某些示例中，定位***406从多个LiDAR传感器接收与至少一个点云相关联的数据，并且定位***406基于各个点云来生成组合点云。在这些示例中，定位***406将该至少一个点云或组合点云与数据库410中所存储的区域的二维(2D)和/或三维(3D)地图进行比较。然后，基于定位***406将至少一个点云或组合点云与地图进行比较，定位***406确定运载工具在区域中的位置。在一些实施例中，地图包括运载工具的导航之前生成的该区域的组合点云。在一些实施例中，地图包括但不限于车行道几何性质的高精度地图、描述道路网连接性质的地图、描述车行道物理性质(诸如交通速率、交通流量、运载工具和自行车交通车道的数量、车道宽度、车道交通方向或车道标记的类型和地点、或者它们的组合等)的地图、以及描述道路特征(诸如人行横道、交通标志或各种类型的其他行驶信号灯等)的空间地点的地图。在一些实施例中，基于感知***所接收到的数据来实时地生成地图。
在另一示例中，定位***406接收由全球定位***(GPS)接收器所生成的全球导航卫星***(GNSS)数据。在一些示例中，定位***406接收与运载工具在区域中的地点相关联的GNSS数据，并且定位***406确定运载工具在区域中的纬度和经度。在这样的示例中，定位***406基于运载工具的纬度和经度来确定运载工具在区域中的位置。在一些实施例中，定位***406生成与运载工具的位置相关联的数据。在一些示例中，基于定位***406确定运载工具的位置，定位***406生成与运载工具的位置相关联的数据。在这样的示例中，与运载工具的位置相关联的数据包括与对应于运载工具的位置的一个或多于一个语义性质相关联的数据。
在一些实施例中，控制***408从规划***404接收与至少一个轨迹相关联的数据，并且控制***408控制运载工具的操作。在一些示例中，控制***408从规划***404接收与至少一个轨迹相关联的数据，并且控制***408通过生成并传输控制信号以使动力总成控制***(例如，DBW***202h和/或动力总成控制***204等)、转向控制***(例如，转向控制***206)和/或制动***(例如，制动***208)进行操作，来控制运载工具的操作。在示例中，在轨迹包括左转的情况下，控制***408传输控制信号以使转向控制***206调整运载工具200的转向角，由此使运载工具200左转。附加地或可替代地，控制***408生成并传输控制信号以使运载工具200的其他装置(例如，前灯、转向信号灯、门锁和/或挡风玻璃雨刮器等)改变状态。
在一些实施例中，感知***402、规划***404、定位***406和/或控制***408实现至少一个机器学习模型(例如，至少一个多层感知器(MLP)、至少一个卷积神经网络(CNN)、至少一个递归神经网络(RNN)、至少一个自动编码器和/或至少一个变换器等)。在一些示例中，感知***402、规划***404、定位***406和/或控制***408单独地或与上述***中的一个或多于一个结合地实现至少一个机器学习模型。在一些示例中，感知***402、规划***404、定位***406和/或控制***408实现至少一个机器学习模型作为管道(例如，用于识别位于环境中的一个或多于一个对象的管道等)的一部分。
数据库410存储传输至感知***402、规划***404、定位***406和/或控制***408的、从其接收到的、以及/或者由其更新的数据。在一些示例中，数据库410包括用于存储与操作相关的数据和/或软件、并使用自主运载工具计算400的至少一个***的存储组件(例如，与图3的存储组件308相同或类似的存储组件)。在一些实施例中，数据库410存储与至少一个区域的2D和/或3D地图相关联的数据。在一些示例中，数据库410存储与城市的一部分、多个城市的多个部分、多个城市、县、州和/或国家(State)(例如，国家)等的2D和/或3D地图相关联的数据。在这样的示例中，运载工具(例如，与运载工具102和/或运载工具200相同或类似的运载工具)可以沿着一个或多于一个可驾驶区(例如，单车道道路、多车道道路、高速公路、偏僻道路和/或越野道路等)驾驶，并且使至少一个LiDAR传感器(例如，与LiDAR传感器202b相同或类似的LiDAR传感器)生成与表示该至少一个LiDAR传感器的视场中所包括的对象的图像相关联的数据。
在一些实施例中，数据库410可以跨多个装置来实现。在一些示例中，数据库410包括在运载工具(例如，与运载工具102和/或运载工具200相同或类似的运载工具)、自主运载工具***(例如，与远程AV***114相同或类似的自主运载工具***)、队列管理***(例如，与图1的队列管理***116相同或类似的队列管理***)中和/或V2I***(例如，与图1的V2I***118相同或类似的V2I***)等中。
现在参考图4B，例示机器学习模型的实现的图。更具体地，例示卷积神经网络(CNN)420的实现的图。为了说明的目的，CNN 420的以下说明将关于通过感知***402实现CNN 420。然而，将理解，在一些示例中，CNN 420(例如，CNN 420的一个或多于一个组件)由不同于感知***402的或除感知***402之外的其他***(诸如规划***404、定位***406和/或控制***408等)来实现。尽管CNN 420包括如本文所述的某些特征，但这些特征是为了说明的目的而提供的，并且不旨在限制本公开。
CNN 420包括包含第一卷积层422、第二卷积层424和卷积层426的多个卷积层。在一些实施例中，CNN 420包括子采样层428(有时称为池化层)。在一些实施例中，子采样层428和/或其他子采样层具有比上游***的维度(即，节点的量)小的维度。借助于具有比上游层的维度小的维度的子采样层428，CNN 420合并与上游层的初始输入和/或输出相关联的数据量，由此减少CNN 420进行下游卷积运算所需的计算量。附加地或可替代地，借助于子采样层428与至少一个子采样函数相关联(例如，被配置为进行至少一个子采样函数)，CNN 420合并与初始输入相关联的数据量。
基于感知***402提供与第一卷积层422、第二卷积层424和卷积层426各自相关联的相应输入和/或输出以生成相应输出，感知***402进行卷积运算。在一些示例中，基于感知***402将数据作为输入提供至第一卷积层422、第二卷积层424和卷积层426，感知***402实现CNN 420。在这样的示例中，基于感知***402从一个或多于一个不同***(例如，与运载工具102相同或相似的运载工具的一个或多于一个***、与远程AV***114相同或相似的远程AV***、与队列管理***116相同或相似的队列管理***、以及/或者与V2I***118相同或相似的V2I***等)接收数据，感知***402将数据作为输入提供至第一卷积层422、第二卷积层424和卷积层426。以下包括卷积运算的详细说明。
在一些实施例中，感知***402将与输入(称为初始输入)相关联的数据提供至第一卷积层422，并且感知***402使用第一卷积层422生成与输出相关联的数据。在一些实施例中，感知***402将由卷积层生成的输出作为输入提供至不同的卷积层。例如，感知***402将第一卷积层422的输出作为输入提供至子采样层428、第二卷积层424和/或卷积层426。在这样的示例中，第一卷积层422被称为上游层，并且子采样层428、第二卷积层424和/或卷积层426被称为下游层。类似地，在一些实施例中，感知***402将子采样层428的输出提供至第二卷积层424和/或卷积层426，并且在该示例中，子采样层428将被称为上游层，并且第二卷积层424和/或卷积层426将被称为下游层。
在一些实施例中，在感知***402向CNN 420提供输入之前，感知***402对与提供至CNN 420的输入相关联的数据进行处理。例如，基于感知***402对传感器数据(例如，图像数据、LiDAR数据和/或雷达数据等)进行归一化，感知***402对与提供至CNN 420的输入相关联的数据进行处理。
在一些实施例中，基于感知***402进行与各个卷积层相关联的卷积运算，CNN420生成输出。在一些示例中，基于感知***402进行与各个卷积层和初始输入相关联的卷积运算，CNN 420生成输出。在一些实施例中，感知***402生成输出并将该输出提供至全连接层430。在一些示例中，感知***402将卷积层426的输出提供至全连接层430，其中全连接层430包括与被称为F1、F2、...、FN的多个特征值相关联的数据。在该示例中，卷积层426的输出包括与表示预测的多个输出特征值相关联的数据。
在一些实施例中，基于感知***402识别与作为多个预测中的正确预测的最高可能性相关联的特征值，感知***402从这多个预测中识别预测。例如，在全连接层430包括特征值F1、F2、...、FN并且F1是最大特征值的情况下，感知***402将与F1相关联的预测识别为多个预测中的正确预测。在一些实施例中，感知***402训练CNN 420以生成预测。在一些示例中，基于感知***402将与预测相关联的训练数据提供至CNN 420，感知***402训练CNN 420以生成预测。
现在参考图5，例示了踪迹段清理的实现的图。踪迹段清理使用机器学习模型来识别和消除潜在错误的踪迹段。感知***可以生成踪迹段作为运载工具所遇到的对象的表示。但有时这些踪迹段不准确或是错误的。错误的踪迹段的示例包括冗余的、断开的或假的踪迹段。踪迹段清理是如下的技术：消除冗余的、断开的或假的踪迹段，或者将这些踪迹段与其他踪迹段组合，以捕获跟踪对象的单个完整且准确的踪迹。错误的踪迹段可能是如下情形的结果：对运载工具外部的对象的感知差，跨时间帧的对象信息的拼接差，或者感知***402和/或规划***404未能将对象移动识别为属于同一对象。为了纠正该问题，踪迹段清理包括识别假踪迹(例如，具有低于阈值的质量的踪迹)。此外，踪迹段清理包括识别可以组合成踪迹段的两个或多于两个单独踪迹段。
清理前踪迹段510示出潜在错误的多个踪迹段。清理前踪迹段510可以由自动标记注释器创建，该自动标记注释器可以由感知***402响应于检测到对象来实现。自动标记注释器被配置为在运载工具处的传感器感知到对象时，将踪迹段与该对象相关联。如图5所示，清理前踪迹段510包括四个踪迹段：第一踪迹段515、第二踪迹段525、第三踪迹段535和第四踪迹段545。
第一踪迹段515将第一对象包括在其帧内，这指示第一踪迹段515正在跟踪同一对象。第一对象包括在第一踪迹段515的各帧中，并且第一对象不包括在任何其他踪迹段中。第一对象占用仅一个踪迹的一致性指示出单个对象与单个踪迹正确地配对，并且不需要踪迹的进一步清理以获得第一对象的完整踪迹段。
第二踪迹段525和第三踪迹段535描绘代表第二对象的移动的两个踪迹段。第二踪迹段525中的第二对象和第三踪迹段535中的第二对象是同一对象。但将同一对象的两个单独踪迹段相关联是效率低和错误的。跟踪同一对象的多个踪迹段可能消耗规划***404的过多计算机资源，并且潜在地导致规划***404、定位***406和/或控制***408的导航决策困难。结果，第二踪迹段525和第三踪迹段535这两者中的第二对象呈现了各种低效率和安全性问题。应组合第二踪迹段525和第三踪迹段535，使得第二对象由仅一个踪迹表示。
第四踪迹段545是假踪迹。没有对象与第四踪迹段545相对应。也就是说，假踪迹表示现实生活中不存在对象。结果，第四踪迹段545使规划***404、定位***406和/或控制***408的导航决策复杂化。应消除第四踪迹段545，使得假踪迹段不消耗过多计算机资源。对于离线感知自动标记***，假踪迹可能降低输出对象注释质量，这可能减少利用这些自动标记的数据进行训练的基于机器学习的在线对象检测和跟踪模型。
清理后踪迹段520示出在踪迹清理处理之后的清理前踪迹段510。清理后踪迹段520例示由仅一个踪迹段表示的对象。清理后踪迹段520在所跟踪的对象的数量和踪迹段的数量之间具有1:1的对应关系。清理后踪迹段520不包括任何假踪迹段或者与现实生活中的对象不对应的踪迹段。如图5所示，第一踪迹段515将第一对象包括在其帧内，这指示第一踪迹段515与同一对象相关联。第一对象包括在第一踪迹段515的各帧中，并且第一对象不包括在任何其他踪迹段中。第一对象占用仅一个跟踪的一致性指示出单个对象与单个踪迹正确地配对，并且不需要踪迹的进一步合并以获得第一对象的完整踪迹段。
类似地，第二踪迹段525将第二对象包括在其帧内，这指示第二踪迹段525正在跟踪同一对象。第二对象包括在第二踪迹段525的各帧中，并且第二对象不包括在任何其他踪迹段中。第二对象占用仅一个踪迹的一致性指示出单个对象与单个踪迹正确地配对，并且不需要踪迹的进一步合并以获得第二对象的完整踪迹段。踪迹段清理处理将第三踪迹段535与第二踪迹段525组合以获得完整踪迹。另外，由于没有现实生活对象与第四踪迹段545相对应，因此踪迹段清理处理移除了第四踪迹段545。清理后踪迹段520增加了规划***404的规划移动的准确度，减少了监视运载工具外部的对象所需的处理和存储资源，并且增加了响应于各种驾驶情景的安全规划移动的可能性。
现在参考图6，例示了踪迹段清理数据流600的实现的图。踪迹段清理数据流600识别潜在冗余的、断开的或假的踪迹段。这些踪迹段代表运载工具所遇到的感知对象。踪迹段清理数据流600被配置为消除或组合潜在冗余的、断开的或假的踪迹段。另外，如本文所述，踪迹段清理数据流600应用经训练的机器学习模型以确定踪迹段是否代表运载工具外部的真实对象。经训练的机器学习模型确定踪迹段的质量并确定是否应将这些段拼接在一起。
输入踪迹模块610被配置为接收踪迹段。踪迹段代表在运载工具的外部感知到的对象。踪迹特征提取网620接收由输入踪迹模块610选择的输入踪迹。输入踪迹包括第一踪迹段612和第二踪迹段614。踪迹特征提取网620从第一踪迹段612和第二踪迹段614提取特征。踪迹段清理模块630通过比较来自第一踪迹段612和第二踪迹段614的特征来确定踪迹段是否代表同一对象。踪迹段清理模块630应用经训练的机器学习模型来确定第一踪迹段612和第二踪迹段614是否表示同一对象。踪迹段清理模块630确定是否将第一踪迹段612和第二踪迹段614组合并输出清理踪迹640。附加地和/或可替代地，踪迹段清理模块630可以基于踪迹段质量得分来确定为要消除踪迹段。
在实施例中，踪迹段清理数据流600在输入踪迹模块610处接收踪迹段作为输入踪迹。输入踪迹包括代表由感知***402和/或规划***404跟踪的对象的踪迹段。例如，运载工具外部的自行车是在感知***402中跟踪的对象。踪迹段代表在一段时间内相对于运载工具的位置在空间上监视的运载工具外部的跟踪对象。可以通过自主***202检测跟踪对象，该自主***202可以包括照相机202a、LiDAR传感器202b、雷达传感器202c和麦克风202d中的至少一个。例如，运载工具外部的自行车最初由照相机202a检测，随后使用LiDAR传感器202b监视。
在实施例中，自动标记***自动对从运载工具传感器收集的数据进行注释。自动标记注释器可以被实现为感知***402的离线版本。自动标记注释器被配置为对代表真实对象的跟踪对象进行注释并形成踪迹段。例如，自动标记注释器对代表第一对象的第一踪迹段612进行注释。在实施例中，将第一自动标记注释附加到第一踪迹段612，并且将第二自动标记注释附加到第二踪迹段614。经注释的踪迹段可以是在输入踪迹模块610处接收到的输入踪迹，以开始踪迹段清理数据流600。
输入踪迹模块610被配置为从多个踪迹段中选择可以潜在地组合的两个或多于两个踪迹段(例如，第一踪迹段612和第二踪迹段614)。输入踪迹模块610可以检查多个踪迹段的特点或特性，以确定两个或多于两个踪迹段是否可能表示同一对象。例如，感知***402检测由第一踪迹段612表示的第一时间段内的自行车，并且感知***402检测由第二踪迹段614表示的第二时间段内的自行车。输入踪迹模块610基于两个踪迹段的时间接近度确定为可以潜在地组合这两个踪迹。在另一实施例中，第一踪迹段612具有第一时间戳集合，并且第二踪迹段614具有第二时间戳集合，其中第二时间戳集合中的至少一个时间戳不同于第一时间戳集合中的时间戳。输入踪迹模块610基于最接近的时间戳不超过一定时间段(例如3秒)、并且在第一踪迹段612和第二踪迹段614之间跟踪对象类型相同，确定为可以潜在地组合这两个踪迹。
另外，输入踪迹模块610基于第一踪迹段612中的对象和第二踪迹段614中的对象的物理接近度来确定是否可以潜在地组合这两个踪迹。第一踪迹段612中的对象和第二踪迹段614中的对象可以满足距离阈值。例如，如果满足五米的距离阈值，则输入踪迹模块610确定为第一踪迹段612和第二踪迹段614可能表示同一对象。在实施例中，基于满足时间戳阈值和/或物理接近度阈值等来从多个踪迹段中选择第一踪迹段612和第二踪迹段614。
在输入踪迹模块610确定了可以潜在地组合的踪迹段(即，踪迹段候选)之后，踪迹段清理数据流600在踪迹特征提取网620中从踪迹段候选提取特征。在踪迹特征提取网620中提取的特征可以包括轨迹特征、云点特征和图像特征。例如，踪迹特征提取网620从表示第一时间段内的自行车的第一踪迹段612提取第一轨迹特征和第一云点特征。另外，踪迹特征提取网620从表示第二时间段内的自行车的第二踪迹段614提取第二轨迹特征和第二云点特征。
在提取处理之后，踪迹段清理数据流600将所提取的特征发送到踪迹段清理模块630。踪迹段清理模块630基于所提取的特征来确定是否要将第一踪迹段612和第二踪迹段614组合成单个踪迹。例如，踪迹段清理模块630比较第一轨迹特征和第二轨迹特征，并且类似地，比较与两个时间段内的自行车相对应的第一云点特征和第二云点特征。
踪迹段清理模块630可以应用经训练的机器学习模型，以基于所提取的特征来确定第一踪迹段612和第二踪迹段614是否代表运载工具外部的相同对象。机器学习模型可以提供用于生成得分的分析，这些得分代表第一踪迹段612和第二踪迹段614代表运载工具外部的同一对象的可能性。例如，踪迹段清理模块630将踪迹质量得分0.9指派给第一踪迹段612，并且踪迹段清理模块630将踪迹质量得分0.87指派给第二踪迹段614。踪迹段清理模块630将拼接得分0.93指派给第一踪迹段612和第二踪迹段614。
在生成得分之后，踪迹段清理模块630确定得分是否满足阈值。例如，如果踪迹质量得分阈值为0.75并且拼接得分阈值为0.8，则满足机器学习模型所生成的得分阈值。如果得分满足阈值，则踪迹段清理模块630被配置为将第一踪迹段612和第二踪迹段614组合成具有单个轨迹和单个云点特征的单个踪迹段。例如，将表示自行车的两个踪迹段(例如，第一踪迹段612和第二踪迹段614)与所有所提取的特征组合成单个踪迹段。然后，组合后的踪迹段具有单个轨迹集合和单个云点特征集合。
踪迹段清理数据流600增加了对象及其轨迹的准确感知的可能性，由此防止了利用规划***404的错误规划移动。此外，踪迹段清理数据流600识别出冗余的、断开的或假的踪迹段以消除或组合这些踪迹段，由此减少了运行规划***404所需的计算资源并且确保了响应于各种类型的对象的安全规划移动。
现在参考图7，例示了踪迹特征提取网620的实现的图。踪迹特征提取网620被配置为从踪迹段确定特征。从踪迹段确定或提取的特征指示踪迹的质量。另外，这些特征指示可以将踪迹段与其他踪迹段组合的可能性。从一个踪迹段提取的特征能够在踪迹特征融合网750中与来自不同踪迹段的特征融合、级联或平均。所提取的特征可以包括轨迹特征、云点特征和图像特征。
踪迹特征提取网620使用轨迹特征网710提取轨迹特征。轨迹特征包括来自踪迹段的踪迹框，这些踪迹框可以被级联以学习对象的运动特性。例如，可以从第二踪迹段614提取如下的踪迹框，所述踪迹框确定自行车在与运载工具垂直的方向上的运动为10km/小时。感知***402可以指示规划***404将向自行车的图像添加矩形以指示对象的轨迹特征。
踪迹框包括具有中心、大小和航向角度的矩形。矩形的中心具有(x,y)坐标以确定对象的中点。矩形的大小具有确定对象的总体大小的宽度和高度。航向角度确定行进方向。与矩形相关联的元数据确定矩形内的对象的类型。例如，监视自行车的踪迹框具有在自行车座椅处的中心、从轮到轮地包围自行车的大小、与运载工具垂直的方向的航向角度、以及将对象识别为自行车的元数据。踪迹框可以包括时间戳。多个踪迹框可以串在一起，各踪迹框具有自身的时间戳。对于所有的踪迹框，可以应用机器学习模型(作为示例，多层感知器网络)以学习更好地表示踪迹段轨迹和运动的鲁棒轨迹特征。
踪迹特征提取网620使用点云特征网720提取云点特征。云点特征包括沿着踪迹段的表示对象的3D特性和运动的踪迹点。踪迹点包括(x,y,z)坐标、强度和时间戳。例如，可以从第二踪迹段614提取用于确定自行车的结构的云点特征。确定自行车的结构包括确定将如何在3D平面中表示自行车。提取沿着自行车的轮胎、车架、骑车者和车把的踪迹点，以在3D平面中绘制自行车时表示自行车。多个云点特征可以串在一起，各云点特征具有自身的时间戳。对于所有的踪迹点，可以应用机器学习模型(作为示例，PointNet网络)以学习更好地表示对象结构和踪迹运动的鲁棒点特征。
踪迹特征提取网620可以使用图像特征网730来提取图像特征。图像特征包括提取相应图像。提取相应图像包括提取与对象相关的分割、嵌入特征或像素。例如，捕获自行车的图像以表示自行车。可以通过将云点的3D踪迹点投影到图像平面来获得对象图像区域或像素。可以用RGB值表示像素，并且可以将时间戳与图像关联。多个图像串在一起，各图像具有其自身的时间戳。使用机器学习模型(作为示例，卷积神经网络)来学习更好地表示跟踪对象的外观特征的图像特征。
对于从轨迹特征网710学习的所有轨迹特征、从点云特征网720学习的点特征和从图像特征网730学习的图像特征，踪迹特征融合网750使用机器学习模型(作为示例，多层感知器网络)以将这些多模特征组合成更好地描绘踪迹段的单个特征向量。可以一起学习轨迹特征网710、点云特征网720、图像特征网730和踪迹特征融合网750。踪迹特征融合网750所学习的融合特征可以利用所有的轨迹、点云和图像特征，并且更好地补充各模态。例如，可以容易地从图像特征将一个白色运载工具踪迹段和一个黑色踪迹段区分开。对于另一示例，远距离的大型公共汽车和中距离的小型公共汽车从图像外观看起来可能相似，但可以容易地与点特征区分开。即使对象外观和大小相似，轨迹特征也可以容易地将静态段和动态段区分开。在实际中，特征融合网可灵活地丢弃一个特征模态。例如，在数据仅包含点云时，可以仅利用轨迹特征和点云特征进行训练。此外，踪迹特征融合网还可以扩展到包括如雷达特征那样的其他踪迹特征。在踪迹特征融合网750之后，踪迹段可以由踪迹特征760表示。
踪迹特征760是踪迹特征融合网750的输出。踪迹特征760包括从踪迹段提取的特征。例如，踪迹特征760包括从与第一踪迹段612和第二踪迹段614相对应的两个时间段内的自行车的轨迹特征和点云特征学习的融合特征。
现在参考图8，例示了踪迹段清理模块630的实现的图。踪迹段清理模块630包括踪迹特征760、机器学习模型820和踪迹得分830。踪迹得分830包括第一踪迹质量得分832、第二踪迹质量得分834和踪迹拼接得分836。
从踪迹特征提取网620接收到踪迹特征760。踪迹特征760包括第一踪迹特征812和第二踪迹特征814。第一踪迹特征812与从第一踪迹段612提取的特征相对应，并且第二踪迹特征814与从第二踪迹段614提取的特征相对应。评估第一踪迹特征812和第二踪迹特征814以确定踪迹段的质量。踪迹段的质量可以指示踪迹段表示现实生活中的对象的可能性。比较第一踪迹特征812和第二踪迹特征814以确定至少两个踪迹段的拼接得分。两个踪迹的拼接得分指示如此得到的拼接踪迹段代表现实生活的同一对象的可能性。
踪迹段清理模块630应用机器学习模型820以确定第一踪迹特征812和第二踪迹特征814的质量得分和拼接得分。更具体地，踪迹段清理模块630应用机器学习模型820以确定与第一踪迹段612相关联的第一踪迹质量得分832和与第二踪迹段614相关联的第二踪迹质量得分834。在实施例中，机器学习模型820具有包括一个公共卷积网络的网络架构，以消耗第一踪迹特征812和第二踪迹特征814。网络架构被配置为输出针对各踪迹的踪迹质量得分以及踪迹拼接得分的分析。在另一实施例中，机器学习模型820具有包括双分支卷积网络的网络架构。一个分支使各踪迹的质量得分回归，并且另一分支使拼接得分回归。在另一实施例中，机器学习模型820包括多层感知器(MLP)、卷积神经网络(CNN)、递归神经网络(RNN)、自动编码器和/或变换器等中的一个或多于一个。
对机器学习模型820进行训练，以基于第一踪迹特征812和第二踪迹特征814来确定第一踪迹段612和第二踪迹段614是否代表同一对象。例如，机器学习模型820基于来自第一踪迹特征812和第二踪迹特征814的云点特征的踪迹点和强度来确定为第一踪迹段612和第二踪迹段614代表同一对象。在另一示例中，机器学习模型820基于来自第一踪迹特征812和第二踪迹特征814的轨迹特征的中心位置和时间戳来确定为第一踪迹段612和第二踪迹段614是同一对象的可能性低。
踪迹段清理模块将来自机器学习模型820的比较和定性分析变换为踪迹得分830。踪迹得分830包括三个得分：第一踪迹质量得分832、第二踪迹质量得分834和踪迹拼接得分836。第一踪迹质量得分832和第二踪迹质量得分834指示踪迹段表示现实生活中的对象的可能性。两个踪迹的踪迹拼接得分836指示如此得到的两个踪迹的拼接踪迹段代表现实生活中的同一对象的可能性。机器学习模型820和踪迹段清理模块630可以生成第一踪迹质量得分832、第二踪迹质量得分834和踪迹拼接得分836，以确定第一踪迹段612和第二踪迹段614代表运载工具外部的同一对象的可能性。例如，机器学习模型820和踪迹段清理模块630确定为0.9是第一踪迹质量得分832并且0.87是第二踪迹质量得分834。机器学习模型820和踪迹段清理模块630确定为第一踪迹特征812和第二踪迹特征814一起具有0.93的拼接得分。在实施例中，可以生成0和1之间的范围中的得分。
踪迹质量得分低指示踪迹段是现实生活中的对象的误报的可能性高。例如，第一踪迹特征812包括在至少两个时间戳之间显著地改变对象的结构的几个不稳定的云点特征。另一方面，踪迹质量得分高指示踪迹段代表现实生活中的对象的可能性高。例如，第一踪迹特征812包括跨多个时间戳维持对象的结构的一致云点特征。在实施例中，踪迹段的质量指示踪迹段是否将与另一踪迹段组合。独立于其他踪迹段来评估踪迹段的质量。例如，独立于第二踪迹特征814来评估第一踪迹特征812的质量。
拼接得分低指示至少两个踪迹段表示同一对象的可能性低。例如，第一踪迹特征812和第二踪迹特征814的轨迹特征的大小和航向角度的差异指示如此得到的拼接踪迹段代表现实生活中的同一对象的可能性低。拼接得分高指示至少两个踪迹段表示同一对象的可能性高。例如，第一踪迹特征812和第二踪迹特征814的轨迹特征的大小和航向角度方面的相似度指示如此得到的拼接踪迹段代表现实生活中的同一对象的可能性高。
踪迹段清理模块630可以确定为由于踪迹段质量得分低而要消除一些踪迹段。在实施例中，踪迹段清理模块630应用机器学习模型820以确定与第三踪迹段相关联的第三踪迹段质量得分。机器学习模型820可以生成第三踪迹段质量得分以确定第三踪迹段代表运载工具外部的现实生活对象的可能性。例如，机器学习模型820和踪迹段清理模块630确定为0.3是第三踪迹质量得分。在踪迹质量得分阈值为0.75的情况下，第三踪迹质量得分不满足踪迹质量得分阈值。结果，踪迹段清理模块630消除了第三踪迹段。
踪迹段清理模块630确定第一踪迹质量得分832、第二踪迹质量得分834和踪迹拼接得分836是否满足阈值。例如，如果踪迹质量得分阈值为0.75并且拼接得分阈值为0.8，则将满足得分。如果得分满足阈值，则踪迹段清理模块630被配置为将第一踪迹段612和第二踪迹段614组合成具有单个轨迹和单个云点特征的单个踪迹段。例如，将表示自行车的两个踪迹段(例如，第一踪迹段612和第二踪迹段614)与所有所提取的特征组合成单个踪迹段。然后，组合后的踪迹段具有单个轨迹集合和单个云点特征集合。在实施例中，组合后的单个踪迹段具有单个轨迹和单个云点特征。
在实施例中，通过至少将第一踪迹段612的轨迹特征与第二踪迹段614的轨迹特征级联来组合第一踪迹段612和第二踪迹段614。在实施例中，通过至少将第一踪迹段612的云点特征与第二踪迹段614的云点特征级联来组合第一踪迹段612和第二踪迹段614。
在实施例中，踪迹段清理模块630识别假踪迹段或低质量踪迹段以进行消除。踪迹段清理模块630基于所提取的特征来确定是否要消除踪迹段。例如，踪迹段清理模块630评估轨迹特征，并且类似地，评估第一时间段内的与自行车相对应的云点特征。
在实施例中，踪迹段清理模块630可以应用经训练的机器学习模型820以基于所提取的特征来确定踪迹段是否代表运载工具外部的对象。机器学习模型820可以提供用于生成得分的分析，这些得分代表假轨段代表运载工具外部的同一对象的可能性。例如，踪迹段清理模块630将踪迹质量得分0.25指派给踪迹段。
在实施例中，踪迹段清理模块630确定得分是否满足阈值。例如，如果踪迹质量得分阈值为0.75，则不满足由机器学习模型820针对踪迹段生成的得分。如果得分不满足阈值，则踪迹段清理模块630被配置为消除假踪迹段。例如，消除错误地表示自行车的踪迹段和所有所提取的特征。
现在参考图9，例示了被配置为生成用于训练机器学习模型的样本的训练样本生成器的实现的图。训练数据流900利用数据生成器910来生成用于训练机器学习模型的训练样本。训练样本可以由训练样本生成器912生成。训练在踪迹特征提取网620和踪迹段清理模块630中涉及的机器学习模型提高了踪迹段清理的准确性。另外，训练样本生成器912纠正了用于训练机器学习模型820的经标记的训练样本不足的问题。
训练样本生成器912产生用于对踪迹特征提取网620以及踪迹段清理模块630的机器学习模型820进行训练的经标记的训练样本。训练样本生成器912被配置为将标签与踪迹段相关联以生成训练样本。训练样本生成器912可以利用地面真值踪迹来生成训练样本的标签。地面真值踪迹可以包括感知对象的移动的准确表示。地面真值踪迹也可以是至少部分人工合成的，并且与模拟对象的移动相对应。训练样本生成器912将地面真值踪迹与一个或多于一个踪迹段进行比较以产生训练样本。如果训练样本生成器912进行来自多个地面真值踪迹的地面真值踪迹与一个或多于一个踪迹段之间的匹配，则训练样本生成器912将第一标签指派给踪迹段以产生具有第一标签的训练样本。另外，如果训练样本生成器912未能进行来自多个地面真值踪迹的地面真值踪迹与一个或多于一个踪迹段之间的匹配，则训练样本生成器912将第二标签指派给踪迹段以产生具有第二标签的训练样本。
训练样本生成器912产生指示假踪迹段的训练样本。例如，质量得分标签为“0”的训练样本指示训练样本与地面真值踪迹不对应(即，训练样本是误报)。在另一示例中，质量得分标签为“1”的训练样本指示训练样本与地面真值踪迹相对应(即，训练样本与真实对象匹配)。训练样本可以是在确定输入到踪迹特征提取网620以及踪迹段清理模块630的机器学习模型820中的其他踪迹段的准确度和质量时的比较所用的标准。
除了指示踪迹段是否是假踪迹的标签之外，训练样本生成器912所产生的训练样本还可以包括针对任意两个输入的踪迹段的用以指示它们是否应拼接在一起的标签。例如，与同一地面真值踪迹匹配的两个踪迹段将被指派拼接得分“1”，以指示它们应组合。与不同地面真值踪迹匹配的两个踪迹段将被指派拼接得分“0”，以指示它们不应组合。具有匹配的地面真值踪迹的一个踪迹段以及另一不匹配的踪迹段由于它们来自不同的踪迹，因此将被指派拼接得分“0”。对于不具有匹配的地面真值踪迹的两个踪迹段，在训练期间可以忽略这两个踪迹段之间的拼接得分，这是因为由于这两个踪迹段的踪迹质量将为0，因而按踪迹质量得分将消除这两个踪迹段。不需要拼接这些不匹配的踪迹段。
训练样本可以与其他踪迹段一样，并且包括轨迹特征、其他踪迹段的云点特征、和/或图像特征。训练样本用于将踪迹特征提取网620和机器学习模型820一起进行训练，以例如正确地识别假踪迹段和要组合的踪迹段。在实施例中，训练样本还可以用作验证样本，以确定踪迹特征提取网620以及踪迹段清理模块630的机器学习模型820在识别假踪迹段和需要拼接的踪迹段时的性能是否令人满意。
在实施例中，训练样本生成器912生成踪迹特征提取网620以及踪迹段清理模块630的机器学习模型820所用的训练样本。在实施例中，训练样本生成器912所生成的训练样本包括至少两个踪迹段。训练样本生成器912将地面真值踪迹的集合与一个或多于一个踪迹段进行比较，以产生具有质量得分标签的训练样本。训练样本生成器912将踪迹段与各个地面真值踪迹进行比较，以确定是否存在匹配的地面真值踪迹以指派踪迹质量标签。为了确定匹配的地面真值踪迹，训练样本生成器912遍历地面真值踪迹匹配流程图1000以将正确的地面真值踪迹与踪迹段和/或该质量得分标签的训练样本匹配。例如，如果训练样本生成器912识别出踪迹段与地面真值踪迹匹配，则训练样本生成器912基于踪迹段与地面真值踪迹匹配来将质量得分标签“1”指派给包括踪迹段的训练样本。
另外，训练样本生成器912比较两个或多于两个踪迹段以产生具有拼接得分的训练样本。训练样本生成器912所生成的训练样本包括至少两个踪迹段。训练样本生成器912可以比较训练样本的踪迹段以指派拼接得分标签。为了确定训练样本的两个或多于两个匹配的踪迹段，训练样本生成器912检查两个踪迹段是否与同一地面真值踪迹匹配。例如，如果训练样本生成器912识别出某踪迹段可以与另一踪迹段组合，则训练样本生成器912基于两个踪迹段与同一地面真值踪迹匹配来将拼接得分标签“1”指派给训练样本的两个踪迹段。如果训练样本生成器912没有将某踪迹段与另一踪迹段匹配，则训练样本生成器912基于两个或多于两个踪迹段不与同一地面真值踪迹匹配来将拼接得分标签“0”指派给训练样本的两个踪迹段。踪迹质量标签“0”可以指示踪迹段是假踪迹。
在实施例中，训练样本生成器912被配置为将单个踪迹分割为两个或多于两个踪迹段以创建训练样本。训练样本生成器912被配置为向两个或多于两个踪迹段添加标签以创建两个或多于两个训练样本。例如，针对包括两个或多于两个踪迹段的训练样本的标签具有地面真值拼接得分“1”，以指示两个或多于两个踪迹段来自同一踪迹。可替代地，训练样本与用于将两个或多于两个踪迹段识别为属于单独踪迹的标签相关联。例如，针对包括属于单独踪迹的两个或多于两个踪迹段的训练样本的标签具有地面真值拼接得分“0”，以指示两个或多于两个踪迹段来自不同踪迹。在实现中，训练样本生成器912可以将具有匹配的地面真值标签的踪迹段随机地分割为至少两个训练样本。
分割踪迹段以创建两个或多于两个训练样本创建了训练数据的多样性。在没有足够数量的经标记的训练样本的情况下，踪迹特征提取网620和机器学习模型820不能准确地确定代表运载工具所遇到的对象的踪迹段的质量得分。在实施例中，如果踪迹段未能满足帧阈值，则踪迹段没有资格被分割以产生训练样本。例如，如果踪迹段具有少于五个帧，则训练样本生成器912忽略对踪迹段进行分割的尝试。帧可以是时间戳。在实施例中，踪迹样本生成器912具有至少两个分割后的踪迹段中的各踪迹段具有至少三个时间帧的规则。
现在参考图10，例示了用于生成具有地面真值标签的训练样本以对机器学习模型进行训练的流程图。地面真值踪迹匹配流程图1000导致选择与输入的踪迹段匹配的地面真值踪迹以输出训练样本。训练样本生成器912可以将踪迹段表示与地面真值踪迹表示进行比较以产生经标记的训练样本。在实施例中，地面真值踪迹匹配流程图1000消除了不合格的地面真值踪迹以确定与输入的踪迹段相对应的地面真值踪迹。
在1010处，训练样本生成器912比较踪迹段和地面真值踪迹的时间戳。如果在踪迹段与来自多个地面真值踪迹的地面真值踪迹之间不存在共同时间戳，则训练样本生成器912确定为来自多个地面真值踪迹的地面真值踪迹是不合格的匹配，并且继续下一地面真值踪迹。训练样本生成器912比较多个地面真值踪迹中的各地面真值踪迹的时间戳，并且基于这些时间戳来确定作为潜在合格匹配的地面真值踪迹子集。在地面真值踪迹子集之外的地面真值踪迹由于是不合格匹配而被消除。在实施例中，在地面真值踪迹子集中没有剩余地面真值踪迹。在这种情况下，由于没有一个地面真值踪迹是合格匹配，因此训练样本生成器912将质量得分标签“0”指派给踪迹段。
在1020处，训练样本生成器912确定来自地面真值踪迹子集的地面真值踪迹是否具有超过相对于踪迹段的轨迹特征的距离阈值的轨迹特征。距离阈值可以是欧式距离。距离阈值可以是代表任何类同度或不相似性函数的类同度阈值。如果来自地面真值踪迹子集的地面真值踪迹的轨迹特征超过距离阈值，则训练样本生成器912确定为来自地面真值踪迹子集的地面真值踪迹是不合格匹配，并且继续下一地面真值踪迹。训练样本生成器912比较多个地面真值踪迹中的各地面真值踪迹的轨迹特征的距离，并且基于轨迹特征来确定作为潜在合格匹配的第二地面真值踪迹子集。在第二地面真值踪迹子集之外的地面真值踪迹由于是不合格匹配而被消除。在实施例中，在第二地面真值踪迹子集中没有剩余地面真值踪迹。在这种情况下，由于没有一个地面真值踪迹是合格匹配，因此训练样本生成器912将质量得分标签“0”指派给踪迹段。
在1030处，训练样本生成器912根据来自第二地面真值踪迹子集的地面真值踪迹段的轨迹特征来确定接近踪迹段的框的框数量。如果两个框之间的地面中心距离或交并比(IoU)低于某个阈值，则地面真值框接近踪迹段框。如果两个框的地面中心距离小于scale_factor*(diagonal(box1)+diagonal(box2))/2.0，则地面真值框接近踪迹段。可以使用1.5的scale_factor。比较地面真值踪迹和踪迹段的框，这可用于筛选来自第二地面真值踪迹子集的地面真值踪迹与踪迹段之间的差匹配。如果地面真值踪迹和踪迹段之间的接近框的数量降至低于框阈值，则训练样本生成器912确定为来自第二地面真值踪迹子集的地面真值踪迹是不合格匹配，并且继续下一地面真值踪迹。训练样本生成器912比较来自第二地面真值踪迹子集的各地面真值踪迹的接近框，并且基于接近框的数量来确定作为潜在合格匹配的第三地面真值踪迹子集。在第三地面真值踪迹子集之外的地面真值踪迹由于是不合格匹配而被消除。在实施例中，在第三地面真值踪迹子集中没有剩余地面真值踪迹。在这种情况下，由于没有一个地面真值踪迹是合格匹配，因此训练样本生成器912将质量得分标签“0”指派给踪迹段。
在1040处，训练样本生成器912从第三地面真值踪迹子集中选择具有相对于踪迹段的框的最高数量的接近框的地面真值踪迹。在实施例中，所选择的踪迹段基于该踪迹段与最佳地面真值踪迹匹配而具有指派为“1”的踪迹质量标签。如果没有地面真值踪迹与踪迹段匹配，则训练样本生成器912指派质量得分“0”。另外，训练样本生成器912基于作为另一踪迹段的与同一地面真值踪迹匹配的踪迹段而指派拼接得分标签“1”。如果两个或多于两个踪迹段与同一地面真值踪迹相对应，则将拼接得分标签“1”指派给这两个或多于两个踪迹段。如果没有两个踪迹段与地面真值踪迹匹配，则训练样本生成器912将拼接得分“0”指派给训练样本。
现在参考图11，例示了将地面真值踪迹与踪迹段匹配的实现的图。描绘了三个地面真值踪迹：第一地面真值踪迹1115、第二地面真值踪迹1125和第三地面真值踪迹1135。将踪迹段与三个地面真值踪迹中的各地面真值踪迹进行比较以产生经标记的训练样本。通过进行针对图10所述的地面真值踪迹匹配流程图1000，训练样本生成器912选择与踪迹段匹配的地面真值踪迹。使用3D框的轨迹来描绘地面真值踪迹。基于时间戳来对地面真值踪迹顺次排序。
可以将第一地面真值踪迹1115、第二地面真值踪迹1125和第三地面真值踪迹1135与踪迹段进行比较。踪迹段的轨迹框与地面真值踪迹的轨迹框之间的比较可以是基于地面真值踪迹匹配流程图1000的步骤。训练样本生成器912使用地面真值踪迹匹配流程图1000确定为第二地面真值踪迹1125是匹配的地面真值踪迹。另外，训练样本生成器912基于时间戳、满足距离阈值的轨迹特征、以及/或者踪迹段和地面真值踪迹之间的接近框的数量，确定为第二地面真值踪迹1125是匹配的地面真值踪迹。在实施例中，将各个地面真值踪迹的轨迹框与踪迹段对齐以确定最佳拟合。
现在参考图12，例示了使用机器学习模型的踪迹段清理的处理的流程图。在一些实施例中，针对处理1200所述的步骤中的一个或多于一个是由运载工具情景挖掘数据流(例如，完全地和/或部分地等)进行的。附加地或可替代地，在一些实施例中，针对处理1200所述的步骤中的一个或多于一个是由与运载工具情景挖掘数据流分开或包括运载工具情景挖掘数据流的另一装置或装置组(例如，完全地和/或部分地等)进行的。
在1202处，检测第一踪迹段和第二踪迹段。踪迹段代表在一段时间内相对于运载工具的位置在空间上监视的运载工具外部的跟踪对象。例如，在第一时间段内检测到的自行车是第一踪迹段，并且在第二时间段内检测到的自行车是第二踪迹段。
在1204处，第一踪迹段和第二踪迹段被确定为代表相同对象。第一踪迹段和第二踪迹段被确定为供组合成单个踪迹段用的候选。可以从第一踪迹段和第二踪迹段提取特征以由机器学习模型820进行评估。机器学习模型820进行分析并且确定第一踪迹段和第二踪迹段是否满足得分阈值，这些得分阈值指示将组合第一踪迹段和第二踪迹段。例如，机器学习模型820确定为来自第一踪迹段的自行车和来自第二踪迹段的自行车表示同一对象。
在1206处，将第一踪迹段和第二踪迹段组合以形成单个踪迹段。通过将第一踪迹段的特征与第二踪迹段的特征级联成单个特征集合来组合第一踪迹段和第二踪迹段。例如，将由第一踪迹段跟踪的自行车的特征与由第二踪迹段跟踪的自行车的特征级联，以形成包括单个特征集合的单个踪迹段。
在先前描述中，已经参考许多具体细节描述了本公开的方面和实施例，这些具体细节可因实现而不同。因此，说明书和附图应被视为说明性的，而非限制性意义的。本发明范围的唯一且排他的指示、以及申请人期望是本发明范围的内容是以发布权利要求书的具体形式从本申请发布的权利要求书的字面和等同范围，包括任何后续修正。本文中明确阐述的用于被包括在此类权利要求中的术语的任何定义应当以此类术语如在权利要求书中所使用的意义为准。另外，当在先前的说明书或所附权利要求书使用术语“还包括”时，该短语的下文可以是附加的步骤或实体、或先前所述的步骤或实体的子步骤/子实体。

Claims (27)

1.一种方法，包括：
使用至少一个处理器，检测第一踪迹段和第二踪迹段；
使用所述至少一个处理器，确定为所述第一踪迹段和所述第二踪迹段代表运载工具外部的相同对象；
使用所述至少一个处理器，确定与所述第一踪迹段相关联的第一踪迹段质量得分和与所述第二踪迹段相关联的第二踪迹段质量得分、以及所述第一踪迹段和所述第二踪迹段之间的拼接得分；以及
响应于由于所述第一踪迹段质量得分和所述第二踪迹段质量得分满足质量得分阈值并且所述拼接得分满足拼接得分阈值而确定为所述第一踪迹段和所述第二踪迹段代表相同对象，使用所述至少一个处理器，将所述第一踪迹段和所述第二踪迹段组合以形成具有单个轨迹的单个踪迹段。
2.根据权利要求1所述的方法，其中，通过至少将所述第一踪迹段的第一轨迹特征与所述第二踪迹段的第二轨迹特征级联来组合所述第一踪迹段和所述第二踪迹段，以及其中，所述第一轨迹特征和所述第二轨迹特征包括中心点、相对于所述中心点的大小、以及航向角度中的至少一个。
3.根据权利要求1所述的方法，其中，通过至少将所述第一踪迹段的第一云点特征与所述第二踪迹段的第二云点特征级联来组合所述第一踪迹段和所述第二踪迹段，以及其中，所述第一云点特征和所述第二云点特征包括踪迹点、3D特性特征和运动特征中的至少一个。
4.根据权利要求1所述的方法，还包括：
使用所述至少一个处理器，确定为所述第一踪迹段满足距离阈值并且所述第二踪迹段满足所述距离阈值；以及
响应于所述第一踪迹段和所述第二踪迹段满足所述距离阈值，使用所述至少一个处理器，确定为所述第一踪迹段和所述第二踪迹段代表相同对象。
5.根据权利要求1所述的方法，其中，所述第一踪迹段包括第一多个时间戳，以及其中，所述第二踪迹段包括第二多个时间戳。
6.根据权利要求1所述的方法，还包括：
使用所述至少一个处理器，确定与第三踪迹段相关联的第三踪迹段质量得分；以及
响应于所述第三踪迹段质量得分未能满足所述质量得分阈值，使用所述至少一个处理器来消除所述第三踪迹段。
7.根据权利要求1所述的方法，其中，所述第一踪迹段和所述第二踪迹段是从多个踪迹段中选择的，以及其中，所述第一踪迹段和所述第二踪迹段代表在一段时间内相对于所述运载工具的位置在空间上监视的所述运载工具外部的跟踪对象。
8.根据权利要求1所述的方法，还包括：
使用所述至少一个处理器，通过将已知单个踪迹分割为至少两个训练踪迹段来生成至少一个训练样本，
其中，所述已知单个踪迹包括地面真值注释，所述地面真值注释指示所述至少两个训练踪迹段形成所述已知单个踪迹。
9.根据权利要求8所述的方法，还包括：
使用所述至少一个处理器并且基于所述至少一个训练样本，训练机器学习模型以识别出所述至少两个训练踪迹段形成所述已知单个踪迹。
10.一种***，包括：
至少一个处理器；以及
至少一个非暂态存储介质，其存储有指令，所述指令在由所述至少一个处理器执行时，使得所述至少一个处理器进行操作，所述操作包括：
检测第一踪迹段和第二踪迹段；
确定为所述第一踪迹段和所述第二踪迹段代表运载工具外部的相同对象；
确定与所述第一踪迹段相关联的第一踪迹段质量得分和与所述第二踪迹段相关联的第二踪迹段质量得分、以及所述第一踪迹段和所述第二踪迹段之间的拼接得分；以及
响应于由于所述第一踪迹段质量得分和所述第二踪迹段质量得分满足质量得分阈值并且所述拼接得分满足拼接得分阈值而确定为所述第一踪迹段和所述第二踪迹段代表相同对象，将所述第一踪迹段和所述第二踪迹段组合以形成具有单个轨迹和单个云点特征的单个踪迹段。
11.根据权利要求10所述的***，其中，通过至少将所述第一踪迹段的第一轨迹特征与所述第二踪迹段的第二轨迹特征级联来组合所述第一踪迹段和所述第二踪迹段，以及其中，所述第一轨迹特征和所述第二轨迹特征包括中心点、相对于所述中心点的大小、以及航向角度中的至少一个。
12.根据权利要求10所述的***，其中，通过至少将所述第一踪迹段的第一云点特征与所述第二踪迹段的第二云点特征级联来组合所述第一踪迹段和所述第二踪迹段，以及其中，所述第一云点特征和所述第二云点特征包括踪迹点、3D特性特征和运动特征中的至少一个。
13.根据权利要求10所述的***，所述操作还包括：
确定为所述第一踪迹段满足距离阈值并且所述第二踪迹段满足所述距离阈值；以及
响应于所述第一踪迹段和所述第二踪迹段满足所述距离阈值，确定为所述第一踪迹段和所述第二踪迹段代表相同对象。
14.根据权利要求10所述的***，其中，所述第一踪迹段包括第一多个时间戳，以及其中，所述第二踪迹段包括第二多个时间戳，其中所述第二多个时间戳中的至少一个时间戳不同于所述第一多个时间戳中的时间戳。
15.根据权利要求10所述的***，所述操作还包括：
确定与第三踪迹段相关联的第三踪迹段质量得分；以及
响应于所述第三踪迹段质量得分未能满足所述质量得分阈值，消除所述第三踪迹段。
16.根据权利要求10所述的***，其中，所述第一踪迹段和所述第二踪迹段是从多个踪迹段中选择的，以及其中，所述第一踪迹段和所述第二踪迹段代表在一段时间内相对于所述运载工具的位置在空间上监视的所述运载工具外部的跟踪对象。
17.根据权利要求10所述的***，所述操作还包括：
通过将已知单个踪迹分割为至少两个训练踪迹段来生成至少一个训练样本，
其中，所述已知单个踪迹包括地面真值注释，所述地面真值注释指示所述至少两个训练踪迹段形成所述已知单个踪迹。
18.根据权利要求17所述的***，所述操作还包括：
基于所述至少一个训练样本，训练机器学习模型以识别出所述至少两个训练踪迹段形成所述已知单个踪迹。
19.一种非暂态计算机可读存储介质，包括供由第一装置的一个或多于一个处理器执行的至少一个程序，所述至少一个程序包括指令，所述指令在由所述一个或多于一个处理器执行时，使得所述第一装置进行操作，所述操作包括：
检测第一踪迹段和第二踪迹段；
确定为所述第一踪迹段和所述第二踪迹段代表运载工具外部的相同对象；
确定与所述第一踪迹段相关联的第一踪迹段质量得分和与所述第二踪迹段相关联的第二踪迹段质量得分、以及所述第一踪迹段和所述第二踪迹段之间的拼接得分；以及
响应于由于所述第一踪迹段质量得分和所述第二踪迹段质量得分满足质量得分阈值并且所述拼接得分满足拼接得分阈值而确定为所述第一踪迹段和所述第二踪迹段代表相同对象，将所述第一踪迹段和所述第二踪迹段组合以形成具有单个轨迹和单个云点特征的单个踪迹段。
20.根据权利要求19所述的非暂态计算机可读存储介质，其中，通过至少将所述第一踪迹段的第一轨迹特征与所述第二踪迹段的第二轨迹特征级联来组合所述第一踪迹段和所述第二踪迹段，以及其中，所述第一轨迹特征和所述第二轨迹特征包括中心点、相对于所述中心点的大小、以及航向角度中的至少一个。
21.根据权利要求19所述的非暂态计算机可读存储介质，其中，通过至少将所述第一踪迹段的第一云点特征与所述第二踪迹段的第二云点特征级联来组合所述第一踪迹段和所述第二踪迹段，以及其中，所述第一云点特征和所述第二云点特征包括踪迹点、3D特性特征和运动特征中的至少一个。
22.根据权利要求19所述的非暂态计算机可读存储介质，所述操作还包括：
确定为所述第一踪迹段满足距离阈值并且所述第二踪迹段满足所述距离阈值；以及
响应于所述第一踪迹段和所述第二踪迹段满足所述距离阈值，确定为所述第一踪迹段和所述第二踪迹段代表相同对象。
23.根据权利要求19所述的非暂态计算机可读存储介质，其中，所述第一踪迹段包括第一多个时间戳，以及其中，所述第二踪迹段包括第二多个时间戳，其中所述第二多个时间戳中的至少一个时间戳不同于所述第一多个时间戳中的时间戳。
24.根据权利要求19所述的非暂态计算机可读存储介质，所述操作还包括：
确定与第三踪迹段相关联的第三踪迹段质量得分；以及
响应于所述第三踪迹段质量得分未能满足所述质量得分阈值，消除所述第三踪迹段。
25.根据权利要求19所述的非暂态计算机可读存储介质，其中，所述第一踪迹段和所述第二踪迹段是从多个踪迹段中选择的，以及其中，所述第一踪迹段和所述第二踪迹段代表在一段时间内相对于所述运载工具的位置在空间上监视的所述运载工具外部的跟踪对象。
26.根据权利要求19所述的非暂态计算机可读存储介质，所述操作还包括：
通过将已知单个踪迹分割为至少两个训练踪迹段来生成至少一个训练样本。
27.一种方法，包括：
使用至少一个处理器，检测第一踪迹段和第二踪迹段；
使用所述至少一个处理器，确定与所述第一踪迹段相关联的第一踪迹段质量得分和与所述第二踪迹段相关联的第二踪迹段质量得分；
使用所述至少一个处理器，确定所述第一踪迹段和所述第二踪迹段之间的拼接得分；以及
响应于所述第一踪迹段质量得分和所述第二踪迹段质量得分满足质量得分阈值并且所述拼接得分满足拼接得分阈值，使用所述至少一个处理器，将所述第一踪迹段和所述第二踪迹段组合以形成代表运载工具外部的相同对象的单个踪迹段。
CN202310489794.1A 2022-05-04 2023-05-04 跟踪对象的踪迹段清理 Pending CN117011816A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/736,735 US11625909B1 (en) 2022-05-04 2022-05-04 Track segment cleaning of tracked objects
US17/736,735 2022-05-04

Publications (1)

Publication Number Publication Date
CN117011816A true CN117011816A (zh) 2023-11-07

Family

ID=85805134

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310489794.1A Pending CN117011816A (zh) 2022-05-04 2023-05-04 跟踪对象的踪迹段清理

Country Status (5)

Country Link
US (2) US11625909B1 (zh)
KR (1) KR20230156264A (zh)
CN (1) CN117011816A (zh)
DE (1) DE102023111485A1 (zh)
GB (1) GB2618438A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210030147A (ko) * 2019-09-09 2021-03-17 삼성전자주식회사 3d 렌더링 방법 및 장치
CN116402923B (zh) * 2023-06-08 2023-08-11 成都赛力斯科技有限公司 轨迹动画生成方法、装置、电子设备及可读存储介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110134126A (zh) * 2019-05-15 2019-08-16 百度在线网络技术（北京）有限公司 轨迹匹配方法、装置、设备和介质
CN110443833A (zh) * 2018-05-04 2019-11-12 佳能株式会社 对象跟踪方法和设备
CN111325089A (zh) * 2018-12-13 2020-06-23 安讯士有限公司 跟踪对象的方法和设备
CN111784730A (zh) * 2020-07-01 2020-10-16 杭州海康威视数字技术股份有限公司 一种对象跟踪方法、装置、电子设备及存储介质
US20210056713A1 (en) * 2018-01-08 2021-02-25 The Regents On The University Of California Surround vehicle tracking and motion prediction
CN112505680A (zh) * 2019-09-13 2021-03-16 动态Ad有限责任公司 使用雷达的扩展对象跟踪
CN112561966A (zh) * 2020-12-22 2021-03-26 清华大学 一种融合时空信息的稀疏点云多目标跟踪方法
CN112634326A (zh) * 2020-12-17 2021-04-09 深圳云天励飞技术股份有限公司 目标跟踪方法、装置、电子设备及存储介质
CN112748451A (zh) * 2021-01-26 2021-05-04 腾讯科技（深圳）有限公司 轨迹处理方法、装置、电子设备及介质
CN113034546A (zh) * 2021-04-07 2021-06-25 杭州海康威视数字技术股份有限公司 一种轨迹合并方法、装置、电子设备及存储介质
US20210263525A1 (en) * 2020-02-21 2021-08-26 Zoox, Inc. Combined track confidence and classification model
CN113591527A (zh) * 2021-01-14 2021-11-02 腾讯科技（深圳）有限公司 一种对象轨迹识别方法、装置、电子设备和存储介质
CN113702979A (zh) * 2021-07-16 2021-11-26 中国船舶重工集团公司第七一五研究所 一种跨区目标跟踪轨迹片段时空拼接方法
CN113771845A (zh) * 2020-06-09 2021-12-10 奥迪股份公司 预测车辆轨迹的方法、装置、车辆和存储介质
CN113781519A (zh) * 2020-06-09 2021-12-10 华为技术有限公司 目标跟踪方法和目标跟踪装置
CN113963029A (zh) * 2021-10-29 2022-01-21 深圳市商汤科技有限公司 轨迹拼接和事件检测方法、装置、设备及计算机存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2347400B1 (en) * 2008-11-07 2014-03-12 Volvo Lastvagnar AB Method and system for combining sensor data
US11967106B2 (en) * 2019-12-27 2024-04-23 Motional Ad Llc Object tracking supporting autonomous vehicle navigation
US11675366B2 (en) * 2019-12-27 2023-06-13 Motional Ad Llc Long-term object tracking supporting autonomous vehicle navigation

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210056713A1 (en) * 2018-01-08 2021-02-25 The Regents On The University Of California Surround vehicle tracking and motion prediction
CN110443833A (zh) * 2018-05-04 2019-11-12 佳能株式会社 对象跟踪方法和设备
CN111325089A (zh) * 2018-12-13 2020-06-23 安讯士有限公司 跟踪对象的方法和设备
CN110134126A (zh) * 2019-05-15 2019-08-16 百度在线网络技术（北京）有限公司 轨迹匹配方法、装置、设备和介质
CN112505680A (zh) * 2019-09-13 2021-03-16 动态Ad有限责任公司 使用雷达的扩展对象跟踪
US20210263525A1 (en) * 2020-02-21 2021-08-26 Zoox, Inc. Combined track confidence and classification model
CN113771845A (zh) * 2020-06-09 2021-12-10 奥迪股份公司 预测车辆轨迹的方法、装置、车辆和存储介质
CN113781519A (zh) * 2020-06-09 2021-12-10 华为技术有限公司 目标跟踪方法和目标跟踪装置
CN111784730A (zh) * 2020-07-01 2020-10-16 杭州海康威视数字技术股份有限公司 一种对象跟踪方法、装置、电子设备及存储介质
CN112634326A (zh) * 2020-12-17 2021-04-09 深圳云天励飞技术股份有限公司 目标跟踪方法、装置、电子设备及存储介质
CN112561966A (zh) * 2020-12-22 2021-03-26 清华大学 一种融合时空信息的稀疏点云多目标跟踪方法
CN113591527A (zh) * 2021-01-14 2021-11-02 腾讯科技（深圳）有限公司 一种对象轨迹识别方法、装置、电子设备和存储介质
CN112748451A (zh) * 2021-01-26 2021-05-04 腾讯科技（深圳）有限公司 轨迹处理方法、装置、电子设备及介质
CN113034546A (zh) * 2021-04-07 2021-06-25 杭州海康威视数字技术股份有限公司 一种轨迹合并方法、装置、电子设备及存储介质
CN113702979A (zh) * 2021-07-16 2021-11-26 中国船舶重工集团公司第七一五研究所 一种跨区目标跟踪轨迹片段时空拼接方法
CN113963029A (zh) * 2021-10-29 2022-01-21 深圳市商汤科技有限公司 轨迹拼接和事件检测方法、装置、设备及计算机存储介质

Also Published As

Publication number Publication date
DE102023111485A1 (de) 2023-11-09
GB2618438A (en) 2023-11-08
GB202306320D0 (en) 2023-06-14
US11625909B1 (en) 2023-04-11
KR20230156264A (ko) 2023-11-14
US20230360379A1 (en) 2023-11-09

Similar Documents

Publication Publication Date Title
US11562556B1 (en) Prediction error scenario mining for machine learning models
KR102595886B1 (ko) 매핑에서의 향상된 시맨틱 라벨링을 위한 멀티 모달 분할 네트워크
KR102657921B1 (ko) 융합된 이미지를 사용한 엔드 투 엔드 시스템 트레이닝
US20230360379A1 (en) Track segment cleaning of tracked objects
US11550851B1 (en) Vehicle scenario mining for machine learning models
CN115705693A (zh) 用于传感器数据的标注的方法、***和存储介质
US20230109909A1 (en) Object detection using radar and lidar fusion
CN115713687A (zh) 用于确定对象动态参数的方法、***和介质
KR102631148B1 (ko) 센서 데이터를 사용하여 자동으로 교통 신호 검출
US11400958B1 (en) Learning to identify safety-critical scenarios for an autonomous vehicle
CN116149309A (zh) 用于运载工具的方法、***和介质
US20230360375A1 (en) Prediction error scenario mining for machine learning models
US11727671B1 (en) Efficient and optimal feature extraction from observations
US20240127579A1 (en) Identifying new classes of objects in environments of vehicles
CN115962788A (zh) 用于带标注图像数据的方法、***和存储介质
WO2024086056A1 (en) Identifying new classes of objects in environments of vehicles
WO2024081191A1 (en) Path selection for remote vehicle assistance
KR20230167292A (ko) 융합된 합성 및 카메라 이미지들을 사용한 자율 주행 차량에서의 움직임 예측
WO2024030384A1 (en) Object orientation determination from map and group parameters
WO2024081141A1 (en) Path-based trajectory prediction
CN117152579A (zh) 用于运载工具的***和计算机实现的方法
CN117152709A (zh) 计算机***、计算机实现的方法和计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination