CN116348789A - 用于自主载具应用的速度估计和对象跟踪 - Google Patents
用于自主载具应用的速度估计和对象跟踪 Download PDFInfo
- Publication number
- CN116348789A CN116348789A CN202180072499.5A CN202180072499A CN116348789A CN 116348789 A CN116348789 A CN 116348789A CN 202180072499 A CN202180072499 A CN 202180072499A CN 116348789 A CN116348789 A CN 116348789A
- Authority
- CN
- China
- Prior art keywords
- velocity
- sensing system
- motion
- return points
- physical object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 106
- 238000000034 method Methods 0.000 claims description 86
- 239000013598 vector Substances 0.000 claims description 52
- 230000008447 perception Effects 0.000 claims description 36
- 230000001427 coherent effect Effects 0.000 claims description 25
- 239000011159 matrix material Substances 0.000 claims description 22
- 238000005259 measurement Methods 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 description 42
- 230000000875 corresponding effect Effects 0.000 description 31
- 238000010586 diagram Methods 0.000 description 13
- 230000015654 memory Effects 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 12
- 238000003860 storage Methods 0.000 description 12
- 230000011218 segmentation Effects 0.000 description 11
- 238000013519 translation Methods 0.000 description 10
- 230000014616 translation Effects 0.000 description 10
- 238000013507 mapping Methods 0.000 description 9
- 238000012544 monitoring process Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 239000004575 stone Substances 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 230000007613 environmental effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000011664 signaling Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000005291 magnetic effect Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000010287 polarization Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 229920002430 Fibre-reinforced plastic Polymers 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013479 data entry Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011151 fibre-reinforced plastic Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012876 topography Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 208000031872 Body Remains Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000012788 optical film Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
- G01S17/34—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/50—Systems of measurement based on relative movement of target
- G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/66—Tracking systems using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4808—Evaluating distance, position or velocity data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Evolutionary Computation (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
本公开的各方面和实施方式通过在自主载具(AV)应用中实现用于高效对象识别和跟踪的速度估计来解决现有技术的缺点，包括：通过AV的感测***获得多个返回点，每个返回点具有反射区域的坐标和速度值，反射区域反射由感测***发出的信号；识别返回点的速度值和坐标与物理对象的运动的关联，所述运动是刚性体的平移运动和旋转运动的组合；以及使得AV的行驶路径根据物理对象的运动确定。
Description
技术领域
本说明书一般地涉及自主载具。更具体地，本说明书涉及使用速度感测数据改进自主驾驶***和组件，以协助自主驾驶环境中的速度估计和对象跟踪。
背景技术
自主(完全和部分自动驾驶)载具(AV)通过使用各种电磁(例如，雷达和光学)以及非电磁(例如，音频和湿度)传感器感测外部环境来操作。一些自主载具基于感测到的数据绘制环境中的行驶路径。可以基于全球定位***(GPS)数据和道路图数据来确定行驶路径。虽然GPS和道路图数据可以提供有关环境的静态方面的信息(建筑物、街道布局、道路封闭等)，但是从同时收集的传感数据获得动态信息(诸如有关其他载具、行人、路灯等的信息)。由自主载具选择的行驶路径以及速度范围的精度和安全性取决于对行驶环境中存在的各种对象的及时且准确的识别，以及取决于行驶算法的处理关于环境的信息并向载具控制和传动***提供正确指令的能力。
附图说明
本公开以示例的方式进行说明，而非以限制的方式进行说明，当结合附图进行考虑时，可参考以下详细描述更全面地理解本公开内容，在附图中：
图1A是示出根据本公开的一些实施方式的使用多普勒辅助对象识别和跟踪的示例自主载具的组件的图。
图1B是示出根据本公开的一些实施方式的使用多普勒辅助对象识别和跟踪的、图1A的自主载具的感知***的示例架构的图。
图2是根据本公开的一些实施方式的作为自主载具的感知***的一部分的利用速度估计的多普勒辅助对象识别和跟踪设置的图示。
图3是根据本公开的一些实施方式的作为自主载具的感知***的一部分的速度估计设置的图示。
图4是根据本公开的一些实施方式的可用于由自主载具的感知***进行的对象运动的速度估计的一种可能的几何表示的示意图。
图5是根据本公开的一些实施方式的通过来自附加感测帧的感测数据来增强速度估计的图示。
图6是根据本公开的一些实施方式的用于高效速度估计和对象映射的双传感器设置的图示。
图7描绘了根据本公开的一些实施方式的将多普勒辅助速度估计和对象跟踪用于自主驾驶载具应用的示例方法的流程图。
图8描绘了根据本公开的一些实施方式的在用于自主驾驶载具应用的速度估计和对象跟踪期间将潜在的速度分量消歧(disambiguation)的示例方法的流程图。
图9描绘了根据本公开的一些实施方式的用于自主驾驶载具应用的使用运动滤波器跟踪对象的运动的示例方法的流程图。
图10描绘了示例计算机设备的框图，该示例计算机设备可以实现基于模拟的测试，以使用真实世界材料的回射(retro-reflection)数据并获得行驶环境中可能遇到的真实世界材料的回射数据来改进自主载具***。
发明内容
在一种实施方式中，公开了一种方法：通过自主载具(AV)的感测***获得多个返回点，每个返回点包括反射区域的速度值和一个或多个坐标，所述反射区域反射由感测***发出的信号；识别多个返回点中的每一个的速度值和一个或多个坐标与物理对象的运动的关联，所述运动是刚性体的平移运动和旋转运动的组合；以及使得AV的行驶路径根据物理对象的运动确定。
在另一种实施方式中，公开了一种***，该***包括：自主载具(AV)的感测***，用于获得多个返回点，每个返回点包括反射区域的速度值和一个或多个坐标，反射区域反射由感测***发出的信号。该***还包括AV的感知***，用于识别多个返回点中的每一个的速度值和一个或多个坐标与物理对象的运动的关联，该运动是刚性体的平移运动和旋转运动的组合；以及使得AV的行驶路径根据物理对象的运动确定。
在另一个实施方式中，公开了一种非暂时性计算机可读介质，其上存储有指令，该指令当由计算设备执行时，使得计算设备：通过自主载具(AV)的感测***获得多个返回点，每个返回点包括反射区域的速度值和一个或多个坐标，反射区域反射由感测***发出的信号；识别多个返回点中的每一个的速度值和一个或多个坐标与物理对象的运动的关联，该运动是刚性体的平移运动和旋转运动的组合；以及使得AV的行驶路径根据物理对象的运动确定。
具体实施方式
自主载具可以采用光检测和测距(lidar)技术来检测到环境中各种对象的距离，有时还可以检测这些对象的速度。lidar发射行进到对象的一个或多个激光信号(脉冲)，然后检测从对象反射的到达信号。通过确定信号发射与反射波的到达之间的时间延迟，飞行时间(ToF)lidar可以确定到对象的距离。典型的lidar在多个方向上发射信号，以获得外部环境的广阔视场。例如，lidar设备可以通过扫描来收集用时间戳标识的一系列连续帧来覆盖完整360度视图。结果，空间中的每个扇区以时间增量Δτ进行感测，该时间增量由lidar的扫描速度的角速度确定。如本文所用，“帧”或“感测帧”可以指通过lidar的扫描获得的环境的完整360度视图，或者可替代地，可以指任何更小的扇区，例如1度、5度、10度或在扫描周期(旋转)的一小部分上或在设计为覆盖有限角度的扫描上获得的任何其他角度。
每个帧可以包括与来自环境中各种对象的反射相对应的多个返回点(或简称为“点”)。每个点可以与到相应对象的距离相关联，或者更具体地，与到负责相应返回点的对象的反射表面(反射区域)的元素的距离相关联。点的集合可以被渲染或以其他方式与帧相关联，有时称为“点云”。点云可以包括来自多个对象的返回。通常，先验地不知道给定帧内有多少对象。单个对象，诸如另一个载具、路标、行人等，可以生成多个返回点。例如，10度的帧可以包括来自一个或多个路标，位于距离lidar设备(其可以安装在自主载具上)各个距离并以不同速率在不同方向上移动的多个载具，穿过马路、沿着人行道行走或站在路边的行人，以及许多其他对象的返回(return)。将给定的点云分割(其可以由自主载具的感知***执行)到对应于不同对象的簇中，在自主驾驶应用中可能很有用。靠近的点(例如，由小的角距离分开并且对应于来自类似距离的反射)仍然可以属于不同的对象。例如，交通标志以及靠近该标志站立的行人可以产生接近的返回点。类似地，在相邻车道上沿着自行车行驶的汽车可以产生接近的返回点。
可以使用各种分割方法以及点云映射(诸如迭代最近点(ICP)映射)来执行对应于不同对象的点的识别。例如，点云映射可以涉及形成假设，其中由时间戳标识的帧τ的所选择的点的集合(例如，簇)被映射到帧τ+Δτ的点的另一集合上，假设两个集合对应于同一对象(例如汽车或行人)。
ToF lidar通常用于测距。ToF还可以通过快速连续发射两个或多个信号(作为不同感测帧的一部分)并当表面在每个附加帧之间移动时，检测反射表面的位置，来确定返回点的速度(运动的速率和方向)。连续信号之间的间隔可以足够短，使得对象相对于环境中的其他对象不会明显改变其位置(在连续帧之间)，但仍然足够长以允许lidar准确检测对象的位置的变化。然而，ToF lidar设备通常无法基于单个感测帧确定对象的速度。
本公开的各方面以及实施方式实现了使用多普勒辅助速度感测的速度估计和对象跟踪的方法，用于存在于自主载具的环境中的各种移动对象。具体地，相干lidar利用编码到发送的信号中并由发射的电磁波携带到目标并返回的相位信息，并提供标准ToFlidar技术中不可用的附加功能。相干lidar检测由反射表面的运动引起的反射波的频率(以及伴随的相位)的变化，这种现象称为多普勒效应。反射波的频率/相位对平行于波传播方向的反射表面Vr的速度的分量敏感，这里称为“径向”或“纵向”速度。相干lidar除了获得距离信息外，还允许将径向速度与点云的返回点相关联(径向测速)。如以下更详细描述的，该附加信息通过确定由对象执行的(平移和旋转)运动的特性来实现各种对象的速度估计和跟踪。特别地，刚性体(body)(诸如汽车、卡车、飞机等的主体)的运动通常受到以下条件的约束：主体的任意选择的两个点之间的距离在其运动的过程中保持固定(恒定)。因此，刚性体的运动可以描述为平移运动和旋转运动的组合来，平移运动可以用平移矢量速度
(以下称为“速度”)来描述，旋转运动可以用角速度/>
(以下简称“角速度”)来描述。在最一般的情况下，两个矢量速度总计六个值，例如，速度的三个分量/>
以及角速度的三个分量/>
在笛卡尔坐标系中(或者，可替代地，柱形坐标系、球形坐标系或任何其他坐标系)。如下所述，关于速度的信息可以从AV的感测***的单个帧中确定。该帧可以包括返回点网格(对应于不同感测信号的反射)，每个返回点(“点”)P包括已知坐标(例如，从lidar发送器的方向数据以及从反射的感测信号的ToF提取的距离数据已知)以及对应于每个点P的反射表面的径向速度分量(这里称为“径向速度”)Vr(P)(例如，由相干lidar传感器从反射信号的多普勒频率/相位移位中提取)。通过将多个点的坐标和径向速度拟合到由/>
以及/>
参数化的刚性体方程，处理设备(例如，执行AV的数据处理***和/或AV的感知***的处理设备)可以例如使用各种拟合算法，基于单个帧确定速度和角速度的部分或大部分分量的值。
在某些情况下，对象可以执行这种类型的运动，即不向对象的各个区域施加径向速度(或很小的径向速度)。例如，汽车可能在横向方向上移动，或者车轮在垂直于传感器***视线的平面内旋转(spin)。在这种情况下，可以使用对应于发送器在不同(例如，较晚或较早)时间实例的其他周期(旋转)的一个或多个附加感测帧来增强全速度重建，以能够检测对象的横向位移。
图1A是示出根据本公开的一些实施方式的使用多普勒辅助对象识别和跟踪的示例自主载具(AV)100的组件的图。图1A示出了示例自主载具的操作。自主载具可以包括机动载具(汽车、卡车、公共汽车、摩托车、全地形载具、休闲载具、任何专用农用或建筑载具等)、航空器(飞机、直升机、无人机等)、海军载具(轮船、小船、游艇、潜艇等)、或任何其他能够以自动驾驶模式(无需人工输入或减少人工输入)操作的自行式(self-propelled)载具(例如，人行道送货机器人载具))。
行驶环境110可以包括位于AV以外的任何对象(动画或非动画)，诸如道路、建筑物、树木、灌木丛、人行道、桥梁、山脉、其他载具、行人等。行驶环境110可以是城市、郊区、乡村等。在一些实施方式中，行驶环境110可以是越野环境(例如农田或农业用地)。在一些实施方式中，行驶环境可以是室内环境，例如，工业厂房环境、货运仓库、建筑物的危险区等。在一些实施方式中，行驶环境110可以是基本平坦的，各种对象平行于表面(例如，平行于地球表面)移动。在其他实施方式中，行驶环境可以是三维的并且可以包括能够沿着所有三个方向移动的对象(例如，气球、叶子等)。在下文中，术语“行驶环境”应当被理解为包括能够发生自行式载具的自主运动的所有环境。例如，“行驶环境”可以包括飞行器的任何可能的飞行环境或海军舰艇的海洋环境。行驶环境110的对象可以位于距AV的任何距离处，从几英尺(或更少)的近距离到几英里(或更多)。
示例AV 100可以包括感测***120。感测***120可以包括各种电磁(例如，光学)和非电磁(例如，声学)感测子***和/或设备。贯穿本公开所引用的术语“光学”和“光”应被理解为涵盖可用于对象感测(例如距离感测、速度感测、加速度感测、旋转运动感测等)以促进自主驾驶的任何电磁辐射(波)。例如，“光学”感测可以利用人眼可见光的范围(例如，380至700纳米波长范围)、UV范围(低于380纳米)、红外范围(高于700纳米)、无线电频率范围(高于1m)等。在实施方式中，“光学”和“光”可以包括任何其他合适的电磁频谱范围。
感测***120可以包括雷达单元126，其可以是利用无线电或微波频率信号来感测AV 100的行驶环境110内的对象的任何***。雷达单元可以被配置为感测对象的空间位置(包括它们的空间维度)以及它们的速度(例如，使用多普勒频移技术)两者。在下文中，“速度(velocity)”是指对象移动多快(对象的速率(speed))以及对象运动的方向两者。术语“角速度”是指对象围绕某个轴旋转多快以及该旋转轴的方向。例如，左(右)转的汽车具有指向上(下)的旋转轴，并且角速度的值等于旋转角度的变化率(例如，以弧度每秒测量)。
感测***120可以包括一个或多个lidar(激光雷达)传感器122(例如，lidar测距仪)，其可以是能够确定到行驶环境110中的对象的距离(例如，使用ToF技术)的基于激光的单元。lidar传感器可以利用比无线电波的波长更短的电磁波的波长，因此与雷达单元相比，可以提供更高的空间分辨率以及灵敏度。lidar传感器可以包括相干lidar传感器，诸如频率调制的连续波(FMCW)lidar传感器。lidar传感器可以使用光学外差检测以用于速度确定。在一些实施方式中，ToF以及相干lidar传感器的功能被组合成能够确定到反射对象的距离和反射对象的径向速度两者的单个(例如，混合)单元。这样的混合单元可以被配置为以非相干感测模式(ToF模式)和/或相干感测模式(例如，使用外差检测的模式)或同时以两种模式操作。在一些实施方式中，多个lidar传感器122单元可以安装在AV上，例如，在空间上分开的不同位置处，以提供关于反射对象的速度的横向分量的附加信息，如下文更详细描述的。
lidar传感器122可以包括产生并发射信号的一个或多个激光源以及从对象反射回的信号的一个或多个检测器。lidar传感器122可以包括频谱滤波器以滤除具有与发射的信号的波长(频率)不同的波长(频率)的杂散电磁波。在一些实施方式中，lidar传感器122可以包括定向滤波器(例如，孔径、衍射光栅等)以滤除可以沿着与发射的信号的回射方向不同的方向到达检测器的电磁波。lidar传感器122可以使用各种其他光学组件(透镜、反射镜、光栅、光学薄膜、干涉仪、光谱仪、本地振荡器等)来增强传感器的感测能力。
在一些实施方式中，lidar传感器122可以扫描360度，诸如在水平方向上。在一些实施方式中，lidar传感器122能够沿着水平和垂直方向两者进行空间扫描。在一些实施方式中，视场可以在垂直方向上达到90度(例如，地平线以上的区域的至少一部分通过lidar信号进行扫描)。在一些实施方式中，视场可以是完整的球体(由两个半球组成)，例如，在航空应用中使用多个lidar传感器。为简洁起见，当在本公开中一般提及“lidar技术”、“lidar感测”、“lidar数据”以及“lidar”时，此类参考应理解为也包括通常在近红外波长下操作的其他感测技术，但可能包括在其他波长下操作的感测技术。
感测***120还可以包括一个或多个相机129以捕获行驶环境110的图像。图像可以是行驶环境110(或行驶环境110的一部分)到相机的投影平面(平坦的或非平坦的，例如鱼眼)上的二维投影。感测***120的相机129中的一些可以是配置为捕获行驶环境110的连续(或准连续)图像流的摄像机。在一些实施方式中，感测***120还可以包括一个或多个声纳128，其可以是超声声纳。
感测***120获得的感测数据可以由AV 100的数据处理***130处理。例如，数据处理***120可以包括感知***132。感知***132可以被配置为检测和跟踪行驶环境110中的对象并识别检测到的对象。例如，感知***132可以分析由相机129捕获的图像并且能够检测交通灯信号、道路标志、道路布局(例如，车道的边界、交叉路口的拓扑结构、停车位的指定等)、障碍物的存在等。感知***132可以进一步接收lidar感测数据(相干多普勒数据和非相干ToF数据)以确定到环境110中的各种对象的距离以及这些对象的速度(径向以及在一些实施方式中横向(transverse)，如下所述)。在一些实施方式中，感知***132可以结合由相机129捕获的数据使用lidar数据。在一个示例中，相机129可以检测部分阻塞交通车道的石头的图像。使用来自相机129的数据，感知***132能够确定石头的角大小，但不能确定石头的线性大小。使用lidar数据，感知***132可以确定从石头到AV的距离，因此，通过将距离信息与石头的角度大小相结合，感知***132也可以确定石头的线性尺寸。
在另一个实施方式中，使用lidar数据，感知***132可以确定检测到的对象距AV有多远并且还可以确定对象的速度沿AV的运动方向的分量。此外，使用由相机获得的一系列快速图像，感知***132还可以确定检测的对象在垂直于AV的运动方向的方向上的横向(lateral)速度。在一些实施方式中，横向速度可以仅从lidar数据来确定，例如，通过识别对象的边缘(使用水平扫描)并且还确定对象的边缘在横向方向上移动多快。感知***132可以具有速度估计模块(VEM)133。VEM 133可以从感测***120接收一个或多个传感器数据帧。传感器帧中的每一个可以包括多个点。每个点可对应于反射表面，感测***120(例如，通过lidar传感器122等)发射的信号从该反射表面被反射。反射表面的类型和/或性质可能是未知的。每个点可以与各种数据相关联，各种数据诸如帧的时间戳、反射表面的坐标、反射表面的径向速度、反射信号的强度等。在一种实施方式中，坐标可以是球形(或圆柱形)坐标。例如，坐标可以包括径向距离、极角(到相应反射表面的方向与竖直方向或水平面所成的角度)以及方位角(指示水平面内的方向的角度)。径向距离可以从lidar数据确定，而角度可以独立地从同步器数据、时钟数据获知，例如，基于水平面内的已知扫描频率。在一些实施方式中，可以使用多普勒辅助感测技术由作为相干lidar传感器(例如，FMCW传感器)操作的一个或多个lidar传感器122向VEM 133提供速度数据。VEM 133可以使用一种或多种算法，如下面更详细地描述的，来重构各种点的集合的速度分布。重构的速度可以被感知***132用于对象的高效且可靠的检测和跟踪，如下文更详细描述的。
感知***132可以进一步从GPS收发器(未示出)接收信息，该收发器被配置为获得关于AV相对于地球的位置的信息。GPS数据处理模块134可以结合感测数据使用GPS数据来帮助准确地确定AV相对于行驶环境110的固定对象的位置，诸如道路、车道边界、交叉路口、人行道、人行横道、道路标志、周围建筑物等，其位置可以由地图信息135提供。在一些实施方式中，数据处理***130可以接收非电磁数据，诸如声纳数据(例如，超声传感器数据)、温度传感器数据、压力传感器数据、气象数据(例如，风速和风向、降水数据)等。
数据处理***130还可包括环境监视与预测组件136，其可监视行驶环境110如何随时间演变，例如，通过跟踪动画对象(相对于地球)的位置和速度。在一些实施方式中，环境监视与预测组件136可以跟踪由于AV相对于环境的运动而导致的环境的变化外观(changing appearance)。在一些实施方式中，环境监视与预测组件136可以做出关于行驶环境110的各种动画对象将如何在预测时间范围(prediction time horizon)内定位的预测。预测可以基于动画对象的当前位置和速度以及动画对象在特定(例如，预定)时间段期间的跟踪动态。例如，基于对象1的存储数据指示对象1在先前3秒时间段期间的加速运动，环境监视与预测组件136可以断定对象1正在从停止标志或红色交通灯信号恢复其运动。因此，环境监视与预测组件136可以在给定道路布局和其他载具的存在的情况下预测对象1可能在接下来的3秒或5秒的运动中位于何处。作为另一个示例，基于对象2的存储数据指示对象2在先前2秒时间段期间的减速运动，环境监视与预测组件136可以断定对象2正停在停车标志处或红色交通灯信号处。因此，环境监视与预测组件136可以预测对象2可能在接下来的1或3秒内位于何处。环境监视与预测组件136可以对其预测的准确性进行周期性检查，并基于从感测***120获得的新数据修改预测。
由感知***132、GPS数据处理模块134和环境监视与预测组件136生成的数据可以由自主驾驶***使用，诸如AV控制***(AVCS)140。AVCS 140可以包括控制AV在各种行驶情况和环境中的行为的一种或多种算法。例如，AVCS 140可以包括用于确定到目的地点的全球行驶路线的导航***。AVCS 140还可以包括用于选择通过直接行驶环境的特定路径的行驶路径选择***，其可以包括选择交通车道、协商交通拥堵、选择进行掉头的地点、选择用于停车操纵的轨迹等。AVCS 140还可以包括避障***，用于安全避开AV的行驶环境中的各种障碍物(石头、失速的载具、乱穿马路的行人等)。避障***可以被配置为评估障碍物的大小以及障碍物的轨迹(如果障碍物是活跃的(animated))并且选择用于避开障碍物的最佳行驶策略(例如，制动、转向、加速等)。
AVCS 140的算法和模块可以为载具的各种***和组件生成指令，各种***和组件诸如动力***和转向(powertrain and steering)150、载具电子装置160、信令170和图1中未明确示出的其他***和组件。动力***和转向150可以包括发动机(内燃发动机、电动发动机等)、变速器、差速器、轮轴、车轮、转向机构和其他***。载具电子装置160可以包括机载计算机、发动机管理、点火、通信***、汽车计算机、远程信息处理、车载娱乐***、以及其他***和组件。信令170可以包括高低前灯、停车灯、转向灯和倒车灯、喇叭和警报器、内部照明***、仪表板通知***、乘客通知***、无线电和无线网络传输***等。AVCS 140输出的一些指令可以直接传递给动力***和转向150(或信令170)，而AVCS 140输出的其他指令首先传递给载具电子装置160，其生成命令给动力***和转向150和/或信令170。
在一个示例中，AVCS 140可以确定要通过使载具减速直到达到安全速度来避开由数据处理***130识别的障碍物，随后驾驶载具绕过障碍物。AVCS 140可以向动力***和转向150输出指令(直接或经由载具电子装置160)，以1)通过修改节气门设置来减少流向发动机的燃料流量，以降低发动机每分钟转数，2)经由自动变速器将动力传动***降档到较低档位，3)接合制动单元以降低(同时与发动机和变速器协同作用)载具的速度，直到达到安全速度，以及4)使用动力转向机构执行转向操纵，直到安全绕过障碍物。随后，AVCS 140可以向动力***和转向150输出指令以恢复载具的先前的速度设置。
图1B是示出根据本公开的一些实施方式的使用多普勒辅助对象识别和跟踪的图1A的自主载具的感知***的示例架构的图。在一种实施方式中，图1B中所示的感知***可以是图1A的感知***132。到感知***132的输入可以是由感测***120获得的数据，包括由lidar传感器122获得的距离数据以及获得的径向速度数据。例如，数据获取模块180可以将每个(返回)点与相应反射区域的坐标和径向速度相关联。各个点可以对应于不同的帧，每个帧具有时间戳。在一些实施方式中，为了解决(account for)围绕视场顺序地输出感测信号的卷帘快门，数据获取模块180可以通过用给定帧内的时间校正来修改相应帧的全局参考时间戳，来将单独的时间戳与每个点相关联。数据获取模块180的输出可以是对应于感测帧或这样的帧的一部分的点的点云181。点云181可以被输入到分割模块182中，其中点云181的各个点可以被分组成对应于不同对象的簇(cluster)183。可以使用多种方法执行分割。可以基于空间中点的接近度、各个点的径向速度的接近度或两者来对簇进行分组。在一些实施方式中，分割可以使用能够映射两个不同的感测帧的点的各种映射算法(诸如ICP)。分割可能涉及假设的形成和验证；例如，某个簇对应于单个对象的假设可以基于簇中点的测量(径向)速度的分布、不同感测帧之间的簇的演化和/或其他方法和技术来确认或证伪。确认的假设(例如，输出簇183)可以被提供给簇跟踪模块184。簇跟踪模块184可以执行对应于所有或至少一些识别的簇183的对象的速度估计。在一些实施方式中，速度估计可以由VEM 133执行，如下文更详细地公开的。具体地，VEM 133可以使用由一个或多个lidar传感器获得的速度数据来识别(例如，估计，其准确度由距离和速度测量的精度确定)对应于所识别的簇183的对象的平移
以及旋转/>
速度。在一些实施方式中，/>
以及/>
的识别可以基于单个感测帧来执行。在一些实施方式中，/>
以及/>
的完全识别可以使用多个感测帧来执行。在一些实施方式中，速度估计可以用于跟踪对象的运动，使用来自不同感测帧(具有不同时间戳的感测帧)的点簇。
感知***132也可以使用簇关联模块186来进行对象跟踪。簇关联模块186可以将属于不同感测帧的簇识别为与同一对象相关联，以便于跟踪对象的运动作为时间的函数。使用速度估计以及簇关联，由簇跟踪模块184识别的对象可以由对象分类模块188分类为特定类型(类别)，诸如汽车、卡车、公共汽车、摩托车、骑自行车的人、行人、静止对象等。可以使用跟踪簇的各种特征执行对象分类，诸如大小、位置、速度(旋转和平移两者)、运动模式(例如，对象停止的频率、对象加速/减速的速度)、与其他对象相关的运动等。基于对象分类模块188对各种对象的分类以及对象的先前跟踪的运动(通过簇跟踪模块184)，行为预测模块190可以预报(forecast)所识别的对象如何可能在某个时间范围内移动，例如，卡车是否有可能在十字路口前停车、穿过十字路口而不停车、在十字路口转弯等。行为预测模块190还可以预报所识别的对象的速度以及加速度/减速度、对象对变化的交通和道路状况的响应等。来自行为预测模块190的信息(例如，预测)可以被提供给AVCS 140以实现行驶路径选择，如上文关于图1A所述。
图2是根据本公开的一些实施方式的作为自主载具的感知***的一部分的、利用速度估计的多普勒辅助对象识别和跟踪设置的图示200。图2中描绘了接近十字路口的AV202(其可以是AV 100或任何其他AV)。AV 202具有传感器206，其可以是lidar，诸如相干lidar、FMCW lidar、混合相干/ToF lidar、相干和非相干lidar的组合等，或者除了范围(距离)信息之外还允许感测径向速度信息的任何其他设备。传感器206扫描AV 202的行驶环境。具体地，传感器206可以为每个感测帧感测多个返回点。感测帧可以按时间增量Δτ分开。时间增量是指发射到同一方向(或从同一方向返回)的信号之间的时间差，因为可以在略有不同的时间用信号探测不同的方向。更具体地说，Δτ可以是传感器(例如，lidar发送器)周期(cycle)的持续时间(例如，同一区域的再次的连续扫描之间的时段(period))，例如，沿着360度水平视图的N个点，使得可以用超前/滞后Δτ/N的时间探测任意两个相邻感测方向。
对象210(例如，汽车、卡车、公共汽车、摩托车或任何其他对象)可能正在接近十字路口并左转，如图2所描绘的。示出了对应于在时间τ和τ+Δτ获取的两个连续lidar帧的AV的两个连续位置，例如，204(1)和204(2)。类似地，两个帧τ和τ+Δτ的对象210的位置分别被示出为212(1)和212(2)。
应当理解，为了说明的目的，图2中所示的AV 202和对象210在两个连续帧之间的位移被夸大了，并且实际上，各种对象可以随时间增量Δτ改变它们的位置，但没有所描绘的那么明显。例如，当对象210完成图2中描绘的左转弯时，传感器206可能会获得许多帧。
对象210执行平移运动和旋转运动的组合。例如，对象210的某个参考点平移了矢量
并且对象210围绕该参考点旋转了角度Δφ。在平坦的行驶环境中，通过单分量值Δφ来描述旋转运动就会是足够的，但在非平坦的3D(特别是飞行或航海)环境中，旋转角度可以是其三个分量分别描述俯仰角、偏航角和滚转角的矢量/>
对象210的角速度表征对象210旋转(转向)的速率(rate)，/>
参考点的线速度类似地确定对象210平移的速率，/>
假定对象210是刚性的，了解一些参考点O(具有坐标/>
)的角速度/>
以及线速度/>
使得能够确定其他点的速度，如下面更详细地描述的。
如图2中所示，在位置212(1)处，对象210可以反射由传感器206输出的多个信号(由实线指示)并生成第一帧的多个返回点(由黑色圆圈表示)。返回点应被理解为由感知***132基于由作为感测***120的一部分的传感器206执行的测量而生成的数据条目(例如，由输出信号的角方向或以任何其他方式索引)。每个返回点可以包括：(1)到实际物理反射区域的距离r，以及(2)与第j点相关联的、等于速度
的分量的径向速度Vr(j)。径向速度是矢量速度沿着朝向(或远离)传感器206的方向(由单位矢量/>
描述)的分量：
在一些实施方式中，只有一些返回点可以包括径向速度值。例如，虽然可以对每个返回点执行ToF距离测量，但只有一些点(例如，每五分之一、十分之一等)可以用相干lidar探测并包括速度数据。径向速度Vr(j)是在AV 202的参考帧中测量的速度。因此，因为在一般情况下AV 202也在移动，所以测量的速度Vr(j)可能不同于相应物理反射点相对于地面的速度，然后其可以通过将在AV 202帧中测量的对象210的速度(以矢量形式)添加到AV 202相对于地面的速度(其可以独立地获知，例如，从速度计/里程计数据、地图/GPS数据等)来确定。在位置212(2)，对象220可以类似地反映由传感器206输出的新的信号集合(由虚线指示)并且生成第二帧的多个返回点。分割模块182可以执行各种分割以及点云映射算法以输出对应于行驶环境中的各种对象的点簇。
图3是根据本公开的一些实施方式的作为自主载具的感知***的一部分的速度估计设置的图示300。描绘了对象310(例如，汽车、卡车等)，其以一定的平移速度
移动(例如，向前移动)同时以角速度/>
旋转(例如，左转)。还示出了其上安装有传感器306的AV 302的一部分。传感器306可以包括能够发送和接收探测外部(相对于AV 302)环境的感测(例如，激光、雷达等)信号的扫描发送器/接收器308。对应于发送器308的单个周期的一个感测帧可以从对象310的各个反射区域(用黑色圆圈描绘)产生多个返回点。
感测信号320可由发送器/接收器308的发送电路发射，从对象310的反射区域322反射，沿相同路径返回并由发送器/接收器308的接收电路接收。感测***120可以将返回点330与感测信号320和/或反射区域322相关联。返回点330可以包括可以从感测信号320中提取的各种数据，诸如坐标(其可以在任何适当的坐标系中，例如笛卡尔坐标系
球坐标系/>
圆柱坐标系/>
或任何其他坐标系；坐标系的原点可以与发送器/接收器308相关联，如图所示。返回点还可以包括这样的数据，如径向速度Vr、与感测信号320相关联的时间戳τ(例如，信号发射或返回的时间)、返回信号的强度、以及其他信息，诸如发射和/或接收信号的偏振等。虽然图3中仅描绘了与返回点330相关联的数据，但是与用黑色圆圈描绘的与反射区域相关联的其他返回点可以包括相同或相似类型的信息。因为对象310可以旋转，所以反射区域中的每一个的速度，
可以彼此不同。相应地，检测到的与每个返回点相关联的径向速度Vr(1)、Vr(2)、Vr(3)、Vr(4)…，同样可以彼此不同。VEM 133可以使用检测到的径向速度的差异以用于估计对象310的完整运动。
具体地，如果对象310是刚性体，则对象的具有半径矢量
的元素的速度可以从刚性体方程得到：
其中
是某个参考点的半径矢量。参考点可以是对象的任何元素，例如与返回点(3)或任何其他返回点相关联的元素。参考点O的选择可以是任意的，因为对于任何其他参考点O’都存在相同的刚性体方程，如
其中
是另一个参考点O'的线速度。虽然参考点改变时线速度改变，但角速度与参考点的选择无关。这种独立性提供了附加的灵活性以基于便利性选择参考点(例如，靠近由感测***120检测到的点簇的中心)。
图4是根据本公开的一些实施方式的可用于由自主载具的感知***进行的对象运动的速度估计的一种可能的几何表示400的示意图。示意性地描绘了具有平移速度
以及角速度/>
的移动以及旋转对象410(例如，汽车、飞机、摩托车的主体等)。所示的是可以与AV(未示出)相关联的固定坐标系x,y,z，例如，与具有相对于AV的固定方向的任何轴相关联。可以在返回点的簇中(以某种任意方式)选择参考点/>
可以独立地为任何返回点的簇选择参考点/>
例如，可以使用一个参考点(例如，簇中间的某个点)来分析对应于相对于AV正前方的卡车的第一点簇，而对应于位于AV的左侧的汽车的第二点簇可以使用完全不同的参考点/>
进行分析。
第二坐标系可以与参考点相关联，例如坐标系r,s,t，其中第一轴r平行于半径矢量
的方向，轴t垂直于轴r并平行于水平面xy，并且轴s垂直于第一轴和第二轴两者。根据半径矢量/>
的极角θ以及方位角φ，第二坐标系的轴的方向(单位矢量)是
由例如lidar传感器检测到的速度的径向分量(“径向速度”)是速度
与沿返回点的半径矢量方向的单位矢量/>
的点积：/>
其中R是半径矢量的大小(magnitude)(例如，从传感器到返回点的距离)。根据刚性体方程，径向速度为
假设在坐标系r,s,t中，半径矢量
以及角速度/>
叉积为/>
计算与使用第二坐标系(如/>
)表示的半径矢量/>
的叉积的点积，径向速度可以表示为
对应于单个(刚性)对象的N个点的簇，j＝1，2，3…N，可以具有N个已知半径矢量
以及N个已知径向速度Vr(j)。因此，VEM 133可以形成N个线性方程，
对于三个未知量，诸如平移速度的径向分量V0r以及两个组合V0s-R0Ωt和V0t+R0Ωs，每个组合都由平移速度的一个横向分量以及角速度的一个横向分量构成。
因此，最少三个返回点能够足以确定表征刚性体的速度分布的三个自变量X1＝V0r，X2＝V0s-R0Ωt，以及X3＝V0t+R0Ωs。如果多于三个返回点可用，则线性方程组是超定的。因此，从N个线性方程组中选择(例如，随机地)任何三个方程将确定通常不同于使用一些其他不同集合获得的变量的变量集合X1,X2,X3。在各种实施方式中，可以使用不同的方案来提高使用超定方程组的速度确定的准确性。在一些实施方式中，变量X1,X2,X3可以通过对从不同方程集合(例如，随机选择的)获得的各种值X1,X2,X3进行平均来确定，直到可能集合的总数为N(N-1)(N-2)/6。在一些实施方式中，基于各种已知的过滤算法，可以丢弃X1,X2,X3的异常值(outlier)集合。
在一些实施方式中，变量X1,X2,X3可以使用回归分析方法来确定，诸如最小二乘误差法。例如，损失函数可以定义为误差平方和，
在测量的径向速度Vr(j)以及评估的径向速度Vr(X1,X2,X3)之间；例如，Vr(X1,X2,X3)＝(rX1+sX2+tX3)/R。在这个方案中，不同的返回点j的权重相同，但在其他实施方式中，各个点j可以不同地加权。例如，距离传感器较近的点(距离R较小)可以比距离传感器较远的点加权更多。
即使了解径向速度能够找到平移速度和角速度的六个分量的三个独立表示(V0r,V0s-R0Ωt,V0t+R0Ωs)，在各种实施方式中，确定可以更加完整。例如，根据特定上下文中运动的平面二维性质(例如，与在平坦表面或已知概况(profile)的表面的道路上行驶有关)，可以独立地知道一些变量。例如，可以知道平移速度的垂直分量V0s为零，或者基于已知的(例如，来自地图数据的)地面地形概况毫无疑义地与径向速度V0r相关。在这种情况下，变量X2的确定毫无疑义地识别了围绕水平轴t的旋转速率Ωt。这种旋转通常与各种载具(汽车、自行车、摩托车等等)的车轮有关。从车轮不同点的径向速度的概况可以进一步验证旋转车轮的转速Ωt。例如，车轮在车轮与道路接触点处的车轮速度(相对于地面)为零(包括径向速度分量Vr)。另一方面，车轮在最高点的速度是车轮的轮轴速度(其也是车辆的车身的速度)的两倍。借助这种补充速度概况信息，感知***132不仅可以验证速度估计的结果，还可以将对象识别为在特定环境中常见的特定类型的对象(例如，车轮)。
组合中水平速度V0t与角速度Ωs的垂直分量的各种消歧方案X3＝V0t+R0Ωs可用于自主驾驶应用。这两个组件进入相同组合的事实意味着载具在向右(向左)方向(相对于AV)的平移运动可能会被左(右)转弯的载具混淆。相反，左(右)转弯可以被向右(向左)的平移运动掩盖。在某些情况下，可以使用附加信息来执行两种类型的运动的消歧。例如，在地图辅助消歧中，可以知道道路又窄又直，因此可以假设(作为当前假设)组合X3＝V0t+R0Ωs来自平移速度V0t，而角速度可能为零，Ωs＝0，或者很小。在各种实施方式中，这样的假设可以仅仅是要用后续感测帧来验证的假设之一。其他假设可能包括观察到的载具突然掉头或经历失去控制，伴随着在道路上旋转。作为另一个示例，在地图辅助消歧中，在已知曲率半径RCUR的曲线道路上行驶的载具的旋转角速度Ωs可以与载具的速率(平移速度V_0的绝对值)相关联，如V0＝ΩsRCUR，而速率V0可以基于视角与平移速度V0r的径向分量几何地相关，该视角可以从AV(以及因此其感测***)相对于弯曲道路的已知定位获得。
另一种消歧组合X3＝V0t+R0Ωs中的潜在分量——来自角速度Ωs的垂直分量的水平速度V0t的过程(以及，类似地，来自组合X2＝V0s-R0Ωt中的角速度Ωt的分量的速度V0s，例如在自主飞行环境中可能是相关的)是利用附加的感测帧。在第一帧之后的时间Δτ感测的后续感测帧可以指示反射表面的新位置。例如，反射表面的新(后续)位置以及旧位置之间的对应关系的识别可以由分割模块182执行。可以预期这些新位置在第一帧的时间和第二帧的时间之间的时间间隔内以刚性体方程所预测的(几乎)恒定速度移动。预测位置与反射区域的实际位置的比较可以用于变量的消歧和提高速度估计的准确性两者。具体而言，根据刚性体方程，在时间Δτ之后，第一帧的点
预期与新位置(在相同的第二坐标系中)相关联：
在组件中，这相当于(对于每个点j)，
rNEW＝r+(V0r+Ωst-Ωts)Δτ,
sNEW＝s+(V0s+Ωtr-Ωtt)Δτ,
tNEW＝t+(V0s+Ωrs-Ωsr)Δτ。
因此，第二帧可以提供多达3N个附加的线性方程，使得可以用于确定六个独立变量(V0r,V0s,V0t,Ωr,Ωs,Ωt)的方程的数量达到4N。借助于如上所述的损失函数或其他统计分析方法，所提供数据的超定特征可以用于更精确的速度确定。
应该理解，上面对用于用刚性体方程拟合速度数据的特定坐标轴和变量的描述仅仅是为了说明的目的，并且许多替代的表示是可用的。例如，代替笛卡儿坐标r,s,t，圆柱(或球形)坐标系可以用于第二坐标系。在一些实施方式中，不使用第二坐标系，所有坐标和速度分量都参考第一坐标系。尽管在上面的描述中，角速度是经由沿着正交轴的三个分量来引用的，但是在一些实施方式中，情况不必如此。例如，角速度
可以用欧拉角来表征，或者用唯一地识别矢量角速度/>
的任何其他合适的选择来表征。
在一些实施方式中，用于潜在变量的消歧的后续坐标可以至少部分地使用一个或多个相机129来获得。例如，在要执行横向方向上的运动和围绕垂直轴的旋转之间的消歧的情况下，对对象的横向可见维度敏感的相机可以提供缺失的信息。实际上，对象的纯平移运动导致对象的图像的相对边缘在相同方向上移动(例如，在两个连续的相机图像之间，对象的两个边缘向右移动进行右移)，而围绕垂直轴的纯旋转运动导致相对边缘在相反方向上移动。因此，在不同时间获取的两个(或更多个)相机图像能够对各种潜在变量消歧(基于可见对象的相对边缘的相对运动，并且进一步考虑到至对象的方向和对象的横向速度之间的角度)，各种潜在变量诸如V0t和Ωs(和/或在3D运动的情况下的变量V0s和Ωt)。此外，相机图像可以使得能够确定径向角速度Ωr，这不是径向测速仪数据直接揭示的。如以上方程所示，第二帧消歧还能够获得角速度Ωr的径向分量。
图5是根据本公开的一些实施方式的通过来自附加感测帧的感测数据来对速度估计的增强500的图示。描绘了以平移速度
水平移动(例如，沿着t轴)，同时以角速度/>
围绕径向轴r旋转的对象510(例如，汽车、卡车等)。如图所示，角速度是由对象510行进的不平坦地形引起的。如上所述，单帧(例如，第一帧512)径向速度计测量相对于角速度Ωr可以是不可知的，而横向速度V0t可以要求根据角速度分量Ωs来消歧。对应于对象510的新位置511的第二帧513可以由安装在AV 502上的传感器506获得。获得第二帧513的传感器506可以是与获得第一帧512的传感器相同的传感器，例如lidar传感器122。可替代地或附加地，第二帧513可以由相机119获得。如上所述，捕获的图像可以指示对象围绕径向轴的旋转角度，并且可以进一步将横向速度V0t和角速度Ωs消歧。
在一些实施方式中，速度数据可以用于跟踪行驶环境中所识别对象的运动。更具体地，可以经由一系列帧来执行跟踪，每个新帧具有新的时间戳。对于具有被跟踪的恒定数量N个返回点的簇，除了其他数据之外，VEM 133可以接收反射区域的3N个坐标和N个新的径向速度值。(在某些平面环境下，可以接收2N个二维坐标和N个径向速度。)这样的附加数据可以被VEM 133用来动态地跟踪刚性体的与时间相关的速度
和角速度/>
以对象的平移坐标/>
(例如，与对象相关联的某个参考点的坐标)和角坐标/>
(体相对于参考点的旋转的角度)。因此，在一个实施方式中，对象在时间τ的状态可以由状态矢量来表征，诸如
在d维空间中，状态矢量可以具有5d-4个分量。例如，汽车在平坦表面(或具有已知地形的表面)上的平面(二维)运动可以用6个分量来表征：半径矢量
的两个分量(其可以与对象的旋转中心/>
的半径矢量相同或不同)、一个旋转角度φ、线速度/>
的两个分量以及一个角速度/>
类似地，对象(例如飞机)的完整三维运动可以用11个分量来表征：半径矢量/>
的三个分量，描述对象的方位的单位矢量/>
的两个分量，线速度/>
的三个分量，以及角速度/>
的三个分量。基于状态/>
可以从差分方程预测随后时刻/>
的状态。
其中，
是状态转移矩阵，/>
是考虑***的线性和角加速度的控制输入矩阵，
是相应的矢量，/>
描述对象运动的噪声(例如高斯噪声)。状态转移矩阵/>
和控制输入矩阵/>
可以体现各种运动方程，诸如对于平移运动，
并且类似地，对于旋转运动
数量
和/>
代表噪声/>
的各个分量。
感测***执行的测量可以用数据矢量来表征，
其可以是(d+1)N维矢量，因为对于对应于被跟踪对象的簇中的N个点(由下标j列举)中的每一个，都有d个空间坐标、
和一个径向速度分量Vj(τ)。数据矢量/>
由状态矢量确定，
根据测量矩阵
(例如，可以使用刚性体方程来计算)，直到随机测量噪声/>
在一些实施方式中，跟踪对象的运动可以通过以下方式来执行:根据对象在先前时间
的估计，预测(估计)对象在稍后时间/>
的状态矢量，获得实际测量数据
基于估计的状态识别与预期测量数据的差异，/>
并改进状态矢量的估计，
在一个实施方式中，使用卡尔曼增益矩阵
其可以是维度为(5d-4)×(Nd+N)的矩形矩阵。卡尔曼增益矩阵可以使用最小平方误差方法通过最小化预期和实际测量数据之间的差异来获得。卡尔曼增益矩阵可以经由表征状态矢量分量分布的协方差矩阵和表征测量噪声的协方差矩阵来表示。在跟踪的每个步骤，当新的感测帧变得可用时，VEM 133可以执行这样的操作:1)基于先前的估计/>
生成新的期望状态矢量/>
2)获得测量数据/>
3)使用卡尔曼增益矩阵(对于当前迭代τ)获得状态矢量/>
的改进估计；4)检索状态矢量与其期望值的偏差/>
的协方差矩阵
以及可能的测量噪声的协方差矩阵；5)使用卡尔曼增益矩阵获得改进的协方差矩阵(对于当前迭代τ)；6)基于改进的协方差矩阵并使用运动方程(状态转移矩阵)，为下一迭代τ+Δτ生成新的协方差矩阵；等等，只要对象继续被跟踪。
在一些实施方式中，感测***120可以包括多于一个传感器，例如多于一个相干lidar。在这样的实施方式中，可以同时获得多个感测帧(假设不同传感器的帧是同步的)。这可以允许感知***132比在单传感器***的情况下更快地执行消歧，而无需等待来自任一传感器的后续帧。图6是根据本公开的一些实施方式的用于高效速度估计以及对象映射的双传感器设置600的图示。图6中描绘的是AV 602，其具有多个相干lidar传感器(为具体起见示出了两个)，诸如第一传感器606以及第二传感器607，它们可以是能够感测行驶环境中对象的到反射表面的距离以及反射表面的径向速度的任何类型的相干lidar设备(或相干和非相干lidar设备的组合)。传感器606和607可以扫描行驶环境并生成对应于各种对象的返回点。每个传感器可以输出具有传感器独有的相位特征(例如，线性调频(chirp)或任何其他相位或频率调制特征)的信号，使得来自不同传感器的返回信号不会相互干扰。传感器606和607可以位于彼此相距一定距离2a(基线距离)以提高横向速度分辨率。在一些实施方式中，可以使基线距离尽可能大(例如，受AV 602的长度或宽度限制)。在一些实施方式中，因为横向速度分辨率在垂直于基线的方向上具有最大值并且在平行于基线的方向上具有最小值，所以可以利用多于两个传感器，例如，以非共线(例如，三角形)布置放置。例如，第三传感器可以位于AV 602的前部或后部附近。
在一些实施方式中，感测***(例如，感测***120)的处理逻辑可以同步传感器606和传感器607的感测帧，使得感测信号在相同时间实例输出，例如，在τ,τ+Δτ,t+2Δτ,τ+3Δτ等。在其他实施方式中，传感器帧可以是交错的(例如，为了减少可能的干扰或提高时间分辨率)，使得一个传感器在时间τ,τ+Δτ,τ+2Δτ,τ+3Δτ输出信号，而另一个传感器在时间τ+Δτ/2,
等输出感测信号。每个传感器可以获得其各自的返回点，由于感测帧的不同定位和定时，即使在相同的时间，这些返回点也可能与其他传感器的返回点有些不同。感知***(例如，感知***132)的处理逻辑可以为第一传感器的每个返回点/>
识别第二传感器的最近返回点/>
并且将这两个点与对象610的相同反射部分相关联。在一些实施方式中，处理逻辑可以近似反射部分位于中间点，/>
(刚性体)对象610的运动可以通过刚性体方程来描述，现在可以将其分别投影到第一传感器606的观察方向，
以及第二传感器607的观察方向，/>
两个相应的径向速度(符号+对应于来自第一传感器的方向，符号–对应于来自第二个传感器的方向)是，
其中
以及/>
因为对于每个点有两个径向速度方程，所以三个点可以潜在地确定对象610的平移和角速度的所有六个分量。由于两个径向方向互不相同，因此在最终的方程组中不存在潜在变量。如果每个移动的刚性体有多于三个的点可用，则可以使用统计分析方法来提高全速确定的精度。上面描述的与单传感器设置相关的其他方法也可以用于多传感器设置中，例如给定点簇内的多个对象的分割和检测、假设的形成和验证、对象跟踪等等。例如，基于由VEM 133使用多传感器数据重建的横向速度，感知***132可以分离具有相似径向速度但不同横向速度的对象(例如，在相反方向上彼此经过的载具)。在一些情况下，横向速度确定的精度可以是距离特定的，在离对象的距离较低时是较高的，而在距离较长时是较低的。例如，如果已知径向速度的精度为δVr(意味着测量值Vr指示实际速度在[Vr-δVr,Vr+δVr]区间内)，则可以以下述精度确定横向速度Vs(或Vt)
例如，如果δVr＝0.1m/s，lidar传感器406和407位于距离2a＝1.2m处，则在距离R＝60m处横向速度确定的精度将为δVx＝5.0m/s。这样的精度可以非常令人满意地区分(基于单个感测帧)沿相反方向移动的载具或区分汽车和自行车(或行人)，而不管它们的运动方向如何。
图7描绘了根据本公开的一些实施方式的将多普勒辅助速度估计和对象跟踪用于自主驾驶载具应用的示例方法700的流程图。方法700以及下文描述的方法800和900，和/或它们各自的功能、例程、子例程或操作中的每一个可以由具有一个或多个处理单元(CPU)和通信耦合到CPU的存储器设备的处理设备执行。执行方法700、800和900的处理设备可以执行来自感知***132的各种组件(例如VEM 133)的指令。在某些实施方式中，方法700、800和900可以由单个处理线程执行。可替代地，方法700、800和900可以由两个或更多个处理线程执行，每个线程执行一个或多个单独的函数、例程、子例程或方法的操作。在说明性示例中，实现方法700、800和900的处理线程可以被同步(例如，使用信号量、临界区和/或其他线程同步机制)。可替代地，实现方法700、800和900的处理线程可以相对于彼此异步执行。方法700、800和900的各种操作可以以与图7、图8和图9所示的顺序不同的顺序执行。方法的某些操作可以与其他操作同时执行。一些操作可以是可选的。
方法700可以针对诸如图1的自主载具100的自主驾驶载具的***和组件。方法700可用于提高自主载具数据处理***130和/或自主载具控制***140的性能。在框710，方法700可包括通过自主载具(AV)的感测***获得多个返回点，每个返回点包括反射区域的一个或多个坐标和速度值，该反射区域反射由感测***发射的信号。获得返回点可以包括以下一些或全部。AV的感测***的一个或多个传感器(例如，lidar、FMCW、混合ToF/相干lidar等)可以发射一系列信号(例如，光信号)。信号可以以周期性(循环)模式发射，例如通过旋转、枢转或以其他方式扫描发送器或发送波束(例如，通过波束控制(steering)等)，在各个方向上，例如，形成全景模式。信号可以撞击各种对象(移动或静止)并从对象的各个反射区域反射回传感器。反射区域的数量可以取决于对象的性质、大小、对象被其他对象遮挡的程度而变化。反射信号的强度可以取决于反射区域的种类(材料、表面类型等)、信号的波长、偏振等。基于反射信号的特性和定时，AV的感测***可以生成多个返回点。返回点是与从环境的对象发出的信号之一的反射相关联的数据条目。返回点可以实时生成。每个返回点可以包括各种数据条目，诸如传感器周期的时间戳、返回信号的强度、返回信号的极化。每个返回点可以包括相应反射区域的一个或多个坐标。例如，坐标可以是到反射区域的距离(例如，根据返回信号的飞行时间确定)以及一个或多个方向角，诸如在水平面内指定方向的方位角以及指定高于(或低于)水平面的高度的极角。每个返回点还可以包括速度值；速度值可以表示反射区域的速度相对于从感测***的发送器朝向反射区域的径向方向的径向分量。
传感器可以是能够使用例如多普勒辅助感测来检测径向速度的相干光检测和测距设备(lidar)。在一些实施方式中，相干lidar可以是频率调制的连续波lidar，并且传感器发出的信号可以包括相位调制或频率调制的电磁波。传感器还能够同时发射各种其他信号，诸如脉冲信号，其可用于ToF距离测量。在一些实施例中，传感器可以包括单独的ToFlidar和相干lidar，每个发射单独的信号，这些信号可以同步、混合并沿相同的光路发送。
返回点可以属于(例如，关联到)对应于感测***的发送器的不同周期(例如，旋转)的各种感测帧。例如，第一感测帧可以对应于第一周期，第二感测帧可以对应于不同的(例如，更早或更晚的)周期。术语“第一”以及“第二”应仅理解为标识符，而不应预设特定顺序。特别地，在第一帧与第二帧之间可以有任意数量的中间帧。
在框720，方法700可以继续，处理设备(例如，执行由作为感知***132的一部分的速度估计模块(VEM)133发出的软件指令的设备)识别返回点中的每一个的速度值和一个或多个坐标与物理对象的运动的关联。在一些实施方式中，可以基于所选择的点在空间中的空间接近度、与点相关联的速度值的接近度、各种分割算法、在当前帧和一些其他帧(例如，当前帧之前或之后的帧)之间执行的点云映射(例如，ICP映射)的各种算法或者通过任何其他选择过程，从当前帧中的点选择多个返回点(例如，通过感知***的分割模块)。在一些实施方式中，由处理设备识别的关联可以与由物理对象执行的运动类型相关，诸如是刚性体的平移运动和旋转运动的组合的运动。刚性体可以是其中任意两点之间的距离固定的体。因此，这种体的运动可以用六个变量来描述(或者在几何限制运动的情况下，诸如二维运动，少于六个变量)。这六个变量可以是(1)对象的平移速度
的三个分量，以及(2)对象的旋转(角速度)/>
的三个分量。附加变量可以包括旋转中心的坐标。
如图7的喷出(blowout)部分示意性示出的，识别与物理对象的运动的关联可以通过将每个返回点的一个或多个坐标和速度值拟合到刚性体方程(框722)并使用适当的拟合参数集合来执行。拟合参数可以代表第一物理对象的平移速度的至少一些分量和第一物理对象的角速度的至少一些分量(框724)。例如，如上面更详细描述的，参数集合(独立变量)X1＝V0r,X2＝V0s-R0Ωt,以及X3＝V0t+R0Ωs。在各种其他实施方式中，不同的参数集合可以用于拟合(例如，更适合于所使用的不同坐标系的参数集合)。可以使用最小平方误差方法或任何其他统计分析方法来进行拟合。基于拟合的结果，VEM 133可以确定拟合参数X1,X2,X3的输出值。X1,X2,X3的输出值可以代表速度的分量，但不一定等于分量本身。例如，参数X1＝V0r可以等于平移速度的径向分量，而参数X3＝V0t+R0Ωs可以表示平移速度V0t的水平分量和角速度Ωs的垂直分量两者，但不一定等于其中之一(除非平移或旋转运动不存在或不明显，因为其他原因)。尚未完全消歧的两个分量V0t中的每一个都是潜在参数。
在框730，方法700可以继续，处理设备使得AV的行驶路径根据第一物理对象(并且可选地，第二物理对象)的运动确定。例如，感知***可能已经将第一子集识别为以20mph的速度移动同时以15m的半径向左转弯的对象，并将该信息传递给控制***(例如，AVCS240)。然后控制***可以确定AV将在对象可以完成转弯之前进入同一个十字路口。控制***可以为AV确定新的路径，这可以包括刹车、变道、停止、倒车等。控制***可以随后向动力***和转向150、载具电子装置160、信令170等输出指令，以确保AV遵循确定的行驶路径。
图8描绘了根据本公开的一些实施方式的在用于自主驾驶载具应用的速度估计和对象跟踪期间潜在的速度分量的消歧的示例方法800的流程图。方法800可以结合方法700的框720来执行，该框720识别返回点的第一子集与第一对象的运动的关联。在框810，执行方法800的处理设备可以识别一个或多个潜在的速度分量。潜在的速度分量可以是使用第一关联以低于目标精度的精度确定的第一物理对象的平移速度的分量(或第一物理对象的角速度的分量)。例如，可以在目标精度内确定参数X3＝V0t+R0Ωs(例如，通过使用刚性体方程拟合)，但是潜在的速度分量的具体值V0t和Ωs在目标精度内可能不是已知的。
响应于识别一个或多个潜在的分量，处理设备可以执行一系列操作以确定具有目标精度的潜在的分量。更具体地，在框820，执行方法800的处理设备可以接收多个附加返回点。多个附加返回点可以由感测***获得，类似于在框710获得原始多个点的方式。在一些实施方式中，多个返回点属于对应于感测***的发送器的一个周期的第一感测帧，并且多个附加返回点属于对应于感测***的相同发送器的不同周期的第二感测帧，例如传感器306的发送器308，如图3所示。在一些实施方式中，使用感测***的第二传感器(例如，图6的第二传感器607)获得多个附加返回点，第二传感器不同于第一传感器(例如，图6的第一传感器606)被定位。
在框830，方法800可以继续，处理设备根据使用附加返回点所识别的对应性执行一个或多个潜在的速度分量的确定(消歧)，例如，在一个实施方式中，通过使用刚性体方程拟合附加返回点。消歧操作的结果可以是确定一个或多个潜在的速度分量，例如，第一对象的平移速度的一个或多个分量(例如，V0t,V0s)以及物理对象的角速度的一个或多个分量(例如，Ωs,Ωs)。
图9描绘了根据本公开的一些实施方式的用于自主驾驶载具应用的使用运动滤波器跟踪对象的运动的示例方法900的流程图。方法900可用于提高自主载具数据处理***130和/或自主载具控制***140的性能。方法900可以与方法700相关联或者独立于方法700来执行。在框910，方法900可以包括由自主载具(AV)的感测***获得第一多个返回点，第一多个点中的每个返回点包括反射区域的测量的速度值和一个或多个测量的坐标，该反射区域反射由感测***发射的相应信号。在一些实施方式中，框910的操作可以类似于方法700的框710的操作来执行。第一多个点可以属于具有时间戳τ的感测帧。
在框920，方法900可以继续，估计对应于第一多个返回点的对象的状态矢量
状态矢量可以包括对象的平移速度/>
(例如，沿所选择的坐标轴***的/>
的分量)和对象的旋转(例如，角速度)/>
(例如，/>
的分量)。状态矢量还可以包括与对象相关联的某个点/>
的坐标，诸如第一多个返回点的中心附近的某个中心点。在一些实施方式中，点/>
可以是对象的旋转中心/>
平移运动的速度可以结合该旋转中心来定义。例如，速度/>
可以是旋转中心的速度。在一些实施方式中，状态矢量可以进一步包括对象的各种旋转自由度，例如对象的滚转、俯仰和/或偏航角。可以使用任何坐标系(包括曲线***，诸如球面、柱面、椭圆等坐标系)。
在一些实施方式中，可以基于使用帧-Δτ,τ-2Δτ等获得的先前感测数据(作为迭代跟踪的一部分)来估计状态矢量
例如，状态矢量/>
的估计可以至少部分地基于在与第一多个返回点相比在更早的时间τ-Δτ获得的第二多个返回点。
在框930，方法900可以继续，通过最小化误差测量来获得对象的改进的状态矢量
误差测量可以包括(除了别的以外)第一多个返回点的测量的速度值和基于估计的状态矢量预测的第一多个返回点的速度值之间的均方误差(差)。在一些实施方式中，获得改进的状态矢量/>
可以包括使用对象的状态矢量的分量的估计的协方差矩阵。在一些实施方式中，获得改进的状态矢量可以包括使用卡尔曼滤波器。在一些实施方式中，对于针对帧τ+Δτ,τ+2Δτ,τ+3Δτ等获得的附加返回点，可以重复框910、920和930的操作，以在期望的时间范围内跟踪该对象，例如，直到该对象离开很远的距离，被其他对象遮挡，等等。在每次跟踪迭代中，除了状态矢量和协方差之外，可以使用和更新各种其他辅助量，诸如卡尔曼增益矩阵、测量噪声协方差矩阵、对象的运动噪声协方差矩阵等。
在框940，方法900包括使得AV的行驶路径根据对象的改进状态矢量来确定。可以类似于方法700的框730的操作来执行框940的操作。
图10描绘了示例计算机设备1000的框图，该计算机设备能够实现用于自主驾驶载具应用的多普勒辅助对象识别和跟踪。示例计算机设备1000可以连接到LAN、内联网、外联网和/或因特网中的其他计算机设备。计算机设备1000可以在客户端-服务器网络环境中以服务器的身份运行。计算机设备1000可以是个人计算机(PC)、机顶盒(STB)、服务器、网络路由器、交换机或网桥，或者能够执行指定将该设备要采取的动作的指令集合(顺序的或其他方式)的任何设备。此外，虽然仅示出了单个示例计算机设备，但术语“计算机”也应被视为包括单独或联合执行一个(或多个)指令集合以执行在此讨论的任何一个或多个方法的计算机的任何集合。
示例计算机设备1000可以包括处理设备1002(也称为处理器或CPU)、主存储器1004(例如，只读存储器(ROM)、闪存、诸如同步DRAM的动态随机存取存储器(DRAM)(SDRAM)等)、静态存储器1006(例如闪存、静态随机存取存储器(SRAM)等)以及辅助存储器(例如数据存储设备1018)，它们可以经由总线1030相互通信。
处理设备1002表示一个或多个通用处理设备，诸如微处理器、中央处理单元等。更具体地，处理设备1002可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、实现其他指令集的处理器或实现指令集组合的处理器。处理设备1002也可以是一个或多个专用处理设备，诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、网络处理器等。处理设备可以包括处理逻辑1003。根据本公开的一个或多个方面，处理设备1002可以被配置为执行指令，该指令对于自主驾驶载具应用，执行使用多普勒辅助速度估计和对象跟踪的方法的方法700、在速度估计和对象跟踪期间潜在的速度分量的消歧的方法800、以及使用运动滤波器跟踪对象的运动的方法900。
示例计算机设备1000还可包括网络接口设备1008，其可通信地耦合到网络1020。示例计算机设备1000可进一步包括视频显示器1010(例如，液晶显示器(LCD)、触摸屏或阴极射线管(CRT))、字母数字输入设备1012(例如，键盘)、光标控制设备1014(例如，鼠标)以及声信号生成设备1016(例如，扬声器)。
数据存储设备1018可以包括计算机可读存储介质(或者更具体地，非暂时性计算机可读存储介质)1028，其上存储了一个或多个可执行指令1022的集合。根据本公开的一个或多个方面，可执行指令1022可以包括用于自主驾驶载具应用的执行使用多普勒辅助速度估计和对象跟踪的方法的方法700、在速度估计和对象跟踪期间潜在的速度分量的消歧的方法800、以及使用运动滤波器跟踪对象的运动的方法900的可执行指令。
可执行指令1022在由示例计算机设备1000执行期间也可以完全或至少部分驻留在主存储器1004和/或处理设备1002内，主存储器1004和处理设备1002也构成计算机可读存储介质。可执行指令1022还可以经由网络接口设备1008在网络上发送或接收。
虽然计算机可读存储介质1028在图10中被示出为单个介质，但术语“计算机可读存储介质”应认为包括存储一个或多个VM操作指令集合的单个介质或多个介质(例如，集中式或分布式数据库，和/或相关联的高速缓存和服务器)。术语“计算机可读存储介质”还应被认为包括能够存储或编码由机器执行的指令集的任何介质，所述指令集使得机器执行这里描述的任何一种或多种方法。因此，术语“计算机可读存储介质”应包括但不限于固态存储器以及光学和磁性介质。
上面详细描述的某些部分是根据算法以及对计算机存储器内数据位的操作的符号表示来呈现的。这些算法描述和表示是数据处理领域的技术人员用来最有效地将他们的工作内容传达给本领域其他技术人员的手段。算法在这里，并且通常被认为是导致期望结果的自洽的步骤序列。这些步骤是那些需要对物理量进行物理操作的步骤。通常，但不一定，这些量采用能够存储、传递、组合、比较以及以其他方式操纵的电或磁信号的形式。有时，主要出于常用的原因，将这些信号指代为比特、值、元素、符号、字符、术语、数字等已被证明是方便的。
然而，应该记住，所有这些以及类似的术语都与适当的物理量相关联，并且只是应用于这些量的方便标签。除非另有具体说明，否则从以下讨论中显而易见，应理解，在整个描述中，讨论使用诸如“识别”、“确定”、“存储”、“调整”、“导致”、“返回”、“比较”、“创建”、“停止”、“加载”、“复制”、“抛出”、“替换”、“执行”等的术语，指的是计算机***或类似的电子计算设备的动作和过程，其将在计算机***的寄存器和存储器中表示为物理(电子)量的数据操纵和转换成在计算机***的存储器或寄存器或其他这样的信息存储、传输或显示设备中类似地表示为物理量的其他数据。
本公开的示例还涉及用于执行本文描述的方法的装置。该装置可以为所需目的而专门构造，或者它可以是通用计算机***，由存储在计算机***中的计算机程序选择性地编程。这样的计算机程序可以存储在计算机可读存储介质中，诸如但不限于任何类型的磁盘(包括光盘、CD-ROM以及磁光盘)，只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁盘存储介质、光存储介质、闪存设备、其他类型的机器可访问存储介质或适合存储电子指令的任何类型的介质，每个都耦合到计算机***总线。
本文呈现的方法以及显示与任何特定计算机或其他装置没有内在关联。根据本文的教导，各种通用***可以与程序一起使用，或者可以证明构造更专用的装置来执行所需的方法步骤是方便的。各种这些***所需的结构将出现在下面的描述中。此外，本公开的范围不限于任何特定的编程语言。将会理解，可以使用多种编程语言来实现本公开的教导。
应当理解，上面的描述旨在是说明性的，而非限制性的。在阅读并理解以上描述后，许多其他实施方式示例对于本领域技术人员而言将是清晰的。尽管本公开描述了具体示例，但将认识到本公开的***和方法不限于本文描述的示例，而是可以在所附权利要求的范围内通过修改来实践。因此，说明书和附图应被认为是说明性的，而不是限制性的。因此，本公开的范围应参照所附权利要求连同此类权利要求所享有的等同物的全部范围来确定。
Claims (20)
1.一种方法，包括：
通过自主载具(AV)的感测***获得多个返回点，每个返回点包括反射区域的速度值和一个或多个坐标，所述反射区域反射由感测***发出的信号；
识别所述多个返回点中的每一个的速度值和一个或多个坐标与物理对象的运动的关联，所述运动是刚性体的平移运动和旋转运动的组合；以及
使得AV的行驶路径根据物理对象的运动确定。
2.根据权利要求1所述的方法，其中，所述AV的感测***包括相干光检测和测距设备(lidar)，并且其中由所述感测***发出的信号包括相位调制或频率调制的电磁波。
3.根据权利要求2所述的方法，其中，所述相干lidar是频率调制的连续波lidar。
4.根据权利要求1所述的方法，其中，所述速度值是所述反射区域沿从所述感测***的发送器到所述反射区域的方向的速度的分量。
5.根据权利要求1所述的方法，其中，所述多个返回点属于与所述感测***的发送器的一个周期相对应的第一感测帧。
6.根据权利要求1所述的方法，还包括使用所识别的关联确定物理对象的运动的表示，其中，所述运动的表示包括：
物理对象的平移速度的一个或多个分量；以及
物理对象的角速度的一个或多个分量。
7.根据权利要求6所述的方法，其中，确定运动的表示包括：
识别一个或多个潜在的速度分量，其中，所述潜在的速度分量是使用所识别的关联以低于目标精度的精度确定的物理对象的平移速度的分量或物理对象的角速度的分量；
通过感测***获得多个附加返回点；以及
使用所述多个附加返回点确定所述一个或多个潜在的速度分量。
8.根据权利要求7所述的方法，其中，所述多个返回点属于与所述感测***的发送器的一个周期相对应的第一感测帧，并且所述多个附加返回点属于与所述感测***的发送器的不同周期相对应的第二感测帧。
9.根据权利要求7所述的方法，其中，所述多个返回点由所述感测***的第一传感器获得，并且其中所述多个附加返回点使用所述感测***的第二传感器获得，第二传感器不同于第一传感器被定位。
10.根据权利要求1所述的方法，其中，所述刚性体是其中任意两点之间的距离固定的体。
11.根据权利要求1所述的方法，其中，识别与物理对象的运动的关联包括：
通过使用刚性体方程以及拟合参数的集合拟合多个返回点中的每个返回点的速度值来确定所述拟合参数的集合，其中所述拟合参数的集合表示物理对象的平移速度的至少一些分量和物理对象的角速度的至少一些分量。
12.一种方法，包括：
通过自主载具(AV)的感测***获得第一多个返回点，所述第一多个返回点中的每个返回点包括反射区域的测量的速度值和一个或多个测量的坐标，所述反射区域反射由感测***发出的相应信号；
估计与所述第一多个返回点相对应的对象的状态矢量，所述状态矢量包括对象的平移速度和对象的旋转速度；
通过最小化误差测量获得对象的改进的状态矢量，其中误差测量至少部分地基于测量的第一多个返回点的速度值与基于估计的状态矢量预测的第一多个返回点的速度值之间的差异；以及
使得AV的行驶路径根据对象的改进的状态矢量确定。
13.根据权利要求12所述的方法，其中，获得改进的状态矢量包括使用估计的协方差矩阵用于对象的状态矢量的分量。
14.根据权利要求13所述的方法，其中，估计所述状态矢量至少部分地基于第二多个返回点，与所述第一多个返回点相比，所述第二多个返回点在更早的时间获得。
15.一种***，包括：
自主载具(AV)的感测***，所述感测***用于：
获得多个返回点，每个返回点包括反射区域的速度值和一个或多个坐标，所述反射区域反射由感测***发出的信号；以及
AV的感知***，所述感知***用于：
识别多个返回点中的每一个的速度值和一个或多个坐标与物理对象的运动的关联，所述运动是刚性体的平移运动和旋转运动的组合；以及
使得AV的行驶路径根据物理对象的运动确定。
16.根据权利要求15所述的***，其中，所述感测***包括相干光检测和测距设备(lidar)，并且其中由所述感测***发出的信号包括相位调制或频率调制的电磁波。
17.根据权利要求15所述的***，其中，所述感知***还用于：
使用所识别的关联确定物理对象的运动的表示，其中，所述运动的表示包括：
物理对象的平移速度的一个或多个分量；以及
物理对象的角速度的一个或多个分量。
18.根据权利要求17所述的***，其中，为了确定所述运动的表示，所述感知***用于：
识别一个或多个潜在的速度分量，其中，所述潜在的速度分量是使用所识别的关联以低于目标精度的精度确定的物理对象的平移速度的分量或物理对象的角速度的分量；
从所述感测***接收多个附加返回点；
识别附加返回点的第二子集与物理对象的对应性；以及
根据所识别的对应性，确定一个或多个潜在的速度分量。
19.根据权利要求18所述的***，其中，所述多个返回点由所述感测***的第一传感器获得，并且其中所述多个附加返回点使用所述感测***的第二传感器获得，第二传感器不同于第一传感器被定位。
20.一种非暂时性计算机可读介质，其上存储有指令，所述指令在由计算设备执行时使得所述计算设备：
通过自主载具(AV)的感测***获得多个返回点，每个返回点包括反射区域的速度值和一个或多个坐标，所述反射区域反射由感测***发出的信号；
识别所述多个返回点中的每一个的速度值和一个或多个坐标与物理对象的运动的关联，所述运动是刚性体的平移运动和旋转运动的组合；以及
使得AV的行驶路径根据物理对象的运动确定。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/949,275 US20220128995A1 (en) | 2020-10-22 | 2020-10-22 | Velocity estimation and object tracking for autonomous vehicle applications |
| US16/949,275 | 2020-10-22 | ||
| PCT/US2021/056105 WO2022087308A1 (en) | 2020-10-22 | 2021-10-21 | Velocity estimation and object tracking for autonomous vehicle applications |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116348789A true CN116348789A (zh) | 2023-06-27 |
Family
ID=81258316
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180072499.5A Pending CN116348789A (zh) | 2020-10-22 | 2021-10-21 | 用于自主载具应用的速度估计和对象跟踪 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20220128995A1 (zh) |
| EP (1) | EP4204856A1 (zh) |
| JP (1) | JP7506829B2 (zh) |
| CN (1) | CN116348789A (zh) |
| WO (1) | WO2022087308A1 (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11841439B2 (en) * | 2020-11-02 | 2023-12-12 | Waymo Llc | Point cloud segmentation using a coherent lidar for autonomous vehicle applications |
| US11702102B2 (en) * | 2020-11-19 | 2023-07-18 | Waymo Llc | Filtering return points in a point cloud based on radial velocity measurement |
| CN117336678A (zh) * | 2022-06-23 | 2024-01-02 | 中兴通讯股份有限公司 | 车辆跟踪方法、装置、通信单元及存储介质 |
| CN117163050B (zh) * | 2023-10-11 | 2024-03-22 | 成都睿芯行科技有限公司 | 一种基于运动模型的预测控制算法 |
| CN117140536B (zh) * | 2023-10-30 | 2024-01-09 | 北京航空航天大学 | 一种机器人控制方法、装置和机器人 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7071867B2 (en) * | 2004-06-25 | 2006-07-04 | The Boeing Company | Method, apparatus, and computer program product for radar detection of moving target |
| US8050863B2 (en) * | 2006-03-16 | 2011-11-01 | Gray & Company, Inc. | Navigation and control system for autonomous vehicles |
| WO2010141120A2 (en) | 2009-02-20 | 2010-12-09 | Digital Signal Corporation | System and method for generating three dimensional images using lidar and video measurements |
| JPWO2017038659A1 (ja) | 2015-09-01 | 2018-06-14 | 国立大学法人 東京大学 | 運動検出装置及びそれを用いた三次元形状測定装置 |
| US9983301B2 (en) | 2015-10-02 | 2018-05-29 | Delphi Technologies, Inc. | Automated vehicle radar system to determine yaw-rate of a target vehicle |
| WO2018128655A2 (en) * | 2016-09-25 | 2018-07-12 | Okeeffe James | Distributed laser range finder with fiber optics and micromirrors |
| EP3252501B1 (en) * | 2016-06-03 | 2022-06-08 | Veoneer Sweden AB | Enhanced object detection and motion state estimation for a vehicle environment detection system |
| US10845470B2 (en) * | 2016-11-16 | 2020-11-24 | Waymo Llc | Methods and systems for protecting a light detection and ranging (LIDAR) device |
| JP6592852B2 (ja) * | 2017-09-07 | 2019-10-23 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
| US11906625B2 (en) * | 2018-01-08 | 2024-02-20 | The Regents Of The University Of California | Surround vehicle tracking and motion prediction |
| EP3525000B1 (en) * | 2018-02-09 | 2021-07-21 | Bayerische Motoren Werke Aktiengesellschaft | Methods and apparatuses for object detection in a scene based on lidar data and radar data of the scene |
| US10676085B2 (en) * | 2018-04-11 | 2020-06-09 | Aurora Innovation, Inc. | Training machine learning model based on training instances with: training instance input based on autonomous vehicle sensor data, and training instance output based on additional vehicle sensor data |
| US11550061B2 (en) * | 2018-04-11 | 2023-01-10 | Aurora Operations, Inc. | Control of autonomous vehicle based on environmental object classification determined using phase coherent LIDAR data |
| KR102157582B1 (ko) * | 2018-07-25 | 2020-09-18 | 안세찬 | 라이다 센서 기반의 보행자 안전관리 시스템 |
| US11124196B2 (en) * | 2019-07-02 | 2021-09-21 | Mitsubishi Electric Research Laboratories, Inc. | Receding horizon state estimator |
| US20210229657A1 (en) * | 2020-01-27 | 2021-07-29 | Ford Global Technologies, Llc | Detection of vehicle operating conditions |
| US11879980B2 (en) * | 2020-06-22 | 2024-01-23 | Toyota Motor Engineering & Manufacturing North America, Inc. | Method for road debris detection using low-cost LIDAR |
| US11029395B1 (en) * | 2020-06-30 | 2021-06-08 | Aurora Innovation, Inc. | Systems and methods for pulsed-wave LIDAR |
-
2020
- 2020-10-22 US US16/949,275 patent/US20220128995A1/en active Pending
-
2021
- 2021-10-21 WO PCT/US2021/056105 patent/WO2022087308A1/en active Application Filing
- 2021-10-21 CN CN202180072499.5A patent/CN116348789A/zh active Pending
- 2021-10-21 EP EP21883928.0A patent/EP4204856A1/en active Pending
- 2021-10-21 JP JP2023520411A patent/JP7506829B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023546813A (ja) | 2023-11-08 |
| JP7506829B2 (ja) | 2024-06-26 |
| EP4204856A1 (en) | 2023-07-05 |
| US20220128995A1 (en) | 2022-04-28 |
| WO2022087308A1 (en) | 2022-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2767955C1 (ru) | Способы и системы для определения компьютером наличия динамических объектов | |
| JP7506829B2 (ja) | 自律車両用途のための速度推定および物体追跡 | |
| US11841439B2 (en) | Point cloud segmentation using a coherent lidar for autonomous vehicle applications | |
| US9898005B2 (en) | Driving path determination for autonomous vehicles | |
| US11702102B2 (en) | Filtering return points in a point cloud based on radial velocity measurement | |
| US20230038842A1 (en) | Association of camera images and radar data in autonomous vehicle applications | |
| US20230150518A1 (en) | Calibration of sensors in autonomous vehicle applications | |
| US20230260266A1 (en) | Camera-radar data fusion for efficient object detection | |
| US20220390612A1 (en) | Determination of atmospheric visibility in autonomous vehicle applications | |
| US20230244242A1 (en) | Detection of particulate matter in autonomous vehicle applications | |
| US20230294687A1 (en) | End-to-end processing in automated driving systems | |
| EP4227909A1 (en) | Infrared sensing data-assisted classification of vulnerable road users | |
| US11753045B2 (en) | Modeling positional uncertainty of moving objects using precomputed polygons | |
| US20220135074A1 (en) | Classification of objects based on motion patterns for autonomous vehicle applications | |
| WO2023158642A1 (en) | Camera-radar data fusion for efficient object detection | |
| CN115991207A (zh) | 驾驶应用中真标志和图像标志检测的识别 | |
| US20220194424A1 (en) | Autonomous vehicle trajectory computed using box-based probabilistic overlap model | |
| US20230046274A1 (en) | Identification of spurious radar detections in autonomous vehicle applications | |
| CN117651880A (zh) | 雷达数据分析和隐藏对象检测 | |
| US12050267B2 (en) | Doppler-assisted object mapping for autonomous vehicle applications | |
| US20220146676A1 (en) | Doppler-assisted object mapping for autonomous vehicle applications | |
| RU2775817C2 (ru) | Способ и система для обучения алгоритма машинного обучения с целью обнаружения объектов на расстоянии | |
| US20240025446A1 (en) | Motion planning constraints for autonomous vehicles | |
| US11854269B2 (en) | Autonomous vehicle sensor security, authentication and safety |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |