CN113853533A - 来自雷达数据的偏航率 - Google Patents
来自雷达数据的偏航率 Download PDFInfo
- Publication number
- CN113853533A CN113853533A CN202080037264.8A CN202080037264A CN113853533A CN 113853533 A CN113853533 A CN 113853533A CN 202080037264 A CN202080037264 A CN 202080037264A CN 113853533 A CN113853533 A CN 113853533A
- Authority
- CN
- China
- Prior art keywords
- radar
- vehicle
- data
- yaw rate
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/50—Systems of measurement based on relative movement of target
- G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/66—Radar-tracking systems; Analogous systems
- G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
- G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
- G01S13/874—Combination of several systems for attitude determination
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/28—Details of pulse systems
- G01S7/285—Receivers
- G01S7/295—Means for transforming co-ordinates or for evaluating data, e.g. using computers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9327—Sensor installation details
- G01S2013/93271—Sensor installation details in the front of the vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Radar Systems Or Details Thereof (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
Abstract
传感器,包括雷达传感器,可用于探测环境中的对象。在示例中,车辆可以包括多个雷达传感器,这些传感器感测车辆周围的对象,例如以使车辆就可以相对于这些对象进行导航。例如来自第一雷达传感器的第一雷达数据和例如来自第二雷达传感器的第二雷达数据可以被分析以确定代表对象的回波。然后,这些回波可用于确定该对象的偏航率和/或二维速度。在一些示例中,传感器数据收集之间的时间差异可以根据先前(历史)跟踪的对象信息进行校正/补偿,以提供更好的估计。
Description
相关申请交叉引用
本PCT国际申请要求于2019年5月20日提交的第16/416,686号的美国专利申请的优先权的权益,其公开内容通过引用全部并入本文。
背景技术
规划***利用与环境中的对象相关联的信息来确定相对于这些对象的行动。例如,用于自动驾驶车辆的一些现有规划***在确定自动驾驶车辆穿过环境的操纵时考虑诸如道路上的其他车辆的对象的速度和/或偏航率。常规***可以依靠不同类型的数据,包括但不限于雷达、激光雷达、视觉和/或类似的数据来确定关于(一个或多个)对象的信息。然而,常规***需要在多次迭代中接收传感器数据,以便确信地表征对象移动。例如,确定车辆的偏航率可能需要一个或多个传感器的多次连续扫描和/或处理来自若干不同传感器类型的数据,以确定对象的正确速度和/或方向。这种过程可能导致在识别和/或表征可能是安全行进的潜在障碍的对象时增加处理时间和/或降低效率。
附图说明
参照附图描述详细的说明。在附图中,附图标记的最左边的(一个或多个)数字表示该附图标记首次出现所在的附图。不同附图中的相同附图标记表示相似或相同的部件或特征。
图1是示出本文所述的用于使用雷达数据确定对象的偏航率的示例方法的示意图。
图2包括文本和视觉流程图,以示出如本文所述的用于根据由车辆上的雷达传感器生成的雷达数据来确定对象的偏航率的示例方法。
图3包括文本和视觉流程图,以示出如本文所述的用于根据由车辆上的雷达传感器生成的雷达数据来确定对象的偏航率的示例方法。
图4是示出如本文所述的用于根据雷达数据来生成瞬时偏航率的示例计算***的框图。
图5是示出如本文所述的用于根据雷达数据来确定偏航率的示例方法的流程图。
图6是示出如本文所述的用于控制车辆、例如自动驾驶车辆的示例方法的流程图。
具体实施方式
本文描述的技术是针对基于雷达数据来表征环境中的对象的移动。例如,在本文所述的实施方案中,可使用技术来确定与传感器环境中的对象相关联的雷达回波,并且可根据回波确定对象的偏航率和/或二维速度。尽管许多***可以从本文描述的技术中受益,但实现本公开技术的示例***可以包括具有多个雷达传感器(和/或其他模态或不同模态的传感器)的自动驾驶车辆。在一个这样的示例中,自动驾驶车辆可以包括具有重叠视场的多个雷达传感器。第一传感器,例如第一多普勒雷达传感器,可以捕获环境的第一传感器数据,例如雷达扫描(其可以包括作为数据点的雷达回波的多个测量的集合),以及第二传感器,例如第二多普勒雷达传感器,可以捕获环境的第二传感器数据,例如第二雷达扫描(其可以包括作为数据点的雷达回波的测量的第二集合)。第一扫描和第二扫描中的每一个都可以返回各具有相关信息的若干点。这样的信息可以包括位置信息,例如该点相对于传感器、车辆的位置和/或在坐标系中的位置(这些位置中的任一或全部都可以根据信号的范围和/或方位角确定);信号强度信息、例如雷达截面(RCS)值;或速度信息、例如该点相对于传感器的速度。
在本文描述的示例中,数据关联技术可用于将雷达扫描的回波与环境中的对象关联起来。例如,可以使用聚类(clustering)技术,根据与回波一起收到的任何信息,将第一扫描中的点与第二扫描中的点进行分组。作为非限制性的示例,例如具有接近的位置的类似区域的若干点可以作为聚类的候选者,因为它们都与单个对象有关。然而,在其他实施方案中,由一个或多个传感器确定的信号强度信息、RCS、速度信息和/或其它信息也可以或替代地用于根据本公开的实施方案的对若干点进行聚类。例如,信号强度可用于区分站在街角的人和该人所倚靠的灯柱。例如,第一扫描和第二扫描中具有类似特性(例如位置、信号强度、速度)的若干点可以被聚集为点集群(point cluster),以产生被感测对象的鲁棒(robust)表示。至少在某些情况下,第一传感器和/或第二传感器的多次扫描,例如顺序扫描,可以被聚集在与对象相关联的群中。同样在示例中,数据关联技术可以包括关于被感测对象的历史信息。例如,与对象相关联的跟踪信息可用于确定雷达回波是否预计与特定对象相关联。在任何一个或多个示例中,雷达数据可以与来自其他传感器模态(例如激光雷达、视觉(图像)等)的数据进行组合和/或进行比较,以将雷达数据与对象(例如可能在另一模态中被检测到和/或基于模态的组合被检测到的对象)相关联。
在示例实施方案中,聚集的雷达回波(例如与对象相关联的)可用于确定与回波相关联的对象的瞬时偏航率和/或二维速度(例如在x方向和y方向)。例如,本文描述的技术可以将这些回波中的各个投影(project)到旋转中心(或估计的旋转中心)上,例如以确定围绕旋转中心的偏航率。以这种方式,偏航率可以根据若干回波来确定,而且基本上是瞬时确定。此外,可以使用与同这些回波相关联的若干点的位置、(一个或多个)雷达传感器的位置和旋转中心的位置相关联的几何结构来确定二维速度。一些示例可以使用迭代估计过程,例如迭代最小二乘方或随机抽样一致性(RANSAC)方法,尽管考虑到任何其他对异常值具有鲁棒性的统计方法。在一些示例中,RANSAC技术可以提供基于回波的偏航和/或二维速度的稳健估计,同时拒绝异常值。
根据本文描述的实施方案,这些扫描在时间上可能几乎相同,例如在大约100毫秒内,因为这些扫描来自不同的传感器,但具有重叠的视场。此外,虽然在一些示例中只描述了两个传感器,但在其他示例中,可以使用更多具有重叠视场的传感器来进一步增加与对象相关联的点的数量,从而加强本文描述的偏航率估计技术的回波。在至少一些示例中,来自单一雷达设备的单一扫描可以包括多个子扫描,包括在不同频率、相移等的子扫描。在这样的示例中,可以将每个子扫描等同地视为来自多个雷达的重叠扫描。因此,本文提出的技术可与一个或多个传感器一起使用。
当在相同情况下(或在某个最小阈值时间范围内)没有捕获到要考虑的扫描时,本文描述的技术还可以确定瞬时偏航率和/或二维速度。在一些实例中,还可以例如从雷达传感器之外的传感器或从雷达传感器以及其他传感器获得(一个或多个)传感器的历史数据(或例如是其上安装(一个或多个)传感器的车辆的对象的历史数据)和/或被感测对象的历史数据。在这样的示例中,该历史数据可以包括历史位置数据、历史速度数据、历史偏航率信息、历史加速度数据或其他信息中的一个或多个。该历史信息可用于将不同时间捕获的雷达数据外推或估计到共同时间。例如,基于第一时间和第二时间之间车辆的状态(例如位置、速度、偏航率、加速度)和/或对象的状态(例如位置、速度、旋转中心、偏航率、加速度),与第一时间生成的回波相关联的位置和/或速度可用于确定第二时间的更新的位置和/或速度数据,。在一个简单的示例中,根据车辆和/或对象在第一时间和第二时间之间的状态速度和/或状态偏航率,雷达回波可以被投影到新的位置和/或具有新的速度。然后,根据在接近第二时间生成的回波,以及根据在较早时间、例如第一时间生成的回波,可以在第二时间确定瞬时偏航率和/或二维速度。
常规地,偏航率和/或二维速度可以使用来自多个传感器模态的数据和/或使用多个观测值来确定,例如通过确定在相对长的时间段内车辆姿势之间的变化。然而,本文所描述的技术可能会导致几乎瞬时的偏航率确定。例如,可以使用数十毫秒内的雷达回波来精确地确定由传感器检测到的对象的偏航率。
在一些示例中,一旦确定了对象的偏航率和/或二维速度,自动驾驶车辆的计算设备可以确定相对于该对象行进的一个或多个轨迹。在一些示例中,根据本文描述的技术生成的偏航数据和/或速度数据可以与来自其他传感器模态的数据组合或融合,以预测对象的移动和/或规划相对于对象的路径。
本文描述的技术涉及利用传感器和感知数据来使得诸如自动驾驶车辆的车辆能够在环境中导航,同时规避环境中的对象。本文描述的技术可以利用例如由雷达传感器感测到的关于环境中的对象的信息来更准确地确定与对象相关联的移动。例如,本文所述的技术可以比常规技术更快,因为它们可以减轻对来自多个不同传感器的信息的需求。也就是说,本文描述的技术提供了对现有对象检测、分类、预测和/或导航技术的技术改进。除了提高传感器数据用于确定对象和正确表征这些对象的移动的准确性外,本文所述的技术可以提供更平稳的行驶,并且通过例如更准确地提供到预期目的地的安全通行来提高安全结果。
虽然本公开内容在示例中使用了自动驾驶车辆,但本文描述的技术并不限于在自动驾驶车辆中的应用。例如,任何使用雷达数据来导航环境的***都可以从所述的偏航确定技术中受益。通过非限制性的示例,本文描述的技术可用于飞行器,例如识别其他飞行器和/或移动对象,并确定与空域或地面上的对象相关联的偏航率。此外,非自动驾驶车辆也可受益于本文所述的技术,例如用于碰撞检测和/或规避***。
图1提供了与本文所述技术相关的附加细节。
图1是示出了示例场景100的示意图,其中车辆102以第一速度V1行驶在路面104上。如图所示,第二车辆106也在路面104上行驶。第二车辆106以第二速度V2沿箭头138的方向行驶,该方向与车辆102的行驶方向不平行。例如,第二车辆106可能正在改变车道,例如变到车辆102前方的位置。
为了说明问题,车辆102可以是配置为根据美国国家公路交通安全管理局颁布的5级分类运行的自动驾驶车辆,其描述了能够执行对于整个行程来说所有安全性关键功能的车辆,其中,不期待驾驶员(或乘员)在任何时候控制车辆。在这样的示例中,由于车辆102可以被配置为控制从启动到停止的所有功能,包括所有停车功能,所以该车辆可以无人驾驶。与车辆102相关的其他细节将在下文中描述。然而,车辆102仅仅是一示例,本文描述的***和方法可以被纳入任何陆地、空中或水上的车辆,包括从那些需要一直由司机手动控制的车辆,到那些部分或完全自主控制的车辆的范围。在其他实施方案中,本文描述的技术可以在车辆以外的设置中有用。本说明书中描述的技术可能在许多不同的应用中有用,在这些应用中,传感器数据被用来确定关于环境中的对象的信息。
车辆102可以包括多个传感器,包括第一雷达传感器108和第二雷达传感器110。如图所示,第一雷达传感器108和第二雷达传感器110被布置为大致在车辆102的行进方向上传播波。如图所示,第一雷达传感器108和第二雷达传感器110有重叠的视场。因此,由第一雷达传感器108发出的第一发射无线电波112将从第二车辆106上反射,并返回到第一雷达传感器108,在那里它们经由第一雷达扫描被检测到。类似地,由第二雷达传感器110发出的第二发射无线电波114也将从第二车辆106上反射,并返回到第二雷达传感器110,在那里它们经由第二雷达扫描被检测到。在一些示例中,第一雷达传感器108和第二雷达传感器110可以基本相同,只是它们在车辆102上的位置不同。然而,在其他示例中,雷达传感器108、110可以被配置为不同的。作为非限制性的示例,无线电波112、114可以以不同的频率发射,例如脉冲调节的频率。同样在示例中,雷达传感器108、110可以被配置成在传感器108、110处的扫描具有不同的间隔,例如多普勒间隔。在示例中,雷达传感器108、110的特征(包括但不限于中心频率、扫描类型、扫描模式、频率调制、脉冲重复频率、脉冲重复间隔)可以被配置为例如创建不同的多普勒间隔。因此,雷达传感器108、110可以都被配置为感测相对于车辆102在大致相同方向的对象,但雷达传感器108、110可以被不同地配置。然而,在其他示例中,雷达传感器108、110的几个特征和功能可以是相同或相似的。
传感器108、110可以在无线电波112、114从环境中的表面反射后接收这些电波,并且雷达传感器108、110可以基于反射生成雷达数据。例如,雷达数据可以包括不同类型的信息,包括但不限于与表示传感器环境中的表面或对象的许多点中的每个点相关联的速度。例如,当传感器108、110是脉冲多普勒传感器时,传感器108、110可以确定对象相对于各传感器的速度。
更详细地说,图1示出了由若干点示意性地表示的多个第一雷达回波。在该图中,第一点116(1)、116(2)、116(3)、116(4)(统称为第一点116)被示出为圆圈,并代表与第一雷达传感器108相关联的雷达回波。也就是说,第一点116中的各个点表示第一发射波112在第二车辆106上反射的位置。类似地,第二点118(1)、118(2)、118(3)、118(4)(统称为第二点118)被示出为“×”,并代表与第二雷达传感器110相关联的雷达回波。换句话说,第二点118中的各个点表示第二发射波114在第二车辆106上反射的位置。
如上所述,第一雷达传感器108和第二雷达传感器110(也在图1的框图中被示出为传感器***120)根据自每个点116、118反射的无线电波而生成数据。更具体地说,第一雷达传感器108生成第一雷达数据122,第二雷达传感器110生成第二雷达数据124。在示例中,雷达数据122、124包括各点116、118的位置数据。例如,与来自点116、118的雷达回波相关联的信息可以包括表示环境中的位置的信息,例如点116、118的位置。此外,当这些点与第二车辆106相关联时,如图所示,可以确定第二车辆106的位置。该位置信息可包括相对于点116、118的范围和方位角,或在局部或全局坐标系中的位置。同样在实施方案中,由第一雷达传感器108生成的第一雷达数据122和/或由第二雷达传感器110生成的第二雷达数据124可以包括信号强度信息。例如,信号强度信息可以表示对象的类型。更具体地说,无线电波可能被具有特定形状和/或组分的对象更强地反射。例如,宽阔、平坦的表面和/或尖锐的边缘比圆形的表面具有更强的反射性,金属比人具有更强的反射性。在某些情况下,信号强度可以包括雷达横截面(RCS)测量结果。如上所述,第一雷达传感器数据122和/或第二雷达数据124也可包括速度信息。例如,各点116、118(和/或第二车辆106)的速度可以基于从各点116、118反射的无线电能量的频率和/或该反射的无线电能量被检测到的时间。
因此·,第一雷达数据122可以包括第一点116中的相应的一个与第一雷达传感器108的距离(例如范围或径向距离)、第一点116中的相应的一个沿该距离的速度(例如多普勒速度)、强度测量结果(例如RCS值)和/或附加信息。类似地,第二雷达数据124可以包括第二点118中的相应的一个与第二雷达传感器110的距离(例如范围或径向距离)、第二点118中的相应的一个沿该相关距离的速度(例如多普勒速度)、强度信息和/或附加信息。
在本文描述的实施例中,第一雷达数据122和第二雷达数据124中包含的不同类型的信息可用于确定附加信息。例如,图1还示出车辆102可以包括一个或多个车辆计算设备126,包括偏航率和二维速度确定组件128。偏航率和二维速度确定组件128可以被配置为接收第一雷达数据122和第二雷达数据124并确定第二车辆106的偏航率和二维速度。在图1的示例中,第二车辆106可以有旋转中心130,并且偏航率和二维速度确定组件128可以确定第二车辆106关于旋转中心130的偏航率132。例如,并如本文进一步描述的那样,偏航率和二维速度确定组件128可以假定第二车辆106是固定的刚性体,并将与第一点116和第二点118中的每个点相关联的速度投影到旋转中心130上以估计该偏航率。从概念上讲,偏航率和二维速度确定组件128可以将每个速度视为取决于第二车辆106在与旋转中心相距一定距离处的某些旋转。例如,因为每个点116、118的位置是已知的,旋转中心130的位置也是已知的,偏航率和二维速度确定组件128可以使用速度和相对位置计算关于旋转中心的偏航率132。此外,因为偏航率和二维速度确定组件128可以假定第二车辆106是一个固定的刚性体,所以无论旋转中心130的位置如何,偏航率132是相同的。因此·,第一点116或第二点118中的任何一个都可以被用作旋转中心。关于偏航率和二维速度确定组件128的运作的其他细节将在下面结合图2和图3进行描述。如本文还描述的,偏航率和二维速度确定组件128可以例如基于回波速度和旋转中心130、传感器108、110的以及回波的位置来确定第二车辆106的二维速度。
在示例中,偏航率和二维速度确定组件128可以确定偏航率132,因为每个点116、118都在(例如与第二车辆106相关联的)刚性体上。为简单起见,图1只示出了第二车辆106,且第一点116和第二点118全部都从第二车辆106上反射。然而,雷达传感器108、110通常接收来自环境中若干不同对象的反射,包括但不限于其他车辆、建筑物、固定装置、表面、行人、骑自行车的人和/或类似对象。
因此,在示例中,(一个或多个)车辆计算设备126可以进一步包括数据关联组件134。例如,数据关联组件134可以包括将若干回波彼此和/或与特定对象关联的功能。因此,例如,数据关联组件134可以确定与第一点116和第二点118相关联的回波彼此相关联和/或与第二车辆106相关联。数据关联组件134还可以确定例如在同一雷达扫描中的其他回波与其他对象相关联,其他对象例如为第二车辆106附近的路面104、其他车辆(未示出)等。
在一些示例中,数据关联组件134可以基于来自那些回波的信息对例如第一点116和第二点118的点进行聚类(cluster)。例如,第一点116和第二点118相距很近,例如在阈值距离内,并且在一些示例中,数据关联组件134可以估计这些点表示单一对象。在本文描述的示例中,点集群可以包括具有某种可能性(例如相似性的水平和/或程度)以识别应当例如由自动驾驶车辆的规划***一起考虑的单个对象或对象的分组的多个点。在本公开内容的各个方面,除了位置信息之外的信息可被用于确定点集群。例如,虽然第一点116和第二点118具有相似的位置回波,但在一些实施方案中,数据关联组件134可以排除也很接近的其他点,例如,因为这些点可能代表不同的对象。例如,与附加点136相关联的信号强度,例如RCS值,可以明显不同于与第一点116和/或第二点118相关联的信号强度。尽管附加点136在物理上比几个第一点116和/或第二点118更接近第二点118(4)。在现实世界的示例中,如果人站在消防栓旁边,来自消防栓的回波可能有一个明显更强的信号,例如因为消火栓是金属,比来自人的回波更强。在图示的示例中,附加点136可以与路面104、路面104上的一些碎片等相关联。正如可以理解的那样,将附加点136与对象相关联可能会对偏航率和二维速度确定组件128的运行产生负面影响,例如,因为附加点136的速度可能与第二车辆106的速度有很大不同。
数据关联组件134可以使用附加的或不同的信息来确定与对象相关联的回波。例如,当雷达传感器是多普勒型传感器时,对象的速度可被用于确定点集群。在图示的示例中,当附加点136与道路相关联,并且第二辆车106正在移动时,与这些雷达回波相关联的速度可以明显不同以允许对回波进行适当聚类。更具体地说,由于路面是静止的而车辆在移动,具有类似的、非零速度分量的点可以被聚类为第二车辆。根据本文的公开内容,其他信息也可用于或替代性地用于对若干点进行聚类,所提供的示例仅用于说明。通过非限制性的示例,例如第二车辆106的对象的历史数据可用于确定若干点是否与对象相关联。例如,如果对象的跟踪数据提供历史位置、速度和/或加速度数据,则数据关联组件134可以期望与该对象相关联的更近期的(例如同期的)回波具有在某些范围内的值。
在一些示例中,数据关联组件134也可以将若干点添加到已经存在的集群中。例如,时间上稍后的回波可基于距离(例如,离已在该集群中的点的欧几里德距离)与对象集群相关联。当值(例如信号强度)落在已经与对象相关联的点的最小信号强度和最大信号强度之间时,数据关联组件134也可以将新的回波添加到集群中。列入集群也可以基于后来收到的点与已经在集群中的点(例如,多个最近邻(1、2或更多))的接近程度、例如通过位置数据。聚类可以根据与这些点相关联的任何物理参数(包括但不限于速度、信号强度、位置、最近邻、进行测量的时间戳等)以及前述参数中的任何参数的对应阈值差异来执行。列入集群也可以基于这些信息和其他信息的组合。
在至少一些示例中,数据关联组件134可以基于一个或多个附加的传感器模态来确定雷达回波与对象的关联。作为非限制性示例,环境中的对象(例如第二车辆106)可以基于来自一个或多个激光雷达传感器(可以包括飞行时间传感器)的激光雷达数据、来自任何数量的相机的图像数据等的任何一个或多个或其任何组合来确定。在这样的示例中,雷达数据可以与来自任何一个或多个其他模态的检测相关联,以确定哪些雷达数据是基于来自第二车辆106的反射而生成的。在一些示例中,先前确定的环境中对象的位置和/或其相关联的和确定的动态(轨迹、速度、加速度、偏航率等)可用于形成对该对象可能在哪里的估计(例如使用卡尔曼或其他贝叶斯滤波器)。然后,这些对象轨迹可用于执行与新收集数据的数据关联,以确定该对象目前的位置。
如上所述,数据关联组件134可以包括确定与对象相关联的回波的功能,并且偏航率和二维速度确定组件128可以使用与这些回波相关联的信息(例如位置和速度)来确定该对象的偏航率和/或二维速度。在示例中,车辆102可以包括控制车辆102的功能,并且第二车辆106的偏航率132和/或二维速度可以被该车辆使用以相对于第二车辆106行驶。例如,偏航率132和/或二维速度可以是用于预测第二车辆106的路径或轨迹的因素,并且车辆102的规划***可以使用该预测信息来确定车辆102的驾驶路径,以避开预测的路径/轨迹。作为非限制性的示例,在图中,偏航率可以提供关于第二辆车106是否正在进入车辆102的行车道,或可能在其当前车道上行进的更好指示。
本文描述的技术可以通过快速和准确地确定环境中对象的偏航率来改善规划***的准确性和性能。例如,像雷达传感器108、110的雷达传感器是一些车辆上的最快传感器之一,以生成关于例如第二车辆106的对象的有意义的数据量。在某些情况下,通过仅根据雷达数据122、124来生成偏航率和/或二维速度,可以更快、更可靠地获得第二车辆106的属性,从而基于这样的雷达数据,提高后续预测的可靠性和及时性。
图2包括文本和视觉流程图,以示出用于基于传感器数据确定对象的偏航率和/或二维速度的示例性过程200。在本文描述的示例中,传感器数据可由布置在自动驾驶车辆上的雷达传感器获得。在这个示例中,过程200使用具有重叠视场的多个雷达传感器来确定表示在自动驾驶车辆环境中的对象的点集群,然后根据聚类的雷达回波来确定偏航率。
在操作202,过程200可以包括从布置在自动驾驶车辆上的一个或多个雷达传感器捕获雷达数据。正如将从本文的公开内容中理解的那样,具有重叠视场的任何数量的雷达传感器可以使用本文所述的技术。伴随着操作202的示例204示出车辆206,具有设置在车辆206上的第一雷达传感器208和第二雷达传感器210。在图示的示例中,车辆206可以大致沿着箭头212指示的方向穿过环境(尽管在其他实施方案中,车辆206可以是静止的或在不同的方向上移动),从而第一雷达传感器208和第二雷达传感器210被布置在车辆206的前端,例如以捕获关于车辆206前方的对象的数据。更具体地说,第一雷达传感器208例如通过第一雷达扫描捕获第一雷达数据214,而第二雷达传感器210例如通过第二雷达扫描捕获第二雷达数据216。在图示的实施方案中,第一和第二雷达传感器208、210通常被配置在彼此旁边,都朝向行进方向,并且在它们的视场中有着明显的重叠。
在示例中,车辆206可以对应于车辆106,并且第一雷达传感器208和第二雷达传感器210可以对应于结合图1示出和讨论的第一传感器108和第二雷达传感器110。第一雷达传感器208和第二雷达传感器210可以是测量到对象的距离和/或对象的速度的雷达传感器。在一些示例***中,雷达传感器可以是多普勒传感器、脉冲型传感器、连续波频率调制(CWFM)传感器等。例如,雷达传感器208、210可以在预定的(在某些情况下为可配置的)时间间隔发射无线电能量脉冲。在一些实施方案中,时间间隔可以是可配置的,例如以促进对相对较远或相对较近距离的对象的增强检测。无线电能量脉冲从环境中的对象反射,可以被雷达传感器208、210接收,例如作为第一雷达数据214和第二雷达数据216。在一些示例中,雷达回波被读出的频率也是可配置的。
在一些示例实施方案中,第一雷达数据214和/或第二雷达数据216可以包括表示环境中对象的位置的位置信息,例如相对于车辆206的范围和方位角或在局部或全局坐标系中的位置。第一传感器数据214和/或第二传感器数据216也可以包括信号强度信息。例如,该信号强度信息可以是无线电波被反射的表面的类型或组分的指示。在某些情况下,信号强度可以是雷达横截面(RCS)测量结果。第一传感器数据214和/或第二传感器数据216也可以包括速度信息。例如,对象的速度可以基于对象反射的无线电能量的频率和/或反射的无线电能量被检测到的时间。第一和第二雷达传感器数据214、216还可以包括关于传感器的特定信息,包括但不限于传感器的取向,例如传感器相对于车辆的姿势,传感器的脉冲重复频率(PRF)或脉冲重复间隔(PRI),视场或探测弧度等。在一些实施方案中,雷达传感器数据214、216的某些类型可以预先配置,例如视场、取向、PRF或PRI等,在这种情况下,数据可以被提供给自动驾驶车辆206的计算***,并且例如可以不与雷达回波一起传输。
在操作218,过程200可以根据雷达数据来确定与对象相关联的回波。伴随着操作218的示例220包括第一雷达数据214和第二雷达数据216的可视化表示222。更具体地说,可视化表示222包括多个点,这些点可以代表车辆206的环境中的对象、表面或其他反射物。如图所示,一些圆形点用附图标记224(1)、224(2)、224(3)、224(4)、224(5)、224(6)标示(以下所有圆形点,无论是否在图2中标示,都可统称为“第一点224”)。在本示例中,每个第一点224可以对应于在第一雷达传感器208检测到的无线电波,例如在从车辆206前方的某个对象上反射后。如图所示,一些由“×”标记的点用附图标记226(1)、226(2)、226(3)、226(4)、226(5)标示(以下所有“×”点,无论是否在图2中标示,都可统称为“第二点226”)。在示例220中,每个第二点226可以对应于在第二雷达传感器210检测到的无线电波,例如在从车辆206前方的某个对象上反射后。在可视化表示222中,检测到的第一点224和检测到的第二点226的位置通常可以对应于一个或多个检测到的对象或表面(例如,发射的无线电波从其反射的对象(或表面))的位置。正如可以理解的那样,第一雷达传感器208和第二雷达传感器210可以接收和/或生成关于环境的几种类型的信息,因此可视化表示222可以包括更多或更少的信息;可视化表示222仅仅是为了解释的目的。
可视化表示222示出了一些点在位置上看起来很接近,因此可以与单个对象相关联。例如,点224(2)-224(6)和点226(2)-226(4)位置紧密,例如在阈值距离内,并且在某些情况下,这些点可以被估计为指示单个对象,例如对象228。例如,数据关联组件134可以确定第一点224(2)-224(6)和第二点226(2)-226(4)可以被识别为代表对象228的点集群。在本文描述的示例中并且如上所述,点集群可以包括具有例如相似性的水平和/或程度的某种可能性以识别应当例如由自动驾驶车辆的规划***一起考虑的单个对象或对象的分组的多个点。在本公开内容的各个方面,并且如以上结合数据关联组件134所详细描述的,除了位置信息之外的信息可被用于确定点集群。此外,数据关联组件134可以考虑历史信息,例如车辆206和/或对象228的轨迹信息,以正确地将雷达回波与对象228相关联。
因此,在本公开的实施方案中,例如由数据关联组件134实现的操作218可以确定代表对象228的回波,例如因为这些点可以基于一个或多个不同类型的信息进行聚类为点集群,并且因为来自多个扫描和/或雷达传感器的传感器数据被用于创建该点集群。在图示的示例中,对象228可以是第二车辆106。在图2的示例中,对象228是使用来自两个雷达传感器208、210的传感器数据来识别的。然而,在本公开的另一个实施方案中,可以使用更少或更多的传感器。例如,在扫描在一阈值时间(例如,100毫秒或更短)内的示例中,对于来自同一传感器的两次扫描(例如如上所述的子扫描),可以获得根据上述技术的点集群。只要传感器被设置为捕获关于同一对象的信息,就可以应用本文所述的技术。此外,可在本文所述的技术中使用来自同一传感器的扫描,例如通过使用关于对象228和/或车辆206的信息对多个扫描的回波进行归一化或同步化。例如,下面讨论的图3示出了基于时间戳和历史信息同步雷达数据(如第一雷达数据214和/或第二雷达数据216)的示例过程。此外,尽管该示例实施方案是参照雷达传感器讨论的,但其他传感器模态,如声纳和/或激光雷达也可以从本文描述的技术中受益。
在操作230,过程200可以基于与对象相关联的回波来确定对象的偏航率和/或二维速度。伴随操作230的示例232包括可视化表示234,其包括车辆206(具有第一雷达传感器208和第二雷达传感器210)和与对象228相关联的三个点224(2)、224(5)、226(4)。在这个示例中,对象228可以是图1中的第二车辆106(且车辆206可以是图1中的车辆102)。可视化表示234还示出了坐标系236。
在可视化表示234中,为了表述清晰,第一点224(2)被表示为第一检测点Od1,第一点224(5)被表示为第二检测点Od2,第二点226(4)被表示为第三检测点Od3。虽然在示例232中只示出了来自雷达数据214、216的三个检测点,但本文描述的技术可以使用与对象228相关联的任何和所有的回波。如图所示,对象228可以有旋转中心O1,并且对象228的移动可以由x方向的速度,例如速度vx,y方向的速度,例如速度vy,和围绕旋转中心O1的偏航率ω来表征。在示例中,旋转中心O1可以被任意选择。例如,如上所述,在一些示例中,对象228可以被视为刚性体,这意味着偏航率在该刚性体的任何一点都是相同的。因此,虽然旋转中心O1被示出为一般位于对象228的中心位置(并与点224、226相隔),但在其他示例中可以使用任何点,包括但不限于点224、226之一。
通过将对象228视为刚性体,本文描述的技术,例如可以使用偏航率和二维速度确定组件128来实现的技术,可以使用多个回波来估计对象228的偏航率和/或速度。在图示的示例232中,第一检测点Od1的位置、第一雷达传感器208(其生成与第一点Od1相关联的回波)的位置和旋转中心O1的位置都是已知的。类似地,第二检测点Od2和第三回波Od3的位置也是已知的,第二雷达传感器210(其生成与第三点Od3有关的回波)的位置也是已知的。此外,第一检测点Od1、第二检测点Od2和第三检测点Od3中的每一个都有一个相关联的速度,例如多普勒速度。这些速度在本例中分别示出为Vd1dop、Vd2dop和Vd3dop。这些速度是沿着该点和感测该速度的传感器之间的方向的速度。例如,Vd1dop是沿从第一检测点Od1到第一雷达传感器208的方向的速度,Vd2dop是沿从第二检测点Od2到第一雷达传感器208的方向的速度,而Vd3dop是沿从第三检测点Od3到第二雷达传感器210的方向的速度。可以理解的是,速度Vd1dop、Vd2dop和Vd3dop的方向表明对象228正围绕旋转中心O1逆时针移动。
给定多个点,例如第一至第三检测点,操作230可以包括求解方程(1):
如图所示,方程(1)包括三个未知数(vx,vy,ω),它们描述了对象在x,y平面内的移动。在示例中,操作230可以包括同时求解与对象相关联并且由m个传感器测量的n个回波中的每一个的方程(1)。例如,可以针对图2中包括的三个点和/或与对象相关联并由两个传感器208、210捕获的任何其他回波同时求解方程(1)。在方程(1)中,ORm表示捕获回波n的雷达传感器的位置。还可以理解的是,由于旋转中心O1在本文描述的示例中是任意确定的,在一些示例中,方程(1)可以被参数化以求解旋转中心。
为了进一步说明,图2中点Od1的方程式(1)将被改写为方程式(2):
从概念上讲,方程(2)描述了与第一检测点Od1相关的多普勒速度在旋转中心上的投影。换句话说,接收到的多普勒速度等于x和y方向的速度与围绕旋转中心的旋转造成的影响的某个比例。因此,第一项代表在第一检测点Od1根据角度缩放的x方向的速度,第二项代表在第一检测点Od1的y方向的速度,以及第三项代表速度对旋转中心的(旋转)影响。具体来说,第三项表示旋转中心O1与第一检测点Od1之间的距离和从第一检测点Od1向雷达传感器位置延伸的单位向量的乘积。
如上所述,可以使用与对象228相关联的所有点,例如使用单个矩阵,来同时求解方程(1)。例如,方程(1)可以使用迭代估计技术来求解。在一些示例中,可以使用三个未知数的最小二乘法估计。在某些情况下,求解最小二乘法估计可能需要三个以上的回波,例如因为三个雷达回波可能无法为每个未知数提供唯一的解。同样在示例中,所述估计可能得益于随机抽样一致性(RANSAC)方法。例如,RANSAC逻辑可以通过拒绝相对大的数据集中的异常值来进行鲁棒的估计。通过非限制性的示例,RANSAC方法可以拒绝例如通过数据关联组件134最初与对象228相关联但实际上不是来自对象228的回波。例如,RANSAC方法可以拒绝来自对象228附近的地面的回波。当然,本公开不限于使用RANSAC以用于异常值拒绝。其他技术,包括但不限于迭代最小二乘法,也可以替代使用。
根据本文描述的技术,可以基于与对象228相关联的雷达数据来确定对象228的偏航率(例如瞬时偏航率)以及瞬时二维速度。在一些示例中,偏航率和/或二维速度可被用于预测对象228的轨迹或路径。例如,车辆206然后可以规划路径,以避开对象228的预测轨迹/路径,例如为了安全导航。如上所述,一些示例可以使用少至三个回波来确定偏航率,尽管其他示例可以使用对象228可用的尽可能多的回波。
图3包括文本和视觉流程图,以示出用于更新传感器数据(例如雷达传感器数据)以便在偏航率确定中使用的示例过程300。例如,过程300可以在雷达传感器数据上实施,以准备这样的雷达传感器数据用于过程200,尽管该过程300不必与过程200结合使用,并且如上所述,过程200可以在没有结合过程300讨论的技术的情况下实施。
在操作302,过程300可以包括接收关于车辆和/或对象的历史数据。伴随着操作302的示例304示出了关于车辆306的历史信息,该车辆可以是自动驾驶车辆(例如车辆102和/或车辆206),例如一个或多个传感器(例如雷达传感器108、110)可以被安装在其上。该历史信息还可以包括关于对象308的历史信息,该对象308可以是车辆306的环境中的对象。在某些情况下,对象308可以是第二车辆106和/或本文所述的对象228。示例304包括时间线310,其表示多个时间,例如T0、T-1,并示出数据312在示出的每个时间与车辆306相关联,并且数据314在示出的每个时间与对象308相关联。这两个时间仅用于说明,因为数据312、314可以在任何数量的时间和/或频率下生成和/或确定。此外,生成(或捕获)数据312的时间间隔可以与生成(或捕获)数据314的时间间隔不同。
在示例中,数据312和数据314可以分别包括关于车辆306和对象308的任何信息。例如,数据312和/或数据314可以是关于车辆/对象在特定时间的状态数据。数据312和/或数据314可以包括车辆306和/或对象308的位置和/或取向数据,例如在坐标系中的x、y、z位置和/或翻滚/俯仰/偏航中的任何一个或多个。因此,例如,在时间T-1的数据312可以识别车辆306在该时间的位置,而与时间T0相关联的数据312可以识别车辆306的当前(或最近检测的)位置。在其他实施方案中,数据312和/或数据314可以包括在给定时间与车辆306和/或对象308相关联的速度信息、加速度信息和/或任何其他信息(例如包括但不限于对象的估计中心、对象的估计范围,即长度、宽度、高度、预测轨迹、上述任何内容的相关置信度等)。在至少一些示例中,数据312和/或数据314可以包括车辆在给定时间的状态速度。数据312和/或数据314还可以包括关于相应车辆306或对象308的跟踪数据。
在操作316,过程300可以包括接收包括时间戳信息的雷达数据。在伴随着操作316的示例318中,示出了时间线310,并且在时间线310上示出了第一雷达数据320的实例和第二雷达数据322的实例。在一些示例中,第一雷达数据320可以对应于第一雷达数据122和/或第一雷达数据214,第二雷达数据322可以对应于第二雷达数据124和/或第二雷达数据216。在示例中,第一雷达数据320可以由设置在车辆306上的第一雷达传感器捕获,而第二雷达数据322可以由设置在车辆306上的第二雷达传感器捕获。同样在实施中,第一雷达数据320和第二雷达数据322可以包括对应于重叠视场的雷达回波。因此,第一雷达数据320和第二雷达数据322都可以包括与对象308相关联的雷达回波。在示出的示例中,第一雷达数据320与T-1和T0之间的第一时间TR1相关联(例如生成、输出等),并且第二雷达数据322与通常与时间T0一致的第二时间TR2相关联(例如由在其处的传感器生成、由在其处的传感器输出等)。与第一雷达数据320和/或第二雷达数据322相关联的时间可以根据与包括相应数据的一个或多个回波相关联的时间戳来确定,并仅用于说明。
在操作324,过程300可以包括使用时间戳信息和历史数据来估计雷达数据。在伴随操作324的示例326中,在时间TR1生成的第一雷达数据320以及与时间T-1和/或时间T0相关联的历史数据312、314可用于生成估计的第一雷达数据328。例如,估计的第一雷达数据328可以是在TR1捕获的回波向不同的,例如现在或最近的时间的投影或预测。例如,使用车辆306和对象308在时间T0和/或T-1的属性,本文所述技术可以确定变化对雷达回波的影响。考虑下述示例,在T-1,对象308是静止的,但在T0,车辆以2m/s(米/秒)的速度移动。当车辆308保持恒定的速度时,在时间TR1与第一雷达数据320相关联的雷达回波可能示出在第一位置的第一多普勒速度。然而,至少因为相对速度已经改变和/或因为对象308的位置已经移动,该速度在时间T0不再准确。因此,当从T-1到T0的速度和/或位置的变化是已知的,来自时间TR1的回波可以被“投影”到不同的时间,例如时间T0,并与在T0捕获的回波一起使用。在至少一个示例中,例如对于最后的已知状态(在示例中为T0)的状态速度、旋转中心和/或状态偏航率可以用作为确定投影的(估计的)第一雷达数据328的基础。尽管在本例中,第二雷达与确定车辆306和/或对象308的状态的时间T0基本同时,但第二雷达数据322可以不被投影。然而,在其他示例中,第二雷达数据322也可以被归一化或以其他方式投影到更近的时间,例如作为估计的第二雷达数据(未示出)。在类似的示例中,如果对象的速度和偏航率在先前的步骤中是已知的,那么测量之间的时间差(例如100ms)可以被用来近似当前时间中的速度将是多少,就像测量是同时进行的一样。
在操作330,过程300可以包括使用估计的雷达回波来确定瞬时偏航率和/或二维速度。在伴随操作330的示例332中,估计的第一雷达数据328和第二雷达数据322可用于确定在时间T0的偏航率和二维速度334。在该示例中,因为第二雷达数据322与时间T0相关联(例如在该时间生成),并且第一雷达数据320已被投影到时间T0(例如作为估计的第一雷达数据328),与第二雷达数据322相关联的回波和与估计的第一雷达数据328相关联的估计的回波被归一化到相同的时间。因此,本文所述的技术可以确定偏航率和/或二维速度,以确定与车辆相关联的参数。
因此,图3中示出的技术可用于增加在确定偏航率和/或二维速度时考虑的点的数量,如上述过程200中。如上所述,与对象相关联的点越多,可能与计算的偏航率和/或二维速度相关联的确定性程度就越高。此外,正如上文所讨论的,根据相对较大的回波集合来确定偏航率和/或二维速度可以提供增强的异常值拒绝,从而导致改进的准确性。
在图3的说明中,第一雷达数据320可以是由第一传感器(未示出)进行的单个扫描,第二雷达数据322可以是由第二传感器(未示出)进行的第二扫描。在示例中,这些扫描可以是来自相应传感器的时间上最接近的扫描,并且并且可以使用来自每个传感器的单一回波来确定这些参数,例如偏航率和/或二维速度。在这些示例中,过程300可以用来将来自不同传感器的数据归一化到共同时间。在其他示例中,第一雷达数据320和第二雷达数据322可以由同一传感器扫描的。本文所述的过程300可用于对来自一个或多个传感器的一个或多个扫描进行归一化。
图4示出了用于实施本文所述技术的示例***400的框图。在至少一个示例中,***400可以包括车辆402,其可以是与上述分别参照图1、图2和图3描述的车辆102、车辆206和/或车辆306相同的车辆。
车辆402可以包括一个或多个车辆计算设备404、一个或多个传感器***406、一个或多个发射器408、一个或多个通信连接410、至少一个直接连接412、一个或多个驱动模块414以及用户界面416。
(一个或多个)计算设备404可包括一个或多个处理器418和与一个或多个处理器418通信地耦合的存储器420。在图示的示例中,车辆402是自动驾驶车辆;然而,车辆402可以是任何其他类型的车辆。在图示的示例中,车辆计算设备404的存储器420存储了定位组件422、感知组件424、规划组件426、一个或多个***控制器428、数据关联组件430、偏航率和二维速度确定组件432和历史数据434。虽然在图4中为了说明的目的被描述为驻留在存储器420中,但是可以设想,定位组件422、感知组件424、规划组件426、一个或多个***控制器428、数据关联组件430、偏航率和二维速度确定组件432和/或历史数据434可以另外或替代地被车辆402访问(例如存储在远离车辆402的存储器上,或以其他方式被车辆访问)。
在至少一个示例中,定位组件422可以包括从(一个或多个)传感器***406接收数据以确定车辆402的位置和/或取向(例如x-位置、y-位置、z-位置、滚动、俯仰或偏航中的一个或多个)的功能。例如,定位组件422可以包括和/或请求/接收环境的地图,并且可以连续确定自动驾驶车辆在地图中的位置和/或取向。在一些示例中,定位组件422可以利用SLAM(即时定位与地图构建)、校准、定位与地图构建、同时技术、相对SLAM、束调整、非线性最小二乘法优化等来接收图像数据、激光雷达数据、雷达数据、IMU数据、GPS数据、车轮编码器数据等,以准确确定自动驾驶车辆的位置。在一些示例中,定位组件422可向车辆402的各种组件提供数据以确定自动驾驶车辆的初始位置,用于生成候选轨迹,如本文所讨论的。
在一些示例中,感知组件424可包括执行对象探测、分割和/或分类的功能。在一些示例中,感知组件424可以提供指示接近车辆402的实体的存在和/或将该实体分类为实体类型(例如汽车、行人、骑自行车的人、动物、建筑物、树、路面、路缘、人行道、未知等)的经处理的传感器数据。在附加和/或替代的示例中,感知组件424可以提供指示与探测到的实体和/或与该实体所处的环境相关联的一个或多个特征的经处理的传感器数据。在一些示例中,与实体相关联的特征可以包括但不限于x-位置(全局位置)、y-位置(全局位置)、z-位置(全局位置)、取向(例如滚动、俯仰、偏航)、实体类型(例如分类)、实体的速度、实体的加速度、实体的范围(大小)等等。与环境相关联的特征可以包括但不限于环境中另一实体的存在、环境中另一实体的状态、一天中的某个时间、一周中的某一天、季节、天气状况、黑暗/光亮的指示等。通过非限制性的示例,感知组件424可以接收根据本文所述技术确定的实体的偏航率。
通常,规划组件426可以确定车辆402要遵循的穿过环境的路径。例如,规划组件426可以确定各种路线和轨迹以及各种细节水平。例如,规划组件426可以确定从第一位置(例如当前位置)行进到第二位置(例如目标位置)的路线。就本讨论而言,路线可以是用于在两个位置之间行进的一系列路径点。作为非限制性的示例,路径点包括街道、十字路口、全球定位***(GPS)坐标等。此外,规划组件426可以生成用于沿着从第一位置到第二位置的路线的至少一部分引导自动驾驶车辆的指令。在至少一个示例中,规划组件426可以确定如何引导自动驾驶车辆从路径点序列中的第一路径点到路径点序列中的第二路径点。在一些示例中,该指令可以是轨迹或轨迹的一部分。在一些示例中,可以根据滚动时域技术基本上同时生成多条轨迹(例如在技术公差范围内),其中多条轨迹中的一条轨迹被选择用于车辆402的导航。
在至少一个示例中,车辆计算设备404可以包括一个或多个***控制器428,其可以被配置为控制车辆402的转向、推进、制动、安全、发射器、通信和其他***。这些***控制器428可以与(一个或多个)驱动模块414和/或车辆402的其他组件的相应***通信和/或对其进行控制。
数据关联组件430可以是上文详述的数据关联组件134。一般来说,数据关联组件430可以包括将例如来自雷达扫描的若干点与对象相关联以确定与各个对象相关联的多个回波的功能。例如,数据关联组件430可以接收包括多个点和与这些点相关联的信息的传感器数据。例如,聚类组件可以接收关于这些点的位置信息、信号强度信息、速度信息或类似信息,并根据所述信息的部分或全部来确定这些点之间的相似性。例如,数据关联组件430可以确定具有接近的位置邻近度以及在相邻点的阈值内的信号强度的若干点指示一对象并应被聚类。
在一些实施方案中,数据关联组件430可以关联来自多个扫描和/或传感器的若干点。相应地,聚类组件可以基于本文所述的标准将来自该第二扫描的若干点包括到集群中。在一些实施方案中,聚类组件可以利用算法处理(例如DBSCAN),计算机学习处理(例如K-means无监督学习),和/或其他聚类技术。
数据关联组件430还可以包括基于历史数据434将若干点相互关联和/或将若干点与若干对象关联的功能。例如,该历史数据可以包括与一对象相关联的一个或多个先前状态或参数,并且基于这些状态/参数,数据关联组件430可以确定雷达回波可能与该对象相关联。
偏航率和二维速度确定组件432可以是偏航率和二维速度确定组件128,如上文进一步详细描述的。一般来说,偏航率和二维速度确定组件432可以包括基于已知与该对象相关联的多个雷达回波来确定该对象的偏航率和/或二维速度的功能。例如,偏航率和二维速度确定组件432可以包括使用刚性体特性来估计刚性体在x-y平面内的动态的功能,例如x和y方向的速度和围绕z轴的旋转(偏航率)。
在本文描述的实施例中,偏航率和二维速度确定组件432还可以包括将雷达回波同步到共同时间的功能,例如使得在不同时间捕获的雷达回波可以用于求解瞬时偏航率。在一些示例中,偏航率和二维速度确定组件432可以例如使用历史数据434(其可以是跟踪信息)来确定车辆402和/或被感测对象的一个或多个先前状态,并基于这样的(一个或多个)状态变化所更新的先前的雷达回波。在至少一个示例中,历史数据434可以包括被感测对象的最近状态,其可以是被感测对象的最近速度。来自该最近状态之前的时间的雷达回波可以根据该最近状态被更新,例如通过假设该对象从先前状态到最近状态的恒定速度(例如最近状态速度)。更新先前获得的雷达回波可以包括将回波的新位置和/或新速度例如投影到更近的时间。
在至少一个示例中,(一个或多个)传感器***406可以包括本文所述的雷达传感器。同样在示例中,(一个或多个)传感器***406可以包括激光雷达传感器、超声波传感器、声纳传感器、位置传感器(例如GPS、指南针等)、惯性传感器(例如惯性测量单元(IMU)、加速计、磁力计、陀螺仪等)、相机(例如RGB、IR、强度、深度、飞行时间等)、麦克风、车轮编码器、环境传感器(例如温度传感器、湿度传感器、光传感器、压力传感器等)等。(一个或多个)传感器***406可以包括这些或其他类型的传感器中的每一个的多个实例。例如,正如本文所讨论的,本公开的实施方案可以使用来自具有重叠视场的多个传感器(例如多个雷达传感器)的多个扫描。因此,例如,自动驾驶车辆402可以包括若干雷达传感器。在附加的示例中,激光雷达传感器可以包括位于车辆402的角部、前部、后部、侧部和/或顶部的单个激光雷达传感器。作为另一示例,相机传感器可以包括布置在车辆402的外部和/或内部的不同位置的多个相机。(一个或多个)传感器***406可以向车辆计算设备404提供输入。此外或替代地,(一个或多个)传感器***406可以通过一个或多个网络436以特定的频率、在预定的时间段过后、以接近实时的方式向一个或多个计算设备发送传感器数据等。在一些示例中,历史数据434可以至少部分地基于一个或多个传感器***406。
(一个或多个)发射器408可以被配置为发射光和/或声音。在该示例中,(一个或多个)发射器408包括用于与车辆402的乘客通信的内部音频和视觉发射器。作为示例而非限制,内部发射器可以包括扬声器、灯、标志、显示屏幕、触摸屏、触觉发射器(例如振动和/或力反馈)、机械致动器(例如安全带张紧器、座椅***、头枕***等)诸如此类。在一些示例中,一个或多个内部发射器可用于向乘客发出信号,表明车辆正在接近或已经到达未创建地图的区域,在未创建地图的区域中的继续移动将需要许可和/或手动控制。另外或替代地,内部发射器可以提醒(一个或多个)乘客:远程操作者或其他外部来源(例如等待中的乘客)已经对车辆402进行手动控制。在该示例中的(一个或多个)发射器408也可包括外部发射器。作为示例而非限制,本例中的外部发射器包括用于发信号通知行进方向的灯或车辆动作的其他指示器(例如指示灯、标志、灯光阵列等)、以及用于与行人或其他附近车辆可听见地通信的一个或多个音频发射器(例如扬声器、扬声器阵列、喇叭等),其中一个或多个音频发射器包括声束转向技术。
(一个或多个)通信连接410可使车辆402与一个或多个本地或远程的其他(一个或多个)计算设备之间进行通信。例如,(一个或多个)通信连接410可以促进与车辆402上的(一个或多个)其他本地计算设备和/或(一个或多个)驱动模块414的通信。而且,(一个或多个)通信连接410可以允许车辆与附近的(一个或多个)其他计算设备(例如附近的其他车辆、交通信号等)进行通信。(一个或多个)通信连接410还使车辆402能够与远程操作计算设备或其他远程控制器进行通信。
(一个或多个)通信连接410可包括物理接口和/或逻辑接口,用于将车辆计算设备404连接至另一计算设备或网络(例如网络436)。例如,(一个或多个)通信连接410可实现基于Wi-Fi的通信,例如通过由IEEE 802.11标准规定的频率、诸如蓝牙的短程无线频率、蜂窝通信(例如2G、4G、4G、4G LTE、5G等)或能实现相应计算装置与(一个或多个)其他计算装置通过接口连接的任何合适的有线或无线通信协议。
在至少一个示例中,车辆402可以包括(一个或多个)驱动模块414。在一些示例中,车辆402可以具有单个驱动模块414。在至少一个示例中,如果车辆402具有多个驱动模块414,那么各个驱动模块414可以设置在车辆402的相对两端(例如前端和后端等)。在至少一个示例中,(一个或多个)驱动模块414可以包括一个或多个传感器***,以检测(一个或多个)驱动模块414和/或车辆402周围环境的状况。作为示例而非限制地,(一个或多个)传感器***可以包括用于感测驱动模块的车轮的旋转的一个或多个车轮编码器(例如旋转编码器)、用于测量驱动模块的取向和加速度的惯性传感器(例如惯性测量单元、加速度计、陀螺仪、磁力计等)、相机或其他图像传感器,用于声学地检测驱动模块周围的对象的超声波传感器、激光雷达传感器,雷达传感器等。一些传感器,如车轮编码器可以是(一个或多个)驱动模块414所特有的。在一些示例中,(多个)驱动模块414上的(一个或多个)传感器***406可以与车辆402的相应***(例如(一个或多个)传感器***406)重叠或对其补充。
(一个或多个)驱动模块414可包括多个车辆***,包括高压电池、推动车辆的马达、将电池的直流电转换为交流电以供其他车辆***使用的逆变器、包括转向马达和转向齿条(可以是电动的)的转向***、包括液压或电致动器的制动***、包括并保持控制的稳定性控制***、HVAC(高压交流电)***、照明(例如用于照亮车辆外部环境的头/尾灯的照明)以及一个或多个其他***(例如冷却***、安全***、车载充电***、诸如DC/DC转换器的其他电气组件、高压接头、高压电缆、充电***、充电端口等)。此外,(一个或多个)驱动模块414可包括驱动模块控制器,其可接收和预处理来自(一个或多个)传感器***406的数据以控制不同车辆***的操作。在一些示例中,驱动模块控制器可包括一个或多个处理器和与一个或多个处理器通信地耦合的存储器。存储器可存储一个或多个模块,以执行(一个或多个)驱动模块414的各种功能。此外,(一个或多个)驱动模块414也可包括一个或多个通信连接,能实现各驱动模块与一个或多个其他本地或远程计算装置的通信。
在至少一个示例中,直接连接412可以提供物理接口,以将一个或多个驱动模块414与车辆402的车身耦合。例如,直接连接412可以允许在(一个或多个)驱动模块414和车辆之间传递能量、流体、空气、数据等。在一些示例中,直接连接412可以进一步可拆卸地将(一个或多个)驱动模块414固定到车辆402的车身。
用户界面416可以包括一个或多个装置、按钮和/或控制面板,乘客可以通过其与车辆402通信。在非限制性示例中,车辆402中的乘客可以通过与用户界面416的(一种或多种)互动来控制车辆402的功能。在其他示例中,用户界面416可以包括被配置为接收口头或口语输入的麦克风。一般来说,用户界面416可以向乘客提供可以与(一个或多个)车辆计算设备404进行交互的手段。
在至少一个示例中,车辆402可以通过一个或多个网络436与一个或多个计算设备438进行通信。例如,如本文所述,车辆402可以通过(一个或多个)网络436与一个或多个计算设备438通信。在一些示例中,车辆402可以从(一个或多个)计算设备438接收控制信号。在其他示例中,车辆402可以将信息传输给(一个或多个)计算设备438。
(一个或多个)计算设备438可以被体现为车队管理***。在至少一个示例中,(一个或多个)计算设备438可以包括(一个或多个)处理器440和与(一个或多个)处理器440通信耦合的存储器442。在图示的示例中,(一个或多个)计算设备438的存储器442存储数据关联组件444以及偏航率和二维速度确定组件446。在至少一个示例中,数据关联组件444可以对应于数据关联组件430的至少一部分。例如,数据关联部件444可以接收来自多个雷达扫描的雷达数据,并确定表示数据中的对象的点集群。此外,偏航率和二维速度确定组件446可以对应于偏航率和二维速度确定组件432的至少一部分。例如,偏航率和二维速度确定组件446可以将(一个或多个)计算设备438配置为基于由数据关联组件444识别的雷达回波来确定对象的瞬时偏航率和/或二维速度。
图2、图3、图5和图6示出了根据本公开的实施例的示例过程。这些过程被示出为逻辑流程图,其中的每个操作代表可以用硬件、软件或其组合实现的操作序列。在软件方面,这些操作代表了存储在一个或多个计算机可读存储介质上的计算机可执行指令,当由一个或多个处理器执行时,所述计算机可执行指令执行所述的操作。一般来说,计算机可执行指令包括执行特定功能或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。所述操作的顺序不旨在被解释为一种限制,任何数量的所述操作可以以任何顺序和/或并行地组合起来以实现这些过程。
图5描绘了用于聚类传感器数据的示例过程500,例如来自多个雷达扫描的雷达数据。例如,如本文所述,过程500的部分或全部可以由图4中的一个或多个组件执行。例如,过程500的部分或全部可以由数据关联组件430和/或数据关联组件444和/或由偏航率和二维速度确定组件432和/或偏航率和二维速度确定组件446执行。
在操作502,过程500可以包括从第一雷达传感器接收第一雷达回波。如上所述,车辆402可以包括(一个或多个)传感器***406。在至少一个示例中,(一个或多个)传感器***406可以包括具有重叠视场的多个雷达传感器,例如以接收与车辆402的环境中的相同对象相关联的雷达回波。第一雷达回波可以包括在车辆402的环境中的对象的位置信息、对象的速度信息(例如多普勒速度)、信号强度(例如RCS测量结果)或类似信息中的一个或多个。
在操作504,过程500可以包括从第二雷达传感器接收第二雷达数据。例如,并且如本文所述,第二雷达传感器可以具有与第一雷达传感器的视场重叠的视场。与第一雷达传感器类似,第二雷达传感器可以生成位置信息、速度信息、信号强度信息或类似信息中的一个或多个作为第二雷达数据。
在操作506,过程500可以包括识别与对象相关联的第一雷达回波和第二雷达回波。例如,第一雷达回波可以是第一雷达数据的一部分,第二雷达回波可以是第二雷达数据的一部分。本文描述的技术可以使用聚类组件,例如数据关联组件134、430、444,将回波与环境中的对象相关联。作为非限制性的示例,(一个或多个)数据关联组件可以根据通用的速度、信号强度、位置或由雷达回波测量的或以其他方式与之相关联的任何其他物理特性将这些点进行分组。(一个或多个)数据关联组件还可以考虑历史信息,如对象和/或传感器的先前状态和/或轨迹。
在操作508,过程500可以包括生成估计的(一个或多个)回波,以将识别的回波同步到共同时间。例如,可以在不同时间生成例如与第一雷达数据相关联的第一雷达回波和例如与第二雷达数据相关联的第二雷达回波。在一些示例中,第一雷达传感器和第二雷达传感器可以有不同的扫描时间、频率等,从而使第一雷达数据和第二雷达数据不是在完全相同的时间被捕获。同样在示例中,第一雷达数据和/或第二雷达数据可以包括由相应的第一雷达传感器和/或第二雷达传感器进行的多次扫描。操作508可以修改或更新相对较早的回波,例如,在共同的、例如最近的时间同步所有的回波。在至少一个示例中,操作508可以使用车辆402和/或被感测的对象的历史数据,将时间较早的回波投影到更近的时间。在至少一些示例中,历史数据可以包括与车辆402和/或被感测对象相关联的位置、速度、加速度、偏航和/或偏航率的信息。使用历史数据或跟踪数据可允许附加的雷达回波与被感测的对象相关联,如本文进一步详述的,可提供被感测的对象的移动(例如偏航率、二维速度)的更鲁棒和/或准确的估计。在一些示例中,操作508可以包括与以上结合图3描述的那些技术类似的技术。
在操作510,过程500可以包括确定对象的旋转中心。在本文描述的示例中,可以通过将多普勒速度测量结果投影到对象的旋转中心来确定对象的偏航率。因此,操作510可以识别该旋转中心。因为本文描述的技术可以假设对象是刚性体,所以刚性体上的任何点都可以作为旋转中心。因此,旋转中心可以是任意的。在至少一些示例中,与第一雷达回波或第二雷达回波中的一个相关联的位置可以被确定为旋转中心。
在操作512,过程500可以包括根据第一雷达回波、第二雷达回波和/或估计的(一个或多个)回波来确定关于旋转中心的偏航率和/或二维速度。在本文所述的示例中,偏航率和二维速度确定组件128、432、446可以根据与对象相关联的雷达回波来确定对象的偏航率。例如,偏航率和二维速度确定组件128、432、446可以估计与该对象相关联的所有回波的关于旋转中心的方程(1)的解。在一些示例中,包括更多的点,例如在时间上同时存在的点以及估计的(一个或多个)点,可以提供偏航率和/或二维速度的更鲁棒的估计。例如,偏航率和二维速度可以用最小二乘法估计来求解。同样在示例中,在对所有测量的回波同时求解方程(1)时,RANSAC逻辑可用于去除异常值。
在操作514,过程500可以传输偏航率和/或二维速度用于预测和/或规划。例如,操作514可以包括将该对象的偏航率和/或二维速度发送到感知***(例如感知***424)、规划***(例如规划***426)和/或类似***中的一个或多个。在一些示例中,偏航率和/或二维速度可由车辆的一个或多个***使用,以确定通过该环境及相对于该对象的一个或多个轨迹。
图6描绘了用于至少部分地基于检测到的对象的偏航率来控制自动驾驶车辆的示例过程600,如本文所讨论的。例如,如本文所述,过程600的部分或全部可以由图4中的一个或多个组件执行。例如,过程600的部分或全部可以由定位组件422、感知组件424、规划组件426和/或(一个或多个)***控制器428执行。
在操作602,过程600可以包括接收与对象相关联的雷达数据。在一些示例中,该对象可由使用本文所述聚类技术确定的点集群来表征。同样在示例中,该雷达数据可以包括来自多个雷达传感器的多个雷达回波。在至少一个示例中,该雷达数据可包括至少三个雷达回波,并且在一些情况下优选地包括多于三个雷达回波。在这些回波中,至少有一个可以来自第一雷达传感器,一个或多个回波可以来自第二雷达传感器。在其他示例中,所有回波可以来自同一传感器,例如来自同一传感器的不同扫描。
在操作604,过程600可以包括确定对象的瞬时偏航率和/或二维速度。在一些示例中,雷达回波包括位置信息和速度,例如多普勒速度信息,并且这样的速度可以被投影到旋转中心。偏航率和/或二维速度可以用方程(1)来估计,例如,如上所述,通过对与对象相关联的所有回波同时求解方程(1)来确定三个未知数。在示例中,由于该对象被假定为刚性体,方程(1)。
在操作606,过程600可以包括基于偏航率、二维速度和附加数据,生成相对于对象的行进路径。例如,操作606生成的行进路径可以至少部分地基于该对象的预测运动,例如至少部分地基于偏航率和/或二维速度预测的。在一些示例中,该附加数据可以包括来自(一个或多个)传感器***406的传感器数据。
在操作608,过程600可以包括控制自动驾驶车辆遵循行进路径。在一些示例中,在操作608中生成的命令可以被转发到自动驾驶车辆上的控制器,以控制自动驾驶车辆来按照行进路径驱动。尽管在自动驾驶车辆的语境中进行讨论,但过程600以及本文所描述的技术和***可以应用于利用传感器的各种***。
本文描述的各种技术可以在诸如程序模块等存储在计算机可读存储中并由诸如附图中所示的一个或多个计算机或其他设备的处理器执行的计算机可执行指令或软件的上下文中实现。通常,程序模块包括例程、程序、对象、组件、数据结构等,并定义执行特定任务的操作逻辑,或实现特定的抽象数据类型。
其他架构可用于实现所描述的功能,并且旨在本公开的范围内。此外,尽管以上出于讨论的目的定义了特定的职责分配,但根据情况,各种功能和职责可能以不同的方式分配和划分。
同样地,软件可以以各种方式和使用不同的手段进行存储和分配,并且上述特定的软件存储和执行配置可以以许多不同的方式来改变。因此,实现上述技术的软件可以分布在各种类型的计算机可读介质上,而不限于具体描述的存储器的形式。
示例条款
A:一种示例性自动驾驶车辆包括:该车辆上的第一雷达传感器;该车辆上的第二雷达传感器;一个或多个处理器;以及存储处理器可执行指令的存储器,该(些)处理器可执行指令在由该一个或多个处理器执行时使得该车辆执行多个动作,该些动作包括:从该第一雷达传感器接收第一雷达回波;从该第二雷达传感器接收第二雷达回波;确定与该自动驾驶车辆的环境中的对象相关联的雷达回波的子集,该雷达回波的子集包括多个该第一雷达回波以及多个该第二雷达回波中的至少一个并与时间相关联;确定该对象的旋转中心;基于该雷达回波的子集来确定在该时间该对象围绕该旋转中心的偏航率和该对象的二维速度;以及至少部分地基于该偏航率,生成相对于该对象通过该环境的行进路径。
B:根据示例A的自动驾驶车辆,其中,多个该第一雷达回波中的一个第一雷达回波和多个该第二雷达回波中的一个第二雷达回波包括时间戳信息,该些动作进一步包括:接收关于该自动驾驶车辆或该对象中的至少一个的历史信息;以及至少部分地基于该历史信息和该时间戳信息,确定多个雷达回波中的单个雷达回波的估计的雷达数据,其中,至少部分地基于该估计的雷达数据来确定该偏航率。
C:根据示例A或示例B的自动驾驶车辆,其中,该时间是第一时间,并且该估计的雷达数据包括从该第一时间之前的第二时间到该第一时间的速度的投影。
D:根据示例A至示例C中任一项的自动驾驶车辆,其中:该第一雷达回波与在该时间捕获的第一雷达扫描相关联,并且该时间是第一时间,该第二雷达回波与在该第一时间之前的第二时间捕获的第二雷达扫描相关联,该历史信息包括在该第二时间的对象速度或对象偏航率中的至少一个,并且确定该估计的雷达数据包括:确定该对象从该第二时间到该第一时间的估计的轨迹;以及至少部分地根据该估计的轨迹来估计该第二雷达回波中至少一个的深度或速度中的至少一个。
E:根据示例A至示例D中任一项的自动驾驶车辆,其中,确定该偏航率包括:对于该雷达回波的子集中的一回波,确定与该回波相关联的位置和该第一雷达传感器或该第二雷达传感器之间的第一距离;以及针对该回波,确定该第一位置和与该旋转中心相关联的第二位置之间的第二距离;其中,该偏航率至少部分基于沿该第二距离的速度在该第一距离上的投影。
F:根据示例A至示例E中任一项的自动驾驶车辆,其中,生成所述行进路径包括至少部分地基于该偏航率来生成该对象的预测运动,所述动作进一步包括:控制该车辆沿着该行进路径行进。
G:一种示例方法,包括:从至少一个雷达传感器接收雷达回波,该雷达回波包括关于到该至少一个雷达传感器的第一距离的信息;确定与对象相关联的雷达回波的子集;对于该雷达回波的子集的各个回波,确定从与该各个回波相关联的位置到该对象的旋转中心的第二距离;以及至少部分地基于该第一距离和该第二距离,确定该对象围绕该旋转中心的偏航率。
H:根据示例G的方法,其中,确定该偏航率包括:在该第二距离上投影沿着该第一距离的单位向量。
I:根据示例G或示例H的方法,其中,所述确定该偏航率包括同时投影与该雷达回波子集中的各个雷达回波相关联的单位向量。
J:根据示例G至示例I中任一项的方法,进一步包括至少部分地基于该第一距离和该第二距离,确定该对象的二维速度。
K:根据示例G至示例J中任一项的方法,其中,确定与该对象相关联的雷达回波的子集包括至少部分地基于该些雷达回波的位置、该些雷达回波的速度或该些雷达回波的信号强度中的至少一项而聚类地生成雷达回波的集群。
L:根据示例G至示例K中任一项的方法,进一步包括:接收关于该对象的历史信息,该历史信息包括该对象的历史速度、历史加速度、历史偏航率、历史取向或历史位置中的至少一项,其中,确定该雷达回波的子集包括至少部分地基于该历史数据将雷达回波与该对象相关联。
M:根据示例G至示例L中任一项的方法,进一步包括:接收与该些雷达回波相关联的时间戳信息,其中,确定该雷达回波的子集包括基于该时间戳信息将该些雷达回波的子集确定为一时间段内的回波,并且其中,该偏航率是为该时间段确定的瞬时偏航率。
N:根据示例G至示例M中任一项的方法,进一步包括:接收包括该对象的先前确定的偏航率或速度中的一个或多个的历史信息;以及至少部分地基于该历史信息和该时间戳信息,确定该雷达回波的子集中的一个或多个雷达回波的估计的雷达数据,其中,至少部分地基于该估计的雷达数据来确定该偏航率。
O:根据示例G至示例N中任一项的方法,其中,对于具有标识第一时间的第一时间戳信息的雷达回波,该估计的雷达数据包括该雷达回波在不同于该第一时间的第二时间的估计的速度。
P:一种或多种示例性非暂时性计算机可读介质,其上存储有指令,当该指令被执行时,使一个或多个处理器执行包括以下内容的操作:从一个或多个雷达传感器接收雷达数据;确定与对象相关联的雷达数据的子集,该雷达数据的子集包括与第一时间相关联的雷达回波;接收关于该对象的历史信息,该历史信息包括该对象的先前速度、该对象的先前位置或该对象的先前偏航率中的至少一个;至少部分基于该历史信息和该雷达回波,确定估计的雷达回波,该估计的雷达回波包括该雷达回波到不同于该第一时间的第二时间的投影;以及至少部分基于该估计的雷达回波和与该雷达数据的子集相关联的多个附加雷达回波,确定该对象的偏航率。
Q:根据示例P的一种或多种非暂时性计算机可读介质,其中,确定与该对象相关联的该雷达回波的子集包括识别雷达回波的集群,该集群至少部分地基于该些雷达回波的位置、该些雷达回波的速度或该些雷达回波的信号强度中的至少一个。
R:根据示例P或示例Q的一种或多种非暂时性计算机可读介质,其中,该操作进一步包括:接收与该些雷达回波相关联的时间戳信息,其中,确定该雷达回波的子集包括基于该时间戳信息将该雷达回波的子集确定为一时间范围内的回波。
S:根据示例P至示例R中任一项的一种或多种非暂时性计算机可读介质,其中,确定该偏航率包括:对于该回波,确定与该回波相关联的第一位置和生成该回波的该一个或多个雷达传感器中的一个雷达传感器之间的第一距离;以及对于该回波,确定该第一位置和与该对象的旋转中心相关联的第二位置之间的第二距离;其中,该偏航率至少部分基于该回波沿该第二距离的速度在所述第一距离上的投影。
T:根据示例P至示例S中任一项的一种或多种非暂时性计算机可读介质,其中,该操作进一步包括至少部分地基于该估计的雷达回波和与该雷达数据的子集相关联的多个附加雷达回波来确定该对象的二维速度。
结论
虽然已经描述了本文说明的技术的一个或多个示例,但其各种改变、添加、组合和等同物被包括在本文说明的技术的范围内。
在对示例的描述中,参考了构成本文一部分的附图,附图通过说明的方式示出了所要求的主题的具体示例。应当理解的是,可以使用其他示例,并且可以进行改变或变更,例如结构上的改变。这样的示例、改变或变更不一定偏离预期的所要求的主题的范围。虽然本文的步骤可以按照一定的顺序呈现,但在一些情况下,可以改变顺序,以便在不同的时间或以不同的顺序提供某些输入,而不改变所述***和方法的功能。所公开的过程也可以以不同的顺序执行。此外,本文描述的各种计算不需要按照所公开的顺序执行,使用计算的变更顺序的其他示例也可以很容易地实现。除了重新排序之外,在某些情况下,计算也可以被分解成具有相同结果的子计算。
Claims (15)
1.一种自动驾驶车辆,包括:
所述车辆上的第一雷达传感器;
所述车辆上的第二雷达传感器;
一个或多个处理器;以及
存储有处理器可执行指令的存储器,当所述处理器可执行指令由所述一个或多个处理器执行时,使车辆执行多个动作,所述多个动作包括:
从所述第一雷达传感器接收第一雷达回波;
从所述第二雷达传感器接收第二雷达回波;
确定与所述自动驾驶车辆的环境中的对象相关联的雷达回波的子集,所述雷达回波的子集包括多个所述第一雷达回波和至少一个所述第二雷达回波并与时间相关联;
确定所述对象的旋转中心;
基于所述雷达回波的子集,确定在所述时间所述对象围绕所述旋转中心的偏航率和所述对象的二维速度;以及
至少部分地基于所述偏航率,生成相对于所述对象通过所述环境的行进路径。
2.根据权利要求1所述的自动驾驶车辆,其中,所述第一雷达回波中的一个第一雷达回波和所述第二雷达回波中的一个第二雷达回波包括时间戳信息,所述多个动作进一步包括:
接收关于所述自动驾驶车辆或所述对象中的至少一个的历史信息;以及
至少部分地基于所述历史信息和所述时间戳信息,确定所述雷达回波中的单个雷达回波的估计的雷达数据,
其中,至少部分地基于所述估计的雷达数据,确定所述偏航率。
3.根据权利要求2所述的自动驾驶车辆,其中,所述时间是第一时间,并且所述估计的雷达数据包括从所述第一时间之前的第二时间到所述第一时间的速度的投影。
4.根据权利要求2或权利要求3所述的自动驾驶车辆,其中:
所述第一雷达回波与在所述时间捕获的第一雷达扫描相关联,并且所述时间是第一时间,
所述第二雷达回波与在所述第一时间之前的第二时间捕获的第二雷达扫描相关联,
所述历史信息包括在所述第二时间的对象速度或对象偏航率中的至少一个,并且
确定所述估计的雷达数据包括:
确定从所述第二时间到所述第一时间的所述对象的估计的轨迹;以及
至少部分地根据所述估计的轨迹,估计所述第二雷达回波中至少一个的深度或速度中的至少一个。
5.根据权利要求1至权利要求4中任一项所述的自动驾驶车辆,其中,确定所述偏航率包括:
对于所述雷达回波的子集中的一回波,确定与所述回波相关联的位置和所述第一雷达传感器或所述第二雷达传感器之间的第一距离;以及
对于所述回波,确定所述第一位置和与所述旋转中心相关联的第二位置之间的第二距离;
其中,所述偏航率至少部分基于沿所述第二距离的速度在所述第一距离上的投影。
6.一种方法,包括:
从至少一个雷达传感器接收雷达回波,所述雷达回波包括关于到所述至少一个雷达传感器的第一距离的信息;
确定与对象相关联的所述雷达回波的子集;
对于所述雷达回波的子集中的各个回波,确定从与所述各个回波相关联的位置到所述对象的旋转中心的第二距离;以及
至少部分地基于所述第一距离和所述第二距离,确定所述对象围绕所述旋转中心的偏航率。
7.根据权利要求6所述的方法,其中,确定所述偏航率包括:将沿所述第一距离的单位向量投影在所述第二距离上。
8.根据权利要求7所述的方法,其中,确定所述偏航率包括:同时投影与所述雷达回波的子集中的各个雷达回波相关联的单位向量。
9.根据权利要求6至权利要求8中任一项所述的方法,进一步包括:至少部分地基于所述第一距离和所述第二距离,确定所述对象的二维速度。
10.根据权利要求6至权利要求9中任一项所述的方法,其中,确定与所述对象相关联的所述雷达回波的子集包括:至少部分地基于所述雷达回波的位置、所述雷达回波的速度、或所述雷达回波的信号强度中的至少一个,生成聚类的多个雷达回波的集群。
11.根据权利要求6至权利要求10中任一项所述的方法,进一步包括:
接收关于所述对象的历史信息,所述历史信息包括所述对象的历史速度、历史加速度、历史偏航率、历史取向或历史位置中的至少一个,
其中,确定所述雷达回波的子集包括:至少部分地基于所述历史数据,将雷达回波与所述对象相关联。
12.根据权利要求6至权利要求11中任一项所述的方法,进一步包括:
接收与所述雷达回波相关联的时间戳信息,
其中,确定所述雷达回波的子集包括:基于所述时间戳信息,将所述雷达回波的子集确定为一时间段内的回波,并且
其中,所述偏航率是针对所述时间段确定的瞬时偏航率。
13.根据权利要求12所述的方法,进一步包括:
接收包括先前确定的所述对象的偏航率或速度中的一个或多个的历史信息;以及
至少部分地基于所述历史信息和时间戳信息,确定所述雷达回波的子集中的一个或多个雷达回波的估计的雷达数据,
其中,至少部分地基于所述估计的雷达数据,确定所述偏航率。
14.根据权利要求13所述的方法,其中,对于具有识别第一时间的第一时间戳信息的雷达回波,所述估计的雷达数据包括所述雷达回波在不同于所述第一时间的第二时间的估计的速度。
15.一种或多种非暂时性计算机可读介质,其上存储有指令,当所述指令被执行时,使一个或多个处理器执行根据权利要求6至权利要求14中任一项所述的方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/416,686 | 2019-05-20 | ||
US16/416,686 US11275173B2 (en) | 2019-05-20 | 2019-05-20 | Yaw rate from radar data |
PCT/US2020/033608 WO2020236819A1 (en) | 2019-05-20 | 2020-05-19 | Yaw rate from radar data |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113853533A true CN113853533A (zh) | 2021-12-28 |
Family
ID=73456773
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080037264.8A Pending CN113853533A (zh) | 2019-05-20 | 2020-05-19 | 来自雷达数据的偏航率 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11275173B2 (zh) |
EP (1) | EP3973320A4 (zh) |
JP (1) | JP2022532920A (zh) |
CN (1) | CN113853533A (zh) |
WO (1) | WO2020236819A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114966573A (zh) * | 2022-07-05 | 2022-08-30 | 扬州宇安电子科技有限公司 | 一种信道干扰信号识别引导***及方法 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7354765B2 (ja) * | 2019-10-25 | 2023-10-03 | 株式会社デンソー | 移動体警報装置 |
US12012127B2 (en) | 2019-10-26 | 2024-06-18 | Zoox, Inc. | Top-down view object detection and tracking |
US11507092B2 (en) * | 2019-12-27 | 2022-11-22 | Woven Planet North America, Inc. | Sequential clustering |
US11663726B2 (en) | 2020-01-31 | 2023-05-30 | Zoox, Inc. | Object velocity and/or yaw rate detection and tracking |
US11609321B2 (en) * | 2020-02-19 | 2023-03-21 | Zoox, Inc. | Radar-tracked object velocity and/or yaw |
US11536831B2 (en) * | 2020-06-15 | 2022-12-27 | Gm Cruise Holdings Llc | Systems and methods for high velocity resolution high update rate radar for autonomous vehicles |
US12030507B2 (en) * | 2020-06-29 | 2024-07-09 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Method and system for predicting a trajectory of a target vehicle in an environment of a vehicle |
US11841439B2 (en) * | 2020-11-02 | 2023-12-12 | Waymo Llc | Point cloud segmentation using a coherent lidar for autonomous vehicle applications |
CN112816976B (zh) * | 2021-01-29 | 2023-05-16 | 三一海洋重工有限公司 | 集装箱箱门朝向检测方法及其***、存储介质及电子设备 |
EP4036602A1 (en) * | 2021-01-29 | 2022-08-03 | Aptiv Technologies Limited | Radar data processing for vehicle ego-motion estimation |
US20230204749A1 (en) * | 2021-12-23 | 2023-06-29 | Gm Cruise Holdings Llc | Radar sensor processing chain |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102004059596B4 (de) * | 2004-12-09 | 2007-11-08 | Daimlerchrysler Ag | Verfahren zum Ermitteln eines Knickwinkels eines Fahrzeuggespanns sowie entsprechende Vorrichtung |
US9983301B2 (en) * | 2015-10-02 | 2018-05-29 | Delphi Technologies, Inc. | Automated vehicle radar system to determine yaw-rate of a target vehicle |
US10088553B2 (en) | 2016-03-14 | 2018-10-02 | GM Global Technology Operations LLC | Method of automatic sensor pose estimation |
CN106405555B (zh) | 2016-09-23 | 2019-01-01 | 百度在线网络技术(北京)有限公司 | 用于车载雷达***的障碍物检测方法和装置 |
DE102017206436A1 (de) | 2017-04-13 | 2018-10-18 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zur Erkennung und/oder Verfolgung von Objekten |
EP3415945B1 (en) * | 2017-06-12 | 2024-01-10 | Aptiv Technologies Limited | Method of determining the yaw rate of a target vehicle |
US11280896B2 (en) * | 2017-06-16 | 2022-03-22 | FLIR Belgium BVBA | Doppler GNSS systems and methods |
-
2019
- 2019-05-20 US US16/416,686 patent/US11275173B2/en active Active
-
2020
- 2020-05-19 EP EP20810322.6A patent/EP3973320A4/en active Pending
- 2020-05-19 WO PCT/US2020/033608 patent/WO2020236819A1/en unknown
- 2020-05-19 JP JP2021569050A patent/JP2022532920A/ja active Pending
- 2020-05-19 CN CN202080037264.8A patent/CN113853533A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114966573A (zh) * | 2022-07-05 | 2022-08-30 | 扬州宇安电子科技有限公司 | 一种信道干扰信号识别引导***及方法 |
CN114966573B (zh) * | 2022-07-05 | 2023-05-26 | 扬州宇安电子科技有限公司 | 一种信道干扰信号识别引导***及方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3973320A1 (en) | 2022-03-30 |
JP2022532920A (ja) | 2022-07-20 |
US20200371228A1 (en) | 2020-11-26 |
EP3973320A4 (en) | 2023-06-14 |
US11275173B2 (en) | 2022-03-15 |
WO2020236819A1 (en) | 2020-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11054515B2 (en) | Radar clustering and velocity disambiguation | |
US11275173B2 (en) | Yaw rate from radar data | |
US11270457B2 (en) | Device and method for detection and localization of vehicles | |
US11255958B2 (en) | Recognizing radar reflections using velocity information | |
US11965956B2 (en) | Recognizing radar reflections using position information | |
US11648939B2 (en) | Collision monitoring using system data | |
US20230242149A1 (en) | Radar object classification based on radar cross-section data | |
JP7464616B2 (ja) | 速度および位置情報を使用するレーダ反射の認識 | |
US20230003872A1 (en) | Tracking objects with radar data | |
US11954877B2 (en) | Depth dependent pixel filtering | |
US11994591B2 (en) | Determining depth using multiple modulation frequencies | |
EP4285083A1 (en) | Methods and system for generating a lane-level map for an area of interest for navigation of an autonomous vehicle | |
US11861857B2 (en) | Determining pixels beyond nominal maximum sensor depth | |
US11953590B1 (en) | Radar multipath detection based on changing virtual arrays | |
US20230003871A1 (en) | Associating radar data with tracked objects | |
CN117651880A (zh) | 雷达数据分析和隐藏对象检测 | |
CN117545674A (zh) | 用于识别路缘的技术 | |
EP4187277A1 (en) | A method to detect radar installation error for pitch angle on autonomous vehicles | |
WO2023278771A1 (en) | Associating radar data with tracked objects | |
WO2022125612A1 (en) | Determining depth using multiple modulation frequencies | |
EP4260154A1 (en) | Localization based on semantic objects | |
WO2023150430A1 (en) | Distance representation and encoding | |
CN117813228A (zh) | 使用无遮挡传感器发射确定占用 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |