CN112752693B - 车辆数据弹道估计 - Google Patents

车辆数据弹道估计 Download PDF

Info

Publication number
CN112752693B
CN112752693B CN201880094706.5A CN201880094706A CN112752693B CN 112752693 B CN112752693 B CN 112752693B CN 201880094706 A CN201880094706 A CN 201880094706A CN 112752693 B CN112752693 B CN 112752693B
Authority
CN
China
Prior art keywords
vehicle
vehicle data
model
time
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880094706.5A
Other languages
English (en)
Other versions
CN112752693A (zh
Inventor
扎法尔·塔吉罗夫
陈祺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Voyager Technology Co Ltd
Original Assignee
Beijing Voyager Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Voyager Technology Co Ltd filed Critical Beijing Voyager Technology Co Ltd
Publication of CN112752693A publication Critical patent/CN112752693A/zh
Application granted granted Critical
Publication of CN112752693B publication Critical patent/CN112752693B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/107—Longitudinal acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0808—Diagnosing performance data
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0028—Mathematical models, e.g. for simulation
    • B60W2050/0031—Mathematical model of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请的实施例提供了用于弹道估计车辆数据的***和方法。该***可包括通信接口，该通信接口被配置为接收在第一时间点获取的第一车辆测量值和在第二时间点获取的第二车辆测量值。该***可进一步包括至少一个处理器。至少一个处理器可被配置为基于第一车辆测量值来计算第一组车辆数据，并且基于第一组车辆数据和模型来估计第二时间点的第二组车辆数据。至少一个处理器可进一步被配置为基于第二车辆测量值来计算第三组车辆数据。至少一个处理器还可被配置为基于第二组车辆数据与第三组车辆数据之间的比较来更新模型。该***还可包括配置为存储第一车辆测量值、第二车辆测量值、模型、第一组车辆数据、第二组车辆数据及第三组车辆数据的存储器。

Description

车辆数据弹道估计
相关申请
本申请要求享有2018年7月19日提交的美国专利申请No.16/039,329的优先权权益，其内容通过引用合并于此。
技术领域
本申请涉及用于估计车辆数据的***和方法，并且更具体地，涉及使用模型来弹道估计车辆数据的***和方法，该模型利用计算的数据和估计的数据之间的差来自适应地更新。
背景技术
自动驾驶技术依赖于车辆数据的大规模计算。例如，自动驾驶车辆需要捕获和处理各种车辆数据以获得执行诸如定位、环境识别、决策和控制之类的功能所必需的车辆数据。例如，车辆可能配备有多个集成传感器，例如光检测和测距(LiDAR)LiDAR、全球定位***(GPS)接收器、一个或以上惯性测量单元(IMU)传感器、RADAR传感器、Sonic和Ultra声波传感器和一个或以上摄像头，用于捕获数据，例如图像/视频、点云、车辆姿态信息等。
因为自动驾驶汽车通常必须实时做出决策。因此，尽快准备好计算结果通常很关键。然而，由于计算限制，这是困难的。例如，处理来自车载摄像机的视频馈送可能花费相对较长的时间(例如200-300ms)，但是必须在不到100ms的时间内做出决定。为了提高数据处理速度，一种方法是使用功能强大的计算单元。但是，这种方法通常是非常昂贵的解决方案，并且扩展性有限。另一种方法是使用精度较低但较快的处理算法来识别环境的下一个状态。例如，在计算完成之前，可以使用卡尔曼滤波器或递归神经网络来预测***的行为。但是，这种方法通常在计算上很昂贵，并且需要很多先验知识才能正常运行。如果先验知识不准确，则所有将来的预测都将变得错误，从而导致意外行为。该方法还可能受制于有限的统计性能(例如，较高的错误率、较低的精度等)，这在某些情况下可能是有问题的。因此，需要一种能够快速且准确地估计车辆数据的改进的***和方法。
本申请的实施例通过使用模型来弹道估计车辆数据的***和方法来解决上述问题，该模型使用所计算的数据和所估计的数据之间的差来自适应地更新。
发明内容
本申请的实施例提供一种用于弹道估计车辆数据的***。该***可以包括通信接口，该通信接口被配置为接收在第一时间点获取的第一车辆测量值和在第二时间点获取的第二车辆测量值。该***可以进一步包括至少一个处理器。所述至少一个处理器可以被配置为基于所述第一车辆测量值来计算第一组车辆数据，并且基于所述第一组车辆数据和模型来估计所述第二时间点的第二组车辆数据。所述至少一个处理器可以进一步被配置为基于所述第二车辆测量值来计算第三组车辆数据。所述至少一个处理器还可以被配置为基于所述第二组车辆数据与所述第三组车辆数据之间的比较来更新所述模型。该***还可包括配置为存储所述第一车辆测量值、所述第二车辆测量值、所述模型、所述第一组车辆数据、所述第二组车辆数据及所述第三组车辆数据的存储器。
本申请的实施例还提供一种用于弹道估计车辆数据的方法。该方法可以包括经由通信接口接收在第一时间点获取的第一车辆测量值和在第二时间点获取的第二车辆测量值。该方法可以进一步包括由至少一个处理器基于所述第一车辆测量值计算第一组车辆数据，以及由所述至少一个处理器基于所述第一组车辆数据和模型估计所述第二时间点的第二组车辆数据。该方法还可以进一步包括由所述至少一个处理器基于所述第二车辆测量值计算第三组车辆数据。该方法还可以包括由所述至少一个处理器基于所述第二组车辆数据与所述第三组车辆数据之间的比较来更新所述模型。
本申请的实施例还提供一种其上存储有指令的非暂时性计算机可读介质，该指令在由一个或以上处理器执行时使一个或以上处理器执行用于弹道估计车辆数据的方法。该方法可以包括接收在第一时间点获取的第一车辆测量值和在第二时间点获取的第二车辆测量值。该方法可以进一步包括基于所述第一车辆测量值计算第一组车辆数据，以及基于所述第一组车辆数据和模型来估计所述第二时间点的第二组车辆数据。该方法可以进一步包括基于所述第二车辆测量值计算第三组车辆数据。该方法还可以包括基于所述第二组车辆数据和所述第三组车辆数据之间的比较来更新所述模型。
须知，前面的一般描述和下面的详细描述都只是示例性和说明性的，并不限制本发明，如所要求的。
附图说明
图1示出了根据本申请实施例的配备有传感器的示例性车辆的示意图。
图2示出了根据本申请的实施例的用于弹道估计车辆数据的示例***器的框图。
图3示出了根据本申请实施例的用于弹道估计车辆数据的示例性方法的流程图。
图4示出了根据本申请实施例的示例性车辆数据估计过程。
图5示出了根据本申请实施例的基于视频馈送的示例性车辆数据估计过程。
具体实施方式
现在将详细参考示例性实施例，其示例在附图中示出。在所有附图中，将尽可能使用相同的附图标记表示相同或相似的部件。
图1示出了根据本申请的实施例的具有至少两个传感器140和150的示例性车辆100的示意图。与一些实施例一致，车辆100可以被配置为由占用车辆的操作者进行远程控制和/或自主操作。可以预计，车辆100可以是电动车辆、燃料电池车辆、混合动力车辆或常规的内燃机车辆。车辆100可具有车身110和至少一个车轮120。车身110可以是任何车身样式，例如跑车、轿跑车、轿车、皮卡车、旅行车、运动型多用途车(SUV)、小型货车或转换货车。在一些实施例中，车辆100可包括一对前轮和一对后轮，如图1所示。但是，可以预计，车辆100可以具有使车辆100能够四处移动的更多或更少的车轮或等效结构。车辆100可以被配置为全轮驱动(AWD)、前轮驱动(FWR)或后轮驱动(RWD)。
如图1所示，车辆100可以配备有通过安装结构130安装到车身110的传感器140。安装结构130可以是安装或以其他方式附接到车辆100的主体110的机电装置。在一些实施例中，安装结构130可以使用螺钉、粘合剂或其他安装机构。车辆100可以使用任何合适的安装机构在车身110内部或外部另外配备有传感器150。可以预计，传感器140或150可以被安装在车辆100上的方式不受图1所示示例的限制，并且可以根据140/150和/或车辆100的传感器的类型进行修改以实现理想的感测性能。
在一些实施例中，传感器140和150可以被配置为在车辆100沿着轨迹行进时捕获数据。根据本申请，传感器140可以是被配置为拍摄周围环境的照片或视频的相机。例如，相机可以是单目或双目相机。在一些实施例中，传感器140也可以是被配置为扫描周围环境并获取点云的LiDAR。LiDAR通过用脉冲激光照射目标并用传感器测量反射脉冲来测量到目标的距离。然后可以使用激光返回时间和波长的差异来制作目标的数字3-D表示。用于LiDAR扫描的光可以是紫外线、可见光或近红外光。在一些实施例中，LiDAR可以捕获点云。点云数据可能包含在其周围对象的外表面上的一组数据点。可以处理点云以构建对象的3-D模型。在一些实施例中，传感器140也可以是其他类型的传感器，例如雷达传感器、声波传感器和超声波传感器。
当车辆100沿着轨迹行驶时，传感器140可以连续地捕获数据。在特定时间点捕获的每组场景数据称为数据帧。例如，传感器140可以记录由在多个时间点捕获的多个图像帧组成的视频。传感器140还可以在多个时间点捕获点云帧。可以将数据帧实时地(例如，通过流传输)发送到服务器160。
如图1所示，车辆100可以额外配备传感器150。在一些实施例中，传感器150可以包括定位传感器，例如一个GPS接收机和一个或以上IMU传感器。通过组合GPS接收机和IMU传感器，传感器150可以在车辆100行进时提供车辆100的实时姿态信息，包括每个时间点处车辆100的位置和方向(例如欧拉角)。在一些实施例中，传感器150可以在传感器140捕获图像帧的相同时间点进行车辆测量，例如车辆姿态信息。
与本申请一致，传感器140和150可以与服务器160通信。在一些实施例中，服务器160可以是本地物理服务器、云服务器(如图1所示)、虚拟服务器、分布式服务器或任何其他合适的计算设备。服务器160可以经由网络与传感器140、150和/或车辆100的其他组件通信，该网络包括诸如无线局域网(WLAN)、广域网(WAN)、诸如无线电波、蜂窝网络、卫星通信网络和/或本地或短距离无线网络(例如，蓝牙TM)之类的无线网络。
与本申请一致，服务器160可以负责基于传感器测量值来估计车辆数据。在一些实施例中，服务器160可以包括至少两个处理单元以并行处理传感器测量值。至少一个处理器单元被配置为基于传感器测量值使用常规方法来计算车辆数据，例如，从传感器140捕获的视频馈送的图像帧中提取图像识别车辆速度、加速度、航向、颜色、制造商等。另一个处理器单元被配置为使用快速方法从传感器测量值估计车辆数据。在一些实施例中，该快速方法使用经训练比常规方法更快地预测车辆数据的预测模型。例如，处理器单元可以基于先前时间点的车辆数据和指定不同图像帧之间的车辆数据的行为的预测模型来预测车辆数据。在一些实施例中，快速方法可以实时预测车辆数据。
在一些实施例中，预测模型可以是由多个参数定义的学习网络。因为预测模型基于现有车辆数据来预测未来的车辆数据，所以由模型引起的误差可能会随着时间累积。为了确保预测模型的准确性并减少累积误差，可以使用通过常规方法计算出的车辆数据来更新模型。在一些实施例中，可以比较计算出的车辆数据(通过常规方法)和估计出的车辆数据(通过快速方法)。例如，可以反馈两者之间的差以更新预测模型的参数。
尽管本申请描述了基于传感器测量值的车辆数据的估计，但是可以预期，所公开的***和方法可以适于估计与传感器测量值无关或与车辆无关的其他数据。另外，所公开的***和方法还可以适于执行除数据估计之外的操作。
例如，图2示出了根据本申请的实施例的用于弹道估计车辆数据的示例***器160的框图。与本申请一致，服务器160可以从传感器140和传感器150接收测量值。基于传感器的测量值，服务器160可以通过双处理器方法来估计车辆数据。
在一些实施例中，如图2所示，服务器160可以包括通信接口202、处理器204、内存206和存储器208。在一些实施例中，服务器160可以在单个设备中具有不同的模块，例如集成电路(IC)芯片(实现为专用集成电路(ASIC)或现场可编程门阵列(FPGA))，或者是单独的具有专用功能的设备。在一些实施例中，服务器160的一个或以上组件可以位于云中，或者可以替代地位于单个位置(诸如在车辆100或移动设备内部)或分布式位置。服务器160的组件可以在集成设备中，或者分布在不同的位置，但是通过网络(未示出)彼此通信。
通信接口202可以通过通信电缆、无线局域网(WLAN)、广域网(WAN)、诸如无线电波、蜂窝网络和/或本地或短距离无线网络(例如BluetoothTM)的无线网络或其他通信方法与传感器140、150发送数据和接收数据。在一些实施例中，通信接口202可以是集成服务数字网络(ISDN)卡、电缆调制解调器、卫星调制解调器或提供数据通信连接的调制解调器。又例如，通信接口202可以是局域网(LAN)卡，以提供到兼容LAN的数据通信连接。无线链接也可以由通信接口202实现。在这样的实施方式中，通信接口202可以经由网络发送和接收携带表示各种类型信息的数字数据流的电、电磁或光信号。
与一些实施例一致，通信接口202可以接收数据，例如由传感器140捕获的视频馈送203。通信接口202可以进一步将接收到的数据提供给存储器208进行存储或者提供给处理器204进行处理。
处理器204可以包括任何适当类型的通用或专用微处理器、数字信号处理器或微控制器。处理器204可以被配置为专用于估计车辆数据的单独的处理器模块。备选地，处理器204可以被配置为共享处理器模块，用于执行与估计车辆数据生成无关的其他功能。
如图2所示，处理器204可以包括多个模块，诸如第一处理单元210、第二处理单元212和模型更新单元214等。这些模块(以及任何相应的子模块或子单元)可以是处理器204的硬件单元(例如，集成电路的部分)，其被设计为与处理器204通过执行至少一部分程序实现的其他组件或软件单元一起使用。该程序可以存储在计算机可读介质上，并且当由处理器204执行时，它可以执行一个或以上功能。尽管图2示出了单元210-214全都在一个处理器204内，但是可以预计，这些单元可以分布在彼此靠近或远离的多个处理器之间。
第一处理单元210可以被配置为基于从传感器140和150接收的传感器测量值来计算车辆数据。第一处理单元210的计算以非常高的精度提供结果，但是可能很慢。例如，时间点t1的计算结果可能要到时间点t5才可用。因此，第一处理器单元210的计算不是实时的。
在一些实施例中，第一处理单元210可以进一步被配置为计算结果的当前行为的模型，并且与第二处理器单元212共享该模型。在一些实施例中，模型可以是由多个模型参数定义的学习网络。
第二处理单元212可以被配置为基于先前时间点的车辆数据使用模型来估计下一时间点的车辆数据。例如，可以使用模型F估算在时间点tk处的车辆数据V(tk)为V(tk)＝F(V(tk-1)，a，b，c)，其中V(tk-1)是在时间点tk-1处的车辆数据以及a、b和c是模型参数。第二处理单元212未必连接到外部传感器(即，传感器140和150)，但是仅尝试基于第一处理单元210共享的结果来预测结果。因为使用模型的数据处理可能涉及少得多的计算，所以第二处理单元212执行的估计可能非常快。因此，时间点tk的计算结果可以实时获得，例如在时间点tk之后不久。
模型更新单元214可以被配置为更新模型。在一些实施例中，可以在来自第一处理单元210的下一个计算结果可用时更新模型。在一些实施例中，可以基于第一处理单元210的计算结果与第二处理单元214的相应估计结果之间的差来更新模型。例如，一旦在时间点t5获得了针对时间点t2的计算出的车辆数据VV(t2)，则其与针对时间点t2的估算出的车辆数据之差V(t2)|VV(t2)-V(t2)|可以计算出来。可以基于|VV(t2)-V(t2)|来更新模型F。在一些实施例中，可以更新模型参数a、b和c。更新的模型可以替换第二处理单元212正在使用的模型。
内存206和存储器208可以包括任何适当类型的大容量存储器，以用于存储处理器204可能需要操作的任何类型的信息。内存206和存储器208可以是易失性或非易失性的、磁性的、半导体的、带的、光学的、可移动的、不可移动的或其他类型的存储设备或有形的(即，非暂时性的)计算机可读介质，包括但不限于ROM、闪存、动态RAM和静态RAM。内存206和/或存储器208可以被配置为存储可以由处理器204执行以执行本文公开的车辆数据估计功能的一个或以上计算机程序。例如，内存206和/或存储器208可以被配置为存储程序，该程序可以由处理器204执行以使用计算出的车辆数据自适应地更新的模型来实时估计车辆数据。
内存206和/或存储器208可以进一步被配置为存储处理器204所使用的信息和数据。例如，内存206和/或存储器208可以被配置为存储由传感器140和150以及高清晰度地图捕获的各种类型的数据(例如，图像帧、姿势信息等)。内存206和/或存储器208还可以存储中间数据，例如第一处理单元210的计算数据、第二处理单元212的估计数据，以及预测模型及其参数等。各种类型的数据可以永久存储、定期删除或在处理完每帧数据后立即忽略。
图3示出了根据本申请实施例的用于弹道估计车辆数据的示例性方法300的流程图。在一些实施例中，方法300可以由服务器160实现，服务器160除其他外包括处理器204。然而，方法300不限于该示例性实施例。方法300可以包括如下所述的步骤S302-S318。应当理解，一些步骤对于执行本文提供的公开可以是可选的。此外，某些步骤可以同时执行，或者以与图3所示顺序不同的顺序执行。
在步骤S302中，可以在时间点t1接收车辆测量值M1。在一些实施例中，车辆测量值M1可以是由传感器140捕获的图像数据或由传感器150获取的车辆姿态数据。在步骤S304中，第一处理单元210可以使用车辆测量值M1来计算一组车辆数据VV1。例如，基于从传感器140接收的图像数据，第一处理单元210可以识别车速、加速度、航向、颜色和制造商等。
在步骤S306中，第二处理单元212可以估计与时间点t2相对应的一组车辆数据V2。可以使用由第一处理单元210提供的模型F来估计V2。例如，V2＝F(VV1，a，b，c)。在步骤S308中，可以在时间点t2接收车辆测量值M2。与M1相似，车辆测量M2可以是传感器140捕获的图像数据或传感器150获取的车辆姿态数据。
在步骤S310中，第一处理单元210可以使用车辆测量值M2来计算一组车辆数据VV2。在一些实施例中，该计算可以涉及大量的计算。因此，VV2的计算结果可能要等到比时间点t2晚很多时才可用。例如，VV2可以在时间点t5可用。
在步骤S312中，模型更新单元214可以在VV2可用时将VV2与V2进行比较。在一些实施例中，VV2和V2之间的差可以被计算为例如|VV2-V2|。可以预计诸如||VV(t2)-V(t2)||的二阶差或者可以计算出更高的阶差。该差表示估计的车辆数据中的累积误差。
在步骤S314中，将差与预定阈值进行比较。如果差(即，误差)足够大(S314：是)，则方法300进行到步骤S316以更新模型F。在一些实施例中，可以使用在步骤S312中确定的差来更新模型参数，例如模型F的a、b和c。可以使用各种算法来更新模型参数，例如随机梯度下降(也称为“爬坡”算法)。更新的模型F可以用于估计后续的车辆数据。因此，每几个时间点自适应地校正累积的估计误差。
如果差(即，误差)低于阈值(S314：否)，则方法300进行到步骤S318，以在时间点t2将估计的车辆数据V2替换为更准确的计算数据VV2。在一些实施例中，车辆数据V3、V4和V5等可以根据更准确的V2使用模型F重新计算。步骤S318可以是可选的。
图4示出了根据本申请的实施例的示例性车辆数据估计过程400。过程400基于位置测量来估计车辆速度和加速度数据。例如，车辆位置可以由传感器150获取并由服务器160接收。如图4所示，过程400使用双重处理模块：慢速模块410和快速模块420。
慢速模块410根据函数计算车辆速度和加速度数据。例如，慢速模块410可以使用以下等式(1)：
其中，vk代表时刻k的速度，Sk是时刻k的位置。在一些实施例中，慢速模块410基于接收到的位置数据每五个时间单位计算车辆数据。
快速模块420使用简单的单层感知器网络在每个时间单位(即，实时)估计车辆速度和加速度数据。例如，快速模块429可以使用慢速模块410所使用函数的近似形式：
其中Ai-1是在时间i-1更新的一组参数近似值，Fi-1是计算的先前真实结果，是先前的近似结果，i、j分别是当前慢速和快速输出的索引。可能还有其他参数，例如当前索引j和来自现实世界的部分输入。
参数A由慢速模块410定义。在一些实施例中，可以从多项式和三角函数的固定池中执行模型选择。慢速模块410可以使用随机梯度下降算法基于先前观察到的点来训练模型。例如，在一定数量的迭代(例如100次迭代)之后，收敛到具有四个时间参数的模型：[t，t^2，t^3，tan(t)]。
为了使快速模型420保持其计算精度，可以周期性地更新其参数。可以计算两个函数之间的残差。在一些实施例中，残差可以是输出差的平方，其可以写为在一些实施例中，可以在每次迭代i时更新模型参数，这是慢速模型410的速率(即，每五个时间单位)。例如，可以使用等式(3)更新参数A，如下所示：
如果γ足够小，εi，≥εi+1则可以实现，这意味着每次更新后残差都将较小。选择的γ会影响方程式收敛的速度以及收敛的准确性。如果γ很大，则算法要么立即收敛到次优解，要么根本不收敛(在差解之间振荡)。如果γ非常小，则算法会收敛，但可能需要进行多次迭代，这可能会使过程400变慢。
在一些实施例中，假设函数ε是凸的并且是Lipschitz，则可以通过将γ设置为来保证收敛：
尽管上面以“爬山”算法作为更新模型参数的示例进行了说明，但可以设想也可以实现其他梯度下降算法。另外，尽管以上将模型F描述为线性方程式的集合，但是可以预期，快速模块420可以使用其他更复杂的预测模型。在一些实施例中，模型可以是学习网络，例如神经网络。
图5示出了根据本申请实施例的基于视频馈送的示例性车辆数据估计过程500。如图5所示，车辆510可以沿着轨迹512行驶。装备在另一车辆(未示出)上的相机520可以在车辆510沿着轨迹512行进时捕获其视频。视频可以包含在一组时间点捕获的图像帧。通常，每两个时间点之间使用一个设置的时间间隔。例如，可以每1ms、2ms等捕获新的图像帧。当捕获新图像帧时，车辆510处于与每个时间点相对应的不同位置。因此，每个图像帧可以与车辆位置相关联。
过程500可以使用双处理器***处理视频的图像帧，以确定许多车辆数据，例如车辆510的位置、方向、速度、颜色、形状、制造商等。例如，过程500可以使用处理单元1和处理单元2。如结合图2所述，处理单元1可以是第一处理单元210，处理单元2可以是第二处理单元212。例如，在时间点t1捕获的图像帧530可以由处理单元1处理以确定车辆数据540。在一些实施例中，处理单元1可以使用图像分割、图像识别和其他图像处理方法来从图像帧530获得车辆数据540。图像处理，特别是在视频输入为高分辨率时，可能需要大量的处理时间。因此，处理单元1可以以缓慢的、非实时的方式提供结果。
然后，处理单元2使用处理单元1提供的预测模型，基于车辆数据540估计下一组车辆数据542'(对于时间点t2)。该模型通过使用处理单元1的现有知识简化了计算。在一些实施例中，模型基于给定的速度、方向和位置来预测车辆510将在的下一个位置。例如，下一个位置是前一个位置+速度，下一个速度是当前速度+加速度。该模型基于车辆510在先前时间点的颜色并确定车辆是否正在进入阴影区域来预测车辆510的颜色。该模型可以假设车辆510的形状和制造不应该改变。因此，处理单元2的计算可能非常快。
处理单元2在其估计中不考虑视频输入，而仅考虑先前时间点的车辆数据。例如，处理单元2可以继续使用预测模型和车辆数据542'来估计下一组车辆数据544'(对于时间点t3)。
与处理单元2的处理并行，处理单元1继续以较慢的方式处理视频馈送。例如，处理单元1可以处理在时间点t2捕获的图像帧532，以确定车辆数据542。车辆数据542可能不是实时可用的，而是稍后的几个时间点可用，例如在时间点t5。如果预测模型是准确的，则估计的车辆数据542'可以足够接近车辆数据542。然而，作为由处理单元1执行的处理的近似的模型通常包含估计误差。
为了校正该错误，可以使用准确结果来周期性地更新由处理单元2使用的预测模型。例如，可以比较车辆数据542和542’，并且可以计算两者之间的差。该差可以用于更新处理单元2所使用的预测模型的参数。因此，处理单元2可以使用更新的模型来预测后续时间点的车辆数据。
本申请的另一方面针对一种存储指令的非暂时性计算机可读介质，该指令在被执行时使一个或以上处理器执行上述方法。计算机可读介质可以包括易失性或非易失性、磁性、半导体、带、光学、可移动、不可移动或其他类型的计算机可读介质或计算机可读存储设备。例如，如所公开的，计算机可读介质可以是其上存储有计算机指令的存储设备或存储模块。在一些实施例中，计算机可读介质可以是其上存储有计算机指令的盘或闪存驱动器。
对于本领域技术人员将显而易见的是，可以对所公开的***和相关方法进行各种修改和变化。通过考虑说明书以及所公开的***和相关方法的实践，其他实施例对于本领域技术人员将是显而易见的。
说明书和示例旨在仅被认为是示例性的，真正的范围由所附权利要求及其等同物指示。

Claims (18)

1.一种对车辆数据进行弹道估计的***，包括：
通信接口，被配置为接收在第一时间点获取的第一车辆测量值和在第二时间点获取的第二车辆测量值；
至少一个处理器，被配置为：
基于所述第一车辆测量值计算第一组车辆数据；
基于所述第一组车辆数据和模型来估计所述第二时间点的第二组车辆数据；其中，所述模型被配置为通过基于车辆的运动特性修改所述第一组车辆数据来估计所述第二组车辆数据；
基于所述第二车辆测量值计算第三组车辆数据；以及
基于所述第二组车辆数据与所述第三组车辆数据之间的比较来更新所述模型，包括：
若所述第二组车辆数据与所述第三组车辆数据的差大于阈值，更新所述模型；以及
存储器，被配置为存储所述第一车辆测量值、所述第二车辆测量值、所述模型、所述第一组车辆数据、所述第二组车辆数据及所述第三组车辆数据。
2.根据权利要求1所述的***，其特征在于，所述第一车辆测量值和所述第二车辆测量值是分别对应于所述第一时间点和所述第二时间点的传感器捕获的视频馈送的图像帧。
3.根据权利要求2所述的***，其特征在于，所述传感器是相机或激光雷达。
4.根据权利要求1所述的***，其特征在于，所述模型是由至少两个模型参数定义的学习网络。
5.根据权利要求4所述的***，其特征在于，更新所述模型，所述至少一个处理器被配置为更新所述至少两个模型参数。
6.根据权利要求1所述的***，其特征在于，所述运动特性包括所述车辆的位置、速度、加速度或方向。
7.根据权利要求1所述的***，其特征在于，所述模型使用随机梯度下降法来更新。
8.根据权利要求1所述的***，其特征在于，所述模型以减小所述第二组车辆数据与所述第三组车辆数据之间的差的方式来更新。
9.根据权利要求1所述的***，其特征在于，所述至少一个处理器包括：第一处理器，被配置为计算所述第一组车辆数据和所述第三组车辆数据；第二处理器，被配置为估计所述第二组车辆数据。
10.一种对车辆数据进行弹道估计的方法，包括：
通过通信接口接收在第一时间点获取的第一车辆测量值和在第二时间点获取的第二车辆测量值；
由至少一个处理器基于所述第一车辆测量值计算第一组车辆数据；
由所述至少一个处理器基于所述第一组车辆数据和模型来估计所述第二时间点的第二组车辆数据；其中包括通过基于车辆的运动特性修改所述第一组车辆数据来估计所述第二组车辆数据；
由所述至少一个处理器基于所述第二车辆测量值计算第三组车辆数据；以及
由所述至少一个处理器基于所述第二组车辆数据与所述第三组车辆数据之间的比较来更新所述模型，包括：
若所述第二组车辆数据与所述第三组车辆数据的差大于阈值，更新所述模型。
11.根据权利要求10所述的方法，其特征在于，所述第一车辆测量值和所述第二车辆测量值是分别对应于所述第一时间点和所述第二时间点的传感器捕获的视频馈送的图像帧。
12.根据权利要求10所述的方法，其特征在于，所述模型是由至少两个模型参数定义的学习网络。
13.根据权利要求12所述的方法，其特征在于，更新所述模型包括更新所述至少两个模型参数。
14.根据权利要求10所述的方法，其特征在于，所述运动特性包括所述车辆的位置、速度、加速度或方向。
15.根据权利要求10所述的方法，其特征在于，所述模型使用随机梯度下降法来更新。
16.根据权利要求10所述的方法，其特征在于，所述模型以减小所述第二组车辆数据与所述第三组车辆数据之间的差的方式来更新。
17.一种非暂时性计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序在由至少一个处理器执行时，执行对车辆数据进行弹道估计的方法，包括：
接收在第一时间点获取的第一车辆测量值和在第二时间点获取的第二车辆测量值；
基于所述第一车辆测量值计算第一组车辆数据；
基于所述第一组车辆数据和模型来估计所述第二时间点的第二组车辆数据；其中包括通过基于车辆的运动特性修改所述第一组车辆数据来估计所述第二组车辆数据；
基于所述第二车辆测量值计算第三组车辆数据；以及
基于所述第二组车辆数据和所述第三组车辆数据之间的比较来更新所述模型，包括：
若所述第二组车辆数据与所述第三组车辆数据的差大于阈值，更新所述模型。
18.根据权利要求17所述的非暂时性计算机可读介质，其特征在于，所述第一车辆测量值和所述第二车辆测量值是分别对应于所述第一时间点和所述第二时间点的传感器捕获的视频馈送的图像帧。
CN201880094706.5A 2018-07-19 2018-12-26 车辆数据弹道估计 Active CN112752693B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/039,329 2018-07-19
US16/039,329 US10875540B2 (en) 2018-07-19 2018-07-19 Ballistic estimation of vehicle data
PCT/US2018/067563 WO2020018140A1 (en) 2018-07-19 2018-12-26 Ballistic estimnation of vehicle data

Publications (2)

Publication Number Publication Date
CN112752693A CN112752693A (zh) 2021-05-04
CN112752693B true CN112752693B (zh) 2024-06-18

Family

ID=69162780

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880094706.5A Active CN112752693B (zh) 2018-07-19 2018-12-26 车辆数据弹道估计

Country Status (3)

Country Link
US (2) US10875540B2 (zh)
CN (1) CN112752693B (zh)
WO (1) WO2020018140A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11714388B1 (en) * 2018-08-10 2023-08-01 Apple Inc. Conditional error models
US20210402980A1 (en) * 2020-06-26 2021-12-30 Mitsubishi Electric Research Laboratories, Inc. System and Method for Data-Driven Reference Generation
US20240158215A1 (en) * 2022-02-04 2024-05-16 Fq Ip Ab Adaptor

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017165627A1 (en) * 2016-03-23 2017-09-28 Netradyne Inc. Advanced path prediction

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10597039B2 (en) * 2014-08-04 2020-03-24 Modelway S.R.L. Method for estimating variables affecting the vehicle dynamics and corresponding virtual sensor
SE539098C2 (en) * 2015-08-20 2017-04-11 Scania Cv Ab Method, control unit and system for path prediction
KR20170046483A (ko) * 2015-10-21 2017-05-02 현대자동차주식회사 자율 비상 제동 장치 및 방법
US10227075B2 (en) * 2016-09-28 2019-03-12 Baidu Usa Llc System delay estimation method for autonomous vehicle control
US10068140B2 (en) * 2016-12-02 2018-09-04 Bayerische Motoren Werke Aktiengesellschaft System and method for estimating vehicular motion based on monocular video data
US20180150081A1 (en) * 2018-01-24 2018-05-31 GM Global Technology Operations LLC Systems and methods for path planning in autonomous vehicles

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017165627A1 (en) * 2016-03-23 2017-09-28 Netradyne Inc. Advanced path prediction

Also Published As

Publication number Publication date
CN112752693A (zh) 2021-05-04
US20200023855A1 (en) 2020-01-23
US10875540B2 (en) 2020-12-29
US20210078587A1 (en) 2021-03-18
WO2020018140A1 (en) 2020-01-23
US11866056B2 (en) 2024-01-09

Similar Documents

Publication Publication Date Title
CN111656136B (zh) 使用激光雷达的车辆定位***
CN111223135B (zh) 通过使用雷达和运动数据的单目相机来增强距离估计的***和方法
CN111436216B (zh) 用于彩色点云生成的方法和***
EP3612854B1 (en) Vehicle navigation system using pose estimation based on point cloud
US10860871B2 (en) Integrated sensor calibration in natural scenes
CN112005079B (zh) 用于更新高清地图的***和方法
US11866056B2 (en) Ballistic estimation of vehicle data
AU2018209336B2 (en) Determining the location of a mobile device
US20220205804A1 (en) Vehicle localisation
WO2021056283A1 (en) Systems and methods for adjusting a vehicle pose
US11138448B2 (en) Identifying a curb based on 3-D sensor data
AU2018102199A4 (en) Methods and systems for color point cloud generation
US20240078814A1 (en) Method and apparatus for modeling object, storage medium, and vehicle control method
CN117611800A (zh) 一种基于yolo的目标接地点检测及测距方法
CN118311955A (zh) 无人机控制方法、终端、无人机及存储介质
CN115836299A (zh) 使用卷积神经网络（cnn）来处理包括由用于测量距离的2d或3d传感器提供的空间信息的扫描的数据流

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant