CN112319467B - 具有预测轨迹的自主车辆用户界面 - Google Patents

具有预测轨迹的自主车辆用户界面 Download PDF

Info

Publication number
CN112319467B
CN112319467B CN202010684960.XA CN202010684960A CN112319467B CN 112319467 B CN112319467 B CN 112319467B CN 202010684960 A CN202010684960 A CN 202010684960A CN 112319467 B CN112319467 B CN 112319467B
Authority
CN
China
Prior art keywords
predicted
trajectory
barrier
vehicle
user interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010684960.XA
Other languages
English (en)
Other versions
CN112319467A (zh
Inventor
浦野博充
平野麻衣子
澤村雄介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Research Institute Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Research Institute Inc filed Critical Toyota Research Institute Inc
Publication of CN112319467A publication Critical patent/CN112319467A/zh
Application granted granted Critical
Publication of CN112319467B publication Critical patent/CN112319467B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0953—Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0017—Planning or execution of driving tasks specially adapted for safety of other traffic participants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Instrument Panels (AREA)

Abstract

本公开涉及具有预测轨迹的自主车辆用户界面。提供了用于针对示出驾驶员的视角图的车辆用户界面生成轨迹的***和方法。方法包括：生成用于本车的本车预测轨迹；以及生成用于位于本车外部的拦路者的至少一个拦路者预测轨迹。在生成预测轨迹之后，该方法以如下操作继续：确定至少一个拦路者预测轨迹既(1)存在于物体后方又(2)在被显示在示出驾驶员的视角图的用户界面上时与物体重叠，存在于物体后方指示在物体后方行驶。该方法包括修改至少一个拦路者预测轨迹以消除重叠。然后，该方法继续更新用户界面的显示以包括任何修改的拦路者预测轨迹。***包括用于执行方法的轨迹预测模块。

Description

具有预测轨迹的自主车辆用户界面
技术领域
本公开总体上涉及用于自主车辆的用户界面，并且更特别地，涉及用于在提供驾驶员的视角图的用户界面上修改和显示预测轨迹的***和方法。
背景技术
本文提供的背景描述是为了总体上呈现本公开的上下文的目的。在此背景技术部分中可能描述的程度上，目前指名的发明人的工作以及描述中的不会以其它方式有资格作为提交时的现有技术的方面既没有被明示地也没有被暗示地承认为本技术的现有技术。
在各种应用中，车辆***可以预测车辆(有时在本文中被称为“本车(ego-vehicle)”)的轨迹。例如，诸如包括高级驾驶员辅助***(ADAS)的车辆之类的并行自主车辆是其控制可以在人类驾驶员与自主驾驶***之间共担的车辆。人类驾驶员可以保持对驾驶这种车辆的某些方面(例如，转向)的控制，同时ADAS监视驾驶员的动作并在必要时进行干预以防止事故。因此，预测本车的轨迹是这种ADAS的重要方面。车辆***可以将本车轨迹显示在用户界面上。
车辆***还可以预测位于车辆外部的一个或多个拦路者(road agent)的轨迹，并且将拦路者轨迹显示在用户界面显示器上。拦路者的示例包括各种类型的其它车辆(例如，汽车、摩托车或自行车)和行人。自主车辆或并行自主车辆的一个目标是在不与车辆沿途遇到的拦路者碰撞的情况下行驶路线。由于通常自主车辆或并行自主车辆的驾驶员并不肯定地知道拦路者或其驾驶员的意图，因此预测拦路者的轨迹可以促进该目标。
然而，当在用户界面上提供许多拦路者轨迹时，它会迅速变得过于复杂，尤其是当显示被提供作为驾驶员的视角图(例如，与俯视平面图相比)时。因此，将期望的是，提供改进的轨迹预测***以充分解释可以在用户界面上提供的众多和/或重叠的轨迹的存在，这可以得到不那么复杂的显示。
发明内容
此部分提供本公开的概要，并不是本公开的全部范围或者其全部特征的全面公开。
在各个方面中，本教导提供了用于针对示出驾驶员的视角图的车辆用户界面生成轨迹的***。该***包括一个或多个处理器以及可通信地耦接到一个或多个处理器的存储器。存储器存储轨迹预测模块，该轨迹预测模块包括在由一个或多个处理器执行时使一个或多个处理器执行一系列步骤的指令。例如，轨迹预测模块可以包括用于进行如下操作的指令：生成用于本车的本车预测轨迹；以及生成用于位于本车外部的拦路者的至少一个拦路者预测轨迹。指令可以包括用于确定至少一个拦路者预测轨迹既(1)存在于物体后方(指示在物体后方行驶)又(2)在被显示在示出驾驶员的视角图的用户界面上时与物体重叠的步骤。指令可以包括用于修改至少一个拦路者预测轨迹以消除重叠的步骤。还可以提供控制模块，该控制模块包括在由一个或多个处理器执行时使一个或多个处理器更新用户界面以包括任何修改的拦路者预测轨迹的指令。
在其它方面中，本教导提供了用于针对示出驾驶员的视角图的车辆用户界面生成轨迹的非暂态计算机可读介质。计算机可读介质可以被配置为存储在由一个或多个处理器执行时使一个或多个处理器进行如下操作的指令：生成用于本车的本车预测轨迹；以及生成用于位于本车外部的拦路者的至少一个拦路者预测轨迹。指令可以使处理器确定至少一个拦路者预测轨迹既(1)存在于物体后方(指示在物体后方行驶)又(2)在被显示在示出驾驶员的视角图的用户界面上时与物体重叠。响应于确定，指令可以使处理器修改至少一个拦路者预测轨迹以消除重叠，从而创建修改的预测轨迹，然后更新用户界面以包括任何修改的拦路者预测轨迹。
在其它方面中，本教导提供了用于针对示出驾驶员的视角图的车辆用户界面生成轨迹的方法。该方法包括：生成用于本车的本车预测轨迹；以及生成用于位于本车外部的拦路者的至少一个拦路者预测轨迹。在生成预测轨迹之后，该方法以如下操作继续：确定至少一个拦路者预测轨迹既(1)存在于物体后方(指示在物体后方行驶)又(2)在被显示在示出驾驶员的视角图的用户界面上时与物体重叠。该方法包括修改至少一个拦路者预测轨迹以消除重叠。然后，该方法继续更新用户界面的显示以包括任何修改的拦路者预测轨迹。
其它适用领域和增强以上技术的各种方法将从本文提供的描述变得清楚。此发明内容中的描述和具体示例仅仅旨在说明的目的，并不旨在限制本公开的范围。
附图说明
根据具体描述和附图，本教导将被更充分地理解，其中：
图1是图示了在其内可以实现根据本技术的本文公开的***和方法的车辆的示例性方面的示意图；
图2是图示了图1中所提供的轨迹预测***的示例性方面的示意图；
图3图示了根据本技术的各个方面的提供了多个显示***的示例性车辆内部隔室的内部舱的局部透视图，多个显示***可以被单独地或组合地使用以提供(一个或多个)用户界面显示；
图4A至图4E是图示了用户界面的五个示例显示，该用户界面具有表示带有相应轨迹的本车和至少一个拦路者车辆或行人的俯视平面图的图像；
图5A至图5E是图示了用户界面的五个示例显示，示出了轨迹与车辆的重叠，该用户界面具有表示在与图4A至图4E中提供的场景相同的场景中的本车和(一个或多个)拦路者车辆或行人及其相应轨迹的正视透视图或驾驶员视图的图像；
图6是根据本技术的说明性方面的基于预测轨迹与物体的重叠来修改至少一个预测轨迹的方法的流程图；
图7是根据本技术的说明性方面的基于预测轨迹与物体的重叠来修改至少一个预测轨迹的方法的另一流程图；
图8A至图8C图示了根据本技术的说明性方面的基于与物体的重叠的至少一个预测轨迹的修改；
图9A至图9C图示了根据本技术的说明性方面的基于与两个物体的重叠的至少一个预测轨迹的修改；
图10是根据本技术的各个方面的通过隐藏、稀释(diluting)和/或混合预测轨迹来基于与物体的重叠修改至少一个预测轨迹的方法的流程图；
图11A至图11E图示了根据图10的方法的至少一个预测轨迹的各种修改；
图12是根据本技术的各个方面的基于不同的重叠选择修改至少一个预测轨迹的不同技术的方法的流程图；
图13A至图13B图示了根据图12的方法的至少一个预测轨迹的修改；
图14是根据本技术的说明性方面的在可选使用置信度得分的情况下的基于至少两个预测轨迹的重叠来修改至少一个预测轨迹的方法的流程图；
图15是根据本技术的说明性方面的基于相邻两个预测轨迹之间的最短距离来修改至少一个预测轨迹的方法的流程图；
图16A至图16C图示了根据图14的方法的至少一个预测轨迹的修改；
图17图示了在拦路者与预测轨迹重叠的情况下从驾驶员的视角图的用户界面显示；
图18A至图18E图示了根据图14至图15的方法的图17的至少一个预测轨迹的修改；
图19是根据本技术的说明性方面的在确定优先交叉点的情况下的基于至少两个预测轨迹的重叠来修改至少一个预测轨迹的方法的流程图；
图20图示了具有预测轨迹的四个车辆的集合，其中四个交叉点具有各种优先级；
图21A至图21B图示了根据图19的方法的至少一个预测轨迹的修改；
图22是根据本技术的说明性方面的在确定物体是部分或完全隐藏的拦路者的情况下的基于预测轨迹与物体的重叠来修改至少一个预测轨迹的方法的流程图；
图23A至图23D图示了根据图22的方法的至少一个预测轨迹的修改；
图24A至图24D图示了根据图22的方法的至少一个预测轨迹的附加修改；
图25是根据本技术的说明性方面的基于倾斜地形的存在来修改至少一个预测轨迹的方法的流程图；
图26A至图26D和图27A至图27D图示了根据图25的方法的至少一个预测轨迹的修改；
图28是根据本技术的说明性方面的基于具有未知行驶方向的从显示区域伸出的至少一个轨迹来修改至少一个预测轨迹的方法的流程图；
图29A至图29E图示了根据图28的方法的至少一个预测轨迹的修改；
图30是根据本技术的说明性方面的在确定预测轨迹与多个静态物体重叠的情况下的基于预测轨迹与物体或另一预测轨迹的重叠来修改至少一个预测轨迹的方法的流程图；
图31A至图31C图示了根据图30的方法的至少一个预测轨迹的修改；
图32是根据本技术的说明性方面的在确定预测轨迹是过去时(past tense)拦路者轨迹的情况下的基于预测轨迹与物体或另一预测轨迹的重叠来修改至少一个预测轨迹的方法的流程图；
图33A至图33C图示了根据图32的方法的至少一个预测轨迹的修改；
图34是根据本技术的说明性方面的基于复杂度来选择要在用户界面中提供的显示的类型的方法的流程图；
图35A至图35C图示了具有不同的线、2D图案和3D形状的预测轨迹的变型；
图36A至图36C图示了在两个预测轨迹重叠的情况下的2D和3D预测轨迹；
图37A至图37C图示了在预测轨迹与至少一个静态物体重叠的情况下的2D和3D预测轨迹；以及
图38A至图38B图示了在单个显示上的2D和3D预测轨迹的组合的使用。
应该注意，出于描述某些方面的目的，本文阐述的附图旨在例示本技术的方法、算法和设备当中的方法、算法和设备的一般特性。这些附图可能没有精确地反映任何给定方面的特性，并且不一定旨在定义或限制本技术的范围内的具体方面。另外，某些方面可以整合来自附图的组合的特征。
具体实施方式
本文描述的技术涉及在用户界面上的预测拦路者和本车轨迹的改进显示。特别地，该技术改进了这些轨迹可以如何彼此交互以及相对于大小、位置和与它们在用户界面上的显示相关的各种其它细节而被调整和/或简化。在这方面，该技术可以简化呈现给用户的轨迹信息。例如，它可以提供改进的轨迹预测***并且可以得到不那么复杂的视图，该改进的轨迹预测***提供充分解释可以在用户界面上提供的众多和/或重叠轨迹的存在的显示。
如本文所使用的，术语“轨迹”或“多个轨迹”可以是指针对给定的拦路者、车辆、本车等模拟的、预测的或观察到的过去、当前和未来的轨迹。如本文使用的，术语“拦路者”通常是指能够沿着道路或以与道路相交的方式到处移动的任何物体。这些物体并不一定一直在运动中。例如，本文描述的各个方面将沿着街道停放的汽车、公共汽车、自行车、其它类型的车辆视为拦路者。在那些方面中，***可以使用车辆的传感器跟踪停放的汽车连同在环境中检测到的其它物体。传感器数据通常将揭示拦路者(停放的汽车)是静止的，此时不存在可以被预测的与其相关联的轨迹。然而，在那些各个方面中，***可能继续跟踪停放的汽车，因为它可能在任何时间开始移动。在各个方面中，所关注的拦路者位于本技术的方面在其中操作的车辆(有时在本文中被称为“本车”或“主车辆”)的外部。这些拦路者有时在本文中被称为“外部拦路者”。拦路者的附加非限制性示例包括但不限于各种类型的其它车辆(汽车、公共汽车、摩托车、自行车、卡车、施工装备等)、行人和动物。在一些方面中，拦路者可以被简称为物体。
在非限制性方面中，概率性变分轨迹预测器可以被用于预测本车和/或拦路者轨迹，其可以被称为预测轨迹。在那些方面中，可以对任何适用的给定拦路者或本车的轨迹概率分布进行采样，以生成一个或多个特定的预测轨迹。如上所述，那些预测轨迹可以在本车与一个或多个拦路者之间被交叉馈送和迭代更新，并且它们也可以被输出到本车的控制模块，该控制模块至少在一定程度上控制被提供到本车的各种显示器和用户界面的输出，如以下进一步描述的。在一些变分预测器方面中，轨迹概率分布的统计参数可以代替从分布中采样的特定轨迹被输出到本车的控制模块。
取决于特定方面，可以以多种可能排序中的任一种考虑多个外部拦路者的预测轨迹来创建本车预测轨迹。在一个方面中，通过拦路者预测轨迹与本车的距离来对拦路者预测轨迹进行优先级排序，更接近本车的那些拦路者预测轨迹相比于更远离的那些拦路者预测轨迹接收到更高的优先级。在另一个方面中，通过与拦路者预测轨迹相关联的任何不确定性来对拦路者预测轨迹进行优先级排序，具有较小不确定性(即，较大确定性)的那些拦路者预测轨迹相比于具有较大不确定性(即，较低确定性)的那些拦路者预测轨迹接收到更高的优先级。此外，在考虑到外部拦路者的所有可能排序的情况下，可以保留、收集和合计在迭代轨迹预测处理期间的用于本车和/或一个或多个外部拦路者的中间预测轨迹。保存所有这些各种假设允许本车的控制模块考虑拦路者可能采取的所有可能动作。这种保存方法促进了本车计划和穿越安全轨迹的目标。
其它技术可以与上述迭代轨迹预测架构有利地组合：(1)采用多个轨迹预测器来预测本车的未来轨迹，以及采用多个轨迹预测器来预测位于本车外部的一个或多个拦路者的未来轨迹；以及(2)生成用于预测的本车和拦路者轨迹的置信度估计，使得可以评估它们的可信度。将在下面的段落中进一步解释这些技术。
为了预测本车或给定外部拦路者的未来轨迹，本文描述的一些方面采用使用不同确定性或概率性计算模型的两个或更多个轨迹预测器。例如，在包括两个轨迹预测器的一个方面中，第一轨迹预测器是包括DNN的概率性变分轨迹预测器，以及第二轨迹预测器是基于物理的(确定性)模型。在各个方面中，轨迹预测器接收下面进一步讨论的各种车辆传感器数据中的任一个作为输入。取决于特定方面，轨迹预测器还可以接收针对本车或拦路者测得的过去轨迹信息，这取决于正预测的是哪种类型的轨迹。
关于置信度估计，所公开的方面中的一个重要方面是在其内预测车辆或拦路者轨迹的时间性(时间)范围。例如，来自特定轨迹预测器的给定预测轨迹可能在从约0.1秒至约3秒的相对短的时间性范围内是可信的，但是它可能在延伸超过约3秒直至约10秒的较长的时间性范围内不是可信的。在一些方面中，使用深度神经网络(DNN)模型将用于本车和拦路者预测轨迹的置信度估计计算为在适用的时间性范围内的连续时间函数。因此，置信度测量有助于轨迹预测***决定对于整个时间性预测范围的特定区段而言哪些本车或拦路者预测轨迹最可信。在各个方面中，与迭代更新的本车和拦路者预测轨迹相关联的置信度得分也随着预测轨迹本身被迭代更新而被迭代更新。
参考图1，图示了车辆100(有时在本文中被称为“本车”)的示例。如本文中所使用的，“车辆”是任何形式的机动化运输工具。在一个或多个实现方式中，车辆100是汽车。尽管在本文中将相对于汽车来描述布置，但是将理解的是，这些方面不限于汽车。在一些实现方式中，车辆100可以是例如能够至少半自主地操作的任何其它形式的机动化运输工具。
车辆100还包括各种元件。将理解的是，在各个方面中，车辆100可以不必具有图1中示出的所有元件。车辆100可以具有图1中示出的各种元件的任何组合。另外，除了图1中示出的那些元件之外，车辆100还可以具有附加元件。在一些布置中，车辆100可以在没有图1中示出的元件中的一个或多个的情况下被实现。虽然在图1中各种元件被示出为位于车辆100内，但是将理解的是，这些元件中的一个或多个可以位于车辆100的外部。另外，所示出的元件可以在物理上分开大的距离。在图1中示出并且将连同后续图一起描述车辆100的可能元件中的一些。然而，出于该描述的简洁性的目的，对图1中的许多元件的描述将在讨论了其余图之后被提供。
参考图2，图示了图1的示例性轨迹预测***170。轨迹预测***170被实现为至少部分地基于车辆100本身的过去的、当前的、观察到的或预测的未来的轨迹和/或基于位于车辆100外部的一个或多个拦路者的过去的、当前的、观察到的或预测的轨迹来执行与控制车辆100的操作相关的如本文中所公开的方法和其它功能。在一些方面中，可以在三维空间中对车辆100或拦路者的轨迹进行建模。
轨迹预测***170被示出为包括来自图1的车辆100的一个或多个处理器110。取决于实施例，一个或多个处理器110可以是轨迹预测***170的部分，轨迹预测***170可以包括与车辆100的一个或多个处理器110分开的一个或多个处理器，或者轨迹预测***170可以通过数据总线或另一通信路径访问一个或多个处理器110。在一个方面中，轨迹预测***170包括存储器172，存储器172存储至少轨迹预测模块174和控制模块176。存储器172可以是随机存取存储器(RAM)、只读存储器(ROM)、硬盘驱动器、闪速存储器或用于存储模块174、176的其它合适存储器。模块174、176是例如计算机可读指令，这些计算机可读指令在由一个或多个处理器110执行时使一个或多个处理器110执行本文公开的各种功能。
结合预测车辆100的轨迹，轨迹预测***170可以将各种种类的模型相关数据178存储在数据库180中。如图1中所示，轨迹预测***170可以从车辆100(本车)中的传感器***120接收传感器数据。例如，在一些方面中，轨迹预测***170从一个或多个相机126接收图像数据。取决于特定实施例，轨迹预测***170还可以从LIDAR传感器124接收LIDAR数据，从雷达传感器123接收雷达数据，和/或从声纳传感器125接收声纳数据。在一些方面中，轨迹预测***170还从车辆***140接收输入。示例包括但不限于方向盘角度、油门踏板(加速器)位置、线速度和角速度。方向盘角度和油门踏板位置数据是可以被称为控制器局域网(CAN总线)数据的示例，以及线速度和角速度是可以被称为惯性测量单位(IMU)数据的示例。如下面进一步解释的，以上类型的传感器数据中的某些涉及预测车辆100(本车)的轨迹，但不涉及预测外部拦路者的轨迹。另外，如图1中指示的，轨迹预测***170特别是控制模块176可以与车辆***140和/或(一个或多个)自主驾驶模块160通信，以辅助进行对车辆100的各种功能的半自主或自主控制。控制模块176还包括使一个或多个处理器110控制用户界面***182的操作并且协调被提供给遍及车辆100的各种显示器的包括预测轨迹的数据的指令。
在一些方面中，来自传感器***120的其它或附加种类的数据可以被馈送到轨迹预测***170，诸如雷达和/或声纳数据。附加地，诸如栅格化地图数据(例如，用于围绕车辆100的环境的占用网格)之类的更高度结构化的数据可以被馈送到变分轨迹预测器。取决于方面，被馈送到轨迹预测***170的原始传感器数据或结构化数据的具体种类可以变化。
在下面描述的包括置信度得分的一些方面中，可以在预测的本车和拦路者轨迹正被迭代更新的同时至少部分地基于在本车轨迹的预测与拦路者轨迹的预测之间发生的迭代次数来计算置信度得分。通常，较多的迭代次数对应于所得到的预测轨迹的较高的置信度水平，因为在足够的迭代之后，预测轨迹趋于收敛到更稳定的预测。
如本文详细描述的，轨迹预测模块174通常包括使一个或多个处理器110产生用于显示在用户界面上的用于车辆100(本车)的一个或多个预测轨迹以及用于至少一个外部拦路者的一个或多个预测轨迹的指令。各种用户界面设计对于显示关于本技术的轨迹信息可以是有用的，并且本文提供的描述并不意味着限制对本技术有用的显示的类型。
图3提供了示例性车辆内部隔室50的局部透视图，图示了用于车辆乘客的两个前排座椅以及各种车辆控制装置。如可以看出的，车辆包括导航显示器52和投影在挡风玻璃56上的平视显示器(HUD)54，HUD54具有可以容纳用于用户界面的显示的多个面板58。也可以使用位于车辆内部隔室的各种区域中的多信息显示器(MID)60，诸如可以在不同的信息显示之间切换的屏幕/显示器。在其它方面中，还可以将诸如电话62、平板电脑(未示出)等之类的个人电子设备用于显示目的。取决于特定方面，刚刚描述的架构的许多变型是可能的。在各个方面中，本文提供的***和方法可以包括使用被提供作为汽车、摩托车、自行车和/或行人的拦路者；并且车辆用户界面是导航显示器、多信息显示器、平视显示器(HUD)、头戴式显示器(HMD)、远程操作员显示器和可穿戴设备中的一个。多个显示器可以彼此组合地使用，并且可以包括不同的视角。
图4A至图4E是图示了用户界面的五个示例显示，该用户界面具有表示本车100以及带有相应轨迹202、206的诸如车辆200或行人204之类的至少一个拦路者的俯视平面图300的图像。图5A至图5E是图示了用户界面的五个示例显示，示出了轨迹与车辆的重叠，该用户界面具有表示在与图4A至图4E中提供的场景相同的场景中相同的本车100和(一个或多个)拦路者车辆200或行人204及其相应轨迹202、206的正视透视图310或驾驶员视图的图像。
例如，图4A图示了具有两个拦路者车辆200的俯视平面图300。尽管在图4A中拦路者预测轨迹202不重叠，但是在图5A中，以驾驶员的视角310，拦路者预测轨迹202彼此接近，其中重叠的部分可能给用户造成混乱。图4B至图4D图示了在不同交通模式下的具有本车预测轨迹102的本车100以及多个拦路者车辆200及其相应的拦路者预测轨迹202的俯视平面图300。如所示出的，各种预测轨迹102、202不仅彼此重叠，而且它们还与拦路者车辆本身中的某些重叠，从而有可能给用户造成混乱。图5B至图5D图示了这些车辆100、200的驾驶员视图310以及预测轨迹102、202的类似重叠，也提供了有可能干扰可见性和/或给用户造成混乱的复杂可视化。图4E和图5E图示了与人行横道相邻的预测轨迹102和本车100，该人行横道具有多个行人204及其相应的预测轨迹206，其中具有各种重叠。
图6是根据本技术的说明性方面的基于预测轨迹与物体的重叠来修改至少一个预测轨迹的方法320的流程图。方法320用于针对示出驾驶员的视角图的车辆用户界面生成轨迹。该方法首先包括生成用于本车100的本车预测轨迹102，以及生成用于位于本车100外部的拦路者的至少一个拦路者预测轨迹202。(一个或多个)拦路者可以是其它车辆200、行人204及其组合。如方法步骤322所指示的，在生成相应的预测轨迹102、202之后，方法320以如下操作继续：确定在以驾驶员的视角看时至少一个拦路者预测轨迹202存在于物体后方，存在于物体后方指示在物体后方行驶。如方法步骤324所指示的，该方法继续确定预测轨迹202在被显示在示出驾驶员的视角图的用户界面上时是否与物体重叠。除非另有说明，否则与本文描述的方法一起使用的术语“物体”可以广义地包括：静态物体，诸如停放的车辆、建筑物、中央分隔带等；和/或还可以包括移动物体，移动物体可以包括移动的车辆、移动的行人等。然后，方法320包括修改至少一个拦路者预测轨迹202以消除重叠，如方法步骤326所指示的。然后，该方法继续更新用户界面的显示以包括任何修改的(一个或多个)拦路者预测轨迹。重新参考图2，在各个方面中，控制模块176可以被用于向一个或多个处理器110和/或用户界面***182提供指令，来更新用户界面以包括任何修改的拦路者预测轨迹的显示。
图7是基于预测轨迹与物体的重叠来修改至少一个预测轨迹的方法328的流程图，方法328与图6的方法320类似但具有附加特征。如图7中所示，存在附加的方法步骤330：确定物体是否是具有其自身的预测轨迹的拦路者。如果是这样，则不进行任何修改。如若不然，则进行修改。
图8A至图8C图示了根据图6至图7的方法的基于与物体的重叠的至少一个预测轨迹的修改。图8A是俯视平面图300，其提供了各自具有相应的拦路者预测轨迹202A、202B的两个拦路者车辆200A、200B，拦路者预测轨迹202A、202B具有用于指示行驶方向的箭头。拦路者车辆200A、200B正在相反方向上行驶。从本车驾驶员的视角看，一个车辆200A将在物体208后方行驶，以及一个车辆200B将在物体208前方行驶。图8B提供了如图8A中呈现的情形的驾驶员的视角310。如图8B中所示，拦路者预测轨迹202A可能造成混乱，因为它与物体208重叠，并且看起来车辆200A将在物体208前方行驶，而实际上，车辆200A将在物体208后方行驶。图8C图示了所得到的修改：拦路者预测轨迹202A的长度被缩短以使得不再与物体208重叠。
图9A至图9C图示了根据本技术的说明性方面的基于与两个物体的重叠的至少一个拦路者预测轨迹的修改。图9A是俯视平面图300，其提供了各自具有相应的拦路者预测轨迹202A、202B的两个拦路者车辆200A、200B，拦路者预测轨迹202A、202B具有用于指示行驶方向的箭头。拦路者车辆200A、200B正在相反方向上行驶。从本车驾驶员的视角看，一个车辆200A将在第一物体208后方行驶，以及一个车辆200B将在第一物体208前方但是在第二物体210后方行驶。图9B提供了如图9A中呈现的情形的驾驶员的视角310。如图9B中所示，拦路者预测轨迹202A、202B可能造成混乱，因为它们二者都与物体208、210重叠，并且看起来车辆200A、200B二者都将在物体208、210前方行驶，而实际上，车辆200A将在第一物体208后方行驶，以及车辆200B将在第一物体208前方并且在第二物体210后方行驶。图9C图示了所得到的修改：两个拦路者预测轨迹202A、202B的长度被缩短以使得不再与物体208、210重叠。
图10是根据本技术的各个方面的通过隐藏、稀释和/或混合预测轨迹来基于与物体的重叠修改至少一个拦路者预测轨迹的方法332的流程图。方法步骤334确定拦路者预测轨迹在以驾驶员的视角被显示在用户界面上时是否与物体重叠。类似于图8的方法320，该方法332还确定拦路者预测轨迹是否部分地或完全地存在于物体后方，存在于物体后方指示在物体后方行驶，如方法步骤336中图示的。如果是这样，则方法332进行如下操作：修改物体和预测轨迹的显示。例如，拦路者预测轨迹的一部分或全部可以被修改，以使得被物体隐藏或者在物体后方，如方法步骤338中图示的。如若不然，方法332进行如下操作：修改预测轨迹的一部分或全部以进行稀释、混合等，如方法步骤340中图示，以便让用户更好地理解情形中的前后关系。在其它方面中，该方法包括用于进行如下操作的指令：修改物体的显示以使得拦路者预测轨迹的第一部分在被显示在示出驾驶员的视角图的用户界面上时看起来被隐藏在物体后方；以及使用选自包括隐藏、稀释和混合的组的至少一种技术来修改拦路者预测轨迹的第二部分。
图11A至图11E图示了根据图10的方法332的至少一个拦路者预测轨迹的各种修改。图11A是俯视平面图300，其提供了各自具有相应的拦路者预测轨迹202A、202B的两个拦路者车辆200A、200B，拦路者预测轨迹202A、202B具有用于指示行驶方向的箭头。拦路者车辆200A、200B正在相反方向上行驶。从本车驾驶员的视角看，一个车辆200A将在物体208后方行驶，以及一个车辆200B将在物体208前方行驶。图11B提供了如图11A中呈现的情形的驾驶员的视角310。如图11B中所示，拦路者预测轨迹202A可能造成混乱，因为它与物体208重叠并且看起来车辆200A将在物体208前方行驶，而实际上，车辆200A将在物体208后方行驶。图11C提供了所得到的第一修改：使拦路者预测轨迹202A、202B二者都被修改为使各自的一部分被隐藏在物体208后方。这为用户提供了物体208的更清楚的视图，然而，关于第二车辆200B是正在物体208前方还是正在物体208后方行驶，可能存在模糊。图11D和图11E可以为用户提供对情形的更清楚的理解。在图11D中，在物体后方行驶的拦路者车辆200A的拦路者预测轨迹202A被部分地隐藏在物体208后方，而在物体208前方行驶的拦路者车辆200B的拦路者预测轨迹202B被部分地与物体208混合。在图11E中，在物体后方行驶的拦路者车辆200A的拦路者预测轨迹202A在物体208后方被部分地稀释，而在物体208前方行驶的拦路者车辆200B的拦路者预测轨迹202B被部分地与物体208混合。可以使用隐藏、混合和稀释的不同组合。
图12是根据本技术的各个方面的基于不同重叠选择修改至少一个预测轨迹的不同技术的方法342的流程图。如方法步骤344中图示的，该方法确定被显示在具有驾驶员视角的用户界面显示中的各种拦路者与物体之间的前后关系。然后，该方法确定目标物体是否与另一物体重叠，如由方法步骤346图示的。如果存在重叠，则该方法确定另一拦路者是否在本车将到达重叠点之前到达重叠点。如果是，则方法的步骤350指导使用如图7中提供的方法来修改拦路者预测轨迹。如果不是，则方法的步骤352指导使用如图10中提供的方法来修改拦路者预测轨迹。
图13A至图13B图示了根据图12的方法342的至少一个预测轨迹的修改，而为了简便起见忽略了本车轨迹。图13A是包括串联的三个拦路者车辆200A、200B、200C的俯视平面图300，拦路者车辆200A、200B、200C各自具有相应的预测轨迹202A、202B、202C。预测轨迹中的两个预测轨迹202A、202B与相邻的拦路者车辆200B、200C重叠。图13B提供了在实现图12的方法342之后的驾驶员的视角310。例如，由于在车辆200C前面没有拦路者或物体，因此图7的方法被应用于被提供在显示中的拦路者预测轨迹202C。由于在车辆200A和200B二者前方都有其它车辆，因此图10的方法被应用于它们相应的预测轨迹202A、202B。作为结果，预测轨迹202A与车辆200B重叠，但是预测轨迹202B由于与车辆200C重叠而被隐藏。
图14是根据本技术的说明性方面的在可选使用置信度得分的情况下基于在驾驶员视角图中的至少两个预测轨迹的重叠来修改至少一个预测轨迹的方法354的流程图。方法354包括生成用于本车的本车预测轨迹；以及生成用于位于本车外部的拦路者的至少一个拦路者预测轨迹。在生成预测轨迹之后，该方法以如下操作继续：确定至少两个预测轨迹在被显示在示出驾驶员的视角图的用户界面上时重叠，如方法步骤356所示。在各个方面中，方法354可以直接前进至方法步骤364，方法步骤364包括修改至少一个拦路者预测轨迹来消除重叠。然后，该方法继续更新用户界面的显示以包括任何修改的拦路者预测轨迹。在如方法步骤358中所示的可选方法中，轨迹预测***170可以包括用于计算或或者其它方式获得置信度得分的指令，置信度得分表示由于拦路者预测轨迹的重叠的呈现而导致拦路者之间的碰撞的可能性。该方法还可以包括执行置信度得分的比较以便确定置信度得分小于预定阈值，如由方法步骤360指示的。一旦确定碰撞风险小于预定阈值，则该方法可选地继续进行方法步骤362：确定另一拦路者是否将在本车将到达交叉点之前到达预测轨迹的重叠点。如果是，则该方法包括修改至少一个预测轨迹以便消除重叠，如方法步骤364所示的。在各个方面中，修改可以包括缩短预测轨迹的长度，提供预测轨迹中的至少两个预测轨迹之间的间隔距离，以及使用诸如隐藏、稀释、混合或者类似地修改预测轨迹(和/或相邻的拦路者或物体)的至少一部分之类的技术来修改预测轨迹。
图15是根据本技术的说明性方面的基于相邻两个预测轨迹之间的最短距离低于阈值的计算来修改至少一个预测轨迹的方法366的流程图。例如，轨迹预测***170可以包括用于进行如下操作的指令：生成用于本车的本车预测轨迹；以及生成用于位于本车外部的拦路者的至少一个拦路者预测轨迹。如方法步骤368和370中所示，指令可以包括用于确定在被显示在示出驾驶员的视角图的用户界面上时相邻两个预测轨迹之间的距离低于预定阈值的步骤。此后，如方法步骤372中所示，指令可以包括用于执行选自包括如下各项的组的至少一种修改的步骤：(1)改变拦路者预测轨迹中的至少一个拦路者预测轨迹的颜色；(2)改变拦路者预测轨迹中的至少一个拦路者预测轨迹的间隔位置；(3)改变拦路者预测轨迹中的至少一个拦路者预测轨迹的粗细(thickness)；以及(4)基于与本车的最近接近度来确定优先拦路者预测轨迹，并且仅显示优先拦路者预测轨迹。控制模块176还可以提供指令，这些指令在由一个或多个处理器110执行时使一个或多个处理器110或用户界面***182更新用户界面以包括任何修改的拦路者预测轨迹。
图16A至图16C图示了根据图14的方法354的至少一个拦路者和本车预测轨迹的修改。图16A图示了具有其预测轨迹102的本车100以及两个拦路者车辆200A、200B及其相应的预测轨迹202A、202B的俯视平面图300。如所示出的，本车预测轨迹102与拦路者预测轨迹202B重叠，并且另一拦路者预测轨迹202A与本车100重叠。图16B提供了驾驶员的视角310，该驾驶员的视角310完全隐藏(消除)了拦路者车辆200A及其预测轨迹202A，并且缩短了本车预测轨迹102的长度以消除预测轨迹102、202B的重叠。图16C提供了驾驶员的视角310，该驾驶员的视角310完全隐藏(消除)了拦路者车辆200A及其预测轨迹202A，并且混合了本车预测轨迹102的颜色以使预测轨迹102、202B的重叠的存在最小化。
图17图示了在拦路者200A、200B与预测轨迹202A、202B重叠的情况下从驾驶员的视角310的用户界面显示。图18A至图18E图示了根据图14至图15的方法的图17的至少一个预测轨迹的修改。例如，在图18A至图18B中，一个拦路者预测轨迹202A的颜色、梯度或图案可以被改变，以使它看起来与另一个拦路者预测轨迹202B不同。在图18C中，拦路者预测轨迹202A、202B可以被提供不同的粗细。在图18D中，预测轨迹中的一个预测轨迹202A可以被移位或分开距离“a”，以便在相邻的预测轨迹202A、202B之间提供更大的间隔。在图18E中，可以完全从视图中消除(隐藏)预测轨迹中的一个预测轨迹202A。
图19是根据本技术的说明性方面的在确定优先交叉点的情况下的基于至少两个预测轨迹或者一个或多个预测轨迹与一个或多个物体的重叠来修改至少一个预测轨迹的方法374的流程图。在生成所需的预测轨迹之后，该方法包括确定预测轨迹中的至少两个预测轨迹(或轨迹与物体)是否在第一交叉点处重叠(如方法步骤376所示)，以及确定预测轨迹中的至少两个预测轨迹(或轨迹与物体)是否在第二交叉点处重叠(如方法步骤378所示)。当定位了至少两个重叠时，方法步骤380提供了优先交叉点的确定。该确定是基于哪些拦路者将首先到达第一交叉点和第二交叉点中的一个的计算。一旦定位了优先交叉点，该方法包括修改与优先交叉点重叠的至少一个预测轨迹，如方法步骤382所示。
为了进一步解释图19的方法374，图20被提供为图示具有在具有各种交叉时间的四个交叉点处重叠的预测轨迹的四个车辆的集合。图20包括被标记为A、B、C和D的四个交叉点。假定车辆正以相同速度行驶，这里的优先交叉点处于在时间上将首先出现的交叉点B。交叉点C应该在时间上最后出现，其中交叉点A和D在B和C之间的某个时间出现。
图21A至图21B进一步图示了根据图19的方法的至少一个预测轨迹的修改。图21A是各自具有相应的预测轨迹102、202、206A、206B的本车100、拦路者车辆200和两个行人204的俯视平面图300。在道路交叉点处提供了两个停止标志214。由于拦路者车辆200在停止标志处，因此取决于行人的速度，优先交叉点在本车100与行人204A、204B中的一个行人之间。在时间上最后的交叉点将在本车100和拦路者车辆200之间。图21B提供了在图21A中呈现的情形的驾驶员视角310，并且已通过缩短本车预测轨迹102的长度来修改本车预测轨迹102，因为本车预测轨迹102涉及优先交叉点。
图22是根据本技术的说明性方面的在确定物体是部分或完全隐藏的拦路者的情况下的基于预测轨迹与物体的重叠来修改至少一个预测轨迹的方法384的流程图。在生成所需的预测轨迹之后，该方法包括方法步骤386：当考虑驾驶员的视角时，确定拦路者预测轨迹存在于物体后方，存在于物体后方指示在物体后方行驶。如方法步骤388所示，该方法确定拦路者预测轨迹在被显示在用户界面上时与物体重叠。如果在方法步骤390中确定至少一个隐藏的拦路者在被显示在示出驾驶员的视角图的用户界面上时位于物体后方，则方法步骤392提供了执行选自包括如下各项的组的至少一种修改：消除隐藏的拦路者和相应的拦路者预测轨迹二者；隐藏、稀释或与物体混合拦路者预测轨迹的一部分；以及将隐藏的拦路者叠加在物体之上。
图23A至图23D图示了需要根据图22的方法修改至少一个预测轨迹的示例情形。例如，图23A提供了包括与诸如卡车之类的较大车辆200B相邻定位的较小车辆200A的俯视平面图300。图23B图示了包括与诸如建筑物212之类的物体相邻的车辆200的俯视平面图300。图23C和图23D分别提供了图23A和图23B中呈现的情形的驾驶员视角310，其中没有看到拦路者车辆。图24A至图24D图示了当用图23C和图23D的情形呈现时根据图22的方法的至少一个预测轨迹的附加修改。图24A对于这两种情形完全消除了隐藏的拦路者车辆和相应的拦路者预测轨迹二者。图24B消除了隐藏的拦路者，但是仍呈现了预测轨迹。图24C将预测轨迹与拦路者车辆200B和建筑物212混合。图24D分别将隐藏的拦路者200、200A与建筑物212和拦路者车辆200B叠加。
图25是根据本技术的说明性方面的基于道路中的倾斜地形的存在来修改至少一个预测轨迹的方法394的流程图。方法394用于针对示出驾驶员的视角图的车辆用户界面生成轨迹，并且包括：生成用于本车的本车预测轨迹；以及生成用于位于本车外部的拦路者的至少一个拦路者预测轨迹。如方法步骤396所指示的，在生成相应的预测轨迹之后，方法394以如下操作继续：确定在以驾驶员的视角看时至少一个拦路者预测轨迹存在于物体后方，存在于物体后方指示在物体后方行驶。方法还确定拦路者预测轨迹在以驾驶员的视角被显示时与物体重叠。具体地，在该方法方面中，确定物体是倾斜地形，并且预测轨迹被至少部分地隐藏，如方法步骤400所指示的。如图26A中所示，倾斜地形215可以是上坡或下坡。如方法步骤402所指示的，该方法继续修改至少一个拦路者预测轨迹以用于显示为在倾斜地形之上延伸的弯曲轨迹，使得其在被显示在示出驾驶员的视角的用户界面上时是可见的。然后，该方法继续更新用户界面的显示以包括任何修改的(一个或多个)拦路者预测轨迹。
图26A至图26D和图27A至图27D图示了根据图25的方法的在倾斜地形干扰视野的情况下的至少一个预测轨迹的修改。图26A是具有本车100和带有其预测轨迹202的拦路者车辆200的示例场景的局部透视图。图26B提供了海拔差的侧视平面图，具体地示出了倾斜地形215，并且其中由于倾斜导致拦路者预测轨迹202指向向上方向，这是不期望的。图26C提供了俯视平面图300，而图26D提供了驾驶员的视角310，驾驶员的视角310具有隐藏的拦路者车辆200并且只有预测轨迹202的一部分示出，从而有可能导致用户对于拦路者的位置以及其行驶方向二者的混乱。图27A和图27B图示了拦路者车辆200的预测轨迹如何从直线202转变成弯曲的或至少部分弯曲的轨迹203，轨迹203可以与倾斜地形(在其之上)相离基本上固定的距离延伸，使得它并不指示看起来是向上至天空或向下至道路的方向。例如，如果轨迹202与道路/地形之间的距离越来越大于预定阈值(指示向上行驶)，则预测轨迹的至少一部分可以在向下方向上弯曲203，如图27A中所示。在另一示例中，如果轨迹202与道路/地形之间的距离越来越小于另一预定阈值，则预测轨迹的至少一部分可以在向上方向上弯曲203，如图27B中所示。图27C图示了具有弯曲预测轨迹203的图27A的场景的驾驶员的视角310。图27D还提供了拦路者车辆200的叠加表示，该叠加表示可以被提供有颜色和/或形状以指示被隐藏、位于坡的另一侧等。
图28是根据本技术的说明性方面的基于否则将会向用户提供拦路者的未知行驶方向的从显示区域伸出的至少一个拦路者预测轨迹来修改至少一个预测轨迹的方法404的流程图。方法404用于针对示出驾驶员的视角图的车辆用户界面生成轨迹，并且包括：生成用于本车的本车预测轨迹；以及生成用于位于本车外部的拦路者的至少一个拦路者预测轨迹。如方法步骤406所指示的，在生成相应的预测轨迹之后，方法404可以使用具有用于进行如下操作的指令的轨迹预测模块：确定至少一个拦路者预测轨迹在被显示在示出驾驶员的视角图的用户界面上时从显示区域伸出并且还具有未知行驶方向，如方法步骤408所示出的。该方法可以包括用于修改至少一个拦路者预测轨迹以在显示区域中提供方向的指示的方法步骤410。
图29A至图29E图示了根据图28的方法的至少一个预测轨迹的修改。图29A图示了具有本车100和拦路者车辆200的俯视平面图300。拦路者车辆200和方向的箭头二者离开显示延伸一定距离。图29B图示了从驾驶员的视角310看的该场景。如所示出的，仅存在拦路者预测轨迹202的一部分，这给用户带来了关于行驶方向的混乱。图29C添加了表示拦路者车辆200的至少部分视图的图标，然而由于缺少方向箭头，导致这仍然可能给用户造成混乱。图29D和图29E修改了拦路者预测轨迹202的长度，并且将方向箭头添加到预测轨迹的适当端部，以便在从驾驶员的视角看时向用户提供附加信息。
图30是根据本技术的说明性方面的在确定预测轨迹与一个或多个静态物体重叠的情况下基于预测轨迹与物体或另一预测轨迹的重叠来修改至少一个预测轨迹的方法412的流程图。方法412用于针对示出驾驶员的视角图的车辆用户界面生成轨迹，并且包括：生成用于本车的本车预测轨迹；以及生成用于位于本车外部的拦路者的至少一个拦路者预测轨迹。如方法步骤414所指示的，在生成相应的预测轨迹之后，方法412以如下操作继续：确定至少一个拦路者预测轨迹与物体或另一个拦路者预测轨迹重叠。该方法继续到方法步骤416，以确定拦路者预测轨迹是否与一个或多个静态物体(特别是没有驻留在道路上或人行道上的静态物体)重叠。这种静态物体的非限制示例可以包括一排树、一系列建筑物或结构等。取决于多个静态物体的大小和位置，可以将多个静态物体作为组考虑或单独地考虑。如方法步骤418中所示，该方法包括通过在预测轨迹与静态物体中的一个或多个静态物体重叠的位置中的一个或多个位置处隐藏、稀释或混合拦路者预测轨迹来修改拦路者预测轨迹。
图31A至图31C图示了根据图30的方法的与多个静态物体相邻的至少一个预测轨迹的修改。图31A提供了本车100和拦路者车辆200的俯视平面图300。预测轨迹202在多个静态物体216前方。当如图31B中所示以驾驶员的视角310呈现时，拦路者预测轨迹202与静态物体216之间的关系看上去会是混乱的。因此，如图31C中所示，拦路者预测轨迹202被修改以使得预测轨迹202的与物体216重叠的区域/位置被提供为与物体216混合。在其它方面中，取决于静态物体的类型和可选地其它因素，可以稀释和/或隐藏那些部分。
图32是根据本技术的说明性方面的在确定预测轨迹是过去时拦路者轨迹的情况下基于预测轨迹与物体或另一个预测轨迹的重叠来修改至少一个预测轨迹的方法420的流程图。通常，拦路者预测轨迹是当前的和/或未来的轨迹。然而，在各个方面中，提供至少一个过去时轨迹或者已经穿越了道路的一部分并且不再造成与本车碰撞的威胁的拦路者轨迹的指示可以是有益的或期望的。方法420用于针对示出驾驶员的视角图的车辆用户界面生成轨迹，并且包括：生成用于本车的本车预测轨迹；以及生成用于位于本车外部的拦路者的至少一个拦路者预测轨迹。如方法步骤422所指示的，在生成相应的预测轨迹之后，方法420以如下操作继续：确定至少一个拦路者预测轨迹与物体或另一个拦路者预测轨迹重叠。该方法继续到方法步骤424，以确定拦路者预测轨迹实际上是过去时拦路者预测轨迹。换句话说，跨道路的行驶已经发生。如在方法步骤426中所示，该方法包括例如通过修改或改变过去时拦路者预测轨迹的形状或粗细来修改过去时拦路者预测轨迹。
图33A至图33C图示了根据图32的方法的至少一个预测轨迹的修改。例如，图33A提供了本车100和具有当前或未来轨迹202A的第一拦路者车辆200A以及具有过去时拦路者预测轨迹202B的第二拦路者车辆200B的俯视平面图300。图33B提供了如图33A中提供的场景的驾驶员的视角310。为了清楚起见，省略了本车预测轨迹。然而，过去时拦路者预测轨迹202B的存在可能给用户造成混乱。因此，图33C提供了过去时拦路者预测轨迹的形状和/或粗细等的修改。
图34是根据本技术的说明性方面的基于复杂度来选择要在用户界面中提供的显示的类型的方法428的流程图。方法428用于针对示出驾驶员的视角图的车辆用户界面生成轨迹，并且包括：生成用于本车的本车预测轨迹；以及生成用于位于本车外部的拦路者的至少一个拦路者预测轨迹。如方法步骤430所指示的，在生成相应的预测轨迹之后，方法428以如下操作继续：确定至少一个拦路者预测轨迹与物体或另一个拦路者预测轨迹重叠。该方法继续到方法步骤432，在方法步骤432中，轨迹预测模块确定当用驾驶员的视角呈现/显示时示出视角图的用户界面中的显示可能是复杂的或混乱的。在各个方面中，复杂度的确定可以基于许多因素中的一个或多个因素，包括：显示中存在的拦路者和物体的阈值数量和/或类型；拦路者、物体和预测轨迹的位置；一天中的时间；交通拥堵；天气；用户的经验；行驶的持续时间；等等。在各个方面中，复杂度的确定可以基于一个或多个计算或置信度得分，这些计算或置信度得分可以是基于例如预测轨迹的密度、拦路者和/或物体的数量以及重叠点的数量。如方法步骤434中所提供的，该方法包括在示出俯视平面图的用户界面中生成显示，与驾驶员的视角形成对照。俯视平面图的使用旨在简化显示，并且向用户提供周围环境和场景的更完整显示。在各个方面中，该方法可以包括请求指令以从用户获得选择请求并且允许用户预览不同的显示选项和自由地在不同视图之间切换。在各个其它方面中，该方法可以包括向用户提供两种类型的显示，例如，在第一显示中提供俯视平面图，以及在第二显示中提供驾驶员的视角显示。在其它方面中，可以生成以并排布置等提供俯视平面图和驾驶员的视角二者的单个显示。
关于图标以及对预测轨迹、道路、物体等的描绘的显示，应该理解，本技术不应被限于本文具体描述的特定类型和样式，并且它们可以根据期望进行定制。就此而言，图35A至图35C图示了具有不同的线、2D图案和3D形状的预测轨迹的不同非限制性变型。例如，图35A提供了不同类型的线和箭头组合和设计，其可以包括可以指示行驶方向的改变的单独区段的指示(在图35A中被示出为点)。图35B提供了可以用于取代图35A的线的不同类型的二维形状。二维形状可以被设计为具有不同的梯度或颜色，以更好地指示行驶方向、速度、置信度水平等。图35C提供了可以用于取代图35A的线的不同类型的三维形状。三维形状可以被类似地设计为具有不同的梯度或颜色，以更好地指示行驶方向、速度、置信度水平等。三维形状可以被提供为具有各种细节水平，范围从使用线和简单形状到显示详细的三维物体。
图36A至图36C图示了在两个预测轨迹重叠的情况下的2D和3D预测轨迹。图36A图示了先前相对于图16A至图16C讨论的场景，其中，本车预测轨迹102与拦路者预测轨迹202交叉并重叠。图36B提供了具有变化的颜色和梯度来表示预测轨迹102、202的两组二维形状。图36C提供了具有变化的颜色和梯度来表示预测轨迹102、202的两组三维形状。
图37A至图37C图示了在预测轨迹与至少一个静态物体重叠的情况下的2D和3D预测轨迹。图37A图示了先前相对于图31A至图31C讨论的场景，其中，拦路者车辆200正相邻于多个静态物体216行驶。图37B提供了具有变化的颜色和梯度来表示预测轨迹202的二维形状。图37C提供了具有变化的混合、稀释和隐藏来表示预测轨迹202的三维形状。
图38A至图38B图示了在单个显示上的2D与3D预测轨迹的组合的使用。图38A提供了俯视平面图300，并且图38B提供了在图38A中呈现的场景的驾驶员的视角310。具体地，图38B提供了具有简单线图案的本车预测轨迹102，提供了具有三维形状的第一拦路者预测轨迹202A，并且提供了具有二维形状的第二拦路者预测轨迹202B。应该理解，可以将各种修改和组合与本技术一起使用。在各个方面中，用户可以定制和改变显示类型，并且***和方法可以包括基于预定的阈值和要求来改变预测轨迹的形状和/或尺寸。
本文描述的各种方法中的每一种可以被提供作为可以包括一个或多个处理器和存储器的***的部分，存储器可以包括轨迹预测模块，轨迹预测模块包括在由一个或多个处理器执行时使处理器执行用于执行方法的各个部分中描述的步骤的动作的指令。类似地，本文描述的方法中的每一种可以被作为指令存储在非暂态计算机可读介质上。
现在，图1将作为本文公开的***和方法可以在其内操作的示例车辆环境被充分详细地讨论。在一些实例中，车辆100被配置为选择性地在自主模式、一种或多种半自主操作模式和/或手动模式之间切换。当转变为手动模式时也被称为移交(handover)的这种切换可以以现在已知或以后开发的适当方式来实现。“手动模式”意指根据从用户(例如，人类驾驶员/操作员)接收到的输入来执行车辆的导航和/或操纵中的全部或大部分。
在一个或多个方面中，车辆100是自主车辆。如本文使用的，“自主车辆”是指以自主模式操作的车辆。“自主模式”是指使用一个或多个计算***以在来自人类驾驶员/操作员的输入最小或没有来自人类驾驶员/操作员的输入的情况下控制车辆100来沿着行驶路线导航和/或操纵车辆100。在一个或多个方面中，车辆100是高度自动化或完全自动化的。在一个方面中，车辆100被配置有一种或多种半自主操作模式，在这一种或多种半自主操作模式中一个或多个计算***执行沿着行驶路线的车辆的导航和/或操纵的一部分，并且车辆操作员(即，驾驶员)向车辆提供输入以执行沿着行驶路线的车辆100的导航和/或操纵的一部分。因此，在一个或多个方面中，车辆100根据特别定义的自主水平进行自主操作。例如，车辆100可以根据汽车工程师协会(SAE)自动车辆分类0-5进行操作。在一个方面中，车辆100根据SAE等级2进行操作，SAE等级2规定在没有操作员输入的情况下自主驾驶模块160通过制动、加速和转向来控制车辆100，但是驾驶员/操作员将监视驾驶并且保持警惕并准备好在自主驾驶模块160无法正确地响应或以其它方式不能够充分控制车辆100时干预对车辆100的控制。
车辆100可以包括一个或多个处理器110。在一种或多种布置中，(一个或多个)处理器110可以是车辆100的主处理器。例如，(一个或多个)处理器110可以是电子控制单元(ECU)。车辆100可以包括用于存储一种或多种类型的数据的一个或多个数据存储装置115。数据存储装置115可以包括易失性和/或非易失性存储器。合适的数据存储装置115的示例包括RAM(随机存取存储器)、闪速存储器、ROM(只读存储器)、PROM(可编程只读存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、寄存器、磁盘、光盘、硬盘驱动器或任何其它合适的存储介质或者其任何组合。数据存储装置115可以是(一个或多个)处理器110的部件，或者数据存储装置115可以可操作地连接到(一个或多个)处理器110以供其使用。在本说明书中通篇使用的术语“可操作地连接”可以包括直接或间接连接，包括没有直接物理接触的连接。
在一种或多种布置中，一个或多个数据存储装置115可以包括地图数据116。地图数据116可以包括一个或多个地理区域的地图。在一些实例中，地图数据116可以包括关于一个或多个地理区域中的道路、交通控制设备、道路标记、结构、特征和/或地标的信息或数据。地图数据116可以采用任何合适的形式。在一些实例中，地图数据116可以包括区域的俯瞰图。在一些实例中，地图数据116可以包括区域的地面图，包括360度地面图。地图数据116可以包括针对被包括在地图数据116中的一个或多个项目和/或相对于被包括在地图数据116中的其它项目的测量、尺寸、距离和/或信息。地图数据116可以包括具有关于道路几何形状的信息的数字地图。地图数据116可以是高质量的和/或高度详细的。
在一种或多种布置中，地图数据116可以包括一个或多个地形地图117。(一个或多个)地形地图117可以包括关于一个或多个地理区域的地面、地形、道路、表面和/或其它特征的信息。(一个或多个)地形地图117可以包括一个或多个地理区域中的海拔数据。(一个或多个)地形地图117可以是高质量的和/或高度详细的。(一个或多个)地形地图117可以定义一个或多个地面表面，这些地面表面可以包括铺砌的道路、未铺砌的道路、土地以及定义地面表面的其它事物。
在一种或多种布置中，地图数据116可以包括一个或多个静态障碍物地图118。(一个或多个)静态障碍物地图118可以包括关于位于一个或多个地理区域内的一个或多个静态障碍物的信息。“静态障碍物”是其位置在一段时间内不改变或基本上不改变和/或其大小在一段时间内不改变或基本上不改变的物理物体。静态障碍物的示例包括树木、建筑物、路缘、围栏、栏杆、安全岛(median)、电线杆、雕像、纪念碑、标志、长凳、家具、邮箱、大石头、坡。静态障碍物可以是延伸到地面水平以上的物体。被包括在(一个或多个)静态障碍物地图118中的一个或多个静态障碍物可以具有位置数据、大小数据、尺寸数据、材料数据和/或与其相关联的其它数据。(一个或多个)静态障碍物地图118可以包括针对一个或多个静态障碍物的测量、尺寸、距离和/或信息。(一个或多个)静态障碍物地图118可以是高质量的和/或高度详细的。(一个或多个)静态障碍物地图118可以被更新以反映在被绘制地图的区域内的改变。
一个或多个数据存储装置115可以包括传感器数据119。在该上下文中，“传感器数据”意指关于车辆100配备的传感器的任何信息，包括关于这样的传感器的能力和其它信息。如以下将说明的，车辆100可以包括传感器***120。传感器数据119可以涉及传感器***120的一个或多个传感器。作为示例，在一种或多种布置中，传感器数据119可以包括关于传感器***120的一个或多个LIDAR传感器124的信息。
在一些实例中，地图数据116和/或传感器数据119中的至少一部分可以位于定位在车辆100上的一个或多个数据存储装置115中。可替代地或附加地，地图数据116和/或传感器数据119中的至少一部分可以位于相对于车辆100远程定位的一个或多个数据存储装置115中。
如上所述，车辆100可以包括传感器***120。传感器***120可以包括一个或多个传感器。“传感器”意指可以检测和/或感测某事物的任何设备、部件和/或***。一个或多个传感器可以被配置为实时地检测和/或感测。如本文所使用的，术语“实时”意指用户或***感测到对于要进行的特定处理或确定而言足够立即或者使得处理器能够跟上某个外部处理的处理响应水平。
在其中传感器***120包括多个传感器的布置中，传感器可以彼此独立地起作用。可替代地，传感器中的两个或更多个传感器可以彼此组合地工作。在这种情况下，这两个或更多个传感器可以形成传感器网络。传感器***120和/或一个或多个传感器可以可操作地连接到(一个或多个)处理器110、(一个或多个)数据存储装置115和/或车辆100的另一元件(包括图1中示出的元件中的任一个)。传感器***120可以获取车辆100的外部环境的至少一部分(例如，附近车辆)的数据。
传感器***120可以包括任何合适类型的传感器。本文将描述不同类型的传感器的各种示例。然而，将理解，这些方面不限于所描述的特定传感器。传感器***120可以包括一个或多个车辆传感器121。(一个或多个)车辆传感器121可以检测、确定和/或感测关于车辆100本身的信息。在一种或多种布置中，(一个或多个)车辆传感器121可以被配置为诸如例如基于惯性加速度来检测和/或感测车辆100的位置和朝向改变。在一种或多种布置中，(一个或多个)车辆传感器121可以包括一个或多个加速度计、一个或多个陀螺仪、惯性测量单元(IMU)、航位推算***、全球导航卫星***(GNSS)、全球定位***(GPS)、导航***147、和/或其它合适的传感器。(一个或多个)车辆传感器121可以被配置为检测和/或感测车辆100的一种或多种特性。在一种或多种布置中，(一个或多个)车辆传感器121可以包括用于确定车辆100的当前速度的速度计。
可替代地或附加地，传感器***120可以包括被配置为获取和/或感测驾驶环境数据的一个或多个环境传感器122。“驾驶环境数据”包括关于自主车辆所处的外部环境或者其一个或多个部分的数据或信息。例如，一个或多个环境传感器122可以被配置为检测、量化和/或感测车辆100的外部环境的至少一部分中的障碍物和/或关于这种障碍物的信息/数据。这种障碍物可以是静止物体和/或动态物体。一个或多个环境传感器122可以被配置为检测、测量、量化和/或感测车辆100的外部环境中的其它事物，诸如例如车道标记、标志、交通信号灯、交通标志、车道线、人行横道、靠近车辆100的路缘、在道路之外的物体等。
本文将描述传感器***120的传感器的各种示例。示例传感器可以是一个或多个环境传感器122和/或一个或多个车辆传感器121的部分。此外，传感器***120可以包括操作员传感器，该操作员传感器用于跟踪或以其它方式监视与车辆100的驾驶员/操作员相关的方面。然而，将理解，这些方面不限于所描述的特定传感器。
作为示例，在一种或多种布置中，传感器***120可以包括一个或多个雷达传感器123、一个或多个LIDAR传感器124、一个或多个声纳传感器125和/或一个或多个相机126。在一种或多种布置中，一个或多个相机126可以是高动态范围(HDR)相机、红外(IR)相机等。在一个方面中，相机126包括设置在车辆的乘客隔室内的一个或多个相机，用于对操作员/驾驶员执行眼球跟踪，以便确定操作员/驾驶员的视线、操作员/驾驶员的眼球踪迹等。
车辆100可以包括输入***130。“输入***”包括使得信息/数据能够被输入到机器中的任何设备、部件、***、元件或布置或者其组。输入***130可以接收来自车辆乘客(例如，驾驶员或乘客)的输入。车辆100可以包括输出***135。“输出***”包括使得信息/数据能够被呈现给车辆乘客(例如，人、车辆乘客等)的任何设备、部件或布置或者其组。
车辆100可以包括一个或多个车辆***140。在图1中示出了一个或多个车辆***140的各种示例。然而，车辆100可以包括更多、更少或不同的车辆***。应认识到的是，虽然分开地定义了特定的车辆***，但是可以经由车辆100内的硬件和/或软件以其它方式组合或分离***或其部分中的每一个或任一个。车辆100可以包括推进***141、制动***142、转向***143、节气门***144、传动***145、信令***146和/或导航***147。这些***中的每一个可以包括现在已知或以后开发的一个或多个设备、部件和/或其组合。
导航***147可以包括被配置为确定车辆100的地理位置和/或确定用于车辆100的行驶路线的现在已知或以后开发的一个或多个设备、传感器、应用和/或其组合。导航***147可以包括一个或多个地图绘制应用，以确定用于车辆100的行驶路线。导航***147可以包括全球定位***、本地定位***或地理位置***。
(一个或多个)处理器110、轨迹预测***170和/或(一个或多个)自主驾驶模块160可以被可操作地连接，以与各种车辆***140和/或其各个部件通信。例如，返回图1，(一个或多个)处理器110和/或(一个或多个)自主驾驶模块160可以进行通信，以发送和/或接收来自各种车辆***140的信息，以控制车辆100的移动、速度、操纵、航向、方向等。(一个或多个)处理器110、轨迹预测***170和/或(一个或多个)自主驾驶模块160可以控制这些车辆***140中的一些或全部，并且因此可以是部分或完全自主的。
(一个或多个)处理器110、轨迹预测***170和/或(一个或多个)自主驾驶模块160可以被可操作地连接，以与各种车辆***140和/或其各个部件通信。例如，返回图1，(一个或多个)处理器110、轨迹预测***170和/或(一个或多个)自主驾驶模块160可以进行通信，以发送和/或接收来自各种车辆***140的信息，以控制车辆100的移动、速度、操纵、航向、方向等。(一个或多个)处理器110、轨迹预测***170和/或(一个或多个)自主驾驶模块160可以控制这些车辆***140中的一些或全部。
(一个或多个)处理器110、轨迹预测***170和/或(一个或多个)自主驾驶模块160可以可操作以通过控制车辆***140和/或其部件中的一个或多个来控制车辆100的导航和/或操纵。例如，当以自主模式操作时，(一个或多个)处理器110、轨迹预测***170和/或(一个或多个)自主驾驶模块160可以控制车辆100的方向和/或速度。(一个或多个)处理器110、轨迹预测***170和/或(一个或多个)自主驾驶模块160可以使车辆100加速(例如，通过增加向发动机提供的燃料的供应)、减速(例如，通过减少对发动机的燃料供应和/或通过施加制动)和/或改变方向(例如，通过使两个前轮转向)。如本文所使用的，“使”或“使得”意指以直接或间接的方式做出、迫使、强迫、指导、命令、指示和/或使得事件或动作能够发生或至少处于这种事件或动作可以发生的状态。
车辆100可以包括一个或多个致动器150。致动器150可以是可操作以响应于接收到来自(一个或多个)处理器110和/或(一个或多个)自主驾驶模块160的信号或其它输入而修改、调节和/或更改车辆***140或其部件中的一个或多个的任何元件或元件的组合。可以使用任何合适的执行器。例如，一个或多个致动器150可以包括马达、气动致动器、液压活塞、继电器、螺线管和/或压电致动器，这仅仅是列举几种可能性。
车辆100可以包括一个或多个模块，这些模块中的至少一些在本文中被描述。模块可以被实现为在由处理器110执行时实现本文描述的各种处理中的一个或多个处理的计算机可读程序代码。模块中的一个或多个可以是(一个或多个)处理器110的部件，或者模块中的一个或多个可以在(一个或多个)处理器110可操作地连接到的其它处理***上执行和/或分布在这些其它处理***之间。模块可以包括可由(一个或多个)处理器110执行的指令(例如，程序逻辑)。可替代地或附加地，一个或多个数据存储装置115可以包含这种指令。通常，如本文所使用的，术语模块包括执行特定任务或实现特定数据类型的例程、程序、对象、部件、数据结构等。在其它方面中，存储器通常存储所提到的模块。与模块相关联的存储器可以是嵌入在处理器内的缓冲器或高速缓存、RAM、ROM、闪速存储器或另外的合适的电子存储介质。在其它方面中，本公开所设想到的模块被实现为专用集成电路(ASIC)、片上***(SoC)的硬件部件、可编程逻辑阵列(PLA)或嵌入有用于执行所公开的功能的定义配置集合(例如，指令)的另外的合适硬件部件。
在一种或多种布置中，本文描述的模块中的一个或多个可以包括人工智能或计算智能元件，例如，神经网络、模糊逻辑或其它机器学习算法。另外，在一种或多种布置中，模块中的一个或多个可以分布在本文描述的多个模块之间。在一种或多种布置中，本文描述的模块中的两个或更多个可以被组合成单个模块。
车辆100可以包括一个或多个自主驾驶模块160。(一个或多个)自主驾驶模块160可以被配置为从传感器***120以及/或者能够捕获与车辆100和/或车辆100的外部环境相关的信息的任何其它类型的***接收数据。在一种或多种布置中，(一个或多个)自主驾驶模块160可以使用这样的数据来生成一个或多个驾驶场景模型。(一个或多个)自主驾驶模块160可以确定车辆100的位置和速度。(一个或多个)自主驾驶模块160可以确定障碍物或包括交通标志、树木、灌木、附近的车辆、行人等的其它环境特征的位置。
(一个或多个)自主驾驶模块160可以被配置为接收和/或确定用于由(一个或多个)处理器110和/或本文描述的模块中的一个或多个用来估计车辆100的位置和朝向的在车辆100的外部环境内的障碍物的位置信息、基于来自多个卫星的信号的全球坐标中的车辆位置、或者能够被用于确定车辆100的当前状态或确定车辆100相对于其环境的位置以用于创建地图或确定车辆100相对于地图数据的位置的任何其它数据和/或信号。
(一个或多个)自主驾驶模块160可以独立地或与轨迹预测***170组合地被配置为基于由传感器***120获取的数据、驾驶场景模型和/或来自任何其它合适源的数据来确定(一个或多个)行驶路径、车辆100的当前自主驾驶操纵、未来自主驾驶操纵和/或对当前自主驾驶操纵的修改。“驾驶操纵”意指影响车辆的移动的一个或多个动作。驾驶操纵的示例包括：加速、减速、制动、转向、在车辆100的横向方向上移动、改变行驶车道、并入行驶车道和/或倒车，这仅仅是列举几种可能性。(一个或多个)自主驾驶模块160可以被配置为实现所确定的驾驶操纵。(一个或多个)自主驾驶模块160可以直接或间接地使这种自主驾驶操纵被实现。如本文所使用的，“使”或“使得”意指以直接或间接的方式做出、命令、指示和/或使得事件或动作能够发生或至少处于这种事件或动作可以发生的状态。(一个或多个)自主驾驶模块160可以被配置为执行各种车辆功能，和/或将数据发送到车辆100或其一个或多个***(例如，车辆***140中的一个或多个)、从车辆100或其一个或多个***(例如，车辆***140中的一个或多个)接收数据、与车辆100或其一个或多个***(例如，车辆***140中的一个或多个)交互和/或控制车辆100或其一个或多个***(例如，车辆***140中的一个或多个)。
本文公开了详细方面。然而，要理解的是，所公开的方面仅旨在作为示例。因此，本文公开的具体结构和功能细节将不被解释为限制性的，而是仅仅作为权利要求的基础以及作为教导本领域技术人员在事实上任何合适的详细结构中以各种方式采用本文的方面的代表性基础。另外，本文使用的术语和短语不旨在是限制性的，而是提供可能实现方式的可理解的描述。在集体的图中示出了各种方面，但是这些方面不限于所图示的结构或应用。
图中的流程图和框图图示了根据各种方面的***、方法和计算机程序产品的可能实现方式的架构、功能和操作。就这点而言，流程图或框图中的每个框可以表示包括用于实现指定的(一个或多个)逻辑功能的一个或多个可执行指令的模块、段或代码的部分。还应该注意，在一些替代的实现方式中，框中指出的功能可以不按照图中指出的顺序发生。例如，取决于所涉及的功能，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以按相反顺序执行。
以上描述的***、部件和/或处理可以在硬件或者硬件和软件的组合中实现，并且可以以集中式方式在一个处理***中实现或者以其中不同元件跨数个互连处理***分散的分布式方式来实现。适用于执行本文描述的方法的任何种类的处理***或另一装置都是合适的。硬件和软件的典型组合可以是具有计算机可用程序代码的处理***，该计算机可用程序代码在被加载和执行时控制处理***，使得处理***执行本文描述的方法。***、部件和/或处理还可以被嵌入在可由机器读取的诸如计算机程序产品或其它数据程序存储设备之类的计算机可读存储装置中，从而有形地实施可由机器执行以执行本文描述的方法和处理的指令的程序。这些元件也可以被嵌入在包括使得能够实现本文描述的方法的所有特征并且当被加载到处理***中时能够执行这些方法的应用产品中。
此外，本文描述的布置可以采取在其上实施(例如，存储)有计算机可读程序代码的一个或多个计算机可读介质中实施的计算机程序产品的形式。可以利用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。短语“计算机可读存储介质”意指非暂态存储介质。计算机可读存储介质可以是例如但不限于电子、磁、光学、电磁、红外或半导体***、装置或设备或者前述的任何合适组合。计算机可读存储介质的更具体示例(非穷尽列表)将包括以下：便携式计算机盘、硬盘驱动器(HDD)、固态驱动器(SSD)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪速存储器)、便携式致密盘只读存储器(CD-ROM)、数字多功能盘(DVD)、光学存储设备、磁存储设备或者前述的任何合适组合。在本文档的上下文中，计算机可读存储介质可以是能够包含或存储供指令执行***、装置或设备使用或与指令执行***、装置或设备结合使用的程序的任何有形介质。
可以使用任何合适的介质传输在计算机可读介质上实施的程序代码，这些合适的介质包括但不限于无线、有线、光纤、线缆、RF等或前述的任何合适组合。可以用一种或多种编程语言的任何组合编写用于执行本布置的方面的操作的计算机程序代码，这些编程语言包括诸如JavaTM、Smalltalk、C++等之类的面向对象的编程语言以及诸如“C”编程语言或类似编程语言之类的传统过程性编程语言。程序代码可以完全在用户的计算机上执行、部分地在用户的计算机上执行、作为独立软件包执行、部分地在用户的计算机上并且部分地在远程计算机上执行、或者完全在远程计算机或服务器上执行。在后一种场景中，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机，或者可以与外部计算机(例如，使用互联网服务供应商通过互联网)进行连接。
前述描述是出于说明和描述的目的提供的，决不是旨在限制本公开、本公开的应用或使用。不旨在是穷尽的或限制本公开。特定方面的各个元件或特征通常不限于该特定方面，而是在适当的情况下能互换，并且可以用于所选择的方面，即使未具体示出或描述。这些还可以以许多方式变化。这样的变型不应该被认为是偏离于本公开，并且所有这种修改旨在被包括在本公开的范围内。
如本文所使用的，短语A、B和C中的至少一个应该被解释为意指使用非排他性逻辑“或”的逻辑(A或B或C)。应该理解，可在不更改本公开的原理的情况下，按不同的顺序来执行方法内的各种步骤。范围的公开包括所有范围以及整个范围内的细分范围(包括端点)的公开。
本文使用的标题(诸如“背景技术”和“发明内容”)和子标题仅旨在用于本公开内的主题的一般组织，而不旨在限制本技术或其任何方面的公开。具有所陈述的特征的多个方面的记载并不旨在排除具有附加特征的其它方面，或整合了所陈述的特征的不同组合的其它方面。
如本文中所使用的，术语“包括”和“包含”及其变体旨在是非限制性的，使得连续项目或列表的记载并没有要排除也可以用在本技术的设备和方法中的其它类似项目。类似地，术语“可以”和“可”及其变体旨在是非限制性的，使得方面可以或可包括某些元件或特征的记载没有排除本技术的不包含那些元件或特征的其它方面。本文使用的术语“一”和“一个”被定义为一个或多于一个。本文使用的术语“多个”被定义为两个或多于两个。本文使用的术语“另一个”被定义为至少第二个或更多个。
本公开的广泛教导可以以各种形式来实现。因此，虽然本公开包括特定示例，但是本公开的真实范围不应该如此受限制，因为在研究说明书和以下权利要求后，其它修改对于本领域技术人员将变得清楚。在本文中参考一个方面或各个方面意味着，结合实施例或特定***描述的特定特征、结构或特性被包括在至少一个实施例或方面中。短语“在一个方面中”(或其变型)的出现不一定是指相同的方面或实施例。还应该理解，本文讨论的各种方法步骤不必以与所描绘的顺序相同的顺序执行，并且不是每个方法步骤在每个方面或实施例中都是需要的。

Claims (20)

1.一种用于针对示出驾驶员的视角图的车辆用户界面生成轨迹的***，所述***包括：
一个或多个处理器；以及
存储器，所述存储器可通信地耦接到所述一个或多个处理器并且存储：
轨迹预测模块，所述轨迹预测模块包括在由所述一个或多个处理器执行时使所述一个或多个处理器进行如下操作的指令：
生成用于本车的本车预测轨迹；
生成用于位于所述本车外部的拦路者的至少一个拦路者预测轨迹；
确定至少一个拦路者预测轨迹既(1)存在于物体后方又(2)在被显示在示出驾驶员的视角图的用户界面上时与所述物体重叠，所述存在于物体后方指示在所述物体后方行驶，所述重叠看起来指示在所述物体前方行驶；以及
修改所述至少一个拦路者预测轨迹以消除所述重叠；以及控制模块，所述控制模块包括在由所述一个或多个处理器执行时使所述一个或多个处理器更新所述用户界面以包括任何修改的拦路者预测轨迹的指令。
2.根据权利要求1所述的***，其中，用于修改所述至少一个拦路者预测轨迹以消除所述重叠的指令包括用于进行如下操作的指令：
修改所述至少一个拦路者预测轨迹的长度，以使得不与所述物体重叠。
3.根据权利要求1所述的***，其中，所述轨迹预测模块还包括用于进行如下操作的指令：
确定第一拦路者预测轨迹既(1)存在于第一物体后方又(2)在被显示在具有驾驶员的视角图的所述用户界面上时与所述第一物体重叠，所述存在于第一物体后方指示在所述第一物体后方行驶；
确定第二拦路者预测轨迹既(1)存在于所述第一物体和第二物体之间又(2)在被显示在示出驾驶员的视角图的所述用户界面上时与所述第二物体重叠；以及
修改所述第一拦路者预测轨迹和所述第二拦路者预测轨迹中的每一个的长度，以使得不与相应的所述第一物体和所述第二物体重叠。
4.根据权利要求1所述的***，其中，所述轨迹预测模块还包括用于进行如下操作的指令：
确定所述物体不是具有预测轨迹的拦路者。
5.根据权利要求1所述的***，其中，用于修改所述至少一个拦路者预测轨迹以消除所述重叠的指令包括用于进行如下操作的指令：
修改所述物体的显示以使得所述拦路者预测轨迹在被显示在示出驾驶员的视角图的所述用户界面上时看起来被隐藏在所述物体后方。
6.根据权利要求1所述的***，其中，用于修改所述至少一个拦路者预测轨迹以消除所述重叠的指令包括用于进行如下操作的指令：
修改所述物体的显示以使得所述拦路者预测轨迹的第一部分在被显示在示出驾驶员的视角图的所述用户界面上时看起来被隐藏在所述物体后方；以及
使用选自包括隐藏、稀释和混合的组的至少一种技术来修改所述拦路者预测轨迹的第二部分。
7.根据权利要求1所述的***，其中，用于修改所述至少一个拦路者预测轨迹以消除所述重叠的指令包括用于进行如下操作的指令：
使用选自包括隐藏、稀释和混合的组的至少一种技术来修改所述拦路者预测轨迹。
8.根据权利要求1所述的***，其中，所述轨迹预测模块还包括用于进行如下操作的指令：
确定至少一个隐藏的拦路者在被显示在示出驾驶员的视角图的所述用户界面上时在所述物体后方；以及
执行选自包括如下各项的组的至少一种修改：
消除所述隐藏的拦路者和相应的拦路者预测轨迹二者；
隐藏、稀释或与所述物体混合所述拦路者预测轨迹的一部分；以及
将所述隐藏的拦路者叠加在所述物体之上。
9.根据权利要求1所述的***，其中，所述轨迹预测模块还包括用于进行如下操作的指令：
确定所述物体是倾斜地形，并且所述至少一个拦路者预测轨迹在被显示在具有驾驶员的视角图的所述用户界面上时被所述倾斜地形至少部分地隐藏；以及
修改所述至少一个拦路者预测轨迹以用于显示为在所述倾斜地形之上延伸的弯曲轨迹，使得所述至少一个拦路者预测轨迹在被显示在示出驾驶员的视角图的所述用户界面上时是可见的。
10.根据权利要求1所述的***，其中：
所述拦路者是汽车、摩托车、自行车和行人中的一个；以及
所述车辆用户界面是导航显示器、多信息显示器、平视显示器HUD、头戴式显示器HMD、远程操作员显示器和可穿戴设备中的一个。
11.一种非暂态计算机可读介质，所述非暂态计算机可读介质用于针对示出驾驶员的视角图的车辆用户界面生成轨迹并且存储在由一个或多个处理器执行时使所述一个或多个处理器进行如下操作的指令：
生成用于本车的本车预测轨迹；
生成用于位于所述本车外部的拦路者的至少一个拦路者预测轨迹；
确定至少一个拦路者预测轨迹既(1)存在于物体后方又(2)在被显示在示出驾驶员的视角图的用户界面上时与所述物体重叠，所述存在于物体后方指示在所述物体后方行驶，所述重叠看起来指示在所述物体前方行驶；
修改所述至少一个拦路者预测轨迹以消除所述重叠，从而创建修改的预测轨迹；以及
更新所述用户界面以包括任何修改的拦路者预测轨迹。
12.一种用于针对示出驾驶员的视角图的车辆用户界面生成轨迹的方法，所述方法包括：
生成用于本车的本车预测轨迹；
生成用于位于所述本车外部的拦路者的至少一个拦路者预测轨迹；
确定至少一个拦路者预测轨迹既(1)存在于物体后方又(2)在被显示在示出驾驶员的视角图的用户界面上时与所述物体重叠，所述存在于物体后方指示在所述物体后方行驶，所述重叠看起来指示在所述物体前方行驶；
修改所述至少一个拦路者预测轨迹以消除所述重叠；以及
更新所述用户界面的显示以包括任何修改的拦路者预测轨迹。
13.根据权利要求12所述的方法，其中，修改所述至少一个拦路者预测轨迹以消除所述重叠包括：
修改所述至少一个拦路者预测轨迹的长度，以使得不与所述物体重叠。
14.根据权利要求12所述的方法，包括：
确定第一拦路者预测轨迹既(1)存在于第一物体后方又(2)在被显示在示出驾驶员的视角图的所述用户界面上时与所述第一物体重叠，所述存在于第一物体后方指示在物体后方行驶；
确定第二拦路者预测轨迹既(1)存在于所述第一物体和第二物体之间又(2)在被显示在示出驾驶员的视角图的所述用户界面上时与所述第二物体重叠；以及
修改所述第一拦路者预测轨迹和所述第二拦路者预测轨迹中的每一个的长度，以使得不与相应的所述第一物体和所述第二物体重叠。
15.根据权利要求12所述的方法，还包括：
确定所述物体不是具有预测轨迹的拦路者。
16.根据权利要求12所述的方法，包括：
确定第一拦路者预测轨迹既(1)存在于物体后方又(2)在被显示在示出驾驶员的视角图的所述用户界面上时与所述物体重叠，所述存在于物体后方指示在所述物体后方行驶；
确定第二拦路者预测轨迹与所述物体重叠；以及
修改所述物体的显示以使得所述第一拦路者预测轨迹和所述第二拦路者预测轨迹在被显示在示出驾驶员的视角图的所述用户界面上时看起来都被隐藏在所述物体后方。
17.根据权利要求12所述的方法，包括：
确定第一拦路者预测轨迹既(1)存在于物体后方又(2)在被显示在具有驾驶员的视角图的所述用户界面上时与所述物体重叠，所述存在于物体后方指示在所述物体后方行驶；
确定第二拦路者预测轨迹与所述物体重叠；以及
修改所述物体的显示以使得所述第一拦路者预测轨迹在被显示在示出驾驶员的视角图的所述用户界面上时看起来被隐藏在所述物体后方；以及
使用选自包括隐藏、稀释和混合的组的至少一种技术来修改所述第二拦路者预测轨迹。
18.根据权利要求12所述的方法，包括：
确定第一拦路者预测轨迹既(1)存在于物体后方又(2)在被显示在示出驾驶员的视角图的所述用户界面上时与所述物体重叠，所述存在于物体后方指示在所述物体后方行驶；
确定第二拦路者预测轨迹与所述物体重叠；以及
使用选自包括隐藏、稀释和混合的组的至少一种技术来修改所述第一拦路者预测轨迹和所述第二拦路者预测轨迹二者。
19.根据权利要求12所述的方法，包括：
确定至少一个隐藏的拦路者被隐藏在所述物体后方；以及
执行选自包括如下各项的组的至少一种修改：
消除所述隐藏的拦路者和相关联的拦路者预测轨迹二者；
隐藏、稀释或与所述物体混合所述相关联的拦路者预测轨迹的一部分；以及
将所述隐藏的拦路者与所述物体叠加。
20.根据权利要求12所述的方法，包括：
确定所述物体是倾斜地形，并且所述至少一个拦路者预测轨迹被所述倾斜地形至少部分地隐藏；以及
修改所述至少一个拦路者预测轨迹以用于显示为在所述倾斜地形之上延伸的弯曲轨迹，使得所述至少一个拦路者预测轨迹在被显示在示出驾驶员的视角图的所述用户界面上时是可见的。
CN202010684960.XA 2019-07-31 2020-07-16 具有预测轨迹的自主车辆用户界面 Active CN112319467B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/527,483 US11292457B2 (en) 2019-07-31 2019-07-31 Autonomous vehicle user interface with predicted trajectories
US16/527,483 2019-07-31

Publications (2)

Publication Number Publication Date
CN112319467A CN112319467A (zh) 2021-02-05
CN112319467B true CN112319467B (zh) 2023-04-14

Family

ID=74165648

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010684960.XA Active CN112319467B (zh) 2019-07-31 2020-07-16 具有预测轨迹的自主车辆用户界面

Country Status (4)

Country Link
US (1) US11292457B2 (zh)
JP (1) JP7282718B2 (zh)
CN (1) CN112319467B (zh)
DE (1) DE102020115011B4 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6939376B2 (ja) * 2017-10-10 2021-09-22 トヨタ自動車株式会社 自動運転システム
DE102019117689A1 (de) * 2019-07-01 2021-01-07 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Steuereinheit zur Darstellung einer Verkehrssituation durch Ausblenden von Verkehrsteilnehmer-Symbolen
JP2021024423A (ja) * 2019-08-05 2021-02-22 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP7161458B2 (ja) * 2019-09-09 2022-10-26 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
US20230001953A1 (en) * 2021-06-17 2023-01-05 Toyota Research Institute, Inc. Planning-aware prediction for control-aware autonomous driving modules
CN113501007B (zh) * 2021-07-30 2022-11-15 中汽创智科技有限公司 一种基于自动驾驶的路径轨迹规划方法、装置及终端
CN113895228B (zh) * 2021-10-11 2022-05-17 黑龙江天有为电子有限责任公司 一种汽车组合仪表盘及汽车
US20230260404A1 (en) * 2022-02-15 2023-08-17 International Business Machines Corporation Multi-vehicle collaboration with group visualization

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009227245A (ja) * 2008-03-25 2009-10-08 Denso Corp 車載機器の操作装置
JP2012153256A (ja) * 2011-01-26 2012-08-16 Toyota Motor Corp 画像処理装置
CN107209518A (zh) * 2015-01-26 2017-09-26 罗伯特·博世有限公司 代客泊车方法和代客泊车***
JP2018173399A (ja) * 2017-03-31 2018-11-08 アイシン・エィ・ダブリュ株式会社 表示装置及びコンピュータプログラム

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010188981A (ja) * 2009-02-20 2010-09-02 Fuji Heavy Ind Ltd 車両の運転支援装置
EP2615598B1 (en) 2012-01-11 2017-12-06 Honda Research Institute Europe GmbH Vehicle with computing means for monitoring and predicting traffic participant objects
US9633564B2 (en) 2012-09-27 2017-04-25 Google Inc. Determining changes in a driving environment based on vehicle behavior
US8676431B1 (en) 2013-03-12 2014-03-18 Google Inc. User interface for displaying object-based indications in an autonomous driving system
US9008890B1 (en) 2013-03-15 2015-04-14 Google Inc. Augmented trajectories for autonomous vehicles
US8849494B1 (en) * 2013-03-15 2014-09-30 Google Inc. Data selection by an autonomous vehicle for trajectory modification
JP2014185926A (ja) * 2013-03-22 2014-10-02 Aisin Aw Co Ltd 誘導表示システム
US9280899B2 (en) * 2013-08-06 2016-03-08 GM Global Technology Operations LLC Dynamic safety shields for situation assessment and decision making in collision avoidance tasks
US9091557B2 (en) 2013-10-08 2015-07-28 Toyota Jidosha Kabushiki Kaisha Navigation system for providing personalized directions
JP6303428B2 (ja) 2013-11-19 2018-04-04 日本精機株式会社 車両情報投影システム
CN111199218A (zh) 2014-01-30 2020-05-26 移动眼视力科技有限公司 用于车辆的控制***、和图像分析***
JP6115737B2 (ja) * 2014-12-02 2017-04-19 マツダ株式会社 車両用運転支援装置
US9701306B2 (en) 2014-12-23 2017-07-11 Toyota Motor Engineering & Manufacturing North America, Inc. Risk mitigation for autonomous vehicles relative to turning objects
US10331956B2 (en) 2015-09-23 2019-06-25 Magna Electronics Inc. Vehicle vision system with detection enhancement using light control
MX2018003908A (es) * 2015-09-30 2018-05-23 Nissan Motor Dispositivo de despliegue vehicular.
US9718468B2 (en) 2015-10-13 2017-08-01 Verizon Patent And Licensing Inc. Collision prediction system
WO2017079321A1 (en) * 2015-11-04 2017-05-11 Zoox, Inc. Sensor-based object-detection optimization for autonomous vehicles
JP6551209B2 (ja) 2015-12-15 2019-07-31 株式会社デンソー 運転支援装置
US9740202B2 (en) 2016-01-08 2017-08-22 Waymo Llc Fall back trajectory systems for autonomous vehicles
WO2017192144A1 (en) 2016-05-05 2017-11-09 Harman International Industries, Incorporated Systems and methods for driver assistance
US10515390B2 (en) 2016-11-21 2019-12-24 Nio Usa, Inc. Method and system for data optimization
US10394245B2 (en) 2016-11-22 2019-08-27 Baidu Usa Llc Method and system to predict vehicle traffic behavior for autonomous vehicles to make driving decisions
US10196058B2 (en) 2016-11-28 2019-02-05 drive.ai Inc. Method for influencing entities at a roadway intersection
US11378950B2 (en) 2016-12-22 2022-07-05 Nissan North America, Inc. Remote system for an autonomous vehicle
US9934625B1 (en) 2017-01-31 2018-04-03 Uber Technologies, Inc. Detecting vehicle collisions based on moble computing device data
JP6558393B2 (ja) 2017-04-06 2019-08-14 トヨタ自動車株式会社 進路設定装置及び進路設定方法
US10725470B2 (en) * 2017-06-13 2020-07-28 GM Global Technology Operations LLC Autonomous vehicle driving systems and methods for critical conditions
US10579063B2 (en) 2017-07-21 2020-03-03 Uatc, Llc Machine learning for predicting locations of objects perceived by autonomous vehicles
US10782694B2 (en) * 2017-09-07 2020-09-22 Tusimple, Inc. Prediction-based system and method for trajectory planning of autonomous vehicles
US10156850B1 (en) 2017-12-08 2018-12-18 Uber Technologies, Inc. Object motion prediction and vehicle control systems and methods for autonomous vehicles
CN110007752A (zh) * 2018-01-04 2019-07-12 优特诺股份有限公司 增强现实车辆界面连接
US20190206258A1 (en) * 2018-01-04 2019-07-04 nuTonomy Inc. Augmented reality vehicle interfacing
US11994860B2 (en) * 2018-06-15 2024-05-28 Allstate Insurance Company Processing system for evaluating autonomous vehicle control systems through continuous learning
US11155259B2 (en) * 2018-09-13 2021-10-26 Honda Motor Co., Ltd. System and method for egocentric-vision based future vehicle localization
US11126185B2 (en) * 2018-09-15 2021-09-21 Toyota Research Institute, Inc. Systems and methods for predicting vehicle trajectory
US10817729B2 (en) * 2018-09-26 2020-10-27 Allstate Insurance Company Dynamic driving metric output generation using computer vision methods
US11159644B2 (en) 2018-10-26 2021-10-26 Ford Global Technologies, Llc Named-data networks for vehicle-to-infrastructure communication
US10698415B2 (en) 2018-10-31 2020-06-30 Trw Automotive U.S. Llc Vehicle assist system
US11292458B2 (en) 2019-07-31 2022-04-05 Toyota Research Institute, Inc. Autonomous vehicle user interface with predicted trajectories
US11328593B2 (en) 2019-07-31 2022-05-10 Toyota Research Institute, Inc. Autonomous vehicle user interface with predicted trajectories

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009227245A (ja) * 2008-03-25 2009-10-08 Denso Corp 車載機器の操作装置
JP2012153256A (ja) * 2011-01-26 2012-08-16 Toyota Motor Corp 画像処理装置
CN107209518A (zh) * 2015-01-26 2017-09-26 罗伯特·博世有限公司 代客泊车方法和代客泊车***
JP2018173399A (ja) * 2017-03-31 2018-11-08 アイシン・エィ・ダブリュ株式会社 表示装置及びコンピュータプログラム

Also Published As

Publication number Publication date
JP2021037936A (ja) 2021-03-11
DE102020115011A1 (de) 2021-02-04
US11292457B2 (en) 2022-04-05
CN112319467A (zh) 2021-02-05
DE102020115011B4 (de) 2023-04-27
JP7282718B2 (ja) 2023-05-29
US20210031758A1 (en) 2021-02-04

Similar Documents

Publication Publication Date Title
JP7370944B2 (ja) 予測軌道を有する自律車両ユーザインタフェース
CN112319467B (zh) 具有预测轨迹的自主车辆用户界面
US11126185B2 (en) Systems and methods for predicting vehicle trajectory
US11292458B2 (en) Autonomous vehicle user interface with predicted trajectories
US10852726B2 (en) Systems and methods for transitioning a vehicle from an autonomous driving mode to a manual driving mode
US11216000B2 (en) System and method for estimating lane prediction errors for lane segments
US11724691B2 (en) Systems and methods for estimating the risk associated with a vehicular maneuver
US11679764B2 (en) Method for autonomously driving a vehicle based on moving trails of obstacles surrounding the vehicle
EP4041608A1 (en) Methods and systems for lane changes using a multi-corridor representation of local route regions
US11183061B2 (en) Parking monitoring for wait time prediction
US10884410B2 (en) Systems and methods for determining whether a vehicle is capable of navigating an intersection in an autonomous driving mode
US10546499B2 (en) Systems and methods for notifying an occupant of a cause for a deviation in a vehicle
US20210269056A1 (en) Lane based routing system for autonomous driving vehicles
US10875535B2 (en) Tactile detection to determine lane localization
US11880203B2 (en) Methods and system for predicting trajectories of uncertain road users by semantic segmentation of drivable area boundaries
US11851084B2 (en) Systems and methods for controlling an autonomous vehicle
US20230315369A1 (en) Adjusting a vehicle display that occludes a view of an operator in response to identifying a risk
US20230249690A1 (en) Systems and methods for road type determination

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230718

Address after: Aichi Prefecture, Japan

Patentee after: Toyota Motor Corp.

Address before: California, USA

Patentee before: Toyota Research Institute, Inc.