CN116194350A - 生成多个模拟边缘情况驾驶场景 - Google Patents

生成多个模拟边缘情况驾驶场景 Download PDF

Info

Publication number
CN116194350A
CN116194350A CN202180060579.9A CN202180060579A CN116194350A CN 116194350 A CN116194350 A CN 116194350A CN 202180060579 A CN202180060579 A CN 202180060579A CN 116194350 A CN116194350 A CN 116194350A
Authority
CN
China
Prior art keywords
driving
machine learning
learning model
simulated
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180060579.9A
Other languages
English (en)
Inventor
丹·阿特斯蒙
埃胡德·史匹格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cognata Ltd
Original Assignee
Cognata Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cognata Ltd filed Critical Cognata Ltd
Publication of CN116194350A publication Critical patent/CN116194350A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3684—Test management for test design, e.g. generating new test cases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4049—Relationship among other objects, e.g. converging dynamic objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Traffic Control Systems (AREA)
  • Numerical Control (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种用于生成模拟驾驶场景的***，包括至少一硬件处理器，适于生成多个模拟驾驶场景，每一个所述模拟驾驶场景是通过向一机器学习模型提供多个输入驾驶对象生成的，其中所述机器学习模型是使用另一个机器学习模型训练以运算一分类，所述分类指示通过所述机器学习模型产生的一模拟驾驶场景包括一感兴趣驾驶场景的一可能性。

Description

生成多个模拟边缘情况驾驶场景
相关申请案
本申请案主张2020年5月27日提交申请的第63/030,359号的美国临时专利申请案的优先权，所述美国临时专利申请案的内容的整体通过引用的方式并入本文。
技术领域
本公开中描述的一些实施例涉及模拟数据，且更具体且不排他地，涉及多个模拟驾驶场景。
背景技术
如本文所使用的，术语驾驶场景指的是描述一驾驶环境及在所述驾驶环境中行动的一个或多个行动者的数据。所述驾驶环境可以包括描述一地形的一拓扑结构的一地图，及所述驾驶环境中的一个或多个静态对象，一些例子是一铺设道路、一路标、一人行道、一停放车辆、一树木、一交通标志及一建筑物。一行动者是所述驾驶环境中的一移动对象，例如一车辆或一行人。另一个例子是一动物。一行动者可以在所述驾驶环境的空中行动，例如一鸟或由所述驾驶环境的另一行动者抛出的一石头。另一个例子是一对象从另一对象上掉落，例如一物体从一建筑物上掉落，或者一物体从一移动车辆上掉落。
在自动驾驶领域，通常的做法是，一***，例如一自动驾驶***(AutonomousDriving System,ADS)或一高级驾驶辅助***(Advanced Driver-Assistance System,ADAS)，包括一个或多个机器学习模型。这类机器学习模型可以作为一***学习如何在道路上良好运行的基石。通常的做法是使用多个驾驶场景来训练这类机器学习模型。多个驾驶场景在自动驾驶领域的其他多个用途包括一机器学习模型的验证，一机器学习模型的确认，以及一机器学习模型的测试。多个驾驶场景也可用于一***，如一ADS或一ADAS，的一个或多个测试、验证、确认及训练。
一驾驶场景可以在一真实实体驾驶景象中捕获，例如通过安装在穿越所述真实实体驾驶景象的一车辆上的一个或多个传感器。一驾驶场景可以是模拟的。可选地，一驾驶场景的部分被捕获。可选地，一驾驶场景的部分是模拟的。
如本文所用，术语“感兴趣驾驶场景”是指一不寻常的驾驶场景，也就是不太可能的一驾驶场景，即相对罕见，但也是可能的。一感兴趣驾驶情景有时被称为一边缘情况场景。一感兴趣驾驶场景的一个例子是一近距离碰撞，例如当一车辆快速靠近另一车辆时。一感兴趣驾驶场景的其他多个例子包括道路上的一对象、不寻常的行人行为、不寻常的骑车人行为、一车辆的一突然停止(可能伴随另一车辆的一不寻常反应)，以及一车辆的转向的一突然变化，例如当一车辆突然转向一静态对象，例如一人行道或一建筑物。一感兴趣驾驶场景的其他多个例子包括多个极端天气状况，一些例子是猛烈的风、一大雨及一突然的闪电。当开发对一驾驶场景做出反应的一***时，例如一ADS或一ADAS，在训练、测试、验证、确认及其任何组合中为所述***提供多个感兴趣驾驶场景，可以提高***的稳健性。有必要生成多个感兴趣模拟驾驶场景。
发明内容
本文所述的一些实施例的目的是提供用于生成多个模拟驾驶场景的一种***及一种方法，包括一个或多个感兴趣驾驶场景。
上述及其他目标是通过独立权利要求的特征实现的。进一步的实施形式从从属权利要求、说明书及附图中可以看出。
根据本公开的一个方面，一种用于生成模拟驾驶场景的***包括至少一硬件处理器，适于：生成多个模拟驾驶场景，每一个模拟驾驶场景是通过向一机器学习模型提供多个输入驾驶对象生成的，其中所述机器学习模型是使用另一个机器学习模型训练以运算一分类，所述分类指示通过所述机器学习模型产生的一模拟驾驶场景包括一感兴趣驾驶场景的一可能性。使用另一个机器学习模型，经过训练以运算指示由机器学习模型产生的模拟驾驶场景包括感兴趣驾驶场景的可能性的分类，来训练用于生成多个模拟驾驶场景的机器学习模型，增加了多个模拟驾驶场景中的每一个场景包括至少一感兴趣驾驶场景的一可能性。
根据本公开的另一方面，一种用于生成模拟驾驶场景的方法包括：生成多个模拟驾驶场景，每一个所述模拟驾驶场景是通过向一机器学习模型提供多个输入驾驶对象生成的，其中所述机器学习模型是使用另一机器学习模型训练以运算一分类，所述分类指示通过所述机器学习模型产生的一模拟驾驶场景包括一感兴趣驾驶场景的一可能性。
根据本公开的另一方面，一种用于训练一自动驾驶模型的***包括至少一硬件处理器，所述硬件处理器在多个迭代中的每一个适于：通过向所述自动驾驶模型提供至少一模拟驾驶场景来运算多个驾驶指令，所述至少一模拟驾驶场景是通过生成多个模拟驾驶场景生成的，每一个所述模拟驾驶场景是通过向一机器学习模型提供多个输入驾驶对象生成的，其中所述机器学习模型是使用另一机器学习模型训练以运算一分类，所述分类指示通过所述机器学习模型产生的一模拟驾驶场景包括一感兴趣驾驶场景的一可能性。根据所述多个驾驶指令及所述至少一模拟驾驶场景运算一分数；以及修改所述自动驾驶模型的至少一模型值，以增加在所述多个迭代中的一后续迭代中运算的另一分数。使用由一机器学习模型生成的一个或多个模拟驾驶场景训练所述自动驾驶模型，所述机器学习模型被训练为运算一分类，所述分类指示所述机器学习模型产生的一模拟驾驶场景包括感兴趣驾驶场景的一可能性，增加了所述自动驾驶模型使用一个或多个感兴趣驾驶场景训练的一可能性，从而提高所述自动驾驶模型响应一输入驾驶场景的一输出的准确性。
在所述第一及第二方面的一可能实施形式中，训练其他机器学习模型包括使用多个记录数据集，每一个所述记录数据集是在一车辆穿越一实体景象时记录的，并包括一记录驾驶场景及多个记录驾驶指令，所述训练是根据多个记录驾驶指令及通过其他机器学习模型响应所述记录驾驶场景运算的多个运算驾驶指令之间的一差异。可选地，所述机器学习模型是通过在多个训练迭代中的每一个使用其他机器学习模型进行训练的。由所述机器学习模型生成至少一模拟驾驶场景，以响应多个训练输入驾驶对象；将所述至少一模拟驾驶场景提供给其他机器学习模型，以运算至少一分类，指示所述至少一模拟驾驶场景包括至少一感兴趣驾驶场景的一可能性；以及根据所述至少一分类，修改所述机器学习模型的至少一模型值，以提高将在一后续训练迭代中生成的另一模拟驾驶场景分类为具有至少一其他感兴趣驾驶场景的一可能性。在一车辆穿越一实体景象时使用多个记录数据集训练其他机器学习模型，提高了其他机器学习模型的一输出的准确性，从而提高了生成所述多个模拟驾驶场景的所述机器学习模型的准确性。可选地，所述至少一感兴趣驾驶场景包括以下的至少一者：通过其他机器学习模型模拟的一车辆的一速度值、通过其他机器学习模型模拟的所述车辆的一加速度值、通过其他机器学习模型生成的一驾驶指令、通过其他机器学习模型模拟的所述车辆的一方向值、以及通过其他机器学习模型模拟的所述车辆与所述驾驶场景的至少一其他对象之间的一距离。
在所述第一及第二方面的另一种可能的实施形式中，所述至少一硬件处理器还适于向至少一自动驾驶模型提供多个模拟驾驶场景中的至少部分，以达到以下至少一目的：训练所述至少一自动驾驶模型，测试所述至少一自动驾驶模型，确认所述至少一自动驾驶模型，以及验证所述至少一自动驾驶模型。可选地，所述至少一自动驾驶***是选自由以下组成的一群组的一***的至少部分：一自动驾驶***(ADS)，以及一高级驾驶辅助***(ADAS)。
在所述第一及第二方面的另一种可能的实施形式中，所述多个输入驾驶对象包括以下至少一者：一模拟驾驶环境的一移动对象，以及一模拟驾驶环境的一静态对象。可选地，所述移动对象选自由以下组成的多个移动对象的一群组：一车辆及一人。向所述机器学习模型提供一模拟驾驶环境中的一个或多个移动对象，以及额外地或可替换地提供一模拟驾驶环境中的一个或多个静态对象，提高了通过所述机器学习模型生成的一模拟驾驶环境的准确性。
在所述第一及第二方面的另一种可能的实施形式中，为了生成所述多个模拟驾驶场景中的至少一者，还向所述机器学习模型提供描述一模拟驾驶环境的一地形的一地图。向所述机器学习模型提供描述一模拟驾驶环境的一地形的一地图，提高了通过所述机器学习模型生成的一模拟驾驶环境的准确性。
在所述第一及第二方面的另一种可能的实施形式中，所述多个输入驾驶对象包括通过一随机对象生成器生成的至少一对象。向所述机器学习模型提供由一随机对象生成器生成的一个或多个对象，增加了多个生成场景之间的一多样性，增加了多个生成场景包括至少一感兴趣驾驶场景的一可能性。
在所述第一及第二方面的另一种可能的实施形式中，还向所述机器学习模型提供多个约束，并且所述机器学习模型根据所述多个约束生成所述多个模拟驾驶场景中的至少一者。使用多个约束来生成一模拟驾驶场景，提高了所述生成的模拟驾驶场景的准确性。
在所述第一及第二方面的另一个可能的实施形式中，所述多个模拟驾驶场景中的至少一者包括一模拟驾驶环境的多个模拟对象的多个移动矢量。
在所述第一及第二方面的另一种可能的实施形式中，生成所述多个模拟驾驶场景中的至少一生成场景还包括将至少一环境特征调整应用于所述至少一生成场景。将一个或多个环境特征调整应用于一生成的场景，提高了所述生成的场景的准确性。
在所述第一及第二方面的另一种可能的实施形式中，所述机器学习模型是一生成对抗性神经网络(GAN)或一条件生成对抗性神经网络(cGAN)的一生成器网络。可选地，其他机器学习模型是一神经网络。可选地，所述神经网络是使用一模仿学习方法训练的。使用GAN或cGAN的一生成器来生成所述多个模拟驾驶场景，并额外地或可替换地使用一个或多个神经网络来训练所述机器学习模型以生成所述多个模拟驾驶场景，提高了所述机器学习模型的一输出的准确性。
在所述第一及第二方面的另一个可能的实施形式中，还向所述机器学习模型提供表示至少一感兴趣驾驶场景的特征的多个模拟参数，并且所述机器学习模型还根据所述多个模拟参数生成所述多个模拟驾驶场景中的至少一者。向所述机器学习模型提供多个模拟参数提高了所述机器学习模型的一输出的准确性，还可以额外地提高通过所述机器学习模型生成的一模拟驾驶场景包括一感兴趣驾驶场景的一可能性。可选地，所述多个模拟参数包括多个时空矩阵距离值，描述在一确定的时间间隔内，通过一自动驾驶员模拟的一车辆与所述多个输入对象中的一个或多个对象之间的多个距离。可选地，所述多个时空矩阵距离值是使用捕获驾驶数据运算的。可选地，所述捕获驾驶数据的至少部分是通过安装在一车辆上的多个传感器在穿越一驾驶位置时捕获的。可选地，所述捕获驾驶数据是在执行另一自动驾驶模型时捕获的。可选地，所述捕获驾驶数据包括多个数字图像帧(frame)。可选地，运算所述多个时空矩阵距离值包括：运算多个时空矩阵，每一个所述时空矩阵与所述多个帧中的一帧相关联，且每一个所述时空矩阵包括多个时空矩阵距离值的一集合，每一个所述时空矩阵距离值描述在所述帧中确定的多个捕获对象中的一捕获对象与在所述帧中确定的所述多个捕获对象中的另一捕获对象的一距离。在所述多个时空矩阵中确定在一确定时间发生的所述多个捕获对象中的至少两个捕获对象之间的至少一捕获近距离碰撞；以及从所述多个时空矩阵中的至少部分选择与所述至少两个捕获对象有关的其多个时空矩阵距离值的个别集合的至少部分，在所述确定的时间间隔内结束于所述确定时间，以产生所述多个时空矩阵距离值。可选地，运算所述多个时空矩阵距离值还包括：运算所述多个时空矩阵距离值的至少一突变。可选地，运算所述多个时空矩阵距离值的所述至少一突变包括执行至少一推理机器学习模型。可选地，运算所述多个时空矩阵距离值的所述至少一突变包括递增或递减所述多个时空矩阵距离值中的至少一者。使用从穿越一驾驶位置时捕获的驾驶数据及执行一自动驾驶模型时额外地或可替换地捕获的多个时空矩阵距离值运算的多个模拟参数，增加了所述机器学习模型的一输出包括至少一感兴趣驾驶场景的一可能性。此外，运算多个时空矩阵距离值的一个或多个突变增加了生成包括感兴趣驾驶情景的一个以上模拟驾驶情景的一可能性。
在所述第三方面的一个实施形式中，所述***还包括在训练后，在以下至少一者中使用所述自动驾驶模型：一自动驾驶***(ADS)，以及一高级驾驶辅助***(ADAS)。在一ADS中以及额外地或可替换地在一ADAS中使用如上所述的训练过的所述自动驾驶模型，提高了所述ADS以及额外地或可替换地所述ADAS的一输出的准确性，从而提高所述ADS以及额外地或可替换地所述ADAS的可用性。
在所述第三方面的另一个实施形式中，训练其他机器学习模型包括使用多个记录数据集，每一个所述记录数据集是在一车辆穿越一实体景象时记录的，并包括一记录驾驶场景及多个记录驾驶指令，所述训练是根据多个记录驾驶指令及通过其他机器学习模型响应所述记录驾驶场景运算的多个运算驾驶指令之间的一差异。
本公开的其他***、方法、特征及优点对于本领域的技术人员来说，在审视以下附图及详细描述时将是或将变得明显。旨在将所有这些额外的多个***、多个方法、多个特征及多个优点都包括在本说明书中，在本公开的范围内，并受所附权利要求的保护。
除非另有定义，本文使用的所有技术及/或科学术语的含义与本领域普通技术人员对其实施例的通常理解相同。尽管与本文描述的方法及材料相似或相当的方法及材料可用于实践或测试多个实施例，但下文描述了示例性的方法及/或材料。如果发生冲突，将以专利说明书，包括定义为准。此外，这些材料、方法及例子只是描述性的，并不意味构成限制。
附图说明
在此仅以举例的方式，参照附图对一些实施例进行描述。现在具体参考附图的细节，需要强调的是，所显示的细节是以举例的方式，并用于对实施例的说明性讨论。在这方面，与附图一起进行的描述使本领域的技术人员清楚地了解到如何实施本发明的多个实施例。
在附图中：
图1是根据一些实施例的用于生成多个模拟驾驶场景的一示例性***的一示意性方块图；
图2是示意性地表示根据一些实施例的用于生成多个模拟驾驶场景的一可选操作流程的一流程图；
图3A是根据一些实施例的数据的一示例性流程的一示意性方块图。
图3B是根据一些实施例的用于训练一生成模型的数据的一示例性流程的一示意性方块图。
图3C是根据一些实施例的用于训练另一模型的数据的一示例性流程的一示意性方块图。
图4是示意性地表示根据一些实施例的用于训练一生成模型的一可选操作流程的一流程图。
图5是示意性地表示根据一些实施例的用于运算多个时空矩阵距离值的一可选操作流程的一流程图。
图6A是根据一些实施例的一驾驶场景的一示例性部分的一示意性方块图。
图6B、6C、6D及6E是根据一些实施例的多个示例性时空距离矩阵。
图7是根据一些实施例的用于训练一自动驾驶模型的一示例性***的一示意性方块图；以及
图8是示意性地表示根据一些实施例的用于训练一自动驾驶模型的一可选操作流程的一流程图。
具体实施方式
为简单起见，以下描述的重点是为了训练自动驾驶的一机器学习模型(一自动驾驶模型)生成多个模拟驾驶场景。然而，其他实施例包括为了测试所述自动驾驶模型的目的生成多个模拟驾驶场景，额外地或可替换地，验证所述自动驾驶模型，以及额外地或可替换地确认所述自动驾驶模型。除非特别指出，下面与训练一自动驾驶模型有关的任何说明应被理解为与测试所述自动驾驶模型有关的额外地或可替换地描述，与验证所述自动驾驶模型有关的额外地或可替换地描述，以及与确认所述自动驾驶模型有关的额外地或可替换地描述。此外，在下面描述的***及方法的其他实施例中，所述多个模拟驾驶场景可用于一个或多个与自动驾驶无关的***，例如一驾驶模拟器***。
在机器学习中，增加用于训练一机器学习模型的多个数据集的数量通常会提高所述机器学习模型的一输出的准确性。当从多个真实驾驶环境中捕获捕获多个驾驶场景(以下简称真实驾驶场景)时，大多数真实驾驶场景是可能发生的场景，而不是边缘情况。因此，经过多个真实驾驶场景训练的一***有望熟练应对可能发生的场景--其中有很多--但在应对边缘情况场景时可能表现不佳，因为所述***是在代表一边缘情况的相对较少的数据集下训练的。
因此，术语“边缘情况”及“感兴趣场景”可以互换使用，两者都是指不太可能但有可能发生的情况。
增加感兴趣场景数量的一个可能手段是增加真实驾驶场景的数量。增加真实驾驶场景的数量的成本可能是令人望而却步的，可能需要几十辆测试车在路上行驶，另外或者需要多年的时间来收集。此外，增加真实驾驶场景的数量可能无法充分增加感兴趣场景，例如在夏天，可能无法捕获到大雨的场景。同样，捕获足够的驾驶场景可能需要较长的时间，至少跨越几个月，额外地或可替换地跨越许多地方。
增加感兴趣场景数量的另一个可能的手段是通过生成多个模拟的感兴趣驾驶场景。通过使用一驾驶环境的多个静态对象、所述驾驶环境的多个动态对象及多个环境条件的变化，例如多个天气条件及额外地或可替换地多个光线条件，可以产生多种模拟驾驶场景。有一种期望是，使用大量变化生成的大量模拟驾驶场景将包括许多感兴趣驾驶场景。然而，不能保证生成的模拟驾驶场景的一集合，无论是随机生成的还是根据一程序生成的，都将提供可能的感兴趣驾驶场景的足够覆盖，以保证用其训练的自动驾驶模型会是稳健的。
此后，术语生成模型是指为生成一模拟驾驶场景而训练的一机器学习模型。
在机器学习中，监督学习指的是一类学习算法，其中一机器学习模型学习如何基于成对的多个例子将一输入映射到一输出，每对例子包括一输入及一预期输出。一些训练一生成模型的方法使用多个输入驾驶场景，每一个输入驾驶场景都标有指示所述输入驾驶场景是否感兴趣的一分类。为了产生一稳健的生成模型，需要大量感兴趣输入驾驶场景，如上所述，这样的数量很难从真实的驾驶过程中捕获。
强化学习是另一类机器学习方法，指的是以目标为导向的学习算法，机器学习模型通过在机器学习模型做出错误决定时对其进行惩罚，以及在机器学习模型做出正确决定时对其进行额外或替代性的奖励，来学习如何实现复杂的目标(目的)或如何在许多步骤中沿着特定维度实现最大化。在一些强化学习方法中，当机器学习模型包括多个模型值时，在多个训练迭代的每一个中，一个或多个模型值根据指示奖励及额外地或可替换地惩罚的分数被修改，以便在接下来的训练迭代中增加奖励，并额外地或可替换地减少惩罚。
使用一些强化学习方法来训练一生成模型需要在训练时对所述生成模型的一输出进行评分。本发明在一些实施例中提出，使用一训练好的生成模型生成多个模拟驾驶场景，其中训练生成模型是通过使用另一个机器学习模型，所述另一个学习模型模型被训练以运算一分类，所述分类运算指示提供给所述另一个机器学习模型的一模拟驾驶场景包括一感兴趣驾驶场景的的一可能性。在这样的实施例中，在多个训练迭代的每一个中，向所述另一个机器学习模型提供由所述生成模型产生的一个或多个模拟驾驶场景，并且所述另一个机器学习模型可选地运算指示由所述生成模型产生的一个或多个模拟驾驶场景包括一个或多个感兴趣驾驶场景的可能性的分类。可选地，所述分类被用作强化学习的一分数，即生成模型的一个或多个模型值根据所述分数被可选地修改，以增加在接下来的训练迭代中将所述生成模型生成的另一个模拟驾驶场景分类为具有一个或多个其他感兴趣驾驶场景的可能性。使用经过训练以运算指示一模拟驾驶场景包括一感兴趣驾驶场景的一可能性的一分类的另一个机器学习模型来训练所述生成模型，通过促进使用一个或多个强化学习方法来训练所述生成模型，从而减少训练所述生成模型所需的多个真实感兴趣驾驶场景的数量，与例如使用一个或多个其他学习方法来训练所述生成模型时所需的另一个真实感兴趣驾驶场景的数量相比，降低了所述生成模型的开发成本。
此外，在一些实施例中，本发明提出使用多个记录数据集训练所述另一个学习模型，每一个所述记录数据集都是在一车辆穿越一实体景象时记录的，并包括一记录驾驶场景及多个记录驾驶指令。一驾驶指令的一个例子是一转向指令。一驾驶指令的另一个例子是一加速指令。如上所述，一经过训练的自动驾驶模型被期望在应对一可能的驾驶场景时表现良好。因此，当一个经过训练的自动驾驶模型对一驾驶场景的响应表现不佳时，所述驾驶场景是所述经过训练的自动驾驶模型不常遇到的感兴趣驾驶场景的一可能性增加。
因此，训练所述另一个机器学习模型或其他机器学习模型以响应一输入驾驶场景运算一分类，可选地包括训练所述另一个机器学习模型以预测一经过训练的自动驾驶模型在响应所述输入驾驶场景时将表现得多好或多差。可选地，训练所述另一个机器学习模型包括使用一模仿学习方法，即演示所需行为的一方法，例如所述记录驾驶指令。可选地，训练所述另一个学习模型是根据多个记录驾驶指令及另一个机器学习模型响应记录驾驶场景而运算的多个运算驾驶指令之间的一差异。可选地，多个记录驾驶指令及多个运算驾驶指令之间的所述差异指示所述另一个机器学习模型作为一自动驾驶模型在响应所述记录驾驶场景时表现得多好或多差。例如，所述多个记录驾驶指令及所述多个运算驾驶指令之间的一巨大差异可以指示所述另一个机器学习模型作为一自动驾驶模型的表现不佳。在这样的实施例中，当所述另一个机器学习模型作为一自动驾驶模型响应于记录驾驶场景表现不佳时，可假定所述记录驾驶场景包括感兴趣驾驶场景，因此，多个所述记录驾驶指令与多个所述运算驾驶指令之间的所述差异可选地用于训练所述另一个机器学习模型以运算所述记录驾驶场景的所述分类。可选地，当多个所述记录驾驶指令及多个所述运算驾驶指令之间的所述差异指示所述另一个机器学习模型作为一自动驾驶模型在响应所述记录驾驶场景表现不佳时，所述另一个机器学习模型被训练成将所述记录驾驶场景分类为感兴趣。根据多个所述记录驾驶指令及多个所述运算驾驶指令之间的所述差异训练其他机器学习模型，允许使用比其他一些方法中使用的更少的记录的感兴趣驾驶场景训练其他机器学习模型，从而降低其他机器学习模型的开发成本，同时提高其他机器学习模型的准确性及输出，从而提高使用其他机器学习模型训练的所述生成模型的准确性。
可选地，所述生成模型响应于多个输入驾驶对象生成多个模拟驾驶场景。可选地，所述多个输入驾驶对象包括一模拟驾驶环境的一个或多个移动对象，例如一车辆或一人。可选地，所述多个输入驾驶对象包括所述模拟驾驶环境的一个或多个静态对象，例如一建筑物或一人行道。可选地，所述多个输入驾驶对象中的一个或多个是由一随机对象生成器生成的。可选地，所述生成模型进一步被提供有一个或多个感兴趣驾驶场景所特有的多个模拟参数。可选地，所述生成模型根据所述多个模拟参数生成多个模拟驾驶场景中的至少一者。可选地，所述多个模拟参数中的一个或多个是所述多个模拟参数中的一个或多个其他参数的一突变。当所述多个模拟参数是一感兴趣驾驶场景的特征时，所述多个模拟参数中的一个或多个突变是另一个感兴趣驾驶场景的特征的可能性比一随机模拟参数是另一个感兴趣驾驶场景的特征的可能性更大。一时空矩阵是一个包括多个距离值的矩阵，描述在一确定时间间隔内，从多个对象中选出的至少一些对象对之间的多个距离。在一个可能的例子中，所述多个模拟参数包括多个时空矩阵距离值，描述在一确定时间间隔内，由一自动驾驶者模拟的一车辆与所述多个输入驾驶对象中的一个或多个对象，例如另一车辆之间的多个距离。在这个例子中，与使用随机时空矩阵距离值生成另一个模拟驾驶场景相比，修改一个或多个所述距离值增加了所述生成模型生成包括另一个感兴趣驾驶场景的一可能性，从而提高了所述生成模型的一输出的准确性，同时降低了所述生成模型的操作成本。
在详细解释至少一实施例之前，应当理解，实施例在其应用中不一定局限于以下描述中提出的及/或附图及/或实施例中说明的部件及/或方法的结构细节及安排。这里描述的实施例能够有其他的实施例，或以各种方式实施或执行。
多个实施例可以是一***、一方法及/或一计算机程序产品。所述计算机程序产品可以包括一计算机可读存储介质(或媒体)，其上有计算机可读程序指令，用于使一处理器执行所述多个实施例的各个方面。
所述计算机可读存储介质可以是一种有形的装置，可以保留及存储指令，供一指令执行装置使用。所述计算机可读存储介质可以是，例如但不限于，一电子存储装置、一磁存储装置、一光学存储装置、一电磁存储装置、一半导体存储装置，或上述的任何适当的组合。所述计算机可读存储介质的更具体例子的非详尽清单包括：一便携式计算机软盘、一硬盘、一随机存取存储器(RAM)、一只读存储器(ROM)、一可擦除可编程只读存储器(EPROM或闪存)、一静态随机存取存储器(SRAM)、一便携式光盘只读存储器(CD-ROM)、一数字多功能盘(DVD)、一记忆棒、一软盘，以及上述的任何适当的组合。本文所使用的一计算机可读存储介质不应理解为暂时性信号本身，如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，通过光缆的光脉冲)，或通过电线传输的电信号。
本文所述的计算机可读程序指令可以从计算机可读存储介质下载到各自的运算/处理装置，或通过网络下载到外部计算机或外部存储装置，例如，互联网、局域网、广域网及/或无线网络。所述网络可以包括铜质传输电缆、光传输纤维、无线传输、路由器、防火墙、交换机、网关计算机及/或边缘服务器。每一个运算/处理装置中的网络适配器卡或网络接口从网络中接收计算机可读程序指令，并将计算机可读程序指令转发到各运算/处理装置内的计算机可读存储介质中存储。
用于执行实施例操作的计算机可读程序指令可以是汇编器指令、指令集架构(ISA)指令、机器指令、机器依赖指令、微代码、固件指令、状态设置数据，或者以一种或多种编程语言的任何组合编写的源代码或目标代码，包括面向对象的编程语言，如Smalltalk、C++或类似语言，常规程序性编程语言，如“C”编程语言，以及脚本语言，如Phyton，或类似编程语言。计算机可读程序指令可以完全在用户的计算机上执行，部分在用户的计算机上执行，作为一个独立的软件包，部分在用户的计算机上执行，部分在远程计算机上执行或完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络与用户的计算机连接，包括局域网(LAN)或广域网(WAN)，或者连接到外部计算机(例如，通过互联网使用互联网服务提供商)。在一些实施例中，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令，以使电子电路个性化，从而执行多个实施例的各个方面。
本文参照根据实施例的方法、装置(***)及计算机程序产品的流程图说明及/或方块图来描述实施例的各个方面。可以理解的是，流程图说明及/或方块图中的每一个方块，以及流程图说明及/或方块图中的多个方块的组合，可以通过计算机可读程序指令实现。
这些计算机可读程序指令可提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，以产生一台机器，从而使通过计算机或其他可编程数据处理装置的处理器执行的指令创造出实现流程图及/或方块图中一个或多个方块所规定的功能/行为的手段。这些计算机可读程序指令也可以存储在计算机可读存储介质中，所述计算机可读存储介质可以指导计算机、可编程数据处理装置及/或其他装置以特定方式运行，这样，具有存储在其中的指令的计算机可读存储介质包括一制造品，其中包括实现流程图及/或方块图块中指定的功能/行为的各个方面的多个指令。
所述计算机可读程序指令也可以加载到计算机、其他可编程数据处理装置或其他装置上，以使一系列操作步骤在所述计算机、其他可编程装置或其他装置上执行，从而产生一个所述计算机实现的过程，这样，在所述计算机、其他可编程装置或其他装置上执行的指令实现了流程图及/或方块图中指定的多个功能/行为。
图中的流程图及方块图说明了根据各种实施例的***、方法及计算机程序产品的可能实施例的架构、功能及操作。在这方面，流程图或方块图中的每一个方块可以代表指令的模块、区段或部分，其包括一个或多个用于实现指定逻辑功能的可执行指令。在一些可替换的实施例中，方块中指出的功能可以不按图中指出的顺序出现。例如，连续显示的两个方块实际上可以实质上同时执行，或者根据所涉及的功能，这些方块有时可以以相反的顺序执行。还将注意到，方块图及/或流程图说明中的每一个方块，以及方块图及/或流程图说明中的多个方块的组合，可以由基于特殊用途的硬件***来实现，这些***执行指定的多个功能或行为，或执行特殊用途硬件及多个计算机指令的组合。
现在参考图1，显示了根据一些实施例的用于生成多个模拟驾驶场景的一示例性***100的一示意性方块图。在这样的多个实施例中，至少一硬件处理器101连接到至少一数字存储器110，可选地用于存储由至少一硬件处理器101生成的一个或多个模拟驾驶场景。数字存储器的一些例子是一硬盘驱动器、一网络连接的存储器及一随机存取存储器。
为简洁起见，此后术语“处理单元”被用来指“至少一硬件处理器”。
可选地，处理单元101连接到一个或多个数字通信网络接口120，可选地是为了向一个或多个其他多个处理单元提供一个或多个模拟驾驶场景。可选地，一个或多个数字通信网络接口120被连接到一局域网(LAN)，例如一以太网网络或一Wi-Fi网络。可选地，一个或多个数字通信网络接口120连接到一广域网(WAN)，例如互联网或一蜂窝网络，例如一全球移动通信***(GAM)网络。
为产生一个或多个模拟驾驶场景，在一些实施例中，***100实现了以下可选的方法。
现在还请参考图2，其示意性地表示根据一些实施例的用于生成多个模拟驾驶情景的一可选操作流程200。在这样的实施例中，在201中，处理单元101生成多个模拟驾驶场景。
现在还请参考图3A，其显示根据一些实施例的数据300A的一示例性流程的一示意性方块图。可选地，处理单元101执行机器学习模型310，此后也被称为生成模型310。可选地，生成模型310是生成对抗性神经网络(GAN)的一生成器网络。可选地，生成模型310是一条件生成对抗神经网络(cGAN)的一生成器网络。可选地，多个模拟驾驶情景311中的每一个是由生成模型310生成的。可选地，为了生成所述多个模拟驾驶场景311中的每一个，此后被称为模拟驾驶场景311，处理单元101向生成模型310提供多个输入驾驶对象301。可选地，多个输入驾驶对象301包括一模拟驾驶环境的一移动对象。一移动对象的一些例子是一车辆，例如一汽车及一卡车。一移动对象的另一个例子是一脆弱的道路使用者，例如一行人，即一人、一动物及由一人骑乘的一自行车。可选地，一移动对象是在空中移动的一对象，例如一鸟、一石头及一张纸。可选地，多个输入驾驶对象301包括一模拟驾驶环境的一静态对象。一静态对象的一些例子是一人行道、一路边、一交通标志、一广告牌、一障碍物、一山墙、一沟渠、一柱子如一灯柱、一轨道、一栅栏、一建筑物、一树、一墙及一路标。可选地，多个输入驾驶对象301中的一个或多个由一随机对象生成器生成。可选地，多个输入驾驶对象301中的一个或多个其他对象是从安装在一车辆上的一个或多个传感器在车辆穿越一实体景象时捕获的真实驾驶数据中提取的。
可选地，生成模型310被进一步提供有描述一模拟驾驶环境的一地形的一地图。可选地，生成模型310进一步被提供有多个约束303，约束所述多个输入驾驶对象的多个物理属性，例如所述多个输入驾驶对象与所述地图的一致性。一约束的一个可能的例子是约束一人行道在地面上。一约束的另一个可能的例子是约束一标志杆不能漂浮在空中。可选地，多个约束中的至少一部分303约束了多个输入驾驶对象中的一个或多个的一行为的多个物理属性。例如，一约束可以约束一行人的一速度，禁止一车辆在一人行道上移动，以及额外地或可替换地禁止一车辆以其操作设计域不支持的方式进行机动，一些例子是约束车辆的一加速度值及约束车辆的一转向值。
可选地，多个模拟驾驶场景311中的一个或多个包括一模拟驾驶环境的多个模拟对象的多个移动矢量。可选地，多个移动矢量的一个或多个子集各自描述所述多个模拟对象中的一个模拟对象的一移动路径。可选地，所述多个模拟对象中的至少一些是根据多个输入驾驶对象301来模拟的。
可选地，生成模型310是使用另一个机器学习模型训练的。现在请参考图3B，其显示根据一些实施例的用于训练一生成模型的数据300B的一示例性流程的一示意方块图。可选地，生成模型310使用多个训练输入驾驶对象301B进行训练。可选地，生成模型310使用其他机器学习模型320进行训练。可选地，其他机器学习模型320是一神经网络。
可选地，其他机器学习模型320被训练来运算一个或多个分类321，所述分类321指示由生成模型310产生的一个或多个模拟驾驶场景311B的一可能性，可选地，在训练生成模型310时，包括一个或多个感兴趣驾驶环境。
可选地，其他机器学习模型320使用多个记录数据集进行训练，每一个记录数据集在一车辆穿越一实体景象时记录。现在还请参考图3C，显示了根据一些实施例的用于训练另一个机器学习模型的数据300C的一示例性流程的一示意性方块图。可选地，多个记录数据集中的每一个包括一记录驾驶场景331及多个记录驾驶指令332。可选地，其他机器学习模型320运算分类321B，分类321B指示记录驾驶场景331包括一感兴趣驾驶场景的一可能性。可选地，其他机器学习模型320响应于记录驾驶场景331，运算模拟一车辆行为的多个运算驾驶指令322。可选地，其他机器学习模型320运算驾驶分数323，预测多个运算驾驶指令322及多个记录驾驶指令332之间的一差异。可选地，340是根据多个运算驾驶指令322及多个记录驾驶指令332之间的一差异运算的一预期驾驶分数。可选地，341是运算出的驾驶分数323及预期驾驶分数340之间的一差异。可选地，机器学习模型320是使用一模仿学习方法训练的。可选地，其他机器学习模型320根据差异341被训练，可选地使得一个大的差值341，例如当差值341超过一阈值差值时，导致其他机器学习模型320被修改以增加其他机器模型320将记录驾驶场景331分类为感兴趣的一可能性。
可选地，生成模型310由***100训练，可选地进一步实施以下方法。
现在还请参考图4，其示意性地显示根据一些实施例的用于训练一生成模型的一可选操作流程400的流程图。在这样的实施例中，在多个训练迭代的每一个中，在401中，处理单元101通过生成模型310生成一个或多个模拟驾驶场景311B，以响应多个训练输入驾驶对象301B。可选地，生成模型310额外地或可替换地根据多个训练约束、一训练地图及多个训练模拟参数中的一个或多个来产生具有一个或多个感兴趣驾驶场景的特征的一个或多个模拟驾驶场景。可选地，在403中，处理单元101提供一个或多个模拟驾驶场景311给其他机器学习模型320，可选地运算一个或多个分类321。可选地，一个或多个分类是指示一个或多个模拟驾驶场景311B包括一个或多个感兴趣驾驶场景的一可能性。
一个感兴趣驾驶场景可以由一个或多个特征来特征化。一感兴趣驾驶场景的一特征的一些例子是一对象的速度、一对象的加速或减速、以及对象的方向、诸如急速转向的一驾驶指令、以及一对象靠近另一对象，无论所述其他对象是移动的还是静止的。可选地，一感兴趣驾驶场景包括一个由其他机器学习模型320模拟的一车辆的一速度值。可选地，所述速度值超过一阈值。可选地，一感兴趣驾驶场景包括所述车辆的一加速度值。例如，一加速度值可以指示所述车辆突然停止，或突然加速。可选地，一感兴趣驾驶场景包括由其他机器学习模型320生成的一驾驶指令。例如，所述驾驶指令可以是一转向指令，例如，与一原始移动方向相比，以一个角度转向的一指令。可选地，一感兴趣驾驶场景包括所述车辆的一方向值，例如当车辆转弯时。可选地，一感兴趣驾驶场景包括所述车辆与所述驾驶场景的一个或多个其他对象之间的一距离，例如与另一车辆的一距离、与一人行道的一距离或与一行人的一距离。可选地，一感兴趣驾驶场景包括所述车辆与所述驾驶场景的一个或多个其他对象之间的一距离的一变化。
在405中，处理单元101可选地根据一个或多个分类321修改生成模型310的一个或多个模型值。可选地，处理单元101修改生成模型310的一个或多个模型值，以增加将在多个训练迭代的下一个训练迭代中生成的另一个模拟驾驶场景分类为具有一个或多个其他感兴趣驾驶场景的一可能性。
现在请再次参考图3A。可选地，生成模型310被提供，可选地通过处理单元101，并具有多个模拟参数302。可选地，所述多个模拟参数是一个或多个感兴趣驾驶场景的特征。可选地，生成模型310进一步根据多个模拟参数302生成多个模拟驾驶场景311中的一个或多个。
可选地，多个模拟参数302包括多个时空矩阵距离值，描述在一确定时间间隔内，由一自动驾驶者模拟的一车辆与多个输入驾驶对象中的一个或多个对象之间的多个距离。可选地，在提供给生成模型310的所述地图中至少确定了一个或多个对象中的一些，例如一道路边缘。可选地，多个模拟驾驶场景311中的所述一个或多个模拟驾驶场景保留了多个时空矩阵距离值中的至少一部分。可选地，所述多个时空矩阵距离值描述所述多个输入驾驶对象中的一个或多个对象的行为。例如，由所述自动驾驶者模拟的所述车辆前面的另一车辆停止或转向的场景。在另一个例子中，所述多个时空矩阵距离值描述由所述自动驾驶者模拟的所述车辆前面的其他两辆车之间的一距离。一些时空矩阵距离值可以反映所述一个或多个对象的加速度。一些时空矩阵距离值可以反映所述一个或多个对象的速度。一些时空矩阵距离值可以反映所述一个或多个对象的方向。一些时空矩阵距离值可以反映所述一个或多个对象的位置。可选地，一些时空矩阵距离值的一序列描述一感兴趣驾驶场景。可选地，所述多个时空矩阵距离值是使用捕获的驾驶数据运算的。可选地，至少有一些捕获的驾驶数据是由安装在一车辆上的多个传感器在穿越一驾驶地点时捕获的。可选地，所述捕获的驾驶数据是在执行另一个自动驾驶模型时捕获的。
可选地，所述捕获的驾驶数据包括多个数字图像帧(frame)。可选地，处理单元101执行以下方法以运算多个时空矩阵距离值。
现在还请参考图5，其示意性地显示根据一些实施例用于运算多个时空矩阵距离值的一可选操作流程500。在这样的实施例中，在501中，处理单元101可选地运算多个时空矩阵。可选地，多个时空矩阵中的每一个与多个帧中的一个帧相关联，并且包括一组时空矩阵距离值。可选地，所述组的时空矩阵距离值中的每一个都描述，对于在所述帧中确定的多个捕获对象中的一个捕获对象，在所述帧中确定的所述捕获对象与所述多个捕获对象中的另一个捕获对象的一距离。
为了帮助解释时空矩阵是如何与所述多个帧中的一个帧相关联，现在还请参考图6A，其显示根据一些实施例的一驾驶场景600的一示例性部分的一示意性方块图，以及图6B、图6C、图6D及图6E。图6B、图6C、图6D及图6E显示根据一些实施例为驾驶场景600的示例性部分分别运算的示例性时空矩阵620、630、640及650。为简洁起见，此后驾驶场景600的示例性部分被称为“场景600”。应注意的是，场景600是一个非限制性的示例性场景，被描述成演示包括多个帧及多个时空矩阵的驾驶数据之间的关联。与本文描述的例子不同的其他场景是存在的。
在这个例子中，场景600包括三辆车，汽车一601，汽车二602及汽车三603。在这个例子中，汽车三603是静止的，在整个所述场景中不移动。在这个例子中，横向轴605表示场景600中一个或多个车辆的一横向移动轴，纵向轴606表示场景600中一个或多个车辆的纵向移动轴。横向轴605及纵向轴606上的距离在本例中是以公尺为单位，从原点619开始测量。
在这个例子中，汽车一601在场景600中按照路径608移动，汽车二602在场景600中按照路径607移动。可以看出，在这个例子中，沿着路径607移动的汽车二602向右转，可能是为了避开汽车三603，随后汽车一601沿着路径608向右转，可能是为了避开汽车二602。应注意的是，路径607及路径608各自表示各自车辆的一近似中心的一路径；如下所述的多个车辆之间的一横向距离是在所述多个车辆的两侧之间测量的，并且小于所述近似中心之间的一距离。
可选地，捕获的驾驶数据包括多个帧，包括在以t＝0表示的一时间捕获的帧f1，在以t＝2表示的另一时间捕获的帧f3，在以t＝3表示的进一步另一时间捕获的帧f4，以及在以t＝4表示的另一时间捕获的帧f5。
在这个例子中，在帧f1中，汽车一的一前端601及汽车二的一前端602都被确定距离原点619的纵向距离610为4公尺。此外，距离612表示在帧f1中捕获的汽车二602的一近似中心及汽车一601的另一近似中心之间的一距离，对应于汽车二602的右侧及汽车一601的左侧之间的另一横向距离2公尺。图6B中的矩阵620包括多个距离值，描述在帧f1中确定的多个对象之间的多个距离。矩阵620的单元格623显示汽车一601及汽车二602之间的一横向距离为2公尺，两者之间的纵向距离为0公尺。同样，在纵向距离611的32公尺处确定的汽车三603的一背面，沿纵向轴606在汽车一601及汽车二602的前面28公尺处。在这个例子中，在帧f1中，汽车一601在汽车三603的左边2公尺处，而汽车二602正好在汽车三603的后面。矩阵620的单元格621及622显示这些距离。
图6C中的矩阵630包括另一多个距离值，描述在帧f3中确定的多个对象之间的多个距离。随着汽车一601及汽车二602分别沿着路径608及607向前移动，它们各自与汽车三603的纵向距离减少到12公尺。这个减少的纵向距离显示在矩阵630的单元格631及单元格632。由于汽车二602向右倾斜，横向距离613，表示汽车二602的近似中心及汽车一601的另一近似中心之间在帧f3中捕获的距离，与在帧f1中捕获的横向距离612相比，汽车二602的右侧及汽车一601的左侧之间的另一横向距离被减少到1公尺。这个减少的其他横向距离显示在单元格633中。
图6D中的矩阵640包括一额外的多个距离值，描述在帧f4中确定的对象之间的多个距离。随着汽车一601向右转，可能是对汽车二602转向右边的反应，以及随着汽车二602继续向右移动，在帧f4中捕获的汽车一601及汽车二602之间的横向距离与在帧f3中捕获的横向距离613相比没有变化。矩阵640中的单元格643显示，汽车二602的右侧及汽车一601的左侧之间的其他横向距离仍然是1公尺。
图6E中的矩阵650包括另一额外的多个距离值，描述帧f5中确定的对象之间的多个距离。在这个例子中，汽车一601并没有进一步向右移动。这可能是，例如，因为在汽车一601的右边有一个路缘石。由于汽车二602继续转向右边，可能是为了避开汽车三603，横向距离614，表示汽车二602的近似中心及汽车一601的另一近似中心之间在帧f5中捕获的距离，对应于汽车二602的右侧及汽车一601的左侧之间的另一横向距离是汽车一601及汽车二602之间进一步减少到几乎0公尺。矩阵650中的单元格653显示两车之间的另一横向距离减少到0公尺。
再次参考图6A，注意在帧f6中，以f6表示，在超过汽车三603后，汽车二602向左后转并加速，这可以从汽车二602在帧f7中的位置看到，以f7表示。此外，汽车二602在帧f8左右回到其近似的原始横向位置，以f8表示；汽车一601在汽车二602的移动之后，分别以一时间延迟，也转向其另一个近似的原始横向位置。
单元格623、单元格633、单元格643及单元格653的数值序列可能表明汽车一601及汽车二602之间的接近碰撞状态，在帧f5达到峰值。
在其他例子中，时空矩阵可以包括一个或多个车辆与一个或多个其他对象的距离值，例如与路缘石或道路边缘的距离。
现在请再次参考图5。在504中，处理单元101可选地在多个时空矩阵中确定多个捕获对象中的两个或多个捕获对象之间的发生在确定时间的一个或多个捕获近距离碰撞。可选地，在所述多个时空矩阵中，通过一个或多个额外的机器学习模型来确定所述一个或多个捕获近距离碰撞。在一个或多个捕获近距离碰撞的确定时间之前的确定时间内的多个场景特征可能是一感兴趣驾驶场景的特征。因此，在510中，处理单元101可选地从至少一些时空矩阵中选择其各自的时空矩阵距离值集合中的至少一些，其中所选的时空矩阵距离值与在所述确定时间间隔内结束的两个或多个捕获对象有关。可选地，所述各自的时空矩阵值的集合中的至少一些被一个或多个其他的机器学习模型从至少一些时空矩阵中选择。可选地，在520中，处理单元101可选地运算所述多个时空矩阵距离值的一个或多个突变。可选地，处理单元101执行一个或多个推理机器学习模型以运算所述一个或多个突变。可选地，处理单元101使用生成模型310运算所述一个或多个突变中的至少一部分。可选地，处理单元101通过增加或减少多个时空矩阵距离值中的一个或多个来运算所述一个或多个突变中的至少一者。
改变一距离值会改变两个对象之间的一距离矢量，即所述两个对象中的一个或多个对象的速度及方向。因此，可选地将一个或多个突变转化为所述两个或更多个捕获对象中的一个或更多个的驾驶指令。
现在再次参考图2。在205中，处理单元101可选地将一个或多个环境特征调整应用于多个生成场景311中的一个或多个。一环境特征的一些例子是：一天气状况，例如雨、风或云，一光线量，以及太阳光的一角度，例如根据一天中的某个时间，额外地或可替换地根据一年中的某个时间。在210中，处理单元101可选地将多个模拟驾驶场景311中的至少一些提供给一个或多个自动驾驶模型。可选地，处理单元101通过一个或多个数字通信网络接口120提供多个模拟驾驶场景311中的至少一些。可选地，处理单元101将多个模拟驾驶场景311中的至少一些存储在一个或多个存储器110上。可选地，处理单元101为选自一组目的中的一个或多个目的提供多个模拟驾驶场景311中的至少一些，所述组目的包括：训练所述一个或多个自动驾驶模型，测试所述一个或多个自动驾驶模型，确认所述一个或多个自动驾驶模型，及验证所述一个或多个自动驾驶模型。可选地，所述一个或多个自动驾驶模型是一ADAS的至少部分。可选地，所述一个或多个自动驾驶模型是一ADS的至少部分。
一些实施例包括用于训练一自动驾驶模型的一***。
现在还参考图7，显示根据一些实施例的用于训练一自动驾驶模型的一示例性***700的一示意性方块图。在这样的实施例中，处理单元701被连接到一个或多个数字通信网络接口710，可选地用于接收一个或多个模拟驾驶场景的目的。可选地，一个或多个数字通信网络接口710连接到一局域网(LAN)，例如一以太网网络或一Wi-Fi网络。可选地，一个或多个数字通信网络接口710连接到一广域网(WAN)，例如互联网或一蜂窝网络，例如一全球移动通信***(GAM)网络。可选地，处理单元701从与其连接的一存储器中检索所述一个或多个模拟驾驶场景。
为训练一自动驾驶模型，***700可选地实施以下方法。
现在还请参考图8，其示意性地表示根据一些实施例的用于训练一自动驾驶模型的一可选操作流程800。在这样的实施例中，在多个迭代中的每一个迭代中，在801中，处理单元701通过向所述自动驾驶模型提供一个或多个模拟驾驶场景来运算多个驾驶指令。可选地，所述一个或多个模拟驾驶场景由***100生成，可选地实施方法200。在804中，处理单元701可选地根据所述多个驾驶指令及所述一个或多个模拟驾驶场景运算一分数。在810中，处理单元701可选地修改所述自动驾驶模型的一个或多个驾驶模型值，以增加在所述多个迭代的一下一迭代中运算的另一分数。
可选地，在训练之后，所述自动驾驶模型被用于一ADS中。可选地，在训练之后，所述自动驾驶模型被用于一ADAS中。
对各种实施例的描述是为了说明的目的而提出的，但并不打算详尽或局限于所披露的实施例。对于本领域的普通技术人员来说，许多修改及变化将是显而易见的，而不会偏离所描述的实施例的范围及精神。本文所使用的术语是为了最好地解释实施例的原理、实际应用或对市场上发现的技术的改进，或使本领域的普通技术人员能够理解本文所披露的实施例。
预计在本申请的专利有效期内，许多相关的输入驾驶对象及模拟参数将被开发出来，术语“输入驾驶对象”及“模拟参数”的范围旨在包括所有这些新技术。
在本文中使用的术语“约”指的是±10％。
术语“包括”、“包括”、“包含”、“含有”、“具有”以及它们的连接词是指“包括但不限于”。这个术语涵盖了术语“由…组成”及“基本上由…组成”。
短语“基本上由…组成”意味着所述组合物或方法可以包括额外的成分及/或步骤，但前提是这些额外的成分及/或步骤不会实质性地改变所要求的组合物或方法的基本及新颖特征。
正如本文所使用的，单数形式的“一”、“一个”及“所述”包括复数参考，除非上下文有明确规定。例如，术语“一种化合物”或“至少一种化合物”可以包括多个化合物，包括其混合物。
术语“示例性”在这里是指“作为一个例子、实例或说明”。任何被描述为“示例性”的实施例不一定被理解为比其他实施例更优选或更有利，并且/或者排除纳入其他实施例的特征。
这里使用的“可选地”一词是指“在某些实施例中提供，而在其他实施例中不提供”。任何特定的实施例都可以包括多个“可选的”特征，除非这些特征发生冲突。
在本申请中，各种实施例可以用范围格式来表述。应理解的是，以范围格式进行描述只是为了方便及简洁，不应被理解为对实施例的范围的一灵活限制。因此，对一个范围的描述应被视为已具体披露了所有可能的子范围以及所述范围内的单个数值。例如，对一个范围的描述，如从1到6，应被视为具体披露了子范围，如从1到3，从1到4，从1到5，从2到4，从2到6，从3到6等，以及所述范围内的单个数字，例如，1，2，3，4，5，及6。无论范围的广度如何，这都适用。
每当这里指出一个数字范围时，它的意思是包括所指出范围内的任何引用的数字(分数或整数的)。短语“范围/范围介于”一第一指示数字及一第二指示数字之间的范围及“范围/范围自”一第一指示数字“到”一第二指示数字的范围在这里可以互换使用，并且意味着包括第一及第二指示数字以及其间的所有分数及整数数字。
可以理解的是，为了清晰起见，在单独的实施例中描述的实施例的某些特征，也可以在单个实施例中组合提供。反之，为简洁起见，在单个实施例的上下文中描述的实施例的各种特征，也可以单独提供，或以任何合适的子组合提供，或在任何其他描述的实施例中合适地提供。在各种实施例的上下文中描述的某些特征不应视为这些实施例的基本特征，除非所述实施例在没有这些要素的情况下是无法操作的。
尽管已经结合具体的实施例对实施例进行了描述，但很明显，对于本领域的技术人员来说，许多替代方案、修改及变化都是显而易见的。因此，本发明的目的是包含所有属于所附权利要求的精神及广泛范围内的此类替代方案、修改及变化。
本说明书中提到的所有出版物、专利及专利申请在此通过引用全部纳入本说明书，其程度与每一个单独的出版物、专利或专利申请被具体及单独指出通过引用纳入本说明书的程度相同。此外，本申请中对任何参考文献的引用或确定不应解释为承认所述参考文献可作为实施例的现有技术。在使用章节标题的情况下，它们不应被解释为一定是限制性的。此外，本申请的任何优先权文件在此以参考方式全部纳入本文。

Claims (30)

1.一种用于生成模拟驾驶场景的***，其特征在于：包括至少一硬件处理器，适于：
生成多个模拟驾驶场景，每一个所述模拟驾驶场景是通过向一机器学习模型提供多个输入驾驶对象生成的，其中所述机器学习模型是使用另一个机器学习模型训练以运算一分类，所述分类指示通过所述机器学习模型产生的一模拟驾驶场景包括一感兴趣驾驶场景的一可能性。
2.如权利要求1所述的***，其特征在于：训练其他机器学习模型包括使用多个记录数据集，每一个所述记录数据集是在一车辆穿越一实体景象时记录的，并包括一记录驾驶场景及多个记录驾驶指令，所述训练是根据多个记录驾驶指令及通过其他机器学习模型响应所述记录驾驶场景运算的多个运算驾驶指令之间的一差异。
3.如权利要求1所述的***，其特征在于：所述至少一硬件处理器还适于向至少一自动驾驶模型提供多个模拟驾驶场景中的至少部分，以达到以下至少一目的：训练所述至少一自动驾驶模型，测试所述至少一自动驾驶模型，确认所述至少一自动驾驶模型，以及验证所述至少一自动驾驶模型。
4.如权利要求3所述的***，其特征在于：所述至少一自动驾驶***是选自由以下组成的一群组的一***的至少部分：一自动驾驶***，以及一高级驾驶辅助***。
5.如权利要求2所述的***，其特征在于：所述机器学习模型是通过在多个训练迭代中的每一个使用其他机器学习模型进行训练的：
由所述机器学习模型生成至少一模拟驾驶场景，以响应多个训练输入驾驶对象；
将所述至少一模拟驾驶场景提供给其他机器学习模型，以运算至少一分类，指示所述至少一模拟驾驶场景包括至少一感兴趣驾驶场景的一可能性；以及
根据所述至少一分类，修改所述机器学习模型的至少一模型值，以增加将在一后续训练迭代中生成的另一模拟驾驶场景分类为具有至少一其他感兴趣驾驶场景的一可能性。
6.如权利要求5所述的***，其特征在于：所述至少一感兴趣驾驶场景包括以下的至少一者：通过其他机器学习模型模拟的一车辆的一速度值、通过其他机器学习模型模拟的所述车辆的一加速度值、通过其他机器学习模型生成的一驾驶指令、通过其他机器学习模型模拟的所述车辆的一方向值、以及通过其他机器学习模型模拟的所述车辆与所述驾驶场景的至少一其他对象之间的一距离。
7.如权利要求1所述的***，其特征在于：所述多个输入驾驶对象包括以下至少一者：一模拟驾驶环境的一移动对象，以及一模拟驾驶环境的一静态对象。
8.如权利要求7所述的***，其特征在于：所述移动对象选自由以下组成的多个移动对象的一群组：一车辆及一人。
9.如权利要求1所述的***，其特征在于：为了生成所述多个模拟驾驶场景中的至少一者，还向所述机器学习模型提供描述一模拟驾驶环境的一地形的一地图。
10.如权利要求1所述的***，其特征在于：所述多个输入驾驶对象包括通过一随机对象生成器生成的至少一对象。
11.如权利要求1所述的***，其特征在于：还向所述机器学习模型提供多个约束；以及
其中，所述机器学习模型根据所述多个约束生成所述多个模拟驾驶场景中的至少一者。
12.如权利要求1所述的***，其特征在于：所述多个模拟驾驶场景中的至少一者包括一模拟驾驶环境的多个模拟对象的多个移动矢量。
13.如权利要求1所述的***，其特征在于：生成所述多个模拟驾驶场景中的至少一生成场景还包括将至少一环境特征调整应用于所述至少一生成场景。
14.如权利要求1所述的***，其特征在于：所述机器学习模型是一生成对抗性神经网络或一条件生成对抗性神经网络的一生成器网络。
15.如权利要求1所述的***，其特征在于：其他机器学习模型是一神经网络。
16.如权利要求15所述的***，其特征在于：所述神经网络是使用一模仿学习方法训练的。
17.如权利要求1所述的***，其特征在于：还向所述机器学习模型提供表示至少一感兴趣驾驶场景的特征的多个模拟参数；以及
其中所述机器学习模型还根据所述多个模拟参数生成所述多个模拟驾驶场景中的至少一者。
18.如权利要求17所述的***，其特征在于：所述多个模拟参数包括多个时空矩阵距离值，描述在一确定的时间间隔内，通过一自动驾驶员模拟的一车辆与所述多个输入对象中的一个或多个对象之间的多个距离。
19.如权利要求18所述的***，其特征在于：所述多个时空矩阵距离值是使用捕获驾驶数据运算的。
20.如权利要求19所述的***，其特征在于：所述捕获驾驶数据的至少部分是通过安装在一车辆上的多个传感器在穿越一驾驶位置时捕获的。
21.如权利要求19所述的***，其特征在于：所述捕获驾驶数据是在执行另一自动驾驶模型时捕获的。
22.如权利要求19所述的***，其特征在于：所述捕获驾驶数据包括多个数字图像帧；以及
其中，运算所述多个时空矩阵距离值包括：
运算多个时空矩阵，每一个所述时空矩阵与所述多个帧中的一帧相关联，且每一个所述时空矩阵包括多个时空矩阵距离值的一集合，每一个所述时空矩阵距离值描述在所述帧中确定的多个捕获对象中的一捕获对象与在所述帧中确定的所述多个捕获对象中的另一捕获对象的一距离；
在所述多个时空矩阵中确定在一确定时间发生的所述多个捕获对象中的至少两个捕获对象之间的至少一捕获近距离碰撞；以及
从所述多个时空矩阵中的至少部分选择与所述至少两个捕获对象有关的其多个时空矩阵距离值的个别集合的至少部分，在所述确定的时间间隔内结束于所述确定时间，以产生所述多个时空矩阵距离值。
23.如权利要求22所述的***，其特征在于：运算所述多个时空矩阵距离值还包括：
运算所述多个时空矩阵距离值的至少一突变。
24.如权利要求23所述的***，其特征在于：运算所述多个时空矩阵距离值的所述至少一突变包括执行至少一推理机器学习模型。
25.如权利要求23所述的***，其特征在于：运算所述多个时空矩阵距离值的所述至少一突变包括递增或递减所述多个时空矩阵距离值中的至少一者。
26.一种用于生成模拟驾驶场景的方法，其特征在于：包括：
生成多个模拟驾驶场景，每一个所述模拟驾驶场景是通过向一机器学习模型提供多个输入驾驶对象生成的，其中所述机器学习模型是使用另一机器学习模型训练以运算一分类，所述分类指示通过所述机器学习模型产生的一模拟驾驶场景包括一感兴趣驾驶场景的一可能性。
27.如权利要求26所述的方法，其特征在于：训练其他机器学习模型包括使用多个记录数据集，每一个所述记录数据集是在一车辆穿越一实体景象时记录的，并包括一记录驾驶场景及多个记录驾驶指令，所述训练是根据多个记录驾驶指令及通过其他机器学习模型响应所述记录驾驶场景运算的多个运算驾驶指令之间的一差异。
28.一种用于训练一自动驾驶模型的***，其特征在于：包括至少一硬件处理器，在多个迭代中的每一个适于：
通过向所述自动驾驶模型提供至少一模拟驾驶场景来运算多个驾驶指令，所述至少一模拟驾驶场景是通过生成多个模拟驾驶场景生成的，每一个所述模拟驾驶场景是通过向一机器学习模型提供多个输入驾驶对象生成的，其中所述机器学习模型是使用另一机器学习模型训练以运算一分类，所述分类指示通过所述机器学习模型产生的一模拟驾驶场景包括一感兴趣驾驶场景的一可能性；
根据所述多个驾驶指令及所述至少一模拟驾驶场景运算一分数；以及
修改所述自动驾驶模型的至少一模型值，以增加在所述多个迭代中的一后续迭代中运算的另一分数。
29.如权利要求28所述的***，其特征在于：还包括在训练后，在以下至少一者中使用所述自动驾驶模型：一自动驾驶***，以及一高级驾驶辅助***。
30.如权利要求28所述的***，其特征在于：训练其他机器学习模型包括使用多个记录数据集，每一个所述记录数据集是在一车辆穿越一实体景象时记录的，并包括一记录驾驶场景及多个记录驾驶指令，所述训练是根据多个记录驾驶指令及通过其他机器学习模型响应所述记录驾驶场景运算的多个运算驾驶指令之间的一差异。
CN202180060579.9A 2020-05-27 2021-05-27 生成多个模拟边缘情况驾驶场景 Pending CN116194350A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063030359P 2020-05-27 2020-05-27
US63/030,359 2020-05-27
PCT/IL2021/050629 WO2021240528A1 (en) 2020-05-27 2021-05-27 Generating simulated edge-case driving scenarios

Publications (1)

Publication Number Publication Date
CN116194350A true CN116194350A (zh) 2023-05-30

Family

ID=78744332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180060579.9A Pending CN116194350A (zh) 2020-05-27 2021-05-27 生成多个模拟边缘情况驾驶场景

Country Status (4)

Country Link
US (1) US20230202511A1 (zh)
EP (1) EP4158437A4 (zh)
CN (1) CN116194350A (zh)
WO (1) WO2021240528A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11938957B2 (en) 2020-08-24 2024-03-26 Motional Ad Llc Driving scenario sampling for training/tuning machine learning models for vehicles
CN113119999B (zh) * 2021-04-16 2024-03-12 阿波罗智联(北京)科技有限公司 自动驾驶特征的确定方法、装置、设备、介质及程序产品
EP4300358A1 (en) 2022-06-27 2024-01-03 Robert Bosch GmbH A system for creating a software routine for vehicle maneuvers and a training method thereof
CN115524996B (zh) * 2022-09-13 2023-07-28 工业和信息化部装备工业发展中心 模拟仿真场景库的边缘场景补充方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018002910A1 (en) * 2016-06-28 2018-01-04 Cognata Ltd. Realistic 3d virtual world creation and simulation for training automated driving systems
US10228693B2 (en) * 2017-01-13 2019-03-12 Ford Global Technologies, Llc Generating simulated sensor data for training and validation of detection models
US10168705B2 (en) * 2017-04-06 2019-01-01 Uber Technologies, Inc. Automatic tuning of autonomous vehicle cost functions based on human driving data
US20170274908A1 (en) * 2017-06-12 2017-09-28 Xiaoning Huai Personalize self-driving cars
US10739775B2 (en) * 2017-10-28 2020-08-11 Tusimple, Inc. System and method for real world autonomous vehicle trajectory simulation
US10755115B2 (en) * 2017-12-29 2020-08-25 Here Global B.V. Method, apparatus, and system for generating synthetic image data for machine learning
DE112019001605T5 (de) * 2018-03-27 2020-12-17 Nvidia Corporation Trainieren, testen und verifizieren von autonomen maschinen unter verwendung simulierter umgebungen

Also Published As

Publication number Publication date
EP4158437A4 (en) 2024-06-26
US20230202511A1 (en) 2023-06-29
WO2021240528A1 (en) 2021-12-02
EP4158437A1 (en) 2023-04-05

Similar Documents

Publication Publication Date Title
US20240096014A1 (en) Method and system for creating and simulating a realistic 3d virtual world
US11554785B2 (en) Driving scenario machine learning network and driving environment simulation
US11036232B2 (en) Iterative generation of adversarial scenarios
CN113165652B (zh) 使用基于网格的方法检验预测轨迹
CN116194350A (zh) 生成多个模拟边缘情况驾驶场景
RU2734744C1 (ru) Оперативное управление автономным транспортным средством, включающее в себя работу экземпляра модели частично наблюдаемого марковского процесса принятия решений
RU2733015C1 (ru) Оперативное управление автономным транспортным средством
RU2734732C1 (ru) Отслеживание блокировки сети движения при оперативном управлении автономным транспортным средством
US20190146508A1 (en) Dynamic vehicle routing using annotated maps and profiles
EP3410404B1 (en) Method and system for creating and simulating a realistic 3d virtual world
US11740620B2 (en) Operational testing of autonomous vehicles
CN108345838A (zh) 利用模拟图像训练自动交通灯检测模型
CN107310550A (zh) 道路交通工具行驶控制方法和装置
US20220355821A1 (en) Ride comfort improvement in different traffic scenarios for autonomous vehicle
EP4020113A1 (en) Dynamic model evaluation package for autonomous driving vehicles
CN110675476A (zh) 一种直观传达自动驾驶场景定义的方法和装置
CN115017742A (zh) 自动驾驶测试场景生成方法、装置、设备及存储介质
Youssef et al. Comparative study of end-to-end deep learning methods for self-driving car
US20230222332A1 (en) Advanced Neural Network Training System
CN114117944A (zh) 一种模型更新方法、装置、设备及可读存储介质
US20230202529A1 (en) System and method of using a machine learning model to plan autonomous vehicles routes
Fennessy Autonomous vehicle end-to-end reinforcement learning model and the effects of image segmentation on model quality
WO2023123130A1 (zh) 用于自动驾驶***的方法、装置、电子设备和介质
US20230202521A1 (en) System and method of using an autolabeler to generate yield/assert labels based on on-road autonomous vehicle use
US20230202522A1 (en) System and method of spoofing a planning stack of an autonomous vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination