CN111816022A - 一种模拟场景的仿真方法、装置、存储介质以及电子设备 - Google Patents

一种模拟场景的仿真方法、装置、存储介质以及电子设备 Download PDF

Info

Publication number
CN111816022A
CN111816022A CN202010082737.8A CN202010082737A CN111816022A CN 111816022 A CN111816022 A CN 111816022A CN 202010082737 A CN202010082737 A CN 202010082737A CN 111816022 A CN111816022 A CN 111816022A
Authority
CN
China
Prior art keywords
traffic
vehicle
interactive
playing
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010082737.8A
Other languages
English (en)
Inventor
刘梦瑶
卢祺
车正平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Didi Infinity Technology and Development Co Ltd
Original Assignee
Beijing Didi Infinity Technology and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Didi Infinity Technology and Development Co Ltd filed Critical Beijing Didi Infinity Technology and Development Co Ltd
Priority to CN202010082737.8A priority Critical patent/CN111816022A/zh
Publication of CN111816022A publication Critical patent/CN111816022A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/05Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles the view from a vehicle being simulated

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开提供了一种模拟场景的仿真方法、装置、存储介质以及电子设备,该仿真方法包括:基于交通场景参数构建交通场景;在所述交通场景中生成交互行为,所述交互行为包括准备阶段和交互阶段;展示所述交通场景并播放所述交互行为,其中,所述准备阶段通过第一播放速度播放,所述交互阶段通过第二播放速度播放;控制自动驾驶车辆按照第一策略行驶,基于所述第一策略调整所述第一播放速度和/或所述第二播放速度。本公开能够将采集车采集到的交互行为进行复现,确保自动驾驶车辆有效的完成该交互行为下的模拟训练,还可以根据模拟的结果调整自动驾驶的行驶策略。

Description

一种模拟场景的仿真方法、装置、存储介质以及电子设备
技术领域
本公开涉及场景模拟技术领域,具体而言,涉及一种模拟场景的仿真方法、装置、存储介质以及电子设备。
背景技术
随着对自动驾驶技术研究的不断深入,自动驾驶车辆的应用将越来越快的进入大众的生活。
在对自动驾驶车辆进行研究的过程中,为了确保自动驾驶车辆的行驶安全,需要对自动驾驶车辆的各个性能进行多次测试、训练、调整。通常利用以下两种方式进行训练,第一种:通过真实的自动驾驶车辆在真实的道路上行驶进行测试训练;第二种:通过模拟器模拟训练场景及自动驾驶车辆行驶进行仿真训练。
但是,第一种训练方式效率较低,消耗大量的人力物力;第二种模拟训练的训练场景受设计人员的主观限制和路测数据的定式回放,虽然一定程度上提高了测试效率,但是,一旦模拟器中的动驾驶车辆的行驶速度与采集车的行驶速度不一致,则无法将采集车采集到的交互行为进行复现,也即无法有效的完成模拟训练。
发明内容
有鉴于此,本公开的目的在于提供一种模拟场景的仿真方法、装置、存储介质以及电子设备,能够将采集车采集到的交互行为进行复现,确保自动驾驶车辆有效的完成该交互行为下的模拟训练。
第一方面,本公开提供了一种模拟场景的仿真方法,其中,包括:
基于交通场景参数构建交通场景;
在所述交通场景中生成交互行为,所述交互行为包括准备阶段和交互阶段;
展示所述交通场景并播放所述交互行为,其中,所述准备阶段通过第一播放速度播放,所述交互阶段通过第二播放速度播放;
控制自动驾驶车辆按照第一策略行驶,基于所述第一策略调整所述第一播放速度和/或所述第二播放速度。
在一种可能的实施方式中,所述基于交通场景参数构建交通场景包括:
通过采集车基于预定方式获取交通参与者的状态信息;
基于所述状态信息,生成每个所述交通参与者的位置和/或行驶轨迹;
根据所有所述交通参与者的位置和/或行驶轨迹,构建交通场景。
在一种可能的实施方式中,所述预定方式包括:基于激光雷达方式和/或基于图像采集设备方式。
在一种可能的实施方式中,所述基于所述状态信息,生成每个所述交通参与者的位置和/或行驶轨迹,包括:
基于所述激光雷达方式,通过点云识别与跟踪算法,生成每个所述交通参与者相对于所述采集车的相对位置和/或相对行驶轨迹;和/或,
基于所述图像采集方式,通过图像识别与跟踪算法,生成二维的位置和/或行驶轨迹,基于所述二维的位置和/或行驶轨迹,通过三维重建算法,生成每个所述交通参与者相对于所述采集车的相对位置和/或相对行驶轨迹;
基于所述采集车在世界坐标系下的位姿信息和所述相对位置和/或相对行驶轨迹,确定每个所述交通参与者在世界坐标系下的位置和/或行驶轨迹。
在一种可能的实施方式中,所述在所述交通场景中生成交互行为,所述交互行为包括准备阶段和交互阶段,包括:
基于预定条件确定交互关键对象;
确定所述准备阶段的第一启动条件;
确定所述交互阶段的第二启动条件。
在一种可能的实施方式中,所述预定条件中的预定行为包括以下至少其中之一:
垂直于车道线的横向移动、加速、减速、转向。
在一种可能的实施方式中,所述控制自动驾驶车辆按照第一策略行驶,基于所述第一策略调整所述第一播放速度和/或所述第二播放速度,包括:
获取所述自动驾驶车辆的车速值;
基于所述车速值调整所述第一播放速度和/或所述第二播放速度。
在一种可能的实施方式中,所述交互行为还包括恢复阶段,在播放所述交互行为的过程中,基于所述第二播放速度播放所述恢复阶段。
在一种可能的实施方式中,还包括:
当在播放所述交互行为的过程中发生预定事件,中止播放所述交互行为,并将所述第一策略调整为第二策略。
第二方面,本公开还提供了一种模拟场景的仿真装置,其中,包括:
构建模块,用于基于交通场景参数构建交通场景;
生成模块,用于在所述交通场景中生成交互行为,所述交互行为包括准备阶段和交互阶段;
播放模块,用于展示所述交通场景并播放所述交互行为,其中,所述准备阶段通过第一播放速度播放,所述交互阶段通过第二播放速度播放;
调整模块,用于控制自动驾驶车辆按照第一策略行驶,基于所述第一策略调整所述第一播放速度和/或所述第二播放速度。
第三方面,本公开还提供了一种计算机可读存储介质,其中,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如所述的模拟场景的仿真方法的步骤。
第四方面,本公开还提供了一种电子设备,其中,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如所述的模拟场景的仿真方法的步骤。
本公开中利用获取的采集车采集的交通场景数据,构建模拟器中的交通场景;在交通场景中生成交互行为,其中,交互行为包括准备阶段和交互阶段;展示交通场景并播放交互行为,准备阶段通过第一播放速度播放,交互阶段通过第二播放速度播放;控制自动驾驶车辆按照第一策略行驶,基于所述自动驾驶车辆的车速值调整第一播放速度和/或第二播放速度,将采集车采集到的交互行为进行复现,确保自动驾驶车辆有效的完成该交互行为下的模拟训练。进一步的,还可以根据模拟的结果调整自动驾驶的行驶策略。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1示出了本公开所提供的一种模拟场景的仿真方法的流程图;
图2示出了本公开所提供的一种模拟场景的仿真中获取交通场景参数,并构建交通场景的流程图;
图3示出了本公开所提供的一种模拟场景的仿真方法中生成包括准备阶段和交互阶段的交互行为的流程图;
图4示出了本公开所提供的一种模拟场景的仿真方法中调整第一播放速度和/或第二播放速度的流程图;
图5示出了本公开所提供的模拟场景的仿真装置的结构示意图;
图6示出了本公开所提供的电子设备的结构示意图。
具体实施方式
为了使得本公开的目的、技术方案和优点更加清楚,下面将结合本公开的附图,对本公开的技术方案进行清楚、完整地描述。显然,所描述的实施例是本公开的一部分实施例,而不是全部的实施例。基于所描述的本公开的实施例,本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
除非另外定义,本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
为了保持本公开的以下说明清楚且简明,本公开省略了已知功能和已知部件的详细说明。
本公开第一方面提供了一种模拟场景的仿真方法,图1示出了本公开仿真方法的流程图,具体步骤如下:
S101,基于交通场景参数构建交通场景。
在具体实施中,为了针对某一特定的交通场景进行模拟,应当构建该特定的交通场景,这就需要获取该特定的交通场景所必备的交通场景参数,利用该交通场景参数将期望的交通场景真实准确地表现出来。这样,通过获取复杂的交通场景参数,例如建筑的参数、行人的参数、其他车辆的参数、道路的参数等,进而根据交通场景参数来构建交通场景,从而在对自动驾驶车辆进行模拟行驶训练时,能够实现特定的交通场景的模拟。
本公开实施例例如可以通过采集车获取特定的交通场景所具备的复杂的交通场景参数,这里的采集车包括自动驾驶车辆和非自动驾驶车辆,考虑到在实际场景中的交通参与者较多(例如上下班的高峰期、旅游景点附近的区域等)时,为了确保采集车和各交通参与者的安全,可以利用非自动驾驶车辆进行交通场景参数的采集和获取;在实际场景中的交通参与者较少(例如半夜、人流量稀少的区域等)时,可以利用自动驾驶车辆进行交通场景参数的采集和获取,从而减少人力成本,一定程度上提高了交通场景参数的采集和获取效率。
具体的,根据图2所示的方法,基于交通场景参数构建交通场景,其中,对于交通参与者的交通场景参数的获取以及基于此构建交通场景的具体步骤如下:
S201,通过采集车基于预定方式获取交通参与者的状态信息。
在具体实施中,利用采集车按照一定的车速值进行行驶,并基于预定的方式获取交通参与者的状态信息。这里,交通参与者不仅包括对于静止状态的建筑、道路、交通指示灯等目标,还包括实时处于动态的交通参与者,在获取交通参与者的状态信息的过程中,包括采集车所处的交通场景中所有的行人、车辆、交通指示灯等,当然,还可以根据需求(例如预定方式的条件限制、天气的能见度等)来确定一个采集车对应的预设区域,采集车仅获取该预设区域内交通参与者的状态信息即可。为了便于阐述,本公开中以预设区域为例进行详细阐述。
进一步的,交通参与者的状态信息包括行人/车辆的位姿信息、行人/车辆位姿信息对应的时间信息、建筑的位置信息、交通指示灯的位置信息和变换信息等。
本公开中的预定方式包括激光雷达方式或者基于图像采集设备方式,当然,还可以包括其他方式。具体的,在实际使用中,为了确保能够采集到全面的交通场景参数,可以在采集车的顶部、车头、车尾均设置激光雷达或图像采集设备。考虑到激光雷达和图像采集设备会受到天气、交通参与者密度等外界因素的影响,因此,对于较为复杂或交通参与者密度较大的交通场景中,可以同时设置激光雷达和图像采集设备,以确保交通场景参数的准确性及全面性。
S202,基于状态信息,生成每个交通参与者的位置和/或行驶轨迹。
这里,在获取到每个交通参与者的状态信息之后,基于所有的状态信息生成每个交通参与者的位置和/或行驶轨迹。具体的,基于每个采集时间点对应的交通参与者的状态信息,确定每个交通参与者在每个时间点所处的位置参数,该位置可以为与采集车的相对位置参数,也可以是基于世界坐标生成的位置参数,在确定交通参与者在每个时间点所处的位置参数之后,将每个交通参与者的所有位置参数进行关联处理,对于静止状态的交通参与者可以得到每个交通参与者的位置,对于实时动态的交通参与者可以得到每个交通参与者的行驶轨迹。
本公开中可以通过以下两种生成方式来生成每个交通参与者的行驶轨迹,其中,具体如下:
第一种生成方式:当采用基于激光雷达方式的情况下,通过点云识别与跟踪算法,生成每个交通参与者相对于采集车的相对位置和/或相对行驶轨迹。
利用激光雷达方式获取各交通参与者的状态信息时,在采集车行驶的过程中,采集车上安装的激光雷达实时采集和获取各交通参与者的状态信息,至少包括与各交通参与者之间的距离、方位、各交通参与者的高度、速度、姿态、形状等。
利用点云识别对上述状态信息进行识别,得到各交通参与者的点云数据;之后,利用跟踪算法对点云数据进行计算,并生成每个交通参与者相对于采集车的相对位置和/或相对行驶轨迹。
在生成每个交通参与者相对于采集车的相对位置和/或相对行驶轨迹之后,基于采集车在世界坐标系下的位姿信息和相对位置和/或相对行驶轨迹,确定每个交通参与者在世界坐标系下的位置和/或行驶轨迹。其中,利用采集车上安装的定位***获取采集车车在世界坐标系下的位姿信息。
第二种生成方式:当采用基于图像采集设备方式的情况下,通过图像识别与跟踪算法,生成二维的位置和/或行驶轨迹,基于二维的位置和/或行驶轨迹,通过三维重建算法,生成每个交通参与者相对于采集车的相对位置和/或相对行驶轨迹。
利用图像采集设备方式获取各交通参与者的状态信息时,利用相机(或其他摄像设备)获取预设区域内的图像信息,其中,该图像信息中包括各交通参与者的状态图像。在得到预设区域内的图像信息中包括各交通参与者的图像状态之后,利用图像识别算法和跟踪算法,识别获取每个交通参与者的状态信息,进一步计算得到每个交通参与者在二维图像上的位置和/或行驶轨迹;之后,基于二维的位置和/或行驶轨迹,通过三维重建算法将二维图像上的位置和/或行驶轨迹还原到三维场景下,得到每个交通参与者相对于采集车的相对位置和/或相对行驶轨迹。同样的,在生成每个交通参与者相对于采集车的相对位置和/或相对行驶轨迹之后,基于采集车在世界坐标系下的位姿信息和相对位置和/或相对行驶轨迹,确定每个交通参与者在世界坐标系下的位置和/或行驶轨迹。
其中,在相机(或其他摄像设备)仅具备拍照功能时,可以设置采集频率,利用相机(或其他摄像设备)按照采集频率采集预设区域内的图像信息;在摄像设备同时具备录像功能时,则利用摄像设备的录像功能采集预设区域内的图像信息。
相较于上述两种生成方式,第二种生成方式得到的每个交通参与者相对于采集车的相对位置和/或相对行驶轨迹准确度低于第一种生成方式得到的每个交通参与者相对于采集车的相对位置和/或相对行驶轨迹,但相机(或其他摄像设备)的成本低于激光雷达,因此,在对精确度要求不高的情况下,可以优先选用第二种生成方式来得到的每个交通参与者相对于采集车的相对位置和/或相对行驶轨迹;在对精确度要求较高的情况下,可以优先选用第一种方式得到的每个交通参与者相对于采集车的相对位置和/或相对行驶轨迹。
值得说明的是,在得到预设区域内的图像信息、点云数据、位姿数据之后进行的一系列生成计算,可以在采集车上完成,也可以在服务器上完成。在采集车当前所处的网络环境较差时,可以将对图像信息、点云数据、位姿数据的计算在采集车辆上完成,再将计算结果上传给服务器,避免在较差的网络环境中上传图像信息、点云数据、位姿数据导致的资源浪费等问题。
S203,根据所有交通参与者的位置和/或行驶轨迹,构建交通场景。
这里的交通场景的构建主要侧重于处于静态和处于动态的交通参与者的状态,在生成每个交通参与者的位置和/或行驶轨迹之后,根据所有交通参与者的位置和/或行驶轨迹,构建交通场景,也即,将采集车获取交通场景数据时所处的交通场景进行真实模拟,构建的交通场景不但包括处于静止状态的建筑等,更包括处于实时动态的交通参与者的状态。
S102,在交通场景中生成交互行为,交互行为包括准备阶段和交互阶段。
在具体实施中,这里的交通场景中的交互行为是指在构建特定的交通场景完毕,需要设计自动驾驶车辆与任意交通参与者之间将发生的特定的相互之间的行为,这样,便于模拟自动驾驶车辆在面对交互行为后的应对行为,这里的交互行为至少包括相关交通参与者垂直于车道线的横向移动、加速、减速、转向,当然还包括其他的交通行为。
具体的,交互行为包括准备阶段和交互阶段,参照图3所示的方法生成包括准备阶段和交互阶段的交互行为,其中,具体步骤如下:
S301,基于预定条件确定交互关键对象。
在生成交互行为的过程中,首先需要确定交互关键对象。在本步骤中,基于预定条件确定交互关键对象,这里预定条件为用于模拟自动驾驶车辆的采集车与任意交通参与者之间将发生交互行为的交通参与者所满足的条件,包括预定距离、预定相对方位、预定行为等。例如,将在采集车前方与采集车之间相距满足预定距离、在预定相对方位上且与采集车之间未存在其他物体(行人、车辆等)的交通参与者,当交通参与者发生预定行为并且采集车的行驶状态发生改变的情况下,这里的预定行为例如垂直于车道线的横向移动、加速、减速、转向等,确定该交通参与者为交互关键对象。
S302,确定准备阶段的第一启动条件。
为了确保在模拟过程中能够完整模拟交互行为,因此,在交互阶段前设置准备阶段,具体的,将交互阶段的起始点作为准备阶段的终止点,并将距离准备阶段的终止点第二预设距离处作为准备阶段的起始点。
当通过上述步骤确定交互关键对象之后,采集车或者在无人驾驶模拟中的自动驾驶车辆进入到交通场景中,首先将面对交互行为的准备阶段,这就需要建立交互行为的准备阶段的第一启动条件,例如当采集车与位于其前方的交互关键对象之间的距离小于或者等于80米的第一预设距离且在预定方位上时,确定为进入到将与交互关键车辆发生交互行为的准备阶段,同时将当前的时间信息作为交互行为的准备阶段的第一时间信息进行记录。
S303,确定交互阶段的第二启动条件。
当经历处于交互行为的准备阶段后,采集车或者处于无人驾驶状态的自动驾驶车辆与交互关键对象之间将进入交互行为的交互阶段,基于采集车确定交互阶段的第二启动条件,例如当采集车与位于其前方的交互关键对象之间的距离小于或者等于30米的第二预设距离且在预定方位上时,确定为进入到将与交互关键车辆发生交互行为的交互阶段。此时,交互关键对象发生预定行为例如垂直于车道线的横向移动并且采集车的行驶状态发生改变时,从而确定交互行为的交互阶段被启动,将当前的时间信息作为交互行为的交互阶段的第二时间信息进行记录。
S103,展示交通场景并播放交互行为,其中,准备阶段通过第一播放速度播放,交互阶段通过第二播放速度播放。
通过步骤S101和S102,构建特定的交通场景完毕并且在交通场景中生成交互行为后,将要展示交通场景,并在展示交通场景的过程中播放交互行为,从而便于在该交通场景中控制自动驾驶车辆在面对交互行为时的应对策略。
在实际模拟中,准备阶段通过第一播放速度播放,交互阶段通过第二播放速度播放。这里,第一播放速度和第二播放速度可以相同,也可以不同,例如可以使得第一播放速度大于第二播放速度,使得交互行为的准备阶段能够实现快进的效果,例如可以通过预先设置的方式由用户自定义第一播放速度或者第二播放速度。
当开始展示交通场景后,在自动驾驶车辆在构建的交通场景中进行行驶的过程中,在确定满足准备阶段的第一启动条件时,基于第一播放速度播放准备阶段;在确定满***互阶段的第二启动条件时,基于第二播放速度播放交互阶段。
S104,控制自动驾驶车辆按照第一策略行驶,基于第一策略调整第一播放速度和/或第二播放速度。
在具体实施中,当通过步骤S103开始在构建的交通场景中播放交互行为,控制自动驾驶车辆按照第一策略行驶,在具体实施中,控制自动驾驶车辆按照第一策略进行行驶以使得该自动驾驶车辆能够在特定的交通场景中行驶,如果自动驾驶车辆的第一策略与采集车的性质状态相同,则当符合交互行为的准备阶段的第一启动条件后,例如这时自动驾驶车辆与交互关键车辆之间相距满足第一预设距离即80米时,基于第一播放速度播放准备阶段,当符合交互行为的交互阶段的第二启动条件后,例如这时自动驾驶车辆与交互关键车辆之间相距满足第一预设距离即30米时,基于第二播放速度播放交互阶段。在自动驾驶车辆行驶的过程中,基于第一策略调整第一播放速度和/或第二播放速度,以确保将采集车采集到的交通场景以及其中包括的交互行为进行复现,确保自动驾驶车辆有效的完成该交互行为下的模拟训练。
但是往往自动驾驶车辆在自动驾驶车辆行驶的过程中,第一策略与采集车的行驶状态不同,则需要基于第一策略调整第一播放速度和/或第二播放速度,以确保将采集车采集到的交通场景以及其中包括的交互行为进行复现,确保自动驾驶车辆有效的完成该交互行为下的模拟训练,具体,包括:
S401,获取自动驾驶车辆的车速值。
一般而言,在模拟自动驾驶车辆行驶时,可以使自动驾驶车辆的行驶状态与采集车的行驶状态相同,例如具有相同的车速值,但是往往自动驾驶车辆的行驶状态会发生变化,例如第一策略中对于自动驾驶车辆的车速值与采集车的车速值不同,这就需要首先获取自动驾驶车辆的车速值。
S402,基于车速值调整第一播放速度和/或第二播放速度。
如上,在控制自动驾驶车辆按照第一策略行驶中,第一策略是控制自动驾驶车辆的车速值。如果自动驾驶车辆的车速值不同于采集车的车速值,或者车速值出现波动,则自动驾驶车辆在构建的交通场景中行驶时不会按照通过采集车预先确定的时间信息,准确进入到交互行为的准备阶段和交互阶段。这就需要在获取到自动驾驶车辆的车速值之后,基于车速值调整第一播放速度/或第二播放速度,并利用调整后的第一播放速度/或第二播放速度进行模拟训练,确保能够将采集车采集到的交互行为进行复现,自动驾驶车辆能够有效的完成该交互行为下的模拟训练。例如,自动驾驶车辆如果车速值相对采集车的车速提高10%,则可以按照10%的比例同时提高第一播放速度和第二播放速度,或者按照原来第一播放速度播放交互行为的准备阶段,但是按照20%的比例提高第二播放速度以播放交互行为的交互阶段,这些目的在于使得自动驾驶车辆能够准确进入到交互行为中,尤其能够准确进入交互行为的交互阶段,以成功对交互行为进行复现。值得说明的是,在进行模拟训练之前,还可以人为设置自定义策略,即控制自动驾驶车辆按照自定义策略进行行驶,并基于自定义策略调整第一播放速度和/或第二播放速度等。
进一步的,交互行为还包括恢复阶段,在播放交互行为的过程中,基于第二播放速度播放恢复阶段。恢复阶段的起始点即为交互阶段的终止点,也即交互行为完成之后的预设阶段。
恢复阶段可以是在交互阶段的终止点之后的一段距离内,也可以是在交互阶段完成的时间点之后的一段时间范围内等。
此外,本公开实施例的仿真方法还包括:当在播放交互行为的过程中发生预定事件,中止播放交互行为,并将第一策略调整为第二策略。
在利用上述交通场景完成自动驾驶车辆的模拟训练时,当在播放交互行为的过程中发生预定事件,中止播放交互行为。其中,预定事件包括追尾、闯红灯等。
获取该模拟训练的训练结果、第一策略、第一播放速度和第二播放速度,并基于训练结果、第一策略、第一播放速度和第二播放速度将第一策略调整为第二策略,也即将第一策略进行优化,确保自动驾驶车辆能够应对各种交互行为,安全的进行行驶。
基于同一发明构思,本公开的第二方面还提供了一种与模拟场景的仿真方法对应的模拟场景的仿真装置,由于本公开中的装置解决问题的原理与本公开上述模拟场景的仿真方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参见图5所示,模拟场景的仿真装置包括:构建模块10、生成模块20、播放模块30和调整模块40。其中,构建模块10,用于基于交通场景参数构建交通场景。
在具体实施中,为了针对某一特定的交通场景进行模拟,应当构建该特定的交通场景,这就需要获取该特定的交通场景所必备的交通场景参数,利用该交通场景参数将期望的交通场景真实准确地表现出来。这样,通过获取复杂的交通场景参数,例如建筑的参数、行人的参数、其他车辆的参数、道路的参数等,进而根据交通场景参数来构建交通场景,从而在对自动驾驶车辆进行模拟行驶训练时,能够实现特定的交通场景的模拟。
本公开实施例例如可以通过采集车获取特定的交通场景所具备的复杂的交通场景参数,这里的采集车包括自动驾驶车辆和非自动驾驶车辆,考虑到在实际场景中的交通参与者较多(例如上下班的高峰期、旅游景点附近的区域等)时,为了确保采集车和各交通参与者的安全,可以利用非自动驾驶车辆进行交通场景参数的采集和获取;在实际场景中的交通参与者较少(例如半夜、人流量稀少的区域等)时,可以利用自动驾驶车辆进行交通场景参数的采集和获取,从而减少人力成本,一定程度上提高了交通场景参数的采集和获取效率。
本公开的构建模块10包括第一获取单元、生成单元和构建单元;其中,第一获取单元,用于通过采集车基于预定方式获取交通参与者的状态信息。
在具体实施中,利用采集车按照一定的车速值进行行驶,并基于预定的方式获取交通参与者的状态信息。这里,交通参与者不仅包括对于静止状态的建筑、道路、交通指示灯等目标,还包括实时处于动态的交通参与者,在获取交通参与者的状态信息的过程中,包括采集车所处的交通场景中所有的行人、车辆、交通指示灯等,当然,还可以根据需求(例如预定方式的条件限制、天气的能见度等)来确定一个采集车对应的预设区域,采集车仅获取该预设区域内交通参与者的状态信息即可。为了便于阐述,本公开中以预设区域为例进行详细阐述。
进一步的,交通参与者的状态信息包括行人/车辆的位姿信息、行人/车辆位姿信息对应的时间信息、建筑的位置信息、交通指示灯的位置信息和变换信息等。
本公开中的预定方式包括激光雷达方式或者基于图像采集设备方式,当然,还可以包括其他方式。具体的,在实际使用中,为了确保能够采集到全面的交通场景参数,可以在采集车的顶部、车头、车尾均设置激光雷达或图像采集设备。考虑到激光雷达和图像采集设备会受到天气、交通参与者密度等外界因素的影响,因此,对于较为复杂或交通参与者密度较大的交通场景中,可以同时设置激光雷达和图像采集设备,以确保交通场景参数的准确性及全面性。
生成单元,用于基于状态信息,生成每个交通参与者的位置和/或行驶轨迹。
这里,在获取到每个交通参与者的状态信息之后,基于所有的状态信息生成每个交通参与者的位置和/或行驶轨迹。具体的,基于每个采集时间点对应的交通参与者的状态信息,确定每个交通参与者在每个时间点所处的位置参数,该位置可以为与采集车的相对位置参数,也可以是基于世界坐标生成的位置参数,在确定交通参与者在每个时间点所处的位置参数之后,将每个交通参与者的所有位置参数进行关联处理,对于静止状态的交通参与者可以得到每个交通参与者的位置,对于实时动态的交通参与者可以得到每个交通参与者的行驶轨迹。
本公开中可以通过以下两种生成方式来生成每个交通参与者的行驶轨迹,其中,具体如下:
第一种生成方式:当采用基于激光雷达方式的情况下,通过点云识别与跟踪算法,生成每个交通参与者相对于采集车的相对位置和/或相对行驶轨迹。
利用激光雷达方式获取各交通参与者的状态信息时,在采集车行驶的过程中,采集车上安装的激光雷达实时采集和获取各交通参与者的状态信息,至少包括与各交通参与者之间的距离、方位、各交通参与者的高度、速度、姿态、形状等。
利用点云识别对上述状态信息进行识别,得到各交通参与者的点云数据;之后,利用跟踪算法对点云数据进行计算,并生成每个交通参与者相对于采集车的相对位置和/或相对行驶轨迹。
在生成每个交通参与者相对于采集车的相对位置和/或相对行驶轨迹之后,基于采集车在世界坐标系下的位姿信息和相对位置和/或相对行驶轨迹,确定每个交通参与者在世界坐标系下的位置和/或行驶轨迹。其中,利用采集车上安装的定位***获取采集车车在世界坐标系下的位姿信息。
第二种生成方式:当采用基于图像采集设备方式的情况下,通过图像识别与跟踪算法,生成二维的位置和/或行驶轨迹,基于二维的位置和/或行驶轨迹,通过三维重建算法,生成每个交通参与者相对于采集车的相对位置和/或相对行驶轨迹。
利用图像采集设备方式获取各交通参与者的状态信息时,利用相机(或其他摄像设备)获取预设区域内的图像信息,其中,该图像信息中包括各交通参与者的状态图像。在得到预设区域内的图像信息中包括各交通参与者的图像状态之后,利用图像识别算法和跟踪算法,识别获取每个交通参与者的状态信息,进一步计算得到每个交通参与者在二维图像上的位置和/或行驶轨迹;之后,基于二维的位置和/或行驶轨迹,通过三维重建算法将二维图像上的位置和/或行驶轨迹还原到三维场景下,得到每个交通参与者相对于采集车的相对位置和/或相对行驶轨迹。同样的,在生成每个交通参与者相对于采集车的相对位置和/或相对行驶轨迹之后,基于采集车在世界坐标系下的位姿信息和相对位置和/或相对行驶轨迹,确定每个交通参与者在世界坐标系下的位置和/或行驶轨迹。
其中,在相机(或其他摄像设备)仅具备拍照功能时,可以设置采集频率,利用相机(或其他摄像设备)按照采集频率采集预设区域内的图像信息;在摄像设备同时具备录像功能时,则利用摄像设备的录像功能采集预设区域内的图像信息。
相较于上述两种生成方式,第二种生成方式得到的每个交通参与者相对于采集车的相对位置和/或相对行驶轨迹准确度低于第一种生成方式得到的每个交通参与者相对于采集车的相对位置和/或相对行驶轨迹,但相机(或其他摄像设备)的成本低于激光雷达,因此,在对精确度要求不高的情况下,可以优先选用第二种生成方式来得到的每个交通参与者相对于采集车的相对位置和/或相对行驶轨迹;在对精确度要求较高的情况下,可以优先选用第一种方式得到的每个交通参与者相对于采集车的相对位置和/或相对行驶轨迹。
值得说明的是,在得到预设区域内的图像信息、点云数据、位姿数据之后进行的一系列生成计算,可以在采集车上完成,也可以在服务器上完成。在采集车当前所处的网络环境较差时,可以将对图像信息、点云数据、位姿数据的计算在采集车辆上完成,再将计算结果上传给服务器,避免在较差的网络环境中上传图像信息、点云数据、位姿数据导致的资源浪费等问题。
构建单元,用于根据所有交通参与者的位置和/或行驶轨迹,构建交通场景。
这里的交通场景的构建主要侧重于处于动态的交通参与者的状态,在生成每个交通参与者的位置和/或行驶轨迹之后,根据所有交通参与者的行驶轨迹,构建交通场景,也即,将采集车获取交通场景数据时所处的交通场景进行真实模拟,构建的交通场景不但包括处于静止状态的建筑等,更包括处于实时动态的交通参与者的状态。
生成模块20,用于在交通场景中生成交互行为,交互行为包括准备阶段和交互阶段。
在具体实施中,这里的交通场景中的交互行为是指在构建特定的交通场景完毕,需要设计自动驾驶车辆与任意交通参与者之间将发生的特定的相互之间的行为,这样,便于模拟自动驾驶车辆在面对交互行为后的应对行为,这里的交互行为至少包括相关交通参与者垂直于车道线的横向移动、加速、减速、转向,当然还包括其他的交通行为。
本公开的生成模块20包括第一确定单元,用于基于预定条件确定交互关键对象并且当采集车的行驶状态发生改变的情况下,确定所述交互行为的所述准备阶段的启动条件以及第一时间信息。
这里,预定条件为用于模拟自动驾驶车辆的采集车与任意交通参与者之间发生交互行为的条件,包括距离、相对方位、交互事件等。例如将与采集车之间的距离小于或等于第一预设距离、在预定方位上且与采集车之间未存在其他物体(行人、车辆等)的交通参与者作为交互关键对象,该交互关键对象发生了一定的交互事件,例如减速、变换车道等。
当采集车的行驶状态发生改变的情况下,在交互关键对象与自动驾驶车辆之间的直线距离为第一预设距离和第二预设距离之和,且在预定方位上时,将当前的时间信息作为交互行为的准备阶段的第一时间信息,也即,交互行为的准备阶段开始的时间信息。
本公开的生成模块20包括第一确定单元,用于基于预定条件确定交互关键对象。
在生成交互行为的过程中,首先需要确定交互关键对象。在本步骤中,基于预定条件确定交互关键对象,这里预定条件为用于模拟自动驾驶车辆的采集车与任意交通参与者之间将发生交互行为的交通参与者所满足的条件,包括预定距离、预定相对方位、预定行为等。例如,将在采集车前方与采集车之间相距满足预定距离、在预定相对方位上且与采集车之间未存在其他物体(行人、车辆等)的交通参与者,当交通参与者发生预定行为并且采集车的行驶状态发生改变的情况下,这里的预定行为例如垂直于车道线的横向移动、加速、减速、转向等,确定该交通参与者为交互关键对象。
本公开的生成模块20还包括第二确定单元,用于确定准备阶段的第一启动条件。
为了确保在模拟过程中能够完整模拟交互行为,因此,在交互阶段前设置准备阶段,具体的,将交互阶段的起始点作为准备阶段的终止点,并将距离准备阶段的终止点第二预设距离处作为准备阶段的起始点。
当通过上述步骤确定交互关键对象之后,采集车或者在无人驾驶模拟中的自动驾驶车辆进入到交通场景中,首先将面对交互行为的准备阶段,这就需要建立交互行为的准备阶段的第一启动条件,例如当采集车与位于其前方的交互关键对象之间的距离小于或者等于80米的第一预设距离且在预定方位上时,确定为进入到将与交互关键车辆发生交互行为的准备阶段,同时将当前的时间信息作为交互行为的准备阶段的第一时间信息进行记录。
本公开的生成模块20还包括第三确定单元,用于确定交互阶段的第二启动条件。
当经历处于交互行为的准备阶段后,采集车或者处于无人驾驶状态的自动驾驶车辆与交互关键对象之间将进入交互行为的交互阶段,基于采集车确定交互阶段的第二启动条件,例如当采集车与位于其前方的交互关键对象之间的距离小于或者等于30米的第二预设距离且在预定方位上时,确定为进入到将与交互关键车辆发生交互行为的交互阶段。此时,交互关键对象发生预定行为例如垂直于车道线的横向移动并且采集车的行驶状态发生改变时,从而确定交互行为的交互阶段被启动,将当前的时间信息作为交互行为的交互阶段的第二时间信息进行记录。
本公开的播放模块30用于展示交通场景并播放交互行为,其中,准备阶段通过第一播放速度播放,交互阶段通过第二播放速度播放。
通过步骤构建模块10和生成模块20,构建特定的交通场景完毕并且在交通场景中生成交互行为后,将要展示交通场景,并在展示交通场景的过程中播放交互行为,从而便于在该交通场景中控制自动驾驶车辆在面对交互行为时的应对策略。
在实际模拟中,准备阶段通过第一播放速度播放,交互阶段通过第二播放速度播放。这里,第一播放速度和第二播放速度可以相同,也可以不同,例如可以使得第一播放速度大于第二播放速度,使得交互行为的准备阶段能够实现快进的效果,例如可以通过预先设置的方式由用户自定义第一播放速度或者第二播放速度。
当开始展示交通场景后,在自动驾驶车辆在构建的交通场景中进行行驶的过程中,在确定满足准备阶段的第一启动条件时,基于第一播放速度播放准备阶段;在确定满***互阶段的第二启动条件时,基于第二播放速度播放交互阶段。
本公开的调整模块40用于控制自动驾驶车辆按照第一策略行驶,基于第一策略调整第一播放速度和/或第二播放速度。
在具体实施中,当通过播放模块30开始在构建的交通场景中播放交互行为,控制自动驾驶车辆按照第一策略行驶,在具体实施中,控制自动驾驶车辆按照第一策略进行行驶以使得该自动驾驶车辆能够在特定的交通场景中行驶,如果自动驾驶车辆的第一策略与采集车的性质状态相同,则当符合交互行为的准备阶段的第一启动条件后,例如这时自动驾驶车辆与交互关键车辆之间相距满足第一预设距离即80米时,基于第一播放速度播放准备阶段,当符合交互行为的交互阶段的第二启动条件后,例如这时自动驾驶车辆与交互关键车辆之间相距满足第一预设距离即30米时,基于第二播放速度播放交互阶段。在自动驾驶车辆行驶的过程中,基于第一策略调整第一播放速度和/或第二播放速度,以确保将采集车采集到的交通场景以及其中包括的交互行为进行复现,确保自动驾驶车辆有效的完成该交互行为下的模拟训练。
但是往往自动驾驶车辆在自动驾驶车辆行驶的过程中,第一策略与采集车的行驶状态不同,则需要基于第一策略调整第一播放速度和/或第二播放速度,以确保将采集车采集到的交通场景以及其中包括的交互行为进行复现,确保自动驾驶车辆有效的完成该交互行为下的模拟训练。具体的,调整模块40包括第二获取单元,用于获取自动驾驶车辆的车速值。
一般而言,在模拟自动驾驶车辆行驶时,可以使自动驾驶车辆的行驶状态与采集车的行驶状态相同,例如具有相同的车速值,但是往往自动驾驶车辆的行驶状态会发生变化,例如第一策略中对于自动驾驶车辆的车速值与采集车的车速值不同,这就需要首先获取自动驾驶车辆的车速值。
调整模块40还包括调整单元,用于基于车速值调整第一播放速度和/或第二播放速度。
如上,在控制自动驾驶车辆按照第一策略行驶中,第一策略是控制自动驾驶车辆的车速值。如果自动驾驶车辆的车速值不同于采集车的车速值,或者车速值出现波动,则自动驾驶车辆在构建的交通场景中行驶时不会按照通过采集车预先确定的时间信息,准确进入到交互行为的准备阶段和交互阶段。这就需要在获取到自动驾驶车辆的车速值之后,基于车速值调整第一播放速度/或第二播放速度,并利用调整后的第一播放速度/或第二播放速度进行模拟训练,确保能够将采集车采集到的交互行为进行复现,自动驾驶车辆能够有效的完成该交互行为下的模拟训练。例如,自动驾驶车辆如果车速值相对采集车的车速提高10%,则可以按照10%的比例同时提高第一播放速度和第二播放速度,或者按照原来第一播放速度播放交互行为的准备阶段,但是按照20%的比例提高第二播放速度以播放交互行为的交互阶段,这些目的在于使得自动驾驶车辆能够准确进入到交互行为中,尤其能够准确进入交互行为的交互阶段,以成功对交互行为进行复现。值得说明的是,在进行模拟训练之前,还可以人为设置自定义策略,即控制自动驾驶车辆按照自定义策略进行行驶,并基于自定义策略调整第一播放速度和/或第二播放速度等。
进一步的,交互行为还包括恢复阶段,在播放交互行为的过程中,基于第二播放速度播放恢复阶段。恢复阶段的起始点即为交互阶段的终止点,也即交互行为完成之后的预设阶段。
恢复阶段可以是在交互阶段的终止点之后的一段距离内,也可以是在交互阶段完成的时间点之后的一段时间范围内等。
此外,本公开实施例的仿真方法还包括:当在播放交互行为的过程中发生预定事件,中止播放交互行为,并将第一策略调整为第二策略。
在利用上述交通场景完成自动驾驶车辆的模拟训练时,当在播放交互行为的过程中发生预定事件,中止播放交互行为。其中,预定事件包括追尾、闯红灯等。
获取该模拟训练的训练结果、第一策略、第一播放速度和第二播放速度,并基于训练结果、第一策略、第一播放速度和第二播放速度将第一策略调整为第二策略,也即将第一策略进行优化,确保自动驾驶车辆能够应对各种交互行为,安全的进行行驶。
本公开利用获取的采集车采集的交通场景数据,构建模拟器中的交通场景;在交通场景中生成交互行为,其中,交互行为包括准备阶段和交互阶段;展示交通场景并播放交互行为,准备阶段通过第一播放速度播放,交互阶段通过第二播放速度播放;控制自动驾驶车辆按照第一策略行驶,基于自动驾驶车辆的车速值调整第一播放速度和/或第二播放速度,将采集车采集到的交互行为进行复现,确保自动驾驶车辆有效的完成该交互行为下的模拟训练。进一步的,还能够基于训练结果、第一策略、第一播放速度和第二播放速度将第一策略调整为第二策略,也即将第一策略进行优化,确保自动驾驶车辆能够应对各种交互行为,安全的进行行驶。
本公开的第三方面还提供了一种存储介质,该存储介质为计算机可读介质,存储有计算机程序,该计算机程序被处理器执行时实现本公开任意实施例提供的方法,包括如下步骤:
S11,基于交通场景参数构建交通场景;
S12,在所述交通场景中生成交互行为,所述交互行为包括准备阶段和交互阶段;
S13,展示所述交通场景并播放所述交互行为,其中,所述准备阶段通过第一播放速度播放,所述交互阶段通过第二播放速度播放
S14,控制自动驾驶车辆按照第一策略行驶,基于所述第一策略调整所述第一播放速度和/或所述第二播放速度。
计算机程序被处理器执行基于交通场景参数构建交通场景时,具体被处理器执行如下步骤:通过采集车基于预定方式获取交通参与者的状态信息;基于所述状态信息,生成每个所述交通参与者的位置和/或行驶轨迹;根据所有所述交通参与者的位置和/或行驶轨迹,构建交通场景。
计算机程序被处理器执行通过采集车基于预定方式获取交通参与者的状态信息时,所述预定方式包括:基于激光雷达方式和/或基于图像采集设备方式。
计算机程序被处理器执行基于所述状态信息,生成每个所述交通参与者的位置和/或行驶轨迹时,具体被处理器执行如下步骤:基于所述激光雷达方式,通过点云识别与跟踪算法,生成每个所述交通参与者相对于所述采集车的相对位置和/或相对行驶轨迹;和/或,基于所述图像采集方式,通过图像识别与跟踪算法,生成二维的位置和/或行驶轨迹,基于所述二维的位置和/或行驶轨迹,通过三维重建算法,生成每个所述交通参与者相对于所述采集车的相对位置和/或相对行驶轨迹;
基于所述采集车在世界坐标系下的位姿信息和所述相对位置和/或相对行驶轨迹,确定每个所述交通参与者在世界坐标系下的位置和/或行驶轨迹。
计算机程序被处理器执行在所述交通场景中生成交互行为,所述交互行为包括准备阶段和交互阶段时,基于预定条件确定交互关键对象;确定所述准备阶段的第一启动条件;确定所述交互阶段的第二启动条件。
计算机程序被处理器执行基于预定条件确定交互关键对象时,所述预定条件中的预定行为包括以下至少其中之一:垂直于车道线的横向移动、加速、减速、转向。
计算机程序被处理器执行控制自动驾驶车辆按照第一策略行驶,基于所述第一策略调整所述第一播放速度和/或所述第二播放速度时,具体被处理器执行如下步骤:获取所述自动驾驶车辆的车速值;基于所述车速值调整所述第一播放速度和/或所述第二播放速度。
计算机程序被处理器执行的交互行为还包括恢复阶段,在播放所述交互行为的过程中,基于所述第二播放速度播放所述恢复阶段。
计算机程序被处理器执行的步骤中还包括当在播放所述交互行为的过程中发生预定事件,中止播放所述交互行为,并将所述第一策略调整为第二策略。
本公开利用获取的采集车采集的交通场景数据,构建模拟器中的交通场景;在交通场景中生成交互行为,其中,交互行为包括准备阶段和交互阶段;展示交通场景并播放交互行为,准备阶段通过第一播放速度播放,交互阶段通过第二播放速度播放;控制自动驾驶车辆按照第一策略行驶,基于自动驾驶车辆的车速值调整第一播放速度和/或第二播放速度,将采集车采集到的交互行为进行复现,确保自动驾驶车辆有效的完成该交互行为下的模拟训练。进一步的,还能够基于训练结果、第一策略、第一播放速度和第二播放速度将第一策略调整为第二策略,也即将第一策略进行优化,确保自动驾驶车辆能够应对各种交互行为,安全的进行行驶。
本公开的第四方面还提供了一种电子设备,如图6所示,该电子设备至少包括存储器601和处理器602,存储器601上存储有计算机程序,处理器602在执行存储器601上的计算机程序时实现本公开任意实施例提供的方法。示例性的,电子设备计算机程序执行的方法如下:
S21,基于交通场景参数构建交通场景;
S22,在所述交通场景中生成交互行为,所述交互行为包括准备阶段和交互阶段;
S23,展示所述交通场景并播放所述交互行为,其中,所述准备阶段通过第一播放速度播放,所述交互阶段通过第二播放速度播放
S24,控制自动驾驶车辆按照第一策略行驶,基于所述第一策略调整所述第一播放速度和/或所述第二播放速度。
处理器在执行存储器上存储的基于交通场景参数构建交通场景时,还执行如下计算机程序:通过采集车基于预定方式获取交通参与者的状态信息;基于所述状态信息,生成每个所述交通参与者的位置和/或行驶轨迹;根据所有所述交通参与者的位置和/或行驶轨迹,构建交通场景。
处理器在执行存储器上存储的通过采集车基于预定方式获取交通参与者的状态信息时,所述预定方式包括:基于激光雷达方式和/或基于图像采集设备方式。
处理器在执行存储器上存储的基于所述状态信息,生成每个所述交通参与者的位置和/或行驶轨迹时,还执行如下计算机程序:基于所述激光雷达方式,通过点云识别与跟踪算法,生成每个所述交通参与者相对于所述采集车的相对位置和/或相对行驶轨迹;和/或,基于所述图像采集方式,通过图像识别与跟踪算法,生成二维的位置和/或行驶轨迹,基于所述二维的位置和/或行驶轨迹,通过三维重建算法,生成每个所述交通参与者相对于所述采集车的相对位置和/或相对行驶轨迹;
基于所述采集车在世界坐标系下的位姿信息和所述相对位置和/或相对行驶轨迹,确定每个所述交通参与者在世界坐标系下的位置和/或行驶轨迹。
处理器在执行存储器上存储的在所述交通场景中生成交互行为,所述交互行为包括准备阶段和交互阶段时,还执行如下计算机程序:基于预定条件确定交互关键对象;确定所述准备阶段的第一启动条件;确定所述交互阶段的第二启动条件。
处理器在执行存储器上存储的基于预定条件确定交互关键对象时,所述预定条件中的预定行为包括以下至少其中之一:垂直于车道线的横向移动、加速、减速、转向。
处理器在执行存储器上存储的控制自动驾驶车辆按照第一策略行驶,基于所述第一策略调整所述第一播放速度和/或所述第二播放速度时,还执行如下计算机程序:获取所述自动驾驶车辆的车速值;基于所述车速值调整所述第一播放速度和/或所述第二播放速度。
处理器在执行存储器上存储的交互行为还包括恢复阶段,在播放所述交互行为的过程中,基于所述第二播放速度播放所述恢复阶段。
处理器在执行存储器上存储的仿真方法时,还包括:当在播放所述交互行为的过程中发生预定事件,中止播放所述交互行为,并将所述第一策略调整为第二策略。
本公开利用获取的采集车采集的交通场景数据,构建模拟器中的交通场景;在交通场景中生成交互行为,其中,交互行为包括准备阶段和交互阶段;展示交通场景并播放交互行为,准备阶段通过第一播放速度播放,交互阶段通过第二播放速度播放;控制自动驾驶车辆按照第一策略行驶,基于自动驾驶车辆的车速值调整第一播放速度和/或第二播放速度,将采集车采集到的交互行为进行复现,确保自动驾驶车辆有效的完成该交互行为下的模拟训练。进一步的,还能够基于训练结果、第一策略、第一播放速度和第二播放速度将第一策略调整为第二策略,也即将第一策略进行优化,确保自动驾驶车辆能够应对各种交互行为,安全的进行行驶。
在一些实施方式中,客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(LAN)、广域网(WAN)、网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
上述存储介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述存储介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:获取至少两个网际协议地址;向节点评价设备发送包括至少两个网际协议地址的节点评价请求,其中,节点评价设备从至少两个网际协议地址中,选取网际协议地址并返回;接收节点评价设备返回的网际协议地址;其中,所获取的网际协议地址指示内容分发网络中的边缘节点。
或者,上述存储介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:接收包括至少两个网际协议地址的节点评价请求;从至少两个网际协议地址中,选取网际协议地址;返回选取出的网际协议地址;其中,接收到的网际协议地址指示内容分发网络中的边缘节点。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
需要说明的是,本公开上述的存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何存储介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上***(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外,虽然采用特定次序描绘了各操作,但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
以上对本公开多个实施例进行了详细说明,但本公开不限于这些具体的实施例,本领域技术人员在本公开构思的基础上,能够做出多种变型和修改实施例,这些变型和修改都应落入本公开所要求保护的范围之内。

Claims (12)

1.一种模拟场景的仿真方法,其特征在于,包括:
基于交通场景参数构建交通场景;
在所述交通场景中生成交互行为,所述交互行为包括准备阶段和交互阶段;
展示所述交通场景并播放所述交互行为,其中,所述准备阶段通过第一播放速度播放,所述交互阶段通过第二播放速度播放;
控制自动驾驶车辆按照第一策略行驶,基于所述第一策略调整所述第一播放速度和/或所述第二播放速度。
2.根据权利要求1所述的仿真方法,其特征在于,所述基于交通场景参数构建交通场景包括:
通过采集车基于预定方式获取交通参与者的状态信息;
基于所述状态信息,生成每个所述交通参与者的位置和/或行驶轨迹;
根据所有所述交通参与者的位置和/或行驶轨迹,构建交通场景。
3.根据权利要求2所述的仿真方法,其特征在于,所述预定方式包括:基于激光雷达方式和/或基于图像采集设备方式。
4.根据权利要求3所述的仿真方法,其特征在于,所述基于所述状态信息,生成每个所述交通参与者的位置和/或行驶轨迹,包括:
基于所述激光雷达方式,通过点云识别与跟踪算法,生成每个所述交通参与者相对于所述采集车的相对位置和/或相对行驶轨迹;和/或,
基于所述图像采集方式,通过图像识别与跟踪算法,生成二维的位置和/或行驶轨迹,基于所述二维的位置和/或行驶轨迹,通过三维重建算法,生成每个所述交通参与者相对于所述采集车的相对位置和/或相对行驶轨迹;
基于所述采集车在世界坐标系下的位姿信息和所述相对位置和/或相对行驶轨迹,确定每个所述交通参与者在世界坐标系下的位置和/或行驶轨迹。
5.根据权利要求1所述的仿真方法,其特征在于,所述在所述交通场景中生成交互行为,所述交互行为包括准备阶段和交互阶段,包括:
基于预定条件确定交互关键对象;
确定所述准备阶段的第一启动条件;
确定所述交互阶段的第二启动条件。
6.根据权利要求5所述的仿真方法,其特征在于,所述预定条件中的预定行为包括以下至少其中之一:
垂直于车道线的横向移动、加速、减速、转向。
7.根据权利要求1所述的仿真方法,其特征在于,所述控制自动驾驶车辆按照第一策略行驶,基于所述第一策略调整所述第一播放速度和/或所述第二播放速度,包括:
获取所述自动驾驶车辆的车速值;
基于所述车速值调整所述第一播放速度和/或所述第二播放速度。
8.根据权利要求1所述的仿真方法,其特征在于,所述交互行为还包括恢复阶段,在播放所述交互行为的过程中,基于所述第二播放速度播放所述恢复阶段。
9.根据权利要求1-8中任一项所述的仿真方法,其特征在于,还包括:
当在播放所述交互行为的过程中发生预定事件,中止播放所述交互行为,并将所述第一策略调整为第二策略。
10.一种模拟场景的仿真装置,其特征在于,包括:
构建模块,用于基于交通场景参数构建交通场景;
生成模块,用于在所述交通场景中生成交互行为,所述交互行为包括准备阶段和交互阶段;
播放模块,用于展示所述交通场景并播放所述交互行为,其中,所述准备阶段通过第一播放速度播放,所述交互阶段通过第二播放速度播放;
调整模块,用于控制自动驾驶车辆按照第一策略行驶,基于所述第一策略调整所述第一播放速度和/或所述第二播放速度。
11.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至9任意一项所述的模拟场景的仿真方法的步骤。
12.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至9任意一项所述的模拟场景的仿真方法的步骤。
CN202010082737.8A 2020-02-07 2020-02-07 一种模拟场景的仿真方法、装置、存储介质以及电子设备 Pending CN111816022A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010082737.8A CN111816022A (zh) 2020-02-07 2020-02-07 一种模拟场景的仿真方法、装置、存储介质以及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010082737.8A CN111816022A (zh) 2020-02-07 2020-02-07 一种模拟场景的仿真方法、装置、存储介质以及电子设备

Publications (1)

Publication Number Publication Date
CN111816022A true CN111816022A (zh) 2020-10-23

Family

ID=72847740

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010082737.8A Pending CN111816022A (zh) 2020-02-07 2020-02-07 一种模拟场景的仿真方法、装置、存储介质以及电子设备

Country Status (1)

Country Link
CN (1) CN111816022A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489522A (zh) * 2020-11-17 2021-03-12 北京三快在线科技有限公司 一种仿真场景数据的播放方法、设备、介质及电子设备
CN114694449A (zh) * 2020-12-25 2022-07-01 华为技术有限公司 一种生成车辆交通场景的方法和装置、训练方法和装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11123279A (ja) * 1997-10-21 1999-05-11 Calsonic Corp コンピュータを利用したレーシングゲームの走行操作補助プログラムが記録された記録媒体
WO2013168470A1 (ja) * 2012-05-10 2013-11-14 株式会社セガ ゲーム装置及び記録媒体
CN105279999A (zh) * 2014-05-28 2016-01-27 中国电信股份有限公司 一种处理led播放信息的方法、终端、服务器以及***
CN106448336A (zh) * 2016-12-27 2017-02-22 郑州爱普锐科技有限公司 一种铁路机车模拟操控实训***及方法
CN108230817A (zh) * 2017-11-30 2018-06-29 商汤集团有限公司 车辆驾驶模拟方法和装置、电子设备、***、程序和介质
CN108334055A (zh) * 2018-01-30 2018-07-27 赵兴华 车辆自动驾驶算法的检验方法、装置、设备及存储介质
CN108458880A (zh) * 2018-01-29 2018-08-28 上海测迅汽车科技有限公司 无人驾驶整车受控场景测试方法
CN109085837A (zh) * 2018-08-30 2018-12-25 百度在线网络技术(北京)有限公司 车辆控制方法、装置、计算机设备及存储介质
US10386986B1 (en) * 2005-01-14 2019-08-20 Google Llc Providing an interactive presentation environment
WO2019231522A1 (en) * 2018-05-31 2019-12-05 Nissan North America, Inc. Time-warping for autonomous driving simulation

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11123279A (ja) * 1997-10-21 1999-05-11 Calsonic Corp コンピュータを利用したレーシングゲームの走行操作補助プログラムが記録された記録媒体
US10386986B1 (en) * 2005-01-14 2019-08-20 Google Llc Providing an interactive presentation environment
WO2013168470A1 (ja) * 2012-05-10 2013-11-14 株式会社セガ ゲーム装置及び記録媒体
CN105279999A (zh) * 2014-05-28 2016-01-27 中国电信股份有限公司 一种处理led播放信息的方法、终端、服务器以及***
CN106448336A (zh) * 2016-12-27 2017-02-22 郑州爱普锐科技有限公司 一种铁路机车模拟操控实训***及方法
CN108230817A (zh) * 2017-11-30 2018-06-29 商汤集团有限公司 车辆驾驶模拟方法和装置、电子设备、***、程序和介质
CN108458880A (zh) * 2018-01-29 2018-08-28 上海测迅汽车科技有限公司 无人驾驶整车受控场景测试方法
CN108334055A (zh) * 2018-01-30 2018-07-27 赵兴华 车辆自动驾驶算法的检验方法、装置、设备及存储介质
WO2019231522A1 (en) * 2018-05-31 2019-12-05 Nissan North America, Inc. Time-warping for autonomous driving simulation
CN109085837A (zh) * 2018-08-30 2018-12-25 百度在线网络技术(北京)有限公司 车辆控制方法、装置、计算机设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱冰等: "基于场景的自动驾驶汽车虚拟测试研究进展", 《中国公路学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489522A (zh) * 2020-11-17 2021-03-12 北京三快在线科技有限公司 一种仿真场景数据的播放方法、设备、介质及电子设备
CN114694449A (zh) * 2020-12-25 2022-07-01 华为技术有限公司 一种生成车辆交通场景的方法和装置、训练方法和装置

Similar Documents

Publication Publication Date Title
US20230376037A1 (en) Autonomous vehicle simulation system for analyzing motion planners
JP6548691B2 (ja) 画像生成システム、プログラム及び方法並びにシミュレーションシステム、プログラム及び方法
RU2725920C1 (ru) Управление оперативным управлением автономным транспортным средством
WO2022105394A1 (en) Simulation method and system, device, readable storage medium, and platform for autonomous driving
CN110795813A (zh) 一种交通仿真方法及装置
CN108399752A (zh) 一种驾驶违章预判方法、装置、服务器和介质
CN112789619A (zh) 一种仿真场景的构建方法、仿真方法以及设备
CN110188482B (zh) 一种基于智能驾驶的测试场景创建方法及装置
US20200378870A1 (en) Driving emulation system for an autonomous vehicle
CN106791613A (zh) 一种基于3dgis和视频相结合的智能监控***
US11282164B2 (en) Depth-guided video inpainting for autonomous driving
CN111752258A (zh) 自主车辆的操作测试
WO2018066352A1 (ja) 画像生成システム、プログラム及び方法並びにシミュレーションシステム、プログラム及び方法
Gruyer et al. From virtual to reality, how to prototype, test and evaluate new ADAS: Application to automatic car parking
CN109376664A (zh) 机器学习训练方法、装置、服务器和介质
CN114492022A (zh) 路况传感数据处理方法、装置、设备、程序以及存储介质
CN111816022A (zh) 一种模拟场景的仿真方法、装置、存储介质以及电子设备
CN112860575A (zh) 一种交通环境融合感知在环的自动驾驶算法仿真测试方法
CN116403174A (zh) 一种端到端自动驾驶方法、***、仿真***及存储介质
Shi et al. An integrated traffic and vehicle co-simulation testing framework for connected and autonomous vehicles
CN111142402A (zh) 仿真场景构建方法、装置和终端
Liu et al. A survey on autonomous driving datasets: Data statistic, annotation, and outlook
Guvenc et al. Simulation Environment for Safety Assessment of CEAV Deployment in Linden
Liu et al. A survey on autonomous driving datasets: Statistics, annotation quality, and a future outlook
CN112230632A (zh) 用于自动驾驶的方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201023

RJ01 Rejection of invention patent application after publication