CN112288906B - 仿真数据集的获取方法、装置、存储介质和电子设备 - Google Patents

Abstract

本公开涉及一种仿真数据集的获取方法、装置、存储介质和电子设备，涉及自动驾驶模拟仿真领域。解决了相关技术中通过各传感器获取的仿真数据不同步，且获取仿真数据的成本高的问题。该方法包括：对仿真场景所包含的多个对象分别设置全局唯一标识符；根据仿真场景中多个仿真传感器的采样频率，确定多个仿真传感器的同步时间点；回放仿真场景时，获取多个仿真传感器在同步时间点所采集到的目标对象的动态数据，并建立动态数据与同步时间点之间的第一映射关系；根据第一映射关系、目标对象的动态数据和仿真场景的静态数据，生成仿真数据集。

Description

仿真数据集的获取方法、装置、存储介质和电子设备

技术领域

本公开涉及自动驾驶模拟仿真领域，具体地，涉及一种仿真数据集的获取方法、装置、存储介质和电子设备。

背景技术

当前自动驾驶感知主要使用基于视觉的深度学习算法，深度学习算法需要大量的数据来训练模型，而使用仿真数据集来辅助训练感知算法是业内当前研究的一个方向。

相关技术中，一般采用一台主服务器负责总控和协调所有传感器，各传感器按照各自的帧率运行并产生图像或点云数据，传感器之间虽然有硬件时间同步，但他们并不保证多个传感器的数据完全对齐。比如，在第0.51秒时摄像头采集了图像，但激光雷达可能是0.52秒采集了数据，而毫米波雷达可能是第0.53s采集了数据，将所有生成的数据再实时发往感知***、或者直接记录存储到磁盘中，但是同时仿真十多个传感器对***GPU和CPU消耗都比较高，同时存储十多个传感器的数据对硬盘消耗也极高，需要专业的存储设备来支持。因此，该方法不能保证各传感器获取的数据是同步的，且需对多个传感器获取的数据进行融合，运算量极大。

发明内容

本公开的目的是提供一种仿真数据集的获取方法、装置、存储介质和电子设备，可解决相关技术中通过各传感器获取的仿真数据不同步，且获取仿真数据的成本高的技术问题。

为了实现上述目的，第一方面本公开提供一种仿真数据集的获取方法，应用于仿真场景，上述仿真场景的场景数据包括静态数据和动态数据，上述方法包括：

对上述仿真场景所包含的多个对象分别设置全局唯一标识符；

根据上述仿真场景中多个仿真传感器的采样频率，确定上述多个仿真传感器的同步时间点；

回放上述仿真场景时，获取上述多个仿真传感器在上述同步时间点所采集到的目标对象的动态数据，并建立上述动态数据与上述同步时间点之间的第一映射关系；

根据上述第一映射关系、上述目标对象的动态数据和上述仿真场景的静态数据，生成仿真数据集。

可选地，上述对上述仿真场景所包含的多个对象分别设置全局唯一标识符，包括：

通过相同的哈希算法针对每一上述对象对应的动态数据或者静态数据生成哈希值，并将上述哈希值作为上述对象的全局唯一标识符。

可选的，上述根据上述仿真场景中多个仿真传感器的采样频率，确定上述多个仿真传感器的同步时间点，包括：

对传感器模拟模块进行参数配置，得到多个仿真传感器，上述参数配置包括对每一上述仿真传感器的采样频率进行配置；

将每一上述仿真传感器的采样频率之间的最大公约数对应的时间点作为上述同步时间点。

可选的，上述根据上述第一映射关系、上述目标对象的动态数据和上述仿真场景的静态数据，生成仿真数据集，包括：

针对每一上述仿真传感器，将上述仿真传感器采集到的数据放入第一队列，并从上述第一队列中取出上述数据进行渲染处理，并将经过上述渲染处理后得到的目标数据放入第二队列；

根据上述第一映射关系，建立上述目标数据与上述仿真传感器采集到的数据之间的第二映射关系，上述仿真数据集包括通过上述第二映射关系关联的上述目标数据与上述仿真传感器采集到的数据。

可选的，上述仿真传感器采集到的数据标记有采样时间点、上述目标数据标记有采样时间点，相应地，上述根据上述第一映射关系，建立上述目标数据与上述仿真传感器采集到的数据之间的第二映射关系，包括：

根据第二队列中每一上述目标数据的采样时间点，从第一队列中查询与上述目标数据的采样时间点一致的数据，以建立上述第二队列和上述第一队列中具有相同的采样时间点的目标数据以及上述仿真传感器采集到的数据之间的第二映射关系。

可选的，上述多个仿真传感器包括激光雷达仿真传感器和/或摄像头仿真传感器，上述根据上述映射关系、上述目标对象的动态数据和上述仿真场景的静态数据，生成仿真数据集，还包括：

从上述第二队列中取出上述目标数据进行后处理操作，上述后处理操作包括：将对应上述激光雷达仿真传感器的点云数据转换为点云专有格式；计算上述摄像头仿真传感器采集到的图像数据中的二维包围盒；

将经过上述后处理操作的目标数据存储到第三队列；并，

为上述第三队列中的每一数据创建独立的存储线程进行存储。

可选的，上述场景数据是利用仿真数据生成软件生成的，上述仿真场景的场景数据还包括环境变量，上述环境变量包括天气变量和光照变量中的至少一种，上述仿真数据生成软件根据上述场景数据能够回放不同环境变量下的上述仿真场景。

第二方面，本公开提供一种仿真数据集的获取装置，上述装置包括：

第一执行模块，被配置成对上述仿真场景所包含的多个对象分别设置全局唯一标识符；

第一同步模块，被配置成根据上述仿真场景中多个仿真传感器的采样频率，确定上述多个仿真传感器的同步时间点；

第二同步模块，被配置成回放上述仿真场景时，获取上述多个仿真传感器在上述同步时间点所采集到的目标对象的动态数据，并建立上述动态数据与上述同步时间点之间的第一映射关系；

第二执行模块，被配置成根据上述第一映射关系、上述目标对象的动态数据和上述仿真场景的静态数据，生成仿真数据集。

第三方面，本公开提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的仿真数据集的获取方法的步骤。

第四方面，本公开提供一种电子设备，包括：

存储器，其上存储有计算机程序；

处理器，用于执行上述存储器中的上述计算机程序，以实现上述的仿真数据集的获取方法的步骤。

通过上述技术方案，本公开通过对仿真场景中包含的多个对象分别设置唯一标识符，以使各仿真传感器的在仿真场景中获取的对象的数据为同一对象的数据，确定仿真场景中多个仿真传感器的同步时间点，多个仿真传感器在回放该仿真场景时，获取的目标对象的动态数据，以使各仿真传感器同步记录同一对象的数据，建立动态数据与同步时间点各的第一映射关系，以使各仿真传感器的原始数据和真值根据第一映射关系同步，根据上述第一映射关系、上述目标对象的动态数据和上述仿真场景的静态数据，生成仿真数据集。从仿真场景中获取极少的结构化数据，在回放仿真场景时通过不同位置不同配置的仿真传感器来获取仿真场景中多个仿真传感器完全同步的仿真数据集。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1是根据一示例性实施例示出的一种仿真数据集的获取方法的流程图。

图2是根据一示例性实施例示出的一种仿真数据集的获取方法中步骤S120的流程图。

图3是根据一示例性实施例示出的一种仿真数据集的获取方法中步骤S140的流程图。

图4是根据一示例性实施例示出的一种仿真数据集的获取方法中GPU和CPU同步的流程图。

图5根据一示例性实施例示出的一种仿真数据集的获取方法中仿真图像数据子集的图像。

图6根据一示例性实施例示出的一种仿真数据集的获取方法中仿真点云数据子集的图像。

图7是根据一示例性实施例示出的一种仿真数据集的获取方法中存储图像仿真数据子集和仿真点云数据子集的流程图。

图8根据一示例性实施例示出的一种仿真数据集的获取方法中调整动态数据前的图像。

图9根据一示例性实施例示出的一种仿真数据集的获取方法中调整动态数据后的图像。

图10是根据一示例性实施例示出的一种仿真数据集的获取装置的框图。

图11是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

发明人发现在相关技术中，需要同时对车上的所有传感器进行仿真，可能包括9个摄像头，5个激光雷达，6个毫米波雷达等等。各传感器各自按照自己的采样频率来运行，比如摄像头的采样频率可能是30Hz，毫米波雷达的采样频率可能是20Hz，激光雷达的采样频率可能是10Hz；各传感器之间虽然有硬件时间同步，但不能保证多个传感器的数据完全对齐。比如，在第0.51秒时摄像头采集了图像，但激光雷达可能是在第0.52秒时采集数据，而毫米波雷达可能是在第0.53时采集数据。

另外针对仿真数据，同时仿真多个传感器对***GPU和CPU消耗都比较高，同时存储十多个传感器的数据对硬盘消耗也极高，需要专业的存储设备来支持，这样，对电脑要求非常高，可能需要一台电脑安装8块显卡、128G内存，48核CPU等来支持，使得获取仿真数据的成本极高。

图1是根据一示例性实施例示出的一种仿真数据集的获取方法的流程图，该仿真数据集的获取方法可以应用于仿真场景，该仿真场景中的场景数据包括静态数据和动态数据。

本实施例中以计算机为例，如图1所示，该方法包括以下步骤：

在步骤S110中，对仿真场景所包含的多个对象分别设置全局唯一标识符。

在步骤S120中，根据仿真场景中多个仿真传感器的采样频率，确定多个仿真传感器的同步时间点。

在步骤S130中，回放仿真场景时，获取多个仿真传感器在同步时间点所采集到的目标对象的动态数据，并建立动态数据与同步时间点之间的第一映射关系。

在步骤S140中，根据第一映射关系、目标对象的动态数据和仿真场景的静态数据，生成仿真数据集。

具体的，传感器模拟模块的参数可以包括仿真传感器的外参数和内参数。

其中，仿真传感器的采样频率可通过调整传感器模拟模块的参数配置来进行设置，本公开在此不做具体限定。

具体的，仿真传感器的外参数可以包括：安装位置、朝向、频率等；在任一仿真传感器为摄像头的情况下，该仿真传感器的内参数可以包括：摄像头视场角、白平衡、分辨率等；在任一仿真传感器为雷达的情况下，其内参数包括：雷达的水平扫描范围、垂直线速、分辨率等。

本公开通过对仿真场景中包含的多个对象分别设置唯一标识符，以使各仿真传感器的在仿真场景中获取的对象的数据为同一对象的数据，根据标识符对各仿真各传感器进行同步处理，保证了同一物体在不同仿真传感器中是同步的；确定仿真场景中多个仿真传感器的同步时间点，多个仿真传感器在回放该仿真场景时，获取的目标对象的动态数据，保证了各仿真传感器感知的动态数据的录制和回放的同步；建立动态数据与同步时间点各的第一映射关系，以使各仿真传感器的原始数据和真值根据第一映射关系同步，保证了各仿真传感器中GPU渲染和CPU逻辑处理的同步；根据第一映射关系、目标对象的动态数据和仿真场景的静态数据，生成仿真数据集，仅需从仿真场景中获取极少的结构化数据，在回放仿真场景时通过不同位置不同配置的仿真传感器来获取仿真场景中多个仿真传感器完全同步的仿真数据集,对设备的配置要求低，即获取仿真数据集的成本低。

具体的，静态数据可以包括仿真场景中的各种路面、交通牌、交通灯、路边建筑、花坛、栅栏、花草树木等。静态数据是仿真场景的基建，根据静态数据完成仿真场景的基建后，静态数据会以地图资源的形式存在，不需要我们录制，每次回放时只需加载对应的静态场景即可。

动态数据可以包括仿真场景中的自主驾驶主车的状态数据、所有其他车辆和行人的状态数据(如位置、朝向、速度、加速度、刹车、油门和转向等信息)、临时交通管制设施(交通桶、交通锥等)、红绿灯的相位信息等。这些信息会随时间不断变化，需要按时间顺序和预设频率，录制仿真场景中所有对象的动态数据。

其中，仿真传感器在仿真场景中是以非结构化数据的形式对目标对象的动态数据进行录制，在回放仿真场景时也是以非结构化数据对目标对象的动态数据进行输出。

举例说明，仿真传感器录制动态数据的频率是120Hz，即该仿真传感器一秒记录120次动态数据的即时状态信息。在回放仿真场景时，以相同的频率120Hz在静态场景中回放所有的动态数据，并通过仿真传感器，再次转换为非结构化数据输出(如图像，点云)。

在真实传感器中，每个传感器对自己的感知结果都有自己的标识符，若每个传感器针对同一物体的标识符不同，各传感器针对该物体的感知数据将难以同步。而针对仿真传感器，同样需要同步各仿真传感器对同一物体的感知，上述步骤S110中为实现各仿真传感器对同一物体的同步方式，下面将对此进行详细的说明。

可选的，在步骤S110中，对仿真场景所包含的多个对象分别设置全局唯一标识符可以包括：

通过相同的哈希算法针对每一对象对应的动态数据或者静态数据生成哈希值，并将该哈希值作为该对象的全局唯一标识符。

举例说明，采用哈希算法统一各仿真传感器对于仿真场景中各物体的标识符，如仿真场景中的同一辆车在仿真摄像头和仿真毫米波雷达中标识符为同一标识符，使得多个仿真传感器在获取仿真场景中的静态数据和/或动态数据的对象为同一对象，保证了跨传感器的采集数据的对象一致。

图2是根据一示例性实施例示出的一种仿真数据集的获取方法中步骤S120的流程图，如图2所示，在步骤S120中，根据仿真场景中多个仿真传感器的采样频率，确定多个仿真传感器的同步时间点，可以包括以下步骤：

步骤S1201：对传感器模拟模块进行参数配置，得到多个仿真传感器，参数配置包括对每一仿真传感器的采样频率进行配置。

步骤S1202：将每一仿真传感器的采样频率之间的最大公约数对应的时间点作为同步时间点。

在回放仿真场景时，可以通过调整仿真传感器的外参数，得到一个相同型号的不同位置的另一个仿真传感器；也可以通过多次回放得到多个相同型号不同位置的仿真传感器。

在回放仿真场景时，可以通过调整仿真传感器的内参数，得到一个相同位置的不同型号的另一个仿真传感器；也可以通过多次回放得到多个相同位置的不同型号的仿真传感器。

在回放仿真场景时，可以通过同时调整仿真传感器的内参数和外参数，得到一个不同位置不同型号的仿真传感器；也可以通过多次回放得到多个不同位置不同型号的仿真传感器。

举例说明，在步骤S1201中，在回放仿真场景时，所有静态数据和动态数据都为不变量，通过对传感器模拟模块进行参数配置，以使得仿真传感器的安装位置、朝向、频率等，摄像头视场角、分辨率和白平衡等，激光雷达的水平扫描范围、垂直线数和分辨率等改变，从而可以得到不同配置不同位置的仿真传感器。

基于动态数据的回放时间戳，将各仿真传感器的不同采样频率的之间的最大公约数对应的时间点作为各仿真传感器的同步时间点，可使各仿真传感器录制动态数据时保持同步。

具体的，回放仿真场景可以包括：根据标识符和静态数据的回放同步各仿真传感器感知的同一静态物体。

举例说明，在回放的每个时间点，根据标识符将所有当前帧的状态数据设置到对应的仿真场景对象中。如对于位置和朝向，我们可以把物体移动和旋转到三维空间的对应坐标；对于刹车我们需要设置仿真车辆的刹车灯信息；对于转向信息，我们则需要设置仿真车辆的转向灯信息以及前轮转动角度；对于交通灯，我们则需要设置交通灯的相位信息，实现各仿真传感器对仿真场景中各物体的位置、朝向、速度和加速度、转向信息，交通灯的相位信息的同步。

具体的，回放仿真场景还可以包括：根据标识符、预设稳定函数和动态数据的回放同步各仿真传感器感知的同一动态物体。

举例说明，各仿真传感器对仿真场景的行人进行同步时，涉及行人的动作，如在速度低时行人在行走，而在速度高时，则表现为跑的动作；行人有朝向变化时，还需要有转向的动作。在回放的每个时间点，根据标识符和预设稳定函数关系，将所有当前帧的状态数据设置到对应的场景对象中，使得在各仿真传感器感知仿真场景的视觉中，各行人的动作完全一致。

其中，预设稳定函数可以是根据时间和行人状态到行人动画建立的，本公开对此不作具体限定。

举例说明，在步骤S1202中，在仿真传感器录制仿真场景的动态数据和回放仿真场景的动态数据时的频率都是120Hz时，1秒内总共120个离散时间点可供仿真传感器采样。调整10Hz的仿真激光雷达每隔12个采样点采样一次；20Hz的仿真毫米波雷达每隔6个采样点采样一次；30Hz的仿真摄像头每隔4个采样点采样一次。在最大公约数时间点为12、24、36、48、72、84、96、108和120，如下表所示的三款仿真传感器的数据可完全同步。当另一款5Hz的仿真激光雷达也在回放仿真场景的动态数据时(120Hz)进行采样时，调整各仿真传感器的采样频率之间最大公约数对应的时间点后，所有仿真传感器的完全同步时间点变成了24、48、72、96和120，换算成时间也就是在0.2s、0.4s、0.6s、0.8s、1.0s这几个时间点，所有仿真传感器的数据完全同步。如下表所示：

仿真传感器需要同时仿真原始数据(如摄像头图像和激光雷达点云)和对应的真值数据(如障碍物的唯一标识符、类型和包围盒等)；原始数据为保证效率，一般可使用并行效率更高的GPU实现；真值数据由于有很多逻辑处理，一般使用CPU实现；而GPU的图像和点云数据生成一般使用实时光栅化渲染技术。相关技术中的光栅化渲染技术考虑到效率，并不要求GPU跟CPU的同步，GPU渲染相对CPU的逻辑处理一般会晚1帧(即GPU渲染与CPU的逻辑处理不同步)。本公开中需要同步动态数据和静态数据与标识符，即对GPU渲染与CPU的逻辑处理进行同步处理。

图3是根据一示例性实施例示出的一种仿真数据集的获取方法中步骤S140的流程图，如图3所示，步骤S140包括以下步骤：

在步骤S1401中，针对每一仿真传感器，将仿真传感器采集到的数据放入第一队列，并从第一队列中取出数据进行渲染处理，并将经过渲染处理后得到的目标数据放入第二队列；

在步骤S1402中，根据第二队列中每一目标数据的采样时间点，从第一队列中查询与目标数据的采样时间点一致的数据，以建立第二队列和第一队列中具有相同的采样时间点的目标数据以及仿真传感器采集到的数据之间的第二映射关系。

举例说明，如图4所示，在回放仿真场景的每一帧时，任一仿真传感器的采样时间点为12、24、36、48、60，传感器在收集完仿真场景中的图像和点云后，会将其暂时存储在真值处理队列中。同时启动当前帧数据的渲染工作，带上当前采样时间点的信息，以便GPU渲染完后用于跟真值数据的同步。当GPU渲染完某一帧的图像和点云后，渲染线程把渲染结果从显卡显存读回***内存，并记录在渲染结果队列中；同时根据记录的采样时间点信息，到真值处理队列中找到对应的真值。从而实现仿真传感器感知的同一物体的静态数据和动态数据与标识符同步，即仿真传感器中的原始数据和真值的完全同步。

可选的，在步骤S140中，多个仿真传感器包括激光雷达仿真传感器和/或摄像头仿真传感器，根据映射关系、目标对象的动态数据和仿真场景的静态数据，生成仿真数据集，还包括：

从第二队列中取出目标数据进行后处理操作，后处理操作包括：

将对应激光雷达仿真传感器的点云数据转换为点云专有格式；

计算摄像头仿真传感器采集到的图像数据中的二维包围盒；

将经过后处理操作的目标数据存储到第三队列；并，

为第三队列中的每一数据创建独立的存储线程进行存储。

举例说明，如图5所示，仿真摄像头从仿真场景中获取图像数据，如图7所示，根据真值计算图像数据的二维包围盒的坐标；如图6所示，仿真雷达从仿真场景中获取点云数据，如图7所示，把点云数据的渲染结果转换成点云三维坐标和强度，放入后处理结果队列；同时为每个后处理队列中的数据创建存储任务，放入存储队列，完成单个传感器的仿真数据集的构建。

可选的，场景数据是利用仿真数据生成软件生成的，仿真场景的场景数据还可以包括环境变量，环境变量可以包括天气变量和光照变量中的至少一种，仿真数据生成软件根据场景数据能够回放不同环境变量下的仿真场景。仿真数据生成软件响应于接收测试人员根据需要发出的调整指令，同时调整天气和光照，或只调整天气，或只调整光照，增加了仿真数据集的多样性。

举例说明，如图8所示的仿真场景中，天气为晴天，光照充足。根据测试人员发出的调整指令调整天气和光照，得到如图9所示的仿真场景，天气为雨后初晴，光照充足。

对天气和/或阳光进行调整还可以对仿真场景中的事件场景在不同的时间和不同天气进行仿真，例如某个撞车事故，可在不同时间(如早上、中午、傍晚和晚上等)和不同天气(如晴天、雨天、雪天和雾天等)下进行仿真，且所有数据完全同步，如撞车那一刻的事故车的相对位置、朝向和相对速度等在所有天气和光照下都完全一致。

图10是根据一示例性实施例示出的一种仿真数据集的获取装置的框图，仿真数据集的获取装置可以以软件、硬件或者两者相结合的方式实现仿真数据集的构建，如图10所示，仿真数据集的获取装置900包括：

第一执行模块901，被配置成对仿真场景所包含的多个对象分别设置全局唯一标识符；

第一同步模块902，被配置成根据仿真场景中多个仿真传感器的采样频率，确定多个仿真传感器的同步时间点；

第二同步模块903，被配置成回放仿真场景时，获取多个仿真传感器在同步时间点所采集到的目标对象的动态数据，并建立动态数据与同步时间点之间的第一映射关系；

第二执行模块904，被配置成根据第一映射关系、目标对象的动态数据和仿真场景的静态数据，生成仿真数据集。

本公开通过对仿真场景中包含的多个对象分别设置唯一标识符，以使各仿真传感器的在仿真场景中获取的对象数据为同一对象的数据，根据标识符对各仿真传感器进行同步处理，保证了同一物体在不同仿真传感器中是同步的；确定仿真场景中多个仿真传感器的同步时间点，多个仿真传感器在回放该仿真场景时，获取的目标对象的动态数据，保证了各仿真传感器感知的动态数据的录制和回放的同步；建立动态数据与同步时间点各的第一映射关系，以使各仿真传感器的原始数据和真值根据第一映射关系同步，保证了各仿真传感器中GPU渲染和CPU逻辑处理的同步；根据第一映射关系、目标对象的动态数据和仿真场景的静态数据，生成仿真数据集，仅需从仿真场景中获取极少的结构化数据，在回放仿真场景时通过不同位置不同配置的仿真传感器来获取仿真场景中多个仿真传感器完全同步的仿真数据集,对设备的配置要求低，即获取仿真数据集的成本低。

可选的，第一执行模块901具体可以通过相同的哈希算法针对每一对象对应的动态数据或者静态数据生成哈希值，并将哈希值作为对象的全局唯一标识符。

可选的，第一同步模块902具体可以对传感器模拟模块进行参数配置，得到多个仿真传感器，参数配置包括对每一仿真传感器的采样频率进行配置；

将每一仿真传感器的采样频率之间的最大公约数对应的时间点作为同步时间点。

可选的，第二执行模块904具体可以针对每一仿真传感器，将仿真传感器采集到的数据放入第一队列，并从第一队列中取出数据进行渲染处理，并将经过渲染处理后得到的目标数据放入第二队列；

根据第一映射关系，建立目标数据与仿真传感器采集到的数据之间的第二映射关系，仿真数据集包括通过第二映射关系关联的目标数据与仿真传感器采集到的数据。

可选的，第二执行模块904具体还可以根据第二队列中每一目标数据的采样时间点，从第一队列中查询与目标数据的采样时间点一致的数据，以建立第二队列和第一队列中具有相同的采样时间点的目标数据以及仿真传感器采集到的数据之间的第二映射关系。

可选的，第二执行模块904具体还可以将对应激光雷达仿真传感器的点云数据转换为点云专有格式；

计算摄像头仿真传感器采集到的图像数据中的二维包围盒；

将经过后处理操作的目标数据存储到第三队列；并，

为第三队列中的每一数据创建独立的存储线程进行存储。

可选的，仿真数据集的获取装置900还包括第三执行模块，第三执行模块具体可以根据场景数据能够回放不同环境变量下的仿真场景，其中环境变量包括天气变量和光照变量中的至少一种。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本公开还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开提供的仿真数据集的获取方法的步骤。

具体的，该计算机可读存储介质可以是闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器等等。

关于上述实施例中的计算机可读存储介质，其上存储的计算机程序被执行时的方法步骤已将在有关该方法的实施例中进行了详细描述，此处不做详细阐述。

本公开还提供一种电子设备，该电子设备可以是计算机，平台设备等，该电子设备包括：

存储器，其上存储有计算机程序；

处理器，用于执行存储器中的计算机程序，以实现上述的仿真数据集的获取方法的步骤。

电子设备通过对仿真场景中包含的多个对象分别设置唯一标识符，以使各仿真传感器的在仿真场景中获取的对象数据为同一对象的数据，根据标识符对各仿真各传感器进行同步处理，保证了同一物体在不同仿真传感器中是同步的；确定仿真场景中多个仿真传感器的同步时间点，多个仿真传感器在回放该仿真场景时，获取的目标对象的动态数据，保证了各仿真传感器感知的动态数据的录制和回放的同步；建立动态数据与同步时间点各的第一映射关系，以使各仿真传感器的原始数据和真值根据第一映射关系同步，保证了各仿真传感器中GPU渲染和CPU逻辑处理的同步；根据第一映射关系、目标对象的动态数据和仿真场景的静态数据，生成仿真数据集，仅需从仿真场景中获取极少的结构化数据，在回放仿真场景时通过不同位置不同配置的仿真传感器来获取仿真场景中多个仿真传感器完全同步的仿真数据集,对设备的配置要求低，即获取仿真数据集的成本低。

图11是根据一示例性实施例示出的一种电子设备1000的框图。如图11所示，该电子设备1000可以包括：处理器1001，存储器1002。该电子设备1000还可以包括多媒体组件1003，输入/输出(I/O)接口1004，以及通信组件1005中的一者或多者。

其中，处理器1001用于控制该电子设备1000的整体操作，以完成上述的仿真数据集的获取方法中的全部或部分步骤。存储器1002用于存储各种类型的数据以支持在该电子设备1000的操作，这些数据例如可以包括用于在该电子设备1000上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如静态数据、动态数据、预设稳定函数、第一映射关系和第二映射关系等。该存储器1002可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。

多媒体组件1003可以包括屏幕。其中屏幕例如可以是触摸屏。仿真传感器所获取的图像和点云可以被进一步存储在存储器1002以便于后续调用，存储器1002中包含多个独立存储线程，以便于分别对图像和点云进行存储。

I/O接口1004为处理器1001和其他接口模块之间提供接口，上述其他接口模块可以是按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件1005用于该电子设备1000与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件1005可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。

在一示例性实施例中，电子设备1000可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的仿真数据集的获取方法。

以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。

此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (9)

1.一种仿真数据集的获取方法，其特征在于，应用于仿真场景，所述仿真场景的场景数据包括静态数据和动态数据，所述方法包括：

对所述仿真场景所包含的多个对象分别设置全局唯一标识符；

根据所述仿真场景中多个仿真传感器的采样频率，确定所述多个仿真传感器的同步时间点；

回放所述仿真场景时，获取所述多个仿真传感器在所述同步时间点所采集到的目标对象的动态数据，并建立所述动态数据与所述同步时间点之间的第一映射关系；

根据所述第一映射关系、所述目标对象的动态数据和所述仿真场景的静态数据，生成仿真数据集；

所述根据所述第一映射关系、所述目标对象的动态数据和所述仿真场景的静态数据，生成仿真数据集，包括：

针对每一所述仿真传感器，将所述仿真传感器采集到的数据放入第一队列，并从所述第一队列中取出所述数据进行渲染处理，并将经过所述渲染处理后得到的目标数据放入第二队列；

根据所述第一映射关系，建立所述目标数据与所述仿真传感器采集到的数据之间的第二映射关系，所述仿真数据集包括通过所述第二映射关系关联的所述目标数据与所述仿真传感器采集到的数据。

2.根据权利要求1所述的方法，其特征在于，所述对所述仿真场景所包含的多个对象分别设置全局唯一标识符，包括：

通过相同的哈希算法针对每一所述对象对应的动态数据或者静态数据生成哈希值，并将所述哈希值作为所述对象的全局唯一标识符。

3.根据权利要求1所述的方法，其特征在于，所述根据所述仿真场景中多个仿真传感器的采样频率，确定所述多个仿真传感器的同步时间点，包括：

对传感器模拟模块进行参数配置，得到多个仿真传感器，所述参数配置包括对每一所述仿真传感器的采样频率进行配置；

将每一所述仿真传感器的采样频率之间的最大公约数对应的时间点作为所述同步时间点。

4.根据权利要求1所述的方法，其特征在于，所述仿真传感器采集到的数据标记有采样时间点、所述目标数据标记有采样时间点，相应地，所述根据所述第一映射关系，建立所述目标数据与所述仿真传感器采集到的数据之间的第二映射关系，包括：

根据第二队列中每一所述目标数据的采样时间点，从第一队列中查询与所述目标数据的采样时间点一致的数据，以建立所述第二队列和所述第一队列中具有相同的采样时间点的目标数据以及所述仿真传感器采集到的数据之间的第二映射关系。

5.根据权利要求4所述的方法，其特征在于，所述多个仿真传感器包括激光雷达仿真传感器和/或摄像头仿真传感器，所述根据所述第一映射关系、所述目标对象的动态数据和所述仿真场景的静态数据，生成仿真数据集，还包括：

从所述第二队列中取出所述目标数据进行后处理操作，所述后处理操作包括：

将对应所述激光雷达仿真传感器的点云数据转换为点云专有格式；

计算所述摄像头仿真传感器采集到的图像数据中的二维包围盒；

将经过所述后处理操作的目标数据存储到第三队列；并，

为所述第三队列中的每一数据创建独立的存储线程进行存储。

6.根据权利要求1所述的方法，其特征在于，所述场景数据是利用仿真数据生成软件生成的，所述仿真场景的场景数据还包括环境变量，所述环境变量包括天气变量和光照变量中的至少一种，所述仿真数据生成软件根据所述场景数据能够回放不同环境变量下的所述仿真场景。

7.一种仿真数据集的获取装置，其特征在于，应用于仿真场景，所述仿真场景的场景数据包括静态数据和动态数据，所述装置包括：

第一执行模块，被配置成对所述仿真场景所包含的多个对象分别设置全局唯一标识符；

第一同步模块，被配置成根据所述仿真场景中多个仿真传感器的采样频率，确定所述多个仿真传感器的同步时间点；

第二同步模块，被配置成回放所述仿真场景时，获取所述多个仿真传感器在所述同步时间点所采集到的目标对象的动态数据，并建立所述动态数据与所述同步时间点之间的第一映射关系；

第二执行模块，被配置成根据所述第一映射关系、所述目标对象的动态数据和所述仿真场景的静态数据，生成仿真数据集；

其中，所述第二执行模块被进一步配置成针对每一所述仿真传感器，将所述仿真传感器采集到的数据放入第一队列，并从所述第一队列中取出所述数据进行渲染处理，并将经过所述渲染处理后得到的目标数据放入第二队列；根据所述第一映射关系，建立所述目标数据与所述仿真传感器采集到的数据之间的第二映射关系，所述仿真数据集包括通过所述第二映射关系关联的所述目标数据与所述仿真传感器采集到的数据。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-6中任一项所述的仿真数据集的获取方法的步骤。

9.一种电子设备，其特征在于，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-6中任一项所述的仿真数据集的获取方法的步骤。

Images