CN107678306B - 动态场景信息录制和仿真回放方法、装置、设备及介质 - Google Patents

Abstract

本发明涉及动态场景信息的录制和仿真回放方法及装置，该方法包括：收集传感数据，对传感数据进行从局部坐标到全局坐标的变换，以生成绝对位置信息；根据绝对位置信息来建立模型和场景，以实现道路环境的还原，以及对传感数据进行从全局坐标到局部坐标的变换，以生成相对位置信息，以及根据相对位置信息来仿真模拟车辆的行驶过程，以实现用户驾驶场景的还原；根据规划控制信息和相对位置信息来规划控制车辆，以验证改进的规划控制算法。该装置包括：预处理模块、仿真模块和规划控制模块。本发明能够形成一个固定的回归测试场景，该场景不仅稳定且能够复现当时的故障问题，即使规划控制算法发生改变也不影响故障问题的复现和场景的还原。

Description

动态场景信息录制和仿真回放方法、装置、设备及介质

技术领域

本申请涉及智能驾驶车辆的仿真与验证领域，且更具体地，涉及一种录制和仿真回放的方法及装置。

背景技术

为了增强智能驾驶车辆的稳定性，需要大量的实车路测。目前，当在路测中发现问题后，测试人员会将路测数据交由研发人员处理。研发人员通过分析路测中录制的数据分析问题并找到问题的根本原因后，需要测试人员再回到当时出问题的场景进行测试，看当时的问题是否得到解决。

现有技术存在以下问题：

1.现有技术仅仅采集和记录物体相对于传感器的位置。因此，一旦控制算法发生变化，相对位置的数据就会发生变化，回放时动态场景就会发生变化。根据物体的相对位置还原的场景仅能展示原控制算法下车辆的工作过程。因此，当研发为避免事故或提高车辆性能而改进了规划控制算法且想要验证改进的规划控制算法时，仅仅能够通过道路实测来实现，浪费了大量人力和物力。

2.由于实际的道路环境经常发生变化。因此，受现实环境中很多不确定因素的影响，很难重现出与车辆发生问题时一模一样的场景。即使在道路实测中，使用改进的控制算法且车辆的故障问题不再出现，也无法确保真正的解决了该故障问题。

3.在控制算法多次更新后，新的控制算法可能导致老的控制算法的部分功能失效或受到影响。因此，即便在老控制算法下解决了原先的故障问题，也不能确保在新的控制算法下，该故障问题是否会重新被触发。这样，每次测试都需要针对发生过的所有故障问题进行道路实测。反复搭建道路实测的环境，不仅费时费力容易出错。并且，进行道路实测的环境很不稳定，容易造成测试结果失真，使得新版本下的规划控制算法的新缺陷难以被发现且旧缺陷难以真正的避免，导致车辆上路后发生严重的车祸。

因此，现有的仿真与验证方法存在缺陷。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种动态场景环境感知信息的记录与仿真回放的方法及装置，其能够形成一个固定的回归测试场景，该场景不仅稳定且能够复现当时的故障问题，即使规划控制算法发生改变也不影响故障问题的复现和场景的还原，不仅能确保测试结果的真实有效，且能极大的降低测试的成本。

本发明提供了一种动态场景信息的录制和仿真回放方法，包括：

收集传感数据，对传感数据进行从局部坐标到全局坐标的变换，以生成绝对位置信息，其中，绝对位置信息为目标在全局坐标系下的位置信息；

根据绝对位置信息来建立场景，以实现道路环境的还原，以及对传感数据进行从全局坐标到局部坐标的变换，以生成相对位置信息，以及根据相对位置信息来仿真模拟车辆的行驶过程，以实现用户驾驶场景的还原，其中，相对位置信息为目标在局部坐标系下的位置信息；

根据规划控制信息和相对位置信息来规划控制车辆，以验证改进的规划控制算法，其中，规划控制信息包括人为改变车辆的规划控制的手段和自动优化车辆的规划控制的手段。

作为优选方式，建立场景包括：

对全局坐标系下的传感数据进行动态数据处理和静态数据处理，以生成动态模型和静态模型；

对动态模型和静态模型进行组合，以生成动态场景和静态场景；

对动态场景和静态场景进行组合，以实现道路环境的还原。

作为优选方式，建立场景还包括：对生成的动态场景和/或静态场景进行存储，以供以后仿真时直接用来组合场景，以实现道路环境的还原。

作为优选方式，对动态场景和静态场景进行组合包括：

将动态场景与静态场景根据坐标信息进行融合，以实现道路环境的还原。

作为优选方式，对传感数据进行动态数据处理和静态数据处理包括：

对传感数据中的动态数据和静态数据分别添加动态标签和静态标签以供识别动态数据和静态数据。

作为优选方式，仿真模拟车辆的行驶过程包括：

接收规划控制信息和从全局坐标到局部坐标的变换后的传感数据，并针对传感数据中的动态数据进行仿真，来仿真模拟车辆的行驶过程，以实现用户驾驶场景的还原。

作为优选方式，对传感数据进行从局部坐标到全局坐标的变换或全局坐标到局部坐标的变换包括：

在线实时转换传感数据和/或离线转换传感数据。

作为优选方式，相对位置信息包括第一人称视角下的实时的车身位置信息和障碍物位置信息；

绝对位置信息包括第三人称视角下的实时的车身位置信息和障碍物位置信息。

根据本发明另一方面，一种动态场景信息的录制和仿真回放装置，包括：

预处理模块，用于对传感数据进行从局部坐标到全局坐标的变换，以生成绝对位置信息；

仿真模块，用于根据绝对位置信息来建立场景，以实现道路环境的还原，以及对传感数据进行从全局坐标到局部坐标的变换，以生成相对位置信息，以及根据相对位置信息来仿真模拟车辆的行驶过程，以实现用户驾驶场景的还原；

规划控制模块，用于根据规划控制信息和相对位置信息来规划控制车辆，以验证改进的规划控制算法，其中，规划控制信息包括人为改变车辆的规划控制的手段和自动优化车辆的规划控制的手段。

作为优选方式，所述预处理模块包括：

采集模块，用于收集传感数据。

作为优选方式，所述预处理模块包括：

坐标变换模块，用于对传感数据进行从局部坐标到全局坐标的变换，以生成绝对位置信息。

作为优选方式，所述预处理模块包括：

数据处理模块，用于对全局坐标系下的传感数据中的动态数据和静态数据进行动态数据处理和静态数据处理，以生成动态模型和静态模型。

作为优选方式，所述仿真模块包括：

场景构建单元，用于接收动态模型和静态模型，以及对动态模型和静态模型进行组合，以生成动态场景和静态场景，以及对动态场景和静态场景进行组合，以实现道路环境的还原。

作为优选方式，一种动态场景信息的录制和仿真回放装置，还包括：

存储模块，用于接收动态场景和/或静态场景，以及对动态场景和/或静态场景进行存储，以供以后仿真时直接用来组合场景，以实现道路环境的还原。

作为优选方式，所述仿真模块包括：

坐标变换单元，用于对传感数据进行从全局坐标到局部坐标的变换，以生成相对位置信息。

作为优选方式，所述仿真模块包括：

动态仿真单元，用于接收规划控制信息和从全局坐标到局部坐标的变换后的传感数据，并针对传感数据中的动态数据进行仿真，来仿真模拟车辆的行驶过程，以实现用户驾驶场景的还原。

作为优选方式，所述规划控制模块包括：

无人驾驶***，用于根据规划控制信息和相对位置信息来规划控制车辆，以验证改进的规划控制算法。

根据本申请的另一方面，提供了一种电子设备，包括：处理器；存储器；以及存储在存储器中的计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行上述的动态场景信息的录制和仿真回放的方法。

根据本申请的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行上述的动态场景信息的录制和仿真回放的方法。

与现有技术相比，根据本发明实施例的动态场景信息的录制和仿真回放方法及装置，其能够形成一个固定的回归测试场景，该场景不仅稳定且能够复现当时的故障问题，即使规划控制算法发生改变也不影响故障问题的复现和场景的还原，不仅能确保测试结果的真实有效，且能极大的降低测试的成本。本发明能根据障碍物相对于传感器的位置来生成绝对位置信息，并利用绝对位置信息来仿真障碍物并组合成为场景，以确保仿真的道路环境能够完全还原真实的道路环境。本发明在控制规划时，能够将还原的场景中的绝对位置信息转换为相对位置信息，以及通过接收预设的规划控制信息来对车辆进行规划控制，来真实的还原第一人称视角下车辆驾驶的过程。通过道路环境和车辆驾驶过程的真实还原，来验证某种规划控制算法是否存在问题。

此外，本发明能存储仿真生成的道路环境，且能通过组合不同的道路环境来仿真出种类丰富的道路环境，来验证规划控制算法。

本发明仅仅需要收集车辆行驶时的数据，就能真实地还原出道路环境和车辆驾驶的过程，还原的场景稳定且可以保存，测试数据准确有效。因此，本发明完全可以通过仿真来实现规划控制算法的验证，而无需进行道路实测，能大幅降低测试的误差和成本。本发明仿真的场景，能有效的验证规划控制算法。高还原度的场景能使得测试人员很容易发现规划控制算法存在的缺陷并加以改进。而且，能将改进的规划控制算法导入本发明来进行仿真，测试人员能随时随地验证改进的规划控制算法是否存在缺陷，这样能大幅提高规划控制算法的鲁棒性。本发明还能通过组合仿真的道路环境来生成更多的测试场景，以满足各类测试的需要。

附图说明

图1图示了根据本申请实施例的动态场景信息的录制和仿真回放装置的示意性框图。

图2图示了根据本申请实施例的预处理模块的示意性框图。

图3图示了根据本申请实施例的仿真模块的示意性框图。

图4图示了根据本申请实施例的传感数据收集及预处理的流程示意图。

图5图示了根据本申请实施例的仿真回放的流程示意图。

图6图示了根据本申请实施例的动态场景信息的录制和仿真回放的步骤示意图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

如上所述，现有的仿真与验证方法存在以下缺陷。

1.现有技术仅仅采集和记录物体相对于传感器的位置。因此，一旦控制算法发生变化，相对位置的数据就会发生变化，回放时动态场景就会发生变化。根据物体的相对位置还原的场景仅能展示原控制算法下车辆的工作过程。因此，当研发为避免事故或提高车辆性能而改进了规划控制算法且想要验证改进的规划控制算法时，仅仅能够通过道路实测来实现，浪费了大量人力和物力。

2.由于实际的道路环境经常发生变化。因此，受现实环境中很多不确定因素的影响，很难重现出与车辆发生问题时一模一样的场景。即使在道路实测中，使用改进的控制算法且车辆的故障问题不再出现，也无法确保真正的解决了该故障问题。

3.在控制算法多次更新后，新的控制算法可能导致老的控制算法的部分功能失效或受到影响。因此，即便在老控制算法下解决了原先的故障问题，也不能确保在新的控制算法下，该故障问题是否会重新被触发。这样，每次测试都需要针对发生过的所有故障问题进行道路实测。反复搭建道路实测的环境，不仅费时费力容易出错。并且，进行道路实测的环境很不稳定，容易造成测试结果失真，使得新版本下的规划控制算法的新缺陷难以被发现且旧缺陷难以真正的避免，导致车辆上路后发生严重的车祸。

针对该技术问题，本申请的基本构思是将收集的传感数据通过坐标正变换(从局部坐标系变换到全局坐标系)，进而得到物体的绝对位置来还原道路环境。再将正变换后的传感数据通过逆变换(从全局坐标系变换到局部坐标系)，进而得到物体的相对位置，来还原车辆的驾驶过程，以及对车辆进行规划控制。

一方面，本发明通过对传感数据的坐标正变换来解决了现有技术中仅仅记录物体的相对位置时，规划控制算法发生变化时，由于新的规划控制算法会使得物体间的相对位置发生变化，而通过采集的原始数据来构建仿真场景无法反映出新的规划控制算法带来的变化，进而导致仿真失败的问题。并且，本发明构建的场景的稳定性和还原度高，能够复现出故障问题。本发明的场景能够保存用以验证不同版本的规划控制算法是否存在上述故障问题，而无需通过道路实测。

另一方面，通过对传感数据进行逆变换来仿真车辆的行驶过程，使得物体间的相对位置的确定，不依赖规划控制算法。仿真***中的相对位置等实时驾驶数据，是通过仿真***实时接收的规划控制信息来启动或关闭车辆行驶中的智能操作(规划控制信息是厂家使用规划控制算法生成的，厂家通过输入规划控制算法来生成规划控制信息，并将规划控制信息输入到本发明的仿真***中，就能够通过本***来真实的仿真模拟出某一类型的车的智能***)。并且，收集的传感数据能模拟车辆在具体道路环境中的特定操作对驾驶的影响。因此，只要本***实时地接收规划控制信息或是测试人员的操作指令就能够自动地将相应地操作转换为相对位置参数等。并且，这些参数会实时地显示在仿真***中。

因此，本发明能克服现有技术的仅仅能够录播，而无法验证规划控制算法的问题。本发明能够重现出与车辆发生问题时一模一样的场景，复现故障问题，以及验证在任意型号的车辆上，使用任意的规划控制算法时，是否存在缺陷，而无需道路实测。并且，本发明生成的场景可以随时随地保存，进行各式各样的组合，以供未来验证任意一种规划控制算法时使用。

本发明的具体原理如下：

将传感数据转换到全局坐标系下，生成道路环境中各个障碍物的绝对位置信息。通过绝对位置信息建立场景，来还原真实的道路环境，其中，道路环境例如是行人、其它车辆、树木、路灯以及地形等。将车辆融入仿真的道路环境中，对车辆驾驶过程的仿真回放是通过计算车辆与道路环境的相对位置来实现的，将障碍物和车辆的全局坐标实时地转换为局部坐标。

本发明的仿真回放的主要目的是通过仿真还原场景来验证规划控制算法。具体地，可以通过生成道路环境和车辆驾驶的场景来验证算法。道路环境的场景可以通过组合模型，并根据绝对位置坐标将模型放入场景地图组成场景，再将不同的场景地图组合起来还原一个整体的道路环境。场景地图的路面信息则可以通过对传感数据建模来生成。由于本发明的仿真回放是通过采集的传感数据(例如，各种传感器采集的数据)来构建场景实现的，因而能真实还原出当时的场景。

本发明提出了一种动态场景环境感知信息的记录与仿真回放的方法、装置、电子设备和计算机可读存储介质，其可以尽可能的发挥路测中收集的实际数据的最大作用，极大的降低智能驾驶的测试成本，以及真实地仿真还原出当时的场景来验证规划控制算法。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性装置

下面，参考图1、图2和图3来描述根据本申请实施例的动态场景信息的录制和仿真回放装置。

图1图示了根据本申请实施例的动态场景信息的录制和仿真回放装置的示意性框图。如图1所示，动态场景信息的录制和仿真回放装置可以包括：

预处理模块101，用于对传感数据进行从局部坐标到全局坐标的变换，以生成绝对位置信息，其中所述的绝对位置信息是指目标在全局坐标系下的位置信息，即以地球某点为坐标系原点来描述地球表面物体的位置信息，例如UTM坐标系。

仿真模块102，用于根据绝对位置信息来建立场景，以实现道路环境的还原，以及对传感数据进行从全局坐标到局部坐标的变换，以生成相对位置信息，以及根据相对位置信息来仿真模拟车辆的行驶过程，以实现用户驾驶场景的还原，其中，所述的相对位置信息是指目标在局部坐标系下的位置信息。在一些实施例中，所述的局部坐标系是指车辆坐标系，即以车辆为中心，车辆的横向和纵向为坐标轴的坐标系。

规划控制模块103，用于根据规划控制信息和相对位置信息来规划控制车辆，以验证改进的规划控制算法，其中，规划控制信息包括人为改变车辆的规划控制的手段和自动优化车辆的规划控制的手段。

预处理模块101用于对车辆采集到的传感数据进行预处理，其中，预处理包括从局部坐标到全局坐标的变换，以生成绝对位置信息。传感数据可以包括多种参数，例如光线强度、地图大小、地形地貌、道路环境、车辆的操作参数等等。光线强度、地图大小、地形地貌等参数主要是在实地进行采集，例如丘陵、山道、居民区等等，采集数据可以通过摄像头，坡度测量仪、感光仪等。传感数据可以通过传感器进行采集。传感器可以包括双目摄像头、激光雷达、超声波传感器等。传感数据可以是经过多次采集获得的。

摄像头拍摄的数据一般只记录了物体相对于摄像头的位置。由于摄像头一般是安装在车辆上，所以为了真正确定物体的位置必须要实时地将采集的物体的位置信息转换到全局坐标系下进行记录，这样记录下的绝对位置信息就不会受到摄像头运动的影响，因此，绝对位置信息是固定的，不受车辆的行进路线和规划控制算法的影响。

在本实施例中，为了生成场景，需要根据绝对位置信息生成模型，生成模型的过程既可以通过预处理模块101来实现，也可以通过仿真模块102来实现。

仿真模块102能根据全局坐标系下的传感数据或绝对位置信息来组合模型，以生成场景，组合场景生成道路环境，以及根据相对位置信息来仿真模拟车辆的行驶过程。

在本实施例中，生成道路环境可以包括生成障碍物，以及生成地形环境数据等。道路环境数据主要包括障碍物的位置、大小、形状、色彩等参数，这些参数用于构建场景中的障碍物。障碍物既可以是静态也可以是动态。障碍物可以按照绝对位置信息进行布置，以构成场景地图。道路环境还可以包括例如光线强度、场景地图大小、地形地貌等数据，以仿真模拟现场的地形环境。障碍物可以根据绝对位置信息，按照相应物体的绝对位置，布置在具有某一地形环境的场景地图上，来生成还原度高的测试场景。障碍物和地形环境建模的过程可以使用现有的VR技术。道路环境数据的采集主要依赖于高速摄像头的拍摄。

仿真模拟车辆的行驶过程，具体地，可以根据全局坐标系下的各个物体的实时位置来测算出仿真的车辆在行驶中周围的哪个方向上且多远处有障碍物(该障碍物可以是移动的)。仿真***从规划控制信息中自动提取车辆的操作。对车辆的操作的仿真可以通过收集车辆驾驶时的数据来获得。例如，要进行踩油门和转方向盘等操作对车辆的位置和车辆的方向等数据的仿真，可以通过采集该型号的实际车辆踩油门和转动方向盘时的偏转数据和位移数据来获得，这样能达到非常真实的仿真效果。仿真模块102根据传感数据来计算偏转数据和位移数据等对车辆和环境的影响。

在根据规划控制信息对车辆进行规划控制过程中，仿真模块102能实时更新并显示出车辆和与周围障碍物的状态，来真实地仿真模拟出车辆的行进过程。

因此，测试人员可以在本发明的仿真***中对车辆的行进过程进行观察，来测试规划控制算法发生改变后，车辆是否能避开障碍物，进而对改进的规划控制算法进行验证。

在本发明中，局部坐标系可以为车辆坐标系。车辆坐标系是以车辆为坐标系原点，车辆的横向和纵向为坐标轴。全局坐标系以地球某点为坐标系原点来描述地球表面物体的位置信息。全局坐标系可以包括UTM坐标系。

具体地，在一些实施例中，仿真模块102能接收的具体操作信息来匹配预先收集的实车测试时的各项传感数据来描述车辆的某项操作造成的具体的效果，并且，将效果实时更新显示在本***中，进而真实地模拟出任意型号的车辆在行驶时的状态和对周围障碍物的作用和影响等。这样，即便规划控制算法发生改变，也能够将算法的改变真实地反映在本***中。测试人员可以通过观测本***，来直观的对规划控制算法进行验证。

仿真模块102通过传感数据来描述车辆某项操作的具体效果的过程，可以参考现有的VR技术中，动态模型与场景交互的过程，本发明对此不再进行赘述。在虚拟***中，操作动态模型(例如车辆)的方式也可以参考现有的VR技术，现有技术中提供了许多第一人称视角下通过VR技术来实现车辆内部环境的建模，以及操作模型驾驶车辆，以及车窗外景物变化等实现的方法，本发明对此不再进行赘述。

在一些实施例中，预处理模块101对传感数据正变换，而不区分动态数据和静态数据。仿真模块102接收正变换(从局部坐标到全局坐标的变换)的传感数据。预处理模块101或仿真模块102根据正变换后的传感数据建立模型(该模型也可以不区分动态模型和静态模型，而全都当作动态模型处理)，仿真模块102根据模型和绝对位置信息来构建场景(该场景也可以不区分动态场景和静态场景，而全都当作动态场景处理)，并组合场景和模型构建道路环境，接收规划控制模块103发送的规划控制信息来模拟车辆的行驶过程，进而验证规划控制算法。

规划控制模块103能够控制车辆的移动路线和驾驶方式。规划控制模块103中设有厂商输入的规划控制算法。测试人员通过修改规划控制算法来修正车辆的移动路线和驾驶方式。仿真模块102可以从规划控制信息中解析出车辆的操作命令，匹配实车采集的传感数据，更新传感数据，并将传感数据造成的效果显示在仿真***中。规划控制模块103根据仿真模块102更新的传感数据来分析车辆要如何控制规划，并输出规划控制信息(规划控制信息用以描述车辆规划控制的操作步骤)至仿真模块102。规划控制模块103用于实现对仿真模块102中的车辆的规划控制。仿真模块102不断将更新的传感数据传给规划控制模块103来模拟道路环境的变化。规划控制模块103实时接收描述道路环境变化的传感数据并处理，根据规划控制算法来不停修正车辆的行进路线和驾驶方式。规划控制模块103根据规划控制算法就能够自动对道路环境进行分析，并选择合适的驾驶方式，以及对行车路线进行自动修正。规划控制算法，以及该算法如何对车辆进行规划控制可以参考现有的规划控制技术，该技术广泛应用于车辆无人驾驶的***中，本发明对此不再赘述。可以让生产厂商提供车辆规划控制的现成的智能驾驶***或无人驾驶***。该智能驾驶***或无人驾驶***作为规划控制模块103，用以实现本发明的录制和仿真回放装置。

图2图示了根据本申请实施例的预处理模块101的示意性框图。如图2所示，根据本申请实施例的预处理模块101可以包括：采集模块201，用于收集传感数据。数据处理模块202，用于对全局坐标系下的传感数据中的动态数据和静态数据进行动态数据处理和静态数据处理，以生成动态模型和静态模型。坐标变换模块203，用于对传感数据进行从局部坐标到全局坐标的变换，以生成绝对位置信息。

在一些实施例中，预处理模块101对数据进行动态数据识别和静态数据识别，并建立动态模型和静态模型。

道路上障碍物一般包括行人、动物、车辆、岩石、护栏、树木、灯杆等。行人、动物、车辆等障碍物是实时运动的，所以一般确定位置信息需要对这些动态的障碍物进行实时定位。动态数据不仅仅是指位置实时变化的数据，某一物体的其他参数发生变化时也可以认为是动态数据，例如形状、大小、颜色等。在采集上述运动的障碍物这样的动态数据时，需要依赖于高速摄像头的连续拍摄和处理芯片对传感数据的连续坐标正变换。在记录这样的动态数据时，通常需要按时间顺序进行存储，这样在仿真时才能还原当时运动的物体的运动状态。而岩石、护栏、树木、灯杆等障碍物，通常是静止不动的，这些物体的参数可以描述为静态数据。这样的静态物体就不需要实时拍摄和实时转换数据，也可以在收集完数据之后再计算其坐标，还可以直接人工采集位置信息等参数，再转换到全局坐标系。如果同时收集到动态数据和静态数据，也可以一起进行坐标正变换，这样避免了实时区分动静态数据的繁琐。在采集完毕数据之后再通过现有的动静态数据的识别方式对动态数据和静态数据进行识别。

具体地，在一些实施例中，本发明对动态数据和静态数据的处理，既可以一起处理，也可以单独处理。本发明对动态数据和静态数据的识别可以通过现有技术的动静态数据的识别算法来实现，例如，具体地，可以通过现有技术识别动静态数据，并对动静态数据分别打上数据类型标签，输出数据类型标签来供本发明的仿真***用以识别动态数据和静态数据。数据类型标签包括动态标签(表示动态数据)和静态标签(表示静态数据)，例如以1位来标识动态数据和静态数据，例如0代表静态数据，1代表动态数据。除了数据类型标签，还可以给传感数据打上时间戳，其中，时间戳用于表明传感数据采集的时间，以便于对道路环境和车辆行驶的过程进行动态仿真。

传感数据可以包括静态数据和动态数据。场景也可以包括动态场景和静态场景。参数不随时间发生变化就是静态数据。参数随时间变化就是动态数据。场景不随时间变化是静态场景。场景随时间变化是动态场景。参数的变化一般是指在某种坐标系下的变化。例如全局坐标系可以为是指在全局坐标系中位置发生变化的传感数据。预处理可以包括对静态数据处理和动态数据处理，其中，静态数据处理和动态数据处理也可以包括对传感数据进行动态数据建模和静态数据建模的过程。由于，动态数据建模实时性强，静态数据建模实时性弱。因此，动态数据建模和静态数据建模既可以统一处理，也可以单独处理。单独处理的好处是大幅降低运算量，提高***效率。能够单独建立动态模型和静态模型的原因是因为：动态数据建模一般通过实时坐标正变换来确认物体的绝对位置。静态数据建模则一般不需要实时建模，而仅仅需要在地图更新时建模。

在本实施例中，通过采集模块201收集传感数据并传输传感数据至数据处理模块202用于对传感数据进行动态数据处理和静态数据处理，并将动态数据处理和静态数据处理后的传感数据传输至坐标变换模块203以对该传感数据进行正变换(从局部坐标系变换到全局坐标系)。坐标变换模块203将正变换后的传感数据传输至数据处理模块202。数据处理模块202根据正变换后的传感数据进行建模。

本实施例进一步优选地，采集模块201的传感器可以包括：视觉传感器、激光雷达和/或超声波传感器，以及其他可用于无人驾驶汽车的传感器。视觉传感器可以包括深度摄像头和双目摄像头等。传感数据为一次或多次采集获得的传感数据。传感数据可以包括静态数据和动态数据。静态数据是指在采集数据中，在某种坐标系下不随时间改变的数据。动态数据与静态数据相反。

本实施例进一步优选地，数据处理模块202可以对传感数据进行动态数据处理和静态数据处理，并生成动态数据和静态数据，以及根据动态数据核静态数据来建模。例如，数据处理模块202可以接收绝对位置信息，并根据现有的动静态数据的识别方法来识别动态数据和静态数据。数据处理模块202还可以对动态数据和静态数据单独建模或一起建模。

静态数据处理包括静态模型构建，例如根据静态数据建立测试场景模型。动态场景处理包括动态模型构建，其中，动态模型能够准确描述该动态物体随时间变化的运动轨迹。

在一些实施例中，可以单独将传感数据中的动态物体的运动轨迹按照时间顺序保存，来生成动态模型。这样在仿真时，可以直接提取相应时间的传感数据来生成动态场景。由于静态数据不会随时间变化，可以分别单独处理动态数据和静态数据，以减少数据处理量。

在一些实施例中，仿真模块102可以接收预处理模块101正变换后的传感数据，以及接收预处理模块101构建的动态模型和静态模型。仿真模块102根据正变换后的传感数据、动态模型和静态模型来构建动态场景和静态场景，并组合场景和模型来构建道路环境。仿真模块102还可以接收规划控制模块103发送的规划控制信息来模拟车辆的行驶过程，进而验证规划控制算法。

静态场景不会随时间变化。动态场景会随时间变化。因此，可以单独生成动态场景和静态场景，以减少运算量。因为，静态场景仅需处理一次，而无须实时处理。在一些实施例中，静态场景的构建可以通过将激光雷达或深度摄像头的点云数据输入给仿真模块102，在仿真模块102中根据点云扫描出来的静态障碍物三维信息及位置信息建立三维物体模型(如树木，路灯等)。而动态场景的仿真则需要实时对坐标逆变换，以及更新显示物体相对于车辆的位置。

在一些实施例中，可以通过将动态模型和静态模型组合来生成场景，该场景可以包括例如某条路上的行人和车辆的动态模型，以及花草树木和灯柱等静态模型。仿真器根据传感器采集的障碍物的位置、形状、大小，以及道路的坡度、地形变化等生成的场景能真实的还原车辆行驶时的道路环境。这样行人、车辆等动态模型的移动，以及道路的变化等，均能够在仿真***中真实地表现出来。涉及多条道路的时候，可以通过组合每一条道路的场景来生成道路环境。并且可以根据测试需要，将行人车辆等动态模型形成的场景叠加到不同的道路环境中。这样能仿真出丰富多样的测试场景，仅仅通过场景的叠加就能真实的仿真模拟当时的道路环境和各类测试用的道路环境，进而验证规划控制算法。

本发明可以通过VR技术来建立模型和场景。并且，场景和模型的组合也可以通过VR技术来实现。现有的VR技术中已经有详细的建模方法，和利用模型搭建场景的方法，因此，本发明中不再对模型和场景的生成过程进行赘述。本发明的重点是提出可以将动态场景和静态场景的相互融合到一个虚拟环境中，来形成更逼真的道路环境。融合的过程可以为将动态场景的参数(例如坐标、颜色、形状、大小)表现在仿真***中(通过VR技术建模)，并放入相应的静态场景中，其中，动态场景的参数是随着时间实时变化的。由于，动态和静态场景的参数都是实地收集的传感数据，因此组合生成的场景的还原度极高。这样，在仿真***中，通过动态场景和静态场景的组合，能够模拟出任何道路环境，达到真实还原道路环境，来验证控制规划算法的目的。

本实施例进一步优选地，仿真模块102可以为仿真器。

在本实施例中，将传感器采集的传感数据传入仿真器中。通过仿真器来生成道路环境和车辆驾驶的场景来验证算法。道路环境的场景可以通过在仿真器中组合模型，并根据绝对位置坐标将模型放入地图组成场景，再将不同的场景地图组合起来还原出整体的道路环境。预处理模块101可以为处理芯片。场景地图的路面信息则可以通过处理芯片对传感数据建模生成。由于本发明的仿真回放是通过采集的传感数据来构建场景实现的，因而能真实还原出当时的场景。不同的场景地图例如，可以包括动态场景与静态场景。动态场景和静态场景的组合的手段例如，将动态场景与静态场景根据坐标信息进行融合。

图3图示了根据本申请实施例的仿真模块102的示意性框图。

如图3所示，仿真模块102可以包括场景构建单元301，用于接收模型并构建场景。

在本实施例中，场景构建单元301可以用于接收动态模型和静态模型，以及对动态模型和静态模型进行组合，以生成动态场景和静态场景，以及对动态场景和静态场景进行组合，以实现道路环境的还原。

场景构建单元301的主要功能如下：

接收动态模型和静态模型。将动态模型按照测试需要或是原始场景的位置关系(绝对位置信息)进行组合，放入同一全局坐标系中，生成动态场景。将静态模型按照测试需要或是原始场景的位置关系(绝对位置信息)进行组合，放入同一全局坐标系中，生成静态场景。

如图3所示，仿真模块102还可以包括坐标变换单元303，用于对传感数据进行从全局坐标到局部坐标的变换，以生成相对位置信息。

在本实施例中，由于动态仿真的主要目的是还原某车辆A的驾驶过程。因此，坐标变换单元303主要用于将动态场景从全局坐标系转换到车辆坐标系下，来进行仿真回放。因此，车辆坐标系可以认为是以车辆A为基准的坐标系。另外，静态场景不随时间变化，因此无需对静态场景进行实时坐标变换。车辆坐标系是以车辆A为坐标系原点，车辆A的横向和纵向为坐标轴。全局坐标系是以地球某点为坐标系原点来描述地球表面物体的位置信息。

如图3所示，仿真模块102还可以包括动态仿真单元302，用于接收规划控制信息和从全局坐标到局部坐标的变换后的传感数据，并针对传感数据中的动态数据进行仿真，来仿真模拟车辆的行驶过程，以实现用户驾驶场景的还原。规划控制信息可以包括人为改变车辆的规划控制、自动优化车辆的规划控制的手段。仿真时，可以根据每一帧的时间来自动提取动态数据，生成动态场景。

本实施例进一步优选地，一种动态场景信息的录制和仿真回放装置，还包括：存储模块，用于接收动态场景和/或静态场景，以及对动态场景和/或静态场景进行存储，以供以后仿真时直接用来组合场景，以实现道路环境的还原。

这样，通过场景构建单元301将动态场景和静态场景利用VR技术相互叠加组合在一起，就能生成还原度高稳定性强的固定测试场景，其中，该固定测试场景主要用于模拟道路环境，测试车辆的故障问题。存储模块用于存储动态场景和静态场景。动态场景和静态场景用于组合固定测试场景。一方面，对动态场景和静态场景进行存储，便于灵活地组合动态场景和静态场景，来模拟各式各样的道路环境，生成丰富的固定测试场景。另一方面，对动态场景和静态场景进行存储，方便随时随地生成还原度和稳定性高的固定测试场景。

本发明的动态场景和静态场景的构建相互独立互不影响。动态场景建立不依赖于静态数据。如果分别单独处理动态数据和静态数据则更便于单独生成动态模型和静态模型，组合道路环境的场景更方便，也更加便于保存。本发明可以将动静态数据生成的模型，以及模型组合出的场景保存下来，既可以保存动态数据，也可以保存静态数据，方便以后仿真道路环境。

动态仿真单元302，主要用于动态仿真车辆的驾驶过程。例如，实时地更新并显示出车辆和与周围障碍物的状态，来真实地仿真模拟出车辆的行进过程。动态仿真单元302，接收坐标变换单元303变换的相对位置信息，根据相对位置信息不断更新车辆的行驶路线和障碍物的移动路线。并且，动态仿真单元302还可以将车辆和障碍物的撞击等一些实时的物理效果显示更新在屏幕上，供测试人员观测。动态仿真单元还可以根据规划控制信息来解析操作指令，进而控制车辆的行驶方式和行驶路线。此外，动态仿真单元还可以具备对车辆冲击，物体膨胀，风速效果，光线效果，地形变化等环境因素的显示和处理。对上述环境因素的分析处理，可以依赖于车辆的实测数据，***通过这些传感数据来分析环境因素对驾驶的影响，并显示在仿真屏幕上。显示和仿真的过程可以参考现有技术中的VR***中的物体进行交互的过程。

因此，测试人员可以在仿真***中对车辆的行进过程进行观察，测试规划控制算法发生改变后，车辆是否能避开障碍物，进而对改进的规划控制算法进行验证。

本实施例进一步优选地，规划控制模块包括：无人驾驶***，用于根据规划控制信息和相对位置信息来规划控制车辆，以验证改进的规划控制算法，其中，规划控制信息包括人为改变车辆的规划控制的手段和自动优化车辆的规划控制的手段。

在本实施例中，规划控制模块103可以为无人驾驶***。规划控制模块103能够控制车辆的移动路线和驾驶方式。规划控制模块103中设有厂商输入的规划控制算法。测试人员通过修改规划控制算法来修正车辆的移动路线和驾驶方式。规划控制模块103和规划控制算法可以参考现有技术的无人驾驶***。在本发明中，规划控制模块103不是将规划控制信息输出给车辆，而是输出给仿真模块102。这样仿真模块102才能读取车辆的操作步骤来进行仿真。仿真模块102将经过计算的相对位置信息等参数输入规划控制模块103来模拟车辆智能***遭遇某种道路环境时，车辆自动做出反应的过程。仿真模块102可以从规划控制信息中解析出车辆的操作命令，并匹配具体的传感数据，将具体的传感数据造成的效果显示在仿真***中。规划控制信息用于实现对仿真模块102中车辆的规划控制。仿真模块102不断将更新的传感数据传给规划控制模块103来模拟道路环境的变化。规划控制模块103实时接收描述道路环境变化的传感数据并处理，根据规划控制算法来不停修正车辆的行进路线和驾驶方式。规划控制模块103根据规划控制算法就能够自动对道路环境进行分析，并选择合适的驾驶方式，以及对行车路线进行自动修正。

与现有技术相比，根据本发明实施例的动态场景信息的录制和仿真回放方法、装置、电子设备和计算机可读存储介质，给出了一种利用实车采集的传感数据来重建真实场景的方法，以实现对规划控制算法的回归测试。本发明能够尽可能的发挥路测中收集的实际数据的最大作用，极大的降低智能驾驶的测试成本，以及实现真实场景的重建。本发明通过将实车采集的传感数据从局部坐标系转换到全局坐标系中，并在仿真模块102中对传感数据进行从全局坐标系到局部坐标系的转换，来实现真实场景的重建，其中，局部坐标系可以为车辆坐标系。此外，通过将不同条件下采集的传感数据在仿真模块102中进行融合，本发明还可重建出各种复杂的场景来验证规划控制算法。

本发明无需通过实车测试来改进算法，而利用过往采集的海量实车数据就能达到实时场景重建与仿真的目的，既能节省时间人力成本，又能生成复杂而丰富的测试场景，以验证规划控制算法，从而大幅提高算法的鲁棒性。

示例性方法

下面参考图4、图5和图6来描述根据本申请实施例的动态场景信息的录制和仿真回放的方法。

本发明提供了一种动态场景信息的录制和仿真回放方法，包括：

收集传感数据，对传感数据进行从局部坐标到全局坐标的变换，以生成绝对位置信息；

根据绝对位置信息来建立场景，以实现道路环境的还原，以及对传感数据进行从全局坐标到局部坐标的变换，以生成相对位置信息，以及根据相对位置信息来仿真模拟车辆的行驶过程，以实现用户驾驶场景的还原；

根据规划控制信息和相对位置信息来规划控制车辆，以验证改进的规划控制算法，其中，规划控制信息包括人为改变车辆的规划控制的手段和自动优化车辆的规划控制的手段。

在本实施例中，收集传感数据，对传感数据进行从局部坐标到全局坐标的变换，以生成绝对位置信息，上述步骤可以参考本发明的示例性装置中的预处理模块101的工作过程(预处理模块101的工作过程可以包括示例性装置中记载的坐标的正变换、传感数据的整体建模等)，本发明对此不再进行赘述。

根据绝对位置信息来建立场景，以实现道路环境的还原，以及对传感数据进行从全局坐标到局部坐标的变换，以生成相对位置信息，以及根据相对位置信息来仿真模拟车辆的行驶过程，以实现用户驾驶场景的还原，上述步骤可以参考本发明的示例性装置中的仿真模块102的工作过程(仿真模块102的工作过程可以包括示例性装置中记载的坐标的正变换、构建场景、组合场景生成道路环境，仿真模拟车辆的行驶过程等)，本发明对此不再进行赘述。

根据规划控制信息和相对位置信息来规划控制车辆，以验证改进的规划控制算法，其中，规划控制信息包括人为改变车辆的规划控制的手段和自动优化车辆的规划控制的手段，上述步骤可以参考本发明的示例性装置中的规划控制模块103的工作过程(规划控制模块103的工作过程可以包括示例性装置中记载的规划控制模块103控制方式，以及规划控制模块103与仿真模块102的交互过程等)，本发明对此不再进行赘述。

在本发明中，相对位置信息可以包括第一人称视角下的实时的车身位置信息和障碍物位置信息。绝对位置信息可以包括第三人称视角下的实时的车身位置信息和障碍物位置信息。

本实施例进一步优选地，本发明的方法还可以包括动静态数据的识别、动静态数据的建模，以及分别生成静态模型和动态模型，例如，具体地，可以包括如下步骤：

对全局坐标系下的传感数据进行动态数据处理和静态数据处理，以生成动态模型和静态模型。对传感数据可以分别进行动态数据处理和静态数据处理，例如对传感数据进行识别，以及盖上时间戳。在本发明中，时间戳用来表示传感数据的采集时间，并且能方便仿真***按时间来输出动态数据。对传感数据进行识别可以通过现有的动静态数据的识别方法，例如可以通过对传感数据中的动态数据和静态数据分别添加动态标签和静态标签，以识别动态数据和静态数据。

上述步骤也可以参考本发明的示例性装置中的预处理模块101识别动静态数据，以及生成静态模型和动态模型的过程，本发明对此不再进行赘述。

本实施例进一步优选地，本发明的方法还可以包括通过动静态数据构建场景，生成静态场景和动态场景，组合动静态场景并生成道路环境，仿真模拟车辆的行驶过程，例如，具体地，可以包括如下步骤：

根据绝对位置信息来对动态模型和静态模型进行组合，以生成动态场景和静态场景。对动态场景和静态场景进行组合，以实现道路环境的还原。对生成的动态场景和/或静态场景进行存储，以供以后仿真时直接用来组合场景，以实现道路环境的还原。对动态场景和静态场景进行组合方式，例如，将动态场景与静态场景根据坐标信息进行融合，以实现道路环境的还原。

对传感数据进行从全局坐标到局部坐标的变换，以生成相对位置信息，以及根据相对位置信息来仿真模拟车辆的行驶过程，以实现用户驾驶场景的还原。

上述步骤也可以参考本发明的示例性装置中的仿真模块102生成静态场景和动态场景的过程，以及组合动静态场景生成道路环境的过程，仿真模拟车辆的行驶过程，本发明对此不再进行赘述。

本实施例进一步优选地，对传感数据进行从局部坐标到全局坐标的变换或全局坐标到局部坐标的变换包括：在线实时转换传感数据和/或离线转换传感数据。

在本实施例中，在线实时转换传感数据的方案例如，实车采集数据时，实时对坐标进行正变换和逆变换，计算车辆和障碍物的位置，以及实时更新仿真结果并显示。离线转换传感数据例如，从云平台下载大量数据到本地，这些数据在云平台上进行了预处理，例如坐标正变换。仿真器读取本地数据，对坐标进行逆变换，计算车辆和障碍物的位置，以及实时更新仿真结果并显示。

本实施例进一步优选地，仿真模拟车辆的行驶过程仅包括对动态数据的仿真过程，以节约运算资源，例如，接收规划控制信息和从全局坐标到局部坐标的变换后的传感数据，并针对传感数据中的动态数据进行仿真，来仿真模拟车辆的行驶过程，以实现用户驾驶场景的还原。上述步骤也可以参考本发明的示例性装置中的动态仿真单元302的工作过程，本发明对此不再进行赘述。

图6图示了根据本申请实施例的动态场景信息的录制和仿真回放的步骤示意图。

如图6所示，本实施例进一步地优选地，动态场景信息的录制方法可以包括：步骤S100：收集传感数据。步骤S200：对传感数据进行预处理。步骤S300：对传感数据进行从车辆坐标系到全局坐标系的坐标变换。步骤S400：根据预处理后的传感数据构建静态场景。步骤S500：根据仿真中车辆的位置对动态场景进行从全局坐标系变换到车辆坐标系的坐标变换。步骤S600：接收规划控制信息，其中，规划控制信息包括人为改变车辆的规划控制、自动优化车辆的规划控制的方法。步骤S700：根据时间信息提取相应时间点的动态场景，经过坐标变换后，进行车辆驾驶过程的动态仿真回放。

在本实施例中，传感数据可以包括数据类型标签和时间戳，其中，时间戳用于表示传感数据的采集时间。数据类型标签包括动态标签和静态标签。

在本实施例中，车辆坐标系是以车辆为坐标系原点，车辆的横向和纵向为坐标轴。全局坐标系以地球某点为坐标系原点来描述地球表面物体的位置信息。

预处理可以包括坐标的正变换和传感数据的建模。建模包括动态模型的构建和静态模型的构建。建模的顺序是随机的，也可以同步处理动静态数据并建模。构建静态模型和构建动态模型可以单独处理也可以一起处理，因为动态数据和静态数据之间并无依赖关系。

构建静态场景和构建动态场景可以同步处理，也可以串行处理，不受处理顺序的影响。构建静态场景和构建动态场景可以单独处理也可以一起处理，因为动态数据和静态数据之间并无依赖关系。

动态数据例如，动态的传感数据以及生成的动态模型和动态场景，能够准确描述该动态物体随时间变化的运动轨迹。可以时间顺序保存传感数据，从而在仿真时能够根据时间来提取动态数据。静态数据例如，静态的传感数据以及生成的静态模型和静态场景，不会随时间变化。

图4描述了本发明传感数据收集及预处理的关键流程。如图4所示，该录制和仿真方法可以包括：步骤S1：传感器采集传感数据。步骤S2：收集采集到的传感数据。步骤S3’：记录采集到的传感数据。步骤S3：将传感数据输出进行规划控制。步骤S4：对传感数据进行预处理，以及对传感数据进行坐标变换，将车辆坐标系变换到全局坐标系。传感器可以包括激光雷达、视觉传感器和超声波传感器等。

在本实施例中，在规划控制周期内，将传感数据发送给规划控制模块，同时数据收集模块实时记录传感数据。在步骤S4中，数据收集模块将传感数据从车身局部坐标系中转换到全局坐标系中。该步骤可以在线实时转换，亦可根据记录的车身位置信息进行离线转换以节省计算资源。

图5图示了本发明的仿真回放的关键流程。如图5所示，该录制和仿真方法可以包括：步骤S5：收集动态回放数据。步骤S6：将动态回放数据按数据类型分别传送给仿真器。数据类型可以包括激光雷达数据、视觉传感数据和超声波传感数据。仿真器将动态场景进行坐标变换，例如，根据仿真中车辆的位置对动态场景进行坐标变换(从全局坐标系变换到车辆坐标系)。步骤S5’：收集静态回放数据。步骤S6’：将静态回放数据按数据类型分别传送给仿真器。仿真器根据预处理后的传感数据构建静态场景和动态场景。将动态场景与静态场景根据坐标信息进行融合，来组合静态场景和动态场景。数据类型可以包括激光雷达数据、视觉传感数据和超声波传感数据。步骤S7：仿真器接收无人驾驶***的规划控制信息，且仿真器进行动态仿真回放。动态仿真回放例如，仿真器读取规划控制信息，根据时间信息提取相应时间点的动态场景，经过坐标变换后，进行动态仿真回放。

在本实施例中，无人驾驶***能够控制仿真器中车辆的驾驶过程，例如无人驾驶***输出规划控制信息对车辆进行规划控制。仿真器将车身位置等传感数据传送给无人驾驶***。无人驾驶***根据传感数据对车辆进行规划控制。规划控制信息例如，人为改变车辆的规划控制，自动优化车辆的规划控制等手段。

与现有技术相比，根据本发明实施例的动态场景信息的录制和仿真回放方法、装置、电子设备和计算机可读存储介质，给出了一种利用实车采集的传感数据来重建真实场景的方法，以达到对规划控制算法细微改动的回归测试。本发明能够尽可能的发挥路测中收集的实际数据的最大作用，极大的降低智能驾驶的测试成本，以及实现真实场景的重建。本发明通过将实车传感数据从车身局部坐标系转换到全局坐标系中，并在仿真器中根据车辆位置信息再转换回车身局部坐标系，来实现真实场景的重建。此外，通过将不同条件下采集的传感数据在仿真器中的融合，本发明还可重建出各种复杂的场景来验证规划控制算法。

本发明无需通过实车测试来改进算法，而利用过往采集的海量实车数据就能达到实时场景重建与仿真的目的，既能节省时间人力成本，又能大幅提高验证场景的覆盖程度，验证规划控制算法的迭代，能够大幅提高算法的鲁棒性。

示例性电子设备

本申请实施例的电子设备。该电子设备可以包括用于数据收集和预处理的A装置和用于仿真回放的B装置中的任一个或两者。该电子设备还可以包括与它们独立的单机设备C(例如无人驾驶***)，该单机设备可以与A装置和B装置进行通信，以从A装置和B装置接收输入信号，并对输入信号进行处理和反馈。

电子设备可以包括一个或多个传感器和处理器。

处理器可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。

传感器可以是双目摄像头、激光雷达、超声波传感器等设备。

电子设备还可以包括一个或多个存储器。存储器可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器可以运行所述程序指令，以实现上文所述的本申请的各个实施例的动态场景信息的录制和仿真方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量等各种内容。

在一个示例中，电子设备还可以包括：输入装置和输出装置，这些组件通过总线***和/或其他形式的连接机构互连。

例如，在该电子设备是A装置或B装置时，该输入装置可以包括传感器。输入装置将传感数据传输给A装置或B装置。在该电子设备是单机设备C(例如无人驾驶***)时，该输入装置可以是通信网络连接器，用于从A装置或B装置接收处理后的传感数据。

此外，该输入设备还可以包括例如键盘、鼠标等等。

该输出装置可以向外部输出各种信息，包括车身位置、控制命令等。该输出设备可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的动态场景信息的录制和仿真方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的动态场景信息的录制和仿真方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (17)

1.一种动态场景信息的录制和仿真回放方法，包括：

收集传感数据，对传感数据进行从局部坐标到全局坐标的变换，以生成绝对位置信息，其中，绝对位置信息为目标在全局坐标系下的位置信息；

根据绝对位置信息来建立场景，以实现道路环境的还原，以及对传感数据进行从全局坐标到局部坐标的变换，以生成相对位置信息，以及根据相对位置信息来仿真模拟车辆的行驶过程，以实现用户驾驶场景的还原，其中，相对位置信息为目标在局部坐标系下的位置信息；

根据规划控制信息和相对位置信息来规划控制车辆，以验证改进的规划控制算法，其中，规划控制信息包括人为改变车辆的规划控制的手段和/或自动优化车辆的规划控制的手段；

其中，所述传感数据为实车测试时的各项传感数据，包括光线强度、地图大小、地形地貌、道路环境以及车辆的操作参数；

其中，仿真模拟车辆的行驶过程包括：

接收规划控制信息和从全局坐标到局部坐标的变换后的传感数据，并针对传感数据中的动态数据进行仿真，来仿真模拟车辆的行驶过程，以实现用户驾驶场景的还原。

2.如权利要求1所述的方法，其中，建立场景包括：

对全局坐标系下的传感数据进行动态数据处理和静态数据处理，以生成动态模型和静态模型；

对动态模型和静态模型进行组合，以生成动态场景和静态场景；

对动态场景和静态场景进行组合，以实现道路环境的还原。

3.如权利要求2所述的方法，其中，建立场景还包括：

对生成的动态场景和/或静态场景进行存储，以供以后仿真时直接用来组合场景，以实现道路环境的还原。

4.如权利要求2所述的方法，其中，对动态场景和静态场景进行组合包括：

将动态场景与静态场景根据坐标信息进行融合，以实现道路环境的还原。

5.如权利要求2所述的方法，其中，对传感数据进行动态数据处理和静态数据处理包括：

对传感数据中的动态数据和静态数据分别添加动态标签和静态标签以供识别动态数据和静态数据。

6.如权利要求1所述的方法，其中，对传感数据进行从局部坐标到全局坐标的变换或全局坐标到局部坐标的变换包括：

在线实时转换传感数据和/或离线转换传感数据。

7.如权利要求1所述的方法，其中，

相对位置信息包括第一人称视角下的实时的车身位置信息和障碍物位置信息；

绝对位置信息包括第三人称视角下的实时的车身位置信息和障碍物位置信息。

8.一种动态场景信息的录制和仿真回放装置，包括：

预处理模块，用于对传感数据进行从局部坐标到全局坐标的变换，以生成绝对位置信息；

仿真模块，用于根据绝对位置信息来建立场景，以实现道路环境的还原，以及对传感数据进行从全局坐标到局部坐标的变换，以生成相对位置信息，以及根据相对位置信息来仿真模拟车辆的行驶过程，以实现用户驾驶场景的还原；

规划控制模块，用于根据规划控制信息和相对位置信息来规划控制车辆，以验证改进的规划控制算法，其中，规划控制信息包括人为改变车辆的规划控制的手段和/或自动优化车辆的规划控制的手段；

其中，所述传感数据为实车测试时的各项传感数据，包括光线强度、地图大小、地形地貌、道路环境以及车辆的操作参数；

其中，所述仿真模块包括：

动态仿真单元，用于接收规划控制信息和从全局坐标到局部坐标的变换后的传感数据，并针对传感数据中的动态数据进行仿真，来仿真模拟车辆的行驶过程，以实现用户驾驶场景的还原。

9.如权利要求8所述的装置，其中，所述预处理模块包括：

采集模块，用于收集传感数据。

10.如权利要求8所述的装置，其中，所述预处理模块包括：

坐标变换模块，用于对传感数据进行从局部坐标到全局坐标的变换，以生成绝对位置信息。

11.如权利要求8所述的装置，其中，所述预处理模块包括：

数据处理模块，用于对全局坐标系下的传感数据中的动态数据和静态数据进行动态数据处理和静态数据处理，以生成动态模型和静态模型。

12.如权利要求11所述的装置，其中，所述仿真模块包括：

场景构建单元，用于接收动态模型和静态模型，以及对动态模型和静态模型进行组合，以生成动态场景和静态场景，以及对动态场景和静态场景进行组合，以实现道路环境的还原。

13.如权利要求12所述的装置，其中，还包括：

存储模块，用于接收动态场景和/或静态场景，以及对动态场景和/或静态场景进行存储，以供以后仿真时直接用来组合场景，以实现道路环境的还原。

14.如权利要求8所述的装置，其中，所述仿真模块包括：

坐标变换单元，用于对传感数据进行从全局坐标到局部坐标的变换，以生成相对位置信息。

15.如权利要求8所述的装置，其中，所述规划控制模块包括：

无人驾驶***，用于根据规划控制信息和相对位置信息来规划控制车辆，以验证改进的规划控制算法。

16.一种电子设备，包括：

处理器；以及

存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-7中任一项所述的方法。

17.一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1-7中任一项所述的方法。

Images