CN116740295A - 虚拟场景生成方法及装置 - Google Patents

虚拟场景生成方法及装置 Download PDF

Info

Publication number
CN116740295A
CN116740295A CN202310754591.0A CN202310754591A CN116740295A CN 116740295 A CN116740295 A CN 116740295A CN 202310754591 A CN202310754591 A CN 202310754591A CN 116740295 A CN116740295 A CN 116740295A
Authority
CN
China
Prior art keywords
data
scene
road
information
lane line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310754591.0A
Other languages
English (en)
Inventor
石璐
罗佳瑞
张杨
钱振伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingwei Hirain Tech Co Ltd
Original Assignee
Beijing Jingwei Hirain Tech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingwei Hirain Tech Co Ltd filed Critical Beijing Jingwei Hirain Tech Co Ltd
Priority to CN202310754591.0A priority Critical patent/CN116740295A/zh
Publication of CN116740295A publication Critical patent/CN116740295A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了一种虚拟场景生成方法及装置，利用车辆上安装的前向智能摄像头和定位装置采集车辆行驶过程中的多组数据，每组数据包括定位信息和与定位信息对应的道路信息，道路信息包括车道线感知信息和障碍物感知信息，对多组数据进行场景分类，得到至少一个场景对应的场景切片数据，针对每个场景，将场景对应的场景切片数据中的车道线感知信息与卫星地图和公开地图OSM进行数据融合，得到场景对应的道路场景数据，将道路场景数据与障碍物感知信息进行拟合，得到场景对应的虚拟场景。根据本申请实施例，通过成本较低的智能摄像头和定位装置结合卫星地图和OSM即可快速自动化构建虚拟场景，相比于现有技术，有效降低了成本。

Description

虚拟场景生成方法及装置
技术领域
本申请属于虚拟场景构建领域，尤其涉及一种虚拟场景生成方法及装置。
背景技术
目前，通常采用仿真测试、场地测试和道路测试来对智能驾驶的感知、决策和执行算法进行测试。由于场地测试与道路测试均是针对实车进行测试，存在覆盖的场景工况有限的问题，而仿真测试可以很好地弥补实车测试的不足，仿真测试除了场景覆盖度高外，还可以针对智能驾驶算法、软件、硬件、子***、整车等不同层级的测试对象，形成全链条测试。因此，目前仿真测试成为智能驾驶中的主要测试方式。在采用仿真测试进行测试时，需要构建仿真所需的虚拟场景。
现有方案中，通常是利用激光雷达、摄像头、高精定位***和其他传感器组成的感知***采集道路数据，由感知算法输出交通参与者的运动情况、道路标识以及其它场景需要的主要要素，然后，通过自动转化算法自动化地构建虚拟场景。
但是，上述通过传感器构建虚拟场景的方法对传感器精度和感知算法的精度都有非常高的要求，需要使用高精度传感器才可以实现，成本较高。
发明内容
本申请实施例提供一种虚拟场景生成方法、装置、设备、存储介质及程序，利用低成本的智能摄像头和定位装置结合卫星地图和OSM(Open Street Map，公开地图)快速自动化构建虚拟场景，有效降低了虚拟场景构建的成本。
第一方面，本申请实施例提供一种虚拟场景生成方法，包括：
利用车辆上安装的前向智能摄像头和定位装置采集车辆行驶过程中的多组数据，每组数据包括定位装置采集的定位信息和前向智能摄像头记录的与定位信息对应的道路信息，道路信息包括车道线感知信息和障碍物感知信息；
对多组数据进行场景分类，得到至少一个场景对应的场景切片数据；
针对每个场景，将场景对应的场景切片数据中的车道线感知信息与卫星地图和公开地图OSM进行数据融合，得到场景对应的具备车道线细节的道路场景数据；
针对每个场景，将场景对应的道路场景数据与场景对应的场景切片数据中的障碍物感知信息进行拟合，得到场景对应的虚拟场景。
作为一种可能的实现方式，对多组数据进行场景分类，得到至少一个场景对应的场景切片数据之前，方法还包括：
对多组数据进行数据清洗，得到多组有效数据；
对多组数据进行场景分类，得到至少一个场景对应的场景切片数据，包括：
对多组有效数据进行场景分类，得到至少一个场景对应的场景切片数据。
作为一种可能的实现方式，对多组数据进行场景分类，得到至少一个场景对应的场景切片数据，包括：
针对每组数据，根据数据中的定位信息和/或车道线感知信息确定数据对应的道路类型；
按照道路类型对多组数据进行分类划分，得到至少一个数据分组，其中相同数据分组中的数据对应同一道路类型，一种道路类型对应一个场景；
针对每个场景，将场景对应的数据分组中的数据作为场景对应的场景切片数据。
作为一种可能的实现方式，将场景对应的场景切片数据中的车道线感知信息与卫星地图和公开地图OSM进行数据融合，得到场景对应的具备车道线细节的道路场景数据，包括：
获取卫星地图中与场景切片数据中的定位信息对应的卫星影像数据；
获取OSM中与场景切片数据中的定位信息对应的OSM地图数据；
提取卫星影像数据中的道路特征信息，道路特征信息包含路网栅格数据和路网栅格数据中的道路交叉点；
根据道路特征信息和OSM地图数据中的定位信息，生成具备定位信息的道路路网数据；
基于场景切片数据中的车道线感知信息、道路特征信息和OSM地图数据，生成路面信息数据；
对道路路网数据和路面信息数据进行融合，得到场景对应的具备车道线细节的道路场景数据。
作为一种可能的实现方式，提取卫星影像数据中的道路特征信息，包括：
将卫星影像数据输入栅格数据提取模型，得到模型输出的与卫星影像数据对应的路网栅格数据；
对路网栅格数据进行角点检测，得到路网栅格数据中的道路交叉点。
作为一种可能的实现方式，根据道路特征信息和OSM地图数据中的定位信息，生成具备定位信息的道路路网数据，包括：
从OSM地图数据中获取与道路交叉点对应的定位坐标；
将定位坐标映射至路网栅格数据，得到具备定位信息的道路路网数据。
作为一种可能的实现方式，基于场景切片数据中的车道线感知信息、道路特征信息和OSM地图数据，生成路面信息数据，包括：
获取与车道线感知信息对应的车辆运动信息；
根据车辆运动信息对车道线感知信息进行补偿修正，得到详细道路信息；
基于道路路网数据中的路网栅格数据和道路交叉点，将详细道路信息与道路路网数据进行匹配融合，得到路面信息数据。
作为一种可能的实现方式，对道路路网数据和路面信息数据进行融合，得到场景对应的具备车道线细节的道路场景数据，包括：
对道路路网数据和路面信息数据进行时间对齐；
时间对齐后，针对每两个相邻的时间点，确定两个相邻的时间点对应的定位信息之间的欧式距离和时间间隔；
根据欧式距离和时间间隔，确定两个相邻的时间点对应的车速计算值；
获取两个相邻的时间点对应的车速实际值；
响应于车速计算值与车速实际值的差值大于第二阈值，确定两个相邻的时间点为待剔除时间点；
剔除道路路网数据和路面信息数据中与待剔除时间点对应的数据；
剔除完成后，对道路路网数据和路面信息数据进行融合，得到场景对应的道路场景数据。
作为一种可能的实现方式，将场景对应的道路场景数据与场景对应的场景切片数据中的障碍物感知信息进行拟合，得到场景对应的虚拟场景，包括：
通过线性插值和三次多项式拟合方法对道路场景数据中的定位信息进行拟合，在道路场景数据中形成行车轨迹；
按照采集数据的时间线对场景切片数据中的障碍物感知信息进行跟踪，得到动态的障碍物感知信息；
将动态的障碍物感知信息映射至包含行车轨迹的道路场景数据上，生成与场景对应的动态的虚拟场景。
第二方面，本申请实施例还提供了一种虚拟场景生成装置，包括：
数据采集模块，用于利用车辆上安装的前向智能摄像头和定位装置采集车辆行驶过程中的多组数据，每组数据包括定位装置采集的定位信息和前向智能摄像头记录的与定位信息对应的道路信息，道路信息包括车道线感知信息和障碍物感知信息；
场景分类模块，用于对多组数据进行场景分类，得到至少一个场景对应的场景切片数据；
道路场景数据生成模块，用于针对每个场景，将场景对应的场景切片数据中的车道线感知信息与卫星地图和公开地图OSM进行数据融合，得到场景对应的具备车道线细节的道路场景数据；
虚拟场景生成模块，用于针对每个场景，将场景对应的道路场景数据与场景对应的场景切片数据中的障碍物感知信息进行拟合，得到场景对应的虚拟场景。
第三方面，本申请实施例还提供了一种电子设备，所述设备包括：处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现如方面所述的虚拟场景生成方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如方面所述的虚拟场景生成方法。
第五方面，本申请实施例还提供了一种计算机程序产品，所述计算机程序产品中的指令由电子设备的处理器执行时，使得所述电子设备执行如方面所述的虚拟场景生成方法。
本申请实施例的虚拟场景生成方法、装置、设备、存储介质及程序，利用车辆上安装的前向智能摄像头和定位装置采集车辆行驶过程中的多组数据，每组数据包括定位装置采集的定位信息和前向智能摄像头记录的与定位信息对应的道路信息，道路信息包括车道线感知信息和障碍物感知信息，对多组数据进行场景分类，得到至少一个场景对应的场景切片数据，针对每个场景，将场景对应的场景切片数据中的车道线感知信息与卫星地图和公开地图OSM进行数据融合，得到场景对应的具备车道线细节的道路场景数据，将道路场景数据与场景切片数据中的障碍物感知信息进行拟合，得到场景对应的虚拟场景。根据本申请实施例，通过成本较低的智能摄像头和定位装置结合卫星地图和OSM即可快速自动化构建虚拟场景，相比于现有技术，有效降低了成本。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的虚拟场景生成方法的流程示意图；
图2是本申请实施例提供的标定板放置位置的示意图；
图3是本申请实施例提供的S13的实现方式的流程示意图；
图4是本申请实施例提供的利用栅格数据提取模型对卫星影像数据进行预测的示意图；
图5是本申请实施例提供的道路路网数据生成过程中的特征匹配示意图；
图6是本申请实施例提供的S35的实现方式的流程示意图；
图7是本申请实施例提供的一种优选的构建目标场景对应的虚拟场景的方法示意图；
图8是本申请实施例提供的路面信息数据生成过程中的特征匹配的示意图；
图9是本申请实施例提供的虚拟场景生成装置的结构示意图；
图10是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在阐述本申请实施例所提供的技术方案之前，为了便于对本申请实施例理解，本申请首先对现有技术中存在的问题进行具体说明：
如前所述，目前智能驾驶仿真测试中，在构建虚拟场景时，需要采用高精度传感器，而高精度传感器通常价格较高，因此使得虚拟场景的构建成本较高。
为了解决上述问题，本申请实施例提供了一种智能驾驶虚拟场景生成方法、装置、设备、存储介质及程序。
下面首先对本申请实施例提供的智能驾驶虚拟场景生成方法进行说明。
参见图1，为本申请实施例提供的一种智能驾驶虚拟场景生成方法的流程示意图，如图1所示，该方法可以包括如下步骤S11-S15。
S11.利用车辆上安装的前向智能摄像头和定位装置采集车辆行驶过程中的多组数据，每组数据包括定位装置采集的定位信息和前向智能摄像头记录的与定位信息对应的道路信息，其中，道路信息包括车道线感知信息和障碍物感知信息。
其中车道线感知信息可以包括道路中车道线的位置、几何形状及数量等车道线信息，障碍物感知信息可以包括交通参与者的位置、形状、数量等信息，其中交通参数与可以包括汽车、行人等目标物。
在实际应用中，可以预先在车辆上安装前向智能摄像头和定位装置，其中前向智能摄像头和定位装置的型号、类型等可以根据实际情况设置。基于此，在车辆行驶过程中，可以通过定位装置实时采集车辆的定位信息，通过前向智能摄像头实时获取车辆前方的视频图像，并从视频图像中检测识别出车辆前方道路的道路信息。其中，道路信息除了包括车道线感知信息和障碍物感知信息之外，还可以包括其他等能够体现道路细节的信息，本实施例对此不作具体限定。作为一个示例，前向智能摄像头可以为具备感知和识别能力的感知型摄像头，例如结构化摄像头。结构化摄像头为采用了结构化光源技术的摄像头，这种技术通过在摄像头拍摄目标时，从特定的角度投射点阵、梯形、矩形等形状的结构化光源，从而形成一种类似于编码的图案，摄像头捕捉到这些图案后，通过对图案的解码，可以得到目标物体表面的精确三维结构信息。基于此，利用结构化摄像头采集车辆前方的道路图像，可以得到道路表面的精确三维结构信息，进而准确的识别出其中的车道线和障碍物等，进而得到准确的车道线感知信息和障碍物感知信息等道路信息。基于结构化摄像头可以快速提取出车辆前方的道路信息，有效提升了工作效率。
作为一个示例，定位装置可以包括位置精度±5m的GPS(Global PositioningSystem，全球定位***)。
S12.对多组有效数据进行场景分类，得到至少一个场景对应的场景切片数据。
多组有效数据中通常包含多个场景对应的数据，基于场景对有效数据进行分类，可以将同一场景对应的有效数据划分为同一场景切片数据，将不同场景对应的有效数据划分为不同场景切片数据。
其中，划分所依据的场景，可以根据实际情况设置。
S13.针对每个场景，将场景对应的场景切片数据中的车道线感知信息与卫星地图和公开地图OSM进行数据融合，得到场景对应的具备车道线细节的道路场景数据。
S14.针对每个场景，将场景对应的道路场景数据与场景对应的场景切片数据中的障碍物感知信息进行拟合，得到场景对应的虚拟场景。
本申请实施例提供的一种虚拟场景生成方法，利用车辆上安装的前向智能摄像头和定位装置采集车辆行驶过程中的多组数据，每组数据包括定位装置采集的定位信息和前向智能摄像头记录的与定位信息对应的道路信息，道路信息包括车道线感知信息和障碍物感知信息，对多组数据进行场景分类，得到至少一个场景对应的场景切片数据，针对每个场景，将场景对应的场景切片数据中的车道线感知信息与卫星地图和公开地图OSM进行数据融合，得到场景对应的具备车道线细节的道路场景数据，将道路场景数据与场景切片数据中的障碍物感知信息进行拟合，得到场景对应的虚拟场景。根据本申请实施例，通过成本较低的智能摄像头和定位装置结合卫星地图和OSM即可快速自动化构建虚拟场景，相比于现有技术，有效降低了成本。
此外，传统的构建虚拟场景的方法，往往需要使用激光雷达，而目前很多量产车中并未安装激光雷达，这就使得在构建车辆对应的虚拟场景时还需要先在车辆中设置激光雷达，而由于激光雷达价格较高，车企中可用的激光雷达的数量比较有限，这就导致可能需要等待其他车辆使用完成后才能使用，无疑降低了虚拟场景的构建效率。而本申请实施例，利用车辆中普遍安装的智能摄像头和定位装置构建虚拟场景，无需等待，有效提高了虚拟场景的构建效率，从而可以加速智能驾驶算法的开发验证速度。
进一步的，道路中车道线的位置、几何形状及数量等车道线信息，是驾驶场景中较为关键的信息，车辆的行驶行为与之有着密切的关系。传统的利用OSM构建虚拟场景的方式，通常是通过定位信息直接获取OSM地图数据进行虚拟场景的构建，使得最终生成的虚拟场景中缺乏有效的车道线信息。而本申请实施例，通过前向智能摄像头获取了车道线感知信息、障碍物感知信息等与道路细节相关的信息，通过与卫星地图和OSM地图进行多源地图融合，生成具备车道线细节的道路场景数据，有效地补充了OSM中缺乏的车道线信息。
在一些实施例中，为了保证前向智能摄像头和定位装置可以采集到准确的数据，可以采用下述方式对智能摄像头和定位装置进行安装和标定：
将智能摄像头安装于车辆前挡风玻璃的中心，将定位装置水平安装在车辆中控台靠近副驾驶A柱的位置。
准备匹配智能摄像头的专用标定板对智能摄像头的内参进行标定。在标定时，设置标定板底部距离地面90cm左右，使得标定板中心的高度与智能摄像头中心的高度基本一致。标定板要保持竖直，并且标定板的中心与车辆中心尽量保持一致。其中，标定板可以分两次放置，两次放置的位置不同。如图2所示，第一次安置位置可以为紧贴车辆前保险杠处，第二次安置位置可以为距离车辆前保险杠1m处。
对智能摄像头和定位装置的外参进行标定。在标定时，可以使用激光测距仪分别量取智能摄像头距离地面的高度、智能摄像头距离前保险杠的水平距离、两侧车轮最外侧间距、智能摄像头距离挡风玻璃边缘左右侧的距离、车辆高度、定位装置距离车辆前保险杠的水平距离、定位装置距离挡风玻璃边缘左右侧的距离等，采用张正友棋盘格法，进行智能摄像头的外参解算，得到相机的旋转矩阵和平移矩阵。
标定完成后，检查智能摄像头的输出结果是否在误差允许范围内，若在误差允许范围内则确定智能摄像头的输出结果满足采集要求，否则重复标定直至满足采集要求，其中误差允许范围可以根据实际精度需求来设定。
在确定智能摄像头的输出满足采集要求后，即可将智能摄像头的输出接入到数据采集软件上，从而采集车辆行驶过程中智能摄像头记录的道路信息。
在一些实施例中，S11中采集到的多组数据中可能包含噪声数据，而噪声数据通常会对最终构建的虚拟场景造成不良影响，因此，为了保证最终构建的虚拟场景的可靠性，在S12之前，可以先对S11中采集到的多组数据进行数据清洗，去除其中的噪声数据，得到有效数据。相应的，在S12中，可以对多组有效数据进行场景分类，得到至少一个场景对应的场景切片数据。
其中，对多组数据进行数据清洗可以包括：
采用限幅滤波法，提取多组数据中对应的置信度大于第一阈值的第一数据，对第一数据进行平滑滤波得到有效数据。其中，第一阈值可以根据实际情况设置，例如可以为0.9。
通常，智能摄像头记录的道路信息中包含道路信息对应的置信度数值，因此，针对每组数据，可以将智能摄像头输出的与该组数据中的道路信息对应的置信度，作为该组数据对应的置信度。
在一些实施例中，在S13中可以根据数据对应的道路类型对多组数据进行场景分类，其中，一种道路类型对应一个场景，道路类型可以根据实际情况设置，例如可以包括高速道路、普通道路、直道、弯道等。在根据数据对应的道路类型对多组数据进行场景分类采用执行如下步骤：
针对每组数据，根据数据中的定位信息和/或车道线感知信息确定数据对应的道路类型，按照道路类型对多组数据进行分类划分，得到至少一个数据分组，其中同一数据分组中的数据对应同一道路类型，因为一个道路类型对应一个场景，所以分类后的一个数据分组对应一个场景，因此针对每个场景，将场景对应的数据分组中的数据作为场景对应的场景切片数据即可。
作为一种示例，根据数据中的定位信息和/或车道线感知信息确定数据对应的道路类型，可以包括：
利用OSM确定定位信息对应的道路类型，将定位信息对应的道路类型作为数据对应的道路类型。
其中，利用OSM确定定位信息对应的道路类型已是现有成熟技术，此处不再过多描述。采用上述方式可以只需将定位信息输入至OSM即可得到对应的道路类型，易于实现，效率高。
作为另一种示例，根据数据中的定位信息和/或车道线感知信息确定数据对应的道路类型，可以包括：
对车道线感知信息进行逻辑判断，确定车道线感知信息对应的道路类型，将车道线感知信息对应的道路类型作为数据对应的道路类型。
其中，用于逻辑判断的逻辑可以预先根据不同道路类型对应的车道线信息的区别设置，逻辑的数量可以为一个或多个。
示例性的，高速道路的车道线数量通常为3，因此，逻辑可以包括若车道线感知信息中包含的车道线数量为3，则确定车道线感知信息对应的道路类型为高速道路等。
基于车道线感知信息确定数据的道路类型，可以避免由于道路更新而OSM未更新导致的确定出的道路类型不准的问题。
作为另一种示例，根据数据中的定位信息和/或车道线感知信息确定数据对应的道路类型，可以包括：
根据定位信息对应的道路类型和车道线感知信息对应的道路类型共同确定数据对应的道路类型。例如，可以设置一定的逻辑，确定在什么情况下将定位信息对应的道路类型作为数据对应的道路类型，在什么情况下将车道线感知信息对应的道路类型作为数据对应的道路类型。
通过上述方式，可以进一步保证确定出的道路类型的准确性。通常，S11中采集的多组数据为时序数据，每组数据分别对应一个时间戳，基于此，在按照道路类型对多组数据进行分类划分时，可以包括：
针对每种道路类型，根据该道路类型对应的数据的时间戳，确定该道路类型对应的至少一个时间片段，针对每个时间片段，根据该时间片段的开始时间和结束时间，从时序数据中获取该时间片段内的所有数据，将获取的数据作为该道路类型对应的数据。
同理，若在进行场景划分之前，进行了数据清洗，则在对多组有效数据进行场景分类时，采用的方式与直接对多组数据进行场景分类的方式一致，为避免重复，不再赘述。
在得到场景对应的场景切片数据后，即可针对各场景进行虚拟场景构建。
在一些实施例中，针对任一场景，如图3所示，将该场景对应的场景切片数据中的车道线感知信息与卫星地图和公开地图OSM进行数据融合，得到该场景对应的具备车道线细节的道路场景数据，可以包括如下步骤：
S31.获取卫星地图中与场景切片数据中的定位信息对应的卫星影像数据；
S32.获取OSM中与场景切片数据中的定位信息对应的OSM地图数据；
S33.提取卫星影像数据中的道路特征信息，道路特征信息包含路网栅格数据和路网栅格数据中的道路交叉点；
S34.根据道路特征信息和OSM地图数据中的定位信息，生成具备定位信息的道路路网数据；
S35.基于场景切片数据中的车道线感知信息、道路特征信息和OSM地图数据，生成路面信息数据；
S36.对道路路网数据和路面信息数据进行融合，得到场景对应的具备车道线细节的道路场景数据。
其中，S31和S32可以并行执行，S34和S35可以并行执行。
在本申请实施例中，卫星影像数据主要被用于提取与场景切片数据对应的路网栅格数据、道路交叉点等道路特征信息，其中，路网栅格数据可以体现卫星地图中的道路中心线，道路交叉点可以体现卫星地图中的路口。
将基于卫星影像数据提取到的道路特征信息与OSM结合可以生成具备定位信息的道路路网数据。
结合道路特征信息、OSM和智能摄像头输出的车道线感知信息，可以生成路面信息数据。
进一步的对道路路网数据和路面信息数据进行融合即可得到具备车道线细节的道路场景数据。
通常卫星影像数据为通过卫星拍摄的高清图片，其中不包含地理坐标，也即没有定位信息，因此基于卫星影像数据提取出的路网栅格数据中也不包含定位信息，鉴于此，为了得到附有定位信息的路网栅格数据，本实施例进一步提取了路网栅格数据中的道路交叉点，基于道路交叉点可以从OSM地图数据中获取对应的定位信息，将定位信息与路网栅格数据进行融合，即可得到附有定位信息的路网栅格数据，也即具有定位信息的道路路网数据。
路网栅格数据通常只能体现其中包含的道路分布情况，也即路网分布情况，而无法体现出各道路的车道线细节，也即无法体现道路中的车道线的位置、几何形状及数量等细节信息，考虑到车道线的细节信息，是驾驶场景中较为关键的信息，车辆的行驶行为与之有着密切的关系，本实施例进一步生成路网栅格数据中道路的细节信息也即路面信息数据。因为车道线感知信息中包含了车道线细节，因此基于车道线感知信息、道路特征信息和OSM地图数据即可得到路面信息数据。
如此，基于道路路网数据和路面信息数据便可以生成具备车道线细节的道路场景数据。
在一些实施例中，S33的实现方式可以包括：
将卫星影像数据输入栅格数据提取模型，得到模型输出的与卫星影像数据对应的路网栅格数据；
对路网栅格数据进行角点检测，得到路网栅格数据中的道路交叉点。
其中，栅格数据提取模型可以为采用如下方式训练得到的神经网络模型：
获取卫星影像数据样本，将获取到的卫星影像数据样本，使用labelme软件进行数据标注，标注其对应的路网栅格数据，利用标注后的卫星影像数据样本构建训练集，将训练集输入至神经网络模型(例如Deep Feature-Review Transmit Network模型)进行训练，得到符合预设收敛条件的模型的权重参数集，将利用权重参数集进行参数设置后模型作为栅格数据提取模型。
其中收敛条件可以根据实际需求设置，例如可以包括训练次数达到预设次数，或模型误差小于预设误差阈值等。
参见图4，为利用栅格数据提取模型对卫星影像数据进行预测的示意图，如图4所示，栅格数据提取模型主要包括编码器、桥和解码器三部分，编码器中包括卷积块Conv-block、最大池化层Max-pooling、残差块Res-block，其中残差块可以用来进行特征检查也即Feature Review，桥包括卷积块Conv-block和空洞卷积块Dilate Conv-block，解码器包括残差块Res-block、反卷积块DeConv-block和卷积块，编码器、桥和解码器通过连接函数Concatenate连接，编码器和解码器之间采用轮廓增强技术进行特征传输，也即ContourEnhanced Feature Transmit。
通过上述方式，从卫星影像数据中获取路网栅格数据，缓解了路网提取工作中道路信息缺失、断裂的问题。该方法不仅能够保证数据的准确性和时效性，同时能够有效地降低人力成本，从而提高了路网栅格数据的生产效率。
进一步的，可以采用Harris角点检测方法对路网栅格数据进行角点检测，从而得到道路交叉点，其中，Harris角点检测的数学原理如下：
假设在图像上设置一个滑动窗口，当该窗口移动(u，v)个像素时，滑动前后对应的窗口中像素点灰度变化的数学描述如下式1所示。其中，(u，v)是窗口偏移量；(x，y)是窗口内像素相对于窗口原点的坐标位置；w()是窗口函数。
E(u，v)＝∑x，y w(x，y)×[I(x+u，y+v)-I(x，y)]2 式1
将上述公式进行泰勒展开后得到式2，
矩阵M即为Harris矩阵，其数学表示如式3，其中Ix、Iy分别为I关于x、y的偏微分，即图像中灰度在x、y方向变化的梯度。
最后设置角度响应函数，如式4。其中k的取值为0.04～0.06，λ1、λ2为M的特征值。
R＝λ1λ2-k(λ1+λ2)2 式4
在一些实施例中，在通过S33得到道路特征信息后，在S34中，可以采用以下方式生成具备定位信息的道路路网数据：
从OSM地图数据中获取与道路交叉点对应的定位坐标；
将定位坐标映射至路网栅格数据，得到具备定位信息的道路路网数据。
也即，将道路交叉点作为特征点，确定OSM地图数据中与道路交叉点匹配的点，将匹配到的点对应的定位坐标确定为道路交叉点对应的定位坐标，如此将确定出的各定位坐标映射到路网栅格数据中，实现了OSM的定位坐标与路网栅格数据的融合，从而得到了具备定位信息的道路路网数据。
参见图5，为路网栅格数据及其中道路交叉点的示意图，其中，左侧为卫星影像数据转换得到的路网栅格数据的示意图，右侧中的标出的三个点为路网栅格数据中的三个角点，也即道路交叉点。
在一些实施例中，传统的采用高精度传感器构建虚拟场景的方式，除了成本高之外，在道路要素被遮挡的情况下，还需要采用精确的补充算法对遮挡要素进行补偿或者通过其他标注软件对缺少部分进行补充，需要耗费大量的人工对仿真路网进行补充，使得人工成本也较高。
鉴于上述问题，如图6所示，S35的实现方式可以包括：
S61.获取与车道线感知信息对应的车辆运动信息；
S62.根据车辆运动信息对车道线感知信息进行补偿修正，得到详细道路信息；
S63.基于道路路网数据中的路网栅格数据和道路交叉点，将详细道路信息与道路路网数据进行匹配融合，得到路面信息数据。
其中，车辆在运行过程中，可以实时采集车辆运动信息，并将车辆运行信息存储在车辆的CAN(Controller Area Network，控制器局域网)数据中，基于此，在S61中可以直接从车辆的CAN数据中获取对应的车辆运动信息。在S62中，可以使用线性插值的方式补齐缺失的车道线，生成详细的道路信息数据。
在S63中，可以将路网栅格数据、道路交叉点和OSM地图数据中的定位信息作为关键点与详细道路信息数据进行匹配，确定出各车道线对应的定位信息，进而生成路面信息数据。
通过上述方式，可以基于车辆运动信息自动对车道线信息进行补偿修正，无需人工补充，解决了传统方案中存在的人工成本较高的问题。
在一些实施例中，S36的实现方式可以包括：
对道路路网数据和路面信息数据进行时间对齐；
时间对齐后，针对每两个相邻的时间点，确定两个相邻的时间点对应的定位信息之间的欧式距离和时间间隔；
根据欧式距离和时间间隔，确定两个相邻的时间点对应的车速计算值；
获取两个相邻的时间点对应的车速实际值；
响应于车速计算值与车速实际值的差值大于第二阈值，将该两个相邻的时间点确定为待剔除时间点；
剔除粗略路网数据道路路网数据和路面信息数据中与待剔除时间点对应的数据；
对剔除完成后的粗略路网数据道路路网数据和路面信息数据进行融合，得到场景对应的道路场景数据。
其中，可以通过拉齐数据的时间戳来实现时间对齐。
定位信息之间的欧式距离也即定位坐标之间的欧氏距离，针对任意两个相邻的时间点，在得到对应的欧式距离和时间间隔后，利用欧式距离除以时间间隔，即可得到对应的车速计算值，与从车辆的CAN数据报文中获取这两个相邻的时间点对应的车速实际值，将车速计算值与车速实际值进行比较，若两者的差值大于第二阈值，就说明这两个时间点对应的数据与实际数据存在较大差别，不够准确，从而对这两个时间点对应的数据进行剔除，以提高最终融合得到的道路场景数据的准确性，保证最终基于道路场景数据生成的虚拟场景更贴近现实。其中，第二阈值可以根据实际情况设置。
其中，道路场景数据可以为OpenDRIVE格式。
通过上述方式可以剔除一些噪声数据，从而保证最终构建的虚拟场景的可靠性。
在一些实施例中，S14的实现方式可以包括：
通过线性插值和三次多项式拟合方法对道路场景数据中的定位信息进行拟合，在道路场景数据中形成行车轨迹；
按照采集数据的时间线对场景切片数据中的障碍物感知信息进行跟踪，得到动态的障碍物感知信息；
将动态的障碍物感知信息映射至包含行车轨迹的道路场景数据上，生成与场景对应的动态的虚拟场景。
通过上述方式，结合智能摄像头提取的障碍物感知信息和推测的本车运动轨迹可形成动态虚拟场景。
在得到虚拟场景后可以以OpenSCENARIO格式进行场景数据的存储。
采用本申请实施例提供的虚拟场景生成方法构建的虚拟场景，除了可以应用于智能驾驶测试之外，还可用于构建虚拟车辆运营地图、虚拟ADAS(Advanced DrivingAssistance System)***仿真测试以及传感器测试等。
参见图7，为本申请实施例提供的一种优选的，构建目标场景对应的虚拟场景时构建目标场景对应的道路场景数据的方法示意图，其中，目标场景为任意场景，如图7所示，构建过程大致可以分为三个部分：道路路网数据生成、路面信息数据生成和道路场景数据生成。
其中，道路路网数据生成主要包括：
根据场景对应的卫星影像数据，得到对应的路网栅格数据，对路网栅格数据进行角点检测得到道路交叉点，将道路交叉点与场景对应的OSM地图数据中的定位坐标进行特征匹配，得到道路交叉点对应的定位信息，将定位信息与路网栅格数据进行数据融合，即可得到带有定位信息路网栅格数据，也即道路路网数据。
参见图8，为路网栅格数据及与其匹配的OSM地图数据的示意图，左侧表示路网栅格数据，右侧表示与路网栅格数据中小矩形框内的内容相匹配的OSM地图数据。由此可以看出，OSM地图数据中存在与路网栅格数据相匹配的内容，因此可以从OSM地图数据中找到与路网栅格数据中的道路交叉点对应的点，从而可以基于OSM地图数据中与道路交叉点向匹配的点对应的定位坐标，确定道路交叉点对应的定位坐标。
路面信息数据生成主要包括：
基于车辆运行信息对智能摄像头输出的车道线感知信息进行补偿修正，生成详细道路信息，将详细道路信息与道路路网数据生成过程中得到的路网栅格数据和道路交叉点进行数据融合，得到路面信息数据。
道路场景数据生成主要包括：
对道路路网数据和路面信息数据进行数据融合，得到场景对应的道路场景数据，对道路场景数据进行OpenDRIVE格式转换，最后将格式转换后的数据进行存储。
在得到的目标场景对应的道路场景数据之后，将道路场景数据与只能摄像头输出的目标场景中的障碍物感知信息进行拟合，即可得到目标场景对应的虚拟场景。
基于上述实施例提供的虚拟场景生成方法，相应地，本申请还提供了虚拟场景生成装置的具体实现方式。请参见以下实施例。
参见图9，为本申请实施例提供的一种虚拟场景生成装置的结构示意图，如图9所示，该装置可以包括如下模块：
数据采集模块901，用于利用车辆上安装的前向智能摄像头和定位装置采集车辆行驶过程中的多组数据，每组数据包括定位装置采集的定位信息和前向智能摄像头记录的与定位信息对应的道路信息，道路信息包括车道线感知信息和障碍物感知信息；
场景分类模块902，用于对多组数据进行场景分类，得到至少一个场景对应的场景切片数据；
道路场景数据生成模块903，用于针对每个场景，将场景对应的场景切片数据中的车道线感知信息与卫星地图和公开地图OSM进行数据融合，得到场景对应的具备车道线细节的道路场景数据；
虚拟场景生成模块904，用于针对每个场景，将场景对应的道路场景数据与场景对应的场景切片数据中的障碍物感知信息进行拟合，得到场景对应的虚拟场景。
本申请实施例提供的一种虚拟场景生成装置，利用车辆上安装的前向智能摄像头和定位装置采集车辆行驶过程中的多组数据，每组数据包括定位装置采集的定位信息和前向智能摄像头记录的与定位信息对应的道路信息，道路信息包括车道线感知信息和障碍物感知信息，对多组数据进行场景分类，得到至少一个场景对应的场景切片数据，针对每个场景，将场景对应的场景切片数据中的车道线感知信息与卫星地图和公开地图OSM进行数据融合，得到场景对应的具备车道线细节的道路场景数据，将道路场景数据与场景切片数据中的障碍物感知信息进行拟合，得到场景对应的虚拟场景。根据本申请实施例，通过成本较低的智能摄像头和定位装置结合卫星地图和OSM即可快速自动化构建虚拟场景，相比于现有技术，有效降低了成本。
在一些实施例中，装置还可以包括(图中未示出)：数据清洗模块，用于：
在对多组数据进行场景分类，得到至少一个场景对应的场景切片数据之前，对多组数据进行数据清洗，得到多组有效数据；
相应的，场景分类模块902可以用于：
对多组有效数据进行场景分类，得到至少一个场景对应的场景切片数据。
在一些实施例中，场景分类模块902，具体用于：
针对每组数据，根据数据中的定位信息和/或车道线感知信息确定数据对应的道路类型；
按照道路类型对多组数据进行分类划分，得到至少一个数据分组，其中相同数据分组中的数据对应同一道路类型，一种道路类型对应一个场景；
针对每个场景，将场景对应的数据分组中的数据作为场景对应的场景切片数据。
在一些实施例中，道路场景数据生成模块903，可以包括：
卫星影像获取子模块，用于获取卫星地图中与场景切片数据中的定位信息对应的卫星影像数据；
OSM数据获取子模块，用于获取OSM中与场景切片数据中的定位信息对应的OSM地图数据；
特征提取子模块，用于提取卫星影像数据中的道路特征信息，道路特征信息包含路网栅格数据和道路交叉点；
道路路网数据生成子模块，用于根据道路特征信息和OSM地图数据中的定位信息，生成具备定位信息的道路路网数据；
路面信息数据生成子模块，用于基于场景切片数据中的车道线感知信息、道路特征信息和OSM地图数据，生成路面信息数据；
道路场景数据生成子模块，用于对道路路网数据和路面信息数据进行融合，得到场景对应的具备车道线细节的道路场景数据。
在一些实施例中，特征提取子模块，用于：
将卫星影像数据输入栅格数据提取模型，得到模型输出的与卫星影像数据对应的路网栅格数据；
对栅格数据进行角点检测，得到道路交叉点。
在一些实施例中，道路路网数据生成子模块，用于：
获取OSM地图数据中与道路交叉点对应的第二道路交叉点对应的定位坐标；
将定位坐标映射至栅格数据，得到具备定位信息的道路路网数据。
在一些实施例中，路面信息数据生成子模块，用于：
获取与车道线感知信息对应的车辆运动信息；
根据车辆运动信息对车道线感知信息进行补偿修正，得到详细道路信息；
基于道路路网数据中的栅格数据和道路交叉点，将详细道路信息与道路路网数据进行匹配融合，得到路面信息数据。
在一些实施例中，道路场景数据生成子模块，用于：
对道路路网数据和路面信息数据进行时间对齐；
时间对齐后，针对每两个相邻的时间点，确定两个相邻的时间点对应的定位信息之间的欧式距离和时间间隔；
根据欧式距离和时间间隔，确定两个相邻的时间点对应的车速计算值；
获取两个相邻的时间点对应的车速实际值；
响应于车速计算值与车速实际值的差值大于第二阈值，确定两个相邻的时间点为待剔除时间点；
将道路路网数据和路面信息数据中与待剔除时间点对应的数据进行剔除后进行融合，得到场景对应的道路场景数据。
在一些实施例中，虚拟场景生成模块904，用于：
通过线性插值和三次多项式拟合方法对道路场景数据中的定位信息进行拟合，在道路场景数据中形成行车轨迹；
按照采集数据的时间线对场景切片数据中的障碍物感知信息进行跟踪，得到动态的障碍物感知信息；
将动态的障碍物感知信息映射至包含行车轨迹的道路场景数据上，生成与场景对应的动态的虚拟场景。
本申请实施例提供的虚拟场景生成装置能够实现图1至图8的方法实施例实现的各个过程，为避免重复，这里不再赘述。
图10示出了本申请实施例提供的电子设备的硬件结构示意图。
电子设备可以包括处理器1001以及存储有计算机程序指令的存储器1002。
具体地，上述处理器1001可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器1002可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器1002可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器1002可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器1002可在综合网关容灾设备的内部或外部。在特定实施例中，存储器1002是非易失性固态存储器。
存储器1002可包括只读存储器(ROM)，随机存取存储器(RAM)，磁盘存储介质设备，光存储介质设备，闪存设备，电气、光学或其他物理/有形的存储器存储设备。因此，通常，存储器1002包括一个或多个编码有包括计算机可执行指令的软件的有形(非暂态)计算机可读存储介质(例如，存储器设备)，并且当该软件被执行(例如，由一个或多个处理器)时，其可执行上述实施例中的任意一种虚拟场景生成方法所描述的操作。
处理器1001通过读取并执行存储器1002中存储的计算机程序指令，以实现上述实施例中的任意一种虚拟场景生成方法。
在一个示例中，电子设备还可包括通信接口1003和总线1010。其中，如图10所示，处理器1001、存储器1002、通信接口1003通过总线1010连接并完成相互间的通信。
通信接口1003，主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。
总线1010包括硬件、软件或两者，将在线数据流量计费设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、***组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线1010可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
另外，结合上述实施例中的虚拟场景生成方法，本申请实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种虚拟场景生成方法。
需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或***。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
上面参考根据本公开的实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述了本公开的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的***、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种虚拟场景生成方法，其特征在于，包括：
利用车辆上安装的前向智能摄像头和定位装置采集所述车辆行驶过程中的多组数据，每组所述数据包括所述定位装置采集的定位信息和所述前向智能摄像头记录的与所述定位信息对应的道路信息，所述道路信息包括车道线感知信息和障碍物感知信息；
对多组所述数据进行场景分类，得到至少一个场景对应的场景切片数据；
针对每个所述场景，将所述场景对应的场景切片数据中的车道线感知信息与卫星地图和公开地图OSM进行数据融合，得到所述场景对应的具备车道线细节的道路场景数据；
针对每个所述场景，将所述场景对应的道路场景数据与所述场景对应的场景切片数据中的障碍物感知信息进行拟合，得到所述场景对应的虚拟场景。
2.根据权利要求1所述的虚拟场景生成方法，其特征在于，所述对多组所述数据进行场景分类，得到至少一个场景对应的场景切片数据之前，所述方法还包括：
对多组所述数据进行数据清洗，得到多组有效数据；
所述对多组所述数据进行场景分类，得到至少一个场景对应的场景切片数据，包括：
对多组所述有效数据进行场景分类，得到至少一个场景对应的场景切片数据。
3.根据权利要求1或2所述的虚拟场景生成方法，其特征在于，所述对多组所述数据进行场景分类，得到至少一个场景对应的场景切片数据，包括：
针对每组所述数据，根据所述数据中的定位信息和/或车道线感知信息确定所述数据对应的道路类型；
按照道路类型对多组所述数据进行分类划分，得到至少一个数据分组，其中相同数据分组中的数据对应同一道路类型，一种道路类型对应一个场景；
针对每个所述场景，将所述场景对应的数据分组中的数据作为所述场景对应的场景切片数据。
4.根据权利要求1或2所述的虚拟场景生成方法，其特征在于，所述将所述场景对应的场景切片数据中的车道线感知信息与卫星地图和公开地图OSM进行数据融合，得到所述场景对应的具备车道线细节的道路场景数据，包括：
获取所述卫星地图中与所述场景切片数据中的定位信息对应的卫星影像数据；
获取所述OSM中与所述场景切片数据中的定位信息对应的OSM地图数据；
提取所述卫星影像数据中的道路特征信息，所述道路特征信息包含路网栅格数据和所述路网栅格数据中的道路交叉点；
根据所述道路特征信息和所述OSM地图数据中的定位信息，生成具备定位信息的道路路网数据；
基于所述场景切片数据中的车道线感知信息、所述道路特征信息和所述OSM地图数据，生成路面信息数据；
对所述道路路网数据和所述路面信息数据进行融合，得到所述场景对应的具备车道线细节的道路场景数据。
5.根据权利要求4所述的虚拟场景生成方法，其特征在于，所述提取所述卫星影像数据中的道路特征信息，包括：
将所述卫星影像数据输入栅格数据提取模型，得到所述模型输出的与所述卫星影像数据对应的路网栅格数据；
对所述路网栅格数据进行角点检测，得到所述路网栅格数据中的道路交叉点。
6.根据权利要求4所述的虚拟场景生成方法，其特征在于，所述根据所述道路特征信息和所述OSM地图数据中的定位信息，生成具备定位信息的道路路网数据，包括：
从所述OSM地图数据中获取与所述道路交叉点对应的定位坐标；
将所述定位坐标映射至所述路网栅格数据，得到具备定位信息的道路路网数据。
7.根据权利要求4所述的虚拟场景生成方法，其特征在于，所述基于所述场景切片数据中的车道线感知信息、所述道路特征信息和所述OSM地图数据，生成路面信息数据，包括：
获取与所述车道线感知信息对应的车辆运动信息；
根据所述车辆运动信息对所述车道线感知信息进行补偿修正，得到详细道路信息；
基于所述道路路网数据中的路网栅格数据和道路交叉点，将所述详细道路信息与所述道路路网数据进行匹配融合，得到路面信息数据。
8.根据权利要求4所述的虚拟场景生成方法，其特征在于，所述对所述道路路网数据和所述路面信息数据进行融合，得到所述场景对应的具备车道线细节的道路场景数据，包括：
对所述道路路网数据和所述路面信息数据进行时间对齐；
时间对齐后，针对每两个相邻的时间点，确定所述两个相邻的时间点对应的定位信息之间的欧式距离和时间间隔；
根据所述欧式距离和所述时间间隔，确定所述两个相邻的时间点对应的车速计算值；
获取所述两个相邻的时间点对应的车速实际值；
响应于所述车速计算值与所述车速实际值的差值大于第二阈值，将所述两个相邻的时间点确定为待剔除时间点；
剔除所述道路路网数据和所述路面信息数据中与所述待剔除时间点对应的数据；
对剔除完成后的所述道路路网数据和所述路面信息数据进行融合，得到所述场景对应的道路场景数据。
9.根据权利要求4所述的虚拟场景生成方法，其特征在于，所述将所述场景对应的道路场景数据与所述场景对应的场景切片数据中的障碍物感知信息进行拟合，得到所述场景对应的虚拟场景，包括：
通过线性插值和三次多项式拟合方法对所述道路场景数据中的定位信息进行拟合，在所述道路场景数据中形成行车轨迹；
按照采集数据的时间线对所述场景切片数据中的障碍物感知信息进行跟踪，得到动态的障碍物感知信息；
将所述动态的障碍物感知信息映射至包含所述行车轨迹的道路场景数据上，生成与所述场景对应的动态的虚拟场景。
10.一种虚拟场景生成装置，其特征在于，包括：
数据采集模块，用于利用车辆上安装的前向智能摄像头和定位装置采集所述车辆行驶过程中的多组数据，每组所述数据包括所述定位装置采集的定位信息和所述前向智能摄像头记录的与所述定位信息对应的道路信息，所述道路信息包括车道线感知信息和障碍物感知信息；
场景分类模块，用于对多组所述数据进行场景分类，得到至少一个场景对应的场景切片数据；
道路场景数据生成模块，用于针对每个所述场景，将所述场景对应的场景切片数据中的车道线感知信息与卫星地图和公开地图OSM进行数据融合，得到所述场景对应的具备车道线细节的道路场景数据；
虚拟场景生成模块，用于针对每个所述场景，将所述场景对应的道路场景数据与所述场景对应的场景切片数据中的障碍物感知信息进行拟合，得到所述场景对应的虚拟场景。
CN202310754591.0A 2023-06-25 2023-06-25 虚拟场景生成方法及装置 Pending CN116740295A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310754591.0A CN116740295A (zh) 2023-06-25 2023-06-25 虚拟场景生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310754591.0A CN116740295A (zh) 2023-06-25 2023-06-25 虚拟场景生成方法及装置

Publications (1)

Publication Number Publication Date
CN116740295A true CN116740295A (zh) 2023-09-12

Family

ID=87900913

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310754591.0A Pending CN116740295A (zh) 2023-06-25 2023-06-25 虚拟场景生成方法及装置

Country Status (1)

Country Link
CN (1) CN116740295A (zh)

Similar Documents

Publication Publication Date Title
CN111448478B (zh) 用于基于障碍物检测校正高清地图的***和方法
CN107703528B (zh) 自动驾驶中结合低精度gps的视觉定位方法及***
AU2018282302B2 (en) Integrated sensor calibration in natural scenes
CN105300403B (zh) 一种基于双目视觉的车辆里程计算法
CN110738121A (zh) 一种前方车辆检测方法及检测***
CN110307791B (zh) 基于三维车辆边界框的车辆长度及速度计算方法
US11971961B2 (en) Device and method for data fusion between heterogeneous sensors
CN110197173B (zh) 一种基于双目视觉的路沿检测方法
CN110766760B (zh) 用于相机标定的方法、装置、设备和存储介质
CN110728720B (zh) 用于相机标定的方法、装置、设备和存储介质
CN110555407A (zh) 路面车辆空间识别方法及电子设备
CN112136021A (zh) 用于构建基于地标的高清地图的***和方法
CN113640822A (zh) 一种基于非地图元素过滤的高精度地图构建方法
CN114841188A (zh) 一种基于二维码的车辆融合定位方法及装置
Mussone et al. An innovative method for the analysis of vehicle movements in roundabouts based on image processing
CN112200779A (zh) 面向无人驾驶的路表车辙形状及构造横向差异度评价方法
CN113989765A (zh) 一种轨道障碍物的检测方法、检测装置及可读存储介质
CN114358038B (zh) 一种基于车辆高精度定位的二维码坐标标定方法及装置
CN111353481A (zh) 基于激光点云与视频图像的道路障碍物识别方法
CN116740295A (zh) 虚拟场景生成方法及装置
CN113874681B (zh) 点云地图质量的评估方法和***
CN111539279A (zh) 道路限高高度检测方法、装置、设备及存储介质
CN112020722A (zh) 基于三维传感器数据识别路肩
CN114543842B (zh) 一种多传感器融合定位***的定位精度评价***及方法
CN117274393A (zh) 相机外参标定系数的确定方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination