CN110378284B - 道路正视图生成方法及装置、电子设备、存储介质 - Google Patents

Abstract

本发明提供了一种道路正视图生成方法及装置、电子设备、存储介质，涉及计算机技术领域。该道路正视图生成方法包括：获取预处理的高精度地图以及分割数据；根据分割数据对高精度地图进行分割处理以生成高精度地图对应的目标图像帧集；获取预设的道路材质数据，并将所述道路材质数据与所述目标图像帧集输入到预先训练的道路正视图生成模型中；以及根据道路正视图生成模型生成与道路材质数据以及目标图像帧集对应的道路图像帧集，并将道路图像帧集进行拼接处理生成道路正视图。本发明实施例的技术方案能够生成真实感较强、种类多样化以及面向大规模生产的道路正视图，而且操作简单，提高用户的使用体验。

Description

道路正视图生成方法及装置、电子设备、存储介质

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种道路正视图生成方法、道路正视图生成装置、电子设备以及计算机可读存储介质。

背景技术

随着人工智能技术的迅速发展，生成式对抗网络(Generative AdversarialNetworks，GAN)成为复杂分布上无监督学习最具前景的方法之一。

目前，生成道路正视图的方式中，要么根据真实街景图像拼接合成，要么根据已有的场景库选取道路面进行合成。但是根据真实街景图像拼接合成的方式不仅工作量大，而且拼接生成的道路正视图存在缝隙或者叠影，合成的结果单一且平滑性以及连续性较差；根据已有的场景库选取道路面进行合成的方式，生成的道路正视图只是小片段，没有大规模合成效果，难于应用到大规模街景仿真中，且无法根据用户的期望进行生成，降低用户的使用体验。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明实施例的目的在于提供一种道路正视图生成方法、道路正视图生成装置、电子设备以及计算机可读存储介质，进而至少在一定程度上克服现有技术中生成的道路正视图的平滑性以及连续性较差，且生成方向不可控的问题。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明实施例的第一方面，提供了一种道路正视图生成方法，包括：获取预处理的高精度地图以及分割数据；根据所述分割数据对所述高精度地图进行分割处理以生成所述高精度地图对应的目标图像帧集；获取预设的道路材质数据，并将所述道路材质数据与所述目标图像帧集输入到预先训练的道路正视图生成模型中；以及根据所述道路正视图生成模型生成与所述道路材质数据以及所述目标图像帧集对应的道路图像帧集，并将所述道路图像帧集进行拼接处理生成道路正视图。

在本发明的一些示例实施例中，基于前述方案，根据所述分割数据对所述高精度地图进行分割处理以生成所述高精度地图对应的目标图像帧集包括：获取在所述高精度地图上设定的行车轨迹，并按照预设距离在所述行车轨迹上确定轨迹点；根据所述轨迹点对所述高精度地图进行分割处理以生成所述高精度地图对应的目标图像帧集。

在本发明的一些示例实施例中，基于前述方案，所述目标图像帧集包括边缘语义图像帧集以及分割语义图像帧集，所述根据所述分割数据对所述高精度地图进行分割处理以生成所述高精度地图对应的目标图像帧集包括：根据所述轨迹点对所述高精度地图进行分割处理以生成所述边缘语义图像帧集；通过预设规则对所述边缘语义图像帧集进行标识处理，确定所述边缘语义图像帧集对应的分割语义图像帧集。

在本发明的一些示例实施例中，基于前述方案，所述道路正视图生成模型包括生成网络以及判别网络，在根据所述道路正视图生成模型生成与所述道路材质数据以及所述目标图像帧集对应的道路图像帧集之前，所述方法还包括：获取样本道路正视图以及所述样本道路正视图对应的样本高精度地图；对所述样本道路正视图以及样本高精度地图进行所述分割处理，确定样本道路正视图像帧集以及样本语义图像帧集；根据所述样本道路正视图像帧集以及所述样本语义图像帧集对预先建立的道路正视图生成模型进行训练，直到所述判别网络识别所述生成网络生成的样本道路图像帧集时输出的值为预设值。

在本发明的一些示例实施例中，基于前述方案，所述判别网络还包括连续帧判别网络，根据所述样本道路正视图像帧集以及所述样本语义图像帧集对预先建立的道路正视图生成模型进行训练还包括：从所述样本道路正视图像帧集中获取第一预设数量的连续的样本道路正视图像帧，并从所述样本语义图像帧集中获取所述样本道路正视图像帧对应的样本道路正视图像帧；将第一预设数量的连续的所述样本道路正视图像帧以及所述样本道路正视图像帧输入所述生成网络以确定第二预设数量的连续的转换图像帧；将所述转换图像帧与所述将第一预设数量的连续的所述样本道路正视图像帧以及所述样本道路正视图像帧对所述生成网络进行训练，直到所述连续帧判别网络识别所述生成网络生成的样本道路图像帧集时输出的值为预设值。

在本发明的一些示例实施例中，基于前述方案，在根据所述样本道路正视图像帧集以及所述样本语义图像帧集对预先建立的道路正视图生成模型进行训练之前，所述方法还包括：对所述样本道路正视图像帧集以及所述样本语义图像帧集中的图像帧进行随机切取处理确定目标图像块；根据预先训练的纹理特征提取模型对所述目标图像块进行聚类处理确定不同种类的纹理图块以根据不同种类的所述纹理图块构建聚类中心数据库；通过预设策略以及所述聚类中心数据库中的所述纹理图块对所述样本语义图像帧集进行纹理填充。

在本发明的一些示例实施例中，基于前述方案，所述在将所述道路材质数据与所述目标图像帧集输入到预先训练的道路正视图生成模型中之前，所述方法还包括：根据所述道路材质数据在所述聚类中心数据库匹配对应的所述纹理图块；通过匹配的所述纹理图块对所述分割语义图像帧集进行纹理填充处理，以确定所述分割语义图像帧集对应的纹理语义图像帧集。

在本发明的一些示例实施例中，基于前述方案，根据所述道路正视图生成模型生成所述道路材质数据与所述目标图像帧集对应的道路图像帧集包括：基于所述道路正视图生成模型，根据所述边缘语义图像帧集、分割语义图像帧集以及纹理语义图像帧集生成对应的所述道路图像帧集。

根据本发明实施例的第二方面，提供了一种道路正视图生成装置，包括：数据获取单元，用于获取预处理的高精度地图以及分割数据；地图分割单元，用于根据所述分割数据对所述高精度地图进行分割处理以生成所述高精度地图对应的目标图像帧集；数据输入单元，用于获取预设的道路材质数据，并将所述道路材质数据与所述目标图像帧集输入预先训练的道路正视图生成模型；道路正视图生成单元，用于根据所述道路正视图生成模型生成与所述道路材质数据以及所述目标图像帧集对应的道路图像帧集，并将所述道路图像帧集进行拼接处理生成道路正视图。

根据本发明实施例的第三方面，提供了一种电子设备，包括：处理器；以及存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现上述任意一项所述的道路正视图生成方法。

根据本发明实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据上述任意一项所述的道路正视图生成方法。

本发明实施例提供的技术方案可以包括以下有益效果：

本发明的示例实施例中的道路正视图生成方法，根据分割数据对高精度地图进行处理生成对应的目标图像帧集；并将设定的道路材质数据与目标图像帧集输入到预先训练的道路正视图生成模型生成对应的道路图像帧集，并将道路图像帧集进行拼接处理生成道路正视图。一方面，通过对高精度地图分割处理生成目标图像帧集，以使道路正视图生成模型根据目标图像帧集生成道路图像帧集，并将道路图像帧集进行拼接处理生成道路正视图，能够保证道路正视图的平滑性以及连续性；另一方面，将设定的道路材质数据与目标图像帧集输入到预先训练的道路正视图生成模型生成对应的道路图像帧集，仅需要输入道路材质数据就能生成道路材质数据对应的道路正视图，提高道路正视图生成的可控性，且操作简单，提高用户的使用体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示意性示出了根据本发明的一些实施例的道路正视图的示意图；

图2示意性示出了根据本发明的一些实施例的交互式进行道路正视图合成方法的示意图；

图3示意性示出了根据本发明的一些实施例的条件生成式对抗网络应用的示意图；

图4示意性示出了根据本发明的一些实施例的道路正视图生成方法的示意图；

图5示意性示出了根据本发明的一些实施例的边缘语义图合成道路正视图的示意图；

图6示意性示出了根据本发明的一些实施例的道路正视图生成模型对应输入数据的示意图；

图7示意性示出了根据本发明的一些实施例的道路正视图生成模型对应训练阶段的示意图；

图8示意性示出了根据本发明的一些实施例的道路正视图生成模型对应测试阶段的示意图；

图9示意性示出了根据本发明的一些实施例的道路正视图生成模型对应生成网络的网络结构的示意图；

图10示意性示出了根据本发明的一些实施例的道路正视图生成模型对应单图像帧的判别网络的网络结构的示意图；

图11示意性示出了根据本发明的一些实施例的道路正视图生成模型对应连续三个图像帧的判别网络的网络结构的示意图；

图12示意性示出了根据本发明的一些实施例的道路正视图生成装置的示意图；

图13示意性示出了根据本发明的一些实施例的电子设备的计算机***的结构示意图；

图14示意性示出了根据本发明的一些实施例的计算机可读存储介质的示意图。

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。

此外，附图仅为示意性图解，并非一定是按比例绘制。附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

道路正视图(也称鸟瞰图)是一种从上而下正视投影获取的道路面图像，参考图1所示，图1示意性示出了根据本发明的一些实施例的道路正视图的示意图。道路正视图可以应用于城市街景仿真***中的道路纹理贴图，进而辅助操纵人员完成道路可视化展示和无人车模拟驾驶等方面。道路正视图获取方式包括：根据真实采集图像进行投影和拼接；以及在模拟环境下由预先存储的道路面进行交互合成。

一种道路正视图的生成方式中，首先，获取当前拍摄时刻图像的坐标和姿态；然后，根据相机采集的图像，获取相机拍摄当前时刻的道路路面的正射投影图像；最后，依据所述图像的坐标和姿态以及所述道路路面的正射投影图像，将下一拍摄时刻的正射投影图像镶嵌到上一拍摄时刻获取的所述正射投影图像中，生成道路正射投影图像。该方式是用真实数据进行道路合成，合成一段道路正视图需要外业采集一段街景场景，因此操作较为复杂，自动化程度较低；此外，虽然合成出的道路片段真实感较强，但在拼接缝隙处往往存在叠影，这是由于拼接算法建立在路面落于二维坐标系的假设下，然而这种假设往往不成立；再者，合成结果是单一的，只是真实场景的一种表现。

另一种道路正视图的生成方式中，参考图2所示，图2示意性示出了根据本发明的一些实施例的交互式进行道路正视图合成方法的示意图。首先，通过Google Street View收集大量的街景图像，用LabelMe来交互式的提取道路、建筑面等，构建出一个3D场景库；然后，在交互式环境下由用户来选取和搭建出一个虚拟场景，其中就包括构建道路场景面。该方式预先构建好场景库，通过交互方式进行道路面的选取，虽然避免了外业采集，但合成阶段仍需要内业交互合成，也存在自动化程度低的缺陷；其次，这种方式得到的道路面只是小片段，没有大规模合成效果，难于应用到大规模街景仿真中。另外，在上述文章中虽然合成效果都是真实场景，但道路面都是车载透视图像转换而成，具有近大远小的特点，这导致道路面中距离相机远的场景不够清晰。

考虑到目前条件生成式对抗网络广泛地应用于各种图像风格化中，参考图3所示，图3示意性示出了根据本发明的一些实施例的条件生成式对抗网络应用的示意图，包括场景解析图合成真实场景、图像上色、天气互换、季节互换、以及边缘图合成真实图像，本发明将生成对抗网络应用于道路正视图合成中，提出一种由高精地图合成道路正视图的方法。为了兼顾用户对道路面的偏好和大规模生成的需求，设计了一个在道路纹理引导下具有时空一致性的条件生成对抗网络模型。此外，条件生成式对抗网络在各种应用中已经证实能够转换出具有效果逼真、结果多样性的图像，因此理论分析可以同样得到逼真多样化的效果。再者，在本发明中我们沿着行车轨迹切片高精地图，进而获取一个视频序列进行转换，这种方式保证道路正视图的大规模生产，由于所设计的网络模型具有时空一致性，进一步保证了合成结果的平滑过渡。

基于上述一个或多个问题，在本示例实施例中，首先提供了一种道路正视图生成方法，该道路正视图生成方法可以应用于终端，例如手机、电脑等电子设备。当然该道路正视图生成方法也可以应用于服务器，本公开对此不做特殊限定，下面以在终端执行该方法为例进行说明。图4示意性示出了根据本发明的一些实施例的道路正视图生成方法的示意图。参考图4所示，该道路正视图生成方法可以包括以下步骤：

步骤S410，获取预处理的高精度地图以及分割数据；

步骤S420，根据所述分割数据对所述高精度地图进行分割处理以生成所述高精度地图对应的目标图像帧集；

步骤S430，获取预设的道路材质数据，并将所述道路材质数据与所述目标图像帧集输入到预先训练的道路正视图生成模型中；以及

步骤S440，根据所述道路正视图生成模型生成与所述道路材质数据以及所述目标图像帧集对应的道路图像帧集，并将所述道路图像帧集进行拼接处理生成道路正视图。

根据本示例实施例中的道路正视图生成方法，一方面，通过对高精度地图分割处理生成目标图像帧集，以使道路正视图生成模型根据目标图像帧集生成道路图像帧集，并将道路图像帧集进行拼接处理生成道路正视图，能够保证道路正视图的平滑性以及连续性；另一方面，将设定的道路材质数据与目标图像帧集输入到预先训练的道路正视图生成模型生成对应的道路图像帧集，仅需要输入道路材质数据就能生成道路材质数据对应的道路正视图，提高道路正视图生成的可控性，且操作简单，提高用户的使用体验。

下面，将对本示例实施例中的道路正视图生成方法进行进一步的说明。

在步骤S410中，获取预处理的高精度地图以及分割数据。

在本公开的一个示例实施例中，高精度地图可以是指精度更高、数据维度更多的矢量电子地图，高精度地图可以将大量的行车辅助信息存储为结构化数据，例如道路数据以及车道周边的固定对象信息等(也可以认为是一种由点、线和面矢量化元素组成的道路数据描述，其中点代表等候点、隔离柱等类型，线代表车道线、马路牙和等候线等类型，面代表停车区、减速带和树坑等类型)。此外，在构建高精度地图的同时还有行车轨迹。预处理的高精度地图可以是指需要生成道路正视图对应道路区域的高精度地图。该预处理的高精度地图可以存储在服务器的数据库中，也可以存储在终端的存储单元中，本示例实施例对此不做特殊限定。分割数据可以是指对高精度地图进行分割处理的数据，例如分割数据可以是预定大小的区域，也可以是对高精度地图进行分割的预设路径或者预设点，本公开对此不做特殊限定。同样地，该分割数据可以存储在数据库中，也可以存储在终端的存储单元中，本示例实施例对此不做特殊限定。

在步骤S420中，根据分割数据对高精度地图进行分割处理以生成高精度地图对应的目标图像帧集。

在本公开的一个示例实施例中，分割处理可以是指根据分割数据将高精度地图切分成预设大小图像帧的处理过程，例如将高精度地图按道路方向切分成固定大小的矩形(例如实际大小为40米*40米的矩形)。目标图像帧集可以是指将高精度地图进行分割以及转换处理等方式生成的多个图像的图像帧构成的集合(视频)，例如目标图像帧集可以是多个边缘语义图构成的集合(视频)，也可以是多个分割语义图构成的集合(视频)，当然，目标图像帧集还可以是多个纹理语义图构成的集合(视频)，本示例实施例对此不做特殊限定。

具体的，终端获取在高精度地图上设定的行车轨迹，并按照预设距离在行车轨迹上确定轨迹点；根据轨迹点对高精度地图进行分割处理以生成高精度地图对应的目标图像帧集。行车轨迹可以是指高精度地图中由多条道路连接构成的路径。预设距离可以是指由开发人员设置的用于在行车轨迹上采样的数据，例如固定距离可以是20米，当然预设距离可以是由用户自定义设置的，本公开对此不做特殊限定。轨迹点可以是指在行车轨迹上按照固定距离设定的切割采样点，例如在行车轨迹每隔20米进行采样以确定轨迹点。

举例而言，沿着行车轨迹按固定距离(例如20米)采样轨迹点，在每个轨迹点处沿轨迹方向按固定大小的矩形(例如40米x40米)截取高精地图片段，然后按固定比例(例如5cm/1像素)将高精地图片段转换成视频帧(例如800x800像素)，其中在视频帧中将点绘制成固定半径(例如3像素)的圆型，将线绘制成固定宽度(例如3像素)的线型，将面绘制成封闭区域的面型，同时内部填充为标识类型(例如1代表等候点，2代表隔离柱，3代表车道线等等)。参考图5所示，图5示意性示出了根据本发明的一些实施例的边缘语义图合成道路正视图的示意图，其中图501可以表示边缘语义图，图502可以表示道路正视图。

进一步的，终端根据轨迹点对高精度地图进行分割处理以生成边缘语义图像帧集；通过预设规则对边缘语义图像帧集进行标识处理，确定边缘语义图像帧集对应的分割语义图像帧集。边缘语义图可以是指根据图像处理技术处理图像以使其仅显示图像中物体边缘轮廓的语义图，例如继续参考图5所示，图501可以表示边缘语义图。边缘语义图像帧集可以是指对分割后的高精度地图图像帧对应的多个连续边缘语义图像帧，也可以认为是多个连续边缘语义图像帧构成的视频，本公开对此不做特殊限定。预设规则可以是指预先设定的用于对边缘语义图进行标识以生成分割语义图的数据，例如预设规则可以是先将边缘语义图中两条马路牙间的区域标识为道路面，两侧区域标识为左道路区和右道路区，然后将其他线状(如车道线)和面状区域(如停车区)标识为跟边缘语义图一致。当然预设规则还可以是指能够将边缘语义图转换成分割语义图的深度学习模型，本示例实施例不以此为限。分割语义图可以是指边缘语义图的对偶图，可以表示将每个像素点标识一个场景类别，例如属于道路面、人行道和减速带等。例如参考图6所示，图6示意性示出了根据本发明的一些实施例的道路正视图生成模型对应输入数据的示意图，其中图601可以表示边缘语义图，而图602可以是指边缘语义图601对应的分割语义图。分割语义图像帧集可以是指边缘语义图像帧集对应的多个分割语义图构成的集合，也可以认为是多个连续分割语义图构成的视频，本公开对此不做特殊限定。

在步骤S430中，获取预设的道路材质数据，并将道路材质数据与目标图像帧集输入到预先训练的道路正视图生成模型中。

在本公开的一个示例实施例中，道路材质数据可以是指用户自定义设置的、用于引导道路正视图生成模型的生成的道路材质方向的数据，例如道路材质数据可以是用沥青材质，也可以是水泥材质，本公开对此不做特殊限定。道路正视图生成模型可以是指用于根据输入数据生成道路正视图的深度学习模型，例如道路正视图生成模型可以是生成式对抗模型，进一步地道路正视图生成模型可以是条件生成式对抗模型，本示例实施例不以此为限。

在本公开的另一个示例实施例中，终端获取样本道路正视图以及样本道路正视图对应的样本高精度地图；对样本道路正视图以及样本高精度地图进行分割处理，确定样本道路正视图像帧集以及样本语义图像帧集；根据样本道路正视图像帧集以及样本语义图像帧集对预先建立的道路正视图生成模型进行训练，直到判别网络识别生成网络生成的样本道路图像帧集时输出的值为预设值。样本道路正视图可以是指用于训练道路正视图生成模型的样本数据之一，样本高精度地图可以是指用于训练道路正视图生成模型的样本数据之一，与样本道路正视图相关联。样本道路正视图像帧集可以是指对样本道路正视图进行分割处理生成的多个道路图像构成的集合(视频)，样本语义图像帧集可以是指样本道路正视图图像对应的不同种类的语义图构成的集合。样本语义图像帧集可以包括边缘语义图像帧集、分割语义图像帧集以及纹理语义图像帧集等，本公开对此不做特殊限定。预设值可以是指判别网络识别生成网络生成的样本道路图像帧集时输出的、不能识别样本道路图像帧集是否真假的数值，例如预设值可以是0.5(即判别网络输出为1时表示判别生成网络生成的图像为真，判别网络输出为0时表示判别生成网络生成的图像为假，判别网络输出为0.5时表示无法判别真假)，本示例实施例不以此为限。

进一步的，判别网络还可以包括连续帧判别网络，终端从样本道路正视图像帧集中获取第一预设数量的连续的样本道路正视图像帧，并从样本语义图像帧集中获取样本道路正视图像帧对应的样本道路正视图像帧；将第一预设数量的连续的样本道路正视图像帧以及样本道路正视图像帧输入生成网络以确定第二预设数量的连续的转换图像帧；将转换图像帧与将第一预设数量的连续的样本道路正视图像帧以及样本道路正视图像帧对生成网络进行训练，直到连续帧判别网络识别生成网络生成的样本道路图像帧集时输出的值为预设值。第一预设数量可以是指终端获取的用于训练生成网络生成连续性的样本道路正视图像帧以及样本语义图像帧对应的数量，例如第一预设数量可以是3，也可以是4，具体数量根据实际情况而定，本示例实施例对此不做特殊限定。第二预设数量可以是指终端将第一预设数量的连续样本道路正视图像帧以及样本语义图像帧输入到预先建立的生成网络中得到的转换图像帧的数量，例如第二预设数量可以是2，也可以是3，具体数量根据实际情况而定，本示例实施例对此不做特殊限定。转换图像帧可以是指第一预设数量的连续样本道路正视图像帧以及样本语义图像帧对应的输出结果。举例而言，道路正视图生成模型对应的待训练的生成网络将连续三帧(第一预设数量)的样本图像帧(可以包括样本道路正视图像帧及其对应的样本语义图像帧)Mt-2、Mt-1、Mt和连续前两帧(第二预设数量)的样本图像帧的转换图像帧Rt-2、Rt-1作为输入，输出为当前帧的转换图像Rt。通过将连续的多个图像帧及其对应的转换结果作为输入数据，能够提升生成网络生成的道路正视图的平滑性以及连续性，提升生成的道路正视图的时空一致性。

具体的，终端对样本道路正视图像帧集以及样本语义图像帧集中的图像帧进行随机切取处理确定目标图像块；根据预先训练的纹理特征提取模型对目标图像块进行聚类处理确定不同种类的纹理图块以根据不同种类的纹理图块构建聚类中心数据库；通过预设策略以及聚类中心数据库中的纹理图块对样本语义图像帧集进行纹理填充。目标图像块可以是指将样本道路正视图像帧集以及样本语义图像帧集中的道路区域进行随机切取处理得到的局部图像块，例如根据样本道路正视图和样本语义图中的分割语义图提取不同语义下的道路区域，随机从每个道路区域中切取一些固定大小图块(例如大小为50x50像素)作为目标图像块。纹理特征提取模型可以是指用于提取目标图像块中纹理特征的深度学习模型，例如纹理特征提取模型可以是卷积神经网络模型(Visual Geometry Group Network，VGG)，当然本示例实施例对此不做特殊限定。纹理图块可以是指分类后的不同纹理特征的图块。聚类中心数据库可以是指用于存储不同纹理特征的纹理图块的数据库或者存储区域。预设策略可以是指预先设定的用于对样本语义图像帧集进行纹理填充的策略，例如预设策略可以是最近邻策略，通过最近邻策略计算出距离每个固定图块最近的纹理图块，在每个道路区域中选取最多出现的纹理图块进行纹理填充。当然，本示例实施例不以此为限。

可选的，终端根据道路材质数据在聚类中心数据库匹配对应的纹理图块；通过匹配的纹理图块对分割语义图像帧集进行纹理填充处理，以确定分割语义图像帧集对应的纹理语义图像帧集。纹理语义图像帧集可以是指用于引导合成出跟该纹理语义图较为相似的道路正视图的语义图，继续参考图6所示，其中图603可以表示边缘语义图601，以及分割语义图602对应的纹理语义图(纹理引导图)。

在步骤S440中，根据道路正视图生成模型生成与道路材质数据以及目标图像帧集对应的道路图像帧集，并将道路图像帧集进行拼接处理生成道路正视图。

在本公开的一个示例实施例中，道路图像帧集可以是指道路正视图生成模型生成与道路材质数据以及目标图像帧集对应的多个图像帧构成的集合(视频)，通过该道路图像帧集可以拼接成最终需要的道路正视图。在道路正视图生成模型生成道路图像帧集之后，根据行车轨迹(或者轨迹点的顺序)对道路图像帧集中多个道路正视图的图像帧进行拼接以生成最终的道路正视图。

具体的，道路正视图生成模型根据边缘语义图像帧集、分割语义图像帧集以及纹理语义图像帧集生成对应的道路图像帧集。终端以边缘语义图像帧集作为主要输入数据，以边缘语义图像帧集对应的分割语义图像帧集以及纹理语义图像帧集作为辅助输入数据输入道路正视图生成模型生成道路图像帧集。通过辅助输入数据可以引导道路正视图生成模型的生成方向，提高道路正视图生成模型的可控性。

进一步的，终端可以每次将连续的预设数量的边缘语义图、分割语义图以及纹理语义图输入道路正视图生成模型。例如终端可以每次将连续三个边缘语义图、以及三个边缘语义图对应的三个分割语义图以及对应的三个纹理语义图输入道路正视图生成模型以输出三个道路正视图图像帧。通过将连续的多个图像帧及其对应的转换结果作为输入数据，能够提升道路正视图生成模型生成的道路正视图的平滑性以及连续性。

图7示意性示出了根据本发明的一些实施例的道路正视图生成模型对应训练阶段的示意图。

参考图7所示，步骤S710，终端根据在行车轨迹上划分的轨迹点对高精度地图进行分割处理，生成高精度地图对应的边缘语义图像帧集(边缘语义视频)；

步骤S720，终端根据在(样本)行车轨迹上划分的轨迹点对(样本)高精度地图对应的(样本)道路正视图进行分割处理，生成(样本)道路正视图对应的(样本)道路正视图像帧集(道路正视视频)；

步骤S730，终端根据(样本)边缘语义图像帧集确定(样本)边缘语义图像帧集对应的(样本)分割语义图像帧集；

步骤S740，终端根据(样本)边缘语义图像帧集以及(样本)道路正视图像帧集提取纹理图块，并根据该纹理图块对(样本)分割语义图像帧集进行纹理填充生成(样本)纹理语义图像帧集；

步骤S750，终端根据(样本)边缘语义图像帧集、(样本)分割语义图像帧集、(样本)纹理语义图像帧集以及(样本)道路正视图像帧集对基于条件生成式对抗模型建立的道路正视图生成模型进行训练，直到道路正视图生成模型中的判别网络识别生成网络生成的(样本)道路图像帧集时输出的值为预设值(例如0.5)。

图8示意性示出了根据本发明的一些实施例的道路正视图生成模型对应测试阶段的示意图。

参考图8所示，步骤S810，终端根据在行车轨迹上划分的轨迹点对高精度地图进行分割处理，生成高精度地图对应的边缘语义图像帧集(边缘语义视频)；

步骤S820，终端根据边缘语义图像帧集确定边缘语义图像帧集对应的分割语义图像帧集；

步骤S830，终端根据用户输入的道路材质数据在聚类中心数据库中匹配对应的纹理图块，并根据该纹理图块对分割语义图像帧集进行填充生成对应的纹理语义图像帧集；

步骤S840，终端将边缘语义图像帧集、分割语义图像帧集、纹理语义图像帧集以及道路材质数据输入到道路正视图生成模型中；

步骤S850，道路正视图生成模型根据输入的边缘语义图像帧集、分割语义图像帧集、纹理语义图像帧集以及道路材质数据生成高精度地图对应的道路图像帧集；

步骤S860，终端根据行车轨迹(或者按顺序排列的轨迹点)对道路图像帧集中的多个道路正视图图像帧按顺序进行拼接生成高精度地图对应的道路正视图。

图9示意性示出了根据本发明的一些实施例的道路正视图生成模型对应生成网络的网络结构的示意图。

参考图9所示，本发明为了保证时空一致性，道路正视图生成模型对应的生成网络通过连续三帧的图像帧(视频片段)Mt-2、Mt-1、Mt和连续前两帧的转换结果Rt-2、Rt-1作为输入，输出为当前帧的转换图像Rt。从该生成网络的网络结构中可以看出，由于将纹理语义图(纹理引导图)嵌入到输入数据中，并且在训练过程中的纹理语义图来源于输出的道路正视图，因此保证了在生产过程中能合成出跟纹理语义图相似的道路正视图。此外，将前序两帧的结果也同步参与到道路正视图生成模型的训练，进一步保证了大规模道路生产中的局部时空平滑性。

图10示意性示出了根据本发明的一些实施例的道路正视图生成模型对应单图像帧的判别网络的网络结构的示意图。

参考图10所示，道路正视图生成模型可以包括单视频帧的判别网络，该单视频帧的判别网络用于判定给定单帧输入MtRt的目标图像是否为真。

图11示意性示出了根据本发明的一些实施例的道路正视图生成模型对应连续三个图像帧的判别网络的网络结构的示意图。

参考图11所示，道路正视图生成模型可以包括连续三个图像帧的判别网络，该连续三个图像帧的判别网络用于判定给定连续三帧的目标图是否具有真实的时空一致性。

在图9、图10以及图11中，网络结构的网络层中的神经元包括卷积层cxx_kx_sx、激励层leakyPeLU、级联层concat、卷积块层ResnetXtBlock_cxx_xx、上采样层PixelShuffle、激励层tanh、批归一化层Batch norm、全连接层Dense和概率归一化sigmoid。其中，每个神经元的参数定义为：卷积c32_k3_s2代表用3x3尺寸(k3)的步长2(s2)的32个卷积核进行卷积；leakyPeLU的参数统一为0.2；ResnetXtBlock_c256_x10代表用10套ResnetXtBlock顺序串联而得，内部的卷积层统一用3x3尺寸(k3)的步长为2(s2)的卷积核，c256代表卷积核数量；PixelShuffle统一为上采样2倍；Dense(1024)代表全连接的输出为1024维。

需要说明的是，尽管在附图中以特定顺序描述了本发明中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

此外，在本示例实施例中，还提供了一种道路正视图生成装置。参照图12所示，该道路正视图生成装置1200包括：数据获取单元1210、地图分割单元1220、数据输入单元1230以及道路正视图生成单元1240。其中：数据获取单元1210用于获取预处理的高精度地图以及分割数据；地图分割单元1220用于根据所述分割数据对所述高精度地图进行分割处理以生成所述高精度地图对应的目标图像帧集；数据输入单元1230用于获取预设的道路材质数据，并将所述道路材质数据与所述目标图像帧集输入预先训练的道路正视图生成模型；道路正视图生成单元1240用于根据所述道路正视图生成模型生成与所述道路材质数据以及所述目标图像帧集对应的道路图像帧集，并将所述道路图像帧集进行拼接处理生成道路正视图。

在本发明的一种示例性实施例中，基于前述方案，所述地图分割单元1220配置为：获取在所述高精度地图上设定的行车轨迹，并按照预设距离在所述行车轨迹上确定轨迹点；根据所述轨迹点对所述高精度地图进行分割处理以生成所述高精度地图对应的目标图像帧集。

在本发明的一种示例性实施例中，基于前述方案，所述道路正视图生成单元1240被配置为：根据所述轨迹点对所述高精度地图进行分割处理以生成所述边缘语义图像帧集；通过预设规则对所述边缘语义图像帧集进行标识处理，确定所述边缘语义图像帧集对应的分割语义图像帧集。

在本发明的一种示例性实施例中，基于前述方案，所述道路正视图生成装置1200还包括道路正视图生成训练单元，所述道路正视图生成训练单元被配置为：获取样本道路正视图以及所述样本道路正视图对应的样本高精度地图；对所述样本道路正视图以及样本高精度地图进行所述分割处理，确定样本道路正视图像帧集以及样本语义图像帧集；根据所述样本道路正视图像帧集以及所述样本语义图像帧集对预先建立的道路正视图生成模型进行训练，直到所述判别网络识别所述生成网络生成的样本道路图像帧集时输出的值为预设值。

在本发明的一种示例性实施例中，基于前述方案，所述道路正视图生成训练单元还包括连续帧训练单元，所述连续帧训练单元被配置为：从所述样本道路正视图像帧集中获取第一预设数量的连续的样本道路正视图像帧，并从所述样本语义图像帧集中获取所述样本道路正视图像帧对应的样本道路正视图像帧；将第一预设数量的连续的所述样本道路正视图像帧以及所述样本道路正视图像帧输入所述生成网络以确定第二预设数量的连续的转换图像帧；将所述转换图像帧与所述将第一预设数量的连续的所述样本道路正视图像帧以及所述样本道路正视图像帧对所述生成网络进行训练，直到所述连续帧判别网络识别所述生成网络生成的样本道路图像帧集时输出的值为预设值。

在本发明的一种示例性实施例中，基于前述方案，所述道路正视图生成装置1200还包括纹理聚类单元，所述纹理聚类单元被配置为：对所述样本道路正视图像帧集以及所述样本语义图像帧集中的图像帧进行随机采样处理确定目标图像块；根据预先训练的纹理特征提取模型对所述目标图像块进行聚类处理确定不同种类的纹理图块以根据不同种类的所述纹理图块构建聚类中心数据库；通过预设策略以及所述聚类中心数据库中的所述纹理图块对所述样本语义图像帧集进行纹理填充。

在本发明的一种示例性实施例中，基于前述方案，所述道路正视图生成装置1200还包括纹理填充单元，所述纹理填充单元被配置为：根据所述道路材质数据在所述聚类中心数据库匹配对应的所述纹理图块；通过匹配的所述纹理图块对所述分割语义图像帧集进行纹理填充处理，以确定所述分割语义图像帧集对应的纹理语义图像帧集。

在本发明的一种示例性实施例中，基于前述方案，所述道路正视图生成装置1200还包括生成单元，所述生成单元被配置为：基于所述道路正视图生成模型，根据所述边缘语义图像帧集、分割语义图像帧集以及纹理语义图像帧集生成对应的所述道路图像帧集。

上述中道路正视图生成装置各模块的具体细节已经在对应的道路正视图生成方法中进行了详细的描述，因此此处不再赘述。

应当注意，尽管在上文详细描述中提及了道路正视图生成装置的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，在本公开的示例性实施例中，还提供了一种能够实现上述道路正视图生成方法的电子设备。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为***、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施例、完全的软件实施例(包括固件、微代码等)，或硬件和软件方面结合的实施例，这里可以统称为“电路”、“模块”或“***”。

下面参照图13来描述根据本发明的这种实施例的电子设备1300。图13所示的电子设备1300仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图13所示，电子设备1300以通用计算设备的形式表现。电子设备1300的组件可以包括但不限于：上述至少一个处理单元1310、上述至少一个存储单元1320、连接不同***组件(包括存储单元1320和处理单元1310)的总线1330、显示单元1340。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元1310执行，使得所述处理单元1310执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。例如，所述处理单元1310可以执行如图4中所示的步骤S410，获取预处理的高精度地图以及分割数据；步骤S420，根据所述分割数据对所述高精度地图进行分割处理以生成所述高精度地图对应的目标图像帧集；步骤S430，获取预设的道路材质数据，并将所述道路材质数据与所述目标图像帧集输入到预先训练的道路正视图生成模型中；步骤S440，根据所述道路正视图生成模型生成与所述道路材质数据以及所述目标图像帧集对应的道路图像帧集，并将所述道路图像帧集进行拼接处理生成道路正视图。

存储单元1320可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)1321和/或高速缓存存储单元1322，还可以进一步包括只读存储单元(ROM)1323。

存储单元1320还可以包括具有一组(至少一个)程序模块1325的程序/实用工具1324，这样的程序模块1325包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线1330可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、***总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备1300也可以与一个或多个外部设备1370(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1300交互的设备通信，和/或与使得该电子设备1300能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1350进行。并且，电子设备1300还可以通过网络适配器1360与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1360通过总线1330与电子设备1300的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1300使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。

通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施例的方法。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施例中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。

参考图14所示，描述了根据本发明的实施例的用于实现上述道路正视图生成方法的程序产品1400，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施例的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (11)

1.一种道路正视图生成方法，其特征在于，包括：

获取预处理的高精度地图以及分割数据；

根据所述分割数据对所述高精度地图进行分割处理以生成所述高精度地图对应的目标图像帧集；

获取预设的道路材质数据，并将所述道路材质数据与所述目标图像帧集输入到预先训练的道路正视图生成模型中，所述道路正视图生成模型是基于生成式对抗网络构建的，所述道路材质数据作为一种纹理引导数据用于引导所述道路正视图生成模型的道路材质生成方向；以及

根据所述道路正视图生成模型生成与所述道路材质数据以及所述目标图像帧集对应的道路图像帧集，并将所述道路图像帧集进行拼接处理生成道路正视图，其中生成的所述道路正视图中包含的道路材质数据与作为纹理引导数据的所述道路材质数据不同。

2.根据权利要求1所述的道路正视图生成方法，其特征在于，根据所述分割数据对所述高精度地图进行分割处理以生成所述高精度地图对应的目标图像帧集包括：

获取在所述高精度地图上设定的行车轨迹，并按照预设距离在所述行车轨迹上确定轨迹点；

根据所述轨迹点对所述高精度地图进行分割处理以生成所述高精度地图对应的目标图像帧集。

3.根据权利要求2所述的道路正视图生成方法，其特征在于，所述目标图像帧集包括边缘语义图像帧集以及分割语义图像帧集，所述根据所述分割数据对所述高精度地图进行分割处理以生成所述高精度地图对应的目标图像帧集还包括：

根据所述轨迹点对所述高精度地图进行分割处理以生成所述边缘语义图像帧集；

通过预设规则对所述边缘语义图像帧集进行标识处理，确定所述边缘语义图像帧集对应的分割语义图像帧集。

4.根据权利要求1所述的道路正视图生成方法，其特征在于，所述道路正视图生成模型包括生成网络以及判别网络，在根据所述道路正视图生成模型生成与所述道路材质数据以及所述目标图像帧集对应的道路图像帧集之前，所述方法还包括：

获取样本道路正视图以及所述样本道路正视图对应的样本高精度地图；

对所述样本道路正视图以及样本高精度地图进行所述分割处理，确定样本道路正视图像帧集以及样本语义图像帧集；

根据所述样本道路正视图像帧集以及所述样本语义图像帧集对预先建立的生成网络进行训练，直到所述判别网络识别所述生成网络生成的样本道路图像帧集时输出的值为预设值。

5.根据权利要求4所述的道路正视图生成方法，其特征在于，所述判别网络还包括连续帧判别网络，根据所述样本道路正视图像帧集以及所述样本语义图像帧集对预先建立的道路正视图生成模型进行训练还包括：

从所述样本道路正视图像帧集中获取第一预设数量的连续的样本道路正视图像帧，并从所述样本语义图像帧集中获取所述样本道路正视图像帧对应的样本语义图像帧；

将第一预设数量的连续的所述样本道路正视图像帧以及所述样本语义图像帧输入所述生成网络以确定第二预设数量的连续的转换图像帧；

将所述转换图像帧与所述将第一预设数量的连续的所述样本道路正视图像帧以及所述样本语义图像帧对所述生成网络进行训练，直到所述连续帧判别网络识别所述生成网络生成的样本道路图像帧集时输出的值为预设值。

6.根据权利要求4所述的道路正视图生成方法，其特征在于，在根据所述样本道路正视图像帧集以及所述样本语义图像帧集对预先建立的道路正视图生成模型进行训练之前，所述方法还包括：

对所述样本道路正视图像帧集以及所述样本语义图像帧集中的图像帧进行随机切取处理确定目标图像块；

根据预先训练的纹理特征提取模型对所述目标图像块进行聚类处理确定不同种类的纹理图块以根据不同种类的所述纹理图块构建聚类中心数据库；

通过预设策略以及所述聚类中心数据库中的所述纹理图块对所述样本语义图像帧集进行纹理填充。

7.根据权利要求6所述的道路正视图生成方法，其特征在于，所述在将所述道路材质数据与所述目标图像帧集输入到预先训练的道路正视图生成模型中之前，所述方法还包括：

根据所述道路材质数据在所述聚类中心数据库匹配对应的所述纹理图块；

通过匹配的所述纹理图块对所述目标图像帧集中的分割语义图像帧集进行纹理填充处理，以确定所述分割语义图像帧集对应的纹理语义图像帧集。

8.根据权利要求1至7任意一项所述的道路正视图生成方法，其特征在于，所述根据所述道路正视图生成模型生成所述道路材质数据与所述目标图像帧集对应的道路图像帧集包括：

基于所述道路正视图生成模型，根据所述目标图像帧集中的边缘语义图像帧集、分割语义图像帧集，以及对所述分割语义图像帧集进行纹理填充处理得到的纹理语义图像帧集生成对应的所述道路图像帧集。

9.一种道路正视图生成装置，其特征在于，包括：

数据获取单元，用于获取预处理的高精度地图以及分割数据；

地图分割单元，用于根据所述分割数据对所述高精度地图进行分割处理以生成所述高精度地图对应的目标图像帧集；

数据输入单元，用于获取预设的道路材质数据，并将所述道路材质数据与所述目标图像帧集输入预先训练的道路正视图生成模型，所述道路正视图生成模型是基于生成式对抗网络构建的，所述道路材质数据作为一种纹理引导数据用于引导所述道路正视图生成模型的道路材质生成方向；

道路正视图生成单元，用于根据所述道路正视图生成模型生成与所述道路材质数据以及所述目标图像帧集对应的道路图像帧集，并将所述道路图像帧集进行拼接处理生成道路正视图，其中生成的所述道路正视图中包含的道路材质数据与作为纹理引导数据的所述道路材质数据不同。

10.一种电子设备，包括：

处理器；以及

存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如权利要求1至8中任一项所述的道路正视图生成方法。

11.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的道路正视图生成方法。

Images