CN112991510B - 一种道路场景图像处理方法、装置以及电子设备 - Google Patents

Abstract

本申请提供一种道路场景图像处理方法，包括：获得所述待处理道路场景图像对应的三维坐标数据；根据所述待处理道路场景图像对应的三维坐标数据，获得至少一个待处理道路部件图像在所述待处理道路场景图像中的三维空间数据；根据所述待处理道路部件图像在所述待处理道路场景图像中的三维空间数据，将所述待处理道路部件图像与所述待处理道路场景图像进行合成，获得目标道路场景图像。本申请提供的道路场景图像处理方法能够确保道路部件图像在目标道路场景图像中尺度、位置以及角度的合理性，从而提高目标道路场景图像的拟真度。

Description

一种道路场景图像处理方法、装置以及电子设备

技术领域

本申请涉及计算机技术领域，具体涉及一种道路场景图像处理方法；本申请同时涉及一种道路场景图像处理装置、电子设备以及存储介质。

背景技术

随着计算机技术和自主导航技术的快速发展，越来越多的自动驾驶平台及自主导航机器人被开发出来，用于方便人们的工作和生活，如：自动驾驶汽车、自行走机器人等。自动驾驶平台及自主导航机器人在行进过程中，一般都需要通过自身装载的传感***来获得当前道路环境，并结合高精地图进行导航。以自动驾驶汽车为例，自动驾驶汽车在行进过程中，需要通过车载传感***来获得当前道路环境，并结合高精地图对进行当前道路进行导航。所以，高精地图也成为支持自动驾驶技术的关键，从而对高精地图的制作也成为实现自动驾驶技术的重要前提。

在高精地图制作过程中，会涉及大量对道路部件的检测和识别工作，进而需要多种能够自动化识别或检测不同道路部件的方法。为了确保这些识别或检测方法的精确度，现有技术一般会基于深度神经网络技术对道路部件的检测和识别方法进行模型训练，此时，就需要提供大量的包含待检测道路部件的图像作为模型训练数据。由于目前已经公布的能够***的包含待检测道路部件的道路场景图像较少，所以，为了能够获得大量的包含待检测道路部件的道路场景图像，现有技术中一般会先获得道路场景图像和道路部件图像，再将道路部件图像与道路场景图像进行随机合成，从而获得道路场景图像。通过现有技术获得的道路场景图像，往往会存在道路部件图像在通过合成获得的道路场景图像中的尺度、位置或者角度不合理，即，道路部件图像在通过合成获得的道路场景图像中的三维空间数据不合理，以至于通过合成获得的道路场景图像拟真度较低的问题。

发明内容

本申请提供一种道路场景图像处理方法、装置、电子设备以及存储介质，以确保道路部件图像在目标道路场景图像中的三维空间数据的合理性，提高目标道路场景图像的拟真度。

本申请提供一种道路场景图像处理方法，包括：

获得所述待处理道路场景图像对应的三维坐标数据；

根据所述待处理道路场景图像对应的三维坐标数据，获得至少一个待处理道路部件图像在所述待处理道路场景图像中的三维空间数据；

根据所述待处理道路部件图像在所述待处理道路场景图像中的三维空间数据，将所述待处理道路部件图像与所述待处理道路场景图像进行合成，获得目标道路场景图像。

可选的，还包括：

获得所述待处理道路场景图像和所述待处理道路部件图像；

根据所述待处理道路部件图像，在所述待处理道路场景图像中获得至少一个预设对象；

根据所述预设对象的数目，获得与所述待处理道路场景图像进行合成的所述待处理道路部件图像的数目，其中，所述待处理道路部件图像的数目不大于所述预设对象的数目。

可选的，所述根据所述待处理道路场景图像对应的三维坐标数据，获得至少一个所述待处理道路部件图像在所述待处理道路场景图像中的三维空间数据，包括：

根据所述待处理道路场景图像对应的三维坐标数据，获得所述待处理交通标识图像对应的三维坐标数据，所述待处理道路场景图像对应的三维坐标数据和所述待处理交通标识图像对应的三维坐标数据为同一相机坐标系下的坐标数据；

根据所述待处理交通标识图像对应的三维坐标数据和所述待处理道路场景图像对应的三维坐标数据，获得所述待处理道路部件图像在所述待处理道路场景图像中的三维空间数据。

可选的，所述根据所述待处理交通标识图像对应的三维坐标数据和所述待处理道路场景图像对应的三维坐标数据，获得所述待处理道路部件图像在所述待处理道路场景图像中的三维空间数据，包括：

根据所述待处理交通标识图像对应的三维坐标数据和所述待处理道路场景图像对应的三维坐标数据，获得所述待处理道路场景图像的二维坐标数据和所述待处理交通标识图像的二维坐标数据，其中，所述待处理道路场景图像的二维坐标数据和所述待处理交通标识图像的二维坐标数据为同一像素坐标系下的坐标数据；

所述待处理道路场景图像的二维坐标数据和所述待处理交通标识图像的二维坐标数据，获得所述待处理道路部件图像在所述待处理道路场景图像中的三维空间数据。

可选的，所述根据所述待处理道路场景图像对应的三维坐标数据，获得所述待处理交通标识图像对应的三维坐标数据，包括：

根据所述待处理道路场景图像对应的三维坐标数据，获得所述待处理交通标识图像在所述相机坐标系中的三维空间数据；

根据所述待处理交通标识图像在所述相机坐标系中的三维空间数据，获得所述待处理交通标识图像对应的三维坐标数据。

可选的，所述根据所述待处理道路场景图像对应的三维坐标数据，获得所述待处理交通标识图像在所述相机坐标系中的三维空间数据，包括：根据所述待处理道路场景图像对应的三维坐标数据，获得所述待处理交通标识图像在所述相机坐标系中的尺度数据。

可选的，所述根据所述待处理道路场景图像对应的三维坐标数据，获得所述待处理交通标识图像在所述相机坐标系中的尺度数据，包括：

根据所述预设道路部件，在所述待处理道路场景图像中获得至少一个预设对象；

获得所述预设对象对应的三维坐标数据，所述预设对象对应的三维坐标数据为所述预设对象在所述相机坐标系中的坐标数据；

根据所述预设对象对应的三维坐标数据，获得所述预设对象在所述相机坐标系中对应的高度值；

根据所述预设对象在所述相机坐标系中对应的高度值，获得所述待处理交通标识图像在所述相机坐标系中的高度值。

可选的，所述根据所述待处理道路场景图像对应的三维坐标数据，获得所述待处理交通标识图像在所述相机坐标系中的尺度数据，包括：

根据所述预设道路部件，在所述待处理道路场景图像中获得至少一个预设对象；

获得所述预设对象对应的三维坐标数据，所述预设对象对应的三维坐标数据为所述预设对象在所述相机坐标系中的坐标数据；

根据所述预设对象对应的三维坐标数据，获得所述预设对象在所述相机坐标系中对应的宽度值；

根据所述预设对象在所述相机坐标系中对应的宽度值，获得所述待处理交通标识图像在所述相机坐标系中的宽度值。

可选的，所述根据所述待处理道路场景图像对应的三维坐标数据，获得所述待处理交通标识图像在所述相机坐标系中的三维空间数据，包括：根据所述待处理道路场景图像对应的三维坐标数据，获得所述待处理交通标识图像在所述相机坐标系中的角度数据。

可选的，所述根据所述待处理道路场景图像对应的三维坐标数据，获得所述待处理交通标识图像在所述相机坐标系中的角度数据，包括：

根据所述预设道路部件，在所述待处理道路场景图像中获得至少一个预设对象；

获得所述预设对象对应的三维坐标数据，所述预设对象对应的三维坐标数据为所述预设对象在所述相机坐标系中的坐标数据；

根据所述预设对象对应的三维坐标数据，获得所述待处理交通标识图像在所述相机坐标系中的角度数据。

可选的，所述根据所述预设对象对应的三维坐标数据，获得所述待处理交通标识图像在所述相机坐标系中的角度数据，包括：

根据所述预设对象对应的三维坐标数据，获得所述预设对象在所述相机坐标系中对应的方向向量数据；

根据所述预设对象在所述相机坐标系中对应的方向向量数据，获得所述待处理道路部件图像在所述相机坐标系中对应的方向向量数据；

根据所述待处理道路部件图像在所述相机坐标系中对应的方向向量数据，获得所述待处理交通标识图像在所述相机坐标系中的角度数据。

可选的，所述根据所述待处理道路场景图像对应的三维坐标数据，获得所述待处理交通标识图像在所述相机坐标系中的三维空间数据，包括：根据所述待处理道路场景图像对应的三维坐标数据，获得所述待处理交通标识图像在所述相机坐标系中的位置数据。

可选的，所述根据所述待处理道路场景图像对应的三维坐标数据，获得所述待处理交通标识图像在所述相机坐标系中的位置数据，包括：

获得所述预设对象；

获得所述预设对象在待处理道路场景图像中对应的矩形框；

获得所述矩形框中心点对应的三维坐标数据，所述矩形框中心点对应的三维坐标数据为所述矩形框中心点位置在所述相机坐标系中的坐标数据；

获得所述矩形框中心点对应的三维坐标数据，获得所述待处理交通标识图像在所述相机坐标系中的中心位置数据。

可选的，所述待处理道路部件图像为交通标识牌图像，所述预设对象为交通标识牌杆和路灯灯杆中的至少一种。

可选的，所述根据所述待处理道路场景图像，获得所述待处理道路场景图像对应的三维坐标数据，包括：

获得所述待处理道路场景图像对应的二维坐标数据，其中，所述待处理道路场景图像对应的二维坐标数据为所述待处理道路场景图像在像素坐标系中的坐标数据；

获得所述待处理道路场景图像在相机坐标系中对应的深度值；

根据所述待处理道路场景图像在相机坐标系中对应的深度值和所述待处理道路场景图像对应的二维坐标数据，获得所述待处理道路场景图像对应的三维坐标数据。

可选的，所述获得所述待处理道路场景图像对应的深度值，包括：

对所述待处理道路场景图像进行深度值预估，获得所述待处理道路场景图像对应的预估深度值；

对所述待处理道路场景图像对应的预估深度值进行尺度转换，获得所述待处理道路场景图像在相机坐标系中对应的深度值。

可选的，所述对所述待处理道路场景图像对应的预估深度值进行尺度转换，获得所述待处理道路场景图像对应的深度值，包括：

获得深度转换因子，所述深度转换因子为对所述待处理道路场景图像对应的预估深度值进行尺度转换的转换参数；

根据所述深度转换因子，对所述待处理道路场景图像对应的预估深度值进行尺度转换，获得所述待处理道路场景图像在相机坐标系中对应的深度值。

可选的，所述获得深度转换因子，包括：

获得所述待处理道路场景图像中的参照对象，所述参照对象所述待处理道路场景图像中能够获得真实高度值的对象；

根据所述待处理道路场景图像对应的预估深度值，获得所述参照对象对应的预估深度值；

根据所述参照对象对应的预估深度值，获得所述参照对象在所述相机坐标系中对应的深度值；

根据所述参照对象对应的预估深度值和所述相机坐标系中对应的深度值的比例关系，获得所述深度转换因子。

可选的，所述根据所述参照对象对应的预估深度值，获得所述参照对象在所述相机坐标系中对应的深度值，包括：

获得所述参照对象在所述像素坐标系中对应的高度值和所述参照对象在所述相机坐标系中对应的高度值；

根据所述参照对象在所述像素坐标系中对应的高度值和所述参照对象在所述相机坐标系中对应的高度值，获得所述参照对象在所述相机坐标系中对应的深度值。

可选的，所述根据所述参照对象在所述像素坐标系中对应的高度值和所述参照对象在所述相机坐标系中对应的高度值，获得所述参照对象在所述相机坐标系中对应的深度值，包括：

获得所述待处理道路场景图像对应的相机焦距数据；

根据所述参照对象在所述像素坐标系中对应的高度值、所述参照对象在所述相机坐标系中对应的高度值以及所述待处理道路场景图像对应的相机焦距数据，获得所述参照对象在所述相机坐标系中对应的深度值。

可选的，所述根据所述参照对象在所述像素坐标系中对应的高度值、所述参照对象在所述相机坐标系中对应的高度值以及所述待处理道路场景图像对应的相机焦距数据，获得所述参照对象在所述相机坐标系中对应的深度值，包括：根据所述参照对象在所述像素坐标系中对应的高度值和所述参照对象在所述相机坐标系中对应的高度值之间的比例关系与所述待处理道路场景图像对应的相机焦距数据和参照对象在所述相机坐标系中对应的深度值之间的比例关系，获得所述参照对象在所述相机坐标系中对应的深度值。

可选的，所述获得所述参照对象在所述像素坐标系中对应的高度值和所述参照对象在所述相机坐标系中对应的高度值，包括：

根据所述待处理道路场景图像对应的二维坐标数据，获得所述参照对象在所述像素坐标系中对应的二维坐标数据；

根据所述参照对象在所述像素坐标系中对应的二维坐标数据，获得所述参照对象在所述像素坐标系中对应的高度值。

可选的，所述获得所述参照对象在所述像素坐标系中对应的高度值和所述参照对象在所述相机坐标系中对应的高度值，包括：

获得所述参照对象对应的真实高度值；

根据所述参照对象对应的真实高度值，获得所述参照对象在所述相机坐标系中对应的高度值。

可选的，所述根据所述待处理道路场景图像对应的深度值和所述待处理道路场景图像对应的二维坐标数据，获得所述待处理道路场景图像对应的三维坐标数据，包括：

获得所述待处理道路场景图像对应的相机内参数据；

根据所述待处理道路场景图像对应的相机内参数据、所述待处理道路场景图像对应的深度值以及所述待处理道路场景图像对应的二维坐标数据，获得所述待处理道路场景图像对应的三维坐标数据。

可选的，所述根据所述待处理道路部件图像在所述待处理道路场景图像中的三维空间数据，将所述待处理道路部件图像与所述待处理道路场景图像进行合成，包括：根据所述待处理道路部件图像在所述待处理道路场景图像中的三维空间数据，将所述待处理道路部件图像在所述待处理道路场景图像进行线性融合。

可选的，还包括：输出所述目标道路场景图像。

本申请另一方面，提供一种道路场景图像处理装置，包括：

道路场景图像三维坐标数据获得单元，用于获得所述待处理道路场景图像对应的三维坐标数据；

三维空间数据获得单元，用于根据所述待处理道路场景图像对应的三维坐标数据，获得至少一个待处理道路部件图像在所述待处理道路场景图像中的三维空间数据；

目标道路场景图像获得单元，用于根据所述待处理道路部件图像在所述待处理道路场景图像中的三维空间数据，将所述待处理道路部件图像与所述待处理道路场景图像进行合成，获得目标道路场景图像。

本申请另一方面，提供一种电子设备，包括：

处理器；

存储器，用于道路场景图像处理方法的程序，该设备通电并通过所述道路场景图像处理方法的程序后，执行下述步骤：

获得所述待处理道路场景图像对应的三维坐标数据；

根据所述待处理道路场景图像对应的三维坐标数据，获得至少一个待处理道路部件图像在所述待处理道路场景图像中的三维空间数据；

根据所述待处理道路部件图像在所述待处理道路场景图像中的三维空间数据，将所述待处理道路部件图像与所述待处理道路场景图像进行合成，获得目标道路场景图像。

本申请另一方面，提供一种存储介质，其特征在于，

存储有道路场景图像处理方法的程序，该程序被处理器运行，执行下述步骤：

获得所述待处理道路场景图像对应的三维坐标数据；

根据所述待处理道路场景图像对应的三维坐标数据，获得至少一个待处理道路部件图像在所述待处理道路场景图像中的三维空间数据；

根据所述待处理道路部件图像在所述待处理道路场景图像中的三维空间数据，将所述待处理道路部件图像与所述待处理道路场景图像进行合成，获得目标道路场景图像。

与现有技术相比，本申请具有以下优点：

本申请提供的一种道路场景图像处理方法，该道路场景图像处理方法在将待处理道路部件图像与待处理道路场景图像进行合成时，会先获得至少一个待处理道路部件图像在待处理道路场景图像中的三维空间数据，然后再根据待处理道路部件图像在待处理道路场景图像中的三维空间数据，将待处理道路部件图像与待处理道路场景图像进行合成，获得目标道路场景图像。这样，能够确保道路部件图像在目标道路场景图像中尺度、位置以及角度的合理性，从而提高目标道路场景图像的拟真度。

附图说明

图1为本申请提供的第一应用场景实施例的示意图。

图2为本申请提供的第二应用场景实施例的示意图。

图3为本申请第一实施例提供的一种道路场景图像处理方法流的程图。

图4为本申请第一实施例中提供的一种待处理道路部件图像的数目获得方法流的程图。

图5为本申请第一实施提供的一种道路场景图像三维坐标获得方法流的程图。

图6为本申请第一实施中提供的一种深度转换因子获得方法流的程图。

图7为本申请第二实施例提供的一种道路场景图像处理装置的示意图。

图8为本申请实施例提供的一种电子设备的示意图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施的限制。

为了更清楚地展示本申请，先介绍一下本申请实施例提供的道路场景图像处理方法的应用场景。

本申请提供的一些实施例可以应用于服务器的内部处理，如图1所示，其为本申请提供的第一应用场景实施例的示意图。

服务器101先获得待处理道路场景图像和待处理道路部件图像，再对待处理道路场景图像和至少一个待处理道路部件图像进行合成，获得目标道路场景图像，之后输出该目标道路场景图像。

本申请提供的一些实施例还可以应用于服务器与存储器交互的场景，如图2所示，其为本申请提供的第二应用场景实施例的示意图。

服务器201首先获得待处理道路场景图像和待处理道路部件图像；然后，服务器201再将至少一个待处理道路部件图像与待处理道路场景图像进行合成，获得目标道路场景图像，并将获得的目标道路场景图像发送给存储器202；最后，存储器202接收目标道路场景图像。

需要说明的是，上述两个应用场景仅仅是应用场景的两个实施例，提供这两个应用场景实施例的目的是便于理解本申请提供的道路场景图像处理方法，而并非用于限定本申请提供的道路场景图像处理方法。

第一实施例

本申请第一实施例提供一种道路场景图像处理方法，以下结合图3-图6进行说明。

步骤S301，获得待处理道路场景图像对应的三维坐标数据。

在获得待处理道路场景图像对应的三维坐标数据之前，需要先获得待处理道路场景图像和待处理道路部件图像，并确定与待处理道路场景图像进行合成的待处理道路部件图像的数目，具体过程请参照图4，其为本申请第一实施例中提供的一种待处理道路部件图像的数目获得方法流的程图。

步骤S401，获得待处理道路场景图像和待处理道路部件图像。

由于道路部件有诸多种类，如交通标识牌、道路指示牌、路灯以及道路护栏等，不同的道路部件在道路场景中会对应不同的尺度、位置以及角度信息。所以，道路部件图像也同样存在多种，并且不同的道路部件图像在道路场景图像中也会对应不同的尺度、位置以及角度信息。即，不同的道路部件图像在道路场景图像中的三维空间数据不同。本申请第一实施例中的待处理道路图像一般为同一类型的道路部件图像，本申请第一实施例中具体以待处理道路部件图像为待处理交通标识牌图像为例对本申请第一实施例中提供的道路场景图像处理方法进行详细说明。对待处理道路部件图像其它类型的待处理道路部件图像时对应的道路场景图像处理方法，在此不在一一赘述。此外，本申请第一实施例中的待处理道路场景图像为一般为不包含道路部件图像的图像。

为了增加待处理道路场景图像和待处理道路部件图像的数目和多样性，本申请第一实施例中，在获得待处理道路场景图像和待处理道路部件图像时，不仅仅局限于从已经能公开使用的道路场景图像和待处理道路部件图像库中，来直接获得待处理道路场景图像和待处理道路部件图像，还需要通过采集由用户通过车载摄像头、使用手机或者其它私人图像采集设备，采集并上传到预设图像采集库中的图像和/或视频，来获得待处理道路场景图像和待处理道路部件图像。

本申请第一实施例中的待处理道路场景图像一般为城市交通道路场景图像，也可以为商场、大型超市以及展览会的停车场道路场景图像，此外，待处理道路场景图像还可以为商场、大型超市以及展览会内部的道路场景图像，此时，目标道路场景图像一般作为对自移动机器人道路图部件检测方法或者道路图部件识别方法进行模型训练时的样本图像。

步骤S402，根据待处理道路部件图像，在待处理道路场景图像中获得至少一个预设对象。

为了确定与待处理道路场景图像进行合成的待处理道路部件图像的数目，本申请第一申请实施例中采取的方式为，根据待处理道路部件图像，在待处理道路场景图像中确定能够用于安装待处理道路部件图像的对象，并通过预设对象的数目来确定待处理道路部件图像的数目。在待处理道路部件图像为交通标识牌图像时，预设对象为待处理道路场景图像中能够用于安装待处理标志牌图像的交通标识牌杆和路灯灯杆中的至少一种。

在待处理道路场景图像中获得至少一个预设对象的具体过程可以为：通过对待处理道路场景图像进行图像检测，以确定该待处理道路场景图像中包含的预设对象，并在该待处理道路场景图像中标注出全部预设对象所在位置对应的矩形框。本申请第一实施中还可以先对预设对象进行筛选，即先获得待处理道路场景图像中包含的全部预设对象，再进一步获得预设对象对应的像素值，并根据预设的像素阈值，将像素值低于预设的像素阈值的预设对象过滤，仅保留像素值不低于预设的像素阈值的预设对象。

本申请第一实施中提供的道路场景图像处理方法，在获得待处理道路场景图像之前，还可以先对该待处理道路场景图像进行预处理，包括：对该待处理道路场景图像进行去畸变处理。这样能够保证获得的待处理道路场景图像的质量，从而保障道路场景图像处理的成功率。

步骤S403，根据预设对象的数目，获得与待处理道路场景图像进行合成的待处理道路部件图像的数目。

待处理道路部件图像的数目不大于预设对象的数目。

在获得待处理道路场景图像和待处理道路部件图像后，获得待处理道路场景图像对应的三维坐标数据的过程请参照图5，其为本申请第一实施提供的一种道路场景图像三维坐标获得方法流的程图。

步骤S501，获得待处理道路场景图像对应的二维坐标数据。

待处理道路场景图像对应的二维坐标数据为待处理道路场景图像在像素坐标系中的坐标数据。

步骤S502，获得待处理道路场景图像在相机坐标系中对应的深度值。

为了获得待处理道路场景图像对应的深度值，需要首先，对待处理道路场景图像进行深度值预估，获得待处理道路场景图像对应的预估深度值；然后，再对待处理道路场景图像对应的预估深度值进行尺度转换，获得待处理道路场景图像在相机坐标系中对应的深度值。对待处理道路场景图像进行深度值预估可以基于单目图像深度估计算法或者双目图像深度估计算法来实现。

由于基于单目图像深度估计算法或者双目图像深度估计算法获得的待处理道路场景图像对应的预估深度值往往会与待处理道路场景图像对应的真实深度值具有尺度差，所以，需要对待处理道路场景图像对应的预估深度值进行尺度转换，获得待处理道路场景图像在相机坐标系中对应的深度值。此时，需要首先，获得深度转换因子，深度转换因子为对待处理道路场景图像对应的预估深度值进行尺度转换的转换参数；然后，根据深度转换因子，对待处理道路场景图像对应的预估深度值进行尺度转换，获得待处理道路场景图像在相机坐标系中对应的深度值。

本申请第一实施中提供道路场景处理方法获得深度转换因子的过程请参照如图6，其为本申请第一实施中提供的一种深度转换因子获得方法流的程图。

步骤S601，获得待处理道路场景图像中的参照对象.

述参照对象待处理道路场景图像中能够获得真实高度值的对象。如属于道路部件的路灯杆，路灯杆的真实尺度数据(包括高度值、宽度值等)都能够根据《城市道路照明设计标准》等文件中获得。

步骤S602，根据待处理道路场景图像对应的预估深度值，获得参照对象对应的预估深度值。

步骤S603，根据参照对象对应的预估深度值，获得参照对象在相机坐标系中对应的深度值。

在根据参照对象对应的预估深度值，获得参照对象在相机坐标系中对应的深度值时，需要首先，获得参照对象在像素坐标系中对应的高度值和参照对象在相机坐标系中对应的高度值；然后根据参照对象在像素坐标系中对应的高度值和参照对象在相机坐标系中对应的高度值，获得参照对象在相机坐标系中对应的深度值。本申请第一实施例中用(x，y)表示像素坐标系中的坐标，用(X，Y，Z)表示相机坐标系中的坐标，用z表示预估深度值，其中，Z对应相机坐标系中的深度值，预设对象的预估深度值记为z1。

获得参照对象在像素坐标系中对应的高度值，包括：根据待处理道路场景图像对应的二维坐标数据，获得参照对象在像素坐标系中对应的二维坐标数据，根据参照对象在像素坐标系中对应的二维坐标数据，获得参照对象在像素坐标系中对应的高度值。如果参照对象在像素坐标系中顶边坐标的纵坐标为y1，参照对象在像素坐标系中底边坐标的纵坐标为y2，那么，参照对象在像素坐标系中对应的高度值就为y1+y2。

获得参照对象在像素坐标系中对应的高度值和参照对象在相机坐标系中对应的高度值，包括：获得参照对象对应的真实高度值；根据参照对象对应的真实高度值，获得参照对象在相机坐标系中对应的高度值。即，先在《城市道路照明设计标准》等文件中获得参照对象对应的真实高度值，并将该参照对象对应的真实高度值作为参照对象在相机坐标系中对应的高度值。本申请第一实施中将参照对象对应的真实高度值记作H1。

在获得y1+y2和以及H1后，根据参照对象在像素坐标系中对应的高度值和参照对象在相机坐标系中对应的高度值，获得参照对象在相机坐标系中对应的深度值，包括：获得待处理道路场景图像对应的相机焦距数据；根据参照对象在像素坐标系中对应的高度值、参照对象在相机坐标系中对应的高度值以及待处理道路场景图像对应的相机焦距数据，获得参照对象在相机坐标系中对应的深度值。本申请第一实施例中具体以待处理道路场景图像对应的相机焦距数据为f，对根据参照对象在像素坐标系中对应的高度值、参照对象在相机坐标系中对应的高度值以及待处理道路场景图像对应的相机焦距数据的具体过程具体说明。

根据参照对象在像素坐标系中对应的高度值、参照对象在相机坐标系中对应的高度值以及待处理道路场景图像对应的相机焦距数据，获得参照对象在相机坐标系中对应的深度值，包括：根据参照对象在像素坐标系中对应的高度值和参照对象在相机坐标系中对应的高度值之间的比例关系与待处理道路场景图像对应的相机焦距数据和参照对象在相机坐标系中对应的深度值之间的比例关系，获得参照对象在相机坐标系中对应的深度值Z1。如，根据(y1+y2)/H1＝f/Z1，在y1+y2、H1以及f都已知后，即可通过计算的到Z1。

如图6所示，在步骤S604中，根据参照对象对应的预估深度值和相机坐标系中对应的深度值的比例关系，获得深度转换因子。

本申请第一实施中提供的道路场景图像处理方法，在获得Z1后，可以根据Z1/z1来获得深度转换因子s。

步骤S503，获得待处理道路场景图像对应的三维坐标数据。

获得待处理道路场景图像对应的三维坐标数据，包括：根据待处理道路场景图像在相机坐标系中对应的深度值和待处理道路场景图像对应的二维坐标数据，获得待处理道路场景图像对应的三维坐标数据。具体的，获得待处理道路场景图像对应的相机内参数据；根据待处理道路场景图像对应的相机内参数据、待处理道路场景图像对应的深度值以及待处理道路场景图像对应的二维坐标数据，获得待处理道路场景图像对应的三维坐标数据。

步骤S302，根据待处理道路场景图像对应的三维坐标数据，获得至少一个待处理道路部件图像在待处理道路场景图像中的三维空间数据。

本申请第一实施中获得每一个待处理道路部件图像在待处理道路场景图像中的三维空间数据的过程相同。在此，本申请第一实施例在以获得其中一个待处理道路部件图像在待处理道路场景图像中的三维空间数据对本申请第一实施中提供的道路场景图像处理方法进行详细说明。

根据待处理道路场景图像对应的三维坐标数据，获得待处理道路部件图像在待处理道路场景图像中的三维空间数据，包括：根据待处理道路场景图像对应的三维坐标数据，获得待处理交通标识图像对应的三维坐标数据，待处理道路场景图像对应的三维坐标数据和待处理交通标识图像对应的三维坐标数据为同一相机坐标系下的坐标数据；根据待处理交通标识图像对应的三维坐标数据和待处理道路场景图像对应的三维坐标数据，获得待处理道路部件图像在待处理道路场景图像中的三维空间数据。

具体的，根据待处理交通标识图像对应的三维坐标数据和待处理道路场景图像对应的三维坐标数据，获得待处理道路部件图像在待处理道路场景图像中的三维空间数据，包括：根据待处理交通标识图像对应的三维坐标数据和待处理道路场景图像对应的三维坐标数据，获得待处理道路场景图像的二维坐标数据和待处理交通标识图像的二维坐标数据，其中，待处理道路场景图像的二维坐标数据和待处理交通标识图像的二维坐标数据为同一像素坐标系下的坐标数据；待处理道路场景图像的二维坐标数据和待处理交通标识图像的二维坐标数据，获得待处理道路部件图像在待处理道路场景图像中的三维空间数据。即先确定待处理道路部件图像在待处理道路场景图像中的三维空间数据，再根据待处理道路部件图像在待处理道路场景图像中的三维空间数据进一步确定待处理道路部件图像在待处理道路场景图像中的三维空间数据。本申请实施例中待处理交通标识图像在相机坐标系中的三维空间数据包括：待处理交通标识图像在相机坐标系中的尺度数据、待处理交通标识图像在相机坐标系中的位置数据以及待处理交通标识图像在相机坐标系中的位置数据。

本申请第一实施例中，根据待处理道路场景图像对应的三维坐标数据，获得待处理交通标识图像对应的三维坐标数据，包括：根据待处理道路场景图像对应的三维坐标数据，获得待处理交通标识图像在相机坐标系中的三维空间数据；根据待处理交通标识图像在相机坐标系中的三维空间数据，获得待处理交通标识图像对应的三维坐标数据。

具体的，根据待处理道路场景图像对应的三维坐标数据，获得待处理交通标识图像在相机坐标系中的三维空间数据，包括三个不同的步骤：根据待处理道路场景图像对应的三维坐标数据，获得待处理交通标识图像在相机坐标系中的尺度数据；根据待处理道路场景图像对应的三维坐标数据，获得待处理交通标识图像在相机坐标系中的角度数据；根据待处理道路场景图像对应的三维坐标数据，获得待处理交通标识图像在相机坐标系中的位置数据。以下对这三个步骤分别进行详细说明：

根据待处理道路场景图像对应的三维坐标数据，获得待处理交通标识图像在相机坐标系中的尺度数据，包括：根据预设道路部件，在待处理道路场景图像中获得至少一个预设对象；获得预设对象对应的三维坐标数据，预设对象对应的三维坐标数据为预设对象在相机坐标系中的坐标数据；根据预设对象对应的三维坐标数据，获得预设对象在相机坐标系中对应的高度值；根据预设对象在相机坐标系中对应的高度值，获得待处理交通标识图像在相机坐标系中的高度值。

根据待处理道路场景图像对应的三维坐标数据，获得待处理交通标识图像在相机坐标系中的尺度数据，还包括：根据预设道路部件，在待处理道路场景图像中获得至少一个预设对象；获得预设对象对应的三维坐标数据，预设对象对应的三维坐标数据为预设对象在相机坐标系中的坐标数据；根据预设对象对应的三维坐标数据，获得预设对象在相机坐标系中对应的宽度值；根据预设对象在相机坐标系中对应的宽度值，获得待处理交通标识图像在相机坐标系中的宽度值。

根据待处理道路场景图像对应的三维坐标数据，获得待处理交通标识图像在相机坐标系中的角度数据，包括：根据预设道路部件，在待处理道路场景图像中获得至少一个预设对象；获得预设对象对应的三维坐标数据，预设对象对应的三维坐标数据为预设对象在相机坐标系中的坐标数据；根据预设对象对应的三维坐标数据，获得待处理交通标识图像在相机坐标系中的角度数据。

需要说明的是，根据预设对象对应的三维坐标数据，获得待处理交通标识图像在相机坐标系中的角度数据的过程如下：根据预设对象对应的三维坐标数据，获得预设对象在相机坐标系中对应的方向向量数据；根据预设对象在相机坐标系中对应的方向向量数据，获得待处理道路部件图像在相机坐标系中对应的方向向量数据；根据待处理道路部件图像在相机坐标系中对应的方向向量数据，获得待处理交通标识图像在相机坐标系中的角度数据。

根据待处理道路场景图像对应的三维坐标数据，获得待处理交通标识图像在相机坐标系中的位置数据，包括：获得预设对象；获得预设对象在待处理道路场景图像中对应的矩形框；获得矩形框中心点对应的三维坐标数据，矩形框中心点对应的三维坐标数据为矩形框中心点位置在相机坐标系中的坐标数据；获得矩形框中心点对应的三维坐标数据，获得待处理交通标识图像在相机坐标系中的中心位置数据。

步骤S303，将待处理道路部件图像与待处理道路场景图像进行合成。

将待处理道路部件图像与待处理道路场景图像进行合成时，需要依据待处理道路部件图像在待处理道路场景图像中的三维空间数据作为指导进行图像合成。即，根据待处理道路部件图像在待处理道路场景图像中的三维空间数据，将待处理道路部件图像与待处理道路场景图像进行合成。其中，本申请第一实施例中将采取的图像合成方式为：将待处理道路部件图像在待处理道路场景图像进行线性融合。

本申请提供的一种道路场景图像处理方法，该道路场景图像处理方法在将待处理道路部件图像与待处理道路场景图像进行合成时，会先获得至少一个待处理道路部件图像在待处理道路场景图像中的三维空间数据，然后再根据待处理道路部件图像在待处理道路场景图像中的三维空间数据，将待处理道路部件图像与待处理道路场景图像进行合成，获得目标道路场景图像。这样，能够确保道路部件图像在目标道路场景图像中尺度、位置以及角度的合理性，从而提高目标道路场景图像的拟真度。

本申请第一实施例中，在获得目标道路场景图像后，还可以进一步展示该目标道路场景图像，以用于判断该目标道路场景图像是否符合需求以及是否需要进一步调整目标道路场景图像的对比度、亮度、色彩饱和度等。

本申请第一实施中提供的一种道路场景图像处理方法，在获得目标道路场景图像后，还可以输出该目标道路场景图像。该目标道路场景图像可以作为模型训练图像数据，用于对道路图部件检测方法或者道路图部件识别方法进行模型训练，以提高道路图部件检测方法或者道路图部件识别方法对道路部件检测或者识别的精确度。

第二实施例

在上述第一实施例中，提供了一种道路场景图像处理方法，与之相对应的，本申请第二实施例提供了一种道路场景图像处理装置。由于装置实施例基本相似于方法第一实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。

请参照图7，为本申请第二实施例提供的一种道路场景图像处理装置的示意图。

该道路场景图像处理装置，包括：

道路场景图像三维坐标数据获得单元701，用于获得所述待处理道路场景图像对应的三维坐标数据；

三维空间数据获得单元702，用于根据所述待处理道路场景图像对应的三维坐标数据，获得至少一个待处理道路部件图像在所述待处理道路场景图像中的三维空间数据；

目标道路场景图像获得单元703，用于根据所述待处理道路部件图像在所述待处理道路场景图像中的三维空间数据，将所述待处理道路部件图像与所述待处理道路场景图像进行合成，获得目标道路场景图像。

可选的，还包括：

图像获得单元，用于获得所述待处理道路场景图像和所述待处理道路部件图像；

预设对象获得单元，用于根据所述待处理道路部件图像，在所述待处理道路场景图像中获得至少一个预设对象；

图像数目获得单元，用于根据所述预设对象的数目，获得与所述待处理道路场景图像进行合成的所述待处理道路部件图像的数目，其中，所述待处理道路部件图像的数目不大于所述预设对象的数目。

所述三维空间数据获得单元702具体用于，根据所述待处理道路场景图像对应的三维坐标数据，获得所述待处理交通标识图像对应的三维坐标数据，所述待处理道路场景图像对应的三维坐标数据和所述待处理交通标识图像对应的三维坐标数据为同一相机坐标系下的坐标数据；根据所述待处理交通标识图像对应的三维坐标数据和所述待处理道路场景图像对应的三维坐标数据，获得所述待处理道路部件图像在所述待处理道路场景图像中的三维空间数据。

可选的，所述根据所述待处理交通标识图像对应的三维坐标数据和所述待处理道路场景图像对应的三维坐标数据，获得所述待处理道路部件图像在所述待处理道路场景图像中的三维空间数据，包括：

根据所述待处理交通标识图像对应的三维坐标数据和所述待处理道路场景图像对应的三维坐标数据，获得所述待处理道路场景图像的二维坐标数据和所述待处理交通标识图像的二维坐标数据，其中，所述待处理道路场景图像的二维坐标数据和所述待处理交通标识图像的二维坐标数据为同一像素坐标系下的坐标数据；

所述待处理道路场景图像的二维坐标数据和所述待处理交通标识图像的二维坐标数据，获得所述待处理道路部件图像在所述待处理道路场景图像中的三维空间数据。

可选的，所述根据所述待处理道路场景图像对应的三维坐标数据，获得所述待处理交通标识图像对应的三维坐标数据，包括：

根据所述待处理道路场景图像对应的三维坐标数据，获得所述待处理交通标识图像在所述相机坐标系中的三维空间数据；

根据所述待处理交通标识图像在所述相机坐标系中的三维空间数据，获得所述待处理交通标识图像对应的三维坐标数据。

可选的，所述根据所述待处理道路场景图像对应的三维坐标数据，获得所述待处理交通标识图像在所述相机坐标系中的三维空间数据，包括：根据所述待处理道路场景图像对应的三维坐标数据，获得所述待处理交通标识图像在所述相机坐标系中的尺度数据。

可选的，所述根据所述待处理道路场景图像对应的三维坐标数据，获得所述待处理交通标识图像在所述相机坐标系中的尺度数据，包括：

根据所述预设道路部件，在所述待处理道路场景图像中获得至少一个预设对象；

获得所述预设对象对应的三维坐标数据，所述预设对象对应的三维坐标数据为所述预设对象在所述相机坐标系中的坐标数据；

根据所述预设对象对应的三维坐标数据，获得所述预设对象在所述相机坐标系中对应的高度值；

根据所述预设对象在所述相机坐标系中对应的高度值，获得所述待处理交通标识图像在所述相机坐标系中的高度值。

可选的，所述根据所述待处理道路场景图像对应的三维坐标数据，获得所述待处理交通标识图像在所述相机坐标系中的尺度数据，包括：

根据所述预设道路部件，在所述待处理道路场景图像中获得至少一个预设对象；

获得所述预设对象对应的三维坐标数据，所述预设对象对应的三维坐标数据为所述预设对象在所述相机坐标系中的坐标数据；

根据所述预设对象对应的三维坐标数据，获得所述预设对象在所述相机坐标系中对应的宽度值；

根据所述预设对象在所述相机坐标系中对应的宽度值，获得所述待处理交通标识图像在所述相机坐标系中的宽度值。

可选的，所述根据所述待处理道路场景图像对应的三维坐标数据，获得所述待处理交通标识图像在所述相机坐标系中的三维空间数据，包括：根据所述待处理道路场景图像对应的三维坐标数据，获得所述待处理交通标识图像在所述相机坐标系中的角度数据。

可选的，所述根据所述待处理道路场景图像对应的三维坐标数据，获得所述待处理交通标识图像在所述相机坐标系中的角度数据，包括：

根据所述预设道路部件，在所述待处理道路场景图像中获得至少一个预设对象；

获得所述预设对象对应的三维坐标数据，所述预设对象对应的三维坐标数据为所述预设对象在所述相机坐标系中的坐标数据；

根据所述预设对象对应的三维坐标数据，获得所述待处理交通标识图像在所述相机坐标系中的角度数据。

可选的，所述根据所述预设对象对应的三维坐标数据，获得所述待处理交通标识图像在所述相机坐标系中的角度数据，包括：

根据所述预设对象对应的三维坐标数据，获得所述预设对象在所述相机坐标系中对应的方向向量数据；

根据所述预设对象在所述相机坐标系中对应的方向向量数据，获得所述待处理道路部件图像在所述相机坐标系中对应的方向向量数据；

根据所述待处理道路部件图像在所述相机坐标系中对应的方向向量数据，获得所述待处理交通标识图像在所述相机坐标系中的角度数据。

可选的，所述根据所述待处理道路场景图像对应的三维坐标数据，获得所述待处理交通标识图像在所述相机坐标系中的三维空间数据，包括：根据所述待处理道路场景图像对应的三维坐标数据，获得所述待处理交通标识图像在所述相机坐标系中的位置数据。

可选的，所述根据所述待处理道路场景图像对应的三维坐标数据，获得所述待处理交通标识图像在所述相机坐标系中的位置数据，包括：

获得所述预设对象；

获得所述预设对象在待处理道路场景图像中对应的矩形框；

获得所述矩形框中心点对应的三维坐标数据，所述矩形框中心点对应的三维坐标数据为所述矩形框中心点位置在所述相机坐标系中的坐标数据；

获得所述矩形框中心点对应的三维坐标数据，获得所述待处理交通标识图像在所述相机坐标系中的中心位置数据。

可选的，其特征在于，所述待处理道路部件图像为交通标识牌图像，所述预设对象为交通标识牌杆和路灯灯杆中的至少一种。

道路场景图像三维坐标数据获得单元701具体用于，获得所述待处理道路场景图像对应的二维坐标数据，其中，所述待处理道路场景图像对应的二维坐标数据为所述待处理道路场景图像在像素坐标系中的坐标数据；获得所述待处理道路场景图像在相机坐标系中对应的深度值；根据所述待处理道路场景图像在相机坐标系中对应的深度值和所述待处理道路场景图像对应的二维坐标数据，获得所述待处理道路场景图像对应的三维坐标数据。

可选的，所述获得所述待处理道路场景图像对应的深度值，包括：

对所述待处理道路场景图像进行深度值预估，获得所述待处理道路场景图像对应的预估深度值；

对所述待处理道路场景图像对应的预估深度值进行尺度转换，获得所述待处理道路场景图像在相机坐标系中对应的深度值。

可选的，所述对所述待处理道路场景图像对应的预估深度值进行尺度转换，获得所述待处理道路场景图像对应的深度值，包括：

获得深度转换因子，所述深度转换因子为对所述待处理道路场景图像对应的预估深度值进行尺度转换的转换参数；

根据所述深度转换因子，对所述待处理道路场景图像对应的预估深度值进行尺度转换，获得所述待处理道路场景图像在相机坐标系中对应的深度值。

可选的，所述获得深度转换因子，包括：

获得所述待处理道路场景图像中的参照对象，所述参照对象所述待处理道路场景图像中能够获得真实高度值的对象；

根据所述待处理道路场景图像对应的预估深度值，获得所述参照对象对应的预估深度值；

根据所述参照对象对应的预估深度值，获得所述参照对象在所述相机坐标系中对应的深度值；

根据所述参照对象对应的预估深度值和所述相机坐标系中对应的深度值的比例关系，获得所述深度转换因子。

可选的，所述根据所述参照对象对应的预估深度值，获得所述参照对象在所述相机坐标系中对应的深度值，包括：

获得所述参照对象在所述像素坐标系中对应的高度值和所述参照对象在所述相机坐标系中对应的高度值；

根据所述参照对象在所述像素坐标系中对应的高度值和所述参照对象在所述相机坐标系中对应的高度值，获得所述参照对象在所述相机坐标系中对应的深度值。

可选的，所述根据所述参照对象在所述像素坐标系中对应的高度值和所述参照对象在所述相机坐标系中对应的高度值，获得所述参照对象在所述相机坐标系中对应的深度值，包括：

获得所述待处理道路场景图像对应的相机焦距数据；

根据所述参照对象在所述像素坐标系中对应的高度值、所述参照对象在所述相机坐标系中对应的高度值以及所述待处理道路场景图像对应的相机焦距数据，获得所述参照对象在所述相机坐标系中对应的深度值。

可选的，所述根据所述参照对象在所述像素坐标系中对应的高度值、所述参照对象在所述相机坐标系中对应的高度值以及所述待处理道路场景图像对应的相机焦距数据，获得所述参照对象在所述相机坐标系中对应的深度值，包括：根据所述参照对象在所述像素坐标系中对应的高度值和所述参照对象在所述相机坐标系中对应的高度值之间的比例关系与所述待处理道路场景图像对应的相机焦距数据和参照对象在所述相机坐标系中对应的深度值之间的比例关系，获得所述参照对象在所述相机坐标系中对应的深度值。

可选的，所述获得所述参照对象在所述像素坐标系中对应的高度值和所述参照对象在所述相机坐标系中对应的高度值，包括：

根据所述待处理道路场景图像对应的二维坐标数据，获得所述参照对象在所述像素坐标系中对应的二维坐标数据；

根据所述参照对象在所述像素坐标系中对应的二维坐标数据，获得所述参照对象在所述像素坐标系中对应的高度值。

可选的，所述获得所述参照对象在所述像素坐标系中对应的高度值和所述参照对象在所述相机坐标系中对应的高度值，包括：

获得所述参照对象对应的真实高度值；

根据所述参照对象对应的真实高度值，获得所述参照对象在所述相机坐标系中对应的高度值。

可选的，所述根据所述待处理道路场景图像对应的深度值和所述待处理道路场景图像对应的二维坐标数据，获得所述待处理道路场景图像对应的三维坐标数据，包括：

获得所述待处理道路场景图像对应的相机内参数据；

根据所述待处理道路场景图像对应的相机内参数据、所述待处理道路场景图像对应的深度值以及所述待处理道路场景图像对应的二维坐标数据，获得所述待处理道路场景图像对应的三维坐标数据。

所述目标道路场景图像获得单元703具体用于，根据所述待处理道路部件图像在所述待处理道路场景图像中的三维空间数据，将所述待处理道路部件图像在所述待处理道路场景图像进行线性融合。

还包括：图像输出单元，用于输出所述目标道路场景图像。

第三实施例

与本申请第一实施例提供的道路场景图像处理方法相对应的，本申请第三实施例提供一种电子设备。

如图8所示，图8为本申请实施例提供的一种电子设备的示意图。所述电子设备包括：

处理器801；以及

存储器802，用于存储道路场景图像处理方法的程序，该设备通电并通过所述处理器运行该道路场景图像处理方法的程序后，执行下述步骤：

获得所述待处理道路场景图像对应的三维坐标数据；

根据所述待处理道路场景图像对应的三维坐标数据，获得至少一个待处理道路部件图像在所述待处理道路场景图像中的三维空间数据；

根据所述待处理道路部件图像在所述待处理道路场景图像中的三维空间数据，将所述待处理道路部件图像与所述待处理道路场景图像进行合成，获得目标道路场景图像。

需要说明的是，对于本申请第三实施例提供的电子设备的详细描述可以参考对本申请第一实施例的相关描述，这里不再赘述。

第四实施例

与本申请第一实施例提供的道路场景图像处理方法相对应的，本申请第四实施例提供一种存储介质，存储有道路场景图像处理方法的程序，该程序被处理器运行，执行下述步骤：

获得所述待处理道路场景图像对应的三维坐标数据；

根据所述待处理道路场景图像对应的三维坐标数据，获得至少一个待处理道路部件图像在所述待处理道路场景图像中的三维空间数据；

根据所述待处理道路部件图像在所述待处理道路场景图像中的三维空间数据，将所述待处理道路部件图像与所述待处理道路场景图像进行合成，获得目标道路场景图像。

需要说明的是，对于本申请第四实施例提供的存储介质的详细描述可以参考对本申请第一实施例的相关描述，这里不再赘述。

本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本发明的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(Flash RAM)。内存是计算机可读介质的示例。

1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储介质或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(TransitoryMedia)，如调制的数据信号和载波。

2、本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD+ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (24)

1.一种道路场景图像处理方法，其特征在于，包括：

获得待处理道路场景图像对应的三维坐标数据，所述待处理道路场景图像为不包含道路部件图像的图像；

根据所述待处理道路场景图像对应的三维坐标数据，获得至少一个待处理道路部件图像在所述待处理道路场景图像中的三维空间数据，所述待处理道路部件图像为交通标识图像；

根据所述待处理道路部件图像在所述待处理道路场景图像中的三维空间数据，将所述待处理道路部件图像与所述待处理道路场景图像进行合成，获得目标道路场景图像；

其中，所述根据所述待处理道路场景图像对应的三维坐标数据，获得至少一个待处理道路部件图像在所述待处理道路场景图像中的三维空间数据，包括：根据所述待处理道路场景图像对应的三维坐标数据，获得所述待处理交通标识图像对应的三维坐标数据，所述待处理道路场景图像的三维坐标数据和所述待处理交通标识图像的三维坐标数据为同一个相机坐标系下的三维坐标数据；根据所述待处理交通标识图像对应的三维坐标数据和所述待处理道路场景图像对应的三维坐标数据，获得至少一个所述待处理交通标识图像在相机坐标系中的位置数据、角度数据、尺度数据。

2.根据权利要求1所述的道路场景图像处理方法，其特征在于，还包括：

获得所述待处理道路场景图像和所述待处理道路部件图像；

根据所述待处理道路部件图像，在所述待处理道路场景图像中获得至少一个预设对象，所述预设对象为交通标识牌杆和路灯灯杆中的至少一种；

根据所述预设对象的数目，获得与所述待处理道路场景图像进行合成的所述待处理道路部件图像的数目，其中，所述待处理道路部件图像的数目不大于所述预设对象的数目。

3.根据权利要求1所述的道路场景图像处理方法，其特征在于，所述根据所述待处理交通标识图像对应的三维坐标数据和所述待处理道路场景图像对应的三维坐标数据，获得所述待处理道路部件图像在所述待处理道路场景图像中的三维空间数据，包括：

根据所述待处理交通标识图像对应的三维坐标数据和所述待处理道路场景图像对应的三维坐标数据，获得所述待处理道路场景图像的二维坐标数据和所述待处理交通标识图像的二维坐标数据，其中，所述待处理道路场景图像的二维坐标数据和所述待处理交通标识图像的二维坐标数据为同一像素坐标系下的坐标数据；

所述待处理道路场景图像的二维坐标数据和所述待处理交通标识图像的二维坐标数据，获得所述待处理道路部件图像在所述待处理道路场景图像中的三维空间数据。

4.根据权利要求1所述的道路场景图像处理方法，其特征在于，所述根据所述待处理道路场景图像对应的三维坐标数据，获得所述待处理交通标识图像对应的三维坐标数据，包括：

根据所述待处理道路场景图像对应的三维坐标数据，获得所述待处理交通标识图像在所述相机坐标系中的三维空间数据；

根据所述待处理交通标识图像在所述相机坐标系中的三维空间数据，获得所述待处理交通标识图像对应的三维坐标数据。

5.根据权利要求1所述的道路场景图像处理方法，其特征在于，所述根据所述待处理交通标识图像对应的三维坐标数据和所述待处理道路场景图像对应的三维坐标数据，获得至少一个所述待处理交通标识图像在相机坐标系中的位置数据、角度数据、尺度数据，包括：

根据所述待处理道路部件图像，在所述待处理道路场景图像中获得至少一个预设对象，所述预设对象为交通标识牌杆和路灯灯杆中的至少一种；

获得所述预设对象对应的三维坐标数据，所述预设对象对应的三维坐标数据为所述预设对象在所述相机坐标系中的坐标数据；

根据所述预设对象对应的三维坐标数据，获得所述预设对象在所述相机坐标系中对应的高度值；

根据所述预设对象在所述相机坐标系中对应的高度值，获得所述待处理交通标识图像在所述相机坐标系中的高度值。

6.根据权利要求1所述的道路场景图像处理方法，其特征在于，所述根据所述待处理交通标识图像对应的三维坐标数据和所述待处理道路场景图像对应的三维坐标数据，获得至少一个所述待处理交通标识图像在相机坐标系中的位置数据、角度数据、尺度数据，包括：

根据所述待处理道路部件图像，在所述待处理道路场景图像中获得至少一个预设对象，所述预设对象为交通标识牌杆和路灯灯杆中的至少一种；

获得所述预设对象对应的三维坐标数据，所述预设对象对应的三维坐标数据为所述预设对象在所述相机坐标系中的坐标数据；

根据所述预设对象对应的三维坐标数据，获得所述预设对象在所述相机坐标系中对应的宽度值；

根据所述预设对象在所述相机坐标系中对应的宽度值，获得所述待处理交通标识图像在所述相机坐标系中的宽度值。

7.根据权利要求1所述的道路场景图像处理方法，其特征在于，所述根据所述待处理交通标识图像对应的三维坐标数据和所述待处理道路场景图像对应的三维坐标数据，获得至少一个所述待处理交通标识图像在相机坐标系中的位置数据、角度数据、尺度数据，包括：

根据所述待处理道路部件图像，在所述待处理道路场景图像中获得至少一个预设对象，所述预设对象为交通标识牌杆和路灯灯杆中的至少一种；

获得所述预设对象对应的三维坐标数据，所述预设对象对应的三维坐标数据为所述预设对象在所述相机坐标系中的坐标数据；

根据所述预设对象对应的三维坐标数据，获得所述待处理交通标识图像在所述相机坐标系中的角度数据。

8.根据权利要求7所述的道路场景图像处理方法，其特征在于，所述根据所述预设对象对应的三维坐标数据，获得所述待处理交通标识图像在所述相机坐标系中的角度数据，包括：

根据所述预设对象对应的三维坐标数据，获得所述预设对象在所述相机坐标系中对应的方向向量数据；

根据所述预设对象在所述相机坐标系中对应的方向向量数据，获得所述待处理道路部件图像在所述相机坐标系中对应的方向向量数据；

根据所述待处理道路部件图像在所述相机坐标系中对应的方向向量数据，获得所述待处理交通标识图像在所述相机坐标系中的角度数据。

9.根据权利要求1所述的道路场景图像处理方法，其特征在于，所述根据所述待处理交通标识图像对应的三维坐标数据和所述待处理道路场景图像对应的三维坐标数据，获得至少一个所述待处理交通标识图像在相机坐标系中的位置数据、角度数据、尺度数据，包括：

获得预设对象，所述预设对象为交通标识牌杆和路灯灯杆中的至少一种；

获得所述预设对象在待处理道路场景图像中对应的矩形框；

获得所述矩形框中心点对应的三维坐标数据，所述矩形框中心点对应的三维坐标数据为所述矩形框中心点位置在所述相机坐标系中的坐标数据；

获得所述矩形框中心点对应的三维坐标数据，获得所述待处理交通标识图像在所述相机坐标系中的中心位置数据。

10.根据权利要求1所述的道路场景图像处理方法，其特征在于，所述获得所述待处理道路场景图像对应的三维坐标数据，包括：

获得所述待处理道路场景图像对应的二维坐标数据，其中，所述待处理道路场景图像对应的二维坐标数据为所述待处理道路场景图像在像素坐标系中的坐标数据；

获得所述待处理道路场景图像在相机坐标系中对应的深度值；

根据所述待处理道路场景图像在相机坐标系中对应的深度值和所述待处理道路场景图像对应的二维坐标数据，获得所述待处理道路场景图像对应的三维坐标数据。

11.根据权利要求10所述的道路场景图像处理方法，其特征在于，所述获得所述待处理道路场景图像对应的深度值，包括：

对所述待处理道路场景图像进行深度值预估，获得所述待处理道路场景图像对应的预估深度值；

对所述待处理道路场景图像对应的预估深度值进行尺度转换，获得所述待处理道路场景图像在相机坐标系中对应的深度值。

12.根据权利要求11所述的道路场景图像处理方法，其特征在于，所述对所述待处理道路场景图像对应的预估深度值进行尺度转换，获得所述待处理道路场景图像对应的深度值，包括：

获得深度转换因子，所述深度转换因子为对所述待处理道路场景图像对应的预估深度值进行尺度转换的转换参数；

根据所述深度转换因子，对所述待处理道路场景图像对应的预估深度值进行尺度转换，获得所述待处理道路场景图像在相机坐标系中对应的深度值。

13.根据权利要求12所述的道路场景图像处理方法，其特征在于，所述获得深度转换因子，包括：

获得所述待处理道路场景图像中的参照对象，所述参照对象所述待处理道路场景图像中能够获得真实高度值的对象；

根据所述待处理道路场景图像对应的预估深度值，获得所述参照对象对应的预估深度值；

根据所述参照对象对应的预估深度值，获得所述参照对象在所述相机坐标系中对应的深度值；

根据所述参照对象对应的预估深度值和所述相机坐标系中对应的深度值的比例关系，获得所述深度转换因子。

14.根据权利要求13所述的道路场景图像处理方法，其特征在于，所述根据所述参照对象对应的预估深度值，获得所述参照对象在所述相机坐标系中对应的深度值，包括：

获得所述参照对象在所述像素坐标系中对应的高度值和所述参照对象在所述相机坐标系中对应的高度值；

根据所述参照对象在所述像素坐标系中对应的高度值和所述参照对象在所述相机坐标系中对应的高度值，获得所述参照对象在所述相机坐标系中对应的深度值。

15.根据权利要求14所述的道路场景图像处理方法，其特征在于，所述根据所述参照对象在所述像素坐标系中对应的高度值和所述参照对象在所述相机坐标系中对应的高度值，获得所述参照对象在所述相机坐标系中对应的深度值，包括：

获得所述待处理道路场景图像对应的相机焦距数据；

根据所述参照对象在所述像素坐标系中对应的高度值、所述参照对象在所述相机坐标系中对应的高度值以及所述待处理道路场景图像对应的相机焦距数据，获得所述参照对象在所述相机坐标系中对应的深度值。

16.根据权利要求15所述的道路场景图像处理方法，其特征在于，所述根据所述参照对象在所述像素坐标系中对应的高度值、所述参照对象在所述相机坐标系中对应的高度值以及所述待处理道路场景图像对应的相机焦距数据，获得所述参照对象在所述相机坐标系中对应的深度值，包括：根据所述参照对象在所述像素坐标系中对应的高度值和所述参照对象在所述相机坐标系中对应的高度值之间的比例关系与所述待处理道路场景图像对应的相机焦距数据和参照对象在所述相机坐标系中对应的深度值之间的比例关系，获得所述参照对象在所述相机坐标系中对应的深度值。

17.根据权利要求14所述的道路场景图像处理方法，其特征在于，所述获得所述参照对象在所述像素坐标系中对应的高度值和所述参照对象在所述相机坐标系中对应的高度值，包括：

根据所述待处理道路场景图像对应的二维坐标数据，获得所述参照对象在所述像素坐标系中对应的二维坐标数据；

根据所述参照对象在所述像素坐标系中对应的二维坐标数据，获得所述参照对象在所述像素坐标系中对应的高度值。

18.根据权利要求14所述的道路场景图像处理方法，其特征在于，所述获得所述参照对象在所述像素坐标系中对应的高度值和所述参照对象在所述相机坐标系中对应的高度值，包括：

获得所述参照对象对应的真实高度值；

根据所述参照对象对应的真实高度值，获得所述参照对象在所述相机坐标系中对应的高度值。

19.根据权利要求10所述的道路场景图像处理方法，其特征在于，所述根据所述待处理道路场景图像对应的深度值和所述待处理道路场景图像对应的二维坐标数据，获得所述待处理道路场景图像对应的三维坐标数据，包括：

获得所述待处理道路场景图像对应的相机内参数据；

根据所述待处理道路场景图像对应的相机内参数据、所述待处理道路场景图像对应的深度值以及所述待处理道路场景图像对应的二维坐标数据，获得所述待处理道路场景图像对应的三维坐标数据。

20.根据权利要求1所述的道路场景图像处理方法，其特征在于，所述根据所述待处理道路部件图像在所述待处理道路场景图像中的三维空间数据，将所述待处理道路部件图像与所述待处理道路场景图像进行合成，包括：根据所述待处理道路部件图像在所述待处理道路场景图像中的三维空间数据，将所述待处理道路部件图像在所述待处理道路场景图像进行线性融合。

21.根据权利要求1所述的道路场景图像处理方法，其特征在于，还包括：输出所述目标道路场景图像。

22.一种道路场景图像处理装置，其特征在于，包括：

道路场景图像三维坐标数据获得单元，用于获得待处理道路场景图像对应的三维坐标数据，所述待处理道路场景图像为不包含道路部件图像的图像；

三维空间数据获得单元，用于根据所述待处理道路场景图像对应的三维坐标数据，获得至少一个待处理道路部件图像在所述待处理道路场景图像中的三维空间数据，所述待处理道路部件图像为交通标识图像；

目标道路场景图像获得单元，用于根据所述待处理道路部件图像在所述待处理道路场景图像中的三维空间数据，将所述待处理道路部件图像与所述待处理道路场景图像进行合成，获得目标道路场景图像；

其中，所述根据所述待处理道路场景图像对应的三维坐标数据，获得至少一个待处理道路部件图像在所述待处理道路场景图像中的三维空间数据，包括：根据所述待处理道路场景图像对应的三维坐标数据，获得所述待处理交通标识图像对应的三维坐标数据，所述待处理道路场景图像的三维坐标数据和所述待处理交通标识图像的三维坐标数据为同一个相机坐标系下的三维坐标数据；根据所述待处理交通标识图像对应的三维坐标数据和所述待处理道路场景图像对应的三维坐标数据，获得至少一个所述待处理交通标识图像在相机坐标系中的位置数据、角度数据、尺度数据。

23.一种电子设备，其特征在于，包括：

处理器；

存储器，用于道路场景图像处理方法的程序，该设备通电并通过所述道路场景图像处理方法的程序后，执行下述步骤：

获得待处理道路场景图像对应的三维坐标数据，所述待处理道路场景图像为不包含道路部件图像的图像；

根据所述待处理道路场景图像对应的三维坐标数据，获得至少一个待处理道路部件图像在所述待处理道路场景图像中的三维空间数据，所述待处理道路部件图像为交通标识图像；

根据所述待处理道路部件图像在所述待处理道路场景图像中的三维空间数据，将所述待处理道路部件图像与所述待处理道路场景图像进行合成，获得目标道路场景图像；

其中，所述根据所述待处理道路场景图像对应的三维坐标数据，获得至少一个待处理道路部件图像在所述待处理道路场景图像中的三维空间数据，包括：根据所述待处理道路场景图像对应的三维坐标数据，获得所述待处理交通标识图像对应的三维坐标数据，所述待处理道路场景图像的三维坐标数据和所述待处理交通标识图像的三维坐标数据为同一个相机坐标系下的三维坐标数据；根据所述待处理交通标识图像对应的三维坐标数据和所述待处理道路场景图像对应的三维坐标数据，获得至少一个所述待处理交通标识图像在相机坐标系中的位置数据、角度数据、尺度数据。

24.一种存储介质，其特征在于，

存储有道路场景图像处理方法的程序，该程序被处理器运行，执行下述步骤：

获得待处理道路场景图像对应的三维坐标数据，所述待处理道路场景图像为不包含道路部件图像的图像；

根据所述待处理道路场景图像对应的三维坐标数据，获得至少一个待处理道路部件图像在所述待处理道路场景图像中的三维空间数据，所述待处理道路部件图像为交通标识图像；

根据所述待处理道路部件图像在所述待处理道路场景图像中的三维空间数据，将所述待处理道路部件图像与所述待处理道路场景图像进行合成，获得目标道路场景图像；

其中，所述根据所述待处理道路场景图像对应的三维坐标数据，获得至少一个待处理道路部件图像在所述待处理道路场景图像中的三维空间数据，包括：根据所述待处理道路场景图像对应的三维坐标数据，获得所述待处理交通标识图像对应的三维坐标数据，所述待处理道路场景图像的三维坐标数据和所述待处理交通标识图像的三维坐标数据为同一个相机坐标系下的三维坐标数据；根据所述待处理交通标识图像对应的三维坐标数据和所述待处理道路场景图像对应的三维坐标数据，获得至少一个所述待处理交通标识图像在相机坐标系中的位置数据、角度数据、尺度数据。