CN114004957A - 增强现实图片的生成方法、装置、设备和存储介质 - Google Patents

Abstract

本申请提供一种增强现实图片的生成方法、装置、设备、存储介质和程序产品，可保证虚拟物以合适位姿融合至现实图片，提升增强现实图片的真实感；该方法可用于测试自动驾驶算法，包括：获取与现实目标对象在现实场景中的真实位姿存在差异的上报位姿；确定以上报位姿对数字孪生场景进行图像采集所获得的目标图片；目标图片包括位于数字孪生场景的虚拟物和数字孪生参照物；获取现实目标对象以真实位姿在现实场景中采集的包括现实参照物的现实图片；确定将目标图片中数字孪生参照物的位姿调整至与现实图片中现实参照物的位姿重合所需的位姿偏移量，按位姿偏移量对虚拟物的位姿进行调整；将虚拟物以调整后的位姿融合至现实图片，得到增强现实图片。

Description

增强现实图片的生成方法、装置、设备和存储介质

技术领域

本申请涉及增强现实技术领域，特别是涉及一种增强现实图片的生成方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

增强现实技术，作为一种将虚拟物与真实世界融合的技术，旨在拓展真实世界的信息，增强真实世界的表达。增强现实技术可以被应用于优化自动驾驶算法中，将虚拟交通流等虚拟物融合至现实图片中，得到增强现实图片，以供自动驾驶算法进行感知和决策规划，实现自动驾驶算法的优化。

传统的增强现实图片的生成过程中，虚拟物融合至现实图片的姿态难以确定，导致融合得到的增强现实图片的真实感较低。

发明内容

基于此，有必要针对上述技术问题，提供一种增强现实图片的生成方法、装置、计算机设备、存储介质和计算机程序产品。

一种增强现实图片的生成方法，所述方法包括：

获取在现实场景中行进的现实目标对象的上报位姿；

在与所述现实场景对应的数字孪生场景中，确定以所述上报位姿对所述数字孪生场景进行图像采集所获得的目标图片；所述数字孪生场景包括不属于所述现实场景的虚拟物以及与属于所述现实场景的现实参照物对应的数字孪生参照物，所述目标图片包括所述虚拟物与所述数字孪生参照物；

获取所述现实目标对象以真实位姿在所述现实场景中采集的现实图片；所述现实图片包括所述现实参照物，所述上报位姿与所述真实位姿之间存在差异；

确定将所述目标图片中所述数字孪生参照物的位姿调整至与所述现实图片中所述现实参照物的位姿重合所需的位姿偏移量，按所述位姿偏移量对所述目标图片中的所述虚拟物的位姿进行调整；

将所述虚拟物以调整后的位姿融合至所述现实图片，得到用于引导所述现实目标对象的增强现实图片。

一种增强现实图片的生成装置，所述装置包括：

位姿获取模块，用于获取在现实场景中行进的现实目标对象的上报位姿；

数字孪生场景的图片获取模块，用于在与所述现实场景对应的数字孪生场景中，确定以所述上报位姿对所述数字孪生场景进行图像采集所获得的目标图片；所述数字孪生场景包括不属于所述现实场景的虚拟物以及与属于所述现实场景的现实参照物对应的数字孪生参照物，所述目标图片包括所述虚拟物与所述数字孪生参照物；

现实场景的图片获取模块，用于获取所述现实目标对象以真实位姿在所述现实场景中采集的现实图片；所述现实图片包括所述现实参照物，所述上报位姿与所述真实位姿之间存在差异；

位姿调整模块，用于确定将所述目标图片中所述数字孪生参照物的位姿调整至与所述现实图片中所述现实参照物的位姿重合所需的位姿偏移量，按所述位姿偏移量对所述目标图片中的所述虚拟物的位姿进行调整；

融合模块，用于将所述虚拟物以调整后的位姿融合至所述现实图片，得到用于引导所述现实目标对象的增强现实图片。

在一些实施例中，所述位姿调整模块，还用于确定将所述目标图片中所述数字孪生参照物的姿态调整至与所述现实图片中所述现实参照物的姿态一致所需的旋转量；按所述旋转量对所述目标图片中所述数字孪生参照物的姿态进行调整；确定将调整姿态后的数字孪生参照物在所述目标图片中的位置调整至与所述现实参照物在所述现实图片中的位置一致所需的平移量；将所述旋转量和所述平移量作为所述位姿偏移量。

在一些实施例中，所述位姿调整模块，还用于在所述数字孪生参照物属于条状物的情况下，确定拟合所述目标图片中的所述数字孪生参照物的第一线性函数；在所述现实参照物属于条状物的情况下，确定拟合所述现实图片中的所述现实参照物的第二线性函数；基于所述第一线性函数的斜率的反正切值与所述第二线性函数的斜率的反正切值间的相对大小，确定所述旋转量。

在一些实施例中，所述现实参照物是位于所述现实目标对象双侧的现实引导线，所述数字孪生参照物是与所述现实引导线对应的数字孪生引导线；所述位姿调整模块，还用于将拟合第一侧数字孪生引导线的第一线性函数的斜率的反正切值作为第一反正切值，将拟合第二侧数字孪生引导线的第一线性函数的斜率的反正切值作为第二反正切值；将拟合第一侧现实引导线的第二线性函数的斜率的反正切值作为第三反正切值，将拟合第二侧现实引导线的第二线性函数的斜率的反正切值作为第四反正切值；综合所述第一反正切值与所述第三反正切值间的相对大小以及所述第二反正切值与所述第四反正切值间的相对大小，确定所述旋转量。

在一些实施例中，所述位姿调整模块，还用于基于所述第一线性函数的常数和所述第二线性函数的常数间的相对大小，得到所述平移量。

在一些实施例中，所述现实参照物是位于所述现实目标对象双侧的现实引导线，所述数字孪生参照物是与所述现实引导线对应的数字孪生引导线；所述位姿调整模块，还用于将拟合第一侧数字孪生引导线的第一线性函数的常数作为第一常数，将拟合第二侧数字孪生引导线的第一线性函数的常数作为第二常数；将拟合第一侧现实引导线的第二线性函数的常数作为第三常数，将拟合第二侧现实引导线的第二线性函数的常数作为第四常数；综合所述第一常数与所述第三常数间的相对大小以及所述第二常数与所述第四常数间的相对大小，确定所述平移量。

在一些实施例中，所述数字孪生场景的图片获取模块，还用于确定所述数字孪生场景中与所述现实目标对象对应的数字孪生目标对象；按照所述数字孪生目标对象以所述上报位姿观察到的所述虚拟物和所述数字孪生参照物，生成所述目标图片。

在一些实施例中，所述数字孪生场景的图片获取模块，还用于获取设于所述现实目标对象的现实相机的相机参数；在所述数字孪生目标对象以所述上报位姿处于所述数字孪生场景的情况下，按照所述相机参数，将所述数字孪生场景的所述虚拟物和所述数字孪生参照物投影至图片上，得到所述目标图片。

在一些实施例中，所述位姿获取模块，用于获取设于所述现实目标对象的卫星定位设备采集到的所述现实目标对象在所述现实场景中的位置和行进方向；将所述现实目标对象在所述现实场景中的位置和行进方向，作为所述上报位姿。

在一些实施例中，所述虚拟物为虚拟交通流，所述装置还包括数字孪生场景处理模块，用于基于针对所述现实场景构建的高精地图，构建得到所述数字孪生场景；基于所述高精地图，确定数字孪生道路在所述数字孪生场景中的位置；按照所述数字孪生道路在所述数字孪生场景中的位置，将所述虚拟交通流添加至所述数字孪生场景中。

在一些实施例中，所述现实目标对象为现实目标车辆，所述装置还包括自动驾驶算法测试模块，用于获取包括虚拟交通流的增强现实图片；基于包括虚拟交通流的增强现实图片，测试运行于所述现实目标车辆的自动驾驶算法。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行上述增强现实图片的生成方法。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行上述增强现实图片的生成方法。

一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述增强现实图片的生成方法。

上述增强现实图片的生成方法、装置、计算机设备、存储介质和计算机程序产品中，由于在现实场景中行进的现实目标对象的上报位姿与其真实位姿存在差异，导致在数字孪生场景中以上报位姿得到的目标图片和在现实场景中以真实位姿得到的现实图片存在差异，需要先对目标图片中的虚拟物进行位姿调整，然后将虚拟物以调整后的位姿融合至现实图片中；由于数字孪生参照物和现实参照物是一一对应的，因此，基于数字孪生参照物在目标图片中的位姿调整至与现实参照物在现实图片中的位姿重合所需的位姿偏移量，对虚拟物在目标图片中的位姿进行调整，保证虚拟物可以以合适的位姿融合至现实图片中，提升生成的增强现实图片的真实感与现实增强效果。

附图说明

图1为一些实施例中俯瞰视角下，现实车辆在现实场景中的位姿以及数字孪生车辆在数字孪生场景中的位姿示意图；

图2为一些实施例中现实主车和数字孪生主车各自看到的图像示意图；

图3为一些实施例中增强现实图片的生成方法的流程示意图；

图4为一些实施例中将现实图片和目标图片对齐地处于同一坐标系的示意图；

图5为一些实施例中参照物为路灯的情况下，现实主车和数字孪生主车各自看到的图像示意图；

图6为一些实施例中参照物为双侧道路线的情况下，现实主车看到的图像示意图；

图7为一些实施例中参照物为双侧道路线的情况下，数字孪生主车看到的图像示意图；

图8为一些实施例中增强现实图片的生成方法的整体处理框架图；

图9为一些实施例中增强现实图片的生成方法的流程示意图；

图10为一些实施例中增强现实图片的生成装置的结构框图；

图11为一些实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一些实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。

本申请提供的增强现实图片的生成方法，涉及的技术包括增强现实技术和数字孪生技术。

增强现实技术(Augmented Reality，AR)，是一种将虚拟信息与真实世界融合的技术，旨在拓展真实世界的信息，增强真实世界的表达。增强现实技术的主要包括两个步骤：(1)确定虚拟物融合至现实图片(也可以称为真实图片)的位姿；(2)虚拟物以所确定的位姿融合至现实图片中。

相关技术中，确定位姿的方式包括：通过图像识别的确定位姿方式和通过传感器的确定位姿方式。其中，通过图像识别确定位姿的方式，主要是通过图像识别算法，确定现实图片需要增强的位置，将虚拟物放在该需要增强的位置上，融合在现实图片中。这种方式，在稳定度较高、相对静态的视频中表现较好，但是，像车辆或机器人等移动物体在移动过程中采集到的视频稳定度低，从稳定度低的视频中识别出的待增强位置不准确，识别效率低，存在漏检现象。通过传感器确定位姿的方式，主要是基于设备的传感器，直接利用硬件定位信息，将虚拟物融合至现实图片中。这种方式，不仅需要高精度的传感器以获取车辆或机器人等移动物体的精确位姿，还需要精确的相机内外参才能计算现实图片上的空间位置；而相机的内外参需要标定算法实现，外参的标定复杂度较高。

相关技术中，将虚拟物以所确定的位姿融合至现实图片，通常是将虚拟物以一定的位姿并按照一定的观察视角融合至现实图片相应的位置上；其中视角处理方式主要包括基于图像几何的视角处理和基于渲染的视角处理。基于图像几何的视角处理方式，需要预定义一系列不同角度的视角图像，按照定位信息挑选一张最接近的图像，然后用几何变换弥补剩余的视角误差，但是，由于虚拟物的局部遮挡没有处理，造成细节失真，导致通过图像几何变换得到的视角图像，相较于真正视角图像而言，有一些不自然，此外，如果虚拟物有多个，虚拟物之间的遮挡关系难以处理。基于渲染的视角处理方式，需要建立虚拟物的三维模型(3D模型)，利用图形渲染工具获取特定视角的图像，对硬件要求较高，需要渲染引擎。

为更好地确定虚拟物融合至现实图片的位姿，提升融合得到的增强显示图片的真实感，本申请基于数字孪生技术生成增强现实图片。

数字孪生技术是一种集成多学科、多物理量、多尺度、多概率的动态仿真技术，在虚拟空间中完成真实世界的映射，从而反映相对应的实体装备的全生命周期过程。通过数字孪生技术打造得到的、模拟真实世界的虚拟场景可以称为数字孪生场景。数字孪生技术将现实世界的实体对象的数字模型，通过实测、仿真和数据分析来实时感知、诊断、预测实体对象的状态，通过优化和指令来调控实体对象的行为；仿真技术是创建和运行数字孪生场景中的其中一项核心技术。

相较于传统的仿真场景而言，该数字孪生场景具有动态性。具体而言，数字孪生场景不仅仅是真实世界的镜像，也接受真实世界的实时信息，并反过来实时驱动真实世界。该数字孪生场景还具有双向性。具体而言，现实场景和数字孪生场景之间的数据流动是双向的，现实场景可以向数字孪生场景输出数据，数字孪生场景也可以向现实场景反馈信息。

本申请提供的基于数字孪生技术生成的增强现实图片，借助数字孪生参照物的位姿和现实参照物的位姿，确定虚拟物融合至现实图片中的位姿，具有较高的真实感，可以应用于车辆、移动机器人、智能搬运车等移动物体的决策、感知算法的测试场景。

如图1所示，通过数字孪生技术，打造与现实场景对应的数字孪生场景，该数字孪生场景是现实场景中各个现实对象的数字化表达，以便于能够在这个数字孪生场景中看到现实对象可能发生的情况。

在自动驾驶应用场景中，现实车辆101_r在现实场景中行驶，与之相应地，现实车辆101_r对应的数字孪生车辆101_s在数字孪生场景中行驶。现实车辆101_r的现实相机实时采集行驶前方视野的图片，该图片属于现实图片，如图2的左侧图片所示。相应地，数字孪生场景中，数字孪生车辆101_s处于现实车辆101_r的上报位姿的情况下，将该数字孪生车辆101_s在数字孪生场景中观察到的内容投影为图片，得到目标图片，该目标图片也可以称为仿真图片；这个计算过程可以抽象为：数字孪生场景中与现实车辆101_r对应的数字孪生车辆101_s上的数字孪生相机，在数字孪生场景中进行图像采集，得到目标图片的过程。

可以理解，当现实车辆101_r的真实位姿与其上报位姿不存在差异时，那么，现实车辆101_r在现实场景中处于真实位姿的情况下的观察视角，与数字孪生车辆101_s在数字孪生场景中处于上报位姿的情况下的观察视角是一致的。当现实车辆101_r的真实位姿与其上报位姿存在差异时，由于数字孪生车辆101_s在数字孪生场景中的位姿是上报位姿，那么现实车辆101_r在现实场景中的真实位姿与数字孪生车辆101_s在数字孪生场景中的位姿存在差异，如图1所示，此时，现实车辆101_r在现实场景中处于真实位姿的情况下的观察视角与数字孪生车辆101_s在数字孪生场景中处于上报位姿的情况下的观察视角存在差异，在此情况下采集得到的现实图片和目标图片也会存在差异，如图2所示。

服务器102还可以在数字孪生场景中设置虚拟交通流，因此，数字孪生车辆101_s在数字孪生场景中行驶时，数字孪生车辆101_s在数字孪生场景中的位姿为现实车辆101_r的上报位姿，设于数字孪生车辆101_s的数字孪生相机会采集前方的虚拟交通流，所得到的目标图片会包括虚拟交通流；接着，将虚拟交通流融合至现实图片中，让运行于现实车辆101_r的自动驾驶算法进行障碍物感知和决策规划，实现利用AR手段“欺骗”自动驾驶算法，完成自动驾驶算法的测试。

如前文所述，在理想情况下，现实车辆101_r的真实位姿与其上报位姿一致时，现实车辆101_r在现实场景中处于真实位姿的情况下的观察视角，与数字孪生车辆101_s在数字孪生场景中处于上报位姿的情况下的观察视角是一致的，那么目标图片中的虚拟交通流可以与现实图片实现较完美的融合。但是，如果现实车辆101_r的上报位姿与真实位姿不一致，上报位姿存在误差，那么现实车辆101_r在现实场景中处于真实位姿的情况下，从现实车辆101_r的视角出发采集到的现实图片，与数字孪生车辆101_s在数字孪生场景中处于上报位姿的情况下，从数字孪生车辆101_s的视角出发采集到的目标图片存在偏差(如图2所示)，这种偏差忽大忽小，若直接将目标图片中的虚拟交通流融合至现实图片中，会出现虚拟交通流“漂移”于现实图片中的道路的情况，导致融合得到的增强现实图片的真实感较低，而且现实车辆101_r基于感知算法或决策算法对输入的增强现实图片进行避障时就会出现左右漂移的现象，影响自动驾驶算法的测试。

本申请实施例提供的增强现实图片的生成方法中，在现实场景中行进的现实目标对象可以通过设于现实目标对象的智能设备，与服务器102进行通信。数据存储***可以存储服务器102需要处理的数据。数据存储***可以集成在服务器102上，也可以放在云上或其他网络服务器上。在一个实施例中，设于现实目标对象的智能设备将现实目标对象在现实场景中当前的位姿上报至服务器102，服务器102基于该上报位姿，在与所述现实场景对应的数字孪生场景中，确定以所述上报位姿对所述数字孪生场景进行图像采集所获得的目标图片，所述数字孪生场景包括不属于所述现实场景的虚拟物以及与属于所述现实场景的现实参照物对应的数字孪生参照物，所述目标图片包括所述虚拟物与所述数字孪生参照物；服务器102还获取所述现实目标对象以真实位姿在所述现实场景中采集的现实图片；所述现实图片包括所述现实参照物，所述上报位姿与所述真实位姿之间存在差异；服务器102确定将所述目标图片中所述数字孪生参照物的位姿调整至与所述现实图片中所述现实参照物的位姿重合所需的位姿偏移量，按所述位姿偏移量对所述目标图片中的所述虚拟物的位姿进行调整；将所述虚拟物以调整后的位姿融合至所述现实图片，得到用于引导所述现实目标对象的增强现实图片。可选地，服务器102还将生成的增强现实图片发送至智能设备。

其中，智能设备可以是设置在现实目标对象上的个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备，现实目标对象可以是车辆，还可以是移动机器人。上述服务器102可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

本申请提供一种增强现实图片的生成方法，如图3所示，该方法可以应用于图1中的服务器102，主要包括以下步骤：

步骤S301，获取在现实场景中行进的现实目标对象的上报位姿。

其中，现实场景可以称为真实场景，在自动驾驶算法测试的应用中，该现实场景可以是现实道路场景。在现实场景的多个真实实体对象中，可以设定其中一个真实实体对象为现实目标对象，以生成符合该现实目标对象的观看视角的增强现实图片。当生成的增强现实图片用于测试自动驾驶算法的应用场景时，该现实目标对象可以在现实道路场景中行进车辆，也称为现实主车。

位姿主要包括位置和姿态，现实目标对象在现实场景中的位置可以通过经纬度表征；若现实目标对象在现实场景中处于移动状态，那么该现实目标对象在现实场景中的姿态可以通过行进方向(也即航向)表征；若姿态通过行进方向表征，那么可以根据前一时刻的位置和后一时刻的位置确定行进方向。

上报位姿可以根据设于现实目标对象的定位设备采集的定位信息确定的，定位信息准确度与该上报位姿与现实目标对象在现实场景中的真实位姿的差异成负相关，也即，定位信息准确度越高，位姿差异越小，定位信息准确度越低，位姿差异越大。定位设备可以是卫星定位设备，如GPS(Global Positioning System)。

以现实目标对象为现实主车为例介绍：现实主车在现实场景中行驶时，服务器102根据设于现实主车的定位设备采集到的经纬度和航向等定位信息，得到上报位姿。

步骤S302，在与现实场景对应的数字孪生场景中，确定以上报位姿对数字孪生场景进行图像采集所获得的目标图片。

该数字孪生场景是现实场景中各个现实对象的数字化表达，与现实场景对应。该数字孪生场景可以包括根据现实场景中的实体对象构建的数字孪生物，也就是说，现实场景中存在与数字孪生物对应的实体对象，该数字孪生物可以称为仿真物；其中，根据上述现实目标对象构建的数字孪生物称为数字孪生目标对象。

该数字孪生场景还可以包括不是根据现实场景的实体对象构建的虚拟物，也就是说，现实场景中不存在与虚拟物对应的实体对象；该虚拟物可以融合至以现实目标对象为视角采集到的现实图片中，以对该现实图片进行增强；该虚拟物在数字孪生场景中处于数字孪生目标对象的视野范围内，以该数字孪生目标对象为视角采集到的目标图片包括该虚拟物；其中，以该数字孪生目标对象为视角采集到的目标图片可以称为仿真图片。在自动驾驶算法测试的场景中，该虚拟物可以是虚拟交通流。

为了确定虚拟物融合至现实图片所需的位姿偏移量，需要在现实场景包括的实体对象中设定现实参照物，在数字孪生场景包括的数字孪生物中设定数字孪生参照物，然后将数字孪生参照物在目标图片中的位姿重合至现实参照物在现实图片中的位姿所需的位姿偏移量，作为虚拟物融合至现实图片所需的位姿偏移量。

现实参照物和数字孪生参照物的设定方式可以为：确定现实场景中处于上述现实目标对象视野范围内的实体对象集合，确定数字孪生场景中处于上述数字孪生目标对象视野范围内的数字孪生物集合；在实体对象集合和数字孪生物集合中，将一一对应的实体对象和数字孪生物作为一组，得到多组，并从多组中选取目标组，将该目标组的实体对象作为现实参照物并将该目标组的数字孪生物作为数字孪生参照物。

通过上述方式选取的现实参照物和数字孪生参照物，分别处于现实目标对象的视野范围和数字孪生目标对象的视野范围内，因此，以现实目标对象为视角采集到的现实图片包括该现实参照物，以数字孪生目标对象为视角采集到的目标图片包括该数字孪生参照物。

由于实体对象和数字孪生物都具有一定的形状，且后续需根据目标图片中的数字孪生参照物的位姿重合至现实图片中的现实参照物的位姿，确定虚拟物融合至现实图片所需的位姿偏移量；数字孪生参照物的形状和现实参照物的形状越复杂，数字孪生参照物的位姿和现实参照物的位姿之间的重合处理也会越复杂，处理效率较低。

因此，为保证处理效率，为在多组中选取目标组时，可以根据形状复杂度选取目标组，具体来说，可以基于各组的形状复杂度，将形状复杂度低于阈值的组作为目标组，或者将形状复杂度最低的组作为目标组。

各组的形状复杂度可以通过如下方式确定：

①综合该组包括的实体对象的形状复杂度和该组包括的数字孪生物的形状复杂度，将综合结果作为该组的形状复杂度；

②将该组包括的实体对象的形状复杂度作为该组的形状复杂度；

③将该组包括的数字孪生物的形状复杂度作为该组的形状复杂度。

其中，实体对象/数字孪生物的形状复杂度可以根据实体对象/数字孪生物具有的角点的数量确定，角点数量越多，该实体对象的形状复杂度越高。

在一些场景中，实体对象具有的角点数量需要进行图像识别处理才能确定，需花费一定的时间；而，由于数字孪生物是根据实体对象构建的数字模型，因此可以直接根据构建该数字模型时所用的角点，得到数字孪生物的角点数量，相较于图像识别处理而言，处理效率较高。对应地，上述③的处理方式中，可以直接读取构建该组包括的数字孪生物时所用的角点数量，基于读取到的角点数量，确定该组包括的数字孪生物的形状复杂度，并将该组包括的数字孪生物的形状复杂度作为该组的形状复杂度。

通过上述方式设定现实参照物和数字孪生参照物后，数字孪生目标对象在数字孪生场景中处于上述上报位姿的情况下，从该数字孪生目标对象的视角出发采集图片，得到包括虚拟物和数字孪生参照物的目标图片。

步骤S303，获取现实目标对象以真实位姿在现实场景中采集的现实图片。

上述上报位姿是根据设于现实目标对象的定位设备采集的定位信息确定的，该上报位姿与现实目标对象在现实场景中的真实位姿存在差异。

通过上述方式设定现实参照物，由于该现实参照物处于现实目标对象的视野范围内，因此，现实目标对象在现实场景中处于真实位姿的情况下，以该现实目标对象的视角出发采集图片，可以得到包括现实参照物的现实图片。

步骤S304，确定将目标图片中数字孪生参照物的位姿调整至与现实图片中现实参照物的位姿重合所需的位姿偏移量，按位姿偏移量对目标图片中的虚拟物的位姿进行调整。

目标图片中数字孪生参照物的位姿调整至与现实图片中现实参照物的位姿重合所需的位姿偏移量，主要是指：现实参照物在现实图片中的位姿维持不变，调整数字孪生参照物在目标图片中的位姿，当数字孪生参照物在目标图片中的位姿重合至现实参照物在现实图片中的位姿时，将对数字孪生参照物的位姿调整量作为上述所需的位姿偏移量；该所需的位姿偏移量可以包括平移量和旋转量。

在得到上述所需的位姿偏移量，若该所需的位姿偏移量包括的旋转量是：向左旋转10°，且该所需的位姿偏移量包括的平移量为0，那么按照该所需的位姿偏移量对目标图片中的虚拟物的位姿进行调整为：将目标图片中的虚拟物向左旋转10°且无需平移。

若该所需的位姿偏移量包括的旋转量是：向左旋转10°，且该所需的位姿偏移量包括的平移量是：向左平移4个像素，那么按照该所需的位姿偏移量对目标图片中的虚拟物的位姿进行调整为：将目标图片中的虚拟物向左旋转10°且将旋转后的虚拟物向左平移4个像素。

步骤S305，将虚拟物以调整后的位姿融合至现实图片，得到用于引导现实目标对象的增强现实图片。

在按照上述所需的位姿偏移量对目标图片中的虚拟物的位姿进行调整后，将虚拟物以调整后的位姿融合至现实图片中，得到包括上述虚拟物的增强现实图片；现实目标对象得到该增强现实图片后，会将该增强现实图片中的虚拟物作为真实的实体对象，并基于该虚拟物作出响应，如停止行进、靠右行驶等，实现增强现实图片对现实目标对象的引导。

上述增强现实图片的生成方法中，由于在现实场景中行进的目标对象上报位姿与真实位姿存在差异，因此，在数字孪生场景中以上报位姿得到的目标图片和在现实场景中以真实位姿得到的现实图片存在差异，需要先对目标图片中的虚拟物进行位姿调整，然后将虚拟物以调整后的位姿融合至现实图片中；由于数字孪生参照物和现实参照物是一一对应的，因此，基于数字孪生参照物在目标图片中的位姿调整至与现实参照物在现实图片中的位姿重合所需的位姿偏移量，对虚拟物在目标图片中的位姿进行调整，保证虚拟物可以以合适的位姿融合至现实图片中，提升融合得到的增强现实图片的真实感。

在一些实施例中，上述确定将目标图片中数字孪生参照物的位姿调整至与现实图片中现实参照物的位姿重合所需的位姿偏移量，具体包括如下步骤：确定将目标图片中数字孪生参照物的姿态调整至与现实图片中现实参照物的姿态一致所需的旋转量；按旋转量对目标图片中数字孪生参照物的姿态进行调整；确定将调整姿态后的数字孪生参照物在目标图片中的位置调整至与现实参照物在现实图片中的位置一致所需的平移量；将旋转量和平移量作为位姿偏移量。

从现实目标对象的视角出发，现实参照物在现实场景中具有一定的姿态，因此，现实参照物会以一定的姿态存在于从现实目标对象的视角出发采集得到的现实图片中；同样地，从数字孪生目标对象的视角出发，数字孪生参照物在数字孪生场景中具有一定的姿态，因此，数字孪生参照物会以一定的姿态存在于从数字孪生目标对象的视角出发采集得到的目标图片中。

确定上述位姿偏移量的方式可以为：将现实图片和目标图片对齐放置在如图4所示的同一坐标系中，保持现实图片不动，旋转目标图片，直至目标图片中的数字孪生参照物的姿态与现实图片中的现实参照物的姿态一致，得到对应的旋转量；对旋转后的目标图片进行平移，直至姿态调整后的数字孪生参照物在目标图片中的位置与现实参照物在现实图片中的位置一致，得到对应的平移量；将所得到的旋转量和平移量作为位姿偏移量。

上述方式中，先通过旋转确定姿态一致，再通过平移确定位置一致，保证位姿偏移量的准确性和处理效率。

上述平移量可以包括在现实目标对象的视野范围中沿上下方向的平移量(也即沿图4所示的y方向的平移量)，以及在现实目标对象的视野范围中沿左右方向的平移量(沿图4所示的x方向的平移量)。

在一些场景中，在现实目标对象的视野范围中沿上下方向的平移量，对虚拟交通流等虚拟物在现实目标对象视野中的大小影响较大，对虚拟交通流等虚拟物在现实目标对象视野中的“漂移”影响较小；而在现实目标对象的视野范围中沿左右方向的平移量，对虚拟交通流等虚拟物在现实目标对象视野中的“漂移”影响较大，对虚拟交通流等虚拟物在现实目标对象视野中的大小影响较小。

因此，在一些场景中，为降低虚拟交通流等虚拟物的“漂移”情况的同时提高处理效率，上述平移量可以仅包括沿现实目标对象的视野的左右方向的平移量，也即沿图4所示的x方向的平移量。在此情况下，对姿态调整后的数字孪生参照物进行x方向的平移，直至姿态调整后的数字孪生参照物在x方向的位置与现实参照物在x方向的位置一致。

在所设定的现实参照物和数字孪生参照物是道路线、路灯杆等条状物的情况下，形状复杂度较低，可以用直线进行拟合。

因此，在一些实施例中，上述确定将目标图片中数字孪生参照物的姿态调整至与现实图片中现实参照物的姿态一致所需的旋转量，具体包括如下步骤：在数字孪生参照物属于条状物的情况下，确定拟合目标图片中的数字孪生参照物的第一线性函数；在现实参照物属于条状物的情况下，确定拟合现实图片中的现实参照物的第二线性函数；基于第一线性函数的斜率的反正切值与第二线性函数的斜率的反正切值间的相对大小，确定旋转量。

其中，拟合参照物的线性函数的斜率的反正切值表征：该参照物在图片中相对于沿目标对象(该目标对象为现实目标对象或数字孪生目标对象)的视野的左右方向的倾斜角度。

以图5所示的现实参照物为现实路灯杆103_r以及数字孪生参照物为数字孪生路灯杆103_s为例介绍：

从数字孪生车辆101_s的视角出发采集得到的目标图片中，确定拟合该目标图片中的数字孪生路灯杆103_s的线性函数y＝a₁x+b₁，并将该线性函数作为第一线性函数；从现实车辆101_r的视角出发采集得到的现实图片中，确定拟合该现实图片中的现实路灯杆103_r的线性函数y＝a₂x+b₂，并将该线性函数作为第二线性函数；第一线性函数y＝a₁x+b₁中的斜率a₁的反正切值atan(a₁)表征目标图片中该数字孪生路灯杆相对于x轴方向的倾斜角度，第二线性函数y＝a₂x+b₂中的斜率a₂的反正切值atan(a₂)表征现实图片中该现实路灯杆相对于x轴方向的倾斜角度；接着，可以将atan(a₁)与atan(a₂)的差值作为旋转量。

上述方式中，在参照物属于条状物的情况下，可以直接根据拟合各参照物的线性函数的斜率的反正切值的相对大小，确定旋转量，计算简单，满足对现实图片进行增强的实时性要求。

在所设定的现实参照物和数字孪生参照物是道路线、路灯杆等条状物，可以利用直线拟合处理的情况下，上述确定将调整姿态后的数字孪生物在目标图片中的位置调整至与现实参照物在现实图片中的位置一致所需的平移量，具体包括如下步骤：基于第一线性函数的常数和第二线性函数的常数间的相对大小，得到平移量。

以图5所示的现实参照物为现实路灯杆103_r以及数字孪生参照物为数字孪生路灯杆103_s为例介绍：

从数字孪生车辆101_s的视角出发采集得到的目标图片中，确定拟合该目标图片中的数字孪生路灯杆103_s的线性函数y＝a₁x+b₁，并将该线性函数作为第一线性函数；从现实车辆101_r的视角出发采集得到的现实图片中，确定拟合该现实图片中的现实路灯杆103_r的线性函数y＝a₂x+b₂，并将该线性函数作为第二线性函数；第一线性函数y＝a₁x+b₁中的常数b₁与第二线性函数y＝a₂x+b₂中的常数b₂之间的差值表征沿目标对象(该目标对象为现实目标对象或数字孪生目标对象)的视野内的左右方向的平移量，也即沿图4所示的x方向的平移量，并按照该差值，沿x方向平移旋转后的数字孪生路灯杆103_s，以使数字孪生路灯杆103_s与现实路灯杆103_r重合。

上述方式中，在参照物属于条状物的情况下，可以直接根据拟合各参照物的线性函数的常数的相对大小，确定平移量，计算简单，满足对现实图片进行增强的实时性要求。

在一些实施例中，参照物的部分属于条状物，部分呈现弯曲状态，那么可以仅对条状物部分进行直线拟合，例如，在图1所示的道路中，车辆前方较近处的道路是直行道路，车辆前方较远处是转弯道路，在利用线性函数拟合道路线的时候，可以仅对直行道路的道路线进行拟合；如果转弯道路和直行道路同时出现在图片中，那么可以选择图片中的整条道路的靠近车辆的四分之一范围的道路线(可以选择20米)，并对该选择的道路线进行直线拟合。

在参照物(该参照物为现实参照物和数字孪生参照物)属于条状物的情况下，该参照物可以包括多个条状物物体，如多条引导线、如多个路灯杆等；在参照物包括多个条状物物体的情况下，各条状物可以位于目标对象行进方向的任一侧，例如多条引导线均位于目标对象行进方向的左侧，又例如多个路灯杆均位于目标对象行进方向的右侧。

为了进一步提升位姿偏移量的准确性，该参照物包括的条状物物体分别位于目标对象行进方向的两侧。

在一些实施例中，现实参照物是位于现实目标对象双侧的现实引导线，数字孪生参照物是与现实引导线对应的数字孪生引导线；其中，引导线是用于引导目标对象行进的线，具体可以通过道路线表征。示例性地，如图6所示，将位于现实车辆101_r行进方向两侧的道路线104_r1和104_r2设为现实参照物；对应地，如图7所示，将位于数字孪生车辆101_s行进方向的两侧的道路线104_s1和104_s2设为数字孪生参照物。

在此情况下，上述基于第一线性函数的斜率的反正切值与第二线性函数的斜率的反正切值间的相对大小，确定旋转量，具体可以包括如下步骤：将拟合第一侧数字孪生引导线的第一线性函数的斜率的反正切值作为第一反正切值，将拟合第二侧数字孪生引导线的第一线性函数的斜率的反正切值作为第二反正切值；将拟合第一侧现实引导线的第二线性函数的斜率的反正切值作为第三反正切值，将拟合第二侧现实引导线的第二线性函数的斜率的反正切值作为第四反正切值；综合第一反正切值与第三反正切值间的相对大小以及第二反正切值与第四反正切值间的相对大小，确定旋转量。

以第一侧数字孪生引导线为数字孪生道路线104_s1、第二侧数字孪生引导线为数字孪生道路线104_s2、第一侧现实引导线为现实道路线104_r1、以及第二侧现实引导线为现实道路线104_r2为例，介绍上述内容：

在确定拟合数字孪生道路线104_s1、数字孪生道路线104_s2的第一线性函数分别为：y＝a₁₁x+b₁₁、y＝a₁₂x+b₁₂，以及拟合现实道路线104_r1、现实道路线104_r2的第二线性函数分别为：y＝a₂₁x+b₂₁、y＝a₂₂x+b₂₂之后，确定atan(a₁₁)与atan(a₂₁)之间的差值和确定atan(a₁₂)与atan(a₂₂)之间的差值，并综合atan(a₁₁)与atan(a₂₁)之间的差值和atan(a₁₂)与atan(a₂₂)之间的差值，得到旋转量。

其中，综合atan(a₁₁)与atan(a₂₁)之间的差值和atan(a₁₂)与atan(a₂₂)之间的差值，得到旋转量的方式可以是：对atan(a₁₁)与atan(a₂₁)之间的差值和atan(a₁₂)与atan(a₂₂)之间的差值进行求和平均处理，将得到的平均值

作为旋转量。综合atan(a₁₁)与atan(a₂₁)之间的差值和atan(a₁₂)与atan(a₂₂)之间的差值，得到旋转量的方式还可以是：基于现实车辆101_r分别与各侧现实道路线的距离，为各侧对应的差值赋予与各侧的距离成负相关关系的权重，并对各侧对应的差值进行加权求和，将得到的平均值作为旋转量，例如，在现实道路线104_r1和104_r2中，现实道路线104_r2相较于现实道路线104_r1而言，更靠近现实车辆101_r，那么为atan(a₁₂)与atan(a₂₂)之间的差值赋予的权重大于为atan(a₁₁)与atan(a₂₁)之间的差值赋予的权重，并按照权重，对各差值进行加权求和，得到旋转量。可以理解的是，还可以基于数字孪生车辆101_s分别与各侧数字孪生道路线的距离，为各侧对应的差值赋予与各侧的距离成负相关关系的权重。

上述方式中，将位于目标对象行进方向两侧的引导线作为参照物，并基于拟合同侧引导线的第一线性函数的斜率的反正切值和第二线性函数的斜率的反正切值之间的相对大小，综合各侧对应的相对大小，得到旋转量，提升对虚拟物进行旋转的准确性。

在一些实施例中，在现实参照物是位于现实目标对象双侧的现实引导线，数字孪生参照物是与现实引导线对应的数字孪生引导线的情况下，上述基于第一线性函数的常数和第二线性函数的常数间的相对大小，得到平移量，具体可以包括如下步骤：将拟合第一侧数字孪生引导线的第一线性函数的常数作为第一常数，将拟合第二侧数字孪生引导线的第一线性函数的常数作为第二常数；将拟合第一侧现实引导线的第二线性函数的常数作为第三常数，将拟合第二侧现实引导线的第二线性函数的常数作为第四常数；综合第一常数与第三常数间的相对大小以及第二常数与第四常数间的相对大小，确定平移量。

以第一侧数字孪生引导线为数字孪生道路线104_s1、第二侧数字孪生引导线为数字孪生道路线104_s2、第一侧现实引导线为现实道路线104_r1、以及第二侧现实引导线为现实道路线104_r2为例，介绍上述内容：

在确定拟合数字孪生道路线104_s1、数字孪生道路线104_s2的第一线性函数分别为：y＝a₁₁x+b₁₁、y＝a₁₂x+b₁₂，以及拟合现实道路线104_r1、现实道路线104_r2的第二线性函数分别为：y＝a₂₁x+b₂₁、y＝a₂₂x+b₂₂之后，确定b₁₁与b₂₁的差值以及b₁₂与b₂₂的差值，并综合b₁₁与b₂₁的差值以及b₁₂与b₂₂的差值，得到平移量，该平移量可以表征沿目标对象(该目标对象为现实目标对象或数字孪生目标对象)的视野内的左右方向的平移量，也即沿图4所示的x方向的平移量。

其中，综合b₁₁与b₂₁的差值以及b₁₂与b₂₂的差值，得到平移量的方式可以是：对b₁₁与b₂₁的差值以及b₁₂与b₂₂的差值进行求和平均处理，将得到的平均值

作为平移量。综合b₁₁与b₂₁的差值以及b₁₂与b₂₂的差值，得到平移量的方式还可以是：基于现实车辆101_r分别与各侧现实道路线的距离，为各侧对应的差值赋予与各侧的距离成负相关关系的权重，并对各侧对应的差值进行加权求和，将得到的平均值作为旋转量，例如，在现实道路线104_r1和104_r2中，现实道路线104_r2相较于现实道路线104_r1而言，更靠近现实车辆101_r，那么为b₁₂与b₂₂的差值赋予的权重大于为b₁₁与b₂₁的差值赋予的权重，并按照权重，对各差值进行加权求和，得到平移量。可以理解的是，还可以基于数字孪生车辆101_s分别与各侧数字孪生道路线的距离，为各侧对应的差值赋予与各侧的距离成负相关关系的权重。

上述方式中，将位于目标对象行进方向两侧的引导线作为参照物，并基于拟合同侧引导线的第一线性函数的常数的相对大小，综合各侧对应的相对大小，得到平移量，既提升对虚拟物进行平移的准确性，又保证运算效率。

在一些实施例中，上述在与现实场景对应的数字孪生场景中，确定以上报位姿对数字孪生场景进行图像采集所获得的目标图片，具体可以包括如下步骤：确定数字孪生场景中与现实目标对象对应的数字孪生目标对象；按照数字孪生目标对象以上报位姿观察到的虚拟物和数字孪生参照物，生成目标图片。

其中，上报位姿可以包括位置和航向；现实目标对象在现实场景行进的过程中，可以实时上报位姿，服务器102接收到该上报位姿后，将该上报位姿作为数字孪生目标对象在数字孪生场景中的位姿，并按照处于该上报位姿下的数字孪生目标对象的观察视角出发，根据所观察到的虚拟物和数字孪生参照物，生成目标图片。

上述方式中，基于现实目标对象的上报位姿得到数字孪生目标对象在数字孪生场景中的位姿，并得到包括虚拟物和数字孪生参照物的目标图片，保证增强现实图片的真实感。

在一些实施例中，上述按照数字孪生目标对象以上报位姿观察到的虚拟物和数字孪生参照物，生成目标图片，具体包括如下步骤：获取设于现实目标对象的现实相机的相机参数；在数字孪生目标对象以上报位姿处于数字孪生场景的情况下，按照相机参数，将数字孪生场景的虚拟物和数字孪生参照物投影至图片上，得到目标图片。

相机参数包括相机内参和相机外参；设于现实目标对象的现实相机主要是用于采集现实目标对象视野范围内的图片，形成现实图片。

服务器102得到设于现实目标对象的现实相机的相机内外参后，在数字孪生目标对象以上述上报位姿处于数字孪生场景的情况下，按照相机内外参，将数量孪生目标对象视野范围内的虚拟物和数字孪生参照物投影至图片上，得到目标图片。

其中，将现实参照物从现实场景中投影至图片，得到现实图片的过程中，存在像素坐标系、图像坐标系、相机坐标系和世界坐标系之间的转换，具体的转换关系如下公式所示：

其中

其中

r²＝x′²+y′²以及

日Z_c≠0。

上述转换公式中，u和v为像素坐标系下的坐标，x和y为图像坐标系下的坐标，Xc、Yc和Zc为相机坐标系下的坐标，Xw、Yw和Zw为世界坐标系下的坐标。

上述方式中，按照设于现实目标对象的现实相机的相机参数，生成包括虚拟物和数字孪生参照物的目标图片，尽可能地保证目标图片与现实图片的一致性，便于后续对虚拟物的位姿调整。

在一些实施例中，上述获取在现实场景中行进的现实目标对象的上报位姿，具体包括如下步骤：获取设于现实目标对象的卫星定位设备采集到的现实目标对象在现实场景中的位置和行进方向；将现实目标对象在现实场景中的位置和行进方向，作为上报位姿。

定位设备可以是卫星定位设备，如GPS(Global Positioning System)；卫星定位设备由于本身的误差和信号干扰，在建筑密集区采集到的定位信息容易存在误差。定位信息中的位置可以通过经纬度表征，行进方向(也即航向)可以根据前一时刻的位置和后一时刻的位置确定的。

服务器102在得到设于现实目标对象的卫星定位设备采集到的现实目标对象在现实场景中的位置和行进方向后，将该位置和行进方向作为上报位姿。

上述方式中，将设于现实目标对象的卫星定位设备采集到的位置和行进方向作为上报位姿，提高数字孪生目标对象在数字孪生场景中的位姿的确定效率。

在一些实施例中，上述虚拟物为虚拟交通流，该虚拟交通流包括机动车的位姿和非动车的位姿；本实施例还可以包括如下步骤：基于针对现实场景构建的高精地图，构建得到数字孪生场景；基于高精地图，确定数字孪生道路在数字孪生场景中的位置；按照数字孪生道路在数字孪生场景中的位置，将虚拟交通流添加至数字孪生场景中。

其中，高精地图是针对现实场景构建的，用于反映该现实场景。

服务器102可以根据高精地图进行自动化的数字孪生场景构建，接着，基于高精地图，确定数字孪生道路在数字孪生场景中的位置，按照数字孪生道路在数字孪生场景中的位置，在该数字孪生道路上添加虚拟交通流。

上述方式中，根据高精地图自动化构建数字孪生场景，无需人工建模，提高效率，并且基于高精地图添加虚拟交通流，保证虚拟交通流贴合数字孪生场景中的道路的路面。

在一些实施例中，上述现实目标对象为现实目标车辆，本实施例还可以包括如下步骤：获取包括虚拟交通流的增强现实图片；基于包括虚拟交通流的增强现实图片，测试运行于现实目标车辆的自动驾驶算法。

自动驾驶算法包括障碍物感知和决策规划。

本实施中，在将虚拟交通流以调整后的位姿融合至现实图片后，得到包括虚拟交通流的增强现实图片，并利用该增强现实图片测试运行于现实目标车辆的自动驾驶算法。

上述方式中，利用包括虚拟交通流的增强现实图片，用AR手段“欺骗”感知算法，实现对自动驾驶算法的测试，降低交通流的避障测试模拟的复杂度，并且无需将车辆放置在各种真实的交通流场景中，降低自动驾驶算法的测试成本。

为了更好地理解上述方法，以下结合图8和图9详细阐述一个本申请增强现实图片的生成方法的应用实例。本应用实例的场景是在车载相机采集的图片上增强虚拟交通流，即在车端视频中添加虚拟交通流，用于自动驾驶算法的测试验证。

运行有自动驾驶算法的现实主车安装多个相机、GPS、IMU(Inertial MeasurementUnit,惯性测量单元)、激光雷达等传感器。其中，前视相机用于采集现实图片，作为AR的背景图像；IMU定位设备用于交通流图像的生成。真实主车在行驶中，前视相机采集现实图片，被本应用实例提供的方案处理后，变成包含虚拟交通流的增强现实图片，该增强现实图片被自动驾驶算法中的感知单元使用，模拟复杂交通流状况下的自动驾驶算法测试。

总地来说，本应用实例包括以下部分：

1、数字孪生道路场景

本应用实例主要建立道路的数字孪生场景，目的是渲染出道路的车道线，用于AR的定位信息提取。道路场景来源于高精地图自动化建模，无需人工建模。

2、交通流引擎

交通流引擎主要用于产生虚拟交通流的数据，包含多个机动车和非机动车的位置和姿态信息，交通流引擎依赖高精度地图，生成的虚拟交通流位置和真实的路面是匹配的。

3、定位传感器GPS/IMU

定位传感器能够实时采集现实主车在现实道路场景中的定位信息，包括位置和姿态(方向)，但是由于本身的误差和信号干扰，在建筑密集区容易产生误差，如果直接将根据该定位信息采集到的虚拟交通流融合至现实图片，虚拟交通流在现实图片上存在漂浮的情况。在数字孪生道路场景中，根据定位传感器的定位信息，数字孪生主车上的数字孪生相机会跟随定位信息拍摄相应位置和姿态下的图像，得到目标图片。

4、相机仿真

数字孪生相机在数字孪生主车上的安装位置和相机参数，需要与现实相机在现实车辆上的安装位置和相机参数一致，但无需特别精确。相机参数包括相机内参和相机外参，相机内参一致，保证每次渲染的车辆符合真实相机的畸变和(近大远小的)透视效果，后期融合的时候，无需特殊处理，直接像素级融合；相机外参一致保证数字孪生相机的观测角度符合实车角度，保证了渲染后的交通车遮挡关系正确。

5、车道线匹配

现实道路线和数字孪生道路线的匹配，现实道路线通过对现实主车的图像进行识别得到，数字孪生道路线通过对数组孪生道路场景的车道线渲染得到。由于GPS/IMU的定位精度，基于定位数据渲染得到的数字孪生道路线与现实道路线存在误差，该误差需及时修正，避免虚拟交通流在显示图片中左右漂移。在高楼林立和城市环境，磁场和信号容易出现干扰，GPS提供的位置和航向yaw等定位信息的精度下降，由于IMU提供的俯仰角pitch和滚角roll是依靠重力和陀螺仪得到的，俯仰角pitch和滚角roll的精度不会受到磁场和信号的影响，因此，需要对GPS提供的位置和航向yaw进行修正。

6、按照所确定的对航向yaw的修正量和对位置的修正量，对虚拟交通流的姿态和位置进行修正。

7、将虚拟交通流以修正后的位姿融合至现实图片中。

如图8所示，在本应用实例生成包括虚拟交通流的增强现实图片中，通过高精地图构建数字孪生道路场景，并通过交通流引擎生成虚拟交通流；交通流引擎生成的虚拟交通流包含多个机动车和非机动车的位置和姿态信息，交通流引擎依赖高精地图，生成的虚拟交通流位置和真实的路面是匹配的。接着，将虚拟交通流添加至数字孪生道路场景中；并基于高精地图、GPS和IMU，渲染数字孪生道路场景，得到数字孪生道路线；从现实图片中提取现实道路线，基于数字孪生道路线和现实道路线的位姿匹配，对目标图片中的虚拟交通流的位姿进行修正，将虚拟交通流以修正后的位姿融合至现实图片中，得到包括虚拟交通流的增强显示图片。

具体来说，本应用实施例包括图9所示的步骤：

步骤S901，基于针对现实道路场景构建的高精地图，构建得到数字孪生道路场景；

步骤S902，基于高精地图，确定数字孪生道路在数字孪生道路场景中的位置；

步骤S903，按照数字孪生道路在数字孪生道路场景中的位置，将虚拟交通流添加至数字孪生道路场景中；

步骤S904，在现实主车以真实位姿处于现实场景中的情况下，按照设于现实主车的现实相机的相机参数，将位于现实主车行进两侧的现实道路线投影至图片上，得到现实图片；

步骤S905，将设于现实主车的卫星定位设备采集到的现实主车在现实道路场景中的位置和行进方向，作为现实主车的上报位姿；该上报位姿与现实主车在现实道路场景中的真实位姿存在差异；该卫星定位设备为GPS；

步骤S906，在数字孪生主车以上报位姿处于数字孪生道路场景的情况下，按照设于现实主车的现实相机的相机参数，将位于数字孪生主车行进两侧的数字孪生道路线和位于数字孪生主车行进前方的虚拟交通流投影至图片上，得到目标图片；

步骤S907，确定分别拟合目标图片中的双侧数字孪生道路线的第一线性函数、以及分别拟合现实图片中的双侧现实道路线的第二线性函数；

具体来说，本步骤中，可以先去除现实图片的畸变，然后从去除畸变后的现实图片中识别出位于现实主车两侧的现实道路线(可选择靠近现实主车20米范围内的道路线)，并确定拟合左侧现实道路线104_r1的线性函数为y＝a₂₁x+b₂₁，拟合右侧现实道路线104_r2的线性函数为y＝a₂₂x+b₂₂；将atan(a₂₁)、atan(a₂₂)分别作为左侧现实道路线104_r1、右侧现实道路线104_r2的航向角。

从目标图片中识别出位于数字孪生主车两侧的数字孪生道路线，并确定拟合左侧数字孪生道路线104_s1的线性函数为y＝a₁₁x+b₁₁、拟合右侧数字孪生道路线104_s2的线性函数为y＝a₁₂x+b₁₂；将atan(a₁₁)、atan(a₁₂)分别作为左侧数字孪生道路线104_s1、右侧右侧数字孪生道路线104_s2的航向角。

其中，y＝a₁₁x+b₁₁、y＝a₁₂x+b₁₂、y＝a₂₁x+b₂₁、y＝a₂₂x+b₂₂中的x和y是对应道路线的像素在图像坐标系的位置。

步骤S908，将拟合第一侧数字孪生道路线的第一线性函数的斜率的反正切值作为第一反正切值，将拟合第二侧数字孪生道路线的第一线性函数的斜率的反正切值作为第二反正切值，将拟合第一侧现实道路线的第二线性函数的斜率的反正切值作为第三反正切值，将拟合第二侧现实道路线的第二线性函数的斜率的反正切值作为第四反正切值。

步骤S909，综合第一反正切值与第三反正切值间的相对大小、以及第二反正切值与第四反正切值间的相对大小，确定旋转量。

对atan(a₁₁)与atan(a₂₁)之间的差值和atan(a₁₂)与atan(a₂₂)之间的差值进行求和平均处理，将得到的平均值

作为旋转量；该选择量为对航向角的修正量，也即航向角的修正量

步骤S910，将拟合第一侧数字孪生道路线的第一线性函数的常数作为第一常数，将拟合第二侧数字孪生道路线的第一线性函数的常数作为第二常数；

步骤S911，将拟合第一侧现实道路线的第二线性函数的常数作为第三常数，将拟合第二侧现实道路线的第二线性函数的常数作为第四常数；

步骤S912，综合第一常数与第三常数间的相对大小以及第二常数与第四常数间的相对大小，确定平移量；

具体来说，可以对b₁₁与b₂₁的差值以及b₁₂与b₂₂的差值进行求和平均处理，将得到的平均值

作为平移量。该平移量为沿x方向的平移量，也即沿x方向的修正量

步骤S913，将上述旋转量和平移量作为将数字孪生道路线在目标图片中的位姿调整至与现实道路线在现实图片中的位姿重合所需的位姿调整量；

步骤S914，按照上述旋转量和平移量对虚拟交通流在目标图片中的位姿进行调整；

通过上述步骤得到对航向角的修正量d_yaw和沿x方向的修正量d_x后，可以按照x′＝cos(d_yaw)*x-sin(d_yaw)*y+d_x和y′＝cos(d_yaw)*y+sin(d_yaw)*x(x，y是虚拟交通流在图像坐标系的位置)，对目标图片中的虚拟交通流进行旋转和平移。

步骤S915，将虚拟交通流以调整后的位姿融合至现实图片，得到包括虚拟交通流的增强现实图片；

步骤S916，基于包括虚拟交通流的增强现实图片，测试运行于现实主车的自动驾驶算法。

本应用实例基于数字孪生技术的增强现实图片生成的方法，采用现实主车的GPS传感器采集到的定位信息，确定数字孪生主车在数字孪生场景中位置和姿态，并根据图像间道路线匹配的方法弥补定位信息引起的位姿误差，整个计算过程简单，能够达到实时性的要求。具体地，保证虚拟交通流不会在现实图片中呈现出左右偏移的状态，处于稳定状态，在图像上直接根据道路线匹配进行虚拟交通流的位姿修正，保证虚拟交通流稳定地处于现实图片中的道路内部，无论城市还是郊区，都有较好的稳定效果；本应用实例涉及的计算主要有道路线识别、道路线拟合、位姿的修正量计算和修正，计算量不大，保证实时性的AR要求。

应该理解的是，虽然图1至图9的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1至图9中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一些实施例中，如图10所示，提供了一种增强现实图片的生成装置，包括：

位姿获取模块1001，用于获取在现实场景中行进的现实目标对象的上报位姿；

数字孪生场景的图片获取模块1002，用于在与所述现实场景对应的数字孪生场景中，确定以所述上报位姿对所述数字孪生场景进行图像采集所获得的目标图片；所述数字孪生场景包括不属于所述现实场景的虚拟物以及与属于所述现实场景的现实参照物对应的数字孪生参照物，所述目标图片包括所述虚拟物与所述数字孪生参照物；

现实场景的图片获取模块1003，用于获取所述现实目标对象以真实位姿在所述现实场景中采集的现实图片；所述现实图片包括所述现实参照物，所述上报位姿与所述真实位姿之间存在差异；

位姿调整模块1004，用于确定将所述目标图片中所述数字孪生参照物的位姿调整至与所述现实图片中所述现实参照物的位姿重合所需的位姿偏移量，按所述位姿偏移量对所述目标图片中的所述虚拟物的位姿进行调整；

融合模块1005，用于将所述虚拟物以调整后的位姿融合至所述现实图片，得到用于引导所述现实目标对象的增强现实图片。

在一些实施例中，所述位姿调整模块1004，还用于确定将所述目标图片中所述数字孪生参照物的姿态调整至与所述现实图片中所述现实参照物的姿态一致所需的旋转量；按所述旋转量对所述目标图片中所述数字孪生参照物的姿态进行调整；确定将调整姿态后的数字孪生参照物在所述目标图片中的位置调整至与所述现实参照物在所述现实图片中的位置一致所需的平移量；将所述旋转量和所述平移量作为所述位姿偏移量。

在一些实施例中，所述位姿调整模块1004，还用于在所述数字孪生参照物属于条状物的情况下，确定拟合所述目标图片中的所述数字孪生参照物的第一线性函数；在所述现实参照物属于条状物的情况下，确定拟合所述现实图片中的所述现实参照物的第二线性函数；基于所述第一线性函数的斜率的反正切值与所述第二线性函数的斜率的反正切值间的相对大小，确定所述旋转量。

在一些实施例中，所述现实参照物是位于所述现实目标对象双侧的现实引导线，所述数字孪生参照物是与所述现实引导线对应的数字孪生引导线；所述位姿调整模块1004，还用于将拟合第一侧数字孪生引导线的第一线性函数的斜率的反正切值作为第一反正切值，将拟合第二侧数字孪生引导线的第一线性函数的斜率的反正切值作为第二反正切值；将拟合第一侧现实引导线的第二线性函数的斜率的反正切值作为第三反正切值，将拟合第二侧现实引导线的第二线性函数的斜率的反正切值作为第四反正切值；综合所述第一反正切值与所述第三反正切值间的相对大小以及所述第二反正切值与所述第四反正切值间的相对大小，确定所述旋转量。

在一些实施例中，所述位姿调整模块1004，还用于基于所述第一线性函数的常数和所述第二线性函数的常数间的相对大小，得到所述平移量。

在一些实施例中，所述现实参照物是位于所述现实目标对象双侧的现实引导线，所述数字孪生参照物是与所述现实引导线对应的数字孪生引导线；所述位姿调整模块1004，还用于将拟合第一侧数字孪生引导线的第一线性函数的常数作为第一常数，将拟合第二侧数字孪生引导线的第一线性函数的常数作为第二常数；将拟合第一侧现实引导线的第二线性函数的常数作为第三常数，将拟合第二侧现实引导线的第二线性函数的常数作为第四常数；综合所述第一常数与所述第三常数间的相对大小以及所述第二常数与所述第四常数间的相对大小，确定所述平移量。

在一些实施例中，所述数字孪生场景的图片获取模块1002，还用于确定所述数字孪生场景中与所述现实目标对象对应的数字孪生目标对象；按照所述数字孪生目标对象以所述上报位姿观察到的所述虚拟物和所述数字孪生参照物，生成所述目标图片。

在一些实施例中，所述数字孪生场景的图片获取模块1002，还用于获取设于所述现实目标对象的现实相机的相机参数；在所述数字孪生目标对象以所述上报位姿处于所述数字孪生场景的情况下，按照所述相机参数，将所述数字孪生场景的所述虚拟物和所述数字孪生参照物投影至图片上，得到所述目标图片。

在一些实施例中，所述位姿获取模块1001，用于获取设于所述现实目标对象的卫星定位设备采集到的所述现实目标对象在所述现实场景中的位置和行进方向；将所述现实目标对象在所述现实场景中的位置和行进方向，作为所述上报位姿。

在一些实施例中，所述虚拟物为虚拟交通流，所述装置还包括数字孪生场景处理模块，用于基于针对所述现实场景构建的高精地图，构建得到所述数字孪生场景；基于所述高精地图，确定数字孪生道路在所述数字孪生场景中的位置；按照所述数字孪生道路在所述数字孪生场景中的位置，将所述虚拟交通流添加至所述数字孪生场景中。

在一些实施例中，所述现实目标对象为现实目标车辆，所述装置还包括自动驾驶算法测试模块，用于获取包括虚拟交通流的增强现实图片；基于包括虚拟交通流的增强现实图片，测试运行于所述现实目标车辆的自动驾驶算法。

上述增强现实图片的生成装置中，由于在现实场景中行进的目标对象上报位姿与真实位姿存在差异，因此，在数字孪生场景中以上报位姿得到的目标图片和在现实场景中以真实位姿得到的现实图片存在差异，需要先对目标图片中的虚拟物进行位姿调整，然后将虚拟物以调整后的位姿融合至现实图片中；由于数字孪生参照物和现实参照物是一一对应的，因此，基于数字孪生参照物在目标图片中的位姿调整至与现实参照物在现实图片中的位姿重合所需的位姿偏移量，对虚拟物在目标图片中的位姿进行调整，保证虚拟物可以以合适的位姿融合至现实图片中，提升融合得到的增强现实图片的真实感。

关于增强现实图片的生成装置的具体限定可以参见上文中对于增强现实图片的生成方法的限定，在此不再赘述。上述增强现实图片的生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一些实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图11所示。该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储增强现实图片的生成数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种增强现实图片的生成方法。

本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一些实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述各个方法实施例中的步骤。

在一些实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各个方法实施例中的步骤。

在一些实施例中，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述各个方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上的实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种增强现实图片的生成方法，其特征在于，所述方法包括：

获取在现实场景中行进的现实目标对象的上报位姿；

在与所述现实场景对应的数字孪生场景中，确定以所述上报位姿对所述数字孪生场景进行图像采集所获得的目标图片；所述数字孪生场景包括不属于所述现实场景的虚拟物以及与属于所述现实场景的现实参照物对应的数字孪生参照物，所述目标图片包括所述虚拟物与所述数字孪生参照物；

获取所述现实目标对象以真实位姿在所述现实场景中采集的现实图片；所述现实图片包括所述现实参照物，所述上报位姿与所述真实位姿之间存在差异；

确定将所述目标图片中所述数字孪生参照物的位姿调整至与所述现实图片中所述现实参照物的位姿重合所需的位姿偏移量，按所述位姿偏移量对所述目标图片中的所述虚拟物的位姿进行调整；

将所述虚拟物以调整后的位姿融合至所述现实图片，得到用于引导所述现实目标对象的增强现实图片。

2.根据权利要求1所述的方法，其特征在于，所述确定将所述目标图片中所述数字孪生参照物的位姿调整至与所述现实图片中所述现实参照物的位姿重合所需的位姿偏移量，包括：

确定将所述目标图片中所述数字孪生参照物的姿态调整至与所述现实图片中所述现实参照物的姿态一致所需的旋转量；

按所述旋转量对所述目标图片中所述数字孪生参照物的姿态进行调整；

确定将调整姿态后的数字孪生参照物在所述目标图片中的位置调整至与所述现实参照物在所述现实图片中的位置一致所需的平移量；

将所述旋转量和所述平移量作为所述位姿偏移量。

3.根据权利要求2所述的方法，其特征在于，所述确定将所述目标图片中所述数字孪生参照物的姿态调整至与所述现实图片中所述现实参照物的姿态一致所需的旋转量，包括：

在所述数字孪生参照物属于条状物的情况下，确定拟合所述目标图片中的所述数字孪生参照物的第一线性函数；

在所述现实参照物属于条状物的情况下，确定拟合所述现实图片中的所述现实参照物的第二线性函数；

基于所述第一线性函数的斜率的反正切值与所述第二线性函数的斜率的反正切值间的相对大小，确定所述旋转量。

4.根据权利要求3所述的方法，其特征在于，所述现实参照物是位于所述现实目标对象双侧的现实引导线，所述数字孪生参照物是与所述现实引导线对应的数字孪生引导线；

所述基于所述第一线性函数的斜率的反正切值与所述第二线性函数的斜率的反正切值间的相对大小，确定所述旋转量，包括：

将拟合第一侧数字孪生引导线的第一线性函数的斜率的反正切值作为第一反正切值，将拟合第二侧数字孪生引导线的第一线性函数的斜率的反正切值作为第二反正切值；

将拟合第一侧现实引导线的第二线性函数的斜率的反正切值作为第三反正切值，将拟合第二侧现实引导线的第二线性函数的斜率的反正切值作为第四反正切值；

综合所述第一反正切值与所述第三反正切值间的相对大小以及所述第二反正切值与所述第四反正切值间的相对大小，确定所述旋转量。

5.根据权利要求3所述的方法，其特征在于，所述确定将调整姿态后的数字孪生物在所述目标图片中的位置调整至与所述现实参照物在所述现实图片中的位置一致所需的平移量，包括：

基于所述第一线性函数的常数和所述第二线性函数的常数间的相对大小，得到所述平移量。

6.根据权利要求5所述的方法，其特征在于，所述现实参照物是位于所述现实目标对象双侧的现实引导线，所述数字孪生参照物是与所述现实引导线对应的数字孪生引导线；

所述基于所述第一线性函数的常数和所述第二线性函数的常数间的相对大小，得到所述平移量，包括：

将拟合第一侧数字孪生引导线的第一线性函数的常数作为第一常数，将拟合第二侧数字孪生引导线的第一线性函数的常数作为第二常数；

将拟合第一侧现实引导线的第二线性函数的常数作为第三常数，将拟合第二侧现实引导线的第二线性函数的常数作为第四常数；

综合所述第一常数与所述第三常数间的相对大小以及所述第二常数与所述第四常数间的相对大小，确定所述平移量。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述在与所述现实场景对应的数字孪生场景中，确定以所述上报位姿对所述数字孪生场景进行图像采集所获得的目标图片，包括：

确定所述数字孪生场景中与所述现实目标对象对应的数字孪生目标对象；

按照所述数字孪生目标对象以所述上报位姿观察到的所述虚拟物和所述数字孪生参照物，生成所述目标图片。

8.根据权利要求7所述的方法，其特征在于，所述按照所述数字孪生目标对象以所述上报位姿观察到的所述虚拟物和所述数字孪生参照物，生成所述目标图片，包括：

获取设于所述现实目标对象的现实相机的相机参数；

在所述数字孪生目标对象以所述上报位姿处于所述数字孪生场景的情况下，按照所述相机参数，将所述数字孪生场景的所述虚拟物和所述数字孪生参照物投影至图片上，得到所述目标图片。

9.根据权利要求1所述的方法，其特征在于，所述获取在现实场景中行进的现实目标对象的上报位姿，包括：

获取设于所述现实目标对象的卫星定位设备采集到的所述现实目标对象在所述现实场景中的位置和行进方向；

将所述现实目标对象在所述现实场景中的位置和行进方向，作为所述上报位姿。

10.根据权利要求1所述的方法，其特征在于，所述虚拟物为虚拟交通流，所述方法还包括：

基于针对所述现实场景构建的高精地图，构建得到所述数字孪生场景；

基于所述高精地图，确定数字孪生道路在所述数字孪生场景中的位置；

按照所述数字孪生道路在所述数字孪生场景中的位置，将所述虚拟交通流添加至所述数字孪生场景中。

11.根据权利要求1至10任一项所述的方法，其特征在于，所述现实目标对象为现实目标车辆，所述方法还包括：

获取包括虚拟交通流的增强现实图片；

基于包括虚拟交通流的增强现实图片，测试运行于所述现实目标车辆的自动驾驶算法。

12.一种增强现实图片的生成装置，其特征在于，所述装置包括：

位姿获取模块，用于获取在现实场景中行进的现实目标对象的上报位姿；

数字孪生场景的图片获取模块，用于在与所述现实场景对应的数字孪生场景中，确定以所述上报位姿对所述数字孪生场景进行图像采集所获得的目标图片；所述数字孪生场景包括不属于所述现实场景的虚拟物以及与属于所述现实场景的现实参照物对应的数字孪生参照物，所述目标图片包括所述虚拟物与所述数字孪生参照物；

现实场景的图片获取模块，用于获取所述现实目标对象以真实位姿在所述现实场景中采集的现实图片；所述现实图片包括所述现实参照物，所述上报位姿与所述真实位姿之间存在差异；

位姿调整模块，用于确定将所述目标图片中所述数字孪生参照物的位姿调整至与所述现实图片中所述现实参照物的位姿重合所需的位姿偏移量，按所述位姿偏移量对所述目标图片中的所述虚拟物的位姿进行调整；

融合模块，用于将所述虚拟物以调整后的位姿融合至所述现实图片，得到用于引导所述现实目标对象的增强现实图片。

13.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法。

15.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11任一项所述的方法。

Images