CN114640838B - 画面合成方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本发明实施例提供了画面合成方法、装置、电子设备及可读存储介质，所述方法包括：获取相机在第一合成画面的渲染时刻的定位信息，根据相机在渲染时刻的定位信息重投影第一合成画面；获取相机在第一合成画面的实际拍摄时刻的定位信息，根据相机在实际拍摄时刻的定位信息，从重投影的第一合成画面中重新捕获用于合成的虚拟画面；将所捕获的虚拟画面和相机在渲染时刻的实际拍摄画面合成得到第二合成画面。使得相机在重捕获虚拟画面的拍摄时刻与用于合成的实际拍摄画面的渲染时刻具有相同的固定延时，解决渲染和拍摄时相机处于不同位置，即不同机位所导致的直接合成无法对齐的问题，进而实现在显示延时的情况下将所需合成的画面内容和位置同时对齐。

Description

画面合成方法、装置、电子设备及可读存储介质

技术领域

本发明涉及多媒体技术领域，特别是涉及一种画面合成方法、一种画面合成装置、一种电子设备和一种计算机可读存储介质。

背景技术

XR(Extended Reality，增强现实)是一种通过摄像机追踪与实时图像渲染技术，使显示介质(LED，Light Emitting Diode，发光显示屏/投影碗幕)及显示介质外的虚拟场景实时跟踪摄像机视角，在摄像机镜头前与现实拍摄画面合成，从而营造出无限空间感的技术。

目前基于现场LED大屏幕的演出形式越来越普及，其中存在一种基于XR的演出方式，具体是根据相机定位将大屏幕以外的内容渲染后与相机拍摄画面叠加的演出方式，以此来拓展舞台的边界达到沉浸式的演出体验。这种演出方式的重点在于虚实部分的结合，虚拟画面通常在拍摄时刻与所拍摄的实际拍摄画面进行结合，然而当相机持续运动时，对于每一个实际拍摄画面渲染时的相机位置与实际拍摄到此实际拍摄画面时的相机位置发生了变化，导致在各类直播演出中出现无法完全对齐虚实部分的问题。

发明内容

本发明实施例的目的在于提供一种画面合成方法、装置、电子设备及可读存储介质，以实现在显示延时的情况下将所需合成的画面内容和位置同时对齐，达到理论上虚实部分完全对齐的可能性。具体技术方案如下：

在本发明实施的第一方面，首先提供了一种画面合成方法，所述方法包括：

获取第一合成画面，以及相机在所述第一合成画面的渲染时刻的定位信息，根据所述相机在渲染时刻的定位信息重投影所述第一合成画面；

获取所述相机在所述第一合成画面的实际拍摄时刻的定位信息，根据所述相机在实际拍摄时刻的定位信息，从重投影的第一合成画面中重新捕获用于合成的虚拟画面；

将所捕获的虚拟画面和所述相机在所述渲染时刻的实际拍摄画面合成得到第二合成画面。

可选地，所述第一合成画面包括与不同渲染时刻相应的合成结果，所述根据所述相机在渲染时刻的定位信息重投影所述第一合成画面，包括：

获取任一渲染时刻的合成结果，以及相机在此渲染时刻的定位信息；所述合成结果包括实际拍摄画面和虚拟画面；

采用所述相机在此渲染时刻的定位信息，将与此渲染时刻相应的实际拍摄画面和虚拟画面在预设虚拟屏幕上进行重投影操作。

可选地，所述相机在渲染时刻的定位信息包括相机的位置信息与投影位置变化信息，所述采用所述相机在此渲染时刻的定位信息，将与此渲染时刻相应的实际拍摄画面和虚拟画面在预设虚拟屏幕上进行重投影操作，包括：

将与此渲染时刻相应的实际拍摄画面和虚拟画面，按照所述相机在此渲染时刻的位置信息与投影位置变化信息投影至预设虚拟屏幕上。

可选地，所述重投影的第一合成画面包括实际拍摄画面和虚拟画面；所述根据所述相机在实际拍摄时刻的定位信息，从重投影的第一合成画面中重新捕获用于合成的虚拟画面，包括：

获取在所述重投影的第一合成画面中与所述相机在所述渲染时刻的实际拍摄画面的同一帧画面被实际拍摄时相机的定位信息；

采用在所述实际拍摄画面被实际拍摄时相机的定位信息，从所述重投影的第一合成画面中对虚拟画面进行捕获。

可选地，所述相机在渲染时刻的定位信息包括相机的位置信息与投影位置变化信息，所述采用在所述实际拍摄画面被实际拍摄时相机的定位信息，从所述重投影的第一合成画面中对虚拟画面进行捕获，包括：

从所述重投影的第一合成画面中，捕获符合所述实际拍摄画面被实际拍摄时的位置信息与投影位置变化信息的虚拟画面。

可选地，所述将所捕获的虚拟画面和所述相机在所述渲染时刻的实际拍摄画面合成得到第二合成画面，包括：

获取所述相机在所述渲染时刻所述第一合成画面所包含的实际拍摄画面，将所捕获的虚拟画面和在所述重投影的第一合成画面中与所述相机在所述渲染时刻所述第一合成画面所包含的实际拍摄画面的同一帧画面进行合成，得到重新合成的第二合成画面。

可选地，所述相机的渲染时刻相对合成画面的合成时刻存在显示延时，所述相机的实际拍摄时刻相对合成画面的合成时刻存在定位延时，所述相机的渲染时刻相对所述相机的实际拍摄时刻存在固定延时；

所述将所捕获的虚拟画面和所述相机在所述渲染时刻的实际拍摄画面合成得到第二合成画面，包括：

将所捕获的虚拟画面，和在所述重投影的第一合成画面中与所捕获的虚拟画面存在固定延时前的合成画面中的实际拍摄画面进行合成，得到重新合成的第二合成画面。

在本发明实施的第二方面，还提供了一种画面合成装置，所述装置包括：

重投影模块，用于获取针对所第一合成画面，以及相机在所述第一合成画面的渲染时刻的定位信息，根据所述相机在渲染时刻的定位信息重投影所述第一合成画面；

重捕获模块，用于获取所述相机在所述第一合成画面的实际拍摄时刻的定位信息，根据据所述相机在实际拍摄时刻的定位信息，从重投影的第一合成画面中重新捕获用于合成的虚拟画面；

画面合成模块，用于将所捕获的虚拟画面和所述相机在所述渲染时刻的实际拍摄画面合成得到第二合成画面。

可选地，所述第一合成画面包括与不同渲染时刻相应的合成结果，所述重投影模块包括：

合成结果获取子模块，用于获取任一渲染时刻的合成结果，以及相机在此渲染时刻的定位信息；所述合成结果包括实际拍摄画面和虚拟画面；重投影子模块，用于采用所述相机在此渲染时刻的定位信息，将与此渲染时刻相应的实际拍摄画面和虚拟画面在预设虚拟屏幕上进行重投影操作。

可选地，所述相机在渲染时刻的定位信息包括相机的位置信息与投影位置变化信息，所述重投影子模块包括：

重投影单元，用于将与此渲染时刻相应的实际拍摄画面和虚拟画面，按照所述相机在此渲染时刻的位置信息与投影位置变化信息投影至预设虚拟屏幕上。

可选地，所述重投影的第一合成画面包括实际拍摄画面和虚拟画面；所述重捕获模块包括：

定位信息获取子模块，用于获取在所述重投影的第一合成画面中与所述相机在所述渲染时刻的实际拍摄画面的同一帧画面被实际拍摄时相机的定位信息；

重捕获子模块，用于采用在所述实际拍摄画面被实际拍摄时相机的定位信息，从所述重投影的第一合成画面中对虚拟画面进行捕获。

可选地，所述相机在渲染时刻的定位信息包括相机的位置信息与投影位置变化信息，所述重捕获子模块包括：

重捕获单元，用于从所述重投影的第一合成画面中，捕获符合所述实际拍摄画面被实际拍摄时的位置信息与投影位置变化信息的虚拟画面。

可选地，所述画面合成模块包括：

第一画面合成子模块，用于获取所述相机在所述渲染时刻所述第一合成画面所包含的实际拍摄画面，将所捕获的虚拟画面和在所述重投影的第一合成画面中与所述相机在所述渲染时刻所述第一合成画面所包含的实际拍摄画面的同一帧画面进行合成，得到重新合成的第二合成画面。

可选地，所述相机的渲染时刻相对合成画面的合成时刻存在显示延时，所述相机的实际拍摄时刻相对合成画面的合成时刻存在定位延时，所述相机的渲染时刻相对所述相机的实际拍摄时刻存在固定延时；所述画面合成模块包括：

第二画面合成子模块，用于将所捕获的虚拟画面，和在所述重投影的第一合成画面中与所捕获的虚拟画面存在固定延时前的合成画面中的实际拍摄画面进行合成，得到重新合成的第二合成画面。

在本发明实施的又一方面，还提供了一种电子设备包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，使得计算机程序执行上述任一项所述画面合成方法的步骤。

在本发明实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一项所述画面合成方法的步骤。

在本发明实施的又一方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一项所述画面合成方法的步骤。

本发明实施例提供的画面合成方法，通过基于相机在渲染时刻的定位信息对合成画面进行重投影，以及基于相机在拍摄时刻的定位信息重新捕获在重投影画面中的虚拟画面得到新的合成背景，使得相机在重捕获虚拟画面的拍摄时刻与用于合成的实际拍摄画面的渲染时刻具有相同的固定延时，解决渲染和拍摄时相机处于不同位置，即不同机位所导致的直接合成无法对齐的问题，进而实现在显示延时的情况下将所需合成的画面内容和位置同时对齐，达到理论上虚实部分完全对齐的可能性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1为本发明实施例提供的XR演出方式的流程示意图；

图2A与图2B为相关技术中的合成结果示意图；

图3为本发明的一种画面合成方法实施例的步骤流程图；

图4为本发明实施例提供的虚拟合成环境中不同机位的示意图；

图5为本发明实施例提供的画面合成的***框图；

图6为本发明的一种画面合成装置实施例的结构框图；

图7为本发明实施例中的一种电子设备实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。

基于XR的演出方式，其重点在于虚实部分的结合。虚实部分的对齐本质上主要是LED屏幕在相机成像的精确计算，其相机成像的精度可以受相机内参、畸变、定位精确度、舞台建模的精确度等因素影响，除此以外，当相机持续运动时，对于每一个画面渲染时的相机位置与实际拍摄到时的相机位置可能发生变化，这一延迟使得即使在上述的所有参数都达到理论精度的情况下，依然无法完全对齐虚实部分。

在基于XR的演出方式中，各类直播演出均出现无法完全对齐虚实部分的问题，参照图1，示出了本发明实施例提供的XR演出方式的流程示意图，其通过摄像机追踪与实时图像渲染技术，使显示介质(LED/投影碗幕)及显示介质外的虚拟场景实时跟踪摄像机视角，在摄像机镜头前与现实拍摄画面合成。即过程可以包括渲染机渲染、追踪相机拍摄以及合成机合成这几个过程，其分别对应存在渲染时刻、拍摄时刻以及合成时刻，其中渲染机的渲染时刻相对于合成机的合成时刻存在显示延时，相机的拍摄时刻相对于和成绩的合成时刻存在定位延时，那么渲染机渲染时刻与相机的拍摄时刻之间也存在着延时，基于这些显示延时、定位延时以及渲染时刻与拍摄时刻之间延时的存在，相机在不同时刻的定位信息是不同的，即其定位信息存在延时差异。

具体的，渲染机在渲染完成一帧画面后，这一帧画面具有两种处理路径，如图1所示，路径1可根据相机位置进行投影计算，并将渲染后的画面显示在LED屏上(此时存在延时)，并在显示在屏幕后被相机拍到，然后将所拍摄的画面，这一画面中存在舞台上的实际物体，包括演员等传到合成机(此时同样存在延时)，此时相机在拍摄时刻以及渲染机的渲染时刻的位置不同；路径2可以直接将渲染后的画面发送到合成机(此时所存在的延时小于路径1)，然后再经过延时计算后与路径1的同一帧画面叠加，得到XR合成结果，路径2同样也存在延时，此时即便将渲染后的画面直接发送给合成机，但由于其需要与路径1中与此渲染后画面中被拍摄的同一帧画面进行画面叠加，其同样也存在基于所存在的延时导致的相机在拍摄时刻以及渲染时刻的位置不同的现象。

然而，在静态情况无任何误差的情况下，通过理论分别模拟上述路径1与路径2中在渲染画面后所进行的处理过程，如图2A所示，为画面使用同一帧的情况，此时虚实合成的部位严重错位，以及如图2B所示，为使用拍摄时刻渲染的结果进行合成的情况，此时的虚实对齐依然存在错位，且画面内容可能不一致。由于路径1与路径2中渲染时刻与拍摄时刻的相机处于不同位置，其在相机持续运动的情况下，即使是理论模拟其所得到的合成结果均无法对齐。

本发明实施例的核心思想之一在于基于相机在渲染时刻的定位信息对合成画面进行重投影，以及基于相机在拍摄时刻的定位信息重新捕获在重投影画面中的虚拟画面以得到新的合成背景，使得相机在重捕获虚拟画面的拍摄时刻与用于合成的实际拍摄画面的渲染时刻具有相同的固定延时，以解决渲染和拍摄时相机处于不同位置所导致的直接合成无法对齐的问题。

参照图3，示出了本发明的一种画面合成方法实施例的步骤流程图，具体可以包括如下步骤：

步骤301，获取相机在第一合成画面的渲染时刻的定位信息，根据相机在渲染时刻的定位信息重投影第一合成画面；

为了解决虚实部分无法对齐的问题，此时可以假设用于显示渲染机所渲染画面的屏幕的面积非常大，大到相机在拍摄屏幕上的画面时无法拍摄到屏幕外部，那么此时无论相机如何快速地移动，虽然画面的透视关系(指的是观众在观看二维画面中的物体空间关系)会产生错误，即在基于观看角度不同而形成的不同的物体的空间位置、轮廓和投影的画面空间感在画面中不符合观众的感官，但由于相机拍摄不到屏幕外部，此时将不再需要进行虚实画面的对齐，那么并不会出现无法对齐的问题，基于此假设存在屏幕面积足够大的思想，在本发明实施例中，可以在静态定位误差非常小(畸变、内参、定位偏差、建模误差等)的情况下，使用扩展屏幕重投影的方式，在虚拟的合成环境中模拟假设存在的面积超大屏幕下的拍摄过程，并使用相机实际拍摄的画面与其叠加，以在无需进行对齐的情况下得到完美对齐的XR合成画面。

在本发明的一种实施例中，为了在虚拟的合成环境中模拟假设存在的面积超大屏幕下的拍摄过程，并使用相机实际拍摄的画面与其叠加得到XR合成画面，此时需要进行扩展屏幕重投影的操作，主要可以表现为将第一合成画面重新投影至扩展屏幕上，以对第一合成画面进行重新处理。

其中，用于重投影的第一合成画面可以指的是已合成的画面，所投影至的扩展屏幕即可以指的是在假设无需进行对齐条件下的虚拟合成环境，此被扩展的屏幕表现为面积超大的屏幕，如图4所示的延伸LED。

在实际应用中，对第一合成画面所进行的重新处理，主要就是对第一合成画面进行重投影，以去除在相关合成技术中所存在的渲染延时。

为了去除在相关合成技术中所存在的渲染延时，可以获取相机在第一合成画面的渲染时刻的定位信息，并根据相机在渲染时刻的定位信息重投影第一合成画面。如图4所示，可以在虚拟的合成环境中设置虚拟相机，通过存在针对虚拟相机的两个机位，其中机位A负责对所合成画面的重投影，其主要可表现为同一帧内容重投影，即对与第一合成画面中的同一帧内容的重投影，机位B负责对所合成画面的重捕获，实现在显示延时的情况下将所需合成的画面内容和位置同时对齐，以提升渲染效率，避免重复计算。需要说明的是，图4中所示的机位A与机位B仅为了描述虚拟合成环境中所设置的虚拟相机的机位，其机位A与机位B的位置并不局限于如图4所示的位置，其主要按照实际情况设置，对此，本发明实施例不加以限制。

具体的，在虚拟合成环境中被重投影的第一合成画面，其可以包括与不同渲染时刻相应的合成结果，不同渲染时刻的合成结果可以包括实际拍摄画面(即所拍摄的显示在屏幕上的画面)和虚拟画面，此时可以获取任一渲染时刻的合成结果，以及相机在此渲染时刻的定位信息，例如图4中所示的机位A，基于机位A将与此渲染时刻相应的实际拍摄画面和虚拟画面在预设虚拟屏幕上进行重投影操作，即将重投影画面至虚拟合成环境中的虚拟屏幕上。

其中，相机在渲染时刻的定位信息可以表现为相机在此时刻的机位信息，例如机位A，其可以包括相机的位置信息、投影位置变化信息、相机移动的位移信息等。对第一合成画面的重投影操作，具体可以通过将与此渲染时刻相应的实际拍摄画面和虚拟画面，按照相机在此渲染时刻的位置信息与投影位置变化信息投影至预设虚拟屏幕上实现。

步骤302，根据相机在第一合成画面的实际拍摄时刻的定位信息，从重投影的第一合成画面中重新捕获用于合成的虚拟画面；

在根据相机在渲染时刻的定位信息重投影第一合成画面以去除在相关合成技术中所存在的渲染延时之后，此时还可以对作为新合成背景的虚拟画面进行重新捕获，主要表现为根据相机在第一合成画面的实际拍摄时刻的定位信息对其进行捕获，以便后续在合成时能够将此在第一合成画面中渲染出来的虚拟画面按照相机在拍摄时刻的机位信息实现对齐，即保证新合成画面中的虚实对齐。

其中，根据相机在第一合成画面的实际拍摄时刻的定位信息，从重投影的第一合成画面中重新捕获用于合成的虚拟画面，其实际拍摄时刻的定位信息可以表现为如图4所示的机位B，机位B负责对所合成画面的重捕获，其主要可表现为同定位机位重新捕获，即基于与第一合成画面中基于实际拍摄画面的实际拍摄时刻的同一定位信息对虚拟画面进行捕获。

在实际应用中，在虚拟合成环境中被重投影的第一合成画面，其可以包括包括实际拍摄画面(即所拍摄的显示在屏幕上的画面)和虚拟画面，此时可以获取在重投影的第一合成画面中与相机在渲染时刻的实际拍摄画面的同一帧画面被实际拍摄时相机的定位信息，例如图4中所示的机位B，采用机位B从重投影的第一合成画面中对虚拟画面进行捕获，以将所捕获的虚拟画面作为新合成画面的背景。

其中，相机在渲染时刻的定位信息可以表现为相机在此时刻的机位信息，例如机位B，其可以包括相机的位置信息、投影位置变化信息、相机移动的位移信息等。

对虚拟画面的重新捕获，具体可以通过从重投影的第一合成画面中，捕获符合实际拍摄画面被实际拍摄时的位置信息与投影位置变化信息的虚拟画面实现。具体的，如图5所示，在虚拟的合成环境中同样存在渲染机渲染、追踪相机拍摄以及合成机合成这几个过程，其相对应存在渲染时刻、拍摄时刻以及合成时刻，其中相机的渲染时刻相对合成画面的合成时刻存在显示延时，以及相机的实际拍摄时刻相对合成画面的合成时刻存在定位延时。

那么，此时如图5所示，当渲染时刻与实际拍摄时刻的相机处于不同位置时，渲染时刻相对于合成时刻所存在的显示延时，与实际拍摄时刻相对于合成时刻所存在的定位延时不相同，从而导致即便后续在进行虚实对齐时所使用的是与第一合成画面所包含的实际拍摄画面的同一帧画面或者实际拍摄时刻所渲染的内容也是画面内容错误的情况，而此时基于某个渲染时刻所重新投影的合成结果，在确定所需用于合成的实际拍摄画面的基础上，能够基于此实际拍摄画面的实际拍摄时刻的相机的定位信息对此时的虚拟画面进行重新捕获。

步骤303，将所捕获的虚拟画面和相机在渲染时刻的实际拍摄画面合成得到第二合成画面。

在对作为背景的虚拟画面进行重新捕获后，此时可使用相机实际拍摄的画面与其叠加，在实际应用中，相机实际拍摄画面可以指的是在进行重投影时所确定的需要合成的画面，即可以指的是与实际拍摄屏幕画面的同一帧画面，此时在对新画面进行合成时，可将所捕获的虚拟画面和实际拍摄画面的同一帧画面进行合成，得到新合成的画面，在完美对齐的情况下完成XR的合成。

在本发明的一种实施例中，在进行重投影时所确定的需要合成的画面可以为相机在渲染时刻第一合成画面所包含的实际拍摄画面，所捕获的与在渲染时刻第一合成画面所包含的实际拍摄画面的同一帧画面的相机定位信息与相机在实际拍摄时刻的定位信息处于同一位置。

在对第二合成画面，即新合成的画面进行合成时，可以表现为将所捕获的虚拟画面和在重投影的第一合成画面中与相机在渲染时刻第一合成画面所包含的实际拍摄画面的同一帧画面进行合成，得到重新合成的第二合成画面。

需要说明的是，由于重投影的第一合成画面与原本的第一合成画面中的屏幕画面将会受到时刻的影响，其主要是在渲染时刻与拍摄时刻相机的相机的定位信息不同而导致的，本方案的本质是在将第一合成画面按照渲染时刻的相机的定位信息进行重投影时，可以按照与重投影画面中实际拍摄部分的实际拍摄时刻的定位信息重新捕获符合此定位信息的虚拟画面，以将虚拟画面和与渲染画面时刻在画面中的实际拍摄部分进行合成实现虚实对齐。上述的同一帧画面相当于是相机在渲染时刻的定位信息在其合成画面中所对应的实际拍摄部分，即实际拍摄画面，但由于在原本的第一合成画面与重投影的第一合成画面在本方案中所在的合成环境不同，此时所要重新进行合成的虽然也是渲染画面时刻在画面中的实际拍摄部分，但实际上需要从重新投影的第一合成画面中去获取这部分内容，即相机在渲染时刻第一合成画面所包含的实际拍摄画面的同一帧画面，可以理解为相机在渲染时刻在第一合成画面中所包含的实际拍摄画面。

在一种优选的实施例中，如图5所示，在虚拟的合成环境中同样存在渲染机渲染、追踪相机拍摄以及合成机合成这几个过程，其相对应存在渲染时刻、拍摄时刻以及合成时刻，其中相机的渲染时刻相对合成画面的合成时刻存在显示延时，以及相机的实际拍摄时刻相对合成画面的合成时刻存在定位延时，即相机的渲染时刻相对相机的实际拍摄时刻存在固定延时。

那么，用于作为新合成背景的虚拟画面，在对其捕获时所基于的实际拍摄时刻与用于合成的实际拍摄画面的实际拍摄时刻存在固定延时，例如显示延时与定位延时的差值，所捕获的虚拟画面的相机定位信息与所捕获的虚拟画面存在固定延时前的合成画面中的实际拍摄画面的相机定位信息处于同一位置，此时可以将所捕获的虚拟画面，和在重投影的第一合成画面中与所捕获的虚拟画面存在固定延时前的合成画面中的实际拍摄画面进行合成，得到重新合成的第二合成画面，实现虚实对齐。需要说明的是，本发明实施例能够大幅度提高虚拟演出中XR部分的合成效果，并解除之前由于技术原因对创作团队做出的各种限制(如机位限制、运镜速度、镜头切换等)，且其可适用于虚拟演出、虚拟拍摄等应用场景，并且还可以在基于此方案的基础上达到对渲染效率的提升以及重复计算的避免的目的，对此，本发明实施例对此不加以限制。

在本发明实施例中，通过基于相机在渲染时刻的定位信息对合成画面进行重投影，以及基于相机在拍摄时刻的定位信息重新捕获在重投影画面中的虚拟画面得到新的合成背景，使得相机在重捕获虚拟画面的拍摄时刻与用于合成的实际拍摄画面的渲染时刻具有相同的固定延时，解决渲染和拍摄时相机处于不同位置，即不同机位所导致的直接合成无法对齐的问题，进而实现在显示延时的情况下将所需合成的画面内容和位置同时对齐，达到理论上虚实部分完全对齐的可能性。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图6，示出了本发明的一种画面合成装置实施例的结构框图，具体可以包括如下模块：

重投影模块601，用于获取针对所第一合成画面，以及相机在所述第一合成画面的渲染时刻的定位信息，根据所述相机在渲染时刻的定位信息重投影所述第一合成画面；

重捕获模块602，用于获取所述相机在所述第一合成画面的实际拍摄时刻的定位信息，根据据所述相机在实际拍摄时刻的定位信息，从重投影的第一合成画面中重新捕获用于合成的虚拟画面；

画面合成模块603，用于将所捕获的虚拟画面和所述相机在所述渲染时刻的实际拍摄画面合成得到第二合成画面。

在本发明的一种实施例中，所述第一合成画面包括与不同渲染时刻相应的合成结果，重投影模块601可以包括如下子模块：

合成结果获取子模块，用于获取任一渲染时刻的合成结果，以及相机在此渲染时刻的定位信息；所述合成结果包括实际拍摄画面和虚拟画面；

重投影子模块，用于采用所述相机在此渲染时刻的定位信息，将与此渲染时刻相应的实际拍摄画面和虚拟画面在预设虚拟屏幕上进行重投影操作。

在本发明的一种实施例中，所述相机在渲染时刻的定位信息包括相机的位置信息与投影位置变化信息，重投影子模块可以包括如下单元：

重投影单元，用于将与此渲染时刻相应的实际拍摄画面和虚拟画面，按照所述相机在此渲染时刻的位置信息与投影位置变化信息投影至预设虚拟屏幕上。

在本发明的一种实施例中，所述重投影的第一合成画面包括实际拍摄画面和虚拟画面；重捕获模块602可以包括如下子模块：

定位信息获取子模块，用于获取在所述重投影的第一合成画面中与所述相机在所述渲染时刻的实际拍摄画面的同一帧画面被实际拍摄时相机的定位信息；

重捕获子模块，用于采用在所述实际拍摄画面被实际拍摄时相机的定位信息，从所述重投影的第一合成画面中对虚拟画面进行捕获。

在本发明的一种实施例中，所述相机在渲染时刻的定位信息包括相机的位置信息与投影位置变化信息，重捕获子模块可以包括如下单元：

重捕获单元，用于从所述重投影的第一合成画面中，捕获符合所述实际拍摄画面被实际拍摄时的位置信息与投影位置变化信息的虚拟画面。

在本发明的一种实施例中，所述预设实际拍摄画面包括与实际拍摄屏幕画面的同一帧画面，画面合成模块603可以包括如下子模块：

第一画面合成子模块，用于获取所述相机在所述渲染时刻所述第一合成画面所包含的实际拍摄画面，将所捕获的虚拟画面和在所述重投影的第一合成画面中与所述相机在所述渲染时刻所述第一合成画面所包含的实际拍摄画面的同一帧画面进行合成，得到重新合成的第二合成画面。

在本发明的一种实施例中，所述相机的渲染时刻相对合成画面的合成时刻存在显示延时，所述相机的实际拍摄时刻相对合成画面的合成时刻存在定位延时，所述相机的渲染时刻相对所述相机的实际拍摄时刻存在固定延时；

画面合成模块603可以包括如下子模块：

第二画面合成子模块，用于将所捕获的虚拟画面，和在所述重投影的第一合成画面中与所捕获的虚拟画面存在固定延时前的合成画面中的实际拍摄画面进行合成，得到重新合成的第二合成画面。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本发明实施例还提供了一种电子设备，如图7所示，包括处理器701、通信接口702、存储器703和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信，

存储器703，用于存放计算机程序；

处理器701，用于执行存储器703上所存放的程序时，实现如下步骤：

获取第一合成画面，以及相机在所述第一合成画面的渲染时刻的定位信息，根据所述相机在渲染时刻的定位信息重投影所述第一合成画面；

获取所述相机在所述第一合成画面的实际拍摄时刻的定位信息，根据所述相机在实际拍摄时刻的定位信息，从重投影的第一合成画面中重新捕获用于合成的虚拟画面；

将所捕获的虚拟画面和所述相机在所述渲染时刻的实际拍摄画面合成得到第二合成画面。

具体的，在虚拟合成环境中被重投影的第一合成画面，其可以包括与不同渲染时刻相应的合成结果，此时可以获取任一渲染时刻的合成结果，以及相机在此渲染时刻的定位信息，采用相机在此渲染时刻的定位信息将与此渲染时刻相应的实际拍摄画面和虚拟画面在预设虚拟屏幕上进行重投影操作。

在本发明实施例中，在虚拟合成环境中被重投影的第一合成画面，其可以包括包括实际拍摄画面(即所拍摄的显示在屏幕上的画面)和虚拟画面，此时可以获取在重投影的第一合成画面中与相机在渲染时刻的实际拍摄画面的同一帧画面被实际拍摄时相机的定位信息，采用与相机在渲染时刻的实际拍摄画面的同一帧画面被实际拍摄时相机的定位信息，从重投影的第一合成画面中对虚拟画面进行捕获，以将所捕获的虚拟画面作为新合成画面的背景，然后将所捕获的虚拟画面和实际拍摄画面进行新画面，即第二合成画面的合成，在虚实部分对齐的情况下完成XR的合成。

上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述终端与其他设备之间的通信。

存储器可以包括随机存取存储器(RandomAccess Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processing，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field－Programmable GateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述画面合成方法的步骤。

在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述画面合成方法的步骤。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (9)

1.一种画面合成方法，其特征在于，所述方法包括：

获取第一合成画面，以及相机在所述第一合成画面的渲染时刻的定位信息，根据所述相机在渲染时刻的定位信息重投影所述第一合成画面；所述第一合成画面包括与不同渲染时刻相应的合成结果，所述合成结果包括实际拍摄画面和虚拟画面；

获取所述相机在所述第一合成画面的实际拍摄时刻的定位信息，根据所述相机在实际拍摄时刻的定位信息，从重投影的第一合成画面中重新捕获用于合成的虚拟画面；

将所捕获的虚拟画面和所述相机在所述渲染时刻的实际拍摄画面合成得到第二合成画面；其中，所述相机的渲染时刻相对合成画面的合成时刻存在显示延时，所述相机的实际拍摄时刻相对合成画面的合成时刻存在定位延时，所述第二合成画面基于所捕获的虚拟画面，和在所述重投影的第一合成画面中与所捕获的虚拟画面存在固定延时前的合成画面中的实际拍摄画面合成得到。

2.根据权利要求1所述的方法，其特征在于，所述根据所述相机在渲染时刻的定位信息重投影所述第一合成画面，包括：

获取任一渲染时刻的合成结果，以及相机在此渲染时刻的定位信息；采用所述相机在此渲染时刻的定位信息，将与此渲染时刻相应的实际拍摄画面和虚拟画面在预设虚拟屏幕上进行重投影操作。

3.根据权利要求2所述的方法，其特征在于，所述相机在渲染时刻的定位信息包括相机的位置信息与投影位置变化信息，所述采用所述相机在此渲染时刻的定位信息，将与此渲染时刻相应的实际拍摄画面和虚拟画面在预设虚拟屏幕上进行重投影操作，包括：

将与此渲染时刻相应的实际拍摄画面和虚拟画面，按照所述相机在此渲染时刻的位置信息与投影位置变化信息投影至预设虚拟屏幕上。

4.根据权利要求1所述的方法，其特征在于，所述重投影的第一合成画面包括实际拍摄画面和虚拟画面；所述根据所述相机在实际拍摄时刻的定位信息，从重投影的第一合成画面中重新捕获用于合成的虚拟画面，包括：

获取在所述重投影的第一合成画面中与所述相机在所述渲染时刻的实际拍摄画面的同一帧画面被实际拍摄时相机的定位信息；

采用在所述实际拍摄画面被实际拍摄时相机的定位信息，从所述重投影的第一合成画面中对虚拟画面进行捕获。

5.根据权利要求4所述的方法，其特征在于，所述相机在渲染时刻的定位信息包括相机的位置信息与投影位置变化信息，所述采用在所述实际拍摄画面被实际拍摄时相机的定位信息，从所述重投影的第一合成画面中对虚拟画面进行捕获，包括：

从所述重投影的第一合成画面中，捕获符合所述实际拍摄画面被实际拍摄时的位置信息与投影位置变化信息的虚拟画面。

6.根据权利要求3所述的方法，其特征在于，所述将所捕获的虚拟画面和所述相机在所述渲染时刻的实际拍摄画面合成得到第二合成画面，包括：

获取所述相机在所述渲染时刻时所述第一合成画面所包含的实际拍摄画面，将所捕获的虚拟画面和在所述重投影的第一合成画面中与所述相机在所述渲染时刻所述第一合成画面所包含的实际拍摄画面的同一帧画面进行合成，得到重新合成的第二合成画面。

7.一种画面合成装置，其特征在于，所述装置包括：

重投影模块，用于获取针对所第一合成画面，以及相机在所述第一合成画面的渲染时刻的定位信息，根据所述相机在渲染时刻的定位信息重投影所述第一合成画面；所述第一合成画面包括与不同渲染时刻相应的合成结果，所述合成结果包括实际拍摄画面和虚拟画面；

重捕获模块，用于获取所述相机在所述第一合成画面的实际拍摄时刻的定位信息，根据据所述相机在实际拍摄时刻的定位信息，从重投影的第一合成画面中重新捕获用于合成的虚拟画面；

画面合成模块，用于将所捕获的虚拟画面和所述相机在所述渲染时刻的实际拍摄画面合成得到第二合成画面；其中，所述相机的渲染时刻相对合成画面的合成时刻存在显示延时，所述相机的实际拍摄时刻相对合成画面的合成时刻存在定位延时，所述第二合成画面基于所捕获的虚拟画面，和在所述重投影的第一合成画面中与所捕获的虚拟画面存在固定延时前的合成画面中的实际拍摄画面合成得到。

8.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-6任一项所述画面合成方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一项所述画面合成方法的步骤。