CN109978945A - 一种增强现实的信息处理方法和装置 - Google Patents

Abstract

本申请公开了一种增强现实的信息处理方法和装置。该方法包括：获取虚拟媒体信息，其中，虚拟媒体信息由目标场景的初始图像和远程场景的初始图像确定；获取目标场景的后续图像；确定目标场景的后续图像对应的视角与目标场景的初始图像对应的视角之间的视角变化；在视角变化处于预设范围内情况下，依据视角变化对虚拟媒体信息进行修正，得到第一修正虚拟媒体信息；将第一修正虚拟媒体信息与目标场景的后续图像进行结合，生成用于展示的增强现实场景。通过本申请，解决了在AR数据处理的相关技术中，如何在不增加额外设备的情况下，高效完成增强现实场景的数据处理的技术问题。

Description

一种增强现实的信息处理方法和装置

技术领域

本申请涉及AR(增强现实)领域，具体而言，涉及一种增强现实的信息处理方法和装置。

背景技术

增强现实AR(Augmented Reality)是在真实的现实世界视觉信息的基础上加入包括视频、图像、文字、声音等其他计算机产生的虚拟媒体信息的技术。

该技术的一个重要应用领域是帮助用户体验当前场景中在物理距离上或者时间上不可能接触的体验，增加或提升用户对真实世界场景中的信息的感知。但是AR技术可能要求专用的***或者硬件设备，例如头戴显示器、智能眼睛、带有独立显卡的计算机等，这些都要求一定的成本或者使用环境，在无形中限制了AR的使用场景。

针对AR数据处理的相关技术中，如何在不增加额外设备的情况下，高效完成增强现实场景的数据处理仍是当前待解决的重要问题。

发明内容

本申请提供一种增强现实的信息处理方法和装置，以解决在AR数据处理的相关技术中，如何在不增加额外设备的情况下，高效完成增强现实场景的数据处理的技术问题。

根据本申请的一个方面，提供了一种增强现实的信息处理方法。该方法包括：获取虚拟媒体信息，其中，虚拟媒体信息由目标场景的初始图像和远程场景的初始图像确定；获取目标场景的后续图像；确定目标场景的后续图像对应的视角与目标场景的初始图像对应的视角之间的视角变化；在视角变化处于预设范围内情况下，依据视角变化对虚拟媒体信息进行修正，得到第一修正虚拟媒体信息；将第一修正虚拟媒体信息与目标场景的后续图像进行结合，生成用于展示的增强现实场景。

进一步地，方法还包括：在视角变化超过预设范围的情况下，依据视角变化对远程摄像装置的拍摄角度进行调整，其中，远程摄像装置用于获取远程场景的图像信息；通过拍摄角度经调整过的远程摄像装置获取远程场景的修正图像；依据后续图像和远程场景的修正图像得到第二修正虚拟媒体信息；将第二修正虚拟媒体信息与目标场景的后续图像进行结合，生成用于展示的增强现实场景。

进一步地，依据视角变化对远程摄像装置的拍摄角度进行调整包括：确定远程摄像装置对应的多个预设拍摄角度；依据视角变化，从多个预设拍摄角度中确定目标拍摄角度；将远程摄像装置的拍摄角度调整为目标拍摄角度。

进一步地，获取虚拟媒体信息包括：获取多个目标场景的初始图像和至少一个远程场景的初始图像，其中，多个目标场景的初始图像由多组镜头对目标场景进行拍摄处理而生成的；依据多个目标场景的初始图像中相匹配特征之间的差别，确定目标场景的深度信息；将目标场景的深度信息与至少一个远程场景的初始图像进行拟合处理，得到虚拟媒体信息。

进一步地，依据多个目标场景的初始图像中相匹配特征之间的差别，确定目标场景的深度信息包括：识别多个目标场景的初始图像中的相匹配特征；确定相匹配特征在每个目标场景的初始图像中的坐标；依据相匹配特征在至少两个目标场景的初始图像中的坐标之差，确定目标场景的深度信息。

进一步地，确定目标场景的后续图像对应的视角与目标场景的初始图像对应的视角之间的视角变化包括：确定相对于目标场景的初始图像对应的视角，后续图像对应的视角平移变化参数；确定相对于目标场景的初始图像对应的视角，后续图像对应的视角旋转变化参数。

进一步地，在所述远程摄像装置获取所述远程场景的修正图像的情况下，所述远程摄像装置所采用的目标拍摄角度中至少包含一个标准拍摄角度，其中，标准拍摄角度所对应的真实世界坐标与虚拟媒体信息所对应的虚拟世界坐标相对准。

根据本申请的另一方面，提供了一种增强现实的信息处理装置。该装置包括：第一获取单元，用于获取虚拟媒体信息，其中，虚拟媒体信息由目标场景的初始图像和远程场景的初始图像确定；第二获取单元，用于获取目标场景的后续图像；确定单元，用于确定目标场景的后续图像对应的视角与目标场景的初始图像对应的视角之间的视角变化；第三获取单元，用于在视角变化处于预设范围内情况下，依据视角变化对虚拟媒体信息进行修正，得到第一修正虚拟媒体信息；第一生成单元，用于将第一修正虚拟媒体信息与目标场景的后续图像进行结合，生成用于展示的增强现实场景。

根据本申请的另一方面，提供了一种存储介质，存储介质包括存储的程序，其中，程序执行上述任意一项的增强现实的信息处理方法。

根据本申请的另一方面，提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述任意一项的增强现实的信息处理方法。

通过本申请，采用以下步骤：获取虚拟媒体信息，其中，虚拟媒体信息由目标场景的初始图像和远程场景的初始图像确定；获取目标场景的后续图像；确定目标场景的后续图像对应的视角与目标场景的初始图像对应的视角之间的视角变化；在视角变化处于预设范围内情况下，依据视角变化对虚拟媒体信息进行修正，得到第一修正虚拟媒体信息；将第一修正虚拟媒体信息与目标场景的后续图像进行结合，生成用于展示的增强现实场景，解决了在AR数据处理的相关技术中，如何在不增加额外设备的情况下，完成增强现实场景的数据处理的技术问题。

也即，在用户终端改变视角的情况下，不再重新进行深度图的计算过程，而是先判断用户终端的视角变化是否处于预设范围内，若用户终端的视角变化处于预设范围内，则直接对先前确定的虚拟媒体信息进行修正处理(平移或/和转动)，得到第一修正虚拟媒体信息，进而将第一修正虚拟媒体信息与用户终端实时获取的后续图像进行结合处理，得到用于展示的增强现实场景。

也即，达到了在不增加额外设备的情况下，仍可高效完成增强现实场景的数据处理，避免了在用户终端每次改变视角的情况下，都需要重新对视角更新后的后续图像进行深度信息计算处理的情况发生，节约了大量深度信息的处理时间。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请第一实施例提供的增强现实的信息处理方法的流程图；

图2是根据本申请第二实施例提供的增强现实的信息处理方法的流程图；以及

图3是根据本申请实施例提供的增强现实的信息处理装置的示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本申请的第一实施例，提供了一种增强现实的信息处理方法。

图1是根据本申请第一实施例的增强现实的信息处理方法的流程图。如图1所示，该方法包括以下步骤：

步骤S102，获取虚拟媒体信息，其中，虚拟媒体信息由目标场景的初始图像和远程场景的初始图像确定。

步骤S104，获取目标场景的后续图像。

步骤S106，确定目标场景的后续图像对应的视角与目标场景的初始图像对应的视角之间的视角变化。

步骤S108，在视角变化处于预设范围内情况下，依据视角变化对虚拟媒体信息进行修正，得到第一修正虚拟媒体信息。

步骤S110，将第一修正虚拟媒体信息与目标场景的后续图像进行结合，生成用于展示的增强现实场景。

本申请第一实施例提供的增强现实的信息处理方法，通过获取虚拟媒体信息，其中，虚拟媒体信息由目标场景的初始图像和远程场景的初始图像确定；获取目标场景的后续图像；确定目标场景的后续图像对应的视角与目标场景的初始图像对应的视角之间的视角变化；在视角变化处于预设范围内情况下，依据视角变化对虚拟媒体信息进行修正，得到第一修正虚拟媒体信息；将第一修正虚拟媒体信息与目标场景的后续图像进行结合，生成用于展示的增强现实场景，解决了在AR数据处理的相关技术中，如何在不增加额外设备的情况下，完成增强现实场景的数据处理的技术问题。

也即，在用户终端改变视角的情况下，不再重新进行深度图的计算过程，而是先判断用户终端的视角变化是否处于预设范围内，若用户终端的视角变化处于预设范围内，则直接对先前确定的虚拟媒体信息进行修正处理(平移或/和转动)，得到第一修正虚拟媒体信息，进而将第一修正虚拟媒体信息与用户终端实时获取的后续图像进行结合处理，得到用于展示的增强现实场景。

也即，达到了在不增加额外设备的情况下，仍可高效完成增强现实场景的数据处理，避免了在用户终端每次改变视角的情况下，都需要重新对视角更新后的后续图像进行深度信息计算处理的情况发生，节约了大量深度信息的处理时间。

此外，本申请的第二实施例也提供了一种增强现实的信息处理方法。

图2是根据本申请第二实施例的增强现实的信息处理方法的流程图。如图2所示，方法还包括如下步骤：

步骤S202，在视角变化超过预设范围的情况下，依据视角变化对远程摄像装置的拍摄角度进行调整，其中，远程摄像装置用于获取远程场景的图像信息。

步骤S204，通过拍摄角度经调整过的远程摄像装置获取远程场景的修正图像。

步骤S206，依据后续图像和远程场景的修正图像得到第二修正虚拟媒体信息。

步骤S208，将第二修正虚拟媒体信息与目标场景的后续图像进行结合，生成用于展示的增强现实场景。

也即，在用户终端改变视角的情况下，不仅仅是简单的重新进行深度图的计算处理，而是先判断用户终端的视角变化是否处于预设范围内，若用户终端的视角变化超过预设范围内，则依据用户终端的视角变化远程调控远程摄像装置的拍摄角度，并依据拍摄角度经调整过的远程摄像装置重新获取远程场景的修正图像，以便进一步地获取第二修正虚拟媒体信息，此时，再将第二修正虚拟媒体信息与目标场景的后续图像进行结合处理，得到用于展示的增强现实场景。避免了在用户终端的视角变化过大的情况下，仅依据视角变化对虚拟媒体信息进行修正处理，导致修正效果不理想的情况发生。

本申请的第三实施例中，获取虚拟媒体信息(步骤S102)可以通过如下步骤得以实现：步骤A1，获取多个目标场景的初始图像和至少一个远程场景的初始图像，其中，多个目标场景的初始图像由多组镜头对目标场景进行拍摄处理而生成的；步骤A2，依据多个目标场景的初始图像中相匹配特征之间的差别，确定目标场景的深度信息；步骤A3，将目标场景的深度信息与至少一个远程场景的初始图像进行拟合处理，得到虚拟媒体信息。

本申请的第四实施例中，依据多个目标场景的初始图像中相匹配特征之间的差别，确定目标场景的深度信息(步骤A2)包括：识别多个目标场景的初始图像中的相匹配特征；确定相匹配特征在每个目标场景的初始图像中的坐标；依据相匹配特征在至少两个目标场景的初始图像中的坐标之差，确定目标场景的深度信息。

进一步地，上述多个目标场景的初始图像是由用户终端的两组镜头对目标场景进行拍摄而获取的，其中，上述用户终端的两组镜头的视场角相同(如：两组镜头的视场角均为60°、80°、100°等)。也即，通过用户终端的两组镜头对目标场景进行拍摄处理，得到两组目标场景的初始图像(多个目标场景的初始图像)，进而依据双目测距方法对上述两组目标场景的初始图像进行计算处理，得到目标场景的深度图(深度信息)。

需要说明的是：用户终端在获取目标场景的初始图像时，其用户终端的平移速度和/或转动加速度相对于用户终端获取目标场景的后续图像时更大。例如，用户终端在获取目标场景的初始图像时，该用户终端处于静止状态，而用户终端在获取目标场景的后续图像时，该用户终端处于移动状态。

举例说明：依据双目测距方法确定目标场景的深度图的原理为：理想情况下，在两组镜头所拍摄的图片中，相同景物将位于相同的拍摄水平线上；而非理想情况下，两组镜头所拍摄的图片中，相同景物将位于不同的拍摄水平线上，此时，则需通过预存数据进行图像校正，以便将图像转化为等价于两组镜头共轴共面的理想情况。在此之后，则在拍摄水平线上搜索相匹配特征，并计算该相匹配特征在两组镜头分别所称图像上的坐标差L1-L2，进一步地，对该坐标差进行计算处理，以获取目标场景对应图像的深度信息(以获取目标场景的深度图，其中，深度图用于***远程场景中目标对象对应的3D模型)。

上述对坐标差进行计算的计算公式为：z＝EFL[1+(B1/L1-L2)]，其中，EFL为焦距，B1为比例关系。

本申请的第五实施例中，确定目标场景的后续图像对应的视角与目标场景的初始图像对应的视角之间的视角变化(步骤S106)可以通过如下步骤得以实现：步骤B，在用户终端发生移动和/或转动的情况下，依据用户终端的平移和/或转动的情况，确定目标场景的后续图像对应的视角与目标场景的初始图像对应的视角之间的视角变化，其中，用户终端对应的两组镜头用于对目标场景进行拍摄处理，以获取目标场景的初始图像和目标场景的后续图像。

同理，本申请的第六实施例中，确定目标场景的后续图像对应的视角与目标场景的初始图像对应的视角之间的视角变化(步骤S106)还可以通过如下步骤得以实现：步骤C1，确定相对于目标场景的初始图像对应的视角，后续图像对应的视角平移变化参数；步骤C2确定相对于目标场景的初始图像对应的视角，后续图像对应的视角旋转变化参数。

也即，目标场景的后续图像对应的视角与目标场景的初始图像对应的视角之间的视角变化主要涉及两个变化参数，即视角平移变化参数和视角旋转变化参数。

本申请的第七实施例中，依据视角变化对虚拟媒体信息进行修正，得到第一修正虚拟媒体信息(步骤S108)可以通过如下步骤得以实现：依据目标场景的后续图像对应的视角与目标场景的初始图像对应的视角之间的视角变化，对虚拟媒体信息进行位姿变换处理。例如，若相对于目标场景的初始图像对应的视角，目标场景的后续图像对应的视角向预设坐标系的Y轴方向平移10cm，则虚拟媒体信息也向预设坐标系的Y轴方向平移10cm；若相对于目标场景的初始图像对应的视角，目标场景的后续图像对应的视角以预设坐标系的Y轴为标准，逆时针旋转60°，则虚拟媒体信息也以预设坐标系的Y轴为标准，逆时针旋转60°。

本申请的第八实施例中，依据视角变化对远程摄像装置的拍摄角度进行调整包括：确定远程摄像装置对应的多个预设拍摄角度；依据视角变化，从多个预设拍摄角度中确定目标拍摄角度；将远程摄像装置的拍摄角度调整为目标拍摄角度。

在一个可选的示例中，远程摄像装置可以为至少一个可移动摄像头，也可以为多个固定摄像头。在远程摄像装置为多个固定摄像头的情况下，将远程摄像装置的拍摄角度调整为目标拍摄角度可以为：将当前拍摄角度的固定摄像头关闭，开启目标拍摄角度的固定摄像头，其中，目标拍摄角度的固定摄像头可以为多个。

需要说明的是：在远摄像装置为多个固定摄像头的情况下，多个固定摄像头离散分布于远程场景中，且多个固定摄像头的拍摄角度相互垂直。

本申请的第九实施例中，在远程摄像装置获取所述远程场景的修正图像的情况下，该远程摄像装置所采用的目标拍摄角度中至少包含一个标准拍摄角度，其中，该标准拍摄角度所对应的真实世界坐标与所述虚拟媒体信息的虚拟世界坐标进行对准。

也即，远程摄像装置在获取远程场景的修正图像之外，还会重置回初始位置，例如相对于重力方向，将所有相机拍摄移动到水平位置以便与根据深度信息生产的虚拟空间进行对准。

现针对上述实施例进行进一步的举例说明：

在一个可选的示例中，用户通过位于目标场景A的用户终端与位于远程场景B中的目标对象(人物/物品)进行视频，远程场景B中的目标对象周围布置多个远程摄像装置，其中，上述多个远程摄像装置均与用户终端保持有通讯连接，以将其拍摄到的图像信息传输至用户终端处。

此时，用户终端/总服务器对从远程场景中采集到的图像信息进行构建处理，以得到远程场景B中目标对象对应的3D模型。用户终端通过其对应的两组镜头建立目标场景A的深度图，进而基于该目标场景A的深度图建立目标场景A对应的3D地图。进一步地，将远程场景B中目标对象对应的3D模型在目标场景A对应的3D地图中显示。

进一步地，在用户终端仅出现轻微移动或轻微转动的情况下，用户终端无需从远程场景B中的远程摄像装置处获取新的图像信息，仅需依据用户终端的传感器所感测到的移动或转动，对远程场景B中目标对象对应的3D模型进行相应的移动或转动即可。

进一步地，在用户终端的镜头角度发生较大幅度的变化时，用户终端则重新从远程场景B中的远程摄像装置处获取新的图像信息，其中，该新的图像信息是由改变拍摄方位/拍摄角度后的远程摄像装置进行拍摄而获取的。进而在用户终端由于各种运动而改变拍摄范围或角度的情况下，远程场景B中目标对象对应的3D模型和目标场景A对应的3D地图(增强现实场景)仍能与之相适应。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请第十实施例还提供了一种增强现实的信息处理装置，需要说明的是，本申请第十实施例的增强现实的信息处理装置可以用于执行本申请实施例所提供的用于增强现实的信息处理方法。以下对本申请第十实施例提供的增强现实的信息处理装置进行介绍。

图3是根据本申请第十实施例的增强现实的信息处理装置的示意图。如图3所示，该装置包括：第一获取单元、第二获取单元、确定单元、第三获取单元和第一生成单元。

第一获取单元，用于获取虚拟媒体信息，其中，虚拟媒体信息由目标场景的初始图像和远程场景的初始图像确定；

第二获取单元，用于获取目标场景的后续图像；

确定单元，用于确定目标场景的后续图像对应的视角与目标场景的初始图像对应的视角之间的视角变化；

第三获取单元，用于在视角变化处于预设范围内情况下，依据视角变化对虚拟媒体信息进行修正，得到第一修正虚拟媒体信息；

第一生成单元，用于将第一修正虚拟媒体信息与目标场景的后续图像进行结合，生成用于展示的增强现实场景。

本申请第十实施例提供的增强现实的信息处理装置，通过第一获取单元获取虚拟媒体信息，其中，虚拟媒体信息由目标场景的初始图像和远程场景的初始图像确定；第二获取单元获取目标场景的后续图像；确定单元确定目标场景的后续图像对应的视角与目标场景的初始图像对应的视角之间的视角变化；第三获取单元在视角变化处于预设范围内情况下，依据视角变化对虚拟媒体信息进行修正，得到第一修正虚拟媒体信息；第一生成单元将第一修正虚拟媒体信息与目标场景的后续图像进行结合，生成用于展示的增强现实场景，解决了在AR数据处理的相关技术中，如何在不增加额外设备的情况下，完成增强现实场景的数据处理的技术问题。

也即，在用户终端改变视角的情况下，不再重新进行深度图的计算过程，而是先判断用户终端的视角变化是否处于预设范围内，若用户终端的视角变化处于预设范围内，则直接对先前确定的虚拟媒体信息进行修正处理(平移或/和转动)，得到第一修正虚拟媒体信息，进而将第一修正虚拟媒体信息与用户终端实时获取的后续图像进行结合处理，得到用于展示的增强现实场景。

也即，达到了在不增加额外设备的情况下，仍可高效完成增强现实场景的数据处理，避免了在用户终端每次改变视角的情况下，都需要重新对视角更新后的后续图像进行深度信息计算处理的情况发生，节约了大量深度信息的处理时间。

本申请的第十一实施例中，装置还包括：调整单元，用于在视角变化超过预设范围的情况下，依据视角变化对远程摄像装置的拍摄角度进行调整，其中，远程摄像装置用于获取远程场景的图像信息；第四获取单元，用于通过拍摄角度经调整过的远程摄像装置获取远程场景的修正图像；第五获取单元，用于依据后续图像和远程场景的修正图像得到第二修正虚拟媒体信息；第二生成单元，用于将第二修正虚拟媒体信息与目标场景的后续图像进行结合，生成用于展示的增强现实场景。

本申请的第十二实施例中，调整单元包括：第一确定模块，用于确定远程摄像装置对应的多个预设拍摄角度；第二确定模块，用于依据视角变化，从多个预设拍摄角度中确定目标拍摄角度；调整模块，用于将远程摄像装置的拍摄角度调整为目标拍摄角度。

本申请的第十三实施例中，第一获取单元包括：第一获取模块，用于获取多个目标场景的初始图像和至少一个远程场景的初始图像，其中，多个目标场景的初始图像由多组镜头对目标场景进行拍摄处理而生成的；第三确定模块，用于依据多个目标场景的初始图像中相匹配特征之间的差别，确定目标场景的深度信息；第二获取模块，用于将目标场景的深度信息与至少一个远程场景的初始图像进行拟合处理，得到虚拟媒体信息。

本申请的第十四实施例中，第三确定模块包括：识别子模块，用于识别多个目标场景的初始图像中的相匹配特征；第一确定子模块，用于确定相匹配特征在每个目标场景的初始图像中的坐标；第二确定子模块，用于依据相匹配特征在至少两个目标场景的初始图像中的坐标之差，确定目标场景的深度信息。

本申请的第十五实施例中，确定单元包括：第四确定模块，用于确定相对于目标场景的初始图像对应的视角，后续图像对应的视角平移变化参数；第五确定模块，用于确定相对于目标场景的初始图像对应的视角，后续图像对应的视角旋转变化参数。

本申请的第十六实施例中，在所述远程摄像装置获取所述远程场景的修正图像的情况下，所述远程摄像装置所采用的目标拍摄角度中至少包含一个标准拍摄角度，其中，标准拍摄角度所对应的真实世界坐标与虚拟媒体信息所对应的虚拟世界坐标相对准。

本申请的第十七实施例中，增强现实的信息处理装置包括处理器和存储器，上述第一获取单元、第二获取单元、确定单元、第三获取单元和第一生成单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来达到了在不增加额外设备的情况下，仍可高效完成增强现实场景的数据处理，避免了在用户终端每次改变视角的情况下，都需要重新对视角更新后的后续图像进行深度信息计算处理的情况发生，节约了大量深度信息的处理时间。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本申请的第十八实施例中，本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现增强现实的信息处理方法。

本申请的第十九实施例中，本发明实施例提供了一种处理器，处理器用于运行程序，其中，程序运行时执行增强现实的信息处理方法。

本申请的第二十实施例中，本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：获取虚拟媒体信息，其中，虚拟媒体信息由目标场景的初始图像和远程场景的初始图像确定；获取目标场景的后续图像；确定目标场景的后续图像对应的视角与目标场景的初始图像对应的视角之间的视角变化；在视角变化处于预设范围内情况下，依据视角变化对虚拟媒体信息进行修正，得到第一修正虚拟媒体信息；将第一修正虚拟媒体信息与目标场景的后续图像进行结合，生成用于展示的增强现实场景。

进一步地，方法还包括：在视角变化超过预设范围的情况下，依据视角变化对远程摄像装置的拍摄角度进行调整，其中，远程摄像装置用于获取远程场景的图像信息；通过拍摄角度经调整过的远程摄像装置获取远程场景的修正图像；依据后续图像和远程场景的修正图像得到第二修正虚拟媒体信息；将第二修正虚拟媒体信息与目标场景的后续图像进行结合，生成用于展示的增强现实场景。

进一步地，依据视角变化对远程摄像装置的拍摄角度进行调整包括：确定远程摄像装置对应的多个预设拍摄角度；依据视角变化，从多个预设拍摄角度中确定目标拍摄角度；将远程摄像装置的拍摄角度调整为目标拍摄角度。

进一步地，获取虚拟媒体信息包括：获取多个目标场景的初始图像和至少一个远程场景的初始图像，其中，多个目标场景的初始图像由多组镜头对目标场景进行拍摄处理而生成的；依据多个目标场景的初始图像中相匹配特征之间的差别，确定目标场景的深度信息；将目标场景的深度信息与至少一个远程场景的初始图像进行拟合处理，得到虚拟媒体信息。

进一步地，依据多个目标场景的初始图像中相匹配特征之间的差别，确定目标场景的深度信息包括：识别多个目标场景的初始图像中的相匹配特征；确定相匹配特征在每个目标场景的初始图像中的坐标；依据相匹配特征在至少两个目标场景的初始图像中的坐标之差，确定目标场景的深度信息。

进一步地，确定目标场景的后续图像对应的视角与目标场景的初始图像对应的视角之间的视角变化包括：确定相对于目标场景的初始图像对应的视角，后续图像对应的视角平移变化参数；确定相对于目标场景的初始图像对应的视角，后续图像对应的视角旋转变化参数。

进一步地，在所述远程摄像装置获取所述远程场景的修正图像的情况下，所述远程摄像装置所采用的目标拍摄角度中至少包含一个标准拍摄角度，其中，标准拍摄角度所对应的真实世界坐标与虚拟媒体信息所对应的虚拟世界坐标相对准。本文中的设备可以是服务器、PC、PAD、手机等。

本申请的第二十一实施例中，本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：获取虚拟媒体信息，其中，虚拟媒体信息由目标场景的初始图像和远程场景的初始图像确定；获取目标场景的后续图像；确定目标场景的后续图像对应的视角与目标场景的初始图像对应的视角之间的视角变化；在视角变化处于预设范围内情况下，依据视角变化对虚拟媒体信息进行修正，得到第一修正虚拟媒体信息；将第一修正虚拟媒体信息与目标场景的后续图像进行结合，生成用于展示的增强现实场景。

进一步地，方法还包括：在视角变化超过预设范围的情况下，依据视角变化对远程摄像装置的拍摄角度进行调整，其中，远程摄像装置用于获取远程场景的图像信息；通过拍摄角度经调整过的远程摄像装置获取远程场景的修正图像；依据后续图像和远程场景的修正图像得到第二修正虚拟媒体信息；将第二修正虚拟媒体信息与目标场景的后续图像进行结合，生成用于展示的增强现实场景。

进一步地，依据视角变化对远程摄像装置的拍摄角度进行调整包括：确定远程摄像装置对应的多个预设拍摄角度；依据视角变化，从多个预设拍摄角度中确定目标拍摄角度；将远程摄像装置的拍摄角度调整为目标拍摄角度。

进一步地，获取虚拟媒体信息包括：获取多个目标场景的初始图像和至少一个远程场景的初始图像，其中，多个目标场景的初始图像由多组镜头对目标场景进行拍摄处理而生成的；依据多个目标场景的初始图像中相匹配特征之间的差别，确定目标场景的深度信息；将目标场景的深度信息与至少一个远程场景的初始图像进行拟合处理，得到虚拟媒体信息。

进一步地，依据多个目标场景的初始图像中相匹配特征之间的差别，确定目标场景的深度信息包括：识别多个目标场景的初始图像中的相匹配特征；确定相匹配特征在每个目标场景的初始图像中的坐标；依据相匹配特征在至少两个目标场景的初始图像中的坐标之差，确定目标场景的深度信息。

进一步地，确定目标场景的后续图像对应的视角与目标场景的初始图像对应的视角之间的视角变化包括：确定相对于目标场景的初始图像对应的视角，后续图像对应的视角平移变化参数；确定相对于目标场景的初始图像对应的视角，后续图像对应的视角旋转变化参数。

进一步地，在所述远程摄像装置获取所述远程场景的修正图像的情况下，所述远程摄像装置所采用的目标拍摄角度中至少包含一个标准拍摄角度，其中，标准拍摄角度所对应的真实世界坐标与虚拟媒体信息所对应的虚拟世界坐标相对准。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种增强现实的信息处理方法，其特征在于，包括：

获取虚拟媒体信息，其中，所述虚拟媒体信息由目标场景的初始图像和远程场景的初始图像确定；

获取所述目标场景的后续图像；

确定所述目标场景的后续图像对应的视角与所述目标场景的初始图像对应的视角之间的视角变化；

在所述视角变化处于预设范围内情况下，依据所述视角变化对所述虚拟媒体信息进行修正，得到第一修正虚拟媒体信息；

将所述第一修正虚拟媒体信息与所述目标场景的后续图像进行结合，生成用于展示的增强现实场景。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述视角变化超过预设范围的情况下，依据所述视角变化对远程摄像装置的拍摄角度进行调整，其中，所述远程摄像装置用于获取所述远程场景的图像信息；

通过拍摄角度经调整过的远程摄像装置获取所述远程场景的修正图像；

依据所述后续图像和所述远程场景的修正图像得到第二修正虚拟媒体信息；

将所述第二修正虚拟媒体信息与所述目标场景的后续图像进行结合，生成用于展示的增强现实场景。

3.根据权利要求2所述的方法，其特征在于，依据所述视角变化对远程摄像装置的拍摄角度进行调整包括：

确定所述远程摄像装置对应的多个预设拍摄角度；

依据所述视角变化，从所述多个预设拍摄角度中确定目标拍摄角度；

将所述远程摄像装置的拍摄角度调整为目标拍摄角度。

4.根据权利要求1或2所述的方法，其特征在于，所述获取虚拟媒体信息包括：

获取多个所述目标场景的初始图像和至少一个所述远程场景的初始图像，其中，多个所述目标场景的初始图像由多组镜头对目标场景进行拍摄处理而生成的；

依据多个所述目标场景的初始图像中相匹配特征之间的差别，确定所述目标场景的深度信息；

将所述目标场景的深度信息与至少一个远程场景的初始图像进行拟合处理，得到虚拟媒体信息。

5.根据权利要求4所述的方法，其特征在于，依据多个所述目标场景的初始图像中相匹配特征之间的差别，确定所述目标场景的深度信息包括：

识别多个所述目标场景的初始图像中的相匹配特征；

确定所述相匹配特征在每个目标场景的初始图像中的坐标；

依据所述相匹配特征在至少两个目标场景的初始图像中的坐标之差，确定所述目标场景的深度信息。

6.根据权利要求1或2所述的方法，其特征在于，确定所述目标场景的后续图像对应的视角与所述目标场景的初始图像对应的视角之间的视角变化包括：

确定相对于所述目标场景的初始图像对应的视角，所述后续图像对应的视角平移变化参数；

确定相对于所述目标场景的初始图像对应的视角，所述后续图像对应的视角旋转变化参数。

7.根据权利要求3所述的方法，其特征在于，在所述远程摄像装置获取所述远程场景的修正图像的情况下，所述远程摄像装置所采用的目标拍摄角度中至少包含一个标准拍摄角度，其中，所述标准拍摄角度所对应的真实世界坐标与所述虚拟媒体信息所对应的虚拟世界坐标相对准。

8.一种增强现实的信息处理装置，其特征在于，包括：

第一获取单元，用于获取虚拟媒体信息，其中，所述虚拟媒体信息由目标场景的初始图像和远程场景的初始图像确定；

第二获取单元，用于获取所述目标场景的后续图像；

确定单元，用于确定所述目标场景的后续图像对应的视角与所述目标场景的初始图像对应的视角之间的视角变化；

第三获取单元，用于在所述视角变化处于预设范围内情况下，依据所述视角变化对所述虚拟媒体信息进行修正，得到第一修正虚拟媒体信息；

第一生成单元，用于将所述第一修正虚拟媒体信息与所述目标场景的后续图像进行结合，生成用于展示的增强现实场景。

9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序执行权利要求1至7中任意一项所述的增强现实的信息处理方法。

10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至7中任意一项所述的增强现实的信息处理方法。