CN105005970B - 一种增强现实的实现方法及装置 - Google Patents

Abstract

本发明公开了一种增强现实的实现方法及装置，该方法包括：获取现实世界中目标物体的景深信息；根据所述的景深信息，为现实空间建立立体坐标系，获取所述目标物体的立体图像；将虚拟图像与获取的所述目标物体的立体图像拟合，获取新的三维拟合图像；通过坐标系转换获取所述新的三维拟合图像对应的二维拟合图像，将所述二维拟合图像进行显示。本发明能够在摄像终端的屏幕上，实现现实世界的目标物体与虚拟的物体的互动，以解决遮挡，光照，阴影等一系列的问题。

Description

一种增强现实的实现方法及装置

技术领域

本发明涉及通讯技术领域，尤其涉及一种增强现实的实现方法及装置。

背景技术

增强现实(Augmented Reality，AR)是在虚拟现实技术基础上发展起来的一种新兴计算机应用和人机交互技术，它以现实世界中的物体作为目标物体，在识别出目标物体之后，获取与该目标物体相关的增强信息，该增强信息例如是与该目标物体相关的广告信息、距离信息或者其他虚拟物体等，再借助计算机和可视化技术将该目标物体与增强信息叠加在同一画面中，就实现了增强现实。

由于摄像终端捕捉到的目标物体是二维信息，缺少现实世界的三维信息，目前的AR技术，只能在真实空间中建立一个二维平面，如果增强信息为虚拟的物体，虚拟物体只能简单地在二维平面空间中活动，无法与现实世界中的三维的目标物体互动，其中遮挡、光照、阴影等现象因没有现实世界的三维信息而无法实现。

发明内容

有鉴于此，本发明实施例提供一种增强现实的实现方法及装置，在摄像终端的屏幕上，实现现实世界的目标物体与虚拟的物体的互动，以解决遮挡，光照，阴影等一系列的问题。

第一方面，本发明实施例提供了一种增强现实的实现方法，包括：

获取现实世界中目标物体的景深信息；

根据所述的景深信息，为现实空间建立立体坐标系，获取所述目标物体的立体图像；

将虚拟图像与获取的所述目标物体的立体图像拟合，获取新的三维拟合图像；

通过坐标系转换获取所述新的三维拟合图像对应的二维拟合图像，将所述二维拟合图像进行显示。

第二方面，本发明实施例还提供了一种增强现实的实现装置，包括：

景深信息获取单元，用于获取现实世界中目标物体的景深信息；

立体图像获取单元，用于根据所述的景深信息，为现实空间建立立体坐标系，获取所述目标物体的立体图像；

三维拟合图像获取单元，用于将虚拟图像与获取的所述目标物体的立体图像拟合，获取新的三维拟合图像；

二维拟合图像显示单元，用于通过坐标系转换获取所述新的三维拟合图像对应的二维拟合图像，将所述二维拟合图像进行显示。

本发明实施例提供了一种增强现实的方法及装置，该方法根据现实世界中目标物体的景深信息，为现实世界建立立体坐标系，获取目标物体的立体图像；将虚拟图像与目标物体的立体图像进行拟合，获取新的三维拟合图像，最后将通过坐标系转换将三维拟合图像转换成二维拟合图像，并进行显示。本发明实施例在摄像终端屏幕上，实现现实世界的目标物体与虚拟的物体的互动，以解决遮挡，光照，阴影等一系列的问题。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1(a)是本发明实施例一提供的一种增强现实的实现方法流程图；

图1(b)是本发明实施例一提供的现实空间目标物体的状态示意图；

图1(c)是本发明实施例一提供的摄像终端获取的现实空间目标物体的立体图；

图1(d)是本发明实施例一提供的摄像终端将获取的现实空间的目标物体与虚拟物体进行拟合的立体图；

图1(e)是本发明实施例一提供的摄像终端屏幕上显示的现实空间的目标物体与虚拟物体的二维拟合图像示意图；

图2是本发明实施例二提供的一种增强现实的实现方法流程图；

图3是本发明实施例三提供的一种增强现实的实现方法流程图；

图4是本发明实施例四提供的一种增强现实的实现装置的结构框图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。

实施例一

图1(a)是本发明实施例一提供的一种增强现实的实现方法流程图。所述方法由增强现实的实现装置来执行，所述的装置通过软件和/或硬件的方式来实现，所述的装置被设于摄像终端中，如图1(a)所示，该方法包括：

步骤101：获取现实世界中目标物体的景深信息。

其中，所述的景深信息为目标物体中每点到摄像终端的距离，景深信息可以由摄像终端的摄像头进行采集。

步骤102：根据所述的景深信息，为现实空间建立立体坐标系，获取所述目标物体的立体图像。

在本实施例中，以摄像终端为原点，摄像终端为现实空间建立立体坐标系，通过目标物体的每点到摄像终端的距离，获得目标物体的立体图像，其中所述立体坐标系可以为三维坐标系。举例说明，如图1(b)所示，在现实空间内，地面上存在三个目标物体，分别为书、方盒和胶带，其中书放置在方盒的下面，摄像终端获取这三个目标物体的景深信息，建立立体坐标系，获取这几个物体的立体图像(图1(c)所示)。

步骤103：将虚拟图像与获取的所述目标物体的立体图像拟合，获取新的三维拟合图像；

在本实施例中，摄像终端中，将虚拟图像与目标物体的立体图像拟合，获取新的拟合图像。继步骤102中的例子，如图1(d)所示，在摄像终端内，将虚拟人物与书、方盒和胶带进行拟合，其中第一虚拟人物1在胶带卷芯的内部，第二虚拟人物2站立在书上，第三虚拟人物3站立在方盒上，第四虚拟人物4站立在方盒的后面，第五虚拟人物5站立在地面上，从图1(d)中可以看出，在新的拟合图像中，由于在摄像终端内部建立了立体坐标系，书、方盒和胶带为立体图像，当第一虚拟人物1在胶带卷芯内部时，胶带卷芯遮挡了第一虚拟人物1身体的一部分。另外，方盒也遮挡了第四虚拟人物4身体的一部分。

步骤104：通过坐标系转换获取所述新的三维拟合图像对应的二维拟合图像，将所述二维拟合图像进行显示。

在本实施例中，摄像终端将立体的坐标系转换成二维坐标系，将三维拟合图像转换成二维拟合图像，将所述二维拟合图像显示在摄像终端的屏幕上，如图1(e)所示，在摄像终端屏幕上显示的图像是二维拟合图像，实现了虚拟人物和现实世界目标物体的互动。

本实施例提供了一种增强现实的实现方法，根据现实世界中目标物体的景深信息，为现实世界建立立体坐标系，获取目标物体的立体图像；将虚拟图像与目标物体的立体图像进行拟合，获取新的三维拟合图像，最后将通过坐标系转换将三维拟合图像转换成二维拟合图像，并进行显示。本发明实施例在摄像终端屏幕上，实现现实世界的目标物体与虚拟的物体的互动，以解决遮挡，光照，阴影等一系列的问题。

实施例二

图2为本实施例二提供的一种增强现实的实现方法的流程图；在上述实施例的基础上，在获取现实世界中目标物体的景深信息之前，增加了如下操作：获取现实世界中目标物体的图像颜色信息。采用上述操作，为在摄像终端屏幕上显示目标物体的彩色图像提供了依据。

进一步的，在上述实施例的基础上，通过坐标系转换获取所述新的三维拟合图像对应的二维拟合图像，将所述二维拟合图像进行显示，包括：

通过坐标系转换获取新的三维拟合图像对应的二维拟合图像，根据获取的所述目标物体的图像颜色信息，为二维拟合图像中的目标物体进行颜色配置，将颜色配置后的二维拟合图像进行显示。

基于上述的优化，本实施例所提供的方案具体如下：

步骤201：获取现实世界中目标物体的图像颜色信息。

其中图像颜色信息可以是目标物体每点的RGB值。

步骤202：获取现实世界中目标物体的景深信息。

步骤203：根据所述的景深信息，为现实空间建立立体坐标系，获取所述目标物体的立体图像。

步骤204：通过坐标系转换获取所述新的三维拟合图像对应的二维拟合图像，根据获取的所述目标物体的图像颜色信息，为二维拟合图像中的所述目标物体进行颜色配置，将颜色配置后的二维拟合图像进行显示。

具体的，获取的现实世界中目标物体每点的RGB值是固定的，在摄像终端内，根据目标物体每点的RGB值为二维拟合图像中的目标物体进行颜色配置，并在摄像终端的屏幕上进行彩色显示。

本实施例二提供了一种增强现实的实现方法，能够将虚拟图像和现实世界的目标物体进行彩色显示，增加摄像的画面感。

实施例三

图3为本实施例提供的一种增强现实的实现方法的流程图；本实施例在上述实施例的基础上对“所述将虚拟图像与获取的所述目标物体的立体图像拟合，获取新的三维拟合图像”步骤进行了优化。

在上述方案中，当摄像终端静止时，所述将虚拟图像与获取的所述目标物体的立体图像拟合，获取新的三维拟合图像，包括：将虚拟图像***在预设的坐标位置，使虚拟图像和目标物体的图像拟合成新的图像，作为新的三维拟合图像。

具体的，在摄像终端内，存在为现实空间建立的立体坐标系，用户可以根据自己的需要为虚拟图像设定坐标位置，添加虚拟图像时，虚拟图像会***在预设的坐标位置，实现虚拟图像和目标物体的拟合。

在上述实施例的基础上，当摄像终端移动，本实施例对“所述通过坐标系转换获取新的三维拟合图像对应的二维拟合图像，将所述二维拟合图像进行显示”进行了优化。

进一步的，基于上述优化，当摄像终端移动时，本实施例提供的技术方案具体如下：

步骤301：获取现实世界中目标物体的图像颜色信息。

步骤302：获取现实世界中目标物体的景深信息。

步骤303：根据所述的景深信息，为现实空间建立立体坐标系，获取所述目标物体的立体图像。

步骤304：将虚拟图像与获取的所述目标物体的立体图像拟合，获取新的三维拟合图像。

步骤305：实时获取摄像终端的位置坐标。

其中，摄像终端的位置坐标可以通过设于摄像终端上的GPS，加速度，陀螺仪等传感器进行获取。

步骤306：根据摄像终端的位置坐标，通过六轴坐标系计算新的三维拟合的图像中虚拟图像和目标物体的位置坐标，获取摄像终端移动后的目标物体和虚拟图像的拟合图像。

具体的，当摄像终端移动时，摄像终端内部建立六轴坐标系，将虚拟图像和目标物体每点的位置采用六轴坐标进行表示，当摄像终端移动后静止时，虚拟图像和目标物体上每点的位置坐标均与之前相比，均发生了变化，获取的摄像终端移动后的目标物体和虚拟图像的拟合图像与摄像终端移动前相比，均发生了变化。摄像终端内部采用六轴坐标系来确定虚拟图像和目标物体的上每点的位置坐标，对于不同的观测方向所呈现的不同的遮挡、光照、阴影等都能清楚的进行体现。

步骤307：将获取的摄像终端移动后的目标物体和虚拟图像的拟合图像转换为三维拟合图像。

在本实施例中，获取的摄像终端移动后的目标物体和虚拟图像的拟合图像为六轴坐标表示的图像，将其转换成三维拟合图像。

步骤308：将转换后的三维拟合图像转换为对应的二维拟合图像，并进行显示。

本实施例提供了一种增强现实的实现方法，当摄像终端静止时，该方法对“所述将虚拟图像与获取的所述目标物体的立体图像拟合，获取新的三维拟合图像”的步骤进行了优化，能够使用户根据自己的需要对虚拟人物的位置进行设置，当摄像终端移动时，该方法对“所述通过坐标系转换获取新的三维拟合图像对应的二维拟合图像，将所述二维拟合图像进行显示”步骤进行了优化，能够呈现不同角度的拍摄画面，在不同的拍摄角度下呈现不同的遮挡，光照，阴影等情形。

实施例四

图4为本实施例四提供的一种增强现实的实现装置的结构框图，如图4所示，该装置包括：

景深信息获取单元401，用于获取现实世界中目标物体的景深信息；

立体图像获取单元402，用于根据所述的景深信息，为现实空间建立立体坐标系，获取所述目标物体的立体图像；其中，所述的景深信息为目标物体中每点到摄像终端的距离；

三维拟合图像获取单元403，用于将虚拟图像与获取的所述目标物体的立体图像拟合，获取新的三维拟合图像；

二维拟合图像显示单元404，用于通过坐标系转换获取所述新的三维拟合图像对应的二维拟合图像，将所述二维拟合图像进行显示。

在上述实施例的基础上，所述装置还包括，

图像颜色获取单元405，用于获取现实世界中目标物体的景深信息之前，获取现实世界中目标物体的图像颜色信息。

二维拟合图像显示单元404，具体用于，通过坐标系转换获取新的三维拟合图像对应的二维拟合图像，根据获取的所述目标物体的图像颜色信息，为二维拟合的图像中的所述目标物体进行颜色配置，将颜色配置后的二维拟合图像进行显示。

在上述实施例的基础上，当摄像终端静止时；

三维拟合图像获取单元403，具体用于：将虚拟图像***在预设的坐标位置，使虚拟图像和目标物体的图像拟合成新的图像。

在上述实施例的基础上，当摄像终端移动时；二维拟合图像显示单元404，具体用于，

实时获取摄像终端的位置坐标；

根据摄像终端的位置坐标，通过六轴坐标系计算新的三维拟合图像中虚拟图像和目标物体的位置坐标，获取摄像终端移动后的目标物体和虚拟图像的拟合图像；

将获取的摄像终端移动后的目标物体和虚拟图像的拟合图像转换为三维拟合图像；

将转换后的三维拟合图像转换为对应的二维拟合图像，并进行显示。

本实施例提供了一种增强现实的实现装置，该装置根据现实世界中目标物体的景深信息，为现实世界建立立体坐标系，获取目标物体的立体图像；将虚拟图像与目标物体的立体图像进行拟合，获取新的三维拟合图像，最后将通过坐标系转换将三维拟合图像转换成二维拟合图像，并进行显示。本发明实施例在摄像终端显示画面中，实现现实世界的目标物体与虚拟的物体的互动，以解决遮挡，光照，阴影等一系列的问题。

该装置可以用于执行本发明增强现实的实现方法，具备相应的功能和有益效果。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (6)

1.一种增强现实的实现方法，其特征在于，包括：

通过摄像终端的摄像头获取现实世界中目标物体中每点到所述摄像终端的距离；

根据所述目标物体中每点到所述摄像终端的距离，为现实空间建立立体坐标系，获取所述目标物体的立体图像；

将虚拟图像与获取的所述目标物体的立体图像拟合，获取新的三维拟合图像；

当所述摄像终端移动时，实时获取所述摄像终端的位置坐标；

根据所述摄像终端的位置坐标，通过所述摄像终端内部建立的六轴坐标系，将所述虚拟图像和所述目标物体每点的位置采用六轴坐标进行表示，当所述摄像终端移动后静止时，采用六轴坐标系确定新的三维拟合图像中虚拟图像和目标物体的位置坐标，获取所述摄像终端移动后的目标物体和虚拟图像的拟合图像；

将获取的所述摄像终端移动后的采用六轴坐标表示的目标物体和虚拟图像的拟合图像转换为三维拟合图像；

通过坐标系转换将转换后的三维拟合图像转换为对应的二维拟合图像，并进行显示。

2.根据权利要求1所述的方法，其特征在于，在通过摄像终端的摄像头获取现实世界中目标物体中每点到所述摄像终端的距离之前，还包括，获取现实世界中目标物体的图像颜色信息；

通过坐标系转换获取所述新的三维拟合图像对应的二维拟合图像，将所述二维拟合图像进行显示，包括：

通过坐标系转换获取新的三维拟合图像对应的二维拟合图像，根据获取的所述目标物体的图像颜色信息，为二维拟合图像中的所述目标物体进行颜色配置，将颜色配置后的二维拟合图像进行显示。

3.根据权利要求1所述的方法，其特征在于，当摄像终端静止时，

所述将虚拟图像与获取的所述目标物体的立体图像拟合，获取新的三维拟合图像包括：将虚拟图像***在预设的坐标位置，使虚拟图像和目标物体的图像拟合成新的图像，作为新的三维拟合图像。

4.一种增强现实的实现的装置，其特征在于，包括：

景深信息获取单元，用于通过摄像终端的摄像头获取现实世界中目标物体中每点到摄像终端的距离；

立体图像获取单元，用于根据所述目标物体中每点到所述摄像终端的距离，为现实空间建立立体坐标系，获取所述目标物体的立体图像；

三维拟合图像获取单元，用于将虚拟图像与所述获取的目标物体的立体图像拟合，获取新的三维拟合图像；

二维拟合图像显示单元，用于当所述摄像终端移动时，实时获取摄像终端的位置坐标；

根据所述摄像终端的位置坐标，通过所述摄像终端内部建立的六轴坐标系，将所述虚拟图像和所述目标物体每点的位置采用六轴坐标进行表示，当所述摄像终端移动后静止时，采用六轴坐标系确定新的三维拟合图像中虚拟图像和目标物体的位置坐标，获取所述摄像终端移动后的目标物体和虚拟图像的拟合图像；

将获取的所述摄像终端移动后的采用六轴坐标表示的目标物体和虚拟图像的拟合图像转换为三维拟合图像；

通过坐标系转换将转换后的三维拟合图像转换为对应的二维拟合图像，并进行显示。

5.根据权利要求4所述的装置，其特征在于，还包括，

图像颜色获取单元，用于通过摄像终端的摄像头获取现实世界中目标物体中每点到所述摄像终端的距离之前，获取现实世界中目标物体的图像颜色信息；

二维拟合图像显示单元，具体用于，通过坐标系转换获取新的三维拟合图像对应的二维拟合图像，根据获取的所述目标物体的图像颜色信息，为二维拟合的图像中的所述目标物体进行颜色配置，将配色后的二维拟合的图像进行显示。

6.根据权利要求4所述的装置，其特征在于，当摄像终端静止时；

三维拟合图像获取单元，具体用于：将虚拟图像***在预设的坐标位置，使虚拟图像和目标物体的图像拟合成新的图像，作为新的三维拟合图像。