CN108268138A - 增强现实的处理方法、装置及电子设备 - Google Patents

Abstract

本申请实施例提供了一种增强现实的处理方法、装置及电子设备，其中增强现实的处理方法包括：对设置在多媒体中的标志物进行检测，并确定所述标志物在世界坐标系中的真实位置属性信息，所述多媒体包括单帧图片或者由多帧静态图片形成的视频流；根据所述标志物在世界坐标系中的真实位置属性信息以及附加到所述多媒体上的虚拟场景进行增强现实处理，从而提供了一种基于多媒体中的对象进行增强现实处理，提供了更为丰富的用户体验。

Description

增强现实的处理方法、装置及电子设备

技术领域

本申请实施例涉及软件技术领域，尤其涉及一种增强现实的处理方法、装置及电子设备。

背景技术

增强现实(Augmented Reality，AR)技术是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，它是通过计算机***提供的信息增加用户对现实世界感知的技术，将虚拟的信息应用到真实世界，并将计算机生成的虚拟物体、场景或***提示信息叠加到真实场景中，从而实现对现实的增强。

但是，在现有技术中，并没有提供如何基于实际视频本身内容进行增强现实(Augmented Reality，AR)技术的实现。

发明内容

有鉴于此，本发明实施例所解决的技术问题之一在于提供一种增强现实的处理方法、装置及电子设备，用以克服或者缓解现有技术中缺陷。

本申请实施例提供了一种增强现实的处理方法，其包括：

对设置在多媒体中的标志物进行检测，并确定所述标志物在世界坐标系中的真实位置属性信息，所述多媒体包括单帧图片或者由多帧静态图片形成的视频流；

根据所述标志物在世界坐标系中的真实位置属性信息以及附加到所述多媒体上的虚拟场景进行增强现实处理。

可选地，在本申请的任一实施例中，所述对设置在图片中的标志物进行检测包括：对从电子设备本地摄像头拉取的多媒体中进行标志物检测；或者，对从第三方多媒体源获取的多媒体中进行标志物检测。

可选地，在本申请的任一实施例中，若所述多媒体为视频流，则所述处理方法还包括：对所述视频流进行画面切分得到多帧静态图片；

对应地，对设置在多媒体中的标志物进行检测包括：在所述多帧静态图片中进行标志物的检测。

可选地，在本申请的任一实施例中，对设置在多媒体中的标志物进行检测包括：电子设备本地的页端或者应用程序对设置在多媒体中的标志物进行检测。

可选地，在本申请的任一实施例中，所述页端包括WEB页端，和/或，所述应用程序包括支持HTML5网页的应用程序。

可选地，在本申请的任一实施例中，若电子设备本地的页端对设置在多媒体中的标志物进行检测，则在所述检测之前，通过网页实时通信通道传输多媒体至页端。

可选地，在本申请的任一实施例中，若电子设备本地的页端对设置在多媒体中的标志物进行检测，所述处理方法还包括：所述多媒体以多媒体标签呈现在所述电子设备本地的页端的页面上；

对应地，在所述电子设备本地的页端的页面上，根据所述标志物在世界坐标系中的真实位置属性信息以及附加到所述多媒体上的虚拟场景进行增强现实处理。

可选地，在本申请的任一实施例中，进行增强现实处理时，基于WEBGL或者OPENGL进行场景渲染。

可选地，在本申请的任一实施例中，确定所述标志物在世界坐标系中的真实位置属性信息包括：确定所述标志物在世界坐标系中相对参考点的真实位置属性信息。

本申请实施例还提供一种增强现实的处理装置，其包括：

第一程序单元，用于对设置在多媒体中的标志物进行检测，并确定所述标志物在世界坐标系中的真实位置属性信息，所述多媒体包括单帧图片或者由多帧静态图片形成的视频流；

第二程序单元，用于根据所述标志物在世界坐标系中的真实位置属性信息以及附加到所述多媒体上的虚拟场景进行增强现实处理。

可选地，在本申请的任一实施例中，所述第一程序单元进一步用于对从电子设备本地摄像头拉取的多媒体中进行标志物检测；或者，对从第三方多媒体源获取的多媒体中进行标志物检测。

可选地，在本申请的任一实施例中，若所述多媒体为视频流，则所述装置还包括切分单元，所述切分单元用于对所述视频流进行画面切分得到多帧静态图片；对应地，所述第一程序单元进一步用于在所述多帧静态图片中进行标志物的检测。

可选地，在本申请的任一实施例中，所述第一程序单元进一步用于电子设备本地的页端或者应用程序对设置在多媒体中的标志物进行检测。

可选地，在本申请的任一实施例中，若电子设备本地的页端对设置在多媒体中的标志物进行检测，则所述装置还包括：通信单元，所述通信单元用于在所述检测之前通过网页实时通信通道传输多媒体至页端。

可选地，在本申请的任一实施例中，若电子设备本地的页端对设置在多媒体中的标志物进行检测，所述装置还包括多媒体标签，所述多媒体标签用于以多媒体标签呈现在所述电子设备本地的页端的页面上；

对应地，所述第二程序单元进一步用于在所述电子设备本地的页端的页面上，根据所述标志物在世界坐标系中的真实位置属性信息以及附加到所述多媒体上的虚拟场景进行增强现实处理。

本申请实施例还提供一种电子设备，其包括处理器，所述处理器上设置有执行如下技术处理的程序单元：

对设置在多媒体中的标志物进行检测，并确定所述标志物在世界坐标系中的真实位置属性信息，所述多媒体包括单帧图片或者由多帧静态图片形成的视频流；

根据所述标志物在世界坐标系中的真实位置属性信息以及附加到所述多媒体上的虚拟场景进行增强现实处理。

本申请实施例中，通过对设置在多媒体中的标志物进行检测，并确定所述标志物在世界坐标系中的真实位置属性信息，所述多媒体包括单帧图片或者由多帧静态图片形成的视频流；根据所述标志物在世界坐标系中的真实位置属性信息以及附加到所述多媒体上的虚拟场景进行增强现实处理，从而提供了一种基于多媒体中的对象进行增强现实处理，提供了更为丰富的用户体验。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本申请实施例的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：

图1为本发明实施例一中增强现实的处理方法流程示意图；

图2为本申请实施例二中增强现实的处理装置的结构示意图。

具体实施方式

实施本发明实施例的任一技术方案必不一定需要同时达到以上的所有优点。

为了使本领域的人员更好地理解本发明实施例中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。

本申请实施例中，通过对设置在多媒体中的标志物进行检测，并确定所述标志物在世界坐标系中的真实位置属性信息，所述多媒体包括单帧图片或者由多帧静态图片形成的视频流；根据所述标志物在世界坐标系中的真实位置属性信息以及附加到所述多媒体上的虚拟场景进行增强现实处理，从而提供了一种基于多媒体中的对象进行增强现实处理，提供了更为丰富的用户体验。

下面结合本发明实施例附图进一步说明本发明实施例具体实现。

图1为本发明实施例一中增强现实的处理方法流程示意图；如图1所示，其包括：

S101、对设置在多媒体中的标志物进行检测；

本实施例中，在步骤S101中，对设置在多媒体中的标志物进行检测时，可以由电子设备本地的页端或者应用程序对设置在多媒体中的上述标志物进行检测。

本实施例中，标志物可以为具有一定外在形状的三维或者二维。标志物可以固定的黑白相间的码阵列，也可以是自然物体。

本实施例中，所述多媒体为视频流，步骤S101中，具体对从电子设备本地摄像头拉取的多媒体中进行标志物检测；或者，对从第三方多媒体源获取的多媒体中进行标志物检测。具体地，电子设备可以是台式机、笔记本或者智能移动终端(手机、平板)。

在一具体应用时，若基于WEB端实现AR，则所述多媒体可以是通过电子设备本地的WEB端获取到的视频流。具体地，可以借助支持与WEB端进行多媒体对话的API来实现，比如通过WebRTC(网页实时通信，Web Real-TimeCommunication)来实现。利用WebRTC可以通过WEB端呼起电子设备上配置的摄像头，并且实时获取摄像头的视频。需要说明的是，摄像头可以是集成在电子设备上的摄像头，也可以是通过USB接口外接在所述电子设备上的摄像头。获取到的多媒体流会以<video>标签作为载体呈现在WEB端的页面上。

在另一具体应用中，若多媒体是从第三方多媒体源获取的，则该第三方多媒体源可以是直接来自电子设备外部，也可以是安装在电子设备上的应用程序捕获的多媒体。应用程序可以包括基于html 5网页的应用程序，即不用在电子设备为实现增强现实单独安装应用程序。

本实施例中，多媒体具体为视频流，步骤S101中在从多媒体中检测标志物时，可以先将多媒体进行画面切分，形成多幅静态的图片帧，对于每一帧图片进行上述标志物的检测。

在一具体应用场景中，可以预先设置一标志物模型，在检测每一幅图片帧上的标志物时，将从图片帧上提取到的对象轮廓与标志物的模型进行匹配，从而实现标志物的检测。在匹配时，具体可以基于图像特征进行匹配，图像特征的匹配包括：颜色特征、纹理特征、形状特征。空间关系特征等。通过颜色特征和纹理特征均可以提取图像或图像区域所对应景物的表面性质，颜色特征比如比如灰度直方图等，纹理特征比如基于共生矩阵的熵、角二阶矩和局部平稳性等。通过形状特征可以提取局部区域内物体的外形性质，例如边界特征等。通过空间关系特征可以提取图像中分割出来的多个目标之间的相互的空间位置或相对方向关系，这些关系也可分为连接/邻接关系、交叠/重复关系和包含/包容关系等。

本实施例中，在进行上述匹配时，可以首先对每一幅图片进行压缩处理，以提高后续相关技术处理的速度。在匹配时，然后对图片进行灰度处理，然后对图片记性二值化处理，去掉饱和度较低的部分，利用HoughCircles函数，提取轮廓为圆的部分。

可替代，在一具体应用场景中，上述步骤S101的执行过程可以具体为：

根据通过对多媒体进行切分得到的多帧静态图片进行透视变换、阈值化处理，以确定所述标志物在世界坐标系中的相对距离信息以及相对方向信息。具体地，在透视变换之前可以利用自适应阈值来对分割每一静态图片上可能是所述标志物的对象，然后提取所述对象的轮廓，根据轮廓的形状过滤掉不是所述标志的对象；在对多帧静态图片进行透视变换可以达到在图像上标志物的正视图，再经过阈值化处理后得的黑白像素的个数，从而确定黑色的位还是白色的位，进一步根据黑色的位、白色的位进行位数的统计，再与预先创建的标志物编码字典进行匹配，从而进行标志物的检测。

S102、确定所述标志物在世界坐标系中的真实位置属性信息；

本实施例中，在步骤S102中，在确定所述标志物在世界坐标系中的真实位置属性信息包括：确定所述标志物在世界坐标系中的相对真实位置属性信息。具体地，所述标志物在世界坐标系中的相对真实位置属性信息包括摄像机拍摄所述标志物的相对距离信息以及相对方向信息；或者也称之为摄像机或者照相机的姿态信息。

本实施例中，具体根据相机(或者摄像机)的相机矩阵以及畸变系数来确定相机(或者摄像机)的姿态信息，进一步根据所述相机(或者摄像机)的姿态信息确定所述标志物在世界坐标系中的真实位置属性信息。本实施例中，相机矩阵包括了焦距和相机的内参(即相机中心坐标)；畸变系数可以包括多个描述相机产生畸变的向量。

进一步地，根据所述相机矩阵、畸变系数以及所述标志物的坐标系进行三维坐标变换，确定出相机坐标系和标志物的坐标系之间的平移、旋转向量关系，从而最终确定出真实位置属性信息。

S103、根据所述标志物在世界坐标系中的真实位置属性信息以及附加到所述多媒体上的虚拟场景进行增强现实处理。

本实施例中，若是基于WEB端实现AR，则在步骤S103中，在所述电子设备本地的页端的页面上，根据所述标志物在世界坐标系中的真实位置属性信息以及附加到所述多媒体上的虚拟场景进行增强现实处理。

在一具体应用场景中，进行增强现实处理时，若基于WEB端实现AR，则基于WEBGL进行场景渲染；在另外一具体应用场景中，若基于电子设备上的应用程序实现AR，则基于OPENGL进行场景渲染。

由于从多媒体中确定到的标志物是二维的，缺少深度信息，因此，本实施例中基于标志物模型进行深度信息的还原。具体地，通过标志物与标志物模型进行立体尺寸(宽、高等)方便的匹配，从而还原出深度信息。

图2为本申请实施例二中增强现实的处理装置的结构示意图；如图2所示，其包括：

第一程序单元201，用于对设置在多媒体中的标志物进行检测，并确定所述标志物在世界坐标系中的真实位置属性信息，所述多媒体包括单帧图片或者由多帧静态图片形成的视频流；

第二程序单元202，用于根据所述标志物在世界坐标系中的真实位置属性信息以及附加到所述多媒体上的虚拟场景进行增强现实处理。

可选地，在本申请任一实施例中，所述第一程序单元进一步用于对从电子设备本地摄像头拉取的多媒体中进行标志物检测；或者，对从第三方多媒体源获取的多媒体中进行标志物检测。

可选地，在本申请任一实施例中，若所述多媒体为视频流，则所述装置还包括切分单元，所述切分单元用于对所述视频流进行画面切分得到多帧静态图片；

对应地，所述第一程序单元进一步用于在所述多帧静态图片中进行标志物的检测。

可选地，在本申请的任一实施例中，所述第一程序单元进一步用于电子设备本地的页端或者应用程序对设置在多媒体中的标志物进行检测。

可选地，在本申请的任一实施例中，若电子设备本地的页端对设置在多媒体中的标志物进行检测，则所述装置还包括：通信单元，所述通信单元用于在所述检测之前通过网页实时通信通道传输多媒体至页端。

可选地，在本申请的任一实施例中，若电子设备本地的页端对设置在多媒体中的标志物进行检测，所述装置还包括多媒体标签，所述多媒体标签用于以多媒体标签呈现在所述电子设备本地的页端的页面上；

对应地，所述第二程序单元进一步用于在所述电子设备本地的页端的页面上，根据所述标志物在世界坐标系中的真实位置属性信息以及附加到所述多媒体上的虚拟场景进行增强现实处理。

本申请实施例还提供一种电子设备，其包括处理器，所述处理器上设置有执行如下技术处理的程序单元：

对设置在多媒体中的标志物进行检测，并确定所述标志物在世界坐标系中的真实位置属性信息，所述多媒体包括单帧图片或者由多帧静态图片形成的视频流；

根据所述标志物在世界坐标系中的真实位置属性信息以及附加到所述多媒体上的虚拟场景进行增强现实处理。

可选地，在本申请任一实施例中，所述处理器上具体设置有上述第一程序单元和第二程序单元。

需要说明的是，上述处理器可以包括多个子处理器，这些子处理器基于分布式进行布置，进一步地，第一程序单元和第二程序单元那可能位于不同的子处理器上。

另外，上述子处理器可以位于前端，也可以为服务端。

所述电子设备可以是服务器，也可以电子设备，其中包括PC、智能移动终端等。

本申请实施例还提供一种存储介质，其上存储于执行如下技术处理的指令：

对设置在多媒体中的标志物进行检测，并确定所述标志物在世界坐标系中的真实位置属性信息，所述多媒体包括单帧图片或者由多帧静态图片形成的视频流；

根据所述标志物在世界坐标系中的真实位置属性信息以及附加到所述多媒体上的虚拟场景进行增强现实处理。

需要说明的是，对于单幅图片来说，增强现实的处理方法类似上述实施例中仅对视频流中的一副图片帧的处理。

上述本申请实施例可以应用到如下场景：

(1)在视频中加载电影院门口的影片宣传栏(标志物)，确定出该标志物后通过AR实现在上映电影的预览。

(2)在地图导航中，比如确定出某一具体地标，基于该地标的地理位置进行AR处理，比如局部或者全局地图导航。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，所述计算机可读记录介质包括用于以计算机(例如计算机)可读的形式存储或传送信息的任何机制。例如，机器可读介质包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪速存储介质、电、光、声或其他形式的传播信号(例如，载波、红外信号、数字信号等)等，该计算机软件产品包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本申请实施例的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

本领域的技术人员应明白，本发明实施例的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

Claims (16)

1.一种增强现实的处理方法，其特征在于，包括：

对设置在多媒体中的标志物进行检测，并确定所述标志物在世界坐标系中的真实位置属性信息，所述多媒体包括单帧图片或者由多帧静态图片形成的视频流；

根据所述标志物在世界坐标系中的真实位置属性信息以及附加到所述多媒体上的虚拟场景进行增强现实处理。

2.根据权利要求1所述的处理方法，其特征在于，所述对设置在图片中的标志物进行检测包括：对从电子设备本地摄像头拉取的多媒体中进行标志物检测；或者，对从第三方多媒体源获取的多媒体中进行标志物检测。

3.根据权利要求2所述的处理方法，其特征在于，若所述多媒体为视频流，则所述处理方法还包括：对所述视频流进行画面切分得到多帧静态图片；

对应地，对设置在多媒体中的标志物进行检测包括：在所述多帧静态图片中进行标志物的检测。

4.根据权利要求1所述的处理方法，其特征在于，对设置在多媒体中的标志物进行检测包括：电子设备本地的页端或者应用程序对设置在多媒体中的标志物进行检测。

5.根据权利要求4所述的处理方法，其特征在于，所述页端包括WEB页端，和/或，所述应用程序包括支持HTML5网页的应用程序。

6.根据权利要求4所述的处理方法，其特征在于，若电子设备本地的页端对设置在多媒体中的标志物进行检测，则在所述检测之前，通过网页实时通信通道传输多媒体至页端。

7.根据权利要求4所述的处理方法，其特征在于，若电子设备本地的页端对设置在多媒体中的标志物进行检测，所述处理方法还包括：所述多媒体以多媒体标签呈现在所述电子设备本地的页端的页面上；

对应地，在所述电子设备本地的页端的页面上，根据所述标志物在世界坐标系中的真实位置属性信息以及附加到所述多媒体上的虚拟场景进行增强现实处理。

8.根据权利要求1所述的处理方法，其特征在于，确定所述标志物在世界坐标系中的真实位置属性信息包括：确定所述标志物在世界坐标系中的相对真实位置属性信息。

9.根据权利要求1-8任一项所述的处理方法，其特征在于，进行增强现实处理时，基于WEBGL或者OPENGL进行场景渲染。

10.一种增强现实的处理装置，其特征在于，包括：

第一程序单元，用于对设置在多媒体中的标志物进行检测，并确定所述标志物在世界坐标系中的真实位置属性信息，所述多媒体包括单帧图片或者由多帧静态图片形成的视频流；

第二程序单元，用于根据所述标志物在世界坐标系中的真实位置属性信息以及附加到所述多媒体上的虚拟场景进行增强现实处理。

11.根据权利要求10所述的装置，其特征在于，所述第一程序单元进一步用于对从电子设备本地摄像头拉取的多媒体中进行标志物检测；或者，对从第三方多媒体源获取的多媒体中进行标志物检测。

12.根据权利要求10所述的装置，其特征在于，若所述多媒体为视频流，则所述装置还包括切分单元，所述切分单元用于对所述视频流进行画面切分得到多帧静态图片；对应地，所述第一程序单元进一步用于在所述多帧静态图片中进行标志物的检测。

13.根据权利要求10所述的装置，其特征在于，所述第一程序单元进一步用于电子设备本地的页端或者应用程序对设置在多媒体中的标志物进行检测。

14.根据权利要求10所述的装置，其特征在于，若电子设备本地的页端对设置在多媒体中的标志物进行检测，则所述装置还包括：通信单元，所述通信单元用于在所述检测之前通过网页实时通信通道传输多媒体至页端。

15.根据权利要求10所述的装置，其特征在于，若电子设备本地的页端对设置在多媒体中的标志物进行检测，所述装置还包括多媒体标签，所述多媒体标签用于以多媒体标签呈现在所述电子设备本地的页端的页面上；

对应地，所述第二程序单元进一步用于在所述电子设备本地的页端的页面上，根据所述标志物在世界坐标系中的真实位置属性信息以及附加到所述多媒体上的虚拟场景进行增强现实处理。

16.一种电子设备，其特征在于，包括处理器，所述处理器上设置有执行如下技术处理的程序单元：

对设置在多媒体中的标志物进行检测，并确定所述标志物在世界坐标系中的真实位置属性信息，所述多媒体包括单帧图片或者由多帧静态图片形成的视频流；

根据所述标志物在世界坐标系中的真实位置属性信息以及附加到所述多媒体上的虚拟场景进行增强现实处理。