CN108540542B - 一种移动增强现实***及显示的方法 - Google Patents

Abstract

本发明公开了一种移动增强现实***，所述***包括移动终端、无线传感器、一个或多个无线网络节点及云服务器，所述无线传感器，用于接收所述一个或多个无线网络节点发送的信号，并将所述信号发送至所述移动终端；所述移动终端，用于采集图像，并将所述采集的图像及所述信号发送至所述云服务器；所述云服务器，用于构建与所述标识信息对应的数字文化内容，当接收到所述移动终端发送的图像及信号后，将与所述信号中标识信息对应的数字文化内容融合叠加至所述图像上，并发送所述融合叠加后的图像至所述移动终端。相应地，本发明还提供一种增强现实显示方法，解决了现有技术利用增强现实技术展示数字文化内容使用率低且用户体验不高的问题。

Description

一种移动增强现实***及显示的方法

技术领域

本发明属于增强现实(Augmented Reality,AR)技术领域，具体地，涉及一种移动增强现实***及显示的方法。

背景技术

增强现实(Augmented Reality,AR)是近几年发展起来的计算机图形学领域的研究热点，它能将计算机生成的虚拟数字信息叠加在现实环境之中，并将这种虚拟数字信息与现实环境融为一体，通过显示设备将这种虚实融合的场景加以呈现，从而使现实环境呈现出信息增强的效果。这种增强信息的呈现，使体验者不仅能感知真实世界的信息，还能同时感知真实世界以外的虚拟数字信息，从而能有效增强体验者对真实世界环境的感知。随着计算机科学技术的发展，AR技术的研究也从早期的军事、航空等高端领域的应用研究转向了教育、娱乐、文化、旅游等众多领域的应用开发研究。

现有技术中，针对旅游文化的AR应用层出不穷，例如景区的AR导览，智能展区的AR三维显示等，采用了头盔式、移动终端式，让用户体验了数字文化内容的重现与故事描绘。然而，现有技术中，AR应用大多数采用了在Marker基础上进行数字文化内容的三维叠加的方式来进行AR显示。其实现方式具备一定局限性，且难以做到针对各个地方区域特定的物质文化载体进行AR识别与显示，故使用率较低，体验不高。

发明内容

本发明提供了一种移动增强现实(Mobile Augmented Reality,MAR)***，解决了现有技术AR展示数字文化内容使用率低且用户体验不高的问题。

为了实现上述目的，本发明实施例提供了一种移动增强现实MAR***，所述***包括移动终端、无线传感器、一个或多个无线网络节点及云服务器，其中，

所述无线传感器，用于接收所述一个或多个无线网络节点发送的信号，并将所述信号发送至所述移动终端，所述信号包括与物质文化载体对应的标识信息；

所述移动终端，用于采集所述物质文化载体的图像，并接收所述无线传感器发送的信号，将所述采集的图像及所述信号发送至所述云服务器；

所述云服务器，用于构建与所述标识信息对应的数字文化内容，当接收到所述移动终端发送的图像及信号后，将与所述信号中标识信息对应的数字文化内容融合叠加至所述图像上，并发送所述融合叠加后的图像至所述移动终端；

所述移动终端，还用于接收所述云服务器发送的融合叠加后的图像并显示。

可选地，所述云服务器用于将与所述信号中标识信息对应的数字文化内容融合叠加至所述图像上，包括：

采用三维跟踪注册技术对所述数字文化内容及所述采集图像进行虚实配准处理；

将所述数字文化内容进行实时绘制渲染，并根据所述虚实配准处理后所述数字文化内容在现实场景中的映射关系，将所述数字文化内容与所述物质文化载体图像进行叠加融合，

其中，所述数字文化内容包括数字三维模型，以及数字动画、数字影视、数字声音、数字图片及数字文本的其中一种或多种的组合。

可选地，所述云服务器还用于：

采用计算机图形图像CG技术制作与所述标识对应的数字三维模型。

可选地，所述物质文化载体包括文化创意产品、博物馆展示品或景点，则所述标识信息包括所述移动终端所在区域的位置信息、文化创意产品的标识信息、博物馆内部展品的标识信息或景点标识信息的其中一种或多种的组合。

可选地，所述云服务器还用于：

当所述物质文化载体是博物馆展品，且标识信息是博物馆内部展品信息时，构建标识数据库，根据所述标识数据库，对所述图像进行动态标识切换识别匹配；

获取所述移动终端采集图像中姿态定位坐标，进行所述展品匹配检测；

确定所述移动终端的姿态位置信息，将所述展品对应的数字文化内容与所述展品图像进行虚实融合。

可选地，所述无线传感器为Zigbee无线收发模块，且所述无线传感器独立或内置于所述移动终端。

本发明实施例还提供一种移动增强现实显示的方法，包括：

无线传感器接收一个或多个无线网络节点发送的信号，并将所述信号发送至移动终端，所述信号包括与物质文化载体对应的标识信息；

所述移动终端采集所述物质文化载体的图像，并接收所述无线传感器发送的信号，将所述采集的图像及所述信号发送至云服务器；

所述云服务器构建与所述标识信息对应的数字文化内容，当接收到所述移动终端发送的图像及信号后，将与所述信号中标识信息对应的数字文化内容融合叠加至所述图像上，并发送所述融合叠加后的图像至所述移动终端；

所述移动终端接收所述云服务器发送的融合叠加后的图像并显示。

可选地，所述云服务器将与所述信号中标识信息对应的数字文化内容融合叠加至所述图像上，包括：

采用三维跟踪注册技术对所述数字文化内容及所述采集图像进行虚实配准处理；

将所述数字文化内容进行实时绘制渲染，并根据所述虚实配准处理后所述数字文化内容在现实场景中的映射关系，将所述数字文化内容与所述物质文化载体图像进行叠加融合，

其中，所述数字文化内容包括数字三维模型，以及数字动画、数字影视、数字声音、数字图片及数字文本的其中一种或多种的组合。

可选地，所述方法还包括：

所述云服务器采用计算机图形图像CG技术制作与所述标识对应的数字三维模型。

可选地，所述物质文化载体包括文化创意产品、博物馆展示品或景点，则所述标识信息包括所述移动终端所在区域的位置信息、文化创意产品的标识信息、博物馆内部展品的标识信息或景点标识信息的其中一种或多种的组合。

本发明实施例的方法及***具有下列优点：

通过AR技术与无线传感通信技术的结合，无线网络节点将当前区域范围内的标识发送给无线传感器，并转发至移动终端，当用户使用移动终端采集物质文化载体的图像时，云服务器根据识别出的该图像及标识信息，将该标识信息对应的数字文化内容叠加在该图像特定位置处，实现AR虚实叠加。采用本发明实施例提供的方案，不仅能够更精确地进行AR虚实叠加，而且还带来了更高的用户体验，容易实现商业上的成功。

附图说明

图1是本发明实施例中MAR***组成结构图；

图2是本发明实施例中三维注册跟踪技术流程示意图；

图3是本发明实施例中移动增强现实***进行显示的方法流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

实施例一

为达到以上目的，如图1所示，本发明提供了一种移动增强现实MAR***11，所述MAR***11包括移动终端12、无线传感器13、一个或多个无线网络节点14及云服务器15，其中，

所述无线传感器13，用于接收所述一个或多个无线网络节点14发送的信号，并将所述信号发送至所述移动终端12，所述信号包括与物质文化载体对应的标识信息；

需要说明的是，该无线传感器包括但不限于Zigbee、WIFI、蓝牙、NFC等无线传感器。在本发明实施例中，根据场景的不同，其采用的无线传感器也不相同，例如，在近距离(10米以内)通信范围内，可采用NFC和蓝牙来完成数据的发送与接收，而在中距离(10-100米)的通信范围时，则采用Zigbee、WIFI等通信方式。

其中，在本发明实施例中优选Zigbee模块作为无线传感器，该Zigbee模块可继承在移动终端内部，也可以独立于移动终端，与移动终端通过通信协议进行信令传输与交互。其中，ZigBee是基于IEEE802.15.4标准的低功耗局域网协议。根据国际标准规定，ZigBee技术是一种短距离、低功耗的无线通信技术。其特点是近距离、低复杂度、自组织、低功耗、低数据速率。主要适合用于自动控制和远程控制领域，可以嵌入各种设备。

无线网络节点14可固定放置在特定位置处，无线网络节点14用于与无线传感器进行通信，以Zigbee为例，无线网络节点14在通信范围内获取到Zigbee的信息，采用Zigbee传输协议与Zigbee模块进行握手，完成信令交互，并将内部存储的标识信息及当前无线网络节点位置处物质文化载体的信息发送至该Zigbee模块。

标识信息包括所述移动终端当前所在区域的位置信息，无线网络节点将该位置信息发送给无线传感器后，无线传感器将该位置信息发送给移动终端，并转发给云服务器，此时云服务器即可根据位置信息与数字文化内容的对应关系，确定与该位置信息对应的数字文化内容，并叠加在图像中。与传统的GPS与AR结合方式不同的是，本发明通过无线传感与AR结合的方式，位置精度更高、识别率更高。

可选地，该标识也可以是一种标签，该标签可以是一种用于表示非物质文化遗产(Intangible Cultural Heritage,ICH)或物质文化遗产的具体标签。物质文化遗产即实实在在的物体，如自然景观、历史古迹、纪念品、展览品、文物字画等。非物质文化遗产不同于物质文化遗产,它是一种极为重要的文化遗产形态，被喻为是代表我国民族特色传统文化多样性的文化基因。它看不见，摸不着，可通过数字文化内容来表现其ICH内容。对于ICH而言，其标签决定了ICH的种类、内容及展现形式，同时，标识也可以是一个触发机制，在接收到该标识后触发相应的AR元素(例如后面提及的数字文化内容)加载到采集的图像上。此外，标识还可以是一种标记物，可分为人工标记的黑白识别物(Marker)，和无人工标记的自然图像特征图形的识别物(Markerless)，该标记物是根据文化内容涉及的带有传统文化元素符号各类图案、图形等标识物，是后续进行三维跟踪注册的目标对象。在本发明实施例中，标识信息可以是文化创意产品的标识信息、博物馆内部展品的标识信息或景点标识信息的其中一种或多种的组合。Marker标识信息还可以是一串特定格式的数字编码，存储于无线网络节点中，当无线传感器与无线网络节点进行交互时，无线网络节点将该数字编码封装在信号格式中，并通过报文形式发送至无线传感器中，无线传感器通过对该信号进行解码，提取出其中的标识信息，并将该标识信息转发至移动终端。可选地，标识也可以是QR码等，本发明对标识具体的表现形式并无限制。

所述移动终端12，用于采集所述物质文化载体的图像，并接收所述无线传感器13发送的信号，将所述采集的图像及所述信号发送至所述云服务器15；

移动终端12可以是常用的移动终端，个人电脑、智能手机及平板电脑等。移动终端12具备单摄像头或双摄像头，用于采集物质文化载体的图像。

物质文化载体在本发明实施例中，可以分为如下三类：一是针对传统技艺类、传统美术类、民间文学类等手工艺品、纪念品、民族特色产品等；二是博物馆的展览品，包括各种文物、字画、古典建筑模型等；三是生态博物馆、民俗村、民族风情园等文化旅游景区，以及该景区内的民族特色/地域特色产品，包括民族服饰、特产、各类园林景观(花草树木、奇石、公园等)等。物质文化载体是看得见摸得着的一类载体，与存在着本质区别，而本发明实施例提供的技术方案即是在看得见摸得着的载体图像上加载一些平时无法看见也无法听见的数字文化内容，让用户切切实实感受到数字文化内容的存在。

所述云服务器15，用于构建与所述标识信息对应的数字文化内容，当接收到所述移动终端发送的图像及信号后，将与所述信号中标识信息对应的数字文化内容融合叠加至所述图像上，并发送所述融合叠加后的图像至所述移动终端12；

其中，所述云服务器15将与所述信号中标识信息对应的数字文化内容融合叠加至所述图像上，具体可以为：

采用三维跟踪注册技术对所述数字文化内容及所述采集图像进行虚实配准处理；

将所述数字文化内容进行实时绘制渲染，并根据所述虚实配准处理后所述数字文化内容在现实场景中的映射关系，将所述数字文化内容与所述物质文化载体图像进行叠加融合，

其中，所述数字文化内容包括数字三维模型，以及数字动画、数字影视、数字声音、数字图片及数字文本的其中一种或多种的组合。可选地，云服务器15可采用计算机图形图像CG技术制作与所述标识对应的数字三维模型。该技术属于现有技术，这里不再累述。

三维跟踪注册是指***在运行过程中，需要实时地检测、识别现实环境的图像特征，根据获取的现实环境视频图像帧的特征确定三维空间中摄像头相对于真实环境的位置和方向，从而将虚拟对象准确地放置在现实场景中的正确位置。要实现虚拟对象与现实场景的无缝融合，三维跟踪注册技术是AR***最核心的关键技术。

三维跟踪注册技术(3D Registration)的实现一般可分为三种途径：基于计算机视觉的三维跟踪注册技术、基于硬件设备的三维跟踪注册技术和混合三维跟踪注册技术。

基于计算机视觉的三维跟踪注册技术：主要通过识别现实场景中图像的特征来确定摄像机的位置与姿态，这种注册方法可分为基于人工标记物(Marker)的方法和基于自然图像特征的方法两种。***通过实时识别现实场景中标记物的平行线、垂直线、平面物体、角点、纹理特征等方法，获取摄像机内、外部参数。基于Marker的方法的优点是现实场景特征明显，具有较高鲁棒性和运算速度快，但需要人为事先在场景中设置黑白标记物，会影响场景的美观，基于自然图像特征的方法能克服人工标记物的上述缺点。

基于硬件设备的三维跟踪注册技术：主要是利用信号发射装置和感应装置，获取相关数据，计算三维注册所需要的位置和姿态信息。常用的有电磁式跟踪装置、光学式跟踪装置、超声波式跟踪装置、GPS定位装置、惯性导航、电子罗盘等硬件设备。电磁式跟踪装置是利用线圈信号发射器，根据磁发射信号与磁感应信号之间的耦合互动关系来确定现实场景中目标对象的相对位置与姿态信息。光学式跟踪装置是通过摄像设备或光敏元器件，根据接收的光源信息或反射球发出的光，通过获取的图像、光源信息与传感器的三维空间位置信息来确定目标对象的六自由度信息。超声波式跟踪装置是根据不同声源发出的超声波到达现实场景特定的目标对象所产生的时间差、相位差和声压来进行三维注册。通过GPS定位、惯性导航、电子罗盘等硬件装置来确定现实场景目标对象相对位置信息常用于基于位置服务的增强现实信息服务***。

混合三维跟踪注册技术：在某些特定的应用中，综合上述多种三维跟踪注册方法来确定虚拟对象相对于真实场景的位置信息，实现***的三维跟踪注册功能。

本发明实施例中，利用三维跟踪注册技术来实现数字文化内容与现实场景的叠加：通过视频图像中的坐标信息，进行世界坐标系、摄像机坐标系、成像平面坐标系和像素坐标系之间的转换计算，实现数字文化内容对象与现实场景精准叠加。为实现虚拟对象与现实场景的完美融合与配准，MAR***需要实时地检测和计算移动终端摄像头的位置和方向，根据摄像机外部参数实时计算数字文化内容与现实场景之间的映射关系，以实现将文化数字文化内容对象准确地“放置”在目标对象所在的现实场景视频图像的正确位置上；此外，MAR***还需要通过对数字三维模型、数字动画、数字影视、声音、图片、数字文本等数字文化内容对象进行实时绘制渲染，并根据MAR***实时获取的虚拟对象在现实场景中的映射关系，将这些计算机产生的虚拟图像与现实场景视频图像融合，实现对现实场景信息的增强效果，即在现实场景视频图像基础上获得增强数字文化信息的视频图像。

具体而言，本发明实施例中，***通过移动终端上的摄像头捕获现实环境视频图像序列帧，识别出现实环境中的目标对象，进一步确定智能终端摄像机相对于现实环境中目标对象的位姿关系，***根据获取的摄像机位姿数据信息和从真实场景获得的定位数据信息，确定虚拟对象(即与标识对应的数字文化的数字三维模型、数字动画、视频、音频、图形、数字文本等一种或多种数字文化内容)在现实环境中的准确位置，最终在现实环境中完成虚拟对象的实时绘制与生成，将虚拟对象与现实环境融合显示在移动终端上，形成虚实融合的新场景，完成三维跟踪注册的过程，从而达到对现实环境文化信息增强的目的。

在MAR***的这一运行过程中，一方面，移动终端摄像头的位姿信息处于动态变化的状态，***必须实时准确地获取摄像机相对于真实环境中目标对象的位置信息，才能完成后续精准的三维注册任务，另一方面，***必须能实时地检测、识别、跟踪现实环境中的标识信息，才能快速地获取摄像机的位姿数据信息，三维空间环境下对目标对象(标识)的实时检测、识别、跟踪并实时完成虚实场景配准。基于计算机视觉的三维跟踪注册技术是***在现实场景的视频图像序列帧中，以包含目标对象的图像帧为定位基准，通过对目标对象图像帧的特征点检测、识别匹配与实时跟踪的方法来实时获取摄像机与现实环境的位姿关系，并实时地更新虚拟对象到现实环境中目标对象的坐标转换关系，进而对虚实融合的场景进行实时地更新，完成三维注册的任务。基于计算机视觉的三维跟踪注册过程，主要包括图像特征点检测、识别匹配、目标对象的实时跟踪与虚实融合四个环节。

在MAR***中，三维跟踪注册是确保虚拟对象准确叠加、融合在现实环境中的关键性技术，这一过程中，***是通过摄像头捕获的现实场景视频图像来获取真实场景的数据信息，三维跟踪注册的数据直接来源于摄像机捕获的图像信息，如果摄像机的内部参数不准确，将会严重影响三维注册精度，甚至导致注册失败。因此，增强现实***需要进行摄像机标定(Camera Calibration)来确定摄像机相关参数，摄像机参数包括内部参数与外部参数，内部参数是指与摄像机本身的几何、光学特性相关的参数，外部参数是指摄像机相对于某一世界坐标系中的三维空间位置和方向，MAR***进行摄像机标定的过程就是确定摄像机内、外部参数的过程。增强现实***三维跟踪注册过程如图2所示。此外，三维跟踪注册中的坐标变换三维跟踪注册过程的本质涉及到世界坐标系、摄像机坐标系、成像平面坐标系与像素坐标系之间的转换关系，通过这四个坐标系之间的转换矩阵的确定，MAR***就能将虚拟对象准确地叠加在现实环境的场景之中三维跟踪注册过程主要包括摄像机标定、实时跟踪与三维场景绘制融合三个方面的主要内容。摄像机标定的目的在于帮助***确定摄像机内部参数与外部参数，获取真实世界坐标系、摄像机坐标系、成像平面坐标系和像素坐标系之间的转换关系，为后续的虚拟对象准确叠加在现实场景中提供数据信息。实时跟踪过程包括对现实场景目标对象的实时检测与跟踪，通过对现实场景中目标对象的实时检测、识别匹配与跟踪，获取摄像机相对于真实世界坐标系的位置与方向，以确定真实世界坐标系与摄像机坐标系之间的转换矩阵。三维场景绘制融合主要通过***获取的世界坐标系、摄像机坐标系、成像平面坐标系与像素坐标系之间的转换关系，利用计算机图形图像绘制生成技术，将虚拟对象叠加在现实场景的目标对象区域之中，形成虚实融合的新场景。

所述移动终端12，还用于接收所述云服务器15发送的融合叠加后的图像并显示。

需要说明的是，针对博物馆展品的情况，即当所述物质文化载体是博物馆展品，且标识信息是博物馆内部展品信息时，云服务器15还用于：构建标识数据库，根据所述标识数据库，对所述图像进行动态标识切换识别匹配；并获取所述移动终端采集图像中姿态定位坐标，进行所述展品匹配检测；确定所述移动终端的姿态位置信息，将所述展品对应的数字文化内容与所述展品图像进行虚实融合，不仅能实现文物的重构与再现，还可以实现数字文化内容与历史古迹的完美融合。

移动增强现实MAR的开发应用主要有两种模式，一种是基于位置服务LBS(Location Based Service,LBS)的MAR***，主要通过移动智能终端的GPS定位、电子罗盘和重力加速度计等设备确定智能终端的位置与姿态，在用户的智能终端中叠加用户周围环境兴趣点POI(Point of Interest,POI)的相关信息，如对用户周围的酒店、导航、主要公共设施等进行的标注信息。另一种是基于自然图像特征的计算机视觉跟踪注册方法的移动增强现实***应用，主要通过移动智能终端摄像头识别用户周围目标对象的特征来确定智能终端相对于目标对象的位置与姿态，在用户的智能终端中叠加与目标对象相关的信息。在目前的MAR这两种应用模式中，前者主要是标注用户周围一定距离范围内的POI信息，一般叠加的信息属于二维的文字、图片等信息，不太适合通过有形化、情境化等较丰富的数字化信息叠加来实现对目标对象的详细诠释与展示。而本发明实施例创造性地提出了一种基于无线传感技术与AR技术结合的方案，通过无线传感器接收无线网络节点将当前区域范围内的标识发送给无线传感器，并转发至移动终端，当用户使用移动终端采集物质文化载体的图像时，云服务器根据识别出的该图像及标识信息，将该标识信息对应的数字文化内容叠加在该图像特定位置处，实现AR虚实叠加。采用本发明实施例提供的方案，不仅能够更精确地进行AR虚实叠加，而且还带来了更高的用户体验，可实现产业化应用，从而实现商业上的成功。

实施例二

如图3所示，本发明实施例公开了一种移动增强现实显示的方法，包括：

S201、无线传感器接收一个或多个无线网络节点发送的信号，并将所述信号发送至移动终端，所述信号包括与物质文化载体对应的标识信息；

需要说明的是，该无线传感器包括但不限于Zigbee、WIFI、蓝牙、NFC等无线传感器。在本发明实施例中，根据场景的不同，其采用的无线传感器也不相同，例如，在近距离(10米以内)通信范围内，可采用NFC和蓝牙来完成数据的发送与接收，而在中距离(10-100米)的通信范围时，则采用Zigbee、WIFI等通信方式。

其中，在本发明实施例中优选Zigbee模块作为无线传感器，该Zigbee模块可继承在移动终端内部，也可以独立于移动终端，与移动终端通过通信协议进行信令传输与交互。其中，ZigBee是基于IEEE802.15.4标准的低功耗局域网协议。根据国际标准规定，ZigBee技术是一种短距离、低功耗的无线通信技术。其特点是近距离、低复杂度、自组织、低功耗、低数据速率。主要适合用于自动控制和远程控制领域，可以嵌入各种设备。

无线网络节点可固定放置在特定位置处，无线网络节点用于与无线传感器进行通信，以Zigbee为例，无线网络节点在通信范围内获取到Zigbee的信息，采用Zigbee传输协议与Zigbee模块进行握手，完成信令交互，并将内部存储的标识信息及当前无线网络节点位置处物质文化载体的信息发送至该Zigbee模块。无线网络节点可理解为Zigbee“基站”。

S202、所述移动终端采集所述物质文化载体的图像，并接收所述无线传感器发送的信号，将所述采集的图像及所述信号发送至云服务器；

标识信息包括所述移动终端当前所在区域的位置信息，无线网络节点将该位置信息发送给无线传感器后，无线传感器将该位置信息发送给移动终端，并转发给云服务器，此时云服务器即可根据位置信息与数字文化内容的对应关系，确定与该位置信息对应的数字文化内容，并叠加在图像中。与传统的GPS与AR结合的方式不同的是，本发明通过无线传感与AR结合的方式，位置精度更高、识别率更高。

可选地，该标识也可以是一种标签，该标签可以是一种用于表示非物质文化遗产(Intangible Cultural Heritage,ICH)或物质文化遗产的具体标签。物质文化遗产即实实在在的物体，如自然景观、历史古迹、纪念品、展览品、文物字画等。非物质文化遗产不同于物质文化遗产,它是一种极为重要的文化遗产形态，被喻为是代表我国民族特色传统文化多样性的文化基因。它看不见，摸不着，可通过数字文化内容来表现其ICH内容。对于ICH而言，其标签决定了ICH的种类、内容及展现形式，同时，标识也可以是一个触发机制，在接收到该标识后触发相应的AR元素(例如后面提及的数字文化内容)加载到采集的图像上。此外，标识还可以是一种标记物，可分为人工标记的黑白识别物(Marker)，和无人工标记的自然图像特征图形的识别物(Markerless)，该标记物是根据文化内容涉及的带有传统文化元素符号各类图案、图形等标识物，是后续进行三维跟踪注册的目标对象。在本发明实施例中，标识信息可以是文化创意产品的标识信息、博物馆内部展品的标识信息或景点标识信息的其中一种或多种的组合。标识信息还可以是一串特定格式的数字编码，存储于无线网络节点中，当无线传感器与无线网络节点进行交互时，无线网络节点将该数字编码封装在信号格式中，并通过报文形式发送至无线传感器中，无线传感器通过对该信号进行解码，提取出其中的标识信息，并将该标识信息转发至移动终端。可选地，标识也可以是QR码等，本发明对标识具体的表现形式并无限制。

数字文化内容Marker移动终端可以是常用的移动终端，个人电脑、智能手机及平板电脑等。移动终端具备单摄像头或双摄像头，用于采集物质文化载体的图像。

物质文化载体在本发明实施例中，可以分为如下三类：一是针对传统技艺类、传统美术类、民间文学类等手工艺品、纪念品、民族特色产品等；二是博物馆的展览品，包括各种文物、字画、古典建筑模型等；三是生态博物馆、民俗村、民族风情园等文化旅游景区，以及该景区内的民族特色/地域特色产品，包括民族服饰、特产、各类园林景观(花草树木、奇石、公园等)等。物质文化载体是看得见摸得着的一类载体，与存在着本质区别，而本发明实施例提供的技术方案即是在看得见摸得着的载体图像上加载一些平时无法看见也无法听见的数字文化内容，让用户切切实实感受到数字文化内容的存在。

S203、所述云服务器构建与所述标识信息对应的数字文化内容，当接收到所述移动终端发送的图像及信号后，将与所述信号中标识信息对应的数字文化内容融合叠加至所述图像上，并发送所述融合叠加后的图像至所述移动终端；

S204、所述移动终端接收所述云服务器发送的融合叠加后的图像并显示。

其中，所述云服务器将与所述信号中标识信息对应的数字文化内容融合叠加至所述图像上，具体可以为：

采用三维跟踪注册技术对所述数字文化内容及所述采集图像进行虚实配准处理；

将所述数字文化内容进行实时绘制渲染，并根据所述虚实配准处理后所述数字文化内容在现实场景中的映射关系，将所述数字文化内容与所述物质文化载体图像进行叠加融合，

其中，所述数字文化内容包括数字三维模型，以及数字动画、数字影视、数字声音、数字图片及数字文本的其中一种或多种的组合。即，该数字文化内容包括三维数字模型，以及其他能够展示该数字文化内容的内容，例如一段视频，一段文字，一段语音或图片等。

三维跟踪注册是指***在运行过程中，需要实时地检测、识别现实环境的图像特征，根据获取的现实环境视频图像帧的特征确定三维空间中摄像头相对于真实环境的位置和方向，从而将虚拟对象准确地放置在现实场景中的正确位置。要实现虚拟对象与现实场景的无缝融合，三维跟踪注册技术是AR***最核心的关键技术。相关技术细节请参见实施例一相关部分，这里略。

其中，所述方法还包括：

所述云服务器采用计算机图形图像CG技术制作与所述标识对应的数字三维模型。

需要说明的是，针对博物馆展品的情况，即当所述物质文化载体是博物馆展品，且标识信息是博物馆内部展品信息时，云服务器15还用于：构建标识数据库，根据所述标识数据库，对所述图像进行动态标识切换识别匹配；并获取所述移动终端采集图像中姿态定位坐标，进行所述展品匹配检测；确定所述移动终端的姿态位置信息，将所述展品对应的数字文化内容与所述展品图像进行虚实融合，不仅能实现文物的重构与再现，还可以实现数字文化内容与历史古迹的完美融合。

本发明实施例创造性地提出了一种基于无线传感技术与AR技术结合的方案，通过无线传感器接收无线网络节点将当前区域范围内的标识发送给无线传感器，并转发至移动终端，当用户使用移动终端采集物质文化载体的图像时，云服务器根据识别出的该图像及标识信息，将该标识信息对应的数字文化内容叠加在该图像特定位置处，实现AR虚实叠加。采用本发明实施例提供的方案，不仅能够更精确地进行AR虚实叠加，而且还带来了更高的用户体验，可实现产业化应用，从而实现商业上的成功。

应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本说明书的各个部分均采用递进的方式进行描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点介绍的都是与其他实施例不同之处。尤其，对于装置和***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例部分的说明即可。

最后，需要说明的是：以上所述仅为本申请技术方案的较佳实施例而已，并非用于限定本申请的保护范围。显然，本领域技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种移动增强现实MAR***，其特征在于，所述***包括移动终端、无线传感器、一个或多个无线网络节点及云服务器，其中，

所述无线传感器，用于接收所述一个或多个无线网络节点发送的信号，并将所述信号发送至所述移动终端，其中，所述信号包括与物质文化载体对应的标识信息，所述标识信息为数字编码，存储于无线网络节点中，在所述无线传感器与所述无线网络节点交互时，所述无线网络节点将所述数字编码封装在信号格式中，将所述封装在所述信号格式中的数字编码作为所述信号，并通过报文形式发送至无线传感器中；

所述接收所述一个或多个无线网络节点发送的信号，并将所述信号发送至所述移动终包括：接收所述无线网络节点通过报文形式发送的所述信号，将接收到的所述信号进行解码提取出所述标识信息，并将提出的标识信息发送至所述移动终端；

所述移动终端，用于采集所述物质文化载体的图像，并接收所述无线传感器发送的信号，将所述采集的图像及所述信号发送至所述云服务器；

所述云服务器，用于构建与所述标识信息对应的数字文化内容，当接收到所述移动终端发送的图像及信号后，将与所述信号中标识信息对应的数字文化内容融合叠加至所述图像上，并发送所述融合叠加后的图像至所述移动终端；

所述移动终端，还用于接收所述云服务器发送的融合叠加后的图像并显示；

所述标识信息还包括所述移动终端当前所在区域的位置信息，无线网络节点将该位置信息发送给无线传感器后，无线传感器将该位置信息发送给移动终端，并转发给云服务器。

2.根据权利要求1所述的***，其特征在于，所述云服务器用于将与所述信号中标识信息对应的数字文化内容融合叠加至所述图像上，包括：

采用三维跟踪注册技术对所述数字文化内容及所述采集图像进行虚实配准处理；

将所述数字文化内容进行实时绘制渲染，并根据所述虚实配准处理后所述数字文化内容在现实场景中的映射关系，将所述数字文化内容与所述物质文化载体图像进行叠加融合，

其中，所述数字文化内容包括数字三维模型，以及数字动画、数字影视、数字声音、数字图片及数字文本的其中一种或多种的组合。

3.根据权利要求2所述的***，其特征在于，所述云服务器还用于：

采用计算机图形图像CG技术制作与所述标识对应的数字三维模型。

4.根据权利要求1-3任一项所述的***，其特征在于，所述物质文化载体包括文化创意产品、博物馆展示品或景点，所述标识信息包括所述移动终端所在区域的位置信息、文化创意产品的标识信息、博物馆内部展品的标识信息或景点标识信息的其中一种或多种的组合。

5.根据权利要求4所述的***，其特征在于，所述云服务器还用于：

当所述物质文化载体是博物馆展品，且所述标识信息是博物馆内部展品信息时，构建标识数据库，根据所述标识数据库，对所述图像进行动态标识切换识别匹配；

获取所述移动终端采集图像中姿态定位坐标，进行所述展品匹配检测；

确定所述移动终端的姿态位置信息，将所述展品对应的数字文化内容与所述展品图像进行虚实融合。

6.根据权利要求1所述的***，其特征在于，所述无线传感器为Zigbee无线收发模块，且所述无线传感器独立或内置于所述移动终端。

7.一种移动增强现实显示的方法，其特征在于，包括：

无线传感器接收一个或多个无线网络节点通过报文形式发送的信号，将接收到的所述信号进行解码提取出标识信息，并将提取所述标识信息的所述信号发送至移动终端，所述信号包括与物质文化载体对应的标识信息，所述标识信息为数字编码，存储于无线网络节点中，在所述无线传感器与所述无线网络节点交互时，所述无线网络节点将所述数字编码封装在信号格式中，将所述封装在所述信号格式中的数字编码作为所述信号，并通过报文形式发送至无线传感器中；

所述移动终端采集所述物质文化载体的图像，并接收所述无线传感器发送的信号，将所述采集的图像及所述信号发送至云服务器；

所述云服务器构建与所述标识信息对应的数字文化内容，当接收到所述移动终端发送的图像及信号后，将与所述信号中标识信息对应的数字文化内容融合叠加至所述图像上，并发送所述融合叠加后的图像至所述移动终端；

所述移动终端接收所述云服务器发送的融合叠加后的图像并显示；

所述标识信息还包括所述移动终端当前所在区域的位置信息，无线网络节点将该位置信息发送给无线传感器后，无线传感器将该位置信息发送给移动终端，并转发给云服务器。

8.根据权利要求7所述的方法，其特征在于，所述云服务器将与所述信号中标识信息对应的数字文化内容融合叠加至所述图像上，包括：

采用三维跟踪注册技术对所述数字文化内容及所述采集图像进行虚实配准处理；

将所述数字文化内容进行实时绘制渲染，并根据所述虚实配准处理后所述数字文化内容在现实场景中的映射关系，将所述数字文化内容与所述物质文化载体图像进行叠加融合，

其中，所述数字文化内容包括数字三维模型，以及数字动画、数字影视、数字声音、数字图片及数字文本的其中一种或多种的组合。

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

所述云服务器采用计算机图形图像CG技术制作与所述标识对应的数字三维模型。

10.根据权利要求7-9任一项所述的方法，其特征在于，所述物质文化载体包括文化创意产品、博物馆展示品或景点，所述标识信息包括所述移动终端所在区域的位置信息、文化创意产品的标识信息、博物馆内部展品的标识信息或景点标识信息的其中一种或多种的组合。

Images