CN102375972A - 一种分布式的基于可移动设备的增强现实平台 - Google Patents

Abstract

本发明公开了一种分布式的基于可移动设备的增强现实平台。该平台包括一个增强现实的图像处理应用程序，该程序被放置在移动装置上，它用来接收现场的实时图像，并进行处理和转换成图像的坐标位置；在移动设备上，还包括有一个客户端应用程序用来传输包括坐标位置在内的数据包。在另一端的服务器上包括一个服务应用程序，它被用来接受来自客户端应用程序传送过来的数据报，并且从中识别出特殊符号标识。识别的结果将是一个对应特殊符号标识的身份信息。除此之外，该服务程序还需要一些测量有用的信息，例如特殊符号标识的位置，方向和大小。最后这个服务程序还需要这些信息，以及这些信息对应的显示内容回传给可移动设备。

Description

一种分布式的基于可移动设备的增强现实平台

技术领域：

本发明涉及一种在个增强现实应用个环境中的特殊符号标识的识别方法，特别涉及一种分布式的基于可移动设备的增强现实平台。

背景技术：

增强现实(AR)是近年来国际上在虚拟现实(VR)技术的基础上发展起来的新兴的研究领域，增强现实既是综合光电成像、融合显示、多传感器、计算机图形、图像处理、计算机视觉等多门学科，是一种用计算机产生的附加信息对真实世界的景象进行增强或扩张的技术。增强现实技术是计算机视觉、计算机图形学等技术中近年来的一个研究热点，它通过可以在真实场景中添加虚拟3D图形，带给用户奇幻的用户体验。增强虚拟现实技术可以应用到具有摄像头设备的计算机上，甚至是用户手持设备，如PDA和手机。

一般而言，在增强现实技术实现中，往往需要一个符号标识，由增强现实技术对于该符号标识进行识别，并且作为显示三维虚拟现实的基础。当符号标识被识别后，用户在现实屏幕上所看到的将不是现实环境中的符号标识，而是已经事先被设计好的三维虚拟现实。当用户与特殊符号标识进行互动，如移动符号标识的位置和方向的时候，三维虚拟现实也同样变换位置和方向。

但是，目前由于可移动设备上往往计算能力不足，所以无法识别任何符号标识的，更加不能对于识别结果做出任何反应，也就是说，实际上在可移动设备上无法实现任何的三维虚拟现实场景。

发明内容：

为了克服前述法的可移动设备的问题，本发明专利所设计的方案提供一种增强现实解决方案和特殊符号标识的识别方法，特别地，本发明专利所涉及的方案可以应用于硬件条件比较有限的移动设备，如手机。

一方面，本发明专利所涉及的方案包括生成特殊符号标识识别模式的算法。通过这种方法所生成的识别模式包括以下信息：

(1)符号标识的识别特征；

(2)符号标识的位置和方向信息；

(3)符号标识的图像信息；

另一个方面，在本发明中提供一个软件平台，在该软件平台上应用了特殊符号标识的特征识别算法，并且应用了客户机-服务器的拓扑结构。这种结构使得特殊符号标识的捕捉放在计算能力有限的客户端(手机上)，而图像的识别和返回三维虚拟现实的工作在服务器上。这个软件平台通过在可移动通讯设备和它的服务器之间建立通过网络互联技术进行连接，特别是建立经由3g网络的无线连接使得整个软件平台的运行能力得到极大得扩展。

更加特别的是，在本发明中涉及一个建立在客户机-服务器模式下的基于模式识别技术的实时的增强现实实现平台，并且本发明创造性地将该项技术应用于无线网络和可移动通讯设备(如手机)上。当可移动设备确认或者识别到一个符号标识后，将向主服务器发送一个信号。而当主服务器接到信号后，能够根据信号的不同确定合适的增强现实内容，并将内容发回给可移动通讯设备并显示。

具体来说这种分布式的基于可移动设备的增强现实平台，包括：

一个处于可移动设备上的图像处理和识别应用程序，作用在于捕捉、处理和标识识别；

一个处于可移动设备上的客户端程序，作为客户端的中枢程序，并与服务器应用程序进行通讯；

一个处于服务器上的服务器应用程序，接受和传送数据包，定位虚拟现实；

一个处于服务器上的虚拟现实库；

上述方案中，所述图像处理和识别程序包括关键点的探测算法、分类识别算法、图像分割和定位算法。

上述方案中，所述增强现实平台中处于可移动设备上的客户端程序，能够接收识别结果，并能够通过互联网络与服务器端连接，并进行数据传送。

上述方案中，所述服务器应用程序，能够接受来自可移动设备的连接，并接收和处理数据，并且根据识别结果在虚拟现实库中定位相应的内容。

上述方案中，所述特殊标识的分类识别算法采用支撑向量机技术。

上述方案中，所述图像分割和定位算法能够判断特殊标识的大小，位置和方向，并有客户端程序将这些信息传送至服务器程序。

本发明所具备的有益效果包括：大部分的用于模式识别算法的计算能力是由主服务器所提供的，这正适合了可移动设备的配置相对较低的特点。

附图说明：

以下结合附图和具体实施方式来进一步说明本发明。

图1为本发明所述平台的主要元件和功能模块关系图。

图2为本发明所涉及的特殊符号标识识别方法图。

具体实施方式：

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。

在图1中描述了本发明中所涉及的手机增强现实实现平台10中的主要原件和功能模块。在平台10中的主要元件和功能模块中包括一个图像识别应用程序13，位于用户的可移动设备14上。该可以动设备上还包括一个客户端应用程序16。同时，一个服务器端应用程序18位于并运行于远程服务器20上，并且在该服务器20上还包括一个虚拟现实库22，在虚拟现实库中的内容是要在客户的可移动设备14上显示的内容。增强现实实现平台10中的各个主要原件和功能模块之间通过交互网络，如3G移动通讯网络，相互连接。

图像识别应用程序13驱动在可移动设备上的成像原件24，通常这种设备是照相设备。除了成像元件之外，在可移动设备上还需要类似于计算机内存的存储元件，用于存放图像以备由图像识别应用程序13进行分析和识别。图像应用程序13在分析图像(特殊符号标识或者含有符号标识的图像)之后，将坐标信息发送给客户端应用程序16。得到的图像不一定要存储在可以动设备14上，而只需要实施地将该图像显示于可以动设备14的现实元件上26。

客户端应用程序16可以被认为是可移动设备14上的增强现实软件平台的核心枢纽。客户端应用程序16接受来自于图片识别应用程序13的坐标信息，并且把这些信息传送到服务器应用程序18.在服务器应用程序18，根据接收到的信息，在虚拟现实库22中定位到相应的虚拟现实内容后，将该内容传回到可移动设备14.客户端应用程序对这些内容还要进行处理形成要现实的虚拟现实内容，并将该内容现实到可移动设备的显示元件上。

服务器应用程序18可能位于一系列服务器上，而这些服务器通过3G无线通讯网络相互连接。客户端应用程序16连接服务器应用程序18，并且传来一个查询信息，包括符号标识的位置信息和ID信息等。服务器程序18解析这些信息，并且据此查询虚拟现实库22。然后对内容进行加密并且将它回传给客户端应用程序16.

另外，服务器应用程序18可以被设计为需要登录模式。通过这种登录模式，服务器能够收集和跟踪客户的爱好等信息，或者生成客户的行为报表和维护所有的在线客户端应用程序。也就是说，服务器端应用程序要保持能够同时与多个客户端应用程序16进行会话。

三维虚拟现实库22可以与服务器应用程序18处于不同的服务器上。在本实例中，服务器20端包括服务器应用程序18和三维虚拟现实库22，但是实际应用中不限于此。与所有内容处于主服务器上不同，本发明所涉及内容包括处于不同服务器或者多个服务器上的服务器应用程序18和三维虚拟现实库22。

三维虚拟现实库22存储所有的增强现实内容或者连接。虚拟现实库22可以接收来自不同服务器应用程序18的查询请求，并且根据查询请求中的位置信息和标识信息返回相应的内容。当虚拟现实库接收到一个查询请求，它首先检查该请求是否为一个可用请求，并验证该服务器应用程序请求是否有权得到响应信息，然后检索及其相应的内容，并提供该内容给服务器应用程序。

如果要使这个增强现实平台可用，用户的可移动设备14就必须预先安装有定制的客户端应用程序16。客户端应用程序可以通过软件形式交付给用户，或者用户以短信的形式下载该应用程序，或者用户以类似的传输协议从服务器下载。

在图2中介绍了特殊符号标识的识别算法。在图中，包含有特殊符号标识的标准图像是通过用户的可移动设备上的成像设备所捕捉的1。依赖于不同的平台架构，捕捉到的图像可以被存储于用户的可移动设备或者被传输到服务器进行处理和检测图像中的关键点2。

对于图像中检测到的图像点集合进行图像特征的抽取3。这些抽取出来的特征是归一化后的，以该特征点为中心的像素块。对于每一个输入的图像，一些列的抽取特征通过这种方法被抽取出来，以描述该图像。这些抽取特征在之后的处理过程中将作为分类器算法5的输入向量。

对于所有的特殊符号标识图像进行前述的处理过程，以根据前述特征抽取方法3进行特征抽取。这些特征作为分类器算法5的训练过程的训练数据10。在本文中，分类器算法采用了了SVM(支撑向量机)算法，具体而言采用了金字塔匹配内核算法，但是在实际应用中不限于此。

通过分类器算法5，每一个输入的特定符号标识图像将对应一个特定的输出结果，这些输出作为唯一标识存储起来作为识别的标准。

识别的特殊符号标识的特征被逆向映射为输入图像，通过这种方法能够有效和快速的将待识别的符号标识从背景图像中有效分离出来。这种方法作为本发明的图像目标分割算法7。在有效识别图像符号标识的基础上，对于识别的符号标识进行维度测量，以得到识别的符号标识的尺寸8。识别符号标识的位置信息是指在维度测量的基础上，得到的所有像素的中心11。

把目标符号标识的特征的分类器输出与一系列已经训练好的识别符号标识的分类器输出进行比较，以决定该符号标识是否为我们需要识别的符号标识12。

如上所述，本发明的一个实例可以被描述为一个基于特定设备的特定的应用。但是本发明所涉及的范围不限于此，对于本实例所描述的方法的一般性修改都属于本专利的适用范围。

Claims (6)

1.一种分布式的基于可移动设备的增强现实平台，其特征在于，包括：

一个处于可移动设备上的图像处理和识别应用程序，作用在于捕捉、处理和标识识别；

一个处于可移动设备上的客户端程序，作为客户端的中枢程序，并与服务器应用程序进行通讯；

一个处于服务器上的服务器应用程序，接受和传送数据包，定位虚拟现实；

一个处于服务器上的虚拟现实库。

2.根据权利要求1的增强现实平台，其特征在于，所述图像处理和识别程序包括关键点的探测算法、分类识别算法、图像分割和定位算法。

3.根据权利要求1的增强现实平台，其特征在于，所述增强现实平台中处于可移动设备上的客户端程序，能够接收识别结果，并能够通过互联网络与服务器端连接，并进行数据传送。

4.根据权利要求1的增强现实平台，其特征在于，所述服务器应用程序，能够接受来自可移动设备的连接，并接收和处理数据，并且根据识别结果在虚拟现实库中定位相应的内容。

5.根据权利要求2的增强现实平台，其特征在于，所述特殊标识的分类识别算法采用支撑向量机技术。

6.根据权利要求2的增强现实平台，其特征在于，所述图像分割和定位算法能够判断特殊标识的大小，位置和方向，并有客户端程序将这些信息传送至服务器程序。

Images