CN103049728B - 基于二维码的增强现实方法、***及终端 - Google Patents

Abstract

本发明公开了一种基于二维码的增强现实方法，以二维码作为增强现实***中的识别与定位标识，对真实场景图像中的二维码进行解码与再编码直接生成与之码制一致的二维码正视图，分别对二维码正视图的定位模组区域以及场景图像中的二维码图像的定位模组区域进行对应角点检测及提取，以计算单应性矩阵时，相应的，本发明还公开了基于二维码的增强现实***及移动终端，既打破了传统增强现实应用中，必须在数据库中预先存储对应样本图像才能进行跟踪匹配的局限性，又避免了使用传统标识物的时候向远程服务器的模板查询与匹配步骤，能够减少因网络传输问题造成的***响应延迟，节约用户的网络通信流量。

Description

基于二维码的增强现实方法、***及终端

技术领域

本发明涉及移动增强现实领域，尤其涉及一种基于二维码的增强现实方法、***及移动终端。

背景技术

二维码又称二维条码，是用某种特定的几何图形按一定规律在平面（二维方向上）分布黑白相间的图形来记录数据符号信息，其在代码编制上巧妙利用构成计算机内部逻辑基础的“0”、“1”比特流概念，使用若干个与二进制相对应的几何形体来表示文字数值信息。

近年来，二维码得到了广泛应用，市面上专门用于扫描识别二维码的移动应用层出不穷，但这些应用扫描二维码后，均直接呈现出二维码解析后所得到的文字信息或视频、网页等资源链接网址，使用起来不够炫。

在二维码使用越来越普遍的同时，增强现实技术（AR，AugumentedReality）开始慢慢进入公众视线，其核心是将虚拟信息实时叠加到真实环境呈现的场景中，利用虚拟信息对真实场景进行补充、增强，让虚拟信息在真实世界中同步展示。现有的增强现实技术中，要实现将虚拟信息叠加到真实场景上，必须计算摄像机与真实场景间的相对位置关系，即通过真实场景图像与样本图像进行配准，得到单应性矩阵。因此对于现有的增强现实技术，如果移动终端或增强现实服务器端没有存储某真实场景的样本图像或该样本图像的特征点信息，则无法实现虚拟信息与该真实场景的融合。

发明内容

本发明的目的是提供一种基于二维码的增强现实方法、***及移动终端，在没有样本图像的情况下，通过解码场景图像中二维码及重新编码生成与场景图像中的二维码码制一致的二维码正视图，及对二维码正视图的定位模组区域和摄像模块捕获的场景图像中的二维码图像的定位模组区域进行对应角点检测，计算单应性矩阵，实现在真实场景二维码位置处或二维码的一定偏移位置处，呈现二维码相关的视频、图像、文本、3D模型的多媒体信息。

为了实现上述发明目的，本发明提供了一种基于二维码的增强现实方法，包括:

摄像模块捕获含有二维码的真实场景图像；

扫描场景图像中的二维码，并对二维码进行解码，获得二维码的编码信息，所述编码信息包括：码制及资源信息；

根据二维码的编码信息，用与之相同的码制进行编码，生成与场景图像中的二维码码制一致的二维码正视图；同时解析所述资源信息，以获取二维码对应的虚拟信息；

分别对二维码正视图的定位模组区域以及摄像模块捕获的场景图像中的二维码图像的定位模组区域进行角点检测，并分别按相同顺序对二者上提取的角点进行排序，使得二者上提取的角点一一对应；

根据所述二者上提取的对应角点的坐标值，计算单应性矩阵；

根据单应性矩阵，在真实场景中二维码位置处或二维码的一定偏移位置处，渲染并输出显示所述与二维码对应的虚拟信息。

优选的，当解析所述资源信息得到的是文本内容时，将文本内容作为纹理进行渲染；当解析所述资源信息得到的是资源URI，则访问该URI获取虚拟信息，并根据虚拟信息类型用预设方式进行加载。

优选的，所述虚拟信息类型包括：视频、图像、文本、3D模型中的一种或多种。

优选的，所述真实场景图像中的二维码为常规QR二维码、常规DataMatrix二维码、定制QR二维码、定制DataMatrix二维码中的一种；其中，定制QR二维码或定制DataMatrix二维码中的资源信息包括资源标识符、资源类型、资源加载界面尺寸、渲染位置偏移度中的一种或多种。

其中，对二维码正视图的定位模组区域以及摄像模块捕获的场景图像中的二维码图像的定位模组区域进行角点检测之前，还包括:根据码制确定二维码正视图的定位模组区域以及摄像模块捕获的场景图像中的二维码图像的定位模组区域。

相应的，本发明还提供了一种基于二维码的增强现实***，包括:

摄像模块，用于捕获含有二维码的真实场景图像；

二维码解码模块，用于扫描场景图像中的二维码，并对二维码进行解码，获取二维码的编码信息，所述编码信息包括：码制、版本及资源信息；

二维码编码模块，用于根据所述二维码解码模块解析出来的编码信息，用与之相同的码制进行编码，生成与场景图像中的二维码码制一致的二维码正视图；

资源获取模块，用于解析所述编码信息中的资源信息，以获取二维码对应的虚拟信息；

角点提取模块，用于对二维码正视图的定位模组区域以及摄像模块捕获的场景图像中的二维码图像的定位模组区域进行角点检测，并分别按相同顺序对二者上提取的角点进行排序，使得二者上提取的角点一一对应；

单应性矩阵计算模块，用于根据角点提取模块所述提取的上述二者对应角点的坐标值，计算单应性矩阵；

渲染显示模块，用于根据单应性矩阵，在真实场景中二维码位置处或二维码的一定偏移位置处，渲染并输出显示所述与二维码对应的虚拟信息。

优选的，所述***还包括：定位模块，用于根据二维码解码模块解析出的码制确定二维码正视图的定位模组区域以及摄像模块捕获的场景图像中的二维码图像的定位模组区域。

优选的，所述真实场景图像中的二维码为常规QR二维码、常规DataMatrix二维码、定制QR二维码、定制DataMatrix二维码中的一种；其中，定制QR二维码或定制DataMatrix二维码中的资源信息包括资源标识符、资源类型、资源加载界面尺寸、渲染位置偏移度中的一种或多种。

优选的，当所述资源获取模块解析所述资源信息得到的是文本内容时，将文本内容作为纹理进行渲染；而当解析所述资源信息得到的是资源URI，则访问该URI获取虚拟信息，并根据虚拟信息类型用预设方式进行加载，所述虚拟信息类型包括：视频、图像、文本、3D模型中的一种或多种。

相应的，本发明还提供了一种移动终端，所述移动终端包括上述的基于二维码的增强现实***。

与现有技术相比，本发明具有如下有益效果：

1、本发明直接将场景图像中的二维码解码与再编码，重新生成与场景图像中二维码一致的二维码正视图，由于同一码制生成的二维码定位模组区域相同，因此分别对二维码正视图的定位模组区域以及摄像模块捕获的场景图像中的二维码图像的定位模组区域进行角点检测，即可计算单应性矩阵，不需要数据库中存储二维码样本图像，对任意二维码均适用，打破了传统增强现实应用中，必须在数据库中预先存储对应样本图像才能进行跟踪匹配的局限性。

2、本发明在计算单应性矩阵时，仅通过对定位模组区域进行角点检测，容错能力强，例如二维码再编码发生数据编码错误时，不影响单应性矩阵的计算，另外对二维码中间有小图标的情形也能适用。

3、本发明由于不需要样本图像，因此避免了从远程服务器的查询与匹配步骤，能够减少因网络传输问题造成的***响应延迟，节约用户的网络通信流量。

4、本发明深度挖掘二维码作为信息入口的应用潜力，使二维码的相关信息、资源以更加生动的形式呈现给用户。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图：

图1为本发明实施例基于二维码的增强现实方法流程示意图;

图2为根据图1方法进行虚拟信息叠加的过程及效果示意图；

图3为QR二维码与DataMatrix二维码定位模组位置示意图；

图4为QR二维码与DataMatrix二维码根据定位模组确定正方向示意图；

图5为中间具有小图标的QR二维码示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本领域技术人员应知：在增强现实过程中，将虚拟信息准确的叠加在目标物体之上，需要对摄像机的姿态进行计算，来确定从目标物体的坐标系到图像坐标系的单应性矩阵。

本申请的发明人发现，现有增强现实一般都是通过真实场景图像与样本图像进行配准，得到单应性矩阵。这种方式要求对能够进行增强现实的图像，必须在移动终端或服务器端存储其用于配准的样本图像，如果移动终端或增强现实服务器端没有存储某真实场景的样本图像或该样本图像的特征点信息，则无法实现虚拟信息与该真实场景的融合，增强现实技术的推广被样本图像所限制。另外样本图像存储于移动终端会占用终端存储空间，且不能满足海量标识物的存储；而若将样本图像存储于远程服务器，样本图像的检索与下载会延迟***响应且浪费用户的网络通信流量。

本申请的发明人发现，二维码具有易用性和普及性，且二维码作为信息入口，可以由任何信息生成，其可以携带任意一段文本或任意资源的URI，最重要的一点是：二维码解码后能再根据相同的码制重新编码生成与之前二维码码制一致的二维码正视图。可以用解码再编码后生成的二维码正视图作为样本图像与场景中的二维码进行特征点跟踪匹配，计算单应性矩阵。

然而在现实生活中，我们会发现如图5所示的二维码，其中间有一个小图标遮挡了二维码的中心区域，虽然二维码具有纠错能力，能够在具有小图标遮挡一定区域的情况下正确解码，然后再编码生成与原二维码包含数据一致的二维码正视图，但该正视图中不会存在原二维码中的遮挡小图标，如果此时用生成的二维码正视图与场景中的二维码进行全图特征点跟踪匹配，计算单应性矩阵，可能会产生误差，使得虚拟信息不能完全准确的叠加到场景图像中的二维码上。

因此，本发明技术方案不对生成的二维码正视图与场景中的二维码进行特征点跟踪匹配，而选取了在二维码正视图的定位模组区域以及摄像模块捕获的场景图像中的二维码图像的定位模组区域进行角点检测来计算单应性矩阵。所述二维码的定位模组，也称为寻象图形，例如QR二维码中，寻象图形包括三个相同的位置探测图形，分别位于符号的左上角、右上角和左下角，如图3QR二维码所示，每个位置探测图形可以看作是由3个重叠的同心的正方形组成，它们分别为7×7个深色模块、5×5个浅模块和3×3个深色模块。

下面结合附图详细介绍本发明介绍方案。

参见图1、图2，为本发明实施例基于二维码的增强现实方法流程示意图，包括如下S101~S106步骤：

S101：摄像模块捕获含有二维码的真实场景图像，所述二维码可以为常规二维码，也可以为定制二维码，常规二维码指资源信息中包含一个文本字段或URI链接的网络二维码，定制二维码指其资源信息包括资源标识符、资源类型、资源加载界面尺寸、渲染位置偏移度等其他一些设置信息中的一种或多种；

S102：扫描场景图像中的二维码，并对二维码进行解码，获得二维码的编码信息，所述编码信息包括：码制及资源信息，所述资源信息指扫描二维码得到的相关信息；

S103：根据二维码的编码信息，用与之相同的码制和版本进行编码，生成与场景图像中的二维码码制一致的二维码正视图；同时解析所述资源信息，以获取二维码对应的虚拟信息,二维码对应的资源信息可能为文本信息,也可能为资源URI,当为资源URI时,访问UIR地址,获取URI对应的虚拟信息内容；

S104：分别对二维码正视图的定位模组区域以及摄像模块捕获的场景图像中的二维码图像的定位模组区域进行角点检测，并分别按相同顺序对二者上提取的角点进行排序，使得二者上提取的角点一一对应，至少提取4组对应角点在计算单应性矩阵时，取点越多，计算结果越精确；

其中，二维码的定位模组区域的确定是根据码制确定的，定位模组对于同种码制不同版本不同数据的二维码均是相同的，将二维码图像的定位模组作为感兴趣区域ROI，进行FAST、Harris、Shi-Thomas等角点检测。由于二维码的定位模组在二维码图像中位置固定，可以利用二维码的定位模组来计算二维码图像的主方向，对ROI区域检测到的角点族进行排序，以从主方向起按照顺时针或逆时针顺序排列所有角点。保证在计算单应性矩阵时，二维码图像与其正视图各角点一一对应。参见图3、图4分别为QR二维码、DataMatrix二维码的模组区域示意图，图4显示了如何通过模组区域判断二维码图像的主方向，对ROI区域检测到的角点逐点进行排序，以从主方向起按照顺时针或逆时针顺序排列所有角点，以保证在计算单应性矩阵时，二维码图像与其正视图各角点一一对应。

S105：根据所述二者上提取的对应角点的坐标值，计算单应性矩阵；

真实场景中的二维码为平面物体，其确定了一个世界坐标系，经过解码再编码生成的二维码正视图属于图像坐标系，以分别在二维码正视图的定位模组区域以及摄像模块捕获的场景图像中的二维码图像的定位模组区域分别提取4个角点为例，可以将这四个角点在世界坐标系上的坐标与图像坐标系上的坐标建立起如下对应关系：

$\left[\begin{array}{c}{u}_i\\ v_i\\ 1\end{array}\right]=H\left[\begin{array}{c}{x}_{\mathrm{mi}}\\ y_{\mathrm{mi}}\\ z_{\mathrm{mi}}\\ 1\end{array}\right],i=\mathrm{1,2,3,4}$

其中，(u,v)表示角点的图像坐标，(x_m,y_m,z_m)表示角点在世界坐标系上的坐标，均为已知参数，H表示待计算的单应性矩阵。

S106：根据单应性矩阵，在真实场景中二维码位置处或二维码的一定偏移位置处，渲染并输出显示所述与二维码对应的虚拟信息。

本步骤中，若二维码为常规二维码，直接将虚拟信息叠加到二维码位置处；而若二维码为定制二维码，其资源信息中设定了资源加载界面尺寸、渲染位置偏移度等，则根据设定的尺寸及偏移度将虚拟信息叠显示在距目标位置设定偏移位置处。

本步骤中，当解析所述资源信息得到的是文本内容时，将文本内容作为纹理进行渲染；当解析所述资源信息得到的是资源URI，则访问该URI获取虚拟信息，并根据虚拟信息类型用预设方式进行加载,所述虚拟信息类型包括：视频、图像、文本、3D模型中的一种或多种，例如:虚拟信息为文本信息时，将文本内容直接作为纹理进行渲染；当虚拟信息为3D模型时，需要先对3D模型进行解析；当虚拟信息为视频信息时，需要先对视频进行解码，将视频各帧图像作为纹理，按序列逐帧映射到所述3D模型上，进行视频加载渲染。

本发明实施例方法，由于定位模组对于同种码制不同版本不同数据的二维码均是相同的，因此本发明实施例只对定位模组区域进行角点检测，容错能力强，例如二维码再编码发生数据编码错误时，不影响单应性矩阵的计算，另外对二维码中间有小图标的情形也能适用，例如图5这种中间有小图标的二维码。

本发明还提出了一种基于二维码的增强现实***，包括:摄像模块、二维码解码模块、二维码编码模块、资源获取模块、角点提取模块、单应性矩阵计算模块及渲染显示模块，其中：

所述摄像模块，用于捕获含有二维码的真实场景图像；

所述二维码解码模块，用于扫描场景图像中的二维码，并对二维码进行解码，获取二维码的编码信息，所述编码信息包括：码制、版本及资源信息；

所述二维码编码模块，用于根据所述二维码解码模块解析出来的编码信息，用与之相同的码制和版本进行编码，生成与场景图像中的二维码码制一致的二维码正视图；

所述资源获取模块，用于解析所述编码信息中的资源信息，以获取二维码对应的虚拟信息；

所述角点提取模块，用于对二维码正视图的定位模组区域以及摄像模块捕获的场景图像中的二维码图像的定位模组区域进行角点检测，并分别按相同顺序对二者上提取的角点进行排序，使得二者上提取的角点一一对应；

所述单应性矩阵计算模块，用于根据角点提取模块所述提取的上述二者对应角点的坐标值，计算单应性矩阵；

所述渲染显示模块，用于根据单应性矩阵，在真实场景中二维码位置处或二维码的一定偏移位置处，渲染并输出显示所述与二维码对应的虚拟信息，当所述资源获取模块解析所述资源信息得到的是文本内容时，将文本内容作为纹理进行渲染；而当解析所述资源信息得到的是资源URI，则访问该URI获取虚拟信息，并根据虚拟信息类型用预设方式进行加载，所述虚拟信息类型包括：视频、图像、文本、3D模型中的一种或多种。

其中，所述***还包括定位模块，用于根据二维码解码模块解析出的码制确定二维码正视图的定位模组区域以及摄像模块捕获的场景图像中的二维码图像的定位模组区域，以便所述角点提取模块进行准确的角点提取。

由于本实施例基于二维码的增强现实***，是与前面施例基于二维码的增强现实方法对应的***，因此不对其做过于详细的赘述，具体细节特征参见前面描述。

本发明实施例中的方法及***，对QR二维码、DataMatrix二维码进行增强现实效果较好，另外二维码可以为常规QR二维码、常规DataMatrix二维码，也可以为定制QR二维码、定制DataMatrix二维码。

所谓常规QR二维码、常规DataMatrix二维码是指二维码来源于互联网，其内包含的资源信息一般为一个字符串，例如为一段文本或者二维码相关资源的URI。

所谓定制QR二维码或定制DataMatrix是指，按照某种统一格式形成的资源标识，即二维码中的资源信息包括资源标识符、资源类型、资源加载界面尺寸、渲染位置偏移度等其他一些设置信息中的一种或多种。例如，ID:xxx_URI:xxx_TYPE:xxx_WIDTH:xxx_HEIGHT:xxx_OFFSET:xxx，通过ID和URI确定资源地址（该地址可能在远程服务器，也可能在客户端本地），通过资源类型可以预先设置相关资源的加载方式（图片、文本、音频、视频和3D模型的加载方式各不相同），其他设置信息包括了资源加载界面的尺寸以及渲染位置相对于二维码的偏移等等。

本发明还提出了一种移动终端，所述移动终端包括上述的基于二维码的增强现实***。

本发明以二维码作为增强现实***中的识别与定位标识，通过二维码的解码与再编码直接生成二维码正视图，从二者的定位模组区域提取对应角点，用于单应性矩阵的计算，既打破了传统增强现实应用中，必须在数据库中预先存储对应样本图像才能进行跟踪匹配的局限性，又避免了使用传统标识物的时候向远程服务器的模板查询与匹配步骤，能够减少因网络传输问题造成的***响应延迟，节约用户的网络通信流量。

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书（包括任何附加权利要求、摘要和附图）中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (10)

1.一种基于二维码的增强现实方法，其特征在于,包括:

摄像模块捕获含有二维码的真实场景图像；

扫描场景图像中的二维码，并对二维码进行解码，获得二维码的编码信息，所述编码信息包括：码制及资源信息；

根据二维码的编码信息，用与之相同的码制进行编码，生成与场景图像中的二维码码制一致的二维码正视图；同时解析所述资源信息，以获取二维码对应的虚拟信息；

分别对二维码正视图的定位模组区域以及摄像模块捕获的场景图像中的二维码图像的定位模组区域进行角点检测，并分别按相同顺序对二者上提取的角点进行排序，使得二者上提取的角点一一对应；

根据所述二者上提取的对应角点的坐标值，计算单应性矩阵；

根据单应性矩阵，在真实场景图像中二维码位置处或二维码的一定偏移位置处，渲染并输出显示与二维码对应的虚拟信息。

2.如权利要求1所述的方法，其特征在于：

当解析所述资源信息得到的是文本内容时，将文本内容作为纹理进行渲染；

当解析所述资源信息得到的是资源URI，则访问该URI获取虚拟信息，并根据虚拟信息类型用预设方式进行加载。

3.如权利要求2所述的方法，其特征在于：所述虚拟信息类型包括：视频、图像、文本、3D模型中的一种或多种。

4.如权利要求1至3中任一项所述的方法，其特征在于：

所述真实场景图像中的二维码为常规QR二维码、常规DataMatrix二维码、定制QR二维码、定制DataMatrix二维码中的一种；

定制QR二维码或定制DataMatrix二维码中的资源信息包括资源标识符、资源类型、资源加载界面尺寸、渲染位置偏移度中的一种或多种。

5.如权利要求1至3中任一项所述的方法，其特征在于，所述对二维码正视图的定位模组区域以及摄像模块捕获的场景图像中的二维码图像的定位模组区域进行角点检测之前，还包括:

根据码制确定二维码正视图的定位模组区域以及摄像模块捕获的场景图像中的二维码图像的定位模组区域。

6.一种基于二维码的增强现实***，其特征在于,包括:

摄像模块，用于捕获含有二维码的真实场景图像；

二维码解码模块，用于扫描场景图像中的二维码，并对二维码进行解码，获取二维码的编码信息，所述编码信息包括：码制、版本及资源信息；

二维码编码模块，用于根据所述二维码解码模块解析出来的编码信息，用与之相同的码制进行编码，生成与场景图像中的二维码码制一致的二维码正视图；

资源获取模块，用于解析所述编码信息中的资源信息，以获取二维码对应的虚拟信息；

角点提取模块，用于对二维码正视图的定位模组区域以及摄像模块捕获的场景图像中的二维码图像的定位模组区域进行角点检测，并分别按相同顺序对二者上提取的角点进行排序，使得二者上提取的角点一一对应；

单应性矩阵计算模块，用于根据角点提取模块所述提取的上述二者对应角点的坐标值，计算单应性矩阵；

渲染显示模块，用于根据单应性矩阵，在真实场景图像中二维码位置处或二维码的一定偏移位置处，渲染并输出显示与二维码对应的虚拟信息。

7.如权利要求6所述的***，其特征在于，所述***还包括：

定位模块，用于根据二维码解码模块解析出的码制确定二维码正视图的定位模组区域以及摄像模块捕获的场景图像中的二维码图像的定位模组区域。

8.如权利要求6或7所述的***，其特征在于:

所述真实场景图像中的二维码为常规QR二维码、常规DataMatrix二维码、定制QR二维码、定制DataMatrix二维码中的一种；

定制QR二维码或定制DataMatrix二维码中的资源信息包括资源标识符、资源类型、资源加载界面尺寸、渲染位置偏移度中的一种或多种。

9.如权利要求6或7所述的***，其特征在于，

当所述资源获取模块解析所述资源信息得到的是文本内容时，将文本内容作为纹理进行渲染；而当解析所述资源信息得到的是资源URI，则访问该URI获取虚拟信息，并根据虚拟信息类型用预设方式进行加载，所述虚拟信息类型包括：视频、图像、文本、3D模型中的一种或多种。

10.一种移动终端，其特征在于，所述移动终端包括权利要求6至9中任一项所述的基于二维码的增强现实***。