CN105069754B - 基于在图像上无标记增强现实的***和方法 - Google Patents

Abstract

本发明公开了一种基于在图像上无标记增强现实的***和方法，它包括图像检索***，即使用手机摄像头扫描场景，在数据库中检索场景中出现的图像，寻找与之一致的图像作为检索结果；和增强现实***，即将与该图像对应的视频介绍渲染到场景中该图像的位置，进行现实增强；其具有在图像上无标记增强现实，且准确率高、适应距离较大、适应较多图像源的优点。

Description

基于在图像上无标记增强现实的***和方法

技术领域

本发明涉及数码应用技术领域，涉及一种图像识别技术，特别是涉及一种基于在图像上无标记增强现实的***和方法。

背景技术

众所周知，图像识别技术是目前应用非常广泛的一种技术，其通过对图像的特征进行识别从而判断图像对应的相关信息。如条码加载技术，每种条码有其特定的字符集；每个字符占有一定的宽度；具有一定的校验功能；同时还具有对不同行的信息自动识别功能、及处理图形旋转变化点。如二维码加载技术，二维码是用某种特定的几何图形按一定规律在平面（二维方向上）分布的黑白相间的图形记录数据符号信息的；在代码编制上巧妙地利用构成计算机内部逻辑基础的“0”、“1”比特流的概念，使用若干个与二进制相对应的几何形体来表示文字数值信息，通过图象输入设备或光电扫描设备自动识读以实现信息自动处理。尽管条码加载技术和二维码加载技术在现实生活中得到了广泛地应用，给人们生产、生活带来了极大的便利，但是存在有痕迹这一先天的缺陷，一是会会破坏画面的美感；二是可以被仿制。

增强现实（Augmented Reality ，简称AR)简单来说是通过电脑技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实提供了在一般情况下，不同于人类可以感知的信息。它不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。增强现实有多种定义，为大家广为接受的定义是将虚拟物体添加到现实世界中，为用户提供更为丰富的体验和信息，通过增强现实技术把计算机生成的图形叠加到真实世界中。AR（Augmented Reality，增强现实）技术是一种全新的人机交互技术，通过智能终端设备和可视化技术将虚拟信息应用到真实世界，使得虚拟信息和真实世界同时叠加到同一个画面或空间呈现给用户。随着智能终端的普及，AR技术的应用愈加广泛，可以通过在智能终端上安装AR应用进行体验。具体的，AR应用的工作流程如下：终端通过摄像头拍摄图像帧；对图像帧进行识别，确定AR目标物体；对图像帧中的AR目标物体进行跟踪，确定AR目标物体的位置；获取与所述AR目标物体相关联的AR虚拟信息，对图像帧进行渲染，将所 述AR虚拟信息叠加在AR目标物体上进行显示，在终端屏幕上同时显示AR目标物体和AR虚拟内容以供用户进行交互。现有AR应用技术存在计算量较大、视频增强效果不稳定、***检测准确率不高的缺限。

发明内容

本发明的目的在于克服现有在图像上无标记增强现实技术中的不足，提供一种基于在图像上无标记增强现实的***和方法。

为了实现上述目的，本发明是通过以下技术方案来实现的：基于在图像上无标记增强现实的***，其特征在于：它包括图像检索***，即使用手机摄像头扫描场景，在数据库中检索场景中出现的图像，寻找与之一致的图像作为检索结果；和增强现实***，即将与该图像对应的视频介绍渲染到场景中该图像的位置，进行现实增强。

所述的图像检索采用不变性描述子ORB来对图像进行特征点检测和描述，具体过程检索流程如下：

步骤1、利用不变性描述子ORB特征点检测器对数据库中的每一张图像和待检索图像进行特征点检测，(ORB是Oriented FAST and Rotated BRIEF的缩写， ORB特征是将FAST特征点的检测方法与BRIEF特征描述子结合起来，并在它们原来的基础上做了改进与优化，FAST是features from accelerated segment test的缩写，BRIEF是Binary RobustIndependent Elementary Features的缩写)并使用不变性ORB描述子来描述每个特征点，得到256bit的二值特征。

步骤2、对数据库中的某张图像，对待检索图像的每一个特征点，通过特征点描述子的比较，在数据库的这个图像中寻找近邻的特征点。

步骤3、对得到的特征点匹配对进行初筛选，去除误匹配的特征点；原则是：⑴、特征点匹配对的欧式距离大于一定阈值的去除（本文中的距离都是欧式距离）；⑵、最近邻和次近邻的特征点匹配对的欧式距离比值小于一定阈值的去除；如果筛选后的匹配对少于一定阈值，则表明数据库中该图像和待检索图像非一致图像。

步骤4、对经过筛选后的匹配点对，运用RANSAC算法进行仿射矩阵的计算和内点的查找即对匹配点对的二次筛选（内点是通过RANSAC算法对匹配点对的二次筛选后得到的匹配点对，库中图像的特征点经过仿射变换后在检索图像上的投影图像就是内点；RANSAC为RANdom SAmple Consensus的缩写，它是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。）

步骤5、统计内点个数，如果二次筛选后的匹配对少于一定阈值，则表明数据库中该图像和待检索图像非一致图像。

步骤6、利用步骤4得到的仿射矩阵，对库中图像的五个参考点，四角和中心点进行仿射变换，得到变换后的五个点；如果变换后的五个点不满足以下关系，则表明数据库中该图像和待检索图像非一致图像。原则是：⑴、变换后，中心点依然在四个角中心。⑵、待检索特征点在变换后四个角点内部的数目要大于一定的阈值。⑶、面积要在一定的允许范围。

步骤7、将对边的差异作为几何校验误差。库中图像都是矩形，经过步骤6的仿射变换，得到库中图像在检索图像上的投影图像，该图像是四边形，四条边依次是：edge1，edge2，edge3，edge4. 其中edge1和edge3是对边，edge2和edge4是对边. Error表示几何校验误差，则：

Error = max(abs(edge1 -edge3) / (edge1 +edge3),abs(edge2 - edge4) /(edge2 + edge4));

Max表示最大值，abs表示绝对值。

步骤8、对数据库中的每一个图像，重复步骤2-7，取具有最小几何校验误差的图像作为最终的检索结果。

由图像检索可以获得估计的仿射矩阵A，为了获得更加稳定的仿射矩阵，需要对其仿射矩阵进行调优；具体调优步骤如下：

步骤1、将仿射矩阵A应用到待检索图像中（即用仿射矩阵A对待检索图像进行仿射变换），获得变换后的图像（仿射矩阵A和待检索图像进行矩阵乘法的结果）。

步骤2、对步骤1中获得的变换图像重新提取特征点和描述子。

步骤3、估计变换图像与库中图像的仿射矩阵B。

步骤4、将矩阵A与矩阵B相乘，得到最终调优后的仿射矩阵C。

步骤5、读入检索结果对应的视频的每一帧，将每一帧图像应用仿射矩阵C，通过OpenGL渲染到场景中该图像的位置，进行现实增强。（OpenGL，全写Open Graphics Library是个定义了一个跨编程语言、跨平台的编程接口规格的专业的图形程序接口。它用于三维图像或二维图像，是一个功能强大，调用方便的底层图形库。）

本发明中，对特征点匹配对通过简单的方法进行初筛选，以去除误匹配的点，大大的减少了后续仿射矩阵估计的计算量，误匹配的特征点匹配对包括：距离大于一定阈值的特征点匹配对，最近邻特征点匹配对的距离和次近邻的特征点匹配对的距离的比值小于一定阈值的特征点匹配对。

通过简单的几何校验策略对估计的仿射矩阵进行校验，取具有最小几何校验误差的图像作为最终的检索结果，获得了非常有效的检索效果。

通过求解变换后的图像的仿射变换，以获得调优后的仿射矩阵。得到了更稳定的视频增强效果。

本发明基于在图像上无标记增强现实的***和方法与现有技术相比，具有如下优点：

1、增强现实技术，将真实世界信息和虚拟世界信息“无缝”集成起来，获得了超越现实的感官体验。增强现实技术是把原本在现实世界的一定时间空间范围内很难体验到的视觉信息,通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。

2、本***巧妙设计了基于局部特征的算法，准确率高达98%以上。

3、获得实时渲染效果。

4、本***可适应距离较大：目标图像离摄像头10cm-100cm（目标图像出现在摄像头的尺寸为64x64像素到略大于摄像头分辨率大小）都可以有效检测。

5、本***可适应360全角度的图像平面旋转。

6、可适应较多图像源，包括打印黑白图、彩色图、显示屏显示图像（手机、平板）等。

附图说明

图1是本发明检索流程图。

具体实施方式

下面下结合附图对本发明的具体实施方式作进一步描述，理解本发明。

参见附图1，一种基于在图像上无标记增强现实的***，它包括图像检索***，即使用手机摄像头扫描场景，在数据库中检索场景中出现的图像，寻找与之一致的图像作为检索结果；和增强现实***，即将与该图像对应的视频介绍渲染到场景中该图像的位置，进行现实增强。

种基于在图像上无标记增强现实的方法，所述的图像检索采用不变性描述子ORB来对图像进行特征点检测和描述，具体过程检索流程如下：

步骤1、利用不变性描述子ORB特征点检测器对数据库中的每一张图像和待检索图像进行特征点检测，并使用不变性ORB描述子来描述每个特征点，得到256bit的二值特征。

步骤2、对数据库中的某张图像，对待检索图像的每一个特征点，通过特征点描述子的比较，在数据库的这个图像中寻找近邻的特征点。

步骤3、对得到的特征点匹配对进行初筛选，去除误匹配的特征点；原则是：⑴、特征点匹配对的欧式距离大于一定阈值的去除；⑵、最近邻和次近邻的特征点匹配对的欧式距离比值小于一定阈值的去除；如果筛选后的匹配对少于一定阈值，则表明数据库中该图像和待检索图像非一致图像。

步骤4、对经过筛选后的匹配点对，运用RANSAC算法进行仿射矩阵的计算和内点的查找即对匹配点对的二次筛选。

步骤5、统计内点个数，如果二次筛选后的匹配对少于一定阈值，则表明数据库中该图像和待检索图像非一致图像。

步骤6、利用步骤4得到的仿射矩阵，对库中图像的五个参考点，四角和中心点进行仿射变换，得到变换后的五个点；如果变换后的五个点不满足以下关系，则表明数据库中该图像和待检索图像非一致图像。原则是：⑴、变换后，中心点依然在四个角中心。⑵、待检索特征点在变换后四个角点内部的数目要大于一定的阈值。⑶、面积要在一定的允许范围。

步骤7、将对边的差异作为几何校验误差。库中图像都是矩形，经过步骤6的仿射变换，得到库中图像在检索图像上的投影图像，该图像是四边形，四条边依次是：edge1，edge2，edge3，edge4. 其中edge1和edge3是对边，edge2和edge4是对边. Error表示几何校验误差，则：

Error = max(abs(edge1 -edge3) / (edge1 +edge3),abs(edge2 - edge4) /(edge2 + edge4));

Max表示最大值，abs表示绝对值。

步骤8、对数据库中的每一个图像，重复步骤2-7，取具有最小几何校验误差的图像作为最终的检索结果。

由上述图像检索可以获得估计的仿射矩阵A，为了获得更加稳定的仿射矩阵，需要对其仿射矩阵进行调优；具体调优步骤如下：

步骤1、将仿射矩阵A应用到待检索图像中，获得变换后的图像。

步骤2、对步骤1中获得的变换图像重新提取特征点和描述子。

步骤3、估计变换图像与库中图像的仿射矩阵B。

步骤4、将矩阵A与矩阵B相乘，得到最终调优后的仿射矩阵C。

步骤5、读入检索结果对应的视频的每一帧，将每一帧图像应用仿射矩阵C，通过OpenGL渲染到场景中该图像的位置，进行现实增强。

实施例只是为了便于理解本发明的技术方案，并不构成对本发明保护范围的限制，凡是未脱离本发明技术方案的内容或依据本发明的技术实质对以上方案所作的任何简单修改、等同变化与修饰，均仍属于本发明保护范围之内。

Claims (2)

1.基于在图像上无标记增强现实的***，其特征在于：它包括图像检索***，即使用手机摄像头扫描场景，在数据库中检索场景中出现的图像，寻找与之一致的图像作为检索结果；和增强现实***，即将与该图像对应的视频介绍渲染到场景中该图像的位置，进行现实增强；其中，所述的图像检索采用不变性描述子ORB来对图像进行特征点检测和描述，具体过程检索流程如下：

步骤1、利用不变性描述子ORB特征点检测器对数据库中的每一张图像和待检索图像进行特征点检测，并使用不变性ORB描述子来描述每个特征点，得到256bit的二值特征；

步骤2、对数据库中的某张图像，对待检索图像的每一个特征点，通过特征点描述子的比较，在数据库的这个图像中寻找近邻的特征点；

步骤3、对得到的特征点匹配对进行初筛选，去除误匹配的特征点；原则是：⑴、特征点匹配对的欧式距离大于一定阈值的去除；⑵、最近邻和次近邻的特征点匹配对的欧式距离比值小于一定阈值的去除；如果筛选后的匹配对少于一定阈值，则表明数据库中该图像和待检索图像非一致图像；

步骤4、对经过筛选后的匹配点对，运用RANSAC算法进行仿射矩阵的计算和内点的查找；

步骤5、统计内点个数，如果二次筛选后的匹配对少于一定阈值，则表明数据库中该图像和待检索图像非一致图像；

步骤6、利用步骤4得到的仿射矩阵，对库中图像的五个参考点，四角和中心点进行仿射变换，得到变换后的五个点；如果变换后的五个点不满足以下关系，则表明数据库中该图像和待检索图像非一致图像；原则是：⑴、变换后，中心点依然在四个角中心；⑵、待检索特征点在变换后四个角点内部的数目要大于一定的阈值；⑶、面积要在一定的允许范围；

步骤7、将对边的差异作为几何校验误差；库中图像都是矩形，经过步骤6的仿射变换，得到库中图像在检索图像上的投影图像，该图像是四边形，四条边依次是：edge1，edge2，edge3，edge4.其中edge1和edge3是对边，edge2和edge4是对边.Error表示几何校验误差，则：

Error＝max(abs(edge1-edge3)/(edge1+edge3),

abs(edge2-edge4)/(edge2+edge4))；

Max表示最大值，abs表示绝对值；

步骤8、对数据库中的每一个图像，重复步骤2-7，取具有最小几何校验误差的图像作为最终的检索结果。

2.根据权利要求1所述的基于在图像上无标记增强现实的***，其特征在于：还包括对由所述的图像检索获得估计的仿射矩阵A进行调优的步骤；具体调优步骤如下：

步骤1、将仿射矩阵A应用到待检索图像中，获得变换后的图像；

步骤2、对步骤1中获得的变换图像重新提取特征点和描述子；

步骤3、估计变换图像与库中图像的仿射矩阵B；

步骤4、将矩阵A与矩阵B相乘，得到最终调优后的仿射矩阵C；以及

步骤5、读入检索结果对应的视频的每一帧，将每一帧图像应用仿射矩阵C，通过OpenGL渲染到场景中该图像的位置，进行现实增强。