CN106897982A - 基于图像无标记识别的现实增强方法 - Google Patents

Abstract

近几年随着计算机图像处理技术的不断发展以及多媒体技术的进步，现实增强作为一种将虚拟与现实相互叠加的技术，已经有了很大程度上的发展，其通过虚拟的信息去扩展我们获取的有限的现实信息量，从而达到现实增强的效果。本发明针对以往实现的现实增强实现方法上的不足，提出通过滤波处理优化的无标记识别的现实增强应用。通过滤波对于图像进行预处理优化操作，从而优化过去识别算法匹配效果不佳的问题，并且通过在二维图像中建立三维模型，在二维平面上进行模型的渲染从而进行现实增强。通过与以往的匹配算法进行效率与准确性的比较，该方法有十分优异的识别效果，在匹配效率上有着十分明显的优势，而且在各个场景的鲁棒性上也有相当不错的表现。

Description

基于图像无标记识别的现实增强方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于图像无标记识别的现实增强方法。

背景技术

作为新型的人机接口和仿真工具，现实增强[1](Augmented Reality，AR)应用受到的关注日益广泛，并且已经发挥了重要作用，显示出了巨大的潜力。增强现实技术将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息，声音，味道，触觉等)，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。AR是充分发挥创造力的科学技术，为人类的智能扩展提供了强有力的手段，对生产方式和社会生活产生了巨大的深远的影响。

现实增强的应用十分的广泛，其中包括有对视觉上增强的、听觉上增强的、嗅觉上增强的、触觉上增强的和听觉上增强的等等。考虑到视觉是我们平时摄取信息最重要的途径，所以此次是主要实现视觉上的增强现实，通过对于视频流进行处理并叠加相应的虚拟信息以实现现实增强。

结合相应的需求，基于空间特征的算法就成了首选，它对在每一帧寻找匹配的特征属性，通过对比和匹配两个特征，从而进行匹配，得到匹配的结构。在以往对于基于空间特征的算法的应用大部分是对于有标记的目标进行匹配，实现现实增强的，再者有结合SIFT算子[2]与SURF算子[3]进行无标记目标匹配从而实现现实增强的，对于基于有标记的目标匹配与现实增强的应用而言，由于其目标的局限性，导致了应用适用性的降低；而结合SIFT算子的无标记目标的匹配的现实增强的应用，虽然可以进行无标记目标的匹配，但是受到匹配算法效率的影响，很难达到较好的效果，虽然SURF既保持了SIFT的良好性，也兼顾了不错的效率，但是其效率对于视频流的处理还是难以达到较好的效果。针对SURF算法在速度上的不足，此次使用基于优化后的ORB特征算子来实现现实增强应用，在保障了SURF的识别率的前提下，提高了匹配的速率，以对视频流进行处理，达到更好的现实增强的效果。但是经过实验发现一般ORB特征算子[4]在提升了速率的同时也导致了对于一些特定的特征点较少的图像的匹配效果不佳的可能。

发明内容

发明目的：本发明针对当前道路交通网络最短路搜索技术缺乏对网络动态性和交叉口转向延误的考虑，与实际情况有较大差异，本发明提出了一种考虑转向延误的城市路网时变K最短路径搜索算法。

技术方案：本发明所述的基于图像无标记识别的现实增强方法包括以下步骤：

(1)对待识别图像进行高斯滤波预处理；

(2)对预处理后的图像f(i,j)计算二阶偏导数▽f²(i,j)；其中，

▽f²(i,j)＝12f(i,j)-2f(i+1,j)-2f(i-1,j)-2f(i,j+1)-2f(i,j-1)

-f(i-1,j-1)-f(i+1,j+1)-f(i+1,j-1)-f(i+1,j+1)

(3)根据计算的▽f²(i,j)，对相应的像素进行像素增强，增强后的图像为：

式中，e＝ζ×grad(i,j)，ζ表示可调节参数，grad(i,j)表示相应像素的梯度；

(4)对图像g(i,j)提取ORB特征，并将提取的特征点进行转化，组成一维点集P＝{p_k|k＝1,2,...,n}，其中：

p_k＝x_k+y_k(w-1)

式中，p_k表示第k个特征点转化的一维点，(x_k,y_k)表示第k个特征点的坐标，w表示图像grad(i,j)的宽度，n表示提取的特征点的个数；

(5)通过对点集P的比较去除不需要的一维点，得到处理后的点集为：

P'＝{p'_k|k＝1,2,...,n}，

式中，ε表示设置的阈值；

(6)对处理后的点集P'还原得到二维点集其中：

(7)将二维点集A转化为一维点集Q＝{q_k|k＝1,2,...,n}，其中：

式中，h表示图像grad(i,j)的高度；

(8)通过对点集Q的比较去除不需要的一维点，得到处理后的点集为：

Q'＝{q'_k|k＝1,2,...,n}，

(9)对处理后的点集Q'还原得到二维点集其中：

(10)采用OpenMP对二维点集B进行匹配，从而得到匹配的目标区域图像；

(11)采用要进行图像识别的摄像机拍摄不同样的棋盘图像，并通过对棋盘图像角点的检测，以及对于三维坐标的模拟假设，从而求解出摄像机的内参矩阵C；

(12)采用OpenCV中的solvePnP函数计算欧式变换矩阵[R|t]；

(13)根据以下公式依次求解目标图像的三维点坐标：

G＝C*[R|t]*M

式中，G表示目标图像的二维的点坐标向量，M表示目标图像的三维点坐标向量；

(14)基于求解到的目标图像的三维点坐标，采用OpenGL进行三维模型的渲染，完成三维上的现实增强效果。

其中，所述的采用ORB算子对增强后的图像提取特征，具体包括：

通过FAST算子检测不同于其它像素的像素点作为特征点；其中，将寻找特征点的数目阈值设置为大于预期值，再通过Harris角点检测来排序确定出最终的结果，另外，通过构建图像尺度金字塔实现尺度不变性，在旋转不变性上，采用灰度质心法，将角点灰度和质心之间的偏移来作为向量的方向；

根据检测到的特征点，使用优化之后拥有旋转不变性的BRIEF描述子进行特征描述；其中，旋转不变性是通过制定邻域准则，并将邻域中的匹配点进行旋转来实现的。

其中，所述摄像机的内参矩阵式中，f_x、f_y为摄像机焦距的坐标值，(c_x,c_y)为主光轴点。

有益效果：本发明与现有技术相比，其显著优点是：本发明通过加入图像的滤波处理从而最大限度的提高鲁棒性，通过采用边缘增强优化过去识别算法匹配效果不佳的问题，用火采用优化的ORB特征算法保证了目标匹配的效率，通过在二维图像中建立三维模型，在二维平面上进行模型的渲染从而进行现实增强。最后通过与以往的匹配算法进行效率与准确性的比较，该方法有十分优异的识别效果，在匹配效率上有着十分明显的优势，而且在各个场景的鲁棒性上也很好。

附图说明

图1为原始图与边缘增强后的效果对比图，其中，(a)为增强后的，(b)为原始图；

图2为匹配的目标图；

图3为摄像头标定示意图；

图4为AR三维模型构建示意图；

图5是三维模型渲染后的效果图；

图6是采用本发明进行现实增强后的实验效果图；

图7是准确率柱状图

图8是帧率柱状图。

具体实施方式

本实施例提供了一种基于图像无标记识别的现实增强方法，包括以下步骤：

S1、对待识别图像进行高斯滤波预处理。

考虑到图像的噪点一类的外部因素的影响，为了提高算法的自适应性与增强的效果，首先通过高斯滤波[8]进行预处理，然后再进行上述的边缘检测算法，这样既可以避免噪点的干扰，也可以突出关键的边缘信息。

S2、对预处理后的图像f(i,j)计算二阶偏导数▽f²(i,j)；其中，

▽f²(i,j)＝12f(i,j)-2f(i+1,j)-2f(i-1,j)-2f(i,j+1)-2f(i,j-1)

-f(i-1,j-1)-f(i+1,j+1)-f(i+1,j-1)-f(i+1,j+1)

本步骤主要就是对于边缘像素的进行检测提取。此处应用的是拉普拉斯边缘检测算子(Laplacian)[7]，这是一个在图像边缘检测上十分重要的方法之一，处理效果也十分优异。考虑到此处预处理的时效性，这里将邻域***设为4邻域，根据多次的实验结果的分析，这里将不采用传统的Laplacian算子的模板，为了达到期望的匹配优化效果将模板设定为：

从而计算得到▽f²(i,j)，当▽f²(i,j)＞0时，就可以认定此边缘为正边缘；当f²(i,j)＜0时，就可以认定此边缘为负边缘；当f²(i,j)＝0时，就可以认定此边缘为零边缘，这些零边缘像素就可以忽略，后续不进行增强处理。

S3、根据计算的▽f²(i,j)，对相应的像素进行像素增强，增强后的图像为：

式中，e＝ζ×grad(i,j)，ζ表示可调节参数，grad(i,j)表示相应像素的梯度。

经过滤波和边缘像素增强后的效果如图1所示。

S4、对图像g(i,j)提取ORB特征，并将提取的特征点进行转化，组成一维点集P＝{p_k|k＝1,2,...,n}，其中：

p_k＝x_k+y_k(w-1)

式中，p_k表示第k个特征点转化的一维点，(x_k,y_k)表示第k个特征点的坐标，w表示图像grad(i,j)的宽度，n表示提取的特征点的个数。

S5、通过对点集P的比较去除不需要的一维点，得到处理后的点集为：

P'＝{p'_k|k＝1,2,...,n}，

式中，ε表示设置的阈值。

S6、对处理后的点集P'还原得到二维点集其中：

S7、将二维点集A转化为一维点集Q＝{q_k|k＝1,2,...,n}，其中：

式中，h表示图像grad(i,j)的高度。

S8、通过对点集Q的比较去除不需要的一维点，得到处理后的点集为：

Q'＝{q'_k|k＝1,2,...,n}，

S9、对处理后的点集Q'还原得到二维点集其中：

S10、采用OpenMP对二维点集B进行匹配，从而得到匹配的目标区域图像。具体效果如图2所示。

通过检测确定了目标区域图像之后，就可以通过建立模型并对想要渲染的虚拟信息进行渲染，实现现实增强了。对于虚拟的二维的图像的渲染，主要是涉及到二维的仿射变换[12]，比较容易实现。但对于实现三维模型的渲染，就需要进行比较繁琐的工作才能完成。以下为三维渲染步骤。

S11、采用要进行图像识别的摄像机拍摄不同样的棋盘图像，并通过对棋盘图像角点的检测，以及对于三维坐标的模拟假设，从而求解出摄像机的内参矩阵C。

摄像头标定的主要目的就是确定摄像机的内参矩阵，这里通过现在较为普遍的棋盘标定法。大致的原理就是通过拍摄不同样张的棋盘图像，由于棋盘是属于十分规则的图像，同过对于棋盘角点的检测，以及对于三维坐标的模拟假设，从而求解出摄像机的内参矩阵。摄像机的内参矩阵式中，f_x、f_y为摄像机焦距的坐标值，(c_x,c_y)为主光轴点。具体效果如图3所示。

S12、采用OpenCV中的solvePnP函数计算欧式变换矩阵[R|t]。

S13、根据以下公式依次求解目标图像的三维点坐标：

G＝C*[R|t]*M

式中，G表示目标图像的二维的点坐标向量，M表示目标图像的三维点坐标向量。

其中，对于三维空间而言，通过标记的角点的精准位置坐标，便可以来估计相机与标记之间的变换关系。这里可以称之为二维到三维的姿态估计。此过程可以理解成在二维图像与相机之间确定其间的欧式空间变换。转换关系为：

式中，(X,Y,Z)为三维点坐标；(u,v)为二维点坐标。

S14、基于求解到的目标图像的三维点坐标，采用OpenGL进行三维模型的渲染，完成三维上的现实增强效果。

其中，三维模型构建如图4所示，三维渲染后的图如图5所示。

下面对本发明的方法进行实验分析。

通过对于不同场景以及不同目标的实验记录以及实验效果的分析，可以得出以下的表1，图6、柱状图图7、8，结合表1以及两个柱状图中的数据不难发现，传统的SIFT算法有着非常好的准确性，但是由于较大的特征处理的数据量，导致了其速率上的表现十分不理想；而改良后的SURF算法简化了特征的提取，虽然精准度不如SIFT算法，但是其速率上的表现有了很大的提升，但是考虑到是对于视频流的现实增强处理，所以SURF也达不到很好的效果；ORB算法结合了FAST算子以及BRIEF描述子，在保留了极大部分的特征的情况下，大大缩减了特征描述的复杂度，使得其在速率上的表现十分优异，但是也因为极大的缩减了描述复杂度，导致了在对于一些显著性不强的图像，ORB算法的效果就会大打折扣；本次为了算法弥补了ORB算法在对图像显著性上的短板，对图像进行了显著性增强，实验证明在准确度上的提升还是很明显的，但是也因为添加了图像的预处理操作，使得速率上比不上ORB算法本身，但是其效果以及可以满足现实增强上匹配算法的需求，达到十分不错的效果了。

表1算法检测结果

参考文献(References)

[1]Billinghurst M,Clark A,Lee G.A Survey of Augmented Reality[J].,2015,8(2-3):73-272.

[2]Zhang Ch,Gu Y Zh,Hu K L,et al.Face recognition using SIFT featuresunder 3D meshes[J].Journal of Central South University,2015,22(5):1817-1825.

[3]Yu B,Li Z,Bo C,et al.Surf feature extraction in encrypted domain[C]//IEEE International Conference on Multimedia and Expo.IEEE,2014:1-6.

[4]Zhou K,Zheng L.Multi-pose face recognition based on improved ORBfeature[J].Jisuanji Fuzhu Sheji Yu Tuxingxue Xuebao/Journal of Computer-AidedDesign and Computer Graphics,2015,27(2):287-295.

[5]Miao S,Wang Z J,Liao R.A CNN Regression Approach for Real-time 2D/3D Registration.[J].IEEE Transactions on Medical Imaging,2016,35(5):1352-1363.

[6]Han H.Images Matching Based on Marked Edge Feature[J].ImageTechnology,2013.

[7]Hu S,Qi L.The Laplacian of a uniform hypergraph[J].Journal ofCombinatorial Optimization,2015,29(2):331-366.

[8]Wang X,Raun Q,Jin Y,et al.Expression robust three-dimensional facerecognition based on gaussian filter and dual-tree complex wavelet transform[J].Journal of Intelligent&Fuzzy Systems,2014,26(1):193-201.

[9]Edward Rosten,Reid Porter,and TomDrummond,“Faster and better:amachine learning approach to corner detection”in IEEE Trans.Pattern Analysisand Machine Intelligence,2010,vol 32,pp.105-119.

[10]Calonder M,Lepetit V,Strecha C,et al.BRIEF:Binary RobustIndependent Elementary Features[C]//Computer Vision-ECCV 2010,EuropeanConference on Computer Vision,Heraklion,Crete,Greece,September 5-11,2010,Proceedings.2010:778-792.

[11]Hsiao P Y,Lu C L,Fu L C.Multilayered Image Processing forMultiscale Harris Corner Detection in Digital Realization[J].IEEETransactions on Industrial Electronics,2010,57(5):1799-1805.

[12]Yamashita Y,Wakahara T.Affine-transformation and 2D-projectioninvariant k-NN classification of handwritten characters via a new matchingmeasure[J].Pattern Recognition,2016,52(C):459-470.

[13]Bok Y,Ha H,Kweon I S.Automated checkerboard detection andindexing using circular boundaries[J].Pattern Recognition Letters,2016,71(C):66–72.

Claims (3)

1.一种基于图像无标记识别的现实增强方法，其特征在于包括以下步骤：

(1)对待识别图像进行高斯滤波预处理；

(2)对预处理后的图像f(i,j)计算二阶偏导数▽f²(i,j)；其中，

▽f²(i,j)＝12f(i,j)-2f(i+1,j)-2f(i-1,j)-2f(i,j+1)-2f(i,j-1)

-f(i-1,j-1)-f(i+1,j+1)-f(i+1,j-1)-f(i+1,j+1)

(3)根据计算的▽f²(i,j)，对相应的像素进行像素增强，增强后的图像为：

$g(i,j)=\left\{\begin{array}{c}f(i,j)+e,\&dtri;f^2(i,j)>0\\ f(i,j)-e,\&dtri;f^2(i,j)<0\\ f(i,j),\&dtri;f^2(i,j)=0\end{array}\right.,$

式中，e＝ζ×grad(i,j)，ζ表示可调节参数，grad(i,j)表示相应像素的梯度；

(4)对图像g(i,j)提取ORB特征，并将提取的特征点进行转化，组成一维点集P＝{p_k|k＝1,2,...,n}，其中：

p_k＝x_k+y_k(w-1)

式中，p_k表示第k个特征点转化的一维点，(x_k,y_k)表示第k个特征点的坐标，w表示图像grad(i,j)的宽度，n表示提取的特征点的个数；

(5)通过对点集P的比较去除不需要的一维点，得到处理后的点集为：

$P^{\&prime;}=\left\{{p^{\&prime;}}_k\right|k=1,2,...,n\},{p^{\&prime;}}_k=\left\{\begin{array}{c}(p_k+p_{k+1})/2,|p_k-p_{k+1}|<\mathrm{\&epsiv;}\\ p_k,other\end{array}\right.$

式中，ε表示设置的阈值；

(6)对处理后的点集P'还原得到二维点集其中：

(7)将二维点集A转化为一维点集Q＝{q_k|k＝1,2,...,n}，其中：

$q_k=x_k^a(h-1)+y_k^a$

式中，h表示图像grad(i,j)的高度；

(8)通过对点集Q的比较去除不需要的一维点，得到处理后的点集为：

$Q^{\&prime;}=\left\{{q^{\&prime;}}_k\right|k=1,2,...,n\},{q^{\&prime;}}_k=\left\{\begin{array}{c}(q_k+q_{k+1})/2,|q_k-q_{k+1}|<\mathrm{\&epsiv;}\\ q_k,other\end{array}\right.$

(9)对处理后的点集Q'还原得到二维点集其中：

(10)采用OpenMP对二维点集B进行匹配，从而得到匹配的目标区域图像；

(11)采用要进行图像识别的摄像机拍摄不同样的棋盘图像，并通过对棋盘图像角点的检测，以及对于三维坐标的模拟假设，从而求解出摄像机的内参矩阵C；

(12)采用OpenCV中的solvePnP函数计算欧式变换矩阵[R|t]；

(13)根据以下公式依次求解目标图像的三维点坐标：

G＝C*[R|t]*M

式中，G表示目标图像的二维的点坐标向量，M表示目标图像的三维点坐标向量；

(14)基于求解到的目标图像的三维点坐标，采用OpenGL进行三维模型的渲染，完成三维上的现实增强效果。

2.根据权利要求1所述的基于图像无标记识别的现实增强方法，其特征在于：所述的采用ORB算子对增强后的图像提取特征，具体包括：

通过FAST算子检测不同于其它像素的像素点作为特征点；其中，将寻找特征点的数目阈值设置为大于预期值，再通过Harris角点检测来排序确定出最终的结果，另外，通过构建图像尺度金字塔实现尺度不变性，在旋转不变性上，采用灰度质心法，将角点灰度和质心之间的偏移来作为向量的方向；

根据检测到的特征点，使用优化之后拥有旋转不变性的BRIEF描述子进行特征描述；其中，旋转不变性是通过制定邻域准则，并将邻域中的匹配点进行旋转来实现的。

3.根据权利要求1所述的基于图像无标记识别的现实增强方法，其特征在于：所述摄像机的内参矩阵式中，f_x、f_y为摄像机焦距的坐标值，(c_x,c_y)为主光轴点。