CN110120101B

CN110120101B - 基于三维视觉的圆柱体增强现实方法、***、装置

Info

Publication number: CN110120101B
Application number: CN201910360629.XA
Authority: CN
Inventors: 唐付林; 吴毅红
Original assignee: Institute of Automation of Chinese Academy of Science
Current assignee: Institute of Automation of Chinese Academy of Science
Priority date: 2019-04-30
Filing date: 2019-04-30
Publication date: 2021-04-02
Anticipated expiration: 2039-04-30
Also published as: CN110120101A

Abstract

本发明属于计算机视觉领域，具体涉及了一种基于三维视觉的圆柱体增强现实方法、***、装置，旨在解决现有技术很难对圆柱体进行增强现实的问题。本发明方法包括：对获取的圆柱体多视角的视频图像集中每一个图像，采用霍夫变换方法拟合圆柱体在图像中的轮廓线，并建世界坐标系；基于射影不变性和成像原理，计算每张图像对应的相机姿态；重建圆柱体三维模型；基于重建的三维模型获取视频图像并进行帧间相机姿态跟踪计算，获得每一帧图像对应的相机姿态；通过获得的相机姿态将虚拟图像叠加到圆柱体视频图像上，实现圆柱体增强现实。本发明方法离线重建和在线跟踪精度高、速度快，并且叠加的虚拟物体稳定，实现了圆柱体增强现实的目的。

Description

基于三维视觉的圆柱体增强现实方法、***、装置

技术领域

本发明属于计算机视觉领域，具体涉及了一种基于三维视觉的圆柱体增强现实方法、***、装置。

背景技术

近年来，增强现实改变了传统的视频信息交互应用的理念，在医疗，军事，教育，娱乐等领域有着巨大的应用前景。无论是在学术界还是在工业界，增强现实都受到了广泛的关注。起初，有许多平面方形的标记物被用于增强现实，例如ARToolKit,，ARTag，AprilTag等。ARToolKit是最早的最受欢迎的，ARTag和AprilTa都是基于ARToolKit的思想进行改进的。后来，平面圆形的标记物逐渐流行起来，比如Mono-spectrum,，CCTag，RUNETag等。无论是平面方形的标记物还是平面圆形的标记物，都是根据计算相机姿态把虚拟物体投影到真实物体上实现增强现实的。针对这些平面标记物，它们都一个共同的缺点，必须打印这些平面标记物然后将打印的平面标记物放在场景中才能够实现增强现实，操作不是很方便。进一步，出现了不需要标记的增强现实技术，但都是局限在对平面的增强上，对于圆柱体曲面的增强现实困难很多，相关技术在国内外鲜少。

发明内容

为了解决现有技术中的上述问题，即现有技术很难对圆柱体进行增强现实的问题，本发明提供了一种基于三维视觉的圆柱体增强现实方法，包括：

步骤S10，获取圆柱体多视角视频图像集，作为输入图像集；

步骤S20，对所述输入图像集中每一个图像，采用霍夫变换方法拟合圆柱体在图像中的轮廓线，并建立该图像中圆柱体的世界坐标系；

步骤S30，基于所述输入图像集中每一个图像拟合得到的圆柱体的轮廓线、对应的世界坐标系，基于射影不变性和成像原理，计算每张图像对应的相机姿态；

步骤S40，提取所述输入图像集中每一个图像的特征点，并基于所述图像对应的相机姿态，重建特征点对应的空间点，获得重建的圆柱体三维模型；

步骤S50，基于所述重建的圆柱体三维模型，获取对应的圆柱体视频图像并进行初始化，获得初始相机姿态和三维-二维对应关系；

步骤S60，基于所述初始相机姿态和三维-二维对应关系，进行帧间相机姿态跟踪计算，获得每一帧图像对应的相机姿态；

步骤S70，采用所述每一帧图像对应的相机姿态，将输入的虚拟图像叠加到所述圆柱体视频图像上，以实现圆柱体增强现实。

在一些优选的实施例中，步骤S20中“对所述输入图像集中每一个图像，采用霍夫变换方法拟合圆柱体在图像中的轮廓线，并建立该图像中圆柱体的世界坐标系”，其方法为：

步骤S201，对所述输入图像集中每一个图像，采用霍夫变换方法拟合圆柱体的两条边缘直线l₁和l₂，同时拟合圆柱体的两条二次曲线c₁和c₂；

步骤S202，以所述曲线c₂的中心点o₂对应的空间点作为世界坐标系的原点，所述曲线c₂的中心点o₂到曲线c₂上的一个点的直线作为世界坐标系的X轴，所述曲线c₂的中心点o₂到曲线c₁的中心点o₁的直线作为世界坐标系的Z轴，所述二次曲线c₂所对应的空间平面为世界坐标系的X-Y平面，完成世界坐标系的建立。

在一些优选的实施例中，步骤S30中“基于所述输入图像集中每一个图像拟合得到的圆柱体的轮廓线、对应的世界坐标系，基于射影不变性和成像原理，计算每张图像对应的相机姿态”，其方法为：

基于拟合的两条直线和两条曲线、世界坐标系，分别计算每张图像从世界坐标系到相机坐标系的旋转变换矩阵R和平移向量t，所述旋转变换矩阵R和平移向量t为图像对应的相机姿态。

在一些优选的实施例中，步骤S40中“提取所述输入图像集中每一个图像的特征点，并基于所述图像对应的相机姿态，重建特征点对应的空间点”之后还设置有空间点优化的步骤，其方法为：

步骤B10，根据三维-二维的对应关系，采用重投影误差最小化优化每一帧图像的姿态和图像所观察到的所有的空间点；

步骤B20，基于所述优化后的每一帧图像的姿态和图像所观察到的所有的空间点，采用全局捆绑调整优化所有图像的空间点和所有图像的相机姿态。

在一些优选的实施例中，步骤S50中“基于所述重建的圆柱体三维模型，获取对应的圆柱体视频图像并进行初始化”，其方法为：

步骤S501，基于获取的圆柱体视频图像，采用Linear P3P RANSAC处理图像，连续获得预设帧数图像对应的相机姿态；

步骤S502，判断所述预设帧数图像对应的相机姿态的接近程度是否超过设定的阈值，判断结果为是，则初始化完成；判断结果为否，则执行步骤S501。

在一些优选的实施例中，步骤S60中“基于所述初始相机姿态和三维-二维对应关系，进行帧间相机姿态跟踪计算，获得每一帧图像对应的相机姿态”，其方法为：

步骤S601，在当前帧图像的感兴趣区域检测角点并提取二值描述子；

步骤S602，匹配当前帧图像的二值描述子与上一帧图像的二值描述子，获得当前帧图像与上一帧图像的二维-二维关系；

步骤S603，基于上一帧图像的三维-二维关系以及当前帧图像与上一帧图像的二维-二维关系，获取当前帧图像的三维-二维关系；

步骤S604，基于所述当前帧图像的三维-二维关系，采用EPnP方法计算当前帧图像对应的相机姿态。

在一些优选的实施例中，步骤S70中“采用所述每一帧图像对应的相机姿态，将输入的虚拟图像叠加到所述圆柱体视频图像上，进行圆柱体增强现实”之前还设置有相机姿态不稳定性消除的步骤，其方法为：

采用扩展卡尔曼滤波器平滑相机姿态，消除相机姿态的不稳定性。

本发明的另一方面，提出了一种基于三维视觉的圆柱体增强现实***，包括输入模块、世界坐标系建立模块、相机姿态计算模块、圆柱体三维重建模块、圆柱体视频图像初始化模块、帧间相机姿态跟踪模块、增强现实模块、输出模块；

所述输入模块，配置为获取圆柱体设定多视角的视频图像集并输入；

所述世界坐标系建立模块，配置为对所述多视角的视频图像集中每一个图像，拟合圆柱体轮廓线，并建立世界坐标系；

所述相机姿态计算模块，配置为基于拟合的圆柱体轮廓线、世界坐标系，利用射影不变性和成像原理，计算每张图像对应的相机姿态；

所述圆柱体三维重建模块，配置为提取所述多视角的视频图像集中每一个图像的特征点，并基于所述图像对应的相机姿态，重建特征点对应的空间点，获得重建的圆柱体三维模型；

所述圆柱体视频图像初始化模块，配置为基于所述重建的圆柱体三维模型，获取对应的圆柱体视频图像并进行初始化，获得初始相机姿态和三维-二维对应关系；

所述帧间相机姿态跟踪模块，配置为基于所述初始相机姿态和三维-二维对应关系，进行帧间相机姿态跟踪计算，获得每一帧图像对应的相机姿态

所述增强现实模块，配置为采用所述每一帧图像对应的相机姿态，将输入的虚拟图像叠加到所述圆柱体视频图像上，进行圆柱体增强现实；

所述输出模块，配置为输出增强现实以后的圆柱体视频图像。

本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于三维视觉的圆柱体增强现实方法。

本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于三维视觉的圆柱体增强现实方法。

本发明的有益效果：

本发明提出了一种基于三维视觉的圆柱体增强现实技术，在离线阶段实现圆柱体三维模型重建，在在线阶段实现圆柱体的在线三维跟踪。在实际使用中，无论是离线重建还是在线跟踪，都获得了非常高的精度。此外，在线跟踪速度超过50FPS，利用在线跟踪得到的相机姿态叠加虚拟物体，虚拟物体非常稳定，实现了圆柱体增强现实的目的。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本发明基于三维视觉的圆柱体增强现实方法的***流程示意图；

图2是本发明基于三维视觉的圆柱体增强现实方法的一种实施例的圆柱体形状的物体示例图；

图3是本发明基于三维视觉的圆柱体增强现实方法的一种实施例的建立的世界坐标系示意图；

图4是本发明基于三维视觉的圆柱体增强现实方法的一种实施例的圆柱体重建模型示例图；

图5本发明基于三维视觉的圆柱体增强现实方法的一种实施例的相机姿态帧间跟踪中每一帧的重投影误差示意图；

图6本发明基于三维视觉的圆柱体增强现实方法的相机姿态帧间跟踪中每一帧消耗的时间示意图；

图7是本发明基于三维视觉的圆柱体增强现实方法的***运行可视化示意图；

图8本发明基于三维视觉的圆柱体增强现实方法的一种实施例的叠加虚拟地球的增强现实结果示例图；

图9本发明基于三维视觉的圆柱体增强现实方法的一种实施例的替换圆柱体周围纹理的增强现实结果示例图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

本发明的一种基于三维视觉的圆柱体增强现实方法，包括：

步骤S10，获取圆柱体多视角视频图像集，作为输入图像集；

为了更清晰地对本发明基于三维视觉的圆柱体增强现实方法进行说明，下面结合图1对本发明方法实施例中各步骤展开详述。

本发明一种实施例的基于三维视觉的圆柱体增强现实方法，包括步骤S10-步骤S70，各步骤详细描述如下：

步骤S10，获取圆柱体多视角视频图像集，作为输入图像集。

在进行圆柱体的离线三维重建之前，首先标定相机内参数矩阵K，利用相机内参数矩阵K对图像进行归一化；然后，拍摄一些图像，这些图像中包含圆柱体并且存在多个视角。

如图2所示，为本发明基于三维视觉的圆柱体增强现实方法的一种实施例的圆柱体形状的物体示例图，从左到右依次为can-罐头瓶、cola-可乐瓶、sprite-雪碧瓶、water-矿泉水瓶。

步骤S20，对所述输入图像集中每一个图像，采用霍夫变换方法拟合圆柱体在图像中的轮廓线，并建立该图像中圆柱体的世界坐标系。

霍夫变换方法(Hough transform)的基本原理在于利用点与线的对偶性，将原始图像空间的给定的曲线通过曲线表达形式变为参数空间的一个点，这样就把原始图像中给定曲线的检测问题转化为寻找参数空间中的峰值问题，也即把检测整体特性转化为检测局部特性，比如直线、椭圆、圆、弧线等。

步骤S201，对所述输入图像集中每一个图像，采用霍夫变换方法拟合圆柱体的两条边缘直线l₁和l₂，同时拟合圆柱体的两条二次曲线c₁和c₂。

步骤S202，以所述曲线c₂的中心点o₂对应的空间点作为世界坐标系的原点，所述曲线c₂的中心点o₂到曲线c₂上的一个点的直线作为世界坐标系的X轴，所述曲线c₂的中心点o₂到曲线c₁的中心点o₁的直线作为世界坐标系的Z轴，所述二次曲线c₂所对应的空间平面为世界坐标系的X-Y平面，建立世界坐标系。

设定拟合的二次曲线c₁的中心为o₁、拟合的二次曲线c₂的中心为o₂，选取o₂(或o₁)对应的空间点为世界坐标系的原点，齐次坐标为(0 0 0 1)^T。在二次曲线c₂上选取一个图像点M₀，o₂到M₀的直线为空间坐标系的X轴，则M₀对应的空间点齐次坐标为(r 0 0 1)^T，r为圆柱体的半径。o₂到o₁的直线作为空间坐标系的Z轴，则o₁对应的空间点齐次坐标为(0 0 h 1)^T，h为圆柱体的高。选取二次曲线c₂所对应的空间平面为世界坐标系的X-Y平面。至此，世界坐标系被建立。

如图3所示，为本发明基于三维视觉的圆柱体增强现实方法的一种实施例的建立的世界坐标系示意图，o为世界坐标系的原点，o到曲线c₂上的一个点M₀的直线为世界坐标系的X轴，o到曲线c₁的中心点o₁的直线为世界坐标系的Z轴，二次曲线c₂所对应的空间平面为世界坐标系的X-Y平面。在实际应用过程中，以此方法建立世界坐标系，可以选择其他不同的点作为世界坐标系的原点，也可以选择其他通过原点的直线作为世界坐标系的X、Y、Z轴，在此不再一一赘述。

步骤S30，基于所述输入图像集中每一个图像拟合得到的圆柱体的轮廓线、对应的世界坐标系，基于射影不变性和成像原理，计算每张图像对应的相机姿态。

常用的射影不变性包括共线点的投影仍然共线，平行直线的投影相交于一点，直线段投影的交比不变等。

基于拟合的圆柱体轮廓线(包括两条直线和两条曲线)、世界坐标系，分别计算每张图像从世界坐标系到相机坐标系的旋转矩阵R和平移向量t，所述旋转变换矩阵R和平移向量t为图像对应的相机姿态。

旋转变换矩阵R和平移向量t，如式(1)和式(2)所示：

R＝(r₁ r₂ r₃) 式(1)

t＝(t₁ t₂ t₃) 式(2)

其中，r₁＝(r₁₁ r₂₁ r₃₁)^T，r₂＝(r₁₂ r₂₂ r₃₂)^T，r₃＝(r₁₃ r₂₃ r₃₃)^T为旋转矩阵R的三列。

在世界坐标系中，Z轴上的无穷远点V_z＝(0 0 1 0)^T，定义拟合直线l₁和l₂的交点为V_z在二维图像的投影点v_z。通过图像的成像原理，计算v_z，如式(3)所示：

v_z＝l₁×l₂≈(r₁ r₂ r₃ t)(0 0 1 0)^T 式(3)

从而可以计算r₃，如式(4)所示：

根据射影不变性，计算拟合曲线c₁的中心点o₁、拟合曲线c₂的中心点o₂，如式(5)和式(6)所示：

其中，u₁、v₁分别代表o₁在二维图像的横坐标、纵坐标，u₂、v₂分别代表o₂在二维图像的横坐标、纵坐标。

根据o₁对应空间点的齐次坐标(0 0 h 1)^T和o₂对应空间点的齐次坐标(0 0 0 1)^T，基于图像成像原理，尺度因子s₁、s₂的计算方法如式(7)和式(8)所示：

从而可以计算t，如式(9)所示：

t＝s₁*o₁-h*r₃ 式(9)

在世界坐标系下，X轴的无穷远点齐次坐标为(1 0 0 1)^T，根据图像成像原理，计算v_x，如式(10)所示：

v_x＝(o₂×m₀)×V_z≈(r₁ r₂ r₃ t)(1 0 0 0)^T 式(10)

从而可以计算r₁，如式(11)所示：

计算r₂，如式(12)所示：

r₂＝r₃×r₁ 式(12)

综上所述，获取了旋转变换矩阵R和平移向量t为图像对应的相机姿态。

步骤S40，提取所述输入图像集中每一帧图像的特征点，并基于所述图像对应的相机姿态，重建特征点对应的空间点，获得重建的圆柱体三维模型。

在所述输入图像集的第一帧图像上，选取一个特征点m_i＝(u_i v_i 1)^T，其对应的空间点齐次坐标为M_i＝(X_i Y_i Z_i 1)^T，则根据成像过程，M_i重建的计算方法如式(13)所示：

(X_i Y_i Z_i)^T＝s*R^T*m_i-R^T*t 式(13)

其中，s为尺度因子；空间点M_i处于圆柱体上，满足

r为圆柱体半径。

步骤S40中“提取所述输入图像集中每一个图像的特征点，并基于所述图像对应的相机姿态，重建特征点对应的空间点”之后还设置有空间点优化的步骤，其方法为：

步骤B10，根据三维-二维的对应关系，采用重投影误差最小化优化每一帧图像的姿态和图像所观察到的所有的空间点，如式(14)所示：

步骤B20，基于所述优化后的每一帧图像的姿态和图像所观察到的所有的空间点，采用全局捆绑调整优化所有图像的空间点和所有图像的相机姿态，如式(15)所示：

其中，K_l代表所有图像，P_l代表所有空间点，E(i,j)代表，其计算方法如式(16)所示：

E(i,j)＝||m_i-[R_j,t_j]M_i||² 式(16)

如图4所示，为本发明基于三维视觉的圆柱体增强现实方法的一种实施例的圆柱体重建模型示例图，左上为can-罐头瓶，右上为cola-可乐瓶，左下为sprite-雪碧瓶，右下为water-矿泉水瓶。

采用本发明方法进行圆柱体三维重建，精度高、误差低，其平均重建误差如表1所示：

表1

圆柱体	罐头瓶	可乐瓶	雪碧瓶	矿泉水瓶
					平均重建误差(像素)	1.92×10<sup>-5</sup>	1.66×10<sup>-5</sup>	1.60×10<sup>-5</sup>	1.66×10<sup>-5</sup>

步骤S50，基于所述重建的圆柱体三维图像，获取对应的圆柱体视频图像并进行初始化，获得初始相机姿态和三维-二维对应关系。

位姿求解是计算机视觉中经常遇到的，P3P(P3P，Perspective-3-Points)提供了一种解决方案，它是一种由3D-2D的位姿求解方式，需要已知匹配的3D点和图像2D点。

步骤S501，基于获取的圆柱体视频图像，采用Linear P3P RANSAC处理图像，连续获得预设帧数图像对应的相机姿态。

圆柱体的初始化过程中，采用了Linear P3P RANSAC：

首先，使用霍夫变换检测和拟合直线，剔除靠近图像边缘的直线和短的直线，合并相同的直线，用集合S_i＝{l_i,i＝1,2…N}表示剩余的直线。此外，通过计算两条直线之间的夹角，找到许多平行直线对，记平行于直线l_i的直线集合为ST_i。在集合ST_i中，选择距离最远的两条直线，剔除其他的直线，记最远的两条直线的交点为v，则旋转矩阵R的第三列能够被计算，如式(17)所示：

在图像上两条最远直线所夹的区域提取角点并且用二值描述子描述这些提取的角点。

然后，通过匹配当前帧的描述子和重建的空间点所对应的描述子找到当前帧的3D-2D对应点，记对应点的集合为S_i＝{(m_j,M_j),j＝1,2…n}。从集合S_i中任意选择三对3D-2D对应点，记为(m_i,M_i),i＝1,2,3，根据成像过程，我们可以得到式(18)：

s_i*m_i＝RM_i+t 式(18)

其中，s_i是尺度因子，M_i＝(X_i,Y_i,Z_i)^T,i＝1,2,3。

可以用尺度因子s₁表示尺度因子s₂、s₃，如式(19)和式(20)所示：

进一步可得到方程组，如式(21)所示：

把公式(19)和公式(20)代入方程组(21)中，得到一个关于s₁的方程组，使用SVD分解求解该方程组，然后将解得的s₁代入公式(19)和公式(20)，即可计算得到s₂和s₃。将计算得到的s₁、s₂和s₃代入公式(18)，线性求解可得r₁、r₂，如式(22)和式(23)所示：

其中，A₁＝(s₂m₂-s₁m₁-(Z₂-Z₁)r₃)(Y₃-Y₁)，A₂＝(s₃m₃-s₁m₁-(Z₃-Z₁)r₃)(Y₂-Y₁)，A₃＝(s₂m₂-s₁m₁-(Z₂-Z₁)r₃)(X₃-X₁)，A₄＝(s₃m₃-s₁m₁-(Z₃-Z₁)r₃)(X₂-X₁)，B＝＝(X₂-X₁)(Y₃-Y₁)-(X₃-X₁)(Y₂-Y₁)。

由此获的旋转矩阵R＝(r₁ r₂ r₃)，计算平移向量t，如式(24)所示：

t＝s_im_i-RM_i,i＝1,2,3 式(24)

通过上面求得的相机姿态R和t，我们能够计算内点个数并且保存内点个数。重新选择不同的三对3D-2D对应点，重复上面的过程找到内点个数并且保存内点个数。处理完所有的不同的三对3D-2D对应点后，选择内点个数最多的组合所对应的相机姿态。为了进一步得到精确的相机姿态，将该三对3D-2D对应点和其内点放在一起，使用EPnP重新计算相机姿态。

最后，在每一个集合ST_i中，根据上面的方法，计算相机姿态和相应的内点，选择内点个数最多的集合所对应的相机姿态。随后，我们根据相应的内点进一步优化相机姿态，如式(25)所示：

以上的方法，我们称之为“Linear P3P RANSAC”。使用“Linear P3P RANSAC”处理连续的三帧图像，如果它们的相机姿态比较接近，则认为初始化成功，否则初始化失败，重新选择连续的三帧图像进行初始化直到初始化成功。

步骤S60，基于所述初始相机姿态和三维-二维对应关系，进行帧间相机姿态跟踪计算，获得每一帧图像对应的相机姿态。

步骤S601，在当前帧图像的感兴趣区域检测角点并提取二值描述子。

步骤S602，匹配当前帧图像的特征点与上一帧图像的特征点，获得当前帧图像与上一帧图像的二维-二维关系。

步骤S603，基于上一帧图像的三维-二维关系以及当前帧图像与上一帧图像的二维-二维关系，获取当前帧图像的三维-二维关系。

初始化成功后，利用上一帧的信息进行帧间跟踪。帧间跟踪包括跟踪上一帧和跟踪模型。在跟踪上一帧过程中，首先，在当前帧感兴趣区域(圆柱体所在的区域)检测角点和提取描述子；然后，匹配当前帧的描述子和上一帧的描述子来找到当前帧与上一帧的2D-2D对应关系，从而找到当前帧的3D-2D对应关系；最后，根据当前帧的3D-2D对应关系，使用EPnP计算当前帧的相机姿态。如果跟踪上一帧失败，则使用运动模型来预测当前帧的相机姿态。在跟踪模型过程中，通过公式s*m_i＝R(X_i Y_i Z_i)^T+t和公式

重建当前帧中未与上一帧匹配的特征点，进一步将新重建的空间点与模型进行匹配，得到更多的3D-2D对应点，利用当前帧所有的3D-2D对应点优化当前帧的相机姿态，如式(26)所示：

最后根据优化后的相机姿态，预测下一帧的感兴趣区域。

如图5所示，为本发明基于三维视觉的圆柱体增强现实方法的一种实施例的相机姿态帧间跟踪中每一帧的重投影误差示意图，从左到右分别代表can-罐头瓶、cola-可乐瓶、sprite-雪碧瓶、water-矿泉水瓶，Frames代表一个视频中的所有图像帧，reprojectionerror(pixel)代表重投影误差，直线代表视频中大多数图像帧的重投影误差小于某一设定阈值。

如图6所示，为本发明基于三维视觉的圆柱体增强现实方法的相机姿态帧间跟踪中每一帧消耗的时间示意图，从左到右分别代表can-罐头瓶、cola-可乐瓶、sprite-雪碧瓶、water-矿泉水瓶，Frames代表一个视频中的所有图像帧，times(ms)代表在线跟踪过程中每一帧消耗的时间，直线代表大多数图像帧在线跟踪消耗的时间小于某一设定阈值。

采用本发明方法进行增强现实，在线相机姿态跟踪过程中丢帧率低、重投影误差小、每一秒能够在线跟踪的图像帧数FPS高，如表2所示：

视频	帧数	丢帧率	重投影误差(像素)	FPS(Hz)
					Can	3356	0.70％	0.90	63
Cola	3507	1.64％	1.26	59
					Sprite	3386	1.27％	0.93	63
Water	3449	0.19％	0.95	56

步骤S70中“采用所述每一帧图像对应的相机姿态，将输入的虚拟图像叠加到所述圆柱体视频图像上，以实现圆柱体增强现实”之前还设置有相机姿态不稳定性消除的步骤，其方法为：

由于拍摄视频时，设备存在某种程度上的抖动导致叠加的虚拟物体有可能存在某种程度上的不稳定，使用扩展卡尔曼滤波器平滑相机姿态。然后，使用平滑后的相机姿态将虚拟物体投影到真实的圆柱体上，可以保证虚拟物体稳定的叠加到圆柱体上，从而达到增强现实的目的。

如图7所示，为本发明基于三维视觉的圆柱体增强现实方法的***运行可视化示意图，图7左图是虚拟的地球叠加到含有矿泉水瓶的图像上，图7右图是圆柱体离线三维重建的模型，右图左上角的棱锥代表相机的空间位置。

如图8所示，为本发明基于三维视觉的圆柱体增强现实方法的一种实施例的叠加虚拟地球的增强现实结果示例图，从左到右分别代表将虚拟地球叠加在can-罐头瓶、cola-可乐瓶、sprite-雪碧瓶、water-矿泉水瓶的效果。

如图9所示，为本发明基于三维视觉的圆柱体增强现实方法的一种实施例的替换圆柱体周围纹理的增强现实结果示例图，从左到右分别代表将替换can-罐头瓶、cola-可乐瓶、sprite-雪碧瓶、water-矿泉水瓶的周围纹理的效果。

本发明第二实施例的基于三维视觉的圆柱体增强现实***，包括输入模块、世界坐标系建立模块、相机姿态计算模块、圆柱体三维重建模块、圆柱体视频图像初始化模块、帧间相机姿态跟踪模块、增强现实模块、输出模块；

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

需要说明的是，上述实施例提供的基于三维视觉的圆柱体增强现实***，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。

本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于三维视觉的圆柱体增强现实方法。

本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于三维视觉的圆柱体增强现实方法。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims

1.一种基于三维视觉的圆柱体增强现实方法，其特征在于，包括：

步骤S10，获取圆柱体多视角视频图像集，作为输入图像集；

2.根据权利要求1所述的基于三维视觉的圆柱体增强现实方法，其特征在于，步骤S20中“对所述输入图像集中每一个图像，采用霍夫变换方法拟合圆柱体在图像中的轮廓线，并建立该图像中圆柱体的世界坐标系”，其方法为：

3.根据权利要求1所述的基于三维视觉的圆柱体增强现实方法，其特征在于，步骤S30中“基于所述输入图像集中每一个图像拟合得到的圆柱体的轮廓线、对应的世界坐标系，基于射影不变性和成像原理，计算每张图像对应的相机姿态”，其方法为：

4.根据权利要求1所述的基于三维视觉的圆柱体增强现实方法，其特征在于，步骤S40中“提取所述输入图像集中每一个图像的特征点，并基于所述图像对应的相机姿态，重建特征点对应的空间点”之后还设置有空间点优化的步骤，其方法为：

5.根据权利要求1所述的基于三维视觉的圆柱体增强现实方法，其特征在于，步骤S50中“基于所述重建的圆柱体三维模型，获取对应的圆柱体视频图像并进行初始化”，其方法为：

6.根据权利要求1所述的基于三维视觉的圆柱体增强现实方法，其特征在于，步骤S60中“基于所述初始相机姿态和三维-二维对应关系，进行帧间相机姿态跟踪计算，获得每一帧图像对应的相机姿态”，其方法为：

7.根据权利要求1所述的基于三维视觉的圆柱体增强现实方法，其特征在于，步骤S70中“采用所述每一帧图像对应的相机姿态，将输入的虚拟图像叠加到所述圆柱体视频图像上，进行圆柱体增强现实”之前还设置有相机姿态不稳定性消除的步骤，其方法为：

8.一种基于三维视觉的圆柱体增强现实***，其特征在于，包括输入模块、世界坐标系建立模块、相机姿态计算模块、圆柱体三维重建模块、圆柱体视频图像初始化模块、帧间相机姿态跟踪模块、增强现实模块、输出模块；

所述帧间相机姿态跟踪模块，配置为基于所述初始相机姿态和三维-二维对应关系，进行帧间相机姿态跟踪计算，获得每一帧图像对应的相机姿态；

9.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-7任一项所述的基于三维视觉的圆柱体增强现实方法。

10.一种处理装置，包括

处理器，适于执行各条程序；以及

存储装置，适于存储多条程序；

其特征在于，所述程序适于由处理器加载并执行以实现：

权利要求1-7任一项所述的基于三维视觉的圆柱体增强现实方法。