CN103177468A - 一种基于无标记的三维运动物体增强现实注册方法 - Google Patents

Abstract

本发明提供一种基于无标记的三维运动物体增强现实注册方法，属于计算机视觉领域，具体包括建立模型数据库；拍摄当前三维运动物体，获取视频图像；对当前帧图像中的三维运动物体进行检测；进行基于3D不变量的三维运动物体识别；利用Harris角点检测算法对已识别的三维运动物体进行特征点检测；特征点跟踪；特征点重建；剔除误匹配图像对；确定摄像头位姿，对三维运动物体进行实时增强现实注册。本发明通过提取空间复杂物体的多种3D不变量消除物体成像形状随着视点位置、视角、目标姿态等成像参数的变化而带来的剧烈影响，使得对三维运动物体的增强现实注册更加稳定。

Description

一种基于无标记的三维运动物体增强现实注册方法

技术领域

本发明属于计算机视觉领域，具体涉及一种基于无标记的三维运动物体增强现实注册方法。

背景技术

增强现实(AR-Augmented Reality)于20世纪90年代初期首次被提出。增强现实是将计算机产生的信息(包括图像、文字、三维模型和光照等)叠加在真实场景上，将虚实信息进行无缝融合，呈现给人们一个信息更加丰富、感观效果真实的新环境，达到对现实世界增强的效果。由于增强现实在军事、工业、医疗、教育、文化、娱乐等领域具有广泛的应用前景，因此，近年来受到研究者越来越多的关注。

三维注册是增强现实技术中的基础环节也是重要环节。其所要完成的任务为实时检测出摄像机的位置以及视线方向，以此确定所要叠加的虚拟信息在真实场景中的映射位置，并在屏幕的正确位置实时显示出这些虚拟信息。

从待注册对象的维度来划分，将增强现实注册方法分为平面物体注册方法和三维物体注册方法。从是否使用了标志物来划分，将增强现实注册方法分为基于标志物的注册方法和无标志物注册方法。对于增强现实***来说，无论哪种增强现实注册方法，注册的鲁棒性与实时性都是至关重要的。

在增强现实领域中，针对平面物体及有标志的物体的注册方法已经取得了很好的发展与应用。但是，针对三维物体的识别与定位仍然是一个困难的、开放的问题。

2009年，学者M.Ulrich等(文献1.Ulrich，Markus；Wiedemann，Christian；Steger，Carsten.“Cad-based recognition of3d objects in monocular images”，IEEE International Conference onRobotics and Automation，2009，pp.2090-2097.)为能够正确识别三维物体，保存了大量参考视图，通过点特征匹配方法来对三维物体进行识别，但该算法计算量非常大，无法满足增强现实的实时性要求。2004年，学者Carmichael，O等(文献2.Carmichael，O；Hebert，M.“Shape-based recognition of wiry objects”，IEEE Transactions On Pattern Analysis And MachineIntelligence，2004，26(12)：1537-1552.)提出了基于边缘特征的注册方法，将输入图像中提取的相应特征与对应的三维物体边缘特征相匹配，而后根据匹配对应关系对物体的三维位姿进行计算。但该方法将产生巨大的搜索空间的问题，难以满足增强现实的实时性要求。

发明内容

针对现有技术存在的问题，本发明提供一种基于无标记的三维运动物体增强现实注册方法。

本发明的技术方案是：

一种基于无标记的三维运动物体增强现实注册方法，包括以下步骤：

步骤1：建立模型数据库；

步骤1.1：拍摄各个待识别三维物体，获取各个待识别三维物体的不同角度的多张视图；

步骤1.2：对获取的多张视图进行数据处理，包括特征提取和特征匹配，得到各个视图的特征匹配结果；

步骤1.3：利用2D射影变换求解特征匹配的元素集合的3D不变量；

步骤1.4：将得到的3D不变量与哈希表相结合，得到一个以3D不变量为索引的模型数据库；

步骤2：拍摄当前三维运动物体，获取视频图像；

步骤3：采用自适应背景差法对当前帧图像中的三维运动物体进行检测；

步骤4：对检测出的三维运动物体进行基于3D不变量的三维运动物体识别；

步骤4.1：根据当前视频帧图像和上一视频帧图像，利用2D射影变换求解得到三维运动物体的3D不变量集合；

步骤4.2：对三维运动物体的3D不变量集合进行模型数据库索引表访问，对该数据库的各索引中的各个3D不变量进行投票并对各索引中的得票进行统计；

步骤4.3：得票的统计结果超过阈值的索引在模型数据库中所对应的模型即当前三维运动物体的匹配模型，此时完成基于3D不变量的三维物体识别；

步骤5：利用Harris角点检测算法对已识别的三维运动物体进行特征点检测；

步骤6：利用光流跟踪算法对特征点检测后的三维运动物体进行特征点跟踪：若跟踪上的特征点个数大于F个，20＜F＜60，执行步骤7，否则返回步骤5；

步骤7：通过极几何约束进行特征点重建，得到宽基线条件下的角点匹配图像对；

步骤8：剔除宽基线条件下的角点匹配图像对中的误匹配图像对；

步骤9：通过计算真实摄像头参数确定摄像头位姿，对三维运动物体进行实时增强现实注册。

所述特征提取包括特征点提取和特征线提取，特征匹配包括特征点匹配和特征线匹配。

所述步骤1.2对获取的多张视图进行数据处理，包括特征提取和特征匹配，得到各个视图的特征匹配结果，具体按如下步骤进行：

步骤1.2.1：对获取的多张视图去除噪声并进行灰度处理；

步骤1.2.2：提取特征点和特征线；

步骤1.2.3：对同一待识别三维物体的多张视图进行特征匹配，得到各个待识别三维物体不同视图的特征匹配结果；

步骤1.2.3.1：特征点匹配；

首先，采用灰度相关匹配法，对特征点进行模糊匹配，得到初始的匹配点集合；

然后采用松弛迭代法去除初始的匹配点集合中重复的匹配点；

步骤1.2.3.2：特征线匹配：采用位置相近准则、角度相似性准则、灰度相近性准进行特征线匹配；

步骤1.2.4：得到各个待识别三维物体不同视图的特征匹配结果，即特征匹配的元素集合。

所述步骤1.3利用2D射影变换求解特征匹配的元素集合的3D不变量，具体按如下步骤进行：

步骤1.3.1：从特征匹配的元素集合中选取实元素(即可见元素或具有物理意义的元素)，确定基准平面，做共面性检验，确立2D射影变换矩阵；

步骤1.3.2：构造特征匹配的元素集合中的虚元素，包括虚点元素和虚线元素，虚点元素即直线与平面的交点，虚线元素即平面与平面的交线；

步骤1.3.3：利用实元素和虚元素求解特征匹配的元素集合的3D不变量。

所述步骤3采用自适应背景差法对当前帧图像中的三维运动物体进行检测，具体按如下步骤进行：

步骤3.1：对获取的视频图像进行预处理，包括去噪处理及灰度处理；

步骤3.2：对去噪处理及灰度处理后的视频图像，建立自适应背景模型；

步骤3.3：用当前帧图像与背景图像相减得到三维运动物体的前景图像并对其进行二值化处理，得到二值化的前景图像；

步骤3.4：利用腐蚀算子去除前景图像中孤立的噪声点；

步骤3.5：利用膨胀算子填补前景图像中的小孔，从而检测出完整的三维运动物体，得到完整的三维运动物体前景图像。

所述步骤9通过计算真实摄像头参数确定摄像头位姿，对三维运动物体进行实时增强现实注册，具体按如下步骤进行：

步骤9.1：计算真实摄像头内参和外参，内参即世界坐标系与虚拟坐标系之间的变换矩阵，外参，即世界坐标系与摄像头坐标系之间的变换矩阵；

使用ARToolKit对摄像头进行标定进而获得摄像头内参；

步骤9.2：用真实摄像头的内外参设定虚拟摄像头的内外参，对虚拟三维运动物体进行投影，并通过显示设备输出；

步骤9.3：对每一帧图像执行步骤9.1～9.2，更新注册信息，实现跟踪注册；

步骤9.4：完成对基于无标记的三维运动物体的增强现实注册。

有益效果：

(1)通过拍摄不同三维物体的各个角度得到计算出来的3D不变量来建立数据库的索引表。在索引表的基础上使用哈希表，省去了在查找时要求的物体特征与模型特征间的匹配计算，显著的提高了三维运动物体识别的效率。

(2)基于3D不变量的三维运动物体识别的方法，通过提取空间复杂物体的多种3D不变量消除了物体成像形状随着视点位置、视角、目标姿态等成像参数的变化而带来的剧烈影响，使得对三维运动物体的增强现实注册更加稳定。

(3)使用Harris局部角点检测与跟踪，由于只对图像局部(即识别出的三维运动物体)进行Harris角点检测特征点，大大节省了特征点检测时间，提高了实时更新注册信息的速度。

(4)用KLT算法对检测到的三维运动物体特征点进行跟踪，使得三维运动物体特征点的信息能够实时更新，从而进一步提高了增强现实注册的实时性。

(5)通过极几何约束进行特征点重建，得到宽基线条件下的角点匹配图像对，用RANSAC优化算法消除误匹配，从而可以获得精确的重建结果，进而能够得到更精确的注册效果。

附图说明

图1为本发明具体实施方式的基于无标记的三维运动物体增强现实注册方法流程图；

图2为本发明具体实施方式的建立模型数据库的流程图；

图3为本发明具体实施方式的特征点相关性的示意图；

图4为本发明具体实施方式的特征线匹配的示意图；

图5为本发明具体实施方式中例举的多种组合形式下的空间元素几何求解3D不变量示意图；

图6为本发明具体实施方式的采用自适应背景差法对当前帧图像中的三维运动物体进行检测流程图；

图7为本发明具体实施方式的用于摄像头标定的标定板图像。

具体实施方式

下面结合附图对本发明的具体实施方式做详细说明。

本实施方式中，实施基于无标记的三维运动物体增强现实注册方法时，采用一个分辨率为640×480的定点摄像头，摄像头所拍摄场景为一住宅小区大门口，对摄像头中出现的三维运动物体进行检测，并对识别出的轿车A、轿车B、面包车C进行增强现实注册。

如图1所示，基于无标记的三维运动物体增强现实注册方法，包括以下步骤：

步骤1：建立模型数据库；

如图2所示，建立模型数据库的步骤如下：

步骤1.1：拍摄各个待识别三维物体，获取各个待识别三维物体的不同角度的多张视图；

使用照相机拍摄待识别的轿车A、轿车B和面包车C，获取大量不同角度的多张视图；

步骤1.2：对获取的多张视图进行数据处理，包括特征提取和特征匹配，得到各个视图的特征匹配结果；

具体按如下步骤进行：

步骤1.2.1：对获取的多张视图去除噪声并进行灰度处理；

采用中值滤波法对获取的多张视图去除噪声，这种方法以局部中值代替局部均值，即它将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值。

在灰度图像p中以像素(x，y)为中心的M×M屏蔽窗口(M＝3，5，7，…)内，首先把这M×M个像素点的灰度值按大小进行排序，然后选取该窗口内的所有像素点灰度值的中值，令该像素点灰度值P(x，y)＝a，这样，窗口中的像素点的某一邻域中像素灰度值的中值作为该像素点的灰度的估计值。

灰度处理即进行色彩***变换，将24位的真彩色图像处理成灰度图像只需对彩色图像的3个分量进行权值计算，采用如下转换公式：

Y＝0.299×R+0.587×G+0.114×B  (1)

其中，Y表示灰度值，R表示红色分量，G表示绿色分量，B表示蓝色分量；

步骤1.2.2：提取特征点和特征线；

本实施方式采用Forstner算子提取特征点，该算子通过计算各像素的Robert’s梯度和以每个像素(c，r)为中心的一个窗口(如5×5窗口，7×7窗口)的灰度协方差矩阵，在图像中寻找具有尽可能小而接近圆的误差椭圆的点作为特征点。

采用Forstner算子提取特征点的步骤为：

(1)计算各像素的Robert’s梯度；

(2)利用差分算子提取初选点：计算像素(c，r)在上下左右四个方向的灰度差分绝对值，若这四个绝对值中第二大的那个数值大于给定的阈值，则该像素点为一个初选点，否则不是特征点；

(3)计算协方差矩阵，以初选点为中心，根据像素的Robert’s梯度计算窗口中灰度的协方差矩阵；

(4)以权值作为依据：如果某个像素的权值是以该像素为中心的一适当的窗口(如3×3)中的极大值，则该像素便为像素级特征点。

本实施方式采用canny边缘检测法对图像进行处理，对于一幅m×m的图像，按照如下步骤进行特征线提取：

(1)确定特征线起始端点：遍历整幅图像，直到搜索(x，y)处为提取的边缘，将(x，y)作为特征线的起始端点；

(2)在(x，y)邻域内搜索边缘点：在四邻域里除了(x-1，y-1)像素处搜索边缘点，如果搜索到边缘点，记录下该边缘点的位置(xi，yi)。如果在四邻域里没有找到边缘点，则在八邻域两个角点(x-1，y+1)和(x+1，y+1)寻找边缘点，如果找到边缘点，记录下该边缘点的位置x_i(xi，yi)；

(3)计算特征线的直线方程：将边缘点x_i(xi，yi)与先前确定的构成特征线的所有点共同进行直线拟合，采用最小二乘原理求得拟合的直线方程

L：ax+by+c＝0

其中a，b，c是直线方程的系数。

(4)计算误差：计算x_i(xi，yi)与构成特征线的所有点到拟合直线L的误差RMS；

(5)求取点集：如果RMS(TRMS是RMS的阀值)，将x_i(xi，yi)纳入构成特征线的点集；

(6)寻找特征点：如果(x，y)的邻域内有边缘点或者误差RMS＜TRMS，则返回步骤(2)，重新在(x，y)邻域内搜索边缘点；

(7)记录特征线：如果拟合直线的数据点多于TN(TN是特征线最小长度的阈值)个，则记录下该特征线，记录特征线的参数，包括记录该特征线的直线方程参数、特征线的端点位置及特征线左右两侧灰度值的中值，然后执行步骤(1)，继续提取下一特征线。

步骤1.2.3：对同一待识别三维物体的多张视图进行特征匹配，得到各个待识别三维物体不同视图的特征匹配结果；

步骤1.2.3.1：特征点匹配；

首先，采用灰度相关匹配法，对特征点进行模糊匹配，得到初始的匹配点对集合；

对特征点进行模糊匹配的目标是要确定一个候选匹配点对集合T，它允许包含大量错误的匹配对，也允许一个特征点同时对应多个匹配点，但这些都将会在后续的鲁棒性匹配过程中被去除。

如图3所示，对于每一个特征点m₁属于图像I₁，m₂属于图像I₂，设特征点m₁，m₂的图像坐标分别为(u₁，v₁)，(u₂，v₂)，给定以m为中心的相关性窗口(2n+1)×(2m+1)，按公式(2)在图像I₂中相应于m₁的位置选定(2d_u+1)×(2d_v+1)的搜索窗口，计算所有在搜索窗口内的特征点m₂与m₁的相关性系数。

$\mathrm{Score}(m_1,m_2)=\frac{\underset{i=-n}{\overset{n}{\mathrm{\Σ}}}\underset{j=-m}{\overset{m}{\mathrm{\Σ}}}[I_1(u_1+i,v_1+j)-\stackrel{\‾}{I_1(u_1,v_1)}]\×[I_2(u_2+i,v_2+j)-\stackrel{\‾}{I_2(u_2,v_2)}]}{(2n+1)(2m+1)\sqrt{{\mathrm{\σ}}^2\left(I_1\right)\×{\mathrm{\σ}}^2\left(I_2\right)}}---\left(2\right)$

其中，Score(m₁，m₂)表示m₂与m₁的相关性系数，

表示图像I₁在点(u，v)处的灰度平均值， $\stackrel{\‾}{I_1(u,v)}=\underset{i=-n}{\overset{n}{\mathrm{\Σ}}}\underset{i=-m}{\overset{m}{\mathrm{\Σ}}}{I}_1(u+i,v+j)/(2n+1)(2m+1),$ 表示图像I₂在点(u，v)处的灰度平均值， $\stackrel{\‾}{I_2(u,v)}=\underset{i=-n}{\overset{n}{\mathrm{\Σ}}}\underset{i=-m}{\overset{m}{\mathrm{\Σ}}}{I}_2(u+i,v+j)/(2n+1)(2m+1),$ σ(I₁)表示图像I₁在以点(u，v)为中心、大小为(2n+1)(2m+1)的相关窗口内的标准偏差， $\mathrm{\σ}\left(I_1\right)=\sqrt{\frac{\underset{i=-n}{\overset{n}{\mathrm{\Σ}}}\underset{j=-m}{\overset{m}{\mathrm{\Σ}}}{I_1}^2(u+i,v+j)}{(2n+1)(2m+1)}}-\stackrel{\‾}{{\left(I_1(u,v)\right)}^2},$ σ(I₂)表示图像I₂在以点(u，v)为中心、大小为(2n+1)(2m+1)的相关窗口内的标准偏差， $\mathrm{\σ}\left(I_2\right)=\sqrt{\frac{\underset{i=-n}{\overset{n}{\mathrm{\Σ}}}\underset{j=-m}{\overset{m}{\mathrm{\Σ}}}{I_2}^2(u+i,v+j)}{(2n+1)(2m+1)}}-\stackrel{\‾}{{\left(I_2(u,v)\right)}^2};$

从公式(2)中可以得出，相关性系数Score(m₁，m₂)的取值范围从-1到1，特征点m₁与m₂越相似，相关性系数Score(m₁，m₂)也就越大。在实际特征匹配过程中，首先确定一个有效的相关性系数的阈值，当用某个特征点m₂计算出来的相关性系数Score(m₁，m₂)大于该阈值时，则认为该特征点m₂是特征点m₁的一个候选匹配点，用此方法先求出图像I₁上所有角点在图像I₂中的候选匹配点，然后反过来求出图像I₂上的所有角点在图像I₁中的候选匹配点，经过这两个过程后，得到一些初始的匹配点对集合T。

在本实施方式中，m＝n＝6，搜索半径为图像中宽度和高度的最小值的四分之一，相关性系数的阈值为0.75。

然后采用松弛迭代法去除初始的匹配点对集合中重复的匹配点；

初始匹配得到的集合T中存在一个特征点同时对应多个匹配点的情况，利用松弛法(relaxation)可以去除掉大部分这类模糊匹配。

采用松弛迭代法去除初始的匹配点对集合中重复的匹配点，具体步骤是：首先将初始的匹配点对集合T中的初始匹配点对表示为(m_1i，m_2j)，其中m_1i是图像I₁上的角点，m_2j是图像I₁上的角点，然后再定义两个分别以点m_1i和m_2j为中心、以R为半径的邻域N(m_1i)和N(m_2j)。根据“连续性”准则，如果(m_1i，m_2j)是一个正确的匹配点对，那么在邻域N(m_1i)和N(m_2j)内就必然存在更多的正确匹配点对(n_1k，n_2I)，其中n_1k∈N(m_1i)，n_2I∈N(m_2j)，而且点n_1k相对于点m_1i的位置关系应和点n_2l相对于点m_2j的位置关系相似；而如果(m_1i，m_2j)是错误的匹配点对，那么在邻域N(m_1i)和N(m_2j)内就只有很少的匹配点对甚至没有。根据上述性质，定义匹配强度S_M，如公式(3)所示，

$S_M(m_{1i},m_{2j})=c_{\mathrm{ij}}\underset{n_{1k}\∈N\left(m_{1i}\right)}{\mathrm{\Σ}}\left[\underset{n_{2i}\∈N\left(m_{2j}\right)}{\max }\frac{c_{\mathrm{kl}}\mathrm{\δ}(m_{1i},m_{2j};n_{1k},n_{2l})}{1+\mathrm{dist}(m_{1i},m_{2j};n_{1k},n_{2l})}\right]---\left(3\right)$

其中，c_ij和c_kl是初始匹配点对(m_1i，m_2j)和(n_1k，n_2l)的相关性系数，dist(m_1i，m_2j；n_1k，n_2l)是初始匹配点对(m_1i，m_2j)和(n_1k，n_2l)的平均距离，dist(m_1i，m_2j；n_1k，n_2l)＝|d(m_1i，m_2j)+d(n_1k，n_2l)|／2，其中d(m_1i，m_2j)表示点m_1i与点m_2j再欧式空间下的距离；

δ的取值为

公式(4)中，r表示点的相对距离偏差，其表达式为：

$r=\frac{|d(m_{1i},n_{1k})+d(m_{2j},n_{2l})|}{\mathrm{dist}(m_{1i},m_{2j};n_{1k},n_{2l})}---\left(5\right)$

εr是相对距离偏差的一个阈值，当r＜ε_r时，δ的取值为e^-r/c，在其它情况下都取为0。这样，通过公式(4)可以求出每一对初始匹配点的匹配强度。当(m₁，m₂)邻域内的候选匹配对较多时，S_M(m₁，m₂)相应较大，所以S_M(m₁，m₂)实际上衡量了邻域内的特征点对该匹配对的支持程度。

在本实施方式中，取e_r＝0.25，邻域半径R取为所输入的二维图像的高度和宽度的最小值的八分之一。

通过上述方法得到每一对初始匹配点的匹配强度，通过对这些匹配强度进行松驰迭代来去除模糊的匹配点对。松弛过程必须兼顾到连续性和唯一性，为此构造了两个数组A_s，A_p，其中A_s存储T中S_M(m_1i，m_2j)值最大的p对候选匹配对，A_p存储S_M(m_1i，m_2j)值最大的q对候选匹配对。每次循环时，选取同时位于A_s，A_p前65％的匹配对作为最后的输出，这些匹配对可以被认为在一定程度上兼顾了连续性和唯一性，即这些匹配对为特征点匹配的结果。

步骤1.2.3.2：特征线匹配：采用位置相近准则、角度相似性准则、灰度相近性准则进行特征线匹配；

位置相近性准则：对于两图像上的同名线，它们在各自所在图像上的位置相差不应超过一定范围，即对于一对同名线s和s’，s’应该在s周围某一范围内，而不应该超出该范围，同理，s所在位置也应该在s’附近某一范围内，也不应该超出这个范围。该准则判断方法简单，能有效减少参与计算的线数目。；

角度相似性准则：对于两图像上的同名线，它们在各自所在图像坐标系下的角度应该相近；

灰度相近性准则：对于两图像上的同名线，它们两侧的灰度分布应该相同(或相近)。

如图4所示，两图像上分别有四条特征线，运用上述三个准则寻找出Image1上特征线s在Image2上的匹配线s’。根据位置相近准则，s’应该在s周围某一范围内，图中用虚线矩形框表示了这个范围。从图中可以看到在s’，s1’矩形范围内，s2’只有部分在矩形范围内，而s3’在矩形范围外，这样就能排除s2’、s3’与s匹配的可能性，只需要在S’，s1’中寻找s的最佳匹配即可。计算s与s’的夹角以及s与s1’的夹角，根据角度相似性准则，如果夹角小于闭值，则判断该组匹配有可能是正确的，否则认为该组匹配是错误的。角度相似性准则同位置相近准则一样，它并不能够确定哪组匹配是最佳的，只是判断出哪组匹配是错误的，从而缩小搜索最佳匹配的范围。假设s与s’的夹角以及s与s1’的夹角都小于阈值，即都可能是正确匹配，下一步就要运用灰度相近准则在s’，s1’中搜索出最佳匹配。将s’，s1’两侧灰度分别与s两侧的灰度值进行比较，与s两侧灰度最相近的便是最佳匹配。

步骤1.2.4：得到各个待识别三维物体不同视图的特征匹配结果，即特征匹配的元素集合。

本实施方式得到轿车A、轿车B和面包车C的不同视图相匹配的元素集合。

步骤1.3：利用2D射影变换求解特征匹配的元素集合的3D不变量；

两射影平面的四点对应唯一确定一个2D射影变换。

在射影平面U和V上，考虑U上的一点p(x₁，x₂，x₃)^T到V上的一点q(y₁，y₂，y₃)^T的一个对应

$\left\{\begin{array}{c}{\mathrm{ky}}_1=t_{11}{x}_1+t_{12}{x}_2+t_{13}{x}_3\\ {\mathrm{ky}}_2=t_{21}{x}_1+t_{22}{x}_2+t_{23}{x}_3\\ {\mathrm{ky}}_3=t_{31}{x}_1+t_{32}{x}_2+t_{33}{x}_3\end{array}\right.---\left(6\right)$

其中， $T=\left[\begin{array}{ccc}{t}_{11}& t_{12}& t_{13}\\ t_{21}& t_{22}& t_{23}\\ t_{31}& t_{32}& t_{33}\end{array}\right],$ k≠0，且det(T)＝|t_i，j|≠0，t_ij为T中的元素。

这样的一种映射关系称为由射影平面U到V的2D射影对应，它所体现的变换称为2D射影变换，矩阵T称为2D射影变换矩阵。

射影几何的知识表明：共线四点的交比、共面五点的交比等是射影变换下保持不变的特征量，它们也是3D不变量。以此为基础，可推导出共面情况下的多种交比计算方法，如：共线4点、共点4线、共面5点、共面5线、共面2点2线、共面3点2线、共面2点3线、共面4点1线、共面1点4线等。

不经重建来求解空间3D不变量，需要把空间关系合理转化成共面关系，再利用共面条件下的交比计算方法来计算空间元素集合的3D不变量。

本实施方式中，求解特征匹配的元素集合的3D不变量时，引入两个术语：实元素，代指图像中那些可见的或具有明确物理意义的关键元素；虚元素，代指图像中那些不可见的不是目标自身具备的或不具有物理意义的关键元素，虚元素往往是空间元素的交点、交线等。

步骤1.3.1：从特征匹配的元素集合中选取实元素(即可见元素或具有物理意义的元素)，确定基准平面，做共面性检验，确立2D射影变换矩阵；

步骤1.3.2：构造特征匹配的元素集合中的虚元素，包括虚点元素和虚线元素，虚点元素即直线与平面的交点，虚线元素即平面与平面的交线；

虚点元素：直线与平面的交点

空间内一条直线与空间内一平面的交点：已知空间平面在两个图像的成像分别为平面P和平面Q，二者所形成的2D射影变换矩阵为T。空间一直线L在两个图像的成像分别为I₁和I₂，设L与平面Φ的空间交点是D，D在两个图像中的成像分别是D₁和D₂。则

交点D在图像I₂中的成像坐标为

$d_2\≅{[{\left(T^{-1}\right)}^T\·I_1]}^{^}{I}_2---\left(7\right)$

交点D在图像I₁中的成像坐标为

$d_1\≅{[{\left(T^{-1}\right)}^T\·I_2]}^{^}{I}_1---\left(8\right)$

虚线元素：两平面的交线

空间内的两个平面的交线：已知空间平面，在两图像的成像分别为平面P和平面Q，二者所形成的2D射影变换矩阵为T。空间内另一平面

上的不共线三点D、E、F，在两图像中的成像分别为d₁，e₁，f和d₂，e₂，f₂。分别求空间直线DE、DF与平面Φ的交点M，N的成像，空间直线DE与平面Φ的交点记为m₁，n₁，空间直线DF与平面Φ的交点记为m₂，n₂。则连线m₁^n₁和m₂^n₂分别表示两平面的交线在图像I₁和图像I₂的成像直线。

步骤1.3.3：利用实元素和构造出的虚元素求解特征匹配的元素集合的3D不变量。

计算得到的3D不变量尽管以1D或2D的不变量形式出现，由于体现空间交点或交线关系的虚元素的介入，其本质还是反映空间几何元素的3D关系。如图5所示，例举一些由多种组合形式下的空间元素集合求解3D不变量。

步骤1.4：将得到的3D不变量与哈希表相结合，得到一个以3D不变量为索引的模型数据库；

分别计算出几种不同品牌不同款的轿车A、轿车B及面包车C的多种3D不变量，最后建立一个以3D不变量为索引的数据库，如表1所示。

表1轿车A、轿车B、面包车C的模型数据库

步骤2：拍摄当前三维运动物体，获取视频图像；

步骤3：采用自适应背景差法对当前帧图像中的三维运动物体进行检测；

对于场景中存在光线等各种变化造成的干扰，建立自适应背景模型，确保检测的准确性。

如图6所示，采用自适应背景差法对当前帧图像中的三维运动物体进行检测，步骤如下：

步骤3.1：对获取的视频图像进行预处理，包括去噪处理及灰度处理；

采用中值滤波法对获取的多张视图去除噪声，再对图像进行灰度处理即进行色彩***变换，将24位的真彩色图像处理成灰度图像只需对彩色图像的3个分量进行权值计算。

步骤3.2：对去噪处理及灰度处理后的视频图像，建立自适应背景模型；

为保证背景图像能随着光线的变化而变化，确保检测的准确性，本实施方式采用Karmann(卡尔曼)提出的基于卡尔曼滤波的更新公式来改进图像平均模型。在背景估计的初始化阶段，首先选取一个初始的背景，然后用公式(9)所示的自适应背景模型更新背景：

B_k+1(i)＝B_k(i)+(α₁×M_k(i)+α₂×(1-M_k(i)))(C_k(i)-B_k(i))  (9)

式中，B_k(i)为当前背景中像素i的值，B_k+1(i)为更新后的背景中像素i的值，C_k(i)为当前图像中像素i的值，α₁、α₂为更新系数。

定义M_k(i)如下：

其中，T为阈值，依据“正确的阈值T应该能消除大部分噪声”的原则，由试验测试得阈值T在本实施方式的特定的应用背景下选在5～15之间。

由于噪声的存在以及背景的变化，M_k(i)的取值为1或者0，当|C_k(i)-B_k(i)|＜T时，认为当前的图像值就是背景，M_k(i)取值为1，否则当前的图像值为前景，M_k(i)＝0。根据当前的图像值是背景还是前景取不同的更新系数：α₁和α₂。当前的图像值为背景时，用α₁更新，当前的图像值为前景时，用α₂更新，且前景图像中存在小孔。赋予静止的背景点较大的更新系数α₁＝0.2，而赋予运动的前景点(运动物体)较小的更新系数α₂＝0.02，经过这种改进后，可以在保护自适应背景模型不受运动物体影响的同时迅速响应背景的变化。这样，自适应背景模型在每一时刻不断的得到更新，尽可能跟实际环境保持一致。

步骤3.3：用当前帧图像与背景图像相减得到三维运动物体的前景图像并对其进行二值化处理，得到二值化的前景图像；

步骤3.4：利用腐蚀算子去除前景图像中孤立的噪声点；

步骤3.5：利用膨胀算子填补前景图像中的小孔，从而检测出完整的三维运动物体，得到完整的三维运动物体前景图像。

步骤4：对检测出的三维运动物体进行基于3D不变量的三维运动物体识别；

对于检测出的运动物体，根据当前视频帧图像I_n和上一帧图像I_n-1计算得到其3D不变量。由于一般情况下，由物体及其图像中计算得到的不变量可能有多个，所以，当得到的3D不变量进行数据库索引表访问时，首先需要对索引表中的每一个3D不变量进行投票(即与3D不变量进行比对，如果比值接近1，则认为该模型获得一票)，然后对模型得票数进行统计，将统计结果与阈值(85％)相比较，如果超过85％则认为该模型为匹配模型。此时，输入视频帧图像中的三维运动物体已被识别，如果统计结果小于85％，即三维运动物体没有被识别，则重新采用自适应背景差法对当前帧图像中的三维运动物体进行检测。

步骤4.1：根据当前视频帧图像和上一视频帧图像，利用2D射影变换求解得到三维运动物体的3D不变量集合；

步骤4.2：对三维运动物体的3D不变量集合进行模型数据库索引表访问，对该数据库的各索引中的各个3D不变量进行投票并对各索引中的得票进行统计；

步骤4.3：得票的统计结果超过阈值的索引在模型数据库中所对应的模型即当前三维运动物体的匹配模型，此时完成基于3D不变量的三维物体识别；

本实施方式中，在视频图像中分别出现了轿车A、大卡车D和自行车E，分别求解它们的3D不变量，结果如表2所示，与表1模型数据库索引表相比较可得出只有轿车A的3D不变量基本一致，统计结果大于85％，因此，轿车A被识别。而大卡车D与自行车E不能被识别，因为大卡车D与自行车E不在模型数据库中，所以不能被识别出来。

表2检测到的三维运动物体的3D不变量

步骤5：利用Harris角点检测算法对已识别的三维运动物体进行特征点检测；

步骤4已获得视频图像中的被识别出的三维运动物体的初步位置，因此对图像局部(即识别出的三维物体部分)进行Harris角点检测特征点，如检测成功则进行特征点跟踪，否则重新进行角点检测。

特征检测主要是为***提供特征在图像中的精确位置，为特征跟踪提供数据来源。运用Harris角点检测算法对已识别出的三维运动物体进行特征点检测，具体方法如下：

Harris角点检测算法的角点度量公式如式(11)所示，

$V_{u,v}(x,y)=\underset{i=1}{\overset{N^2}{\mathrm{\Σ}}}{w}_i{[u\frac{{\∂I}_i}{\∂x}+v\frac{{\∂I}_i}{\∂y}]}^2=\left[\begin{array}{cc}u& v\end{array}\right]M\left[\begin{array}{c}u\\ v\end{array}\right]--\left(11\right)$

其中，V_u，v(x，y)表示像素点(x，y)在(u，v)方向上的灰度变化量，w_i为高斯窗口中位置i的权值，窗口大小为N×N，

和分别表示窗口位置i处像素点在x和y方向的导数。投影矩阵 $M=\left[\begin{array}{cc}A& C\\ C& B\end{array}\right],$ 其中，矩阵元素 $A=I_x^2\⊗w,$ $B=I_y^2\⊗w,$ $C=I_x{I}_y\⊗w.$ 最终可以通过矩阵M的特征值λ₁和λ₂量化某点的灰度变化量：当二者都很小时，定义为平坦区域；当一个较大另一个较小时，则该点属于边缘；当两者都较大时，则认为是角点。

角点计算公式如下：

C(x，y)＝det(M)-k(trace(M))²  (12)

其中，det()和trace()分别表示求矩阵的行列式和迹，k取0.05。当C(x，y)大于85％并在某邻域取得局部极值时，则认为点(x，y)为角点。

步骤6：利用光流跟踪算法(KLT)对特征点检测后的三维运动物体进行特征点跟踪：若跟踪上的特征点个数大于30个，执行步骤7，否则返回步骤5；

为了满足增强现实的实时注册性，对于角点检测成功的特征点，使用KLT算法进行跟踪。如果跟踪成功，实时提取特征点边角变化信息，对特征点进行重建，从而得到每帧图像对应的摄像头投影矩阵。跟踪是获得同一场景在宽基线条件下两帧图像的匹配关系，为特征点的重建提供匹配点对，计算结果的精确与否将决定后续计算的精度，而且跟踪将为后续帧的注册提供保障。

假定在t时刻处于图像坐标(x，y)位置的点，在t时刻该像素点的灰度值为I(x，y，t)，由于三维运动物体在t+dt时刻出现在图像坐标的(x+dx，y+dy)位置，该像素点在t+dt时刻的灰度值为I(x+dx，y+dy，t+dt)，dt很小，根据假设，认为此点在移动过程中灰度值不变，即I(x+dx，y+dy，t+dt)＝I(x，y，t)，经泰勒公式展开消去I(x，y，t)并忽略极小项O(dt²)，得光流约束方程：

其中，是图像I在点m的梯度，v_m＝(v_x，v_y)T为时间间隔dt内点m的运动速度，

和这些微分可以由图像序列求得，通过求解光流约束方程的速度向量实现对特征点的跟踪。

如果跟踪上的特征点个数少于30个，则重新进行特征点角点检测，以保证有足够有效的特征点进行摄像头外参的计算。

步骤7：通过极几何约束进行特征点重建，得到宽基线条件下的角点匹配图像对，记为I和I′；

宽基线条件下的角点匹配图像对I和I′，相应的存在匹配点对集合

p_i、p′_i分别为空间点P(X，Y，Z)在图像I和I′上的投影，称它们为对应点，记为

n为匹配点对个数，为了便于后期坐标系的建立，使用归一化坐标作为输入数据，相应的归一化齐次坐标集合为

分别为p_i、p′_i的归一化齐次坐标，理想情况下，对于D₁中的任意点对，都应满足公式(13)，

${{\tilde{x}}_{\mathrm{ni}}^{\′}}^{T}F{\tilde{x}}_{\mathrm{ni}}=0---\left(13\right)$

其中， $F={\left[\stackrel{\‾}{m}\right]}_{\×}{M}_1^{\′}{M}_1^{-1}$ 为基本矩阵，为一个3×3秩2矩阵， $\stackrel{\‾}{m}=m^{\′}-M_1^{\′}{M}_1^{-1}m,$

为的反对称矩阵。M、M′分别为图像I和I′对应的摄像头投影矩阵，为3×4矩阵。M＝(M₁m)，M′＝(M₁′m′)，M₁，M₁′分别为M、M′的左侧3×3部分，m，m′分别为M、M′的右侧3×1部分。

步骤8：剔除宽基线条件下的角点匹配图像对中的误匹配图像对；

由于可能存在误匹配，使得一部分点对不满足公式(13)，引入RANSAC优化算法计算基本矩阵，以消除误匹配，从而可以获得精确的重建结果，最终将得到的基本矩阵进行分解，得到每帧图像对应的摄像头投影矩阵，再根据公式(14)计算三维点位置。

$\mathrm{\λ}\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=K\left[\begin{array}{cc}R& t\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]=M\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]---\left(14\right)$

其中，λ＝Z_c为比例因子，(u，v)为P点投影点坐标，K为3×3摄像头内参矩阵，[R  t]为摄像头外部参数， $\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$ 为世界坐标系。

步骤9：通过计算真实摄像头参数确定摄像头位姿，对三维运动物体进行实时增强现实注册。

实现注册的前提是获取注册信息，其实质为两个变换矩阵：世界坐标系与摄像头坐标系之间的变换矩阵和世界坐标系与虚拟坐标系之间的变换矩阵。前者即为摄像头的外参，后者将虚拟坐标系中虚拟物体的几何描述变换为世界坐标系中的几何描述(一般设为重合，即将矩阵S设为单位矩阵)。对于内参，可将其设为已知，认为在***运行过程中不变，从而也可以简化注册信息的获取，所以实现注册的关键在于摄像头外参的计算。

步骤9.1：计算真实摄像头内参和外参，内参即世界坐标系与虚拟坐标系之间的变换矩阵，外参，即世界坐标系与摄像头坐标系之间的变换矩阵；

使用ARToolKit对所采用的摄像头进行标定获得其内参数。标定板如图7所示，该标定板上为4×6网格点阵，各点与相邻点之间的距离是等同的。用摄像头拍摄标定板，得到的图像要保证24个点全部包含其中，最终求得内参数K如下：

$K=\left[\begin{array}{ccc}1687.23& 0.00& 524.00\\ 0.00& 1126.83& 193.00\\ 0.00& 0.00& 1.00\end{array}\right]$

据式(14)，设摄像头外参中的 $R=\left[R_1{R}_2{R}_3\right]=\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right],$ t＝(t_x，t_y，t_z)^T，投影矩阵 $M=\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& m_{14}\\ m_{21}& m_{22}& m_{23}& m_{24}\\ m_{31}& m_{32}& m_{33}& m_{34}\end{array}\right],$

由世界坐标系的建立方式可知，所使用的空间点在该坐标系下的Z坐标为0，并使用归一化坐标，则有可进一步将公式(14)可写为式(15)的形式。

$\mathrm{\λ}\left[\begin{array}{c}{x}_n\\ y_n\\ 1\end{array}\right]=\left[\begin{array}{ccc}{r}_{11}& r_{12}& t_x\\ r_{21}& r_{22}& t_y\\ t_{31}& r_{32}& t_z\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ 1\end{array}\right]---\left(15\right)$

由公式(15)得两个有效方程，如式(16)所示。

$\left\{\begin{array}{c}{x}_n=\frac{r_{11}{X}_w+r_{12}{Y}_w+t_x}{r_{31}{X}_w+r_{32}{Y}_w+t_z}\\ y_n=\frac{r_{21}{X}_w+r_{22}{Y}_w+t_y}{r_{31}{X}_w+r_{32}{Y}_w+t_z}\end{array}\right.---\left(16\right)$

其中，t_z为比例因子，则式(16)只有8个未知参数。只需根据四个角点和成像点的对应关系联立方程组进行求解，如式(17)所示。

$\left[\begin{array}{cccccccc}{X}_{w1}& Y_{w1}& 1& 0& 0& 0& -X_{w1}{x}_{n1}& -Y_{w1}{x}_{n1}\\ X_{w2}& Y_{w2}& 1& 0& 0& 0& -X_{w2}{x}_{n2}& -Y_{w2}{x}_{n2}\\ X_{w3}& Y_{w3}& 1& 0& 0& 0& -X_{w3}{x}_{n3}& -Y_{w3}{x}_{n3}\\ X_4& Y_{w4}& 1& 0& 0& 0& -X_{w4}{x}_{n4}& -Y_{w4}{x}_{n4}\\ 0& 0& 0& X_{w1}& Y_{w1}& 1& -X_{w1}{y}_{n1}& -Y_{w1}{y}_{n1}\\ 0& 0& 0& X_{w2}& Y_{w2}& 1& -X_{w2}{y}_{n2}& -Y_{w2}{y}_{n2}\\ 0& 0& 0& X_{w3}& Y_{w3}& 1& -X_{w3}{y}_{n3}& -Y_{w3}{y}_{n3}\\ 0& 0& 0& X_{w4}& Y_{w4}& 1& -X_{w4}{y}_{n4}& -Y_{w4}{y}_{n4}\end{array}\right]\left[\begin{array}{c}{r}_{11}^{\′}\\ r_{12}^{\′}\\ t_x^{\′}\\ r_{21}^{\′}\\ r_{22}^{\′}\\ t_y^{\′}\\ r_{31}^{\′}\\ r_{32}^{\′}\end{array}\right]=\left[\begin{array}{c}{x}_{n1}\\ x_{n2}\\ x_{n3}\\ x_{n4}\\ y_{n1}\\ y_{n2}\\ y_{n3}\\ y_{n4}\end{array}\right]---\left(17\right)$

由该方程组得R′₁、R′₂和t′，由变换矩阵中旋转分量的正交性。可进一步求得R′₃＝R′₁×R′₂，根据R的单位正交性，||R₁||＝||t_ZR′₁||＝t_Z||R′₁||＝1，则[R  t]＝(1/||R′₁||)[R′t′]，从而得到摄像头坐标系和参考坐标系之间的变换关系——摄像头外参，即为三维注册矩阵。

步骤9.2：用真实摄像头的内外参设定虚拟摄像头的内外参，对虚拟三维运动物体进行投影，并通过显示设备输出；

此时用真实摄像头的内外参设定虚拟摄像头的内外参，对虚拟物体(本实施方式为正方体模型)进行投影，并通过显示设备(本实施方式为显示器)输出，然后对每一帧图像用本方法更新注册信息，便可以实现跟踪注册，达到对真实场景的增强效果。本实施方式增强现实注册结果通过显示器输出，在识别出的三维运动物体(轿车A)上叠加显示正方体模型。

步骤9.3：对每一帧图像执行步骤9.1～9.2，更新注册信息，实现跟踪注册；

步骤9.4：完成对基于无标记的三维运动物体的增强现实注册。

Claims (6)

1.一种基于无标记的三维运动物体增强现实注册方法，其特征在于：包括以下步骤：

步骤1：建立模型数据库；

步骤1.1：拍摄各个待识别三维物体，获取各个待识别三维物体的不同角度的多张视图；

步骤1.2：对获取的多张视图进行数据处理，包括特征提取和特征匹配，得到各个视图的特征匹配结果；

步骤1.3：利用2D射影变换求解特征匹配的元素集合的3D不变量；

步骤1.4：将得到的3D不变量与哈希表相结合，得到一个以3D不变量为索引的模型数据库；

步骤2：拍摄当前三维运动物体，获取视频图像；

步骤3：采用自适应背景差法对当前帧图像中的三维运动物体进行检测；

步骤4：对检测出的三维运动物体进行基于3D不变量的三维运动物体识别；

步骤4.1：根据当前视频帧图像和上一视频帧图像，利用2D射影变换求解得到三维运动物体的3D不变量集合；

步骤4.2：对三维运动物体的3D不变量集合进行模型数据库索引表访问，对该数据库的各索引中的各个3D不变量进行投票并对各索引中的得票进行统计；

步骤4.3：得票的统计结果超过阈值的索引在模型数据库中所对应的模型即当前三维运动物体的匹配模型，此时完成基于3D不变量的三维物体识别；

步骤5：利用Harris角点检测算法对已识别的三维运动物体进行特征点检测；

步骤6：利用光流跟踪算法对特征点检测后的三维运动物体进行特征点跟踪：若跟踪上的特征点大于F个，20<F<60，执行步骤7，否则返回步骤5；

步骤7：通过极几何约束进行特征点重建，得到宽基线条件下的角点匹配图像对；

步骤8：剔除宽基线条件下的角点匹配图像对中的误匹配图像对；

步骤9：通过计算真实摄像头参数确定摄像头位姿，对三维运动物体进行实时增强现实注册。

2.根据权利要求1所述的基于无标记的三维运动物体增强现实注册方法，其特征在于：所述特征提取包括特征点提取和特征线提取，特征匹配包括特征点匹配和特征线匹配。

3.根据权利要求1所述的基于无标记的三维运动物体增强现实注册方法，其特征在于：所述步骤1.2对获取的多张视图进行数据处理，包括特征提取和特征匹配，得到各个视图的特征匹配结果，具体按如下步骤进行：

步骤1.2.1：对获取的多张视图去除噪声并进行灰度处理；

步骤1.2.2：提取特征点和特征线；

步骤1.2.3：对同一待识别三维物体的多张视图进行特征匹配，得到各个待识别三维物体不同视图的特征匹配结果；

步骤1.2.3.1：特征点匹配；

首先，采用灰度相关匹配法，对特征点进行模糊匹配，得到初始的匹配点集合；

然后采用松弛迭代法去除初始的匹配点集合中重复的匹配点；

步骤1.2.3.2：特征线匹配：采用位置相近准则、角度相似性准则、灰度相近性准则进行特征线匹配；

步骤1.2.4：得到各个待识别三维物体不同视图的特征匹配结果，即特征匹配的元素集合。

4.根据权利要求1所述的基于无标记的三维运动物体增强现实注册方法，其特征在于：所述步骤1.3利用2D射影变换求解特征匹配的元素集合的3D不变量，具体按如下步骤进行：

步骤1.3.1：从特征匹配的元素集合中选取实元素即可见元素或具有物理意义的元素，确定基准平面，做共面性检验，确立2D射影变换矩阵；

步骤1.3.2：构造特征匹配的元素集合中的虚元素，包括虚点元素和虚线元素，虚点元素即直线与平面的交点，虚线元素即平面与平面的交线；

步骤1.3.3：利用实元素和虚元素求解特征匹配的元素集合的3D不变量。

5.根据权利要求1所述的基于无标记的三维运动物体增强现实注册方法，其特征在于：所述步骤3采用自适应背景差法对当前帧图像中的三维运动物体进行检测，具体按如下步骤进行：

步骤3.1：对获取的视频图像进行预处理，包括去噪处理及灰度处理；

步骤3.2：对去噪处理及灰度处理后的视频图像，建立自适应背景模型；

步骤3.3：用当前帧图像与背景图像相减得到三维运动物体的前景图像并对其进行二值化处理，得到二值化的前景图像；

步骤3.4：利用腐蚀算子去除前景图像中孤立的噪声点；

步骤3.5：利用膨胀算子填补前景图像中的小孔，从而检测出完整的三维运动物体，得到完整的三维运动物体前景图像。

6.根据权利要求1所述的基于无标记的三维运动物体增强现实注册方法，其特征在于：所述步骤9通过计算真实摄像头参数确定摄像头位姿，对三维运动物体进行实时增强现实注册，具体按如下步骤进行：

步骤9.1：计算真实摄像头内参和外参，内参即世界坐标系与虚拟坐标系之间的变换矩阵，外参，即世界坐标系与摄像头坐标系之间的变换矩阵；

使用 ARToolKit对摄像头进行标定进而获得摄像头内参；

步骤9.2：用真实摄像头的内外参设定虚拟摄像头的内外参，对虚拟三维运动物体进行投影，并通过显示设备输出；

步骤9.3：对每一帧图像执行步骤9.1~9.2，更新注册信息，实现跟踪注册；

步骤9.4：完成对基于无标记的三维运动物体的增强现实注册。

Images