CN1963390A - 一种便捷高效的三维测量方法 - Google Patents

Abstract

本发明提供了一种精确高效地进行非接触式三维测量的方法。用户用手持摄像机对所要测量的目标进行运动拍摄，并在摄像机视野内的合适位置放置标志物。拍摄得到的视频序列传入计算机，经过特征点跟踪、关键帧提取、射影重建、自标定、欧拉重建等一系列步骤，所拍摄场景的三维结构被精确地恢复，其中包括了测量目标和标志物。三维结构的尺度可以由标志物的几何信息确定。用户在图片上选择要测量的两个点，其对应的三维空间点的距离可以被自动计算出来。

Description

一种便捷高效的三维测量方法

技术领域

本发明涉及对目标进行非接触式的三维测量，尤其适用于测量不易接触、距离较远或场景复杂的目标，具有较高的精确度。

背景技术

测量技术在国民经济建设中发挥了相当重要的作用，它通过测量距离、角度等获得目标的几何信息，广泛应用于工程设计、辅助施工、结构评估、变形监测等工作。常用的测量方法有：1.借助量具进行直接测量，如钢尺、标干、测钎和垂球等，以钢尺量距为例，需要经过定线打桩、量距、测量桩顶高程、计算尺段长度，最后获得距离值。2.利用光学光电精密仪器：如光电测距仪、光学经纬仪、精密水准仪等，以光电测距仪为例，欲测定A、B两点间的距离，将仪器安置于A点，反射镜安置于B点。仪器发射的调制由A至B，经反射后返回到仪器，测出该调制光波在测线上往返传播所产生的相位移，以测定距离。3.GPS卫星定位测量，通过空间21颗工作卫星和地面监控站的协同工作，用户使用两台或两台以上测量型GPS接收机同步观测，对观测值进行处理，可得到两测量点间精密的WGS-84基线向量，再经过平差、坐标传递、坐标转换等工作，最终得到测点的坐标。

上述测量方法在操作性和精确性上各有优劣，但有着共同的局限性。首先，它们每次均只能对某一个特征量进行测量，不能同时对某一目标的许多个特征量进行测量，比如要测量某一个房屋的长、宽、高以及不同部位之间的距离，就必须反复布局，多次测量，这势必增大了工作量。其次，它们必须对可接触到目标进行测量，因为仪器要安放在被测量目标的某一点，如果目标较远、不易接近或地形复杂难以布局，就会增大测量的难度和误差。因此，很有必要提出一种能同时获得目标多方面测量信息的非接触式三维测量方法，以提高测量的效率以及在特定条件下测量的简易性和精确性。

发明内容

本发明提供了一种方法，用于进行非接触式的三维测量，能克服上述各种测量方法的局限性，包括以下步骤：

(a)在被测量目标所在场景中放置标志物；

(b)用手持摄像机对场景进行拍摄；

(c)将视频序列输入计算机进行三维重建，获得场景的精确三维结构；

(d)通过标志物的几何信息确定重建三维结构的尺度。

(e)通过带尺度的重建结果对目标进行测量。

在上述步骤(a)中，使用的标志物是具有特定几何信息的物体，即标志物上有若干标志点，这些标志点之间的距离是已知并且恒定的。要保证标志物所在位置在拍摄中不始终遮挡测量目标的某一部分，且不能离摄像机的距离太近以避免产生畸变。

在上述步骤(b)中，使用普通的手持摄像机进行连续拍摄，拍摄过程必须是运动的，但速度要均匀，避免剧烈抖动，保证测量目标和标志物位于视场中。不用事先对摄像机进行标定，即摄像机的内部参数为未知。

在上述步骤(c)中的第一步，运用KLT跟踪算法，对视频序列中的特征点进行提取和跟踪，并利用生命周期和对极几何约束对跟踪结果进行过滤和优化，得到可靠度极高的优良的特征点轨迹，这些轨迹表示了特征点在各帧图像上的坐标；运用GRIC判别标准，从连续帧中选取有一定视差且具有足够基线宽的图片作为关键帧。

在上述步骤(c)中的第二步，利用关键帧和特征点轨迹进行射影重建。采用顺序型方法，首先使用RANSAC去掉头两幅关键帧的野点(即错误的匹配点)，然后用归一化8点法计算该两帧的基本矩阵F的初值，再用MLE最大似然估计对F进行优化，得到精确的基本矩阵F。接下来利用基本矩阵F构造头两幅关键帧的投影矩阵并三角化初始的空间点，再利用已有空间点计算新关键帧的投影矩阵并三角化新的空间点，以此进行空间结构扩展，同时对已重建的空间点进行优化，以减小空间点在所有旧关键帧上的重投影误差。因为摄像机未标定，最后得到是射影坐标系下的三维结构。

存上述步骤(c)中的第三步，通过自标定方法进行欧拉重建。首先对摄像机投影矩阵进行归一化，然后计算对偶绝对二次曲面Ω^*，在计算中采用5参数来表示4×4的对称矩阵Ω^*，最后通过分解Ω^*得到射影空间到欧拉空间的变换矩阵T，将射影坐标系下的三维结构乘以T变换到欧拉坐标系下，完成欧拉重建。

在上述步骤(c)中的第四步，对重建结果进行全局优化。全局优化采用了在高维参数空间中具有强劲搜索能力的方法“集束调整”，共进行两次，分别是对射影重建和欧拉重建的结果进行优化，将重投影误差降到最小值。

在上述步骤(d)中，通过欧拉重建结果中标志物的几何信息及其实际的几何信息，确定重建结构单位长度所对应实际几何尺寸，将其转化为带尺度的三维结构。

在上述步骤(e)中，欲测量场景中两点之间的距离，在视频序列的任一帧图像上选中这两个点，其对应于重建结构中的三维空间点也随之确定，则该两点的实际几何距离可以直接通过带尺度的重建结果计算出。

本发明是通过对目标场景的重建，获得精确的三维空间结构，可以同时对目标场景的任意距离进行评估，极大提高了测量效率。并且由于采用了摄像机进行拍摄，操作人员不必接近测量目标，只需要让其位于摄像机的视场中，因此不受场地条件限制，大大降低了测量的难度。

附图说明

通过实例，结合附图来说明本发明的实施例，其中：

图1是体现了本发明的非接触型测量方法的示意性框图；

图2是体现了本发明的标志物范例的示意图；

图3是体现了本发明利用重建结果进行测量的示意框图。

具体实施方式

在下面详细叙述的实施例中，本发明提供的方法完成了对一个特定目标的非接触式测量，该目标为一栋待评估的房屋。

首先选择一个带有标志点的标杆作为标志物，放置于摄像机和房屋的中间位置，标杆上标志点的距离是已知的。然后用普通家用手持摄像机对房屋进行拍摄，运动路线最好为弧线，从房屋的左前方走到右前方，并保证房屋和标志物始终位于视场中。拍摄一段时间为20秒，约500帧的视频序列。

将视频序列输入计算机进行处理。首先使用KLT特征***对500帧的视频进行跟踪，得到约9000条不同长度的特征点轨迹。这些轨迹中有很大一部分长度比较短或者中间包含了野点，因此很不可靠，必须去除。选择生命周期为20帧，这样凡是长度低于20帧的轨迹都被滤掉，这些轨迹往往跟踪到的是特征很不明显的点。利用对极几何约束，可以去除野点。在计算机视觉多是几何理论中，两幅图的关系可以用基本矩阵F来描述。两幅图的对应点x→x′满足关系x′^T Fx＝0。更进一步地，对于第一幅图上的点x，它在第二幅图上对应的极线l′＝Fx，同样对于x′有l＝F^Tx′。对极几何约束就是对匹配点的几何距离δ进行判别，δ定义为

δ＝d(x_i′，Fx_i)²+d(x_i，F^Tx_i′)²               (1)

如果δ大于了一定的域值(这里为0.5个像素)，就认为该匹配点不满足对极几何的关系，即判别为“野点”，若某条轨迹出现了野点，就视为不可信赖的轨迹，将其出现野点以后的部分截去，保留前面正确的部分。然后再用生命周期过滤一遍，这样得到约5000个长度足够长且优良度很高的特征点轨迹。

接下来对所有连续帧进行处理，因为连续两帧的视差很小，基线很短，在三角化空间点时会引入较大的误差，即所谓“窄基线”问题。所以必须挑选有足够基线宽度的关键帧来进行重建。采用GRIC判别标准挑选关键帧，基本矩阵F和单应矩阵H两个模型都可以用来描述两幅图的关系，基线窄的用H描述更适合。GRIC标准基于两幅图的匹配点分别计算两种模型的分数，分数低的模型更符合数据

$\mathrm{GRIC}=\mathrm{\Σ\ρ}\left(e_i^2\right)+(\mathrm{nd}\ln r+k\ln \mathrm{rn})---\left(2\right)$

r是数据的维数，n是特征点的总个数。当基线足够长，即F更符合描述两幅图的关系，则GRIC(F)的分数比GRIC(H)低。所以从第i＝0帧开始，当GRIC(F_ij)＜GRIC(H_ij)时选择第j帧作为下一关键帧，从第i＝j帧继续往下计算，最终，从500幅连续帧中挑选出98幅关键帧。

射影重建是基于上述得到的4000条特征点轨迹和98幅关键帧进行的。首先是要精确计算头两幅关键帧的基本矩阵。因为仍然不可避免地存在野点，所以需要用RANSAC算法去除野点，获得尽可能大的内点(正确的匹配点)集合。这是一个迭代的过程，先随机选取7对匹配点计算基本矩阵

然后计算每对匹配点的重投影误差d_⊥

$d_{\⊥}=\underset{i}{\mathrm{\Σ}}d(x_i,{\hat{x}}_i{)}^2+d{(x_i^{\′},{\hat{x}}_i^{\′},)}^2---\left(3\right)$

计算重投影误差d_⊥＜0.5像素的内点的个数。重复500次，选样最大的内点集合。然后选取这个内点集合的8对匹配点线性地计算基本矩阵初值F。最后利用MLE极大似然估计的方法，通过最小化所有匹配点重投影误差的平方和：

$\underset{i}{\overset{n}{\mathrm{\Σ}}}d{(x_i,{\hat{x}}_i)}^2+d{(x_i^{\′},{\hat{x}}_i^{\′})}^2---\left(4\right)$

来对F进行优化，得到基本矩阵的最佳估计值。

头两个关键帧的投影矩阵通过已获得的基本矩阵来搭建。第一个关键帧为P＝[I|0]，第二个关键帧为P′＝[[e′]_xF|e′]，e′是第二个关键帧上的极点，它和F的关系是F^Te′＝0。对于空间点X的初始化，通过头两个关键帧上的匹配点x→x′和两个投影矩阵P，P′三角化来得到，即解线性方程组：

x×(PX)＝0

x′×(P′X)＝0                                (5)

对每一个新的关键帧k，先通过已重建的空间点计算其投影矩阵，再三角化新的空间点。已重建的空间点中有一部分在新关键帧中仍然可见，它们与新关键帧上的对应点组成3D-2D匹配。先用所有的3D-2D匹配点通过方程(6)计算投影矩阵P_k的初值

x＝PX                                         (6)

再次利用RANSAC方法寻找最大的3D-2D内点集合，然后在这个内点集合的基础上通过最小化式子(7)优化P_k

∑d(P_kX，x)²                                   (7)

然后利用新关键帧P_k，前一关键帧P_k-1，和这两帧中新的匹配点x_k-1→x_k通过(5)式三角化新的空间点。同时要对已有的空间结构进行优化，以减小空间点在当前所有关键帧上的重投影误差。求解加权线性方程组

$\frac{1}{P_3\tilde{X}}\left[\begin{array}{c}{P}_{3}a-P_1\\ P_{3}b-P_2\end{array}\right]X=0---\left(8\right)$

可以得到X的最佳值。这里

是优化以前X的值，P_i是P的第i行，(a，b)是点在图像上的坐标。对所有关键帧处理完之后，射影坐标系下的场景结构重建完成。

射影坐标系并非对真实世界的表述，射影重建结果必须被转换到欧拉坐标系下才有测量的意义，这通过自标定实现。对偶绝对二次曲面Ω^*在射影坐标系下可以表示为4×4秩为3的对称矩阵，而存欧拉坐标系下Ω^*恒等于对角矩阵diag(1，1，1，0)。自标定的目标是计算射影坐标系下Ω^*的值，并找到能将其变换为diag(1，1，1，0)的转换矩阵T。根据PΩ^*P^T∝KK^T，且PO＝[I|0]，Ω^*可以设定为

${\mathrm{\Ω}}^{*}=\left[\begin{array}{cc}K{K}^T& a\\ a^T& b\end{array}\right]---\left(9\right)$

其中a＝[a₁，a₂，a₃]^T，K是摄像机的内参数。对K施加强约束，即仅焦距f为未知，则Ω^*可以用f，a₁，a₂，a₃，b5个参数来表示：

${\mathrm{\Ω}}^{*}=\left[\begin{array}{cccc}{f}^2+\frac{1}{4}{w}^2& \frac{1\mathrm{wh}}{4}& \frac{1}{2}w& a_1\\ \frac{1}{4}\mathrm{wh}& f^2+\frac{1}{4}{h}^2& \frac{1}{2}h& a_2\\ \frac{1}{2}w& \frac{1}{2}h& 1& a_3\\ a_1& a_2& a_3& b\end{array}\right]---\left(10\right)$

其中w和h分别为图像的宽和高。迭代地求解方程组(11)，可以求得Ω^*

$\frac{1}{9v}(P_1{\mathrm{\Ω}}^{*}{P}_1^T-P_3{\mathrm{\Ω}}^{*}{P}_3^T)=0$

$\frac{1}{9v}(P_2{\mathrm{\Ω}}^{*}{P_2}^T-P_3{\mathrm{\Ω}}^{*}{P_3}^T)=0$

$\frac{1}{9v}(P_1{\mathrm{\Ω}}^{*}{P_1}^T-P_2{\mathrm{\Ω}}^{*}{P_2}^T)=0$

$\frac{1}{0.01v}\left(P_1{\mathrm{\Ω}}^{*}{P_2}^T\right)=0---\left(11\right)$

$\frac{1}{0.1v}\left(P_1{\mathrm{\Ω}}^{*}{P_3}^T\right)=0$

$\frac{1}{0.1v}\left(P_2{\mathrm{\Ω}}^{*}{P_3}^T\right)=0$

这里P_i是投影矩阵P的第i行，v开始设成1，然后等于P₃Ω^*P₃ ^T。经过5次迭代之后，求解出Ω^*的5个参数。分解Ω^*已获得符合(12)式的变换矩阵T：

                    diag(1，1，1，0)＝TΩ^*T^T            (12)

最后欧拉坐标系下的空间点坐标X_M可以通过(13)式得到

                    X_M＝TX                              (13)

对最后得到的重建结果要进行全局的优化，将重投影误差降低到最低值，以提高测量的精度。本实例中关键帧有98幅，每一幅的投影矩阵有11个自由度，空间点有约5000个，每个点有3个自由度，则在优化时需要在98×11+5000×3＝16078个参数的高维参数空间进行搜索。这里使用基于Sparse Levenberg-Marquardt算法的集束调整方法基于方程(14)进行全局优化。

$(J_g^T\left(x\right)J_g\left(x\right)+{\mathrm{\λ}}^{\′}I)\mathrm{\δx}=-J_g^T\left(x\right)g\left(x\right)---\left(14\right)$

g(x)是给出的费用方程(即重投影误差)，J_g(x)是g(x)的雅可比行列式。这里需要对射影重建和欧拉重建的结果分别进行一次全局优化，最后得到相当精确的重建结果，重投影误差为0.25个像素。

欧拉重建的场景中包括了目标房屋和标志物，但此时重建的空间结构是没有尺度的，只是在比例上符合真实世界的情况。这里利用标志物已知的几何信息，在图片上选中其中两个标志点，由两个标志点对应于重建结果中的空间点坐标可以计算它们的在欧拉坐标系中的距离l′，然后将已知的标志点实际距离l和l′的比值l/l′作为场景重建结构的尺度。

重建出了带尺度的房屋的结构，就等于获得了房屋的所有几何信息。例如，欲测量房屋的高度，只需在图片上选择房屋顶部和底部的特征点，它们在重建结果中对应的空间点也随之确定，两点间的距离即可以自动算出。同样的方法可以测量房屋宽度、窗户的间隔、楼层高度等等。

从以上实例可以看出，本发明所提供的方法对目标进行一次重建就可以同时测量目标的各种几何信息，避免了多次布局、重复劳动。测量人员不需要接近测量目标，提高了在某些环境复杂或危险的情况下进行测量的安全性。并且本发明所提供的方法使测量在时间和空间上都可以分离，即测量人员可以在拍摄完视频序列后，拿到不同的地点在不同的时间进行测量，极大提高了测量的灵活性。

本发明并不局限于上述具体实施方式。例如，标志物可以选用带标志点的平板或支架。还可以用高质量的摄像头代替摄像机进行拍摄，这就需要用数据线实时地把视频序列传入电脑中。在自标定时还可以选用全参数法(即用10个参数)来求解对偶绝对二次曲面。

Claims (10)

1.一种用于非接触式三维测量的方法，包括下列步骤：

(a)在被测量目标所在场景中放置标志物；

(b)用手持摄像机对场景进行拍摄；

(c)将视频序列输入计算机进行三维重建，获得场景的精确三维结构；

(d)通过标志物确定重建三维结构的尺度。

(e)通过带尺度的重建结果对目标进行测量。

2.如权利要求1所述的方法，其中步骤(a)包括：标志物是具有特定几何特征的物体，即标志物上有若干标志点，这些标志点的距离是已知的。标志物在场景中的位置要确保在摄像机的视野中，不能遮挡测量目标，也不能离摄像机太近以免形状产生畸变。

3.如权利要求1所述的方法，其中步骤(b)包括：用手持摄像机对目标场景连续拍摄，拍摄必须是运动的，运动要求速度均匀且避免剧烈抖动，保证目标场景和标志物始终在视野范围内。其中不需要对手持摄像机进行标定，即在摄像机的内参数完全未知的情况下对视频序列进行处理。

4.如权利要求1所述的方法，其中步骤(c)包括：首先对视频序列进行特征点提取和跟踪并选取关键帧；其次利用关键帧和特征点轨迹进行射影重建；然后通过自标定方法进行欧拉重建；最后对结果进行全局优化。

5.如权利要求1所述的方法，其中步骤(d)包括：通过重建结果中标志物的几何信息及其实际的几何信息，计算重建结构的单位长度所对应实际几何尺寸，确定场景重建结构的尺度。

6.如权利要求1所述的方法，其中步骤(e)包括：选取图片上欲测量的两点，其对应于重建结果中三维空间点的位置也随之确定，可以通过重建结构的尺度计算该两点间的实际几何距离。

7.如权利要求4所述的方法，其中特征点的提取与跟踪运用了KLT跟踪算法，并利用生命周期和对极几何约束对跟踪结果进行过滤和优化，得到可靠度极高的优良的特征点轨迹。关键帧的提取使用了GRIC判别标准，从连续帧中选取有一定视差且具有足够基线宽的图片作为关键帧。

8.如权利要求4所述的方法，其中射影重建过程使用了顺序型方法，首先使用RANSAC方法去掉头两幅关键帧的野点(即错误的匹配点)，然后用归一化8点法计算F的初值，再用MLE最大似然估计对F进行优化，获得头两幅关键帧精确的基本矩阵F。接下来利用F进行坐标系搭建和结构初始化，再利用新的关键帧进行结构扩展。每次拓展结构的同时还要对已重建的结构进行优化，以减小空间点在所有旧关键帧上的重投影误差。最后得到完整的射影坐标系下的三维结构。

9.如权利要求4所述的方法，其中自标定过程先归一化摄像机投影矩阵，然后通过计算对偶绝对二次曲面Ω^*，得到射影空间到欧拉空间的变换矩阵，将射影坐标系下的三维结构变换到欧拉坐标系，完成欧拉重建。计算对偶绝对二次曲面Ω^*时使用5参数化的方法，把4×4的对称矩阵Ω^*用5个参数来表示，提高了计算的精确性。

10如权利要求4所述的方法，其中全局优化采用了在高维参数空间中具有强劲搜索能力的方法“集束调整”，共进行两次，分别是在射影重建后和欧拉重建后对结果进行优化，将重投影误差降到最小值。

Images