CN110378995A - 一种利用投射特征进行三维空间建模的方法 - Google Patents

Abstract

本发明公开了一种利用投射特征进行三维空间建模的方法，涉及三维成像数字建模技术领域。包括步骤：在空间中的两个不同位置分别拍摄一组由RGB图片及样本投射图片构成的位置图片，将位置图片进行特征点提取，然后将同一组位置图片进行特征点融合得到该位置的位置特征点，针对不同位置特征点进行SIFT算法进行匹配计算，利用SLAM算法计算不同组位置图片拍摄时的初始相机位置，利用SFM算法计算出精确的相机位置及稀疏点云，基于相机位置和稀疏点云进行三维结构化建模，最后进行三维场景贴图。本发明通过将样本投射图片和RGB照片的特征点相互融合，形成特征点的相互补充，解决了在颜色单一空间中提取的特征点较少，三维模型重建的难度大，效果较差的问题。

Description

一种利用投射特征进行三维空间建模的方法

【技术领域】

本发明涉及三维成像数字建模技术领域，具体涉及一种在颜色单一的空间中利用投射特征进行三维空间建模的方法。

【背景技术】

在使用球幕相机进行三维建模的过程中，因牵涉到即时定位与地图构建(SLAM)技术，球幕相机(一般都是双目或者多目)一直进行视频流的拍摄需要处理的数据量比较大，这样会给硬件造成非常大的负担，产生较大的发热现象，约几分钟到十几分钟电量将耗尽。其次，如果直接使用球幕相机进行空间定位，就必须利用球幕相机拍摄的视频流的帧图片，然后进行SLAM定位，但是这样的计算量大，占用大量的CPU资源，从而会增加巨大的电量消耗。此外，使用这种定位方式，球幕相机拍摄的视频流的帧图片之间在进行SLAM定位之前需

要进行拼接，会产生畸变；球幕相机进行SLAM定位时就需要向处理器回传数据，数据回传产生时差会导致实时预览延时。

为此，在即时定位与地图构建(SLAM)技术的基础上，发展出了基于视觉的即时定位与地图构建(VSLAM)技术。VSLAM的优点是它所利用的丰富纹理信息。例如两块尺寸相同内容却不同的广告牌，基于点云的激光SLAM算法无法区别他们，而视觉则可以轻易分辨。这带来了重定位、场景分类上无可比拟的巨大优势。同时，视觉信息可以较为容易的被用来跟踪和预测场景中的动态目标，如行人、车辆等，对于在复杂动态场景中的应用这是至关重要的。第三，视觉的投影模型理论上可以让无限远处的物体都进入视觉画面中，在合理的配置下(如长基线的双目相机)可以进行大场景的定位与地图构建。

即，传统三维空间建模的方式主要针对颜色信息丰富多元的场景。由于在颜色变化比较明显的空间场景中特征点数量多，可以提取大量的特征信息，从而使得重建的三维模型更加准确，即与现实场景更加一致。但在色彩比较单一的空间场景中(比如建筑工地、白色墙面、玻璃等)，由于颜色的跃迁不明显甚至没有颜色跃迁，难以获得足够的特征信息，以上述现有的即时定位与地图构建(SLAM)技术和基于视觉的即时定位与地图构建(VSLAM)技术来进行的三维模型重建的效果会大打折扣。产生上述问题的原因是上述现有的三维模型重建通过SIFT(Scale-invIRiant feature transform)方式在颜色单一的空间中提取的特征点比较少，三维模型重建的难度较大，效果较差。

【发明内容】

为了解决上述技术存在的缺陷，本发明提供一种在颜色单一的空间中利用投射特征进行三维空间建模的方法，包括步骤：

S1、在同一空间中的两个不同位置处分别拍摄一组位置图片，所述位置图片包含一张RGB图片及一张样本投射图片；

S2、将拍摄的RGB图片及样本投射图片分别进行特征点提取，将同一组所述位置图片的RGB图片和样本投射图片进行特征点融合，得到该位置下所摄场景中的特征点；

S3、针对不同位置下所摄场景中的特征点进行匹配计算，以及两组所述位置图片拍摄时的初始相机位置；

S4、计算精确的相机位置及稀疏点云，并进行三维结构化建模；

S5、进行三维场景贴图。

进一步地，对所述位置图片中的RGB图片和样本投射图片采用SIFT描述符进行特征点提取，同时分析每一个所述特征点的邻域，根据邻域控制所述特征点。

进一步地，所述样本投射图片是通过可见光投射器投射样本图案。

进一步地，所述可见光投射器为激光投影投射器,所述相机为球幕相机。

进一步地，在拍摄所述的RGB图片时，关闭所述可见光投射器。

进一步地，所述样本图案包含预先设置的特定特征点。

进一步地，所述特定特征点包含高亮点位或特殊形状点位。

进一步地，所述步骤S3还包括根据所述相机位置进行的闭环检测。

进一步地，所述闭环检测为：用当前算出所述相机位置与过去所述相机位置进行比较，检测距离差；若检测到两者的距离差在一定阈值范围内，就认为当前所述相机位置又回到过去所述相机位置，此时启动闭环检测。

进一步地，所述步骤S4的三维结构化建模具体包括步骤：

S4.1初步计算出所述相机位置，得到部分有噪音点的稀疏点云，用距离和重投影的方式进行滤波滤掉噪音点；

S4.2对稀疏点云做标记，并进行对应的标记；

S4.3以每个稀疏点云为起点，以对应的球幕相机作一条虚拟直线，多个所述虚拟直线经过的空间交织在一起，形成一个可视空间；

S4.4将被射线包围的空间抠出来；

S4.5基于图论最短路径的方式做闭合空间。

与现有技术相比，本发明的有益效果为：

在处理纯白墙或者玻璃这种场景的RGB照片时，特征点会比较少，本发明通过可见光投射器投射的样本图案则可以得到稳定的，数量比较多的特征点。样本投射图片的特征点的范围仅限于投射出去的可见光图案覆盖的区域，无法涵盖整个场景，而通过RGB图像的特征点则可以进行有效地补充，解决了在单调空间场景中难以稳定地进行三维重建的难题。

【附图说明】

图1一种利用投射特征进行三维空间建模的方法流程图

图2三维结构化建模流程图

【具体实施方式】

为使对本发明作进一步的了解，下面参照具体实施例对本发明作进一步说明：

本发明提供的一种利用投射特征进行三维空间建模的方法，包括步骤：

S1、在同一空间中的两个不同位置处分别拍摄一组位置图片，所述位置图片包含一张RGB图片及一张样本投射图片；

S2、将拍摄的RGB图片及样本投射图片分别进行特征点提取，将同一组所述位置图片的RGB图片和样本投射图片进行特征点融合，得到该位置下所摄场景中的特征点；

S3、针对不同位置下所摄场景中的特征点进行匹配计算，以及两组所述位置图片拍摄时的初始相机位置；

S4、计算精确的相机位置及稀疏点云，并进行三维结构化建模；

S5、进行三维场景贴图。

需要说明的是，对所述位置图片中的RGB图片和样本投射图片采用SIFT描述符进行特征点提取，同时分析每一个所述特征点的邻域，根据邻域控制所述特征点。特征点是曲率突变或者法向产生突变的地方。点云数据特征点提取方法有:基于曲率的边界边缘提取方法、基于特征值的边界边缘提取方法、基于邻域信息的边界边缘提取方法，三种方法都各自有其优缺点。Demarsin提出的三维点云数据封闭特征线的提取方法中，利用主成分分析计算点法向，然后，基于局部邻域的法向变换将点聚类，形成不同的簇。在进行特征点的判断过程中，采用的是通过两点的法向夹角和可接受的最大角度阈值进行比较的方法，此时的特征点是以一个聚类为单位进行判断的。聚类分析是一种数据探测工具，对于未分类样例是有效的，它的目标就是把对象分组成自然类别或基于相似性或距离的簇类，在对象类别未知的情况中，簇技术往往更为有效。所以，此类技术在即时定位与地图构建(SLAM)技术中得到了很广泛的应用。

需要说明的是，在步骤S3中，是利用SLAM算法计算不同组所述位置图片拍摄时的初始相机位置，在步骤S4中，是利用SFM算法计算出精确的相机位置及稀疏点云。经过SFM算法进一步对相机位置进行精确的定位，可以使在步骤S4中生成的三维模型更精确。以相机位置作为原点，建立相机坐标系，通过现有的相机标定程序或算法求出相机的内参矩阵。

所述的特征点为SIFT特征，匹配结果往往有很多误匹配，为了排除这些错误，这里使用了一些现有算法，比如Ratio Test方法和KNN算法，寻找与该特征最匹配的2个特征，若第一个特征的匹配距离与第二个特征的匹配距离之比小于某一阈值，就接受该匹配，否则视为误匹配。得到匹配点后，就可以使用OpenCV3.0中新加入的函数findEssentialMat()来求取特征矩阵，三维重建就是通过这些已知信息还原匹配点在空间当中的坐标，findEssentialMat函数可以表示如下：

findEssentialMat(InputArray points1,InputArray points2,

InputArray cameraMatrix,int method＝RANSAC,

double prob＝0.999,double threshold＝1.0,

OutputArray mask＝noArray())；

findEssentialMat函数主要功能在于从两幅图像中的相应点计算一个基本矩阵，其中points1代表第一幅图片的N个二维像素点，点坐标为单精度或双精度的浮点；points2代表第二幅图片的二维像素点，与points1同样大小和类型；cameraMatrix为相机矩阵，此时假设points1和points2是具有相同摄像机矩阵的摄像机的特征点；method为计算本特征矩阵的方法，在本实施例中采用RANSAC算法；prob表示为概率，用于特征矩阵计算方法的参数，主要估计矩阵正确的可信度；threshold用于RANSAC的参数，表示从点到极线的最大距离(以像素为单位)，超出此点时，该点被视为异常值，不用于计算最终的基本矩阵，可根据点定位精度，图像分辨率和图像噪声的不同进行设置；mask为输出N个元素的数组，其中每个元素对于异常值设置为0，对其他点设置为1。函数返回值为计算出的本特征矩阵，可进一步传递给decomposeEssentialMat或recoverPose以恢复相机之间的相对位置。

SFM算法是一种基于各种收集到的无序图片进行三维重建的离线算法。在进行核心的算法structure-from-motion之前需要一些准备工作，挑选出合适的图片。首先从图片中提取焦距信息(之后初始化BA需要)，然后利用SIFT等特征提取算法去提取图像特征，用kd-tree模型去计算两张图片特征点之间的欧式距离进行特征点的匹配，从而找到特征点匹配个数达到要求的图像对。对于每一个图像匹配对，计算对极几何，估计F矩阵并通过ransac算法优化改善匹配对。这样子如果有特征点可以在这样的匹配对中链式地传递下去，一直被检测到，那么就可以形成轨迹，得到精确的相机位置及稀疏点云。

点云为逆向工程中通过测量仪器得到的物体外观表面的点数据集合，通常使用三维坐标测量机所得到的点数量比较少，点与点的间距也比较大，叫稀疏点云；而使用三维激光扫描仪或照相式扫描仪得到的点云，点数量比较大并且比较密集，叫密集点云。

所述步骤S3还包括根据所述相机位置进行的闭环检测，该所述闭环检测为：用当前算出所述相机位置与过去所述相机位置进行比较，检测距离差；若检测到两者的距离差在一定阈值范围内，就认为当前所述相机位置又回到过去所述相机位置，此时启动闭环检测。

需要进一步说明的是，本发明为基于空间信息而非时间序列的闭环检测。

进一步地，在本发明的优选实施例中，样本投射图片是通过可见光投射器投射样本图案。该可见光投射器为激光投影投射器,相机为球幕相机。样本图案包含预先设置的特定特征点，该特定特征点包含高亮点位或特殊形状点位。举例来说，不可见光投射器发出的不可见光的特定特征点可以预设为例如“星星”或者是“龙”等图案的形状，在图案中的点是有特定分布的，比如一个高亮的点位，它左边有点，右边有点，或者上面有点，当在拍摄的环境当中可以顺着预设图案时所设定的特定特征点去寻找特征点的位置。同时，由于图案是预设的，因此可以知道图案中的特征点数量，可以藉此设定一个最少匹配到特征点的数量，例如预设了100个特征点，可以设定图像在辨识时至少要能找到70个点或80个点来确保图像撷取的稳定性，甚至尽可能多的去寻找特征点。

此外，在更进一步的作法中，可以在空间中同一个位置，投射不同的样本图案，得到在同一个位置不同的两组甚至更多组的样本图案，再根据不同组样本图案特征提取结果分别进行计算，将计算结果进行互相比对获得更高精确度的结果。

此外，也可以将上述作法应用到空间中的不同位置，例如预先设置了多组样本图案，在空间中的第一位置投射了第一样本图案，然后在空间中第二位置投射第二样本图案…以此类推，样本图案可以交替使用或循环使用，然后根据不同样本图案获得的特征点撷取结果进行运算。由于每组样本图案中特征点的设置方式不同，因此可以有效的避免当其中一组样本图案在特征点设置不明显时，重复使用同一组样本图案造成运算上的误差。

为保证在同一位置处拍摄的一组位置图片中的RGB图片与样本投射图片的拍摄在一个方位角度上，用于拍摄位置图片的相机和可见光投射器设置在同一个立架上，在拍摄RGB图片时，需要关闭可见光投射器，避免干扰；更清楚的说，拍摄RGB图片或样本投射图片，可以通过同一台相机拍摄，也可以利用不同相机拍摄，但拍摄RGB图片是必须为球幕相机，同时在拍摄RGB图片时，可见光投射器需要是在关闭状态，而拍摄样本投射图片时，可以是球幕相机，也可以是其他相机，主要是利用拍摄后的样本投射图片进行特征点提取与分析计算，因此在拍摄样本投射图片时可见光投射器需要在开启状态。

需要说明的是，所述步骤S4的三维结构化建模具体包括步骤：

S4.1初步计算出所述相机位置，得到部分有噪音点的稀疏点云，用距离和重投影的方式进行滤波滤掉噪音点；

S4.2对稀疏点云做标记，并进行对应的标记；

S4.3以每个稀疏点云为起点，以对应的球幕相机作一条虚拟直线，多个所述虚拟直线经过的空间交织在一起，形成一个可视空间；

S4.4将被射线包围的空间抠出来；

S4.5基于图论最短路径的方式做闭合空间。

具体地，RGB图片为球幕照片，即提供球幕相机来拍摄完成，三维场景贴图为利用球幕照片进行贴图。

综上所述，本发明通过可见光投射器投射的样本图案在处理纯白墙或者玻璃这种特征点较少的场景时，样本投射图片上可以得到稳定的，数量比较多的特征点。样本投射图片的特征点的范围仅限于投射出去的可见光图案覆盖的区域，无法涵盖整个场景，而通过相机拍摄的RGB图像上的特征点则可以进行有效地补充，解决了在单调空间场景中难以稳定地进行三维重建的难题。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内，本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (10)

1.一种利用投射特征进行三维空间建模的方法，其特征在于，包括步骤：

S1、在同一空间中的两个不同位置处分别拍摄一组位置图片，所述位置图片包含一张RGB图片及一张样本投射图片；

S2、将拍摄的RGB图片及样本投射图片分别进行特征点提取，将同一组所述位置图片的RGB图片和样本投射图片进行特征点融合，得到该位置下所摄场景中的特征点；

S3、针对不同位置下所摄场景中的特征点进行匹配计算，以及计算两组所述位置图片拍摄时的初始相机位置；

S4、计算精确的相机位置及稀疏点云，并进行三维结构化建模；

S5、进行三维场景贴图。

2.根据权利要求1所述的利用投射特征进行三维空间建模的方法，其特征在于，对所述位置图片中的RGB图片和样本投射图片采用SIFT描述符进行特征点提取，同时分析每一个所述特征点的邻域，根据邻域控制所述特征点。

3.根据权利要求1所述的利用投射特征进行三维空间建模的方法，其特征在于，所述样本投射图片是通过可见光投射器投射样本图案。

4.根据权利要求3所述的利用投射特征进行三维空间建模的方法，其特征在于，所述可见光投射器为激光投影投射器,所述相机为球幕相机。

5.根据权利要求4所述的利用投射特征进行三维空间建模的方法，其特征在于，在拍摄所述的RGB图片时，关闭所述可见光投射器。

6.根据权利要求3所述的利用投射特征进行三维空间建模的方法，其特征在于，所述样本图案包含预先设置的特定特征点。

7.根据权利要求6所述的利用投射特征进行三维空间建模的方法，其特征在于，所述特定特征点包含高亮点位或特殊形状点位。

8.根据权利要求1所述的利用投射特征进行三维空间建模的方法，其特征在于，所述步骤S3还包括根据所述相机位置进行的闭环检测。

9.根据权利要求8所述的利用投射特征进行三维空间建模的方法，其特征在于，所述闭环检测为：用当前算出所述相机位置与过去所述相机位置进行比较，检测距离差；若检测到两者的距离差在一定阈值范围内，就认为当前所述相机位置又回到过去所述相机位置，此时启动闭环检测。

10.根据权利要求9所述的利用投射特征进行三维空间建模的方法，其特征在于，所述步骤S4的三维结构化建模具体包括步骤：

S4.1初步计算出所述相机位置，得到部分有噪音点的稀疏点云，用距离和重投影的方式进行滤波滤掉噪音点；

S4.2对稀疏点云做标记，并进行对应的标记；

S4.3以每个稀疏点云为起点，以对应的球幕相机作一条虚拟直线，多个所述虚拟直线经过的空间交织在一起，形成一个可视空间；

S4.4将被射线包围的空间抠出来；

S4.5基于图论最短路径的方式做闭合空间。