CN110956664A - 一种手持式三维扫描***的相机位置实时重定位方法 - Google Patents

Abstract

本发明提供了一种手持式三维扫描***的相机位置实时重定位方法，包括如下执行过程：在算法执行前，预先采集m帧RGB图像I，得到图像集A，A＝{I₁,I₂,...,I_m}，以及和I一一对应的点云P，得到点云集B，B＝{P₁,P₂,…,P_m}，P＝{p₁,p₂,...,p_N}，其中p＝(x,y,z)；在提取三维特征之前，进行了点云的去中心化和主成分分析，使得所有点云都位于世界坐标原点，并且主方向保持一致，尽量消除了各个点云位姿之间的差异。

Description

一种手持式三维扫描***的相机位置实时重定位方法

技术领域

本发明涉及手持式三维扫描仪技术领域，尤其涉及一种手持式三维扫描***的相机位置实时重定位方法。

背景技术

采用结构光的三维扫描一次只能扫描物体的一个侧面，要得到物体完整的形状信息，常常需要从物体的不同角度进行扫描，然后依靠相邻两组数据的重合部分将各侧面扫描到的数据依次进行坐标转换后，合成为同一坐标系的一组数据，即数据拼接。这就要求相邻的两组数据重合程序非常高，但是由于图像噪声，相机运动过快，相机运动模糊等原因，常常导致新采集的数据与原有数据重合程度过低，无法继续拼接，导致扫描中断，从而造成相机位置丢失。如果需要继续扫描，则需要在已有数据中找到与新采集数据重合程度最高的一组，并进行拼接，实现相机位置的重定位。

传统的重定位方法多采用暴力匹配或基于二维图像特征点的词袋模型方法。暴力匹配需要对每一帧进行匹配，计算量过大，无法满足实时性需求。基于二维图像特征点的词袋模型丢失了三维信息，并且丢失了各特征点之间的邻接关系，对旋转和缩放不够敏感，且受光照影响较大，因此使用该方法常常出现误判。

发明内容

本发明的目的在于针对上述现有技术的不足，提供了一种手持式三维扫描***的相机位置实时重定位方法，该方法同时使用修正后的二维特征以及三维特征进行图像和点云匹配，大大提高了重定位的准确度和灵敏度，能够在相机位置丢失后实时准确的进行相机位置的重定位，提升了用户体验和扫描效率。

为实现上述目的，本发明采用了如下技术方案：

本发明提供了一种手持式三维扫描***的相机位置实时重定位方法，包括如下执行过程：

在算法执行前，预先采集m帧RGB图像I，得到图像集A，A＝{I₁,I₂,…,I_m}，以及和I一一对应的点云P，得到点云集B，B＝{P₁,P₂,…,P_m}，P＝{p₁,p₂,…,p_N}，其中p＝(x,y,z)；

S1、对B中的每一帧点云P进行主成分分析：计算P的质心c，对P进行去中心化处理，即p₁＝p₁-c,p₂＝p₂-c,…,p_N＝p_N-c；

计算P的协方差矩阵COV，对COV进行特征值分解，得到3个特征向量v_x,v_y,v_z，对此3个特征向量进行校正，保证两两垂直，即v_x＝v_y×v_z,v_y＝v_x×v_z,v_z＝v_x×v_y；然后将校正后的v_x,v_y,v_z分别作为行向量组成特征向量矩阵R，通过R对P进行空间变换，即p₁＝p₁R^-1,p₂＝p₂R^-1,…,p_N＝p_NR^-1；其中：

S2、对B中的每一帧点云P，计算P的快速点特征直方图(Fast Point FeatureHistograms,FPFH)特征，得到P的FPFH特征集合M，M＝{m₁,m₂,…,m_n}，其中m＝(a₁,a₂,…,a₃₃)，m为FPFH特征描述向量；

S3、对A中的每一帧图像I，利用R进行透视变换；设(u,v)为原始图像像素坐标，w为原始图像宽度，(u',v')为变换后像素坐标，w'为变换后宽度，透视变换的计算公式为：[u',v',w']＝[u,v,w]R^-1；

S4、对A中的每一帧图像I，计算I的ORB(Oriented FAST and Rotated BRIEF)特征，得到I的ORB特征集合N，N＝{n₁,n₂,…,n_n}，其中n＝(b₁,b₂,…,b₃₂)，n为ORB特征描述向量。

进一步，将m个所述特征集合M集合到一起，利用K-Means算法构造一个包含K个词汇的单词表α₁,α₂,…,α_n，即FPFH特征词典D-FPFH，将D-FPFH保存到本地存储器。

进一步，将m个所述特征集合N集合到一起，利用K-Means算法构造一个包含K个词汇的单词表β₁,β₂,…,β_n，即ORB特征词典D-ORB，将D-ORB保存到本地存储器。

进一步，还包括如下执行过程：

S5、将D-FPFH和D-ORB从本地存储器加载到内存；

S6、对扫描后拼接成功的每一帧图像I和对应的点云P：依次执行步骤所述S1～S4；

S7、通过查找所述D-FPFH中的单词，点云P上提取的所述FPFH特征可以转换为单词表示：

1·α₁+1·α₂+0·α₃+…+1·α_n＝[α₁,α₂,…,α_n][1,1,0,…,1]；

因为D-FPFH是固定的，所以一帧点云就可以用向量简化表示：α＝[1,1,0,…,1]；

S8、通过查找所述D-ORB中的单词，图像I上提取的所述ORB特征可以转换为单词表示：

1·β₁+1·β₂+0·β₃+…+1·β_n＝[β₁,β₂,…,β_n][1,1,0,…,1]，

因为D-ORB是固定的，所以一帧图像就可以用向量简化表示：β＝[1,1,0,…,1]；

S9、将α放入集合A，将β放入集合B；

S10、若扫描未中断，循环执行步骤所述S6～S9；

S11、若扫描中断，将触发重定位功能，对新采集的一帧图像I'和点云P'，依次执行步骤所述S1～S4和所述S7～S8得到P'的简化表示向量α'和I'的简化表示向量β'；

S12、对A中的每一个α，计算α和α'的相似程度s_A，取s_A最高的一帧点云P和P'进行ICP(Iterative Closest Point)拼接，如果拼接成功，则说明重定位成功；其中：

S13、对B中的每一个β，计算β和β'的相似程度s_B，取s_B最高的一帧图像I对应的P和P'进行ICP(Iterative Closest Point)拼接，如果拼接成功，则说明重定位成功；其中：

S14、步骤所述S12和步骤所述S13同步进行，并行计算；

若其中一步计算结果显示重定位成功，则停止另一步的计算，并将α'放入集合A，将β'放入集合B，算法返回执行步骤S6；

S15、若步骤所述S14步之后重定位仍未成功，循环执行步骤所述S11～S13步，直到重定位成功。

本发明的有益效果为：

1)在提取三维特征之前，进行了点云的去中心化和主成分分析，使得所有点云都位于世界坐标原点，并且主方向保持一致，尽量消除了各个点云位姿之间的差异。

2)在提取二维图像特征之前，利用点云主成分分析得到的变换矩阵对图像进行了透视变换(使用点云主成分分析得到的变换矩阵对图像进行透视变换，避免了直接对图像进行角点检测来进行透视变换。因为直接对图像进行角点检测计算量过大且误差较大，甚至会导致错误的结果)，消除了因相机位姿的旋转导致的图像畸变，使得每一帧图像都处于同一拍摄角度下，从而大大提高了特征提取的准确度(直接使用原始图像进行特征提取常常导致同一物体因为相机拍摄角度的不同，造成图像畸变较大，从而无法准确进行相似度评价)。

3)提出了基于三维特征的三维特征词典，弥补了二维特征不具有深度信息的缺陷。

4)使用三维特征和二维特征同步进行重定位，弥补了单纯使用二维特征出现较多误判情况的缺陷和单纯使用三维特征丢失纹理信息的缺陷。本算法综合使用了二维特征具有丰富纹理的优势和三维特征具有深度信息的优势，算法实时性和准确度比传统算法只使用二维特征有了巨大的提升。

附图说明

图1为本发明的一种手持式三维扫描***的相机位置实时重定位方法的框图；

图2为实施例一的示意图之一；

图3为实施例一的示意图之二；

图4为实施例一的示意图之三；

图5为实施例一的示意图之四；

图6为实施例一的示意图之五；

图7为实施例一的示意图之六。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

一种手持式三维扫描***的相机位置实时重定位方法，包括如下执行过程：

在算法执行前，预先采集m帧RGB图像I，得到图像集A，A＝{I₁,I₂,…,I_m}，以及和I一一对应的点云P，得到点云集B，B＝{P₁,P₂,…,P_m}，P＝{p₁,p₂,…,p_N}，其中p＝(x,y,z)；

S1、对B中的每一帧点云P进行主成分分析：计算P的质心c，对P进行去中心化处理，即p₁＝p₁-c,p₂＝p₂-c,…,p_N＝p_N-c；

计算P的协方差矩阵COV，对COV进行特征值分解，得到3个特征向量v_x,v_y,v_z，对此3个特征向量进行校正，保证两两垂直，即v_x＝v_y×v_z,v_y＝v_x×v_z,v_z＝v_x×v_y；然后将校正后的v_x,v_y,v_z分别作为行向量组成特征向量矩阵R，通过R对P进行空间变换，即p₁＝p₁R^-1,p₂＝p₂R^-1,…,p_N＝p_NR^-1；其中：

S2、对B中的每一帧点云P，计算P的快速点特征直方图(Fast Point FeatureHistograms,FPFH)特征，得到P的FPFH特征集合M，M＝{m₁,m₂,…,m_n}，其中m＝(a₁,a₂,…,a₃₃)，m为FPFH特征描述向量；

S3、对A中的每一帧图像I，利用R进行透视变换；设(u,v)为原始图像像素坐标，w为原始图像宽度，(u',v')为变换后像素坐标，w'为变换后宽度，透视变换的计算公式为：[u',v',w']＝[u,v,w]R^-1；

S4、对A中的每一帧图像I，计算I的ORB(Oriented FAST and Rotated BRIEF)特征，得到I的ORB特征集合N，N＝{n₁,n₂,…,n_n}，其中n＝(b₁,b₂,…,b₃₂)，n为ORB特征描述向量。

将m个所述特征集合M集合到一起，利用K-Means算法构造一个包含K个词汇的单词表α₁,α₂,…,α_n，即FPFH特征词典D-FPFH，将D-FPFH保存到本地存储器。

将m个所述特征集合N集合到一起，利用K-Means算法构造一个包含K个词汇的单词表β₁,β₂,…,β_n，即ORB特征词典D-ORB，将D-ORB保存到本地存储器。还包括如下执行过程：

S5、将D-FPFH和D-ORB从本地存储器加载到内存；

S6、对扫描后拼接成功的每一帧图像I和对应的点云P：依次执行步骤所述S1～S4；

S7、通过查找所述D-FPFH中的单词，点云P上提取的所述FPFH特征可以转换为单词表示：

1·α₁+1·α₂+0·α₃+…+1·α_n＝[α₁,α₂,…,α_n][1,1,0,…,1]；

因为D-FPFH是固定的，所以一帧点云就可以用向量简化表示：α＝[1,1,0,…,1]；

S8、通过查找所述D-ORB中的单词，图像I上提取的所述ORB特征可以转换为单词表示：

1·β₁+1·β₂+0·β₃+…+1·β_n＝[β₁,β₂,…,β_n][1,1,0,…,1]，

因为D-ORB是固定的，所以一帧图像就可以用向量简化表示：β＝[1,1,0,…,1]；

S9、将α放入集合A，将β放入集合B；

S10、若扫描未中断，循环执行步骤所述S6～S9；

S11、若扫描中断，将触发重定位功能，对新采集的一帧图像I'和点云P'，依次执行步骤所述S1～S4和所述S7～S8得到P'的简化表示向量α'和I'的简化表示向量β'；

S12、对A中的每一个α，计算α和α'的相似程度s_A，取s_A最高的一帧点云P和P'进行ICP(Iterative Closest Point)拼接，如果拼接成功，则说明重定位成功；其中：

S13、对B中的每一个β，计算β和β'的相似程度s_B，取s_B最高的一帧图像I对应的P和P'进行ICP(Iterative Closest Point)拼接，如果拼接成功，则说明重定位成功；其中：

S14、步骤所述S12和步骤所述S13同步进行，并行计算；

若其中一步计算结果显示重定位成功，则停止另一步的计算，并将α'放入集合A，将β'放入集合B，算法返回执行步骤S6；

S15、若步骤所述S14步之后重定位仍未成功，循环执行步骤所述S11～S13步，直到重定位成功。

实施例一：

在Intel Core i5通用计算平台上安装搭载该算法的手持式三维扫描***进行连续扫描，由于用户操作失误导致扫描中断，如图2所示，此时触发重定位功能，用户将扫描设备对准之前扫描的任意部位，如图3所示，算法执行后，实现50ms左右对相机位置进行重定位(从图2中A处重定位到图3中B处)，使扫描继续进行。图4为重定位成功后验证二维图像匹配结果，图5为验证点云匹配结果，可以发现二维图像和点云匹配结果都符合实际情况。

使用传统词袋模型算法进行重定位，则出现误判，比如实际是同一位置但未成功识别，如图6所示，无法满足实际使用需求。但使用本算法在传统算法重定位失败的情况下，仍然通过点云重定位成功，如图7所示。

图4中a为已经扫描过的位置，图4中b为扫描中断后本算法重定位成功后的位置，图中横线连接了左右两幅图像的相似位置，可以发现左右两张图非常相似。

图5中深色为已经扫描过的点云，浅色为扫描中断后重定位成功后的点云，可以发现两帧点云出现大面积重叠。

图6c为已经扫描过的位置，图6d为扫描中断后用户扫描的位置，图中横线连接了左右两幅图像的相似位置，可以发现左右两张图差距较大，但拍摄的仍旧是同一个物体。

图7中深色为已经扫描过的点云，浅色为扫描中断后重定位成功后的点云，可以发现两帧点云出现大面积重叠。

以上所述实施例仅表达了本发明的实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (4)

1.一种手持式三维扫描***的相机位置实时重定位方法，其特征在于，包括如下执行过程：

在算法执行前，预先采集m帧RGB图像I，得到图像集A，A＝{I₁,I₂,…,I_m}，以及和I一一对应的点云P，得到点云集B，B＝{P₁,P₂,…,P_m}，P＝{p₁,p₂,...,p_N}，其中p＝(x,y,z)；

S1、对B中的每一帧点云P进行主成分分析：计算P的质心c，对P进行去中心化处理，即p₁＝p₁-c,p₂＝p₂-c,...,p_N＝p_N-c；

计算P的协方差矩阵COV，对COV进行特征值分解，得到3个特征向量v_x,v_y,v_z，对此3个特征向量进行校正，保证两两垂直，即v_x＝v_y×v_z,v_y＝v_x×v_z,v_z＝v_x×v_y；然后将校正后的v_x,v_y,v_z分别作为行向量组成特征向量矩阵R，通过R对P进行空间变换，即p₁＝p₁R^-1,p₂＝p₂R^-1,...,p_N＝p_NR^-1；其中：

S2、对B中的每一帧点云P，计算P的快速点特征直方图(Fast Point FeatureHistograms,FPFH)特征，得到P的FPFH特征集合M，M＝{m₁,m₂,...,m_n}，其中m＝(a₁,a₂,...,a₃₃)，m为FPFH特征描述向量；

S3、对A中的每一帧图像I，利用R进行透视变换；设(u,v)为原始图像像素坐标，w为原始图像宽度，(u',v')为变换后像素坐标，w'为变换后宽度，透视变换的计算公式为：[u',v',w']＝[u,v,w]R^-1；

S4、对A中的每一帧图像I，计算I的ORB(Oriented FAST and Rotated BRIEF)特征，得到I的ORB特征集合N，N＝{n₁,n₂,...,n_n}，其中n＝(b₁,b₂,...,b₃₂)，n为ORB特征描述向量。

2.根据权利要求1所述的一种手持式三维扫描***的相机位置实时重定位方法，其特征在于：将m个所述特征集合M集合到一起，利用K-Means算法构造一个包含K个词汇的单词表α₁,α₂,...,α_n，即FPFH特征词典D-FPFH，将D-FPFH保存到本地存储器。

3.根据权利要求2所述的一种手持式三维扫描***的相机位置实时重定位方法，其特征在于：将m个所述特征集合N集合到一起，利用K-Means算法构造一个包含K个词汇的单词表β₁,β₂,...,β_n，即ORB特征词典D-ORB，将D-ORB保存到本地存储器。

4.根据权利要求3所述的一种手持式三维扫描***的相机位置实时重定位方法，其特征在于，还包括如下执行过程：

S5、将D-FPFH和D-ORB从本地存储器加载到内存；

S6、对扫描后拼接成功的每一帧图像I和对应的点云P：依次执行步骤所述S1～S4；

S7、通过查找所述D-FPFH中的单词，点云P上提取的所述FPFH特征可以转换为单词表示：

1·α₁+1·α₂+0·α₃+...+1·α_n＝[α₁,α₂,...,α_n][1,1,0,...,1]；

因为D-FPFH是固定的，所以一帧点云就可以用向量简化表示：α＝[1,1,0,...,1]；

S8、通过查找所述D-ORB中的单词，图像I上提取的所述ORB特征可以转换为单词表示：

1·β₁+1·β₂+0·β₃+...+1·β_n＝[β₁,β₂,...,β_n][1,1,0,...,1]，

因为D-ORB是固定的，所以一帧图像就可以用向量简化表示：β＝[1,1,0,...,1]；

S9、将α放入集合A，将β放入集合B；

S10、若扫描未中断，循环执行步骤所述S6～S9；

S11、若扫描中断，将触发重定位功能，对新采集的一帧图像I'和点云P'，依次执行步骤所述S1～S4和所述S7～S8得到P'的简化表示向量α'和I'的简化表示向量β'；

S12、对A中的每一个α，计算α和α'的相似程度s_A，取s_A最高的一帧点云P和P'进行ICP(Iterative Closest Point)拼接，如果拼接成功，则说明重定位成功；其中：

S13、对B中的每一个β，计算β和β'的相似程度s_B，取s_B最高的一帧图像I对应的P和P'进行ICP(Iterative Closest Point)拼接，如果拼接成功，则说明重定位成功；其中：

S14、步骤所述S12和步骤所述S13同步进行，并行计算；

若其中一步计算结果显示重定位成功，则停止另一步的计算，并将α'放入集合A，将β'放入集合B，算法返回执行步骤S6；

S15、若步骤所述S14步之后重定位仍未成功，循环执行步骤所述S11～S13步，直到重定位成功。

Images