CN103424087B - 一种大尺度钢板三维测量拼接方法 - Google Patents

Abstract

本发明公开了一种大尺度钢板三维测量拼接***及方法，***包括两台背景投影仪，一台GPU服务器，以及一台三维扫描仪；三维扫描仪主要由一台投影仪和两台相机组成；两台相机均连接到服务器，所有投影仪均经由usb接口连接到服务器。方法，利用两台背景投影仪向被测钢板投射复杂的纹理；关闭三维扫描仪中的投影仪，用三维扫描仪中的两台相机拍摄钢板的纹理；关闭两台背景投影仪，打开三维扫描仪的投影仪；用两台相机拍摄钢板图像；服务器获取所拍摄到的钢板的三维数据；采用SIFT算法提取每一部分钢板与其相邻钢板的特征匹配点；采用RANSAC方法，获得整个钢板的三维数据。本发明能自动、及时、方便、精确地对大尺度船体钢板进行三维测量。

Description

一种大尺度钢板三维测量拼接方法

技术领域

本发明涉及一种大尺度钢板三维测量拼接***及方法，用于船舶制造过程中，对大尺度船舶钢板进行测量、拼接。

背景技术

船舶钢板的弯曲是船舶制造的重要环节。由于船用钢板较厚，要将其精确地弯曲到设计要求的形状是非常困难的。目前造船企业大多采用火烧之后手工敲打，然后再比对目标模型的方法。这种方法劳动强度大、费时、精度和效率低，为此需研发船舶钢板弯曲自动化控制***。船舶钢板弯曲自动化控制***中，三维测量是最关键的环节，只有准确测量出钢板的三维形状，才能实现自动化控制。由于钢板表面不能加传感器，所以只能采用非接触测量法。目前，常用的非接触测量法有两种：激光测量法和视觉测量法。由于船舶钢板尺寸较大（8m×3m），如果采用激光测量，测量速度较慢，无法满足工业的实时加工要求。视觉测量方法具备测量速度高的优点，因此，采用视觉测量法是比较好的选择。但是一般的视觉测量技术只能测量较小的目标，在测量大尺度的钢板时，就需要多次测量，然后再进行拼接。因此在大尺度钢板的三维测量中，拼接技术相当关键，将影响到整体的测量精度。

发明内容

发明目的：针对现有技术中存在的问题与不足，本发明提供一种大尺度钢板三维测量拼接***及方法，通过拼接技术，实现对大尺度船舶钢板表面进行三维测量。

技术方案：一种大尺度钢板三维测量拼接***，包括：两台高亮度背景投影仪，一台能进行存储和分析的高性能的GPU服务器，以及一台三维扫描仪。其中，三维扫描仪由一台高亮度投影仪和两台分辨率1440*1080以上、帧率10fps的同步高分辨工业相机组成。所有相机经由1394线和1394卡连接到服务器，所有投影仪经由usb接口连接到服务器。

一种大尺度钢板三维测量拼接方法，包括如下步骤：

a.利用两台背景投影仪向被测钢板投射复杂的纹理；

b.关闭三维扫描仪中的投影仪，用三维扫描仪中的两台相机拍摄钢板的纹理，该照片称为背景图片。

c.关闭两台背景投影仪。打开三维扫描仪的投影仪，向钢板投射结构光。

d.用三维扫描仪中的两台相机拍摄投射了结构光的钢板图像。

e.服务器对数据进行处理获取所拍摄到的这部分钢板的三维数据。

f.重复步骤a-e，直到整个钢板测量结束。获取了钢板不同部分的三维数据。

g.采用SIFT算法提取每一部分钢板与其相邻钢板的特征匹配点；

h.采用RANSAC方法，将每一部分钢板的三维数据与相邻钢板的三维数据进行拼接。

i.获得整个钢板的三维数据。

有益效果：现有技术中，大尺度钢板测量不能一次完成，需分多次测量，然后拼接。本发明为工业大尺度三维测量拼接提供了一种高效的方法，将为船舶外板制造、飞机外板制造、大尺度海洋工程装备制造中的三维测量提供一种有效的手段。

附图说明

图1为本发明实施例的***硬件连接图；

图2为本发明实施例的方法流程图；

图3为本发明实施例中相邻三维数据特征点提取流程图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，大尺度钢板三维测量拼接***，由一个三维扫描仪、两个背景投影仪（分别为背景投影仪1和背景投影仪2）及一台高性能GPU服务器组成。其中，三维扫描仪由一台高亮度投影仪和两台分辨率1440*1080以上、帧率10fps的同步高分辨工业相机组成。所有相机经由1394线和1394卡连接到服务器，所有投影仪经由usb接口连接到服务器。

如图2所示，大尺度钢板三维测量拼接方法，包括如下步骤：

1、利用背景投影仪1和背景投影仪2向被测钢板投射复杂的纹理。

2、关闭三维扫描仪中的投影仪，用三维扫描仪中的两台相机拍摄钢板的纹理，该照片称为背景图片。

3、关闭背景投影仪1和背景投影仪2。打开三维扫描仪的投影仪，向钢板投射结构光。

4、用三维扫描仪中的两台相机拍摄投射了结构光的钢板。

5、服务器对数据进行处理获取所拍摄到的这部分钢板的三维数据。

6、重复步骤1-5，直到整个钢板测量结束。获取了钢板不同部分的三维数据。

7、为了拼接三维数据，采用SIFT算法提取每一部分钢板与其相邻钢板的特征匹配点。方法如下，如图3所示，两个相邻时刻t1和t2的测量，分别用G1和G2表示两组测量。

第一步，如图3（a），使用特征提取算法SIFT，在背景图片，，和（每组测量中，三维扫描仪的两个像机会分别拍摄两张背景图片）中提取SIFT特征；

第二步，如图3（b），在背景图片和，和以及和之间进行特征匹配，得到图像和，和，以及和之间的匹配特征点对；

第三步，如图3(c),根据和，以及和之间的匹配特征，测量t1和t2时刻的部分背景三维点云；

最后，如图3（d），根据和之间的特征匹配，获得G1与G2之间的部分匹配三维点。

8、采用RANSAC方法，将该钢板的三维数据与相邻钢板的三维数据进行拼接。假设有K对匹配的背景三维点对其中（分别表示三维坐标的三个分量）和拼接点云等价于计算和之间的变换关系，这种关系可以表示为旋转矩阵R及平移向量T，分别如公式（1）、（2）所示：

$R=\left(\begin{array}{ccc}{R}_{11}& R_{12}& R_{13}\\ R_{21}& R_{22}& R_{23}\\ R_{31}& R_{32}& R_{33}\end{array}\right)---\left(1\right)$

T=(T₁，T₂，T₃)(2)

拼接具体步骤为：

第一步：从K对匹配的背景三维点对中，随机选择三个点对，利用公式（3）和公式（4）计算T和R；

$T=\frac{1}{K}\mathrm{\Σ}(p_j^2-p_j^1)---\left(3\right)$

R=(A^TA)^-1A^Tp_T(p_T表示)(4)

其中：

$A=\left(\begin{array}{c}{A}_1\\ A_2\\ ...\\ A_K\end{array}\right)---\left(5\right)$

定义：

$A_j=\left(\begin{array}{ccccccccc}{x}_j^{p1}& y_j^{p1}& z_j^{p1}& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& x_j^{p1}& y_j^{p1}& z_j^{p1}& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& x_j^{p1}& y_j^{p1}& z_j^{p1}\end{array}\right)---\left(6\right)$

第二步：对于其他K-3对匹配点，根据T和R，计算的变换点

第三步：计算与之间的欧式距离

第四步：如果≤δ（δ表示欧式距离），就认为是正确的匹配，否则认为是错误的匹配，将之移除；

第五步：根据T和R计算并记录正确匹配点对的个数；

第六步：重复从第一至五步，共M（M=C³ _K）次，产生M个集合（集合中是符合“第四步”的所有点对）；

第七步：从M个集合中，选择匹配点数最多的一个集合，形成新的匹配点对这里k∈{1...N}，N是匹配点的个数；

第八步：根据新匹配分别利用公式（3）和公式（4）重新计算R和T。

通过上述八个步骤，可以获得精确的R和T，然后根据R和T进行点云拼接，就可以获得整个钢板的三维数据。

Claims (3)

1.一种大尺度钢板三维测量拼接方法，其特征在于，包括如下步骤：

a.利用两台背景投影仪向被测钢板投射复杂的纹理；

b.关闭三维扫描仪中的投影仪，用三维扫描仪中的两台相机拍摄钢板的纹理，相机拍摄的钢板的纹理照片称为背景图片；

c.关闭两台背景投影仪；打开三维扫描仪的投影仪，向钢板投射结构光；

d.用三维扫描仪中的两台相机拍摄投射了结构光的钢板图像；

e.服务器对数据进行处理获取所拍摄到的这部分钢板的三维数据；

f.重复步骤a-e，直到整个钢板测量结束，获取了钢板不同部分的三维数据；

g.采用SIFT算法提取每一部分钢板与其相邻钢板的特征匹配点；

h.采用RANSAC方法，将每一部分钢板的三维数据与相邻钢板的三维数据进行拼接，获得整个钢板的三维数据。

2.如权利要求1所述的大尺度钢板三维测量拼接方法，其特征在于：所述采用SIFT算法提取每一部分钢板与其相邻钢板的特征匹配点，具体如下，

设两个相邻时刻t1和t2的测量，分别用G1和G2表示两组测量；

步骤1，使用特征提取算法SIFT，在背景图片和中提取特征；

步骤2，在背景图片和 和以及和之间进行特征匹配；

步骤3，根据和以及和之间的匹配特征，测量t1和t2时刻的部分背景三维点云；

步骤4，根据和之间的特征匹配，获得G1与G2之间的部分匹配三维点。

3.如权利要求2所述的大尺度钢板三维测量拼接方法，其特征在于：采用RANSAC方法，将所述钢板的三维数据与相邻钢板的三维数据进行拼接，具体为：假设有K对匹配的背景三维点对i∈{1…K}，其中和拼接点云等价于计算和之间的变换关系，这种关系可以表示为旋转矩阵R及平移向量T，分别如公式(1)、(2)所示：

$R=\left(\begin{array}{ccc}{R}_{11}& R_{12}& R_{13}\\ R_{21}& R_{22}& R_{23}\\ R_{31}& R_{32}& R_{33}\end{array}\right)---\left(1\right)$

T＝(T₁,T₂,T₃)^T(2)

拼接具体步骤为：

第一步：从K对匹配的背景三维点对中，随机选择三个点对，利用公式(3)和公式(4)计算T和R；

$T=\frac{1}{K}\mathrm{\Σ}(p_j^2-p_j^1)---\left(3\right)$

R＝(A^TA)^-1A^Tp_T(4)

其中： $p_T=p_j^2-T,$

$A=\left(\begin{array}{c}{A}_1\\ A_2\\ ...\\ A_K\end{array}\right)---\left(5\right)$

定义：

$A_j=\left(\begin{array}{ccccccccc}{x}_j^{p1}& y_j^{p1}& z_j^{p1}& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& x_j^{p1}& y_j^{p1}& z_j^{p1}& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& x_j^{p1}& y_j^{p1}& z_j^{p1}\end{array}\right)---\left(6\right)$

第二步：对于其他K-3对匹配点根据T和R，计算的变换点

第三步：计算与之间的欧式距离

第四步：如果就认为是正确的匹配，否则认为是错误的匹配，将之移除；

第五步：根据T和R计算并记录正确匹配点对的个数；

第六步：重复从第一至五步，共M次，产生M个集合；

第七步：从M个集合中，选择匹配点数最多的一个集合，形成新的匹配点对这里k∈{1…N}，N是匹配点的个数；

第八步：根据新匹配分别利用公式(3)和公式(4)重新计算R和T。