CN104299211B - 一种自由移动式三维扫描方法 - Google Patents

Abstract

本发明一种自由移动式三维扫描方法，属于光学检测领域，涉及一种全场三维轮廓测量方法、一种手持式测量设备和一种基于纹理和曲面曲率和法线方向的多角度拼接方法。移动手持式的高精度三维扫描一直是扫描领域的难题，本发明采用三频彩色条纹投影的方法通过投影设备投影1∶4∶12的三频彩色条纹到被测物表面，相机单帧曝光拍摄变形条纹图。一方面，变形条纹图采用三频相位展方法计算出高频载频展开相位，由***标定参数得到被测物的三维点云。另一方面，从变形条纹图可以恢复被测物表面的纹理图。手持式扫描对多角度拼接提出了更高的要求，本发明采用根据彩色纹理特征，以及测量曲面曲率和法线方向约束，实现了多角度点云的无标志拼接。

Description

一种自由移动式三维扫描方法

技术领域

本发明属于光学检测领域，涉及一种全场三维轮廓测量方法、一种手持式测量设备和一种基于纹理和曲面曲率和法线方向的多角度拼接方法。

背景技术

目前市面上已有的便携式扫描仪，一些只是体积较小、便于携带，但是每次测量需要多帧连续曝光采集变形条纹图才可以重建三维点云，操作方式一般是：选好位置，固定仪器，测量，移动位置，固定，测量，···。这种工作方式测量效率很低，也无法实现手持式连续扫描，不且不适于对动态物体进行扫描。还有一些便携式扫描仪，虽然可以采用手持式扫描方式，借助于立体视觉技术，但测量前需要在被测物上贴标志点，导致测量效率低、工作量大，而且机器视觉的方法重建的点与所贴标志点多少？位置？相关，因此无法重建密集点云。激光三维扫描仪也可以做成便携式扫描仪，这种便携式扫描仪同样要求自身在测量过程中保持静止，因而无法实现手持式扫描，此外，激光扫描仪为点扫描或线扫描，因此扫描效率低。

就上述几种技术而言，手持式三维扫描仪的多角度拼接也是存在的一个重要问题。一方面，可以通过标定多次测量扫描仪的位置或被测物的位置实现拼接，但是标定需要辅助设备，例如位移台，既增加成本又限制了适用场合。另一方面，通过在被测物表面贴一些标志点来辅助拼接，会导致测量周期变长，测量复杂化。

综上所述，就技术和市场需求而言，急需一种既满足手持式测量，又能够动态测量的手持式三维实时扫描仪，并且可以很好拼接各角度测量结果的扫描方法。

发明内容

本发明的目的在于实现一种便于携带和操作的手持式扫描方法，适用于大多数测量对象，且不需要大量标志点，同时很好的实现多角度测量的拼接问题。

提供一种自由移动式三维扫描方法，包括一个彩色相机、一个彩色投影设备，控制器等，其特征在于，相机和投影设备呈锐角夹角布置，由控制按钮控制发开始和停止测量，投影设备投影三频彩色正弦条纹到被测物表面，控制器来控制相机触发拍摄，经相机单帧曝光拍摄彩色变形条纹图。一方面，变形条纹图采用三频相位展方法计算出高频载频展开相位，由***标定参数得到被测物的三维点云。另一方面，变形条纹图采用频域最小化方法得到三频正弦条纹分量，从彩色变形条纹图减去三频正弦条纹分量恢复被测物表面的纹理图。相邻两帧纹理图用SIFT交点提取的方法可以获得两两对应的稀疏角点，用这些角点所对应的空间点计算出相邻两帧测量点云之间的初始坐标变换矩阵p1，通过坐标变换将两个三维点云统一到前一个点云坐标系下；每帧测量的被测物三维点云进行三角面片划分，并计算每个三角面片的曲率和法线，将统一坐标系后的三维曲面采用全局曲率最大相关和法线方向最大相关求解出将两个点云进一步拼接的坐标变换矩阵p2，并进行坐标变换；坐标变换后的两个点云采用ICP(Iterative Closest Point)方法进行迭代，找到两个点云更准确拼接在一起的坐标变换矩阵p3；所以，第i+1帧所测得三维点云左乘矩阵pi＝p1·p2·p3，就完成了将其与第i帧曝光所测得三维点云拼接到一起，左乘H_i＝P1·P2·P3·····Pi将其第1帧测量结果拼接在一起，所有测量的点云都与第1帧测量结果拼在一起，就完成了本次测量的完整拼接。

根据权利要求1所述的一种自由移动式三维扫描方法，根据权利要求1所述的一种手持式3d实时扫描仪，其特征在于，相机曝光可根据条纹调制度自动调节。具体的，采用经验模式分解和二维希尔伯特变换得到三频彩色条纹的高频分量，采用二维希尔伯特提取高频分量的二维振幅，计算二维振幅的最大值和最小值，计算最大值和最小与设置值的差值，调节曝光时间使得差值为最小。从而达到调节曝光的目的。

根据权利要求1所述的一种自由移动式三维扫描方法，其特征在于，只有在标定的测量距离内扫描仪才可以被触发，操作者要合理控制扫描仪到被测物之间的距离，指示灯1、2分别表示测量距离是否在测量范围内。同时，测量可分为点动测量和连续测量。

(1)点动测量按钮，即每按一次按钮，完成一次测量，如果多次测量结果需要拼接，则操作者需要保证被测物相邻两次测量有60％以上的重合率。

(2)连续测量，控制器连续触发相机，操作者将扫描仪连续运动，即可以实现连续测量；可根据视场大小，移动者速度来调节帧速率，以保证60％以上的重合率。例如，对于0.5m×0.5m的视场大小，假设操作者的移动速度为1m/s，信号发生器触发速度为4帧/s，即可保证相邻两次测量之间的重合率为60％以上。为了避免重合部分过多，造成数据量过大，人手持测量时，触发速度设为5～10帧/s即可。

(3)只有在标定的测量距离内才可以触发，操作者要合理控制扫描仪到被测物之间的距离，

根据权利要求1所述的一种自由移动式三维扫描方法，其特征在于，本发明可以实现动态物体的测量，被测物在测量范围内，固定扫描仪，设置帧速率，使用连续测量模式，就可以记录被测曲面的每一时刻的位置和形状，这些数据可以用于运动状态分析和运动变形分析。

根据权利要求1所述的一种自由移动式三维扫描方法，其特征在于，投影设备投影三频彩色条纹图，彩色条纹图由计算机生成，其RGB三个颜色通道分别由低、中、高三种载频的正弦条纹生成，三频彩色正弦条纹的频率比为1∶4∶12。

根据权利要求1所述的一种手持式3d实时扫描仪，其特征在于，分解高、中、低三频分量是通过，将变形彩色条纹图中含高频条纹的颜色通道与含中频条纹的颜色通道相减以消减背景光强，得到高、低频复合的条纹图。继而用傅里叶变换分离高、中载频分量。同理，分解得到中、低载频分量。变形条纹图分解得到的高、中、低三载频分量，以二维短时傅立叶变换解调得到的高、中、低各载频分量包裹相位，最后以变精度去包裹算法按低、中、高载频分量依次完成包裹相位展开，得到高频载频项的展开相位。由此展开相位根据标定结果可恢复物体高度。

本发明的优点在于：

1)用投影三频彩色正弦条纹图的方法实现单帧曝光即可完成三维点云测量，测量结果点云密集，精度高；

2)根据被测物的颜色、纹理、反射率等信息自动调节相机曝光时间；

3)可以实现点动测量和连续测量两种测量模式，在连续测量模式下，扫描仪会以一定的帧速率连续曝光，实现连续测量；

4)可以实现运动曲面的单角度三维测量；

5)用频域最小化方法得到三频正弦条纹分量，从彩色变形条纹图减去三频正弦条纹分量，以恢复被测物表面的纹理图；

6)根据从变形条纹图中恢复的纹理图，、曲面的曲率和法线方向等信息，实现多角度、多帧曝光测量的拼接。

附图说明

图1示出手持式三维扫描方法技术路线图；

图2示例出投影彩色正弦条纹图(R∶G∶B＝1∶4∶12)；

图3示例出三频彩色正弦条纹轮廓术及彩色纹理恢复技术路线；

图4示例出相邻两角度测量结果拼接方法；

图5示出多角度扫描结果拼接方法；

图6示例出人脸6角度扫描模型；

图7示例出拼接后模型的多角度展示。

具体实施方式

下面结合附图详细说明本发明。

1.总技术路线图

本专利描述的手持式三维扫描方法是一种应用于移动、手持式、便携的三维扫描仪的方法，扫描仪对被测物多角度进行扫描后拼接，生成完整的三维模型。本专利所描述的手持式三维扫描方法有两种测量模式，点动测量测量和连续测量。在两种测量方式下，测量过程和技术方案相同，总技术路线如附图1所示。

(1)选择测量模式，点动测量或连续测量；其中，点动测量，选择好测量角度，每触发一次，进行测量一次；连续测量，相机连续曝光，连续移动扫描仪，实现连续测量，例如，对于0.5m*0.5m的视场大小，假设操作者的移动速度为，信号发生器触发速度为4帧/s，即可保证相邻两次测量之间的重合率为60％以上。为了避免重合部分过多，造成数据量过大，人手持测量时，触发速度设为5～10帧/s即可。

(2)选择被测物的测量角度，相邻角度重合率大于60％；

(3)相机根据不同角度的光照、反射率等信息自动调整曝光时间，调节方法在下面2中详细描述；

(4)在(1)中选择好的角度进行扫描测量，采用三频彩色相移轮廓术和彩色条纹解耦的方法获得各角度的三维点云和纹理图，详细步骤如附图3所示；

(5)将(2)中获得的不同角度三维点云拼接成一个完整的模型，拼接方法如附图4和附图5所示。

2.曝光自动调节

采用经验模式分解和二维希尔伯特变换得到三频彩色条纹的高频分量，采用二维希尔伯特提取高频分量的二维振幅，计算二维振幅的最大值和最小值，计算最大值和最小与设置值的差值，调节曝光时间使得该差值为最小。从而达到调节曝光的目的。

3.三频彩色相移轮廓术和纹理恢复

本专利所描述的手持式三维扫描方法，采用彩色光栅投影技术，投影如附图2所示的三频彩色正弦条纹图到被测物表面，RGB三通道频率比为1∶4∶12，，用彩色相机拍摄投影在物体表面的变形条纹图，用傅里叶变换分离出高中低三个载频，接着将三频相位分别展开，进行相位解包裹，恢复出高频载频相位，最后通过***标定的参数得到三维点云。变形条纹图采用频域最小化方法得到三频正弦条纹分量，从彩色变形条纹图减去三频正弦条纹分量恢复被测物表面的纹理图。获得三维点云的具体步骤如附图3所示：

(1)投影设备投影彩色三频彩色条纹到被测物表面，如附图2所示；

(2)彩色相机拍摄被测物表面的变形条纹图；

(3)采用傅立叶变化分离高中低三载频，得到高、中、低三幅变形条纹图；

(4)采用HHT(希尔伯特-黄变换)进行条纹自适应分析和相位提取，得到高、中、低三频的包裹相位；

(5)通过时域变精度去包裹的方法得到高精度的绝对相位；

(6)步骤(5)得到的绝对相位，由***标定参数得到被测物的三维点云。

获得纹理图的步骤为：

(7)以上步骤(2)所得的彩色变形条纹图减去上述步骤(3)所得的高中低三频分量得到背景分量；

步骤(7)所得的背景分量通过纹理光照分离恢复得到被测物原本的纹理图。

4.自动拼接的实施方案

本发明描述的手持式三维扫描方法可以实现无标志点的自动无缝拼接，其拼接主要依靠从变形条纹图中恢复的纹理信息，测得点云划分曲面的曲率和法线方向为约束，寻找相邻两帧测量结果之间的位置关系，最终实现全局拼接。

每个角度扫描的点云的坐标系与当时扫描位置的相机坐标系重合，所以，不同角度扫描的点云坐标不在同一个坐标系下，将不同坐标系下的点云转换到同一个坐标系下的过程，就是点云的拼接。假设世界坐标系与第1个角度下的相机坐标系重合，将每次测量的n个角度所得点云豆转换到世界坐标系下，就实现了多角度的拼接。世界坐标系表示为(X^w，Y^w，Z^w，O^w)，每个角度下相机坐标系表示为(Xⁱ，Yⁱ，Zⁱ，Oⁱ)，同时(X^w，Y^w，Z^w，O^w)＝(X¹，Y¹，Z¹，O¹)；点云的表示为

其中，i表示第i次测量所得点云，j表示点云中的j个点，l表示在第l个角度坐标系下的坐标。

(1)相邻两角度扫描结果拼接

对于相邻两角度曝光测量结果的拼接，下面以第i个角度和第i+1各角度下测量的三维点云拼接为例，详细说明相邻两次扫描所得点云的拼接算法。其中，第i次测量所得点云表示为

k表示点云i的点数；第i+1次测量所得点云表示为

s表示点云i+1的点数；算法流程如图4所示：

a)用SIFT，即尺度不变特征转换(Scale-invariant Feature Transform)，特征点提取的方法找到纹理图i和i+1中稀疏的对应特征点，记为{a1，a2，···，am}和{b1，b2，···，bm}，m为纹理图中找到的对应点数；

b)用RANSAC，即随机抽样一致(Random Sample Consensus)，的方法剔除极限误差较大的点，记为，{a1，a2，···，ar}和{b1，b2，···，br}，r为纹理图中找到的保留的对应点数；并找到匹配特征点对应的空间点坐标{A1，A2，...Ar}和{B1，B2，...Br}，其中，

表示第i个点云中的特征点，

表示在第i+1个点云中与之对应的点，且r≤s，k。

c)迭代解方程(公式1)，得到p1，p1表示第i+1个坐标系(Xⁱ⁺¹，Yⁱ⁺¹，Zⁱ⁺¹，Oⁱ⁺¹)在第i个坐标系(Xⁱ，Yⁱ，Zⁱ，Qⁱ)中的位姿势矩阵，(X₀，Y₀，Z₀)表示位置，

表示姿态，即第i+1个坐标系(Xⁱ⁺¹，Yⁱ⁺¹，Zⁱ⁺¹，Oⁱ⁺¹)与第i个坐标系(Xⁱ，Yⁱ，Zⁱ，Oⁱ)各坐标轴夹角。

(公式1)

其中，p1＝[R T]，R＝RotX·RotY·RotZ，

d)点云i+1中的所有点左乘矩阵p1，将其变换到点云i 的坐标系下，即

e)基于法线方向的曲率一致相关求解空间坐标矩阵p2，p2代表的意义与p1相同，其步骤为：

步骤一，初始化p2＝0；

步骤二，点云i和点云i+1分别进行三角面片网格划分，即构造一个具有相互连接的拓扑关系的三角形面片网格模型；点云i和其划分的面片记为模型i，表示为M_i，同理，点云i+1和其划分的面片记为模型i+1，表示为M_i+1。

步骤三，对模型i+1，即M_i+1，进行变换矩阵为p2的坐标变换，即M_i+1＝p2·M_i+1，并计算坐标变换后各点的曲率和法线方向，表示为{r_i，1，r_i，2，r_i，3，···，r_i，k}，{r_i+1，1，r_i+1，2，r_i+1，3，···，r_i+1，s}和{N_i，1，N_i，2，N_i，3，···，N_i，k}，{N_i+1，1，N_i+1，2，N_i+1，3，···，N_i+1，s}；

步骤四，曲面模型i+1每个点按其法线方向{N_i+1，1，N_i+1，2，N_i+1，3···，N_i+1，s}找在曲面模型i上的对应点。我们定义Q为曲面模型i+1上的一点

若找到曲面模型上一点Q′满足以下条件，则为其在曲面模型i上的对应点。

Q′与Q连线方向与Q的法线方向N_n+1，j夹角很小，即angle[|Q′-Q|，N_n+1，j]≤ω；

Q′与Q之间的距离小于一定范围，即dis tan ce|Q′-Q|≤d；

在满i和ii的条件的点中，选择曲率最接近的点作为匹配点，即f(Q′)＝min|r_Q′-r_i+1，j|；

若没有找到满足条件i和ii的点，则认为该点Q没有找到匹配点；

我们将，模型i+1找到的模型i上的对应点分别表示为点集{Q₁，Q₂，...，Q_v}和{Q₁′，Q₂′，...，Q_v′}，v表示找到的对应点对的数量，其曲率分别表示为

和

步骤五，计算对应点曲率方差

步骤六，若g≤σ，则输出p2；若g＞σ，则改变p2，重复步骤二到步骤六。

f)采用ICP(Iterative Closest Point)迭代的方法对拼接结果进行迭代优化，求解出(公式2)中的优化参数为p3，其中p3表示的意义与p1相同，并对e)得到的点云i+1再次进行坐标变换；

f(p3)＝∑||M_i，j-p3·M_i+1，j||²＝min (公式2)

至此，我们得到了将第i+1个点云与第i个点云拼接在一起的变换矩阵为P(i)＝p3·p2·p1

(2)多次曝光测量结果的拼接

实施步骤如附图5

按照(1)所描述的方法，我们可以得到P(1)，P(2)，P(3)，...，P(n-1)，对于第i个点云，将它与第一次曝光测量得到的第1个点云拼接在一起，需要进行的坐标变换为

其中，

表示第i+1各角度测量结果变换到世界坐标系(X^w，Y^w，Z^w，O^w)(即，第1个测量角度坐标系)的坐标，

表示第i+1个角度测量结果在原坐标系(第i+1个测量角度坐标系)下的坐标，其中，记H_i＝P(1)·P(2)·P(3)·····P(i-1)。

将第2～n个角度测量结果按上述步骤转换到世界坐标系下，就完成了多角度测量的拼接，重建了完整的三维模型。

实验案例：

用本发明所描述的手持式三维扫描设备对人脸进行扫描，人脸因为颜色复杂，反射率不均匀，用本发明的自动曝光调节技术很好的解决了这一问题。附图6为对人连进行六个角度的三维扫描，而附图7为扫描后自动拼接结果的多角度展示。

Claims (4)

1.一种自由移动式三维扫描方法，其特征在于，包括下列步骤：

(1)选择测量模式,点动测量或连续测量；

点动测量为：选择好测量角度,每触发一次曝光,进行测量一次；

连续测量为：相机连续曝光,连续移动扫描仪,实现连续测量；

(2)选择被测物的测量角度,相邻角度重合率大于60％；

(3)相机根据不同角度的光照、反射率信息自动调整曝光时间；

(4)在(2)中选择好的角度进行扫描测量,采用三频彩色相移轮廓术和彩色条纹解耦的方法获得各角度的三维点云和彩色纹理图；

步骤(4)获得三维点云和彩色纹理图的方法如下：

(a)投影设备将三频彩色条纹投影到被测物表面；

(b)彩色相机拍摄被测物表面的变形条纹图；

(c)采用傅立叶变化分离变形条纹图的高中低三载频，得到高、中、低三幅变形条纹图；

(d)采用希尔伯特-黄变换HHT进行条纹自适应分析和相位提取，得到高、中、低三频的包裹相位；

(e)通过时域变精度去包的方法得到高精度的绝对相位；

(f)根据步骤(e)得到的绝对相位，由***标定参数得到被测物的三维点云；

(g)获得纹理图；用(b)所得的变形条纹图减去(c)所得的高中低三频分量，得到背景分量；所得的背景分量通过纹理光照分离恢复得到被测物原本的纹理图；

(5)将获得的不同测量角度三维点云拼接成一个完整的模型；

步骤(5)的拼接方法如下：

假设世界坐标系与第1个角度下的相机坐标系重合，将每次测量的n个角度所得点云都转换到世界坐标系下，即可实现多角度的拼接；世界坐标系表示为(X^W,Y^W,Z^W,O^W)，每个角度下相机坐标系表示为(Xⁿ,Yⁿ,Zⁿ,Oⁿ)，同时(X^W,Y^W,Z^W,O^W)＝(X¹,Y¹,Z¹,O¹)；第1个角度所得点云的表示为

其中，i表示第i次测量所得点云，j表示测量所得点云中的j个点，n表示在第n个角度；

步骤1)相邻两角度扫描结果拼接；

对于相邻两角度曝光测量结果的拼接，下面以第n个角度和第n+1个角度下测量的三维点云拼接为例，详细说明相邻两次扫描所得点云的拼接方法，其中，第i次测量所得点云表示为

k表示第i次测量所得点云的点数；第i+1次测量所得点云表示为

s表示第i+1次测量所得点云的点数；

具体步骤如下：

a)用尺度不变特征转换SIFT的特征点提取方法，找到第i次测量所得纹理图和第i+1次测量所得纹理图中的对应特征点，记为{a1，a2，...,am}和{b1，b2，...,bm},m为纹理图中找到的对应点数；

b)用随机抽样一致RANSAC方法剔除极限误差较大的点，记为{a1，a2，...,ar}和{b1，b2，...,br}，r为纹理图中找到的保留的对应点数；

找到匹配特征点对应的空间点坐标{A1，A2，...,Ar}和{B1，B2，...,Br}，其中，

表示第i次测量所得点云中的对应特征点，

表示在第i+1次测量所得点云中与之对应的特征点，且r≤s,k；

c)用迭代方法求解公式(1)，得到空间坐标矩阵p1，p1表示第n+1个角度坐标系(Xⁿ⁺¹,Y^{n +1},Zⁿ⁺¹,Oⁿ⁺¹)在第n个角度坐标系(Xⁿ,Yⁿ,Zⁿ,Oⁿ)中的空间坐标矩阵，(X₀,Y₀,Z₀)表示位置；γ，θ，ψ表示姿态，即第n+1个角度坐标系(Xⁿ⁺¹,Yⁿ⁺¹,Zⁿ⁺¹,Oⁿ⁺¹)与第n个角度坐标系(Xⁿ,Yⁿ,Zⁿ,Oⁿ)各坐标轴夹角；

其中，p1＝[R T],R＝RotX·RotY·RotZ,T＝[X₀,Y₀,Z₀,1]^T；

d)第i+1次测量所得点云中的所有点

左乘空间坐标矩阵p1，将其变换到第i次测量所得点云的坐标系下，即

e)基于法线方向的曲率一致相关求解空间坐标矩阵p2，p2代表的意义与p1相同；

步骤2)多次曝光测量结果的拼接；

按照步骤1)得到空间坐标矩阵p(1),p(2),p(3),...,p(n-1)，对于第i次测量所得点云，将它与第一次曝光测量得到的第1个点云拼接在一起，需要进行的坐标变换为

其中，

表示第n+1个角度测量结果变换到世界坐标系(X^W,Y^W,Z^W,O^W)，即，第1个角度坐标系的坐标，

表示第n+1角度测量结果在原坐标系，即第n+1个角度坐标系下的坐标，其中，记H_i＝p(1)·p(2)·p(3),...,p(n-1)；

步骤3)将第2～n个角度测量结果按步骤2)转换到世界坐标系下，完成多角度测量的拼接，重建完整的三维模型。

2.如权利要求1所述自由移动式三维扫描方法，其特征在于：在人手持测量时,将连续测量的触发速度设为5-10帧/s。

3.如权利要求1所述的自由移动式三维扫描方法,其特征在于，

步骤(4)的三频彩色相移轮廓术和彩色条纹解耦方法如下：

采用彩色光栅投影方法，将三频彩色正弦条纹图投影到被测物表面；设定RGB三通道频率比，用彩色相机拍摄投影在物体表面的变形条纹图；用傅里叶变换分离出变形条纹图的高中低三个载频，即三频；

将三频相位分别展开，进行相位解包裹，恢复出高频载频相位；

通过***标定的参数得到三维点云；

对变形条纹图采用频域最小化方法得到三频正弦条纹分量，从彩色变形条纹图减去三频正弦条纹分量，以恢复被测物表面的纹理图。

4.如权利要求3所述的自由移动式三维扫描方法，其中RGB三通道频率比为1：4：12。

Images