CN106595519A - 一种基于激光mems投影的柔性三维轮廓测量方法及装置 - Google Patents

Abstract

本发明公开了一种基于MEMS振镜投影的柔性三维测量方法该测量方法将摄像机与激光微振镜投影装置视场互标定技术和线结构光三维测量技术相结合，首先拍摄被测物体，通过图像二维特征识别技术初步得到其ROI；根据摄像机与激光微振镜投影装置视场互标定技术所标定出的重合视场中，摄像机像素坐标与投影装置像素坐标的位移及缩放系数，投影装置投影激光图案至ROI；左右摄像机拍摄被测物体，分别提取两图像中激光图案的光刀或光点中心、通过双目立体视觉法求出物体上相应激光图案处的空间坐标。可通过本方法定点或定线测量所要求点，避免全场测量造成的数据冗余现象。

Description

一种基于激光MEMS投影的柔性三维轮廓测量方法及装置

技术领域：

本发明属于光学检测领域，涉及一种三维轮廓的光学检测方法，特别是一种基于激光MEMS投影的柔性三维轮廓测量方法。

背景技术：

光学三维测量技术飞速发展，因其非接触、精度高、速度快的优势，被广泛应用于工业检测、医疗健康、数字娱乐等诸多领域。特别是在工业在线检测领域，目前主要运用干涉测量法，立体视觉测量法，结构光测量法三类光学三维测量方法，其中：

1)干涉法精度达微米级别，对测量环境稳定性要求过高，但工业在线检测车间现场噪声难以避免，干扰测量；

2)立体视觉技术***结构简单，成本低。但存在着“匹配难”的瓶颈，而且运算量巨大，鲁棒性差的缺点；

3)结构光测量法分为点结构光、线结构光及面结构光三类：其中点结构光及线结构光需对零件逐点或逐层扫描，效率低下，不能满足高速度及实时性要求；面结构光易受物体表面反射干扰，稳定性较低；线结构光测量法，是以一条或多条光线(光刀)图像来重现物体三维形貌，即从光刀图像中提取光刀中心位置，然后利用三角测量原理对光刀中心逐点进行求解，来获得形面三维数据。该技术以其非接触性、灵敏度高、实时性好、抗干扰能力强、对于金属等高反表面同样可以进行测量等优点，然而其缺点在于扫描需要运动机构配合降低了测量效率及精度。

上述的三种测量方法均为全场测量。在工业在线检测中，部分检测样品进行尺寸测量(长度、宽度、平面度等)时，仅需提取零件表面若干点进行数值比对，即全场测量得到物体三维轮廓后，只提取出所规定的若干个点进行尺寸计算(类似于三坐标测量机打点测量)。在这种情况下，全场测量造成了数据冗余，且后期提取规定测量点也增大了算法的难度。

此外，由于工业流水线操作中环境复杂，受环境光、运输带颜色和检测样品反光特性的影响，测量过程中，背景(CCD所拍摄的图片非检测样品区域)时而擦除不彻底也会产生较大噪声干扰，

发明内容：

本发明的目的在于克服上述现有技术的缺点，提供一种基于激光MEMS投影的柔性三维测量方法及装置。该测量方法将摄像机与激光MEMS投影装置视场互标定技术和线结构光三维测量技术相结合，首先拍摄被测物体，通过图像二维特征识别技术初步得到其ROI(region ofinterest，测物体边缘轮廓、圆孔、台阶等特征区域及人为设定区域))；根据摄像机与激光MEMS投影装置视场互标定技术所标定出的重合视场中，摄像机像素坐标与投影装置像素坐标的位移及缩放系数，投影装置投影激光图案(由光刀及光点组成)至ROI；左摄像机与右摄像机形成双目立体视觉***，拍摄被测物体，分别提取两图像中激光图案的光刀或光点中心、通过双目立体视觉法求出物体上相应激光图案处的空间坐标。

该方法的优势在于：可根据ROI自适应调节测量区域，即实现“柔性”测量。例如电子加工业流水线作业中，电子元件的尺寸检测仅需检测若干个影响装配的位置点，可通过本方法定点或定线测量所要求点，避免全场测量造成的数据冗余现象。

本测量***可实现“柔性”测量，在于其硬件优势：采用激光MEMS投影装置。该投影装置可编程投影激光图案，故能“柔性”调节测量区域。

本发明的目的通过以下技术方案解决：

一种基于激光MEMS投影的柔性三维测量装置，其特征为：左摄像机与右摄像机共同构成双目立体视觉***；其中左摄像机与激光MEMS投影装置放置于同一位置位于被测物体正上方，光轴均竖直向下且基本重合，该***可实现左摄像机与激光MEMS投影装置像素坐标间的相互反馈，通过左摄像机拍摄地被测物体轮廓特征，从而引导激光MEMS投影装置投影相应覆盖被测物体轮廓特征的激光图案。

基于以上装置的激光MEMS投影的柔性三维测量方法为：将摄像机与激光MEMS投影装置视场互标定技术和线结构光三维测量技术相结合，首先拍摄被测物体，初步得到被测物体的位置及轮廓大小；根据摄像机与激光MEMS投影装置视场互标定技术所标定出的摄像机像素坐标与投影装置视场像素坐标间的位移及缩放系数，投影装置投影激光图案至ROI；左摄像机与右摄像机形成双目立体视觉***，拍摄被测物体，分别提取两图像中激光图案的光刀或光点中心、通过双目立体视觉法求出物体上相应激光图案处的空间坐标。

该***采用激光MEMS投影装置。该投影装置的光路原理为：三个相同的半导体激光器在经过光纤耦合以后，入射到合束棱镜，合成一束激光，经透镜准直以后，被反射镜反射到MEMS扫描振镜上；MEMS扫描振镜在快轴电流、慢轴电流的激励下，产生互相垂直的双模态振动从而将激光束投影到不同的位置，形成二维扫描；激光器在正弦驱动电流和同步信号的作用下，进行编码调制，最终形成激光图案。相较于传统数字投影仪，激光MEMS投影装置为激光光束扫描式投影，景深远大于传统数字投影仪，摄像机投影装置互标定视场的深度范围增加，从而增大了深度测量范围。

所述的柔性三维测量方法，其步骤在于：

第一步，标定位于同一光轴，且光轴处于竖直方向的左摄像机与投影装置重合视场的X、Y坐标位置关系(坐标间的平移、缩放关系)；

第二步，标定左摄像机与右摄像机组合成的双目立体视觉***内外参数(摄像机有效焦距、光心、像元间距、两摄像机坐标系间平移矩阵和旋转矩阵)；

第三步，左摄像机拍摄检测样品，并通过图像二维特征识别技术提取被测物体提取ROI；

第四步，根据图像中被测物体ROI，投影与物体轮廓符合且覆盖所要求特征点的激光图案；

第五步，左摄像机及右摄像机拍摄投影至被测物体ROI的激光图像；

第六步，图像处理提取两个光刀中心及光点中心，求视差，从而计算激光图案处物体空间坐标。

所述第一步所采用的标定左摄像机与投影装置重合视场的XY方向位置关系的方法如下：

左摄像机与激光MEMS投影装置位于同一高度且光轴重合,在特定高度放置标定靶面，假设(u₁,v1)为投影装置所投影图像的某一像素坐标，(u2,v2)为左摄像机所采集的对应图像坐标；由于左摄像机与投影装置会有微小高度差且光轴不完全重合，故(u1,v1)与(u2,v2)有微小平移及缩放关系：

投影装置投影一个固定像素坐标的标定靶面，设靶面上的N个标志点的投影像素坐标为(u1_n,v1_n),n＝1,2···N，通过左摄像机采集对应像素点的图像坐标(u2_n,v2_n)，n＝1,2···N，通过上式坐标运算，从而计算出转换矩阵，即标定出左摄像机与投影装置间的位置关系。

所述第二步中所采用的标定左摄像机与右摄像机内外参数(摄像机有效焦距、光心、像元间距、两摄像机坐标系间平移矩阵和旋转矩阵)方法如下：

该标定为双摄像机***标定，要知道每个摄像机的内参，同时还要知道两个摄像机坐标系之间的位置关系，这种位置关系可以用第二个摄像机在第一个摄像机之间的位姿表示也可以认为是第二个摄像机坐标系中的某点的坐标到第一个摄像机坐标系中相对应点的坐标转换：

P_c1＝R_rP_c2+T_r

同时，定义两个投影中心之间的平移为平移向量T_r,被称作基线；世界坐标系中的一点P_W投影为第一个图像中的P₁点与第二个图像中的P₂点；暂时假设镜头没有畸变，P_W、O₁、O₂、P₁、P₂在同一平面上；双摄像机***标定中，以空间点投影到左右两个摄像机的图像上的投影像素坐标与摄像机拍摄到的真实图像坐标距离最小为优化目标；M_i表示标定板上一个标志点，将一个摄像机拍摄到的标定图像看作是第一组，其中标志点M_i在图像上表示为m_i,j,1；将二个摄像机拍摄到的标定图像看作是第二组，其中标志点M_i在图像上表示为m_i,j,2；另外摄像机参数也用向量c表示，它包含两个摄像机的内参，l个标定板在第二个摄像机中的位置参数，以及两个摄像机之间的相对位姿；当摄像机参数向量c确定时，双目***的成像模型，以及重建的三角关系就确定了，也就确定了M_i到第一幅和第二幅图像的映射π₁(M_i,c)和π₂(M_i,c)；因此双目立体视觉***标定的目标函数是：

从而求出最优解的c,也就是我们需要的标定结果，包括两个摄像机的内参c＝(f₁,κ₁,s_x1,s_y1,c_x1,c_y1,f₂,κ₂,s_x2,s_y2,c_x2,c_y2)和右摄像机坐标系在左摄像机坐标系中的位姿[R_r,T_r]。

所述第六步所采用的光刀中心的提取方法如下：

采用阈值法提取整幅图中所有光刀骨架，然后求取骨架上每一像素点的法线方向，具体为沿着骨架上的像素点进行曲线拟合，曲线拟合的方法为取10个象素点利用y＝ax²+bx+c进行二阶拟合，设(x₀，y₀)为像素点的坐标，则(x₀，y₀)点的斜率为t＝2ax₀+b，如果t＝0，则加权平均方向为y方向，如果t≠0，则(x₀，y₀)点的法线斜率为n＝-1/t，加权平均方向为法线方向；计算出图像的骨架上各点的法线方向后,求取光刀在其法线方向上的灰度分布；最后利用灰度重心法求出该光刀的重心位置,即为被测物体在该处的轮廓点位置,将这些轮廓点连接起来就形成了截面的轮廓线。

本发明有以下三点有益效果：

1)投影仪根据物体二维尺寸及特征点投影相应激光图案，实现物体的定线定点测量；

2)二维尺寸测量与三维轮廓测量相结合，使单次可测量指标增多，便于测量具有空间曲率的物体且提高测量精度。

附图说明：

图1为本发明的柔性三维轮廓测量方法示意图；

其中：1为左摄像机；2为右摄像机；3为激光MEMS投影装置。

具体实施方式：

下面结合附图对本发明做进一步详细描述：

如图1，在被测物体正上方设置左摄像机及激光MEMS投影装置，左摄像机与投影装置位于同一位置且光轴共轴，左摄像机沿竖直方向采集被测物体图像，通过图像二维特征识别技术识别出ROI；通过已标定出的左摄像机视场与激光MEMS投影装置视场像素坐标间的位移及缩放系数，引导投影装置投影激光图案(由光刀及光点组成)至ROI；左摄像机与右摄像机形成双目立体视觉***，拍摄被测物体，分别提取两图像中激光图案的光刀或光点中心、通过双目立体视觉法求出物体上相应激光图案处的空间坐标。

所述的柔性三维测量方法，其步骤在于：

第一步，标定位于同一光轴，且光轴处于竖直方向的左摄像机与投影装置重合视场的X、Y坐标位置关系(坐标间的平移、缩放关系)；

第二步，标定左摄像机与右摄像机组合成的双目立体视觉***内外参数(摄像机有效焦距、光心、像元间距、两摄像机坐标系间平移矩阵和旋转矩阵)；

第三步，左摄像机拍摄检测样品，并通过图像二维特征识别技术提取被测物体提取ROI；

第四步，根据图像中被测物体ROI，投影与物体轮廓符合且覆盖所要求特征点的激光图案；

第五步，左摄像机及右摄像机拍摄投影至被测物体ROI的激光图像；

第六步，图像处理提取两个光刀中心及光点中心，求视差，从而计算激光图案处物体空间坐标。

所述第一步所采用的标定左摄像机与投影装置重合视场的XY方向位置关系的方法如下：

左摄像机与激光MEMS投影装置位于同一高度且光轴重合,在特定高度放置标定靶面，假设(u₁,v1)为投影装置所投影图像的某一像素坐标，(u2,v2)为左摄像机所采集的对应图像坐标；由于左摄像机与投影装置会有微小高度差且光轴不完全重合，故(u1,v1)与(u2,v2)有微小平移及缩放关系：

投影装置投影一个固定像素坐标的标定靶面，设靶面上的N个标志点的投影像素坐标为(u1_n,v1_n),n＝1,2···N，通过左摄像机采集对应像素点的图像坐标(u2_n,v2_n)，n＝1,2···N，通过上式坐标运算，从而计算出转换矩阵，即标定出左摄像机与投影装置间的位置关系。

所述第二步中所采用的标定左摄像机与右摄像机内外参数(摄像机有效焦距、光心、像元间距、两摄像机坐标系间平移矩阵和旋转矩阵)方法如下：

该标定为双摄像机***标定，要知道每个摄像机的内参，同时还要知道两个摄像机坐标系之间的位置关系，这种位置关系可以用第二个摄像机在第一个摄像机之间的位姿表示也可以认为是第二个摄像机坐标系中的某点的坐标到第一个摄像机坐标系中相对应点的坐标转换：

P_c1＝R_rP_c2+T_r

同时，定义两个投影中心之间的平移为平移向量T_r,被称作基线；世界坐标系中的一点P_W投影为第一个图像中的P₁点与第二个图像中的P₂点；暂时假设镜头没有畸变，P_W、O₁、O₂、P₁、P₂在同一平面上；双摄像机***标定中，以空间点投影到左右两个摄像机的图像上的投影像素坐标与摄像机拍摄到的真实图像坐标距离最小为优化目标；M_i表示标定板上一个标志点，将一个摄像机拍摄到的标定图像看作是第一组，其中标志点M_i在图像上表示为m_i,j,1；将二个摄像机拍摄到的标定图像看作是第二组，其中标志点M_i在图像上表示为m_i,j,2；另外摄像机参数也用向量c表示，它包含两个摄像机的内参，l个标定板在第二个摄像机中的位置参数，以及两个摄像机之间的相对位姿；当摄像机参数向量c确定时，双目***的成像模型，以及重建的三角关系就确定了，也就确定了M_i到第一幅和第二幅图像的映射π₁(M_i,c)和π₂(M_i,c)；因此双目立体视觉***标定的目标函数是：

从而求出最优解的c,也就是我们需要的标定结果，包括两个摄像机的内参c＝(f₁,κ₁,s_x1,s_y1,c_x1,c_y1,f₂,κ₂,s_x2,s_y2,c_x2,c_y2)和右摄像机坐标系在左摄像机坐标系中的位姿[R_r,T_r]。

所述第六步所采用的光刀中心的提取方法如下：

采用阈值法提取整幅图中所有光刀骨架，然后求取骨架上每一像素点的法线方向，具体为沿着骨架上的像素点进行曲线拟合，曲线拟合的方法为取10个象素点利用y＝ax²+bx+c进行二阶拟合，设(x₀，y₀)为像素点的坐标，则(x₀，y₀)点的斜率为t＝2ax₀+b，如果t＝0，则加权平均方向为y方向，如果t≠0，则(x₀，y₀)点的法线斜率为n＝-1/t，加权平均方向为法线方向；计算出图像的骨架上各点的法线方向后,求取光刀在其法线方向上的灰度分布；最后利用灰度重心法求出该光刀的重心位置,即为被测物体在该处的轮廓点位置,将这些轮廓点连接起来就形成了截面的轮廓线。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员,在不脱离本发明技术方案范围内，当可利用上述揭示的方法及技术内容作出些许的更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，仍属于本发明技术方案的范围内。

Claims (4)

1.一种基于激光MEMS投影装置的柔性三维测量装置，其特征在于：左摄像机与右摄像机共同构成双目立体视觉***；其中左摄像机与激光MEMS投影装置放置于同一位置位于被测物体正上方，光轴均竖直向下且重合，该***实现左摄像机与激光MEMS投影装置像素坐标间的相互反馈，通过左摄像机拍摄地被测物体轮廓特征，从而引导激光MEMS投影装置投影相应覆盖被测物体轮廓特征的激光图案。

2.一种基于激光MEMS投影装置的柔性三维测量方法，其特征在于：将双目立体视觉***中的左摄像机与激光MEMS投影装置放置于同一位置，光轴均竖直向下且基本重合,并通过摄像机与激光MEMS投影装置视场互标定技术标定出左摄像机与投影装置像素坐标间位移缩放参数；左摄像机拍摄被测物体并通过二维图像特征提取算法提取出被测物体ROI；根据所标定的位移缩放参数，引导投影装置投影由光刀及光点组成的激光图案至ROI；左摄像机与右摄像机形成双目立体视觉***，拍摄被测物体，分别提取两图像中激光图案的光刀或光点中心、通过双目立体视觉法求出物体上相应激光图案处的空间坐标。

3.如权利要求2所述的柔性三维测量方法，其特征在于，采用了激光MEMS投影装置，该投影装置的光路原理为：三个相同的半导体激光器在经过光纤耦合以后，入射到合束棱镜，合成一束激光，经透镜准直以后，被反射镜反射到MEMS扫描振镜上；MEMS扫描振镜在快轴电流、慢轴电流的激励下，产生互相垂直的双模态振动从而将激光束投影到不同的位置，形成二维扫描；激光器在正弦驱动电流和同步信号的作用下，进行编码调制，最终形成激光图案。

4.如权利要求2所述的柔性三维测量方法，其特征在于，摄像机与激光MEMS投影装置视场互标定技术，其步骤为：

左摄像机与激光MEMS投影装置位于同一高度且光轴重合,在一定高度放置标定靶面，假设(u₁,v1)为激光MEMS投影装置所投影图像的某一像素坐标，(u2,v2)为左摄像机所采集的对应图像坐标；由于左摄像机与激光MEMS投影装置会有微小高度差且光轴不完全重合，故(u1,v1)与(u2,v2)有微小平移及缩放关系：

$\left(\begin{array}{c}u1\\ v1\\ 1\end{array}\right)=\left(\begin{array}{ccc}K1& 0& u0\\ 0& K2& v0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}u2\\ v2\\ 1\end{array}\right)$

激光MEMS投影装置投影一个固定像素坐标的标定靶面，设靶面上的N个标志点的投影像素坐标为(u1_n,v1_n),n＝1,2…N，通过左摄像机采集对应像素点的图像坐标(u2_n,v2_n)，n＝1,2…N，通过上式坐标运算，从而计算出转换矩阵，即标定出左摄像机与激光MEMS投影装置间的位置关系。