CN111531407B - 一种基于图像处理的工件姿态快速测量方法 - Google Patents

Abstract

本发明涉及一种基于图像处理的工件姿态快速测量方法，属于图像测量技术领域，解决现有工件夹装过程中耗时、费力、效率低和难以达到高精度的技术问题，本发明采集一系列景深方向的图像，通过二维图像序列进行三维重建，在得到目标工件的三维重建轮廓后，通过计算加工坐标系中的前后向量得到旋转向量，进而得到旋转矩阵并求得欧拉角，由此可得知工件相对三坐标轴的旋转角度。本发明适合微小工件夹装时工件姿态的精准确定，安装拆卸方便，结构紧凑，效率高；采用非接触图像测量技术与计算机辅助分析获取待加工工件姿态信息，速度快精度高；适用于形态各异、复杂程度适中的各类工件，能在最大限度内重建工件的真实形态，并快速进行姿态识别。

Description

一种基于图像处理的工件姿态快速测量方法

技术领域

本发明属于图像测量技术领域，具体涉及一种基于图像处理的工件姿态快速测量方法。

背景技术

随着智能制造时代的到来，工业流水线逐渐向自动化、智能化的方向发展，我国积极应对国际形势，对机械制造技术领域提出了更高的要求。在数控加工过程乃至工厂作业生产线中，我们需要对处理工件进行初步装夹定位，从而能够继续完成车、钻等工作；定位的精准程度直接影响着加工生产过程的效率。

传统的装夹装置需要手动操作夹具，并且只能初步、粗略地将工件放置在大概位置，之后还需进行试切操作，而这一方法在微观领域应用时会造成原料的浪费，难以满足高效率、低能耗、自动化加工的要求。数控加工在加工工件装夹完成后，要确定工件的六自由度具体数值，实现数控加工程序和工件的对接。而在数控加工微小零件的微细加工技术中，加工的尺度在微米量级，工件的尺寸和夹具的尺寸都比较小；夹具装夹法进行正确加工位置确定时难以用肉眼观察出细微的差距，已不再适用，所以急需一种利用工件姿态识别的方法来准确确定加工位置。

在专利CN108555908A中，提出了一种堆叠工件姿态识别及拾取方法，其原理是采用RGBD相机，通过图像处理技术将RGB图像与训练好的2D模型进行匹配，获得工件轮廓信息及粗糙六自由度位置，基于以上结果，结合深度图精确计算待检测目标的六自由度位姿。这种方法需要提前对3D模型进行训练，在与RGB图像匹配中由于匹配算法的优劣，处理时间会大不相同，这难以满足数控加工中心高效率的要求。

在专利CN109101966A中，提出了一种基于深度学习的工件识别定位姿势估计***及方法，它是基于YOLO深度学习网络进行工件识别和姿态估计网络设计，并增加了输出角度信息，针对不同姿势的工件图像进行获取并进行角度信息、分类信息以及位置信息的标记，调用工件识别定位和姿态估计模型，对工件物体图片和姿态进行识别定位。该方法需要先拿测试工件的一部分姿势进行训练和测试，并以类似的状态进行测试，训练完成后需要将变量加载到工件识别定位和姿势修改中，重复训练来达到更高的精度。该方法在适用性及效率方面都会受到工件复杂程度的影响。

综上所述，已知的解决方法价格昂贵，算法准确性不高，需要***进行复杂的线下学习记忆过程，需进行复杂的光源标定操作以及满足采集图像时苛刻的光照条件。

发明内容

为了克服现有技术的不足，解决现有工件夹装过程中耗时、费力、效率低和难以达到高精度的技术问题，发明提供一种基于图像处理的工件姿态快速测量方法。

本发明的设计构思为：采集一系列景深方向的图像，通过二维图像序列进行三维重建，在得到目标工件的三维重建轮廓后，通过计算加工坐标系中的前后向量得到旋转向量，进而得到旋转矩阵并求得欧拉角，由此可得知工件相对三坐标轴的旋转角度。

本发明通过以下技术方案予以实现。

一种基于图像处理的工件姿态快速测量方法，包括如下步骤：

S1、将数控机床加工中心中CCD图像采集发送装置由自动换刀装置换装到加工中心主轴上，使CCD图像采集发送装置沿机床坐标系的z轴方向在工件高度范围内从上到下做小步长移动，每移动一个步长采集一幅工件的图像，组成工件表面在z轴方向上的序列图像；

S2、由变焦建模法求出步骤S1获得的序列图像里每一幅图像中聚焦清晰的像素，并记录该幅图像中每一个聚焦清晰的像素在序列图像坐标系中的像素坐标i_n和j_n、像素灰度值p_n以及对应位置处的深度信息Z_n；同时，在CCD图像采集发送装置沿z轴方向不移动的前提下，使CCD图像采集发送装置相对工件平移一定长度，对序列图像中聚焦清晰的像素拍摄第二幅图像，求出相对移动前后的像素平移量，便可知每一像素在机床坐标系中代表的尺寸长度，即像素当量L；

S3、由于CCD图像采集发送装置安装在加工中心主轴上，所以序列图像中每幅图像的几何中心与加工中心主轴中心线的位置关系是唯一确定的，假设X_a和Y_a为CCD图像采集发送装置的安装偏差坐标，则图像几何中心在机床坐标系中X和Y向上的坐标值X_no和Y_no满足关系：X_no＝X_so+X_a，Y_no＝Y_so+Y_a，其中X_so、Y_so是不考虑安装误差下序列图像几何中心在机床坐标系中X和Y向上的坐标值，Z_a为所述序列图像中第n幅图像聚焦清晰像素所对应的工件表面上的点与主轴在机床坐标系中的坐标Z_n之间的偏置距离，则序列图像中第n幅图像聚焦清晰像素所对应的工件表面上的点在机床坐标系中的Z向坐标为Z_p＝Z_n+Z_a；

S4、根据步骤S2中序列图像的像素当量L和步骤S3中第n幅图像中聚焦清晰像素的坐标灰度值(i_n，j_n，Z_n，p_n)，确定第n幅图像聚焦清晰像素所对应的工件表面上的点在机床坐标系中的坐标X_pn＝i_n·L+X_no，Y_pn＝j_n·L+Y_no，Z_pn＝Z_n+Z_a，该点在机床坐标系中的坐标为(X_pn，Y_pn，Z_pn)，以此类推，获得所有图像组成的序列图像中聚焦清晰像素所对应的工件表面上的点在机床坐标系中的坐标集合{(X_p，Y_p，Z_p)}；

S5、由步骤S4获得的序列图像中聚焦清晰的像素的点，处理点云数据进而构造三维轮廓，实现工件在加工中心机床坐标系中三维轮廓图形的重构；

S6、在步骤S5重构的三维轮廓图形中找一平行于物体坐标系z轴的向量Q，并将向量Q在机床坐标系表示出来，标记为Q(b₁，b₂，b₃)；再将机床坐标系中的单位向量(0，0，1)作为旋转前向量P(a₁，a₂，a₃)；由点积定义可推出向量P和向量Q之间的夹角，即旋转角度θ为：

所以旋转角所在的平面为有向量P和向量Q所构成的平面，即旋转轴必垂直该平面，由叉乘定义得：

P×Q＝a₁b₁0+a₁b₂k+a₁b₃(-j)+a₂b₁(-k)+a₂b₂0+a₂b₃i+a₃b₁j+a₃b₂(-i)+a₃b₃0

＝(a₂b₃-a₃b₂)i+(a₃b₁-a₁b₃)j+(a₁b₂-a₂b₁)k，

故旋转轴c(c₁，c₂，c₃)为：

S7、由罗德里格斯变换知，单位旋转向量P＝(0，0，1)在旋转角度为θ时对应的旋转矩阵R为：

其中，I是三阶单位矩阵；

S8、选择X-Y-Z型公式由旋转矩阵推算欧拉角，即先围绕X轴进行转动θ_x°，然后围绕Y轴进行转动θ_y°，最后围绕Z轴进行转动θ_z°，设旋转矩阵R为：

α＝Atan2(r₃₂，r₃₃)，

γ＝Atan2(r₂₁，r₁₁)；

完成工件的姿态快速测量；

S9、将步骤S8输出的欧拉角α，β，γ传输给工件旋转装置，完成工件的姿态摆正。

与现有技术相比本发明的有益效果为：

1、CCD图像采集发送装置安装在与加工中心主轴相匹配的锥柄上，放置在加工中心的刀库中，在需要时通过换刀指令调出，安装拆卸方便，结构紧凑，效率高。

2、采用非接触图像测量技术与计算机辅助分析获取待加工工件姿态信息，速度快精度高。

3、适用于形态各异、复杂程度适中的各类工件，能在最大限度内重建工件的真实形态，并快速进行姿态识别。

4、适合微小工件夹装时工件姿态的精准确定。

附图说明

图1是本发明所使用的装置结构示意图；

图2是工件在机床坐标系偏转角度的主视结构示意图；

图3是工件在机床坐标系偏转角度的俯视结构示意图；

图4是工件在机床坐标系偏转角度的左视结构示意图；

图5是工件在机床坐标系偏转角度的立体结构示意图。

图中，1、加工中心底座，2、加工中心工作台，3、夹具，4、工件，5、CCD图像采集发送装置，6、加工中心主轴，7、加工中心刀库，8、立柱。

具体实施方式

以下实施例用于说明本发明，但不用来限制本发明的范围。若未特别指明，实施例均按照常规实验条件。另外，对于本领域技术人员而言，在不偏离本发明的实质和范围的前提下，对这些实施方案中的物料成分和用量进行的各种修改或改进，均属于本发明要求保护的范围。

如图1至图5所示的一种基于图像处理的工件姿态快速测量方法，包括如下步骤：

S1、将数控机床加工中心中CCD图像采集发送装置由自动换刀装置换装到加工中心主轴上，使CCD图像采集发送装置沿机床坐标系的z轴方向在工件高度范围内从上到下做小步长移动，每移动一个步长采集一幅工件的图像，组成工件表面在z轴方向上的序列图像；

S2、由变焦建模法求出步骤S1获得的序列图像里每一幅图像中聚焦清晰的像素，并记录该幅图像中每一个聚焦清晰的像素在序列图像坐标系中的像素坐标i_n和j_n、像素灰度值p_n以及对应位置处的深度信息Z_n；同时，在CCD图像采集发送装置沿z轴方向不移动的前提下，使CCD图像采集发送装置相对工件平移一定长度，对序列图像中聚焦清晰的像素拍摄第二幅图像，求出相对移动前后的像素平移量，便可知每一像素在机床坐标系中代表的尺寸长度，即像素当量L；

S3、由于CCD图像采集发送装置安装在加工中心主轴上，所以序列图像中每幅图像的几何中心与加工中心主轴中心线的位置关系是唯一确定的，假设X_a和Y_a为CCD图像采集发送装置的安装偏差坐标，则图像几何中心在机床坐标系中X和Y向上的坐标值X_no和Y_no满足关系：X_no＝X_so+X_a，Y_no＝Y_so+Y_a，其中X_so、Y_so是不考虑安装误差下序列图像几何中心在机床坐标系中X和Y向上的坐标值，Z_a为所述序列图像中第n幅图像聚焦清晰像素所对应的工件表面上的点与主轴在机床坐标系中的坐标Z_n之间的偏置距离，则序列图像中第n幅图像聚焦清晰像素所对应的工件表面上的点在机床坐标系中的Z向坐标为Z_p＝Z_n+Z_a；

S4、根据步骤S2中序列图像的像素当量L和步骤S3中第n幅图像中聚焦清晰像素的坐标灰度值(i_n，j_n，Z_n，p_n)，确定第n幅图像聚焦清晰像素所对应的工件表面上的点在机床坐标系中的坐标X_pn＝i_n·L+X_no，Y_pn＝j_n·L+Y_no，Z_pn＝Z_n+Z_a，该点在机床坐标系中的坐标为(X_pn，Y_pn，Z_pn)，以此类推，获得所有图像组成的序列图像中聚焦清晰像素所对应的工件表面上的点在机床坐标系中的坐标集合{(X_p，Y_p，Z_p)}；

S5、由步骤S4获得的序列图像中聚焦清晰的像素的点，处理点云数据进而构造三维轮廓，实现工件在加工中心机床坐标系中三维轮廓图形的重构；

S6、在步骤S5重构的三维轮廓图形中找一平行于物体坐标系z轴的向量Q，并将向量Q在机床坐标系表示出来，标记为Q(b₁，b₂，b₃)；再将机床坐标系中的单位向量(0，0，1)作为旋转前向量P(a₁，a₂，a₃)；由点积定义可推出向量P和向量Q之间的夹角，即旋转角度θ为：

所以旋转角所在的平面为有向量P和向量Q所构成的平面，即旋转轴必垂直该平面，由叉乘定义得：

P×Q＝a₁b₁0+a₁b₂k+a₁b₃(-j)+a₂b₁(-k)+a₂b₂0+a₂b₃i+a₃b₁j+a₃b₂(-i)+a₃b₃0

＝(a₂b₃-a₃b₂)i+(a₃b₁-a₁b₃)j+(a₁b₂-a₂b₁)k，

故旋转轴c(c₁，c₂，c₃)为：

S7、由罗德里格斯变换知，单位旋转向量P＝(0，0，1)在旋转角度为θ时对应的旋转矩阵R为：

其中，I是三阶单位矩阵；

S8、选择X-Y-Z型公式由旋转矩阵推算欧拉角，即先围绕X轴进行转动θ_x°，然后围绕Y轴进行转动θ_y°，最后围绕Z轴进行转动θ_z°，设旋转矩阵R为：

α＝Atan2(r₃₂，r₃₃)，

γ＝Atan2(r₂₁，r₁₁)；

完成工件的姿态快速测量；

S9、将步骤S8输出的欧拉角α，β，γ传输给工件旋转装置，完成工件的姿态摆正。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (1)

1.一种基于图像处理的工件姿态快速测量方法，其特征在于包括如下步骤：

S1、将数控机床加工中心中CCD图像采集发送装置(5)由自动换刀装置换装到加工中心主轴(6)上，使CCD图像采集发送装置(5)沿机床坐标系的z轴方向在工件高度范围内从上到下做小步长移动，每移动一个步长采集一幅工件的图像，组成工件表面在z轴方向上的序列图像；

S2、由变焦建模法求出步骤S1获得的序列图像里每一幅图像中聚焦清晰的像素，并记录该幅图像中每一个聚焦清晰的像素在序列图像坐标系中的像素坐标i_n和j_n、像素灰度值p_n以及对应位置处的深度信息Z_n；同时，在CCD图像采集发送装置(5)沿z轴方向不移动的前提下，使CCD图像采集发送装置(5)相对工件平移一定长度，对序列图像中聚焦清晰的像素拍摄第二幅图像，求出相对移动前后的像素平移量，便可知每一像素在机床坐标系中代表的尺寸长度，即像素当量L；

S3、由于CCD图像采集发送装置(5)安装在加工中心主轴(6)上，所以序列图像中每幅图像的几何中心与加工中心主轴中心线的位置关系是唯一确定的，假设X_a和Y_a为CCD图像采集发送装置(5)的安装偏差坐标，则图像几何中心在机床坐标系中X和Y向上的坐标值X_no和Y_no满足关系：X_no＝X_so+X_a,Y_no＝Y_so+Y_a，其中X_so、Y_so是不考虑安装误差下序列图像几何中心在机床坐标系中X和Y向上的坐标值，Z_a为所述序列图像中第n幅图像聚焦清晰像素所对应的工件表面上的点与主轴在机床坐标系中的坐标Z_n之间的偏置距离，则序列图像中第n幅图像聚焦清晰像素所对应的工件表面上的点在机床坐标系中的Z向坐标为Z_p＝Z_n+Z_a；

S4、根据步骤S2中序列图像的像素当量L和步骤S3中第n幅图像中聚焦清晰像素的坐标灰度值(i_n，j_n，Z_n，p_n)，确定第n幅图像聚焦清晰像素所对应的工件表面上的点在机床坐标系中的坐标X_pn＝i_n·L+X_no，Y_pn＝j_n·L+Y_no,Z_pn＝Z_n+Z_a，该点在机床坐标系中的坐标为(X_pn,Y_pn,Z_pn)，以此类推，获得所有图像组成的序列图像中聚焦清晰像素所对应的工件表面上的点在机床坐标系中的坐标集合{(X_p,Y_p,Z_p)}；

S5、由步骤S4获得的序列图像中聚焦清晰的像素的点，处理点云数据进而构造三维轮廓，实现工件在加工中心机床坐标系中三维轮廓图形的重构；

S6、在步骤S5重构的三维轮廓图形中找一平行于物体坐标系z轴的向量Q，并将向量Q在机床坐标系表示出来，标记为Q(b_1,b2,b₃)；再将机床坐标系中的单位向量(0,0,1)作为旋转前向量P(a₁,a₂,a₃)；由点积定义可推出向量P和向量Q之间的夹角，即旋转角度θ为：

所以旋转角所在的平面为有向量P和向量Q所构成的平面，即旋转轴必垂直该平面，由叉乘定义得：

P×Q＝a₁b₁0+a₁b₂k+a₁b₃(-j)+a₂b₁(-k)+a₂b₂0+a₂b₃i+a₃b₁j+a₃b₂(-i)+a₃b₃0

＝(a₂b₃-a₃b₂)i+(a₃b₁-a₁b₃)j+(a₁b₂-a₂b₁)k，

故旋转轴c(c₁，c₂，c₃)为：

S7、由罗德里格斯变换知，单位旋转向量P＝(0，0，1)在旋转角度为θ时对应的旋转矩阵R为：

其中，I是三阶单位矩阵；

S8、选择X-Y-Z型公式由旋转矩阵推算欧拉角，即先围绕X轴进行转动θ_x°，然后围绕Y轴进行转动θ_y°，最后围绕Z轴进行转动θ_z°，设旋转矩阵R为：

α＝Atan2(r₃₂，r₃₃)，

γ＝Atan2(r₂₁，r₁₁)；

完成工件的姿态快速测量；

S9、将步骤S8输出的欧拉角α，β，γ传输给工件旋转装置，完成工件的姿态摆正。

Images