CN109483531A - 一种用于机械手定点取放fpc板的机器视觉***及方法 - Google Patents

Abstract

本发明公开了一种用于机械手定点取放FPC板的机器视觉***及方法，主要由光源、镜头、相机、计算机、视觉软件组成，所解决的技术问题是流水线生产中，机械手吸取载具上的FPC板放到折弯机中,无法保证放置精度。机械手在吸取点上方吸取FPC板，移动到拍照位，光源、镜头、相机组成光学***固定在拍照位，从下方拍摄FPC板；拍摄图像传输到计算机，由视觉软件读取，通过图像算法获得图像中FPC板的位置和角度，然后计算机械手应该旋转的角度以及旋转过后机械手需要平移的距离；计算出的角度和位移传给机械手，由机械手带着产品旋转和平移，实现高精度放置。本发明智能化程度高，通过精密计算，能够有效保证机械手定点取放精度，提高自动化生产效率。

Description

一种用于机械手定点取放FPC板的机器视觉***及方法

技术领域

本发明属于机器视觉技术领域，具体涉及一种用于机械手定点取放FPC板的机器视觉***及方法。

背景技术

FPC板在使用过程中往往需要折弯成不同的形状，放入组装密度高、体积小的电子产品中，因而对折弯精度要求比较高。机械手作为一种能模仿人手和臂进行吸取、搬运的自动化操作装置，具有减省工人、提高效率、降低成本、提高产品品质、安全性好、提升工厂形象的优势。

在快速的自动化产线上，FPC板放在载具中随传送带移动。机械手从传送带的载具中吸取产品，由于产品和载具之间保留有间隙，所以机械手吸取产品的位置是存在误差的。机械手吸取产品后放到折弯机中的位置也就存在较大偏差，导致折弯报废率很高。

发明内容

本发明针对上述问题提出一种智能化程度高、搭建方便、精度高的机器视觉***及方法，以解决机械手吸取产品放置偏差大的问题。

为达到上述目的，本发明提出的技术方案为一种用于机械手定点取放FPC板的机器视觉***，包括光源、镜头、相机、计算机、视觉软件，其中光源、镜头、相机同心，光源给FPC板提供稳定光照，反射回来的光进入镜头，成像于相机感光面，经转换后图像数据传输给计算机，计算机视觉软件获取图像后进行算法处理，计算出旋转角度和位移，传输给机械手。

进一步，所述光源采用大小为100mm～200mm范围、角度30°～60°范围的红色环形光源，距离产品高度在80mm～100mm范围内，使产品在图像中呈现为亮区域，背景为暗区域。

作为优选，镜头采用20mm～30mm范围内的定焦工业镜头，成像清晰。

作为优选，计算机采用工控机，工控机有较高的防磁、防尘、抗干扰能力。

本发明还进一步提出一种基于上述机械手定点取放FPC板的机器视觉***的方法，计算产品从拍照位到折弯机放料位需要旋转的角度和X、Y方向平移量的方法，包括以下步骤：

S1：将产品吸附在机械手吸嘴上，移动到相机上方，综合调整机械手高度、镜头焦距，使产品成像清晰，记录为拍照位；

S2：相机标定：在拍照位视野内设定9个机械手平移位置，分别吸取产品在这9个位置拍照，记录每个位置机械手的坐标QX、QY，图像传回视觉软件，通过图像算法计算产品定位点像素坐标PX、PY并记录，9个位置都记录好后计算出一个转换矩阵M₀，公式如下：

其中QX、QX代表机械手在每个位置的实际坐标，PX、PY代表每个位置拍摄的图像中产品的定位点像素坐标，M₀代表所要求的转换矩阵，minimum1代表最小值，即等式左边求导计算出极小值时，对应的M₀的值就是所要求的转换矩阵。

S3：机械手旋转中心标定，将产品吸附在机械手吸嘴上，移动到拍照位，控制机械手旋转9次，每次旋转5°，分别拍照，图像传回视觉软件，记录图像中产品定位点像素坐标，9个位置都记录好后拟合出一个圆，圆心坐标就是所要求的旋转中心像素坐标，公式如下：

其中PX[i]、PY[i]代表记录好的图像中产品定位点像素坐标，PX_C、PY_C代表所要拟合求出的旋转中心坐标，R代表所要拟合求出的圆半径，minimum2代表最小值，即等式左边求导计算出极小值时，以点(PX_C、PY_C)为圆心，以R为半径的圆就是本发明拟合出的圆，圆心坐标(PX_C、PY_C)就是我们所要求的旋转中心像素坐标；

S4：设置基准，将产品放置在折弯机上，机械手移动到产品上方吸取产品，记录机械手基准放料位置坐标QX₀、QY₀，吸取产品后平行移动到拍照位，拍摄图像传回计算机，用图像算法计算产品基准角度θ₀并记录；

S5：开始正式生产，机械手移动到设定好的位置吸取传送带上载具中的产品，移动到拍照位，拍摄图像，通过图像算法获得当前产品的角度θ₁以及定位点像素坐标PX₁、PY₁，调用S4中记录的产品基准角度θ₀，获得产品应该旋转的角度θ₂＝(θ₁-θ₀)，计算出旋转后的产品定位点像素坐标PX₂、PY₂，公式如下：

其中，M₁代表旋转变换矩阵，旋转中心为S3中计算出所要求的旋转中心坐标PX_c、PY_c，旋转角度为产品需要旋转的角度θ₂；

通过M₁，以产品当前定位点像素坐标PX₁、PY₁作为输入，计算出旋转θ₂角度后的定位点像素坐标PX₂、PY₂，；

调用S2的转换矩阵M₀将像素坐标PX₂、PY₂转换为机械手位置坐标QX₂、QY₂：

然后调用S4中的机械手基准放料位置的坐标QX₀、QY₀，计算出机械手X、Y方向需要移动的距离QX₃、QY₃，公式如下：

QX₃＝QX₂-QX₀

QY₃＝QY₂-QY₀

将旋转角度θ₂和平移量QX₃、QY₃发送给机械手，使得机械手旋转调整和水平调整之后会将产品精准放入折弯机。

其中，为了计算产品定位点像素坐标和产品角度，使用图像算法如下：

S1：模板匹配，在开始生产之前先拍摄产品图像，选取产品特征轮廓，创建模板，保存为模板文件，开始生产后在产品图像中用平方差匹配法查找模板，找到的模板就是产品在图像中的位置，公式如下：

其中，T表示保存的模板，x′、y′是模板在图像中的像素坐标，I表示产品在图像中的区域，x、y是该区域的像素坐标，w表示图像宽，h表示图像高，M表示匹配结果，M值越小，代表模板与产品约匹配，当M值小于设定的值时，模板匹配成功；

S2：直线拟合，通过模板匹配找到产品后在产品上选取两条垂直边用最小二乘法进行直线拟合，获得两条直线，两条直线的交点像素坐标就是产品的定位点像素坐标，选取其中一条直线的角度定为产品的角度，公式如下：

minimum3＝∑(y_i-a*x_i-b)²

其中，(x_i，y_i)表示产品边缘线上离散的点，minimum3表示最小值，a、b表示所要拟合的直线y＝a*x+b中未知数，即等式右边求导计算出极小值时，对应的a、b的值就是所要拟合的直线y＝a*x+b中未知数；

进一步，上述机械手坐标所在的坐标系是世界坐标系，是机械手自身的参数；图像中像素坐标所在的坐标系是以图像左上方的点作为原点，横向作为X轴，纵向作为Y轴建立的二维坐标系。

所述视觉软件，包括图像采集、图像显示、图像处理、网络通信、数学算法和数据管理。

与现有技术相比，本发明的有益效果在于：

1)智能化程度较高。根据产品在拍照位的角度和位置，计算出接下来应该旋转的角度和平移量，发送指令给机械手，将产品放入折弯机。

2)精度高。经过图像算法精确计算出旋转角度和平移量后，机械手再根据计算结果去放置产品，大幅度减小误差。

3)工作效率高。机械手根据指令精准放置产品后，折弯成功率提升，产品质量高。

附图说明

图1是本发明描述的机器视觉***硬件组成；

图2是本发明描述的通信流程图；

图3是本发明描述的相机标定的9个位置示意图；

图4是本发明描述的机器视觉***检测软件结构框图；

图5是本发明描述的机器视觉***软件使用流程图。

具体实施方式

现结合附图对本发明的具体实施方式作进一步的说明。

机器视觉***由机器视觉硬件和视觉检测软件组成。机器视觉***组成如图1所示，包括光源、镜头、相机、工控机。光源给产品提供照明，反射光进入镜头成像于相机感光面，经相机转换后图像数据通过网线传输给工控机，工控机中的应用程序接受图像数据进行算法处理。

机器视觉***光路搭建，产品FPC板吸附在机械手吸盘上，光源、镜头和相机依次固定在下方构成同心光路。产品FPC板颜色为黑色，表面比较粗糙，漫反射成像时呈现为黑色暗区域；机械手吸盘吸嘴周边区域为金属质地，颜色为银色，表面比较光滑，成像时呈现为白色亮区域。

机器视觉***通信流程如图2所示，相机采集的图像以H264数据流的形式通过网线以RTSP协议发送给工控机，工控机的应用程序接受图像数据后进行解码、算法处理，计算出旋转角度和X、Y方向平移量，通过网线以TCP协议发送给机械手。

所述的计算产品从拍照位到折弯机放料位需要旋转的角度和X、Y方向平移量的方法，步骤如下：

S1：将产品吸附在机械手吸嘴上，移动到相机上方，综合调整机械手高度、镜头焦距，使产品成像清晰，记录为拍照位；

S2：相机标定：在拍照位视野内设定9个机械手平移位置，如图3所示，矩形外框为相机视野，机械手分别吸取产品移动到这9个位置拍照，记录每个位置机械手的坐标，图像传回视觉软件，记录产品定位点像素坐标，9个位置都记录好后计算出一个转换矩阵，输入为产品定位点像素坐标，输出为对应的机械手坐标；

S3：机械手旋转中心标定，将产品吸附在机械手吸嘴上，移动到拍照位，控制机械手旋转9次，每次旋转5°，分别拍照，图像传回视觉软件，记录产品定位点像素坐标和机械手坐标，9个位置都记录好后计算出旋转中心坐标；

S4：设置基准，将产品放置在折弯机上，机械手移动到产品上方吸取产品，记录机械手基准放料位坐标，吸取产品后平行移动到拍照位，拍摄图像传回计算机，用图像算法计算产品基准角度并记录；

S5：开始正式生产，机械手移动到设定好的位置吸取传送带上载具中的产品，移动到拍照位，拍摄图像，通过图像算法获得当前产品的角度以及定位点像素坐标，调用S4中记录的产品基准角度，获得产品应该旋转的角度，计算出旋转后的产品定位点像素坐标，调用S2的转换矩阵将像素坐标转换为机械手坐标，然后调用S4中的机械手基准放料位的坐标，计算出机械手X、Y方向需要移动的距离，将旋转角度和平移量发送给机械手，将产品精准放入折弯机。

机器视觉***检测软件结构如图4所示，包括图像采集、图像显示、图像处理、网络通信、数学算法和数据管理。

机器视觉***软件程序流程如图5所示，使用步骤如下：

S1：启动软件；

S2：选择产品型号，调用对应模板；

S3：连接机械手，实现通信；

S4：连接相机，实现通信；

S5：采集图像；

S6：在实时采集的图像中查找模板，如果查找失败，发送抛料信号给机械手；如果查找成功，拟合直线，计算出旋转角度和X、Y方向平移量，发送给机械手。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims (8)

1.一种用于机械手定点取放FPC板的机器视觉***，其特征在于，包括：光源、镜头、相机、计算机；其中光源、镜头、相机同心，光源给FPC板提供稳定光照，反射回来的光进入镜头，成像于相机感光面，经转换后图像数据传输给计算机，计算机获取图像后进行算法处理，计算出旋转角度和位移，传输给机械手，使得机械手能够精确取放FPC板。

2.根据权利要求1所述的一种用于机械手定点取放FPC板的机器视觉***，其特征在于，所述光源采用大小为100mm～200mm范围、角度30°～60°范围的红色环形光源，距离产品高度在80mm～100mm范围内，使产品在图像中呈现为亮区域，背景为暗区域。

3.根据权利要求1所述的一种用于机械手定点取放FPC板的机器视觉***，其特征在于，所述镜头采用20mm～30mm范围内的定焦工业镜头，成像清晰。

4.根据权利要求1所述的一种用于机械手定点取放FPC板的机器视觉***，其特征在于，计算机采用工控机。

5.一种用于机械手定点取放FPC板的方法，其特征在于，包括生产前的标定方法和生产过程的控制方法；

所述生产前的标定方法如下：

S1：将产品吸附在机械手吸嘴上，移动到相机上方，调整机械手高度、镜头焦距，使产品成像清晰，记录为拍照位；

S2：相机标定：在拍照位视野内设定9个机械手平移位置，分别吸取产品在这9个位置拍照，记录每个位置机械手的坐标QX、QY，图像传回视觉软件，通过图像算法计算产品定位点像素坐标PX、PY并记录，9个位置都记录好后计算出转换矩阵M₀，公式如下：

其中QX、QX表示机械手在每个位置的实际坐标，PX、PY表示每个位置拍摄的图像中产品的定位点像素坐标，M₀表示所要求的转换矩阵，minimum1表示最小值，即等式左边求导计算出极小值时，对应的M₀的值就是所要求的转换矩阵。

S3：机械手旋转中心标定：将产品吸附在机械手吸嘴上，移动到拍照位，控制机械手旋转9次，每次旋转5°，分别拍照，图像传回视觉软件，记录图像中产品定位点像素坐标，9个位置都记录好后拟合出一个圆，圆心坐标就是所要求的旋转中心像素坐标，公式如下：

其中PX[i]、PY[i]表示图像中产品定位点像素坐标，PX_c、PY_c表示所要拟合求出的旋转中心坐标，R表示所要拟合求出的圆半径，minimum2表示最小值，即等式左边求导计算出极小值时，对应的点(PX_c、PY_c)为圆心，R为半径的圆就是拟合出的圆，圆心坐标(PX_c、PY_c)就是所要求的旋转中心像素坐标；

S4：设置基准：将产品放置在折弯机上，机械手移动到产品上方吸取产品，记录机械手基准放料位置坐标QX₀、QY₀，吸取产品后平行移动到拍照位，拍摄图像传回计算机，用图像算法计算产品基准角度θ₀并记录；

所述生产过程的控制方法如下：

S5：机械手移动到设定好的位置吸取传送带上载具中的产品，移动到拍照位，拍摄图像，通过图像算法获得当前产品角度θ₁以及产品定位点像素坐标PX₁、PY₁，调用S4中记录的产品基准角度θ₀，获得产品应该旋转的角度θ₂＝(θ₁-θ₀)，计算出旋转后的产品定位点像素坐标PX₂、PY₂，公式如下：

其中，M₁代表旋转变换矩阵，旋转中心为S3中计算出的旋转中心坐标PX_c、PY_c，旋转角度为产品需要旋转的角度θ₂；

通过M₁，以产品当前定位点像素坐标PX₁、PY₁作为输入，计算出旋转θ₂角度后的定位点像素坐标PX₂、PY₂；

调用S2的转换矩阵M₀将像素坐标PX₂、PY₂转换为机械手位置坐标QX₂、QY₂：

然后调用S4中的机械手基准放料位置的坐标QX₀、QY₀，计算出机械手分别在X、Y方向需要移动的距离QX₃、QY₃，公式如下：

QX₃＝QX₂-QX₀

QY₃＝QY₂-QY₀

将旋转角度θ₂和平移量QX₃、QY₃发送给机械手，使得机械手旋转调整和平移调整之后将产品精准放入折弯机。

6.根据权利要求5所述的一种用于机械手定点取放FPC板的方法，其特征在于，在计算产品定位点像素坐标和产品角度时，采用如下图像算法：

S1：模板匹配，在开始生产之前先拍摄产品图像，选取产品特征轮廓，创建模板，保存为模板文件，开始生产后在产品图像中用平方差匹配法查找模板，找到的模板就是产品在图像中的位置，公式如下：

其中，T表示保存的模板，x′、y′是模板在图像中的像素坐标，I表示产品在图像中的区域，x、y是该区域的像素坐标，w表示图像宽，h表示图像高，M表示匹配结果，M值越小，代表模板与产品约匹配，当M值小于设定的值时，模板匹配成功；

S2：直线拟合，通过模板匹配找到产品后在产品上选取两条垂直边用最小二乘法进行直线拟合，获得两条直线，两条直线的交点像素坐标就是产品的定位点像素坐标，选取其中一条直线的角度定为产品的角度，公式如下：

minimum3＝∑(y_i-a*x_i-b)²

其中，(x_i,y_i)表示产品边缘线上离散的点，minimum3表示最小值，a、b表示所要拟合的直线y＝a*x+b中未知数，即等式右边求导计算出极小值时，对应的a、b的值就是所要拟合的直线y＝a*x+b中未知数。

7.根据权利要求6所述的一种用于机械手定点取放FPC板的方法，其特征在于，所述视觉软件***包括：图像采集、图像显示、图像处理、网络通信、数学算法和数据管理。

8.根据权利要求7所述的一种用于机械手定点取放FPC板的方法，其特征在于，所述视觉软件***的流程如下：

S1：启动软件；

S2：选择产品型号，调用对应模板；

S3：连接机械手，实现通信；

S4：连接相机，实现通信；

S5：采集图像；

S6：在实时采集的图像中查找模板，如果查找失败，发送抛料信号给机械手；如果查找成功，拟合直线，计算出旋转角度和X、Y方向平移量，发送给机械手。