CN110497187A - 基于视觉引导的太阳花模组装配*** - Google Patents

基于视觉引导的太阳花模组装配*** Download PDF

Info

Publication number
CN110497187A
CN110497187A CN201910698752.2A CN201910698752A CN110497187A CN 110497187 A CN110497187 A CN 110497187A CN 201910698752 A CN201910698752 A CN 201910698752A CN 110497187 A CN110497187 A CN 110497187A
Authority
CN
China
Prior art keywords
image
coordinate
manipulator
plane
mould group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910698752.2A
Other languages
English (en)
Other versions
CN110497187B (zh
Inventor
曹衍龙
陈洪凯
张琪琦
孙沛泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Chuangzhi Intelligent Technology Co Ltd
Shandong Industrial Technology Research Institute of ZJU
Original Assignee
Shandong Chuangzhi Intelligent Technology Co Ltd
Shandong Industrial Technology Research Institute of ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Chuangzhi Intelligent Technology Co Ltd, Shandong Industrial Technology Research Institute of ZJU filed Critical Shandong Chuangzhi Intelligent Technology Co Ltd
Priority to CN201910698752.2A priority Critical patent/CN110497187B/zh
Publication of CN110497187A publication Critical patent/CN110497187A/zh
Application granted granted Critical
Publication of CN110497187B publication Critical patent/CN110497187B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
    • B23P19/00—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
    • B23P19/04—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes for assembling or disassembling parts
    • B23P19/06—Screw or nut setting or loosening machines
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
    • B23P19/00—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
    • B23P19/10—Aligning parts to be fitted together
    • B23P19/102—Aligning parts to be fitted together using remote centre compliance devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

基于视觉引导的模组装配***包括螺丝钉供给机，数据处理器和机械手；机械手的末端安装有执行机构，末端执行机构安装有工业相机，工业相机的下方为传送带，传送带上方有模组工装位，模组工装位上放置有太阳花模组；视觉引导装配技术工作方法包括：模组工件通过传送带运动至工装位进行拍照，工业相机将采集到图像传输给数据处理器，数据处理器对获取的图像进行图像预处理和螺钉孔位置检测，机械手携带螺钉到达螺钉孔位置处进行锁螺钉操作，机械手完成锁螺钉操作装配完成。本发明优点在于，基于视觉引导的模组装配技术替代人工组装，装配的产品质量稳定性好，而且提高了生产效率，降低企业成本。

Description

基于视觉引导的太阳花模组装配***
技术领域
本发明涉及装配技术领域，特别涉及一种基于视觉引导的太阳花模组装配系 统。
背景技术
机器视觉装配是以现代光学为基础，融合电子学、数据处理器图像学、信息 处理、数据处理器，装配控制技术等科学技术为一体的现代检测装配技术，具有 不必接触便可进行稳定检测的特点，在诸多的自动化检测装配，包括质量检测、 产品分拣、产品装配、尺寸检测、字符识别中具有广泛的应用前景，机器视觉技 术在无人机、智能驾驶、安防等领域也在不断发展,能够提高生产线的自动化程 度，提升产品的质量,机器视觉可以在一些单一的机械手无法解决或不适合人工 作业的装配场景下进行工作，提高机械手的柔性化和生产的自动化，而且机器视 觉便于统计生产信息，提高装配效率。
目前机器视觉识别主要研究工作是光学字符识别和一些工件表面图片的分 析，并应用到其他领域，如应用机器视觉对人体进行三维重建，对车辆进行车牌 自动识别，地球观测卫星应用视觉技术获取地球表面图像；传真通信和复印机舍 弃了传统的机械扫描转而使用图像采集技术，但是，对于机器视觉引导装配技术 的应用仅在部分高校和研究所存在一些图像处理和模式识别的研究。
现有的LED太阳花模组生产过程采用人工装配，其中LED太阳花模组是一种 用于路灯照明设备的散热装置。LED路灯的发光功率高，所产生的热量大，过高 的热量会改变灯光的颜色并缩短LED设备的寿命，但由于空间和工艺发展水平的 限制，在现有条件下模组散热面积已接近临界值，主要原因是零件尺寸精度不够 高且形状复杂，仅凭传统的机械手无法完成装配流程，而且人工装配成本高，合 格率低等问题也制约了LED行业的发展。视觉检测与机械手的结合，可大大提高 机器人生产的柔性化，解决了在生产线中目标位置不同时无法装配的难题。
发明内容
本发明的目的在于提供一种能够将视觉引导应用于模组工件的大规模生产 装配，并且实现模组装配检测自动化的模组装配***。
基于视觉引导的模组装配***，包括螺丝钉供给机，数据处理器和机械手， 机械手的末端安装有执行机构，末端执行机构安装有工业相机，工业相机的下方 为传送带，传送带上方有模组工装位，模组工装位上放置有太阳花模组；视觉引 导装配技术工作流程包括以下步骤：
步骤1，模组工件通过传送带运动至工装位，数据处理器控制机械手移动至 模组工件上方进行拍照；
步骤2，工业相机将采集到图像传输给数据处理器，数据处理器对获取的图 像进行图像预处理和螺钉孔位置检测，从而提取螺钉孔位置信息；
步骤3，机械手从螺钉供给机位置完成螺钉的吸取，并携带螺钉到达螺钉孔 位置处，进行锁螺钉操作；
步骤4，机械手完成锁螺钉操作，装配完成，机械手返回初始位置。
进一步，工业相机采集图片时需要对相机进行标定，其特征在于，辅助坐标 系标定包括以下步骤：
步骤2.1，首先在物体表面放置棋盘格标定板，机械手控制柜控制机械手在 棋盘格上走一个‘田’字，并记录9个点位置，‘田’字的中心位置为O点；
步骤2.2，通过右手法则建立辅助坐标系，Z轴方向垂直棋盘格平面向上， 分别对9个点的横坐标和纵坐标相减可得到X轴和Y轴的单位向量，并根据右 手坐标系法则求出Z轴单位向量，从而得到棋盘格辅助坐标系到机械手基坐标 系的矩阵转换关系，进一步得到齐次转换矩阵；
步骤2.3，将相机移动至物体正上方，工业相机垂直向下拍摄获取棋盘格图 像，计算所获取的棋盘格图像中对应的角点坐标，通过9个角点的图像坐标从而 得到图像中的棋盘格坐标系和像素坐标系之间的转换关系；
步骤2.4，将图像像素坐标系经过矩阵转换可得到图像中的棋盘格坐标系， 乘上比例因子得到对应的实际棋盘格坐标系下的坐标；其中比例因子是每个像素 尺寸对应的实际物理距离，可由各角点的像素距离和实际物理距离求出；
步骤2.5，将上述两个转换矩阵相乘可得到图像坐标系与机械手基坐标系之 间的转换关系。
进一步，基于残差特征的托盘平面拟合包括以下步骤：
步骤3.1，首先将机械手末端执行机构移动至棋盘格标定板上表面，在棋盘 格标定板表面任意获取10个不同的位置点；
步骤3.2，将棋盘格标定板顺时针旋转60度，再获取10个不同的位置点， 重复旋转60度继续获取10个不同的角点位置，重复步骤3.2，直到旋转360度， 最终获得6组坐标；
步骤3.3，获得的6组坐标中，每组坐标的(x,y,z)都存在误差，通过公式计 算，使所获得的测量点到平面的距离最小；
ax+by+cz＝0(0-1)，
上式表示要拟合的平面方程，其中n(a,b,c)为平面的法向量；
步骤3.4，拟合的平面一定会经过全部数据的中心点(xc,yc,zc)；
其中，(xi，yi，zi)表示第i个点的三维坐标；
步骤3.5，将每个点的三维坐标减去中心点坐标，可得到每个点对应的方向 向量mi；
mi＝(xi-xc,yi-yc,zi-zc)(0-3)，
因此求得点与平面的垂直距离di；
di＝mi·n(0-4)；
步骤3.6，目标函数为点到所求平面的距离之和的最小值；
步骤3.7，对M矩阵进行奇异值分解，得到的最小奇异值所对应的奇异向量， 得到平面方程的解(a,b,c)，获得所拟合的平面，六组坐标共拟合出六个平面；
步骤3.8，将6组坐标点全部输入数据处理器中，拟合出一个倾斜面，所述 的倾斜面是传动带托盘上表面所在的平面。
在实际情况下，由于安装误差的存在，工业相机的光心轴向和法兰盘Z轴方 向存在一定的偏差，因此对其进行校准，从而避免工业相机的光心轴线方向和法 兰盘的Z轴方向并不平行，减小标定板表面的不完全水平值，使标定结果存在 较小的误差。
进一步，基于最小二乘的辅助坐标系重建包括以下步骤：
步骤4.1，在棋盘格上任意取一个坐标原点O(Ox,Oy,Oz)，X轴方向单位向 量为Y轴方向单位向量为对于棋盘格上的任意一 个点，实际点和测量点的欧式距离为：
其中，O为原点坐标，mi,ni是此点在X轴方向和Y轴方向分别投影的长度， Pi表示第i点的坐标。
步骤4.2，目标函数为欧式距离之和最小值：
将其展开可得：
步骤4.3，对各个变量求导，当欧式距离之和f取最小值时导数全为0，整 理得到公式：
M·L＝b
步骤4.4，求得(Ox,Oy,Oz)(Xx,Xy,Xz)(Yx,Yy,Yz)，由X轴单位向量和Y轴单 位向量可求出Z轴单位向量，最终得到优化后的辅助棋盘格坐标系。
进一步，图像预处理包括以下步骤，首先对图像进行双边滤波降噪，然后对 经过滤波的图像进行Canny边缘检测，对边缘检测结果进行霍夫圆检测从而提取 出螺钉孔并定位，对螺钉孔感兴趣区域进行截取获得图像。
进一步，对边缘检测结果进行霍夫圆检测提取螺钉孔并定位，两个目标螺钉 孔在模组中心和穿线孔所在圆中心相连的直线上，获取LED区域和穿线孔位置， 通过对应关系定位螺钉孔区域，检测出螺钉孔中心位置，截取ROI区域，对ROI 区域进行霍夫圆检测，获取到LED位置。
进一步，分别对I型螺钉孔和II型螺钉孔感兴趣区域进行截取获得图像。
对I型螺钉孔感兴趣区域进行截取获得图像，首先对实际物体进行测量，得 到两个螺钉孔均在LED中心和穿线孔中心的连线上，两个螺钉孔与LED区域中心 的距离约等于LED中心与穿线孔距离的一半：
其中，(xscrew1,yscrew1)(xscrew2,yscrew2)分别表示两个螺钉孔的位置，(xled,yled)表示LED中心的坐标，(xhole,yhole)表示穿线孔中心的坐标。
对II型螺钉孔感兴趣区域进行截取获得图像，螺钉孔的尺寸关系为：
以计算得到的螺钉孔坐标为中心，设定区域边长为90个像素值，截取图像 感兴趣区域(ROI)。
在边缘检测图中截取图像感兴趣区域(ROI)，目标螺钉孔由于光线原因导致 的灰度变化经过边缘检测时产生了虚假边缘信息，采用在滤波图中截取图像感兴 趣区域(ROI)的方法，可以精准且稳定的检测出螺钉孔位置。
进一步，螺钉孔位置检测包括以下步骤，首先对双重自适应阈值化图像进行 分割，然后基于连通域提取的轮廓跟踪，接着基于RANSAC去噪的椭圆拟合，最 后基于方向特征建立椭圆校正模型。
进一步，双重自适应阈值化图像分割包括以下步骤：
步骤5.1，对获取到的图像进行遍历，计算图像中灰度值i＝0,1,2...255的像 素数量在图像中的占比pi；
步骤5.2，计算累积和其中k＝0,1,2...255；
步骤5.3，计算累计均值其中k＝0,1,2...255；
步骤5.4，计算全局灰度均值
步骤5.5，计算类间方差
步骤5.6，得到阈值k*，即使得类间方差最大。如果最大值不具有唯一性， 通过对计算得到的各个最大值k取平均得到k*；
步骤5.7，记录k*对应的累计概率和P1(k)，计算累计和其中j＝0,1,2...k-1；
步骤5.8，计算累计均值其中j＝0,1,2...k-1；
步骤5.9，计算全局灰度均值
步骤5.10，计算最大类间方差对应的阈值j；
步骤5.11，完成螺钉孔区域的分割。
在实际场景中光照条件不断变化，设置固定的阈值对图片进行分割并不适用， 采用了自适应阈值分割算法(OTSU)，自适应阈值分割算法(OTSU)将像素分为 前景像素和背景像素两类，通过计算最大类间方差对应的阈值来分割图像，其具 有效果好，鲁棒性高的优点。
进一步，基于方向特征的椭圆校正模型包括以下步骤：
椭圆校正模型中存在实际轮廓线，和检测轮廓线，两条线之间存在重合的部 分，且可分为两种椭圆校正模型；
椭圆校正第一种模型，当椭圆长轴所在直线的倾斜角与两个螺钉孔连线的倾 斜角接近时，符合第一个模型情况，此时实际轮廓线的短轴和检测轮廓线的半径 相等；椭圆校正第二种模型，当椭圆长轴所在直线的倾斜角与两个螺钉孔连线对 应的垂直线的倾斜角接近时，符合第二个模型情况，此时实际轮廓线的长轴和检 测轮廓线的半径相等；
对于椭圆和圆的圆心偏差，存在公式：
其中，Le和Se分别为椭圆的长轴和短轴；当符合第一个模型情况时，椭 圆中心沿椭圆长轴方向向内平移距离do；当符合第二个模型情况时，椭圆中心 沿椭圆短轴方向向外平移圆心偏差do。
椭圆长轴和水平方向X轴的夹角为θ，中心坐标的X方向偏移量Xoffset和Y 方向偏移量Yoffset分别为：
由于椭圆的中心位置和实际的螺钉孔中心位置并不重合，因此需要对椭圆检 测的结果进行位置校正，椭圆轮廓中靠近LED芯片中心的部分轮廓线是和实际相 符的，而远离中心的轮廓线因为光照和投影的关系与实际的轮廓线不一致。将椭 圆圆心坐标经过偏移量进行校正后，最终可得检测图，经过RANSAC椭圆拟合， 可得到螺钉孔所在的椭圆轮廓。
进一步，环境光变化对***识别效果的影响测试方法包括以下步骤：
步骤6.1，工业相机在自然光条件下采集图片，从上午11点至下午5点半， 每隔20分钟采集一张图片；
步骤6.2，从所采集的图片中选取整体灰度值较大的图片，图像对比度较大， 边缘像素值与周围像素值相差较大；
步骤6.3，从所采集的图片中选取整体灰度值较小的图片，图像对比度低， 边缘像素与周围像素值相差不大；
步骤6.4，计算两种图像的整体灰度值，根据不同图像灰度值人工和、或自 动调节边缘检测参数；
步骤6.5，通过调节边缘检测参数试验并计算灰度值变化范围，当图像灰 度值超出此检测范围时，调整工业相机的曝光时间，重新采集图片，直至图片的 灰度范围满足检测要求方可进行下一步处理。
在整体灰度值较大的图片中，边缘像素值与周围像素值相差较大，图片清晰。 当图像整体灰度值较小，边缘像素值与周围像素值相差不大，图片模糊。若选取 同样的边缘阈值，灰度值较低的图片只能检测到部分边缘，或者灰度值较大的图 片会检测到大量假边缘。因此本方法在图像处理之前计算图像的整体灰度值，根 据图像灰度值自动调节边缘检测参数，从而提高检测精度。
进一步，倾斜拍摄角度对***精度的影响测试方法包括以下步骤：
步骤7.1，首先获取棋盘格标定板表面在此位置下的平面法向量，并通过位 姿校正获取垂直拍摄的机械手位姿，在此位姿下进行辅助坐标系标定；
步骤7.2，通过工业相机拍摄棋盘格图片，将棋盘格角点坐标系经过转换得 到棋盘格角点三维坐标系(计算值)；
步骤7.3，通过移动机械手尖端触碰到棋盘格角点获取三维坐标系(真实值)， 将计算值和真实值相减，得到每个棋盘格角点的位置误差；
步骤7.4，将棋盘格标定板旋转一定角度，保持相机位置不变，并拍摄棋盘 格标定板图片，获取图像棋盘格角点进行坐标转换得到棋盘格角点三维坐标系 (计算值)，通过移动机械手尖端触碰到棋盘格角点获取棋盘格角点三维坐标系 (真实值)，将计算值和真实值相减，得到每个棋盘格角点的位置误差；
步骤7.5，再次旋转移动棋盘格标定板角度，重复上述步骤，对不同角度下 放置的棋盘格标定板拟合出平面法向量，计算出各法向量与工业相机光轴中心的 夹角，最终得到不同夹角下的平均标定误差结果；
在组装过程中，工业相机的光轴中心与拍摄平面垂直，但在实际拍摄中，由 于太阳花模组在生产过程中的加工误差，工件自身不同位置的厚度会有些许的不 同，因此当太阳花模组在托盘上放置的角度不同时，上表面所在的平面也会有略 微的差异，对于不同的上表面平面使用同样的坐标转换矩阵，对***的精度会产 生影响，因此需要通过试验分析方法确定倾斜角度对***标定精度的影响。
进一步，由于倾斜误差，图像中的目标点P所对应拍摄平面中投影点为P2, 实际目标点P1到投影点P2的距离即为拍摄平面倾斜所导致的误差。
实际目标点P1到相机光心O的距离l1为：
其中，x为图像中的目标点P到光心O在x轴方向的距离，f为图像中的目 标点P到光心O在y轴方向的距离，d为光心O到拍摄平面O'的距离。
投影点P2到光心O的距离l2为：
其中，x为图像中的目标点P到光心O在x轴方向的距离，f为图像中的目 标点P到光心O在y轴方向的距离，d为光心O到拍摄平面O'的距离，h为理 想拍摄平面和实际拍摄平面之间的距离；
则P1点到P2点的位置误差Perror为：
公式(5-3)为工业相机拍摄时的投影误差模型，由此倾斜角θ越大，所对应 的误差越大，h为不同平面与光轴的交点到光轴原点的距离之差，远小于到光轴 原点的距离d，影响较小。
进一步，机械臂包含基座、第一连杆、第二连杆和、或多根连杆，第一连杆 与基座通过关节球连接，第二连杆与第一连杆通过关节球连接，末端连杆设置有 执行器。
进一步，末端执行机构设置有安装架，安装架固定于机械手法兰盘末端，安 装架留有相机安装位置，相机安装位置上安装有工业相机，工业相机的光心轴线 和法兰盘垂直轴相互平行，相机安装位置在电动锁螺丝机的背面，电动锁螺丝机 垂直固定于安装架。
本发明的优点在于:
1.机器视觉检测具有非接触、效率高、精确高、成本低，数字化程度高等 优点，用基于视觉引导的模组装配技术替代人工组装，从而提高生产效率，降低 企业成本，而且装配的产品质量稳定性高。
2.在实际生产中，对于一些尺寸不确定、产品可变性或生产精度不高的零 件，基于机器视觉技术的引导能够提高生产线的自动化程度，提升产品的质量； 基于机器视觉技术的引导可以在一些单一的机械手无法解决或不适合人工作业 的场景下进行工作，提高了机械手的柔性化和生产的自动化，而且机器视觉便于 统计生产信息，实现数据的管理和共享。
附图说明
图1是视觉引导装配***示意图。
图2是视觉引导装配***工作流程图。
图3是末端执行机构设计图纸。
图4是辅助坐标系标定时的各坐标系位置。
图5是棋盘格9点位置和坐标系。
图6是标定图片。
图7是ROI区域截取图。
图8是原图和自适应阈值划分割图。
图9是椭圆和圆的轮廓偏差模型。
图10是椭圆校正模型。
图11是环境光照变化情况下拍摄的图像。
具体实施方式
作为一种实施方式，本发明的目的在于将机器视觉技术应用于太阳花模组的 大规模个性化生产装配中，从而实现模组的装配检测、包装的智能化和自动化。
如图1所示，一种基于视觉引导的模组装配***，包括机械手1、工业相机 3、工装平台、数据处理器6、传感器、传送带8、模组工装位5、螺丝钉供给机 4、太阳花模组、可编程控制器(PLC)、机械手1、控制柜7；其特征在于，机械 手1包含机械手1和末端执行机构2，末端执行机构2组装有工业相机3和电动 锁螺丝机；末端执行机构2的下方为传送带8，传送带8放置于工装平台上，传 送带8位于工装平台的中间，传送带8上方有模组工装位5，模组工装位5的旁 边放置有螺丝钉供给机4，螺丝钉供给机4被固定在工装品台上且在机器人的工作活动范围内，模组工装位5上方为末端执行机构2，模组工装位5上放置有太 阳花模组，太阳花模组上分别有I型螺钉孔和II型螺钉孔，工装平台还放置有 数据处理器6、可编程控制器(PLC)、机械手1控制柜7；如图2所示，视觉引 导装配技术工作流程包括以下步骤：
步骤1，模组工件随传送带8运动至工装位置，可编程控制器(PLC)接收到 传感器检测到模组工件的信号，模组工件被模组工装位5顶起并通过传送带8 移动到装配位置，然后可编程控制器(PLC)向数据处理器6发送指令；
步骤2，数据处理器6接收到可编程控制器(PLC)指令，通过机械手1控制 柜7控制机械手1移动至拍照位置，到达拍照位置后机械手1向数据处理器6 反馈位置信号；
步骤3，数据处理器6收到反馈位置信号，并确认机械手1到达指定位置， 从而向工业相机3发送图像采集信号，并采集图片；
步骤4，通过工业相机3采集到图片传输给数据处理器6，数据处理器6获 得太阳花模组图片，并控制关闭相机，对数据处理器6获得的太阳花模组图片进 行图像预处理和螺钉孔位置检测，数据处理器6通过太阳花模组图片提取到螺钉 孔位置信息；
步骤5，数据处理器6完成图像处理，向机械手1控制柜7发送指令，机械 手1控制柜7控制机械手1移动至螺钉供给机位置，数据处理器6向机械手1 控制柜7发送指令，机械手1启动电动锁螺丝机，吸取螺钉；
步骤6，数据处理器6向机械手1控制柜7发送指令，机械手1携带螺钉到 达螺钉孔位置处，进行锁螺钉操作；
步骤7，机械手1完成锁螺钉操作，装配完成，机械手1返回初始位置，数 据处理器6向可编程控制器(PLC)发送完成指令，可编程控制器(PLC)控制传 送带8带动模组工件运动至下一个工装位置。
进一步，如图4所示，工业相机3采集图片时需要对相机进行标定，其特征 在于，辅助坐标系C标定包括以下步骤：
步骤2.1，首先在物体表面放置棋盘格标定板，如图5所示，机械手1控制 柜7控制机械手1在棋盘格上走一个‘田’字，并记录9个点位置，‘田’字的 中心位置为O点；
步骤2.2，通过右手法则建立辅助坐标系C，Z轴方向垂直棋盘格平面向上， 分别对9个点的横坐标和纵坐标相减可得到X轴和Y轴的单位向量，并根据右 手坐标系法则求出Z轴单位向量，从而得到棋盘格辅助坐标系C到机械手1基 坐标系A的矩阵转换关系，进一步得到齐次转换矩阵；
步骤2.3，将相机移动至物体正上方，工业相机3垂直向下拍摄获取棋盘格 图像，计算所获取的棋盘格图像中对应的角点坐标，通过9个角点的图像坐标从 而得到图像中的棋盘格坐标系和像素坐标系之间的转换关系；
步骤2.4，将图像像素坐标系经过矩阵转换可得到图像中的棋盘格坐标系， 乘上比例因子得到对应的实际棋盘格坐标系下的坐标；其中比例因子是每个像素 尺寸对应的实际物理距离，可由各角点的像素距离和实际物理距离求出；
步骤2.5，将上述两个转换矩阵相乘可得到图像坐标系B与机械手1基坐标 系A之间的转换关系。
进一步，基于残差特征的托盘平面拟合包括以下步骤：
步骤3.1，首先将机械手1末端执行机构2移动至棋盘格标定板上表面，在 棋盘格标定板表面任意获取10个不同的位置点；
步骤3.2，如图6所示，将棋盘格标定板顺时针旋转60度，再获取10个不 同的位置点，重复旋转60度继续获取10个不同的角点位置，重复步骤3.2，直 到旋转360度，最终获得6组坐标；
步骤3.3，获得的6组坐标中，每组坐标的(x,y,z)都存在误差，通过公式计 算，使所获得的测量点到平面的距离最小；
ax+by+cz＝0(0-16)，
上式表示要拟合的平面方程，其中n(a,b,c)为平面的法向量；
步骤3.4，拟合的平面一定会经过全部数据的中心点(xc,yc,zc)；
其中，(xi，yi，zi)表示第i个点的三维坐标；
步骤3.5，将每个点的三维坐标减去中心点坐标，可得到每个点对应的方向 向量mi；
mi＝(xi-xc,yi-yc,zi-zc)(0-18)，
因此求得点与平面的垂直距离di；
di＝mi·n(0-19)；
步骤3.6，目标函数为点到所求平面的距离之和的最小值；
步骤3.7，对M矩阵进行奇异值分解，得到的最小奇异值所对应的奇异向量， 得到平面方程的解(a,b,c)，获得所拟合的平面，六组坐标共拟合出六个平面；
步骤3.8，将6组坐标点全部输入数据处理器6中，拟合出一个倾斜面，所 述的倾斜面是传动带托盘上表面所在的平面。
将倾斜平面的法向量转换为欧拉角的形式，设置机械手1的末端位姿的欧拉 角为相同的数值，使得法兰盘的Z轴方向与倾斜平面垂直。
由于安装误差的存在，工业相机3的光心轴向和法兰盘Z轴方向存在一定的 偏差，因此对其进行校准。将标定板平放在太阳花模组表面，移动机械手1获取 9个以上的角点位置，得到标定板表面所在平面，计算出平面的法向量，根据计 算结果控制法兰盘Z轴垂直于标定板，拍摄标定板图像。移动机械手1，采集其 他位姿下的15张标定板图像，对其进行标定。
标定得到第一张图片的外参矩阵为：
将旋转矩阵转换为欧拉角：
[3.14117 0.00460063 1.53724]
对机械手1末端位姿进行校正，得到经过矫正的垂直拍照位姿。
在标定过程中法兰盘垂直向下拍摄，此时默认工业相机3的光心轴线方向和 法兰盘的Z轴方向平行，皆垂直向下，标定板表面呈水平状态，这样标定板表 面与工业相机3的光心轴线垂直。但实际情况下，工业相机3的光心轴线方向和 法兰盘的Z轴方向并不平行，标定板表面并非完全水平，导致了标定结果有较 大误差。
进一步，基于最小二乘的辅助坐标系C重建包括以下步骤：
步骤4.1，在棋盘格上任意取一个坐标原点O(Ox,Oy,Oz)，X轴方向单位向 量为Y轴方向单位向量为对于棋盘格上的任意一 个点，实际点和测量点的欧式距离为：
其中，O为原点坐标，mi,ni是此点在X轴方向和Y轴方向分别投影的长度， Pi表示第i点的坐标。
步骤4.2，目标函数为欧式距离之和最小值：
将其展开可得：
再对各个变量求导可得：
f取最小值时导数全为0，整理得到公式：
M·L＝b (0-25)
其中
最终可求出(Ox,Oy,Oz)(Xx,Xy,Xz)(Yx,Yy,Yz)，由X轴单位向量和Y轴单位 向量可求出Z轴单位向量，最终得到优化后的辅助棋盘格坐标系。
进一步，图像预处理包括以下步骤，首先对图像进行双边滤波降噪，然后对 经过滤波的图像进行Canny边缘检测，对边缘检测结果进行霍夫圆检测从而提取 出螺钉孔并定位，对螺钉孔感兴趣区域进行截取获得图像。
进一步，对边缘检测结果进行霍夫圆检测提取螺钉孔并定位，两个目标螺钉 孔在模组中心和穿线孔所在圆中心相连的直线上，获取LED区域和穿线孔位置， 通过对应关系定位螺钉孔区域，检测出螺钉孔中心位置，截取ROI区域，对ROI 区域进行霍夫圆检测，获取到LED位置。
进一步，如图7所示，分别对I型螺钉孔和II型螺钉孔感兴趣区域进行截 取获得图像。
对I型螺钉孔感兴趣区域进行截取获得图像，首先对实际物体进行测量，得 到两个螺钉孔均在LED中心和穿线孔中心的连线上，两个螺钉孔与LED区域中心 的距离约等于LED中心与穿线孔距离的一半：
其中，(xscrew1,yscrew1)(xscrew2,yscrew2)分别表示两个螺钉孔的位置，(xled,yled)表示LED中心的坐标，(xhole,yhole)表示穿线孔中心的坐标。
对II型螺钉孔感兴趣区域进行截取获得图像，螺钉孔的尺寸关系为：
以计算得到的螺钉孔坐标为中心，设定区域边长为90个像素值，截取图像 感兴趣区域(ROI)。
在边缘检测图中截取图像感兴趣区域(ROI)，目标螺钉孔由于光线原因导致 的灰度变化经过边缘检测时产生了虚假边缘信息，采用在滤波图中截取图像感兴 趣区域(ROI)的方法，可以精准且稳定的检测出螺钉孔位置。
进一步，螺钉孔位置检测包括以下步骤，首先对双重自适应阈值化图像进行 分割，然后基于连通域提取的轮廓跟踪，接着基于RANSAC去噪的椭圆拟合，最 后基于方向特征建立椭圆校正模型。
进一步，如图8所示，双重自适应阈值化图像分割包括以下步骤：
步骤5.1，对获取到的图像进行遍历，计算图像中灰度值i＝0,1,2...255的像 素数量在图像中的占比pi；
步骤5.2，计算累积和其中k＝0,1,2...255；
步骤5.3，计算累计均值其中k＝0,1,2...255；
步骤5.4，计算全局灰度均值
步骤5.5，计算类间方差
步骤5.6，得到阈值k*，即使得类间方差最大。如果最大值不具有唯一性， 通过对计算得到的各个最大值k取平均得到k*；
步骤5.7，记录k*对应的累计概率和P1(k)，计算累计和其中j＝0,1,2...k-1；
步骤5.8，计算累计均值其中j＝0,1,2...k-1；
步骤5.9，计算全局灰度均值
步骤5.10，计算最大类间方差对应的阈值j；
步骤5.11，完成螺钉孔区域的分割。
在实际场景中光照条件不断变化，设置固定的阈值对图片进行分割并不适用， 采用了自适应阈值分割算法(OTSU)，自适应阈值分割算法(OTSU)将像素分为 前景像素和背景像素两类，通过计算最大类间方差对应的阈值来分割图像，其具 有效果好，鲁棒性高的优点。
进一步，基于方向特征的椭圆校正模型包括以下步骤：
如图9所示，椭圆校正模型中存在实际轮廓线，和检测轮廓线，两条线之间 存在重合的部分，且可分为两种椭圆校正模型；
如图10所示，椭圆校正第一种模型，当椭圆长轴所在直线的倾斜角与两个螺钉 孔连线的倾斜角接近时，符合第一个模型情况，此时实际轮廓线的短轴和检测轮 廓线的半径相等；椭圆校正第二种模型，当椭圆长轴所在直线的倾斜角与两个螺 钉孔连线对应的垂直线的倾斜角接近时，符合第二个模型情况，此时实际轮廓线 的长轴和检测轮廓线的半径相等；
对于椭圆和圆的圆心偏差，存在公式：
其中，Le和Se分别为椭圆的长轴和短轴；
当符合第一个模型情况时，椭圆中心沿椭圆长轴方向向内平移距离do；当符 合第二个模型情况时，椭圆中心沿椭圆短轴方向向外平移圆心偏差do。
椭圆长轴和水平方向X轴的夹角为θ，中心坐标的X方向偏移量Xoffset和Y 方向偏移量Yoffset分别为：
由于椭圆的中心位置和实际的螺钉孔中心位置并不重合，因此需要对椭圆检 测的结果进行位置校正，椭圆轮廓中靠近LED芯片中心的部分轮廓线是和实际相 符的，而远离中心的轮廓线因为光照和投影的关系与实际的轮廓线不一致。将椭 圆圆心坐标经过偏移量进行校正后，最终可得检测图，经过RANSAC椭圆拟合， 可得到螺钉孔所在的椭圆轮廓。
进一步，环境光变化对***识别效果的影响测试方法包括以下步骤：
步骤6.1，工业相机3在自然光条件下采集图片，从上午11点至下午5点半， 每隔20分钟采集一张图片；
步骤6.2，从所采集的图片中选取整体灰度值较大的图片，图像对比度较大， 边缘像素值与周围像素值相差较大；
步骤6.3，从所采集的图片中选取整体灰度值较小的图片，图像对比度低， 边缘像素与周围像素值相差不大；
步骤6.4，计算两种图像的整体灰度值，根据不同图像灰度值人工和、或 自动调节边缘检测参数；
步骤6.5，通过调节边缘检测参数试验并计算灰度值变化范围，当图像灰 度值超出此检测范围时，调整工业相机3的曝光时间，重新采集图片，直至图片 的灰度范围满足检测要求方可进行下一步处理。
在整体灰度值较大的图片中，边缘像素值与周围像素值相差较大，图片清晰。 如图11所示，当图像整体灰度值较小，边缘像素值与周围像素值相差不大，图 片模糊。若选取同样的边缘阈值，灰度值较低的图片只能检测到部分边缘，或者 灰度值较大的图片会检测到大量假边缘。因此本方法在图像处理之前计算图像的 整体灰度值，根据图像灰度值自动调节边缘检测参数，从而提高检测精度。
进一步，倾斜拍摄角度对***精度的影响测试方法包括以下步骤：
步骤7.1，首先获取棋盘格标定板表面在此位置下的平面法向量，并通过位 姿校正获取垂直拍摄的机械手1位姿，在此位姿下进行辅助坐标系C标定；
步骤7.2，通过工业相机3拍摄棋盘格图片，将棋盘格角点坐标系经过转换 得到棋盘格角点三维坐标系(计算值)。
步骤7.3，通过移动机械手1尖端触碰到棋盘格角点获取三维坐标系(真实 值)，将计算值和真实值相减，得到每个棋盘格角点的位置误差。
步骤7.4，将棋盘格标定板旋转一定角度，保持相机位置不变，并拍摄棋盘 格标定板图片，获取图像棋盘格角点进行坐标转换得到棋盘格角点三维坐标系 (计算值)，通过移动机械手1尖端触碰到棋盘格角点获取棋盘格角点三维坐标 系(真实值)，将计算值和真实值相减，得到每个棋盘格角点的位置误差。
步骤7.5，再次旋转移动棋盘格标定板角度，重复上述步骤，对不同角度下 放置的棋盘格标定板拟合出平面法向量，计算出各法向量与工业相机3光轴中心 的夹角，最终得到不同夹角下的平均标定误差结果。
由于倾斜误差，图像中的目标点P所对应拍摄平面中投影点为P2,实际目标 点P1到投影点P2的距离即为拍摄平面倾斜所导致的误差。
实际目标点P1到相机光心O的距离l1为：
其中，x为图像中的目标点P到光心O在x轴方向的距离，f为图像中的目 标点P到光心O在y轴方向的距离，d为光心O到拍摄平面O'的距离。
投影点P2到光心O的距离l2为：
其中，x为图像中的目标点P到光心O在x轴方向的距离，f为图像中的目标点P 到光心O在y轴方向的距离，d为光心O到拍摄平面O'的距离，h为理想拍摄 平面和实际拍摄平面之间的距离；
则P1点到P2点的位置误差Perror为：
公式(5-3)即为工业相机3拍摄时的投影误差模型。由此可知倾斜角θ越大， 所对应的误差越大。h为不同平面与光轴的交点到光轴原点的距离之差，远小于 到光轴原点的距离d，影响较小。
在组装过程中，工业相机3的光轴中心与拍摄平面垂直，但在实际拍摄中， 由于太阳花模组在生产过程中的加工误差，工件自身不同位置的厚度会有些许的 不同，因此当太阳花模组在托盘上放置的角度不同时，上表面所在的平面也会有 略微的差异，对于不同的上表面平面使用同样的坐标转换矩阵，对***的精度会 产生影响，因此需要通过试验分析方法确定倾斜角度对***标定精度的影响。
进一步，如图3所示，末端执行机构2为相互垂直的两块长方形面板安装架 21，末端执行机构2的一侧长方形面板安装于机械手1法兰盘末端22，末端执 行机构2的另一侧长方形面板留有相机安装位置23，相机安装位置上安装有工 业相机3，工业相机3的光心轴线和法兰盘22垂直轴相互平行，相机安装位置 在电动锁螺丝机24的背面，电动锁螺丝机24垂直固定于末端执行机构2的面板 上，实现锁螺钉操作。
作为一种实施方式，机械臂1包含基座、第一连杆、第二连杆和、或多根连 杆，第一连杆与基座通过关节球连接，第二连杆与第一连杆通过关节球连接，末 端连杆设置有执行器2；末端执行机构2设置有安装架21，安装架21固定于机 械手1法兰盘22末端，安装架21留有相机安装位置23，相机安装位置23上安 装有工业相机3，工业相机3的光心轴线和法兰盘22垂直轴相互平行，相机安 装位置23在电动锁螺丝机24的背面，电动锁螺丝机24垂直固定于安装架21。
本发明的有益效果，机器视觉检测具有非接触、效率高、精确高、成本低， 数字化程度高等优点，用基于视觉引导的模组装配技术替代人工组装，从而提高 生产效率，降低企业成本，而且装配的产品质量稳定性高。在实际生产中，对于 一些尺寸不确定、产品可变性或生产精度不高的零件，基于机器视觉技术的引导 能够提高生产线的自动化程度，提升产品的质量；基于机器视觉技术的引导可以 在一些单一的机械手无法解决或不适合人工作业的场景下进行工作，提高了机械 手的柔性化和生产的自动化，而且机器视觉便于统计生产信息，实现数据的管理 和共享。
在缺少本文中所具体公开的任何元件、限制的情况下，可以实现本文所示和 所述的发明。所采用的术语和表达法被用作说明的术语而非限制，并且不希望在 这些术语和表达法的使用中排除所示和所述的特征或其部分的任何等同物，而且 应该认识到各种改型在本发明的范围内都是可行的。因此应该理解，尽管通过各 种实施例和可选的特征具体公开了本发明，但是本文所述的概念的修改和变型可 以被本领域普通技术人员所采用，并且认为这些修改和变型落入所附权利要求书 限定的本发明的范围之内。
本文中所述或记载的文章、专利、专利申请以及所有其他文献和以电子方式 可得的信息的内容在某种程度上全文包括在此以作参考，就如同每个单独的出版 物被具体和单独指出以作参考一样。申请人保留把来自任何这种文章、专利、专 利申请或其他文献的任何及所有材料和信息结合入本申请中的权利。

Claims (10)

1.基于视觉引导的模组装配***，其特征在于，所述的模组装配***包括螺丝钉供给机，数据处理器和机械手；机械手的末端安装有执行机构，末端执行机构安装有工业相机，工业相机的下方为传送带，传送带上方有模组工装位，模组工装位上放置有太阳花模组；视觉引导装配技术工作方法包括以下步骤：
步骤1，模组工件通过传送带运动至工装位，数据处理器控制机械手移动至模组工件上方进行拍照；
步骤2，工业相机将采集到图像传输给数据处理器，数据处理器对获取的图像进行图像预处理和螺钉孔位置检测，从而提取螺钉孔位置信息；
步骤3，机械手从螺钉供给机位置完成螺钉的吸取，并携带螺钉到达螺钉孔位置处，进行锁螺钉操作；
步骤4，机械手完成锁螺钉操作，装配完成，机械手返回初始位置。
2.根据权利要求1所述的基于视觉引导的模组装配***，其特征在于，所述的工业相机采集图片时需要对相机进行辅助坐标系标定，辅助坐标系标定包括以下步骤：
步骤2.1，在物体表面放置棋盘格标定板，机械手在棋盘格上走一个‘田’字，并记录9个点位置，‘田’字的中心位置为O点；
步骤2.2，通过右手法则建立辅助坐标系，Z轴方向垂直棋盘格平面向上，分别对9个点的横坐标和纵坐标相减可得到X轴和Y轴的单位向量，并根据右手坐标系法则求出Z轴单位向量，从而得到棋盘格辅助坐标系到机械手基坐标系的矩阵转换关系，进一步得到齐次转换矩阵；
步骤2.3，将相机移动至物体正上方，工业相机垂直向下拍摄获取棋盘格图像，计算所获取的棋盘格图像中对应的角点坐标，通过9个角点的图像坐标从而得到图像中的棋盘格坐标系和像素坐标系之间的转换关系；
步骤2.4，将图像像素坐标系经过矩阵转换得到图像中的棋盘格坐标系，乘上比例因子得到对应的实际棋盘格坐标系下的坐标；
步骤2.5，将上述两个转换矩阵相乘得到图像坐标系与机械手基坐标系之间的转换关系。
3.根据权利要求2所述的基于视觉引导的模组装配***，其特征在于，所述的基于残差特征的托盘平面拟合包括以下步骤：
步骤3.1，将机械手末端执行机构移动至棋盘格标定板上表面，在棋盘格标定板表面任意获取10个不同的位置点；
步骤3.2，将棋盘格标定板顺时针旋转60度，再获取10个不同的位置点，重复旋转60度继续获取10个不同的角点位置，重复步骤3.2，直到旋转360度，最终获得6组坐标；
步骤3.3，获得的6组坐标中，每组坐标的(x,y,z)都存在误差，通过公式计算，使所获得的测量点到平面的距离最小；
ax+by+cz＝0，
上式表示要拟合的平面方程，其中n(a,b,c)为平面的法向量；
步骤3.4，拟合的平面一定会经过全部数据的中心点(xc,yc,zc)；
其中，(xi，yi，zi)表示第i个点的三维坐标；
步骤3.5，将每个点的三维坐标减去中心点坐标，得到每个点对应的方向向量mi；
mi＝(xi-xc,yi-yc,zi-zc)，
因此求得点与平面的垂直距离di，
di＝mi·n；
步骤3.6，目标函数为点到所求平面的距离之和的最小值，
步骤3.7，对M矩阵进行奇异值分解，得到的最小奇异值所对应的奇异向量，得到平面方程的解(a,b,c)，获得所拟合的平面；
步骤3.8，将6组坐标点全部输入数据处理器中，拟合出一个倾斜面，所述的倾斜面是传动带托盘上表面所在的平面。
4.根据权利要求2所述的基于视觉引导的模组装配***，其特征在于，所述的基于最小二乘的辅助坐标系重建包括以下步骤：
步骤4.1，在棋盘格上任意取一个坐标原点O(Ox,Oy,Oz)，X轴方向单位向量为Y轴方向单位向量为对于棋盘格上的任意一个点，实际点和测量点的欧式距离为：
其中，O为原点坐标，mi,ni是此点在X轴方向和Y轴方向分别投影的长度，Pi表示第i点的坐标；
步骤4.2，目标函数为欧式距离之和最小值：
将其展开可得：
步骤4.3，对各个变量求导，当欧式距离之和f取最小值时导数全为0，整理得到公式：
M·L＝b；
步骤4.4，求得(Ox,Oy,Oz)(Xx,Xy,Xz)(Yx,Yy,Yz)，由X轴单位向量和Y轴单位向量可求出Z轴单位向量，最终得到优化后的辅助棋盘格坐标系。
5.根据权利要求1所述的基于视觉引导的模组装配***，其特征在于，所述的图像预处理和螺钉孔位置检测包括以下步骤，图像预处理包含以下步骤：首先对图像进行双边滤波降噪，然后对经过滤波的图像进行Canny边缘检测，对边缘检测结果进行霍夫圆检测从而提取出螺钉孔并定位，对螺钉孔感兴趣区域进行截取获得图像；螺钉孔位置检测包含以下步骤：首先对双重自适应阈值化图像进行分割，然后基于连通域提取的轮廓跟踪，对基于RANSAC去噪的椭圆拟合，基于方向特征建立椭圆校正模型。
6.根据权利要求5所述的基于视觉引导的模组装配***，其特征在于，所述的螺钉孔ROI区域截取和双重自适应阈值化图像分割包括以下步骤，螺钉孔ROI区域截取，分别对I型螺钉孔和II型螺钉孔感兴趣区域进行截取获得图像；
对I型螺钉孔感兴趣区域进行截取获得图像包括以下步骤，首先对实际物体进行测量，得到两个螺钉孔均在LED中心和穿线孔中心的连线上，两个螺钉孔与LED区域中心的距离约等于LED中心与穿线孔距离的一半：
其中，(xscrew1,yscrew1)(xscrew2,yscrew2)分别表示两个螺钉孔的位置，(xled,yled)表示LED中心的坐标，(xhole,yhole)表示穿线孔中心的坐标；
对II型螺钉孔感兴趣区域进行截取获得图像，螺钉孔的尺寸关系为：
以计算得到的螺钉孔坐标为中心，设定区域边长为90个像素值，截取图像感兴趣区域(ROI)；
双重自适应阈值化图像分割包含以下步骤：
步骤5.1，对获取到的图像进行遍历，计算图像中灰度值i＝0,1,2...255的像素数量在图像中的占比pi；
步骤5.2，计算累积和其中k＝0,1,2...255；
步骤5.3，计算累计均值其中k＝0,1,2...255；
步骤5.4，计算全局灰度均值
步骤5.5，计算类间方差
步骤5.6，得到阈值k*，即使得类间方差最大。如果最大值不具有唯一性，通过对计算得到的各个最大值k取平均得到k*；
步骤5.7，记录k*对应的累计概率和P1(k)，计算累计和其中j＝0,1,2...k-1；
步骤5.8，计算累计均值其中j＝0,1,2...k-1；
步骤5.9，计算全局灰度均值
步骤5.10，计算最大类间方差对应的阈值j；
步骤5.11，完成螺钉孔区域的分割。
7.根据权利要求5所述的基于视觉引导的模组装配***，其特征在于，所述的基于方向特征的椭圆校正模型包括以下步骤：
椭圆校正模型中存在实际轮廓线，和检测轮廓线，两条线之间存在重合的部分，且可分为两种椭圆校正模型；
椭圆校正第一种模型，当椭圆长轴所在直线的倾斜角与两个螺钉孔连线的倾斜角接近时，符合第一个模型情况，此时实际轮廓线的短轴和检测轮廓线的半径相等；椭圆校正第二种模型，当椭圆长轴所在直线的倾斜角与两个螺钉孔连线对应的垂直线的倾斜角接近时，符合第二个模型情况，此时实际轮廓线的长轴和检测轮廓线的半径相等；对于椭圆和圆的圆心偏差，存在公式：
其中，Le和Se分别为椭圆的长轴和短轴；当符合第一个模型情况时，椭圆中心沿椭圆长轴方向向内平移距离do；当符合第二个模型情况时，椭圆中心沿椭圆短轴方向向外平移圆心偏差do；
椭圆长轴和水平方向X轴的夹角为θ，中心坐标的X方向偏移量Xoffset和Y方向偏移量Yoffset分别为：
。
8.根据权利要求1所述的基于视觉引导的模组装配***，其特征在于，所述的环境光变化对***识别效果的影响测试方法包括以下步骤：
步骤6.1，工业相机在自然光条件下采集图片，从上午11点至下午5点半，每隔20分钟采集一张图片；
步骤6.2，从所采集的图片中选取整体灰度值较大的图片，图像对比度较大，边缘像素值与周围像素值相差较大；
步骤6.3，从所采集的图片中选取整体灰度值较小的图片，图像对比度低，边缘像素与周围像素值相差不大；
步骤6.4，计算两种图像的整体灰度值，根据不同图像灰度值人工调节、或自动调节边缘检测参数；
步骤6.5，通过调节边缘检测参数试验并计算灰度值变化范围，当图像灰度值超出此检测范围时，调整工业相机的曝光时间，重新采集图片，直至图片的灰度范围满足检测要求方可进行下一步处理。
9.根据权利要求1所述的基于视觉引导的模组装配***，其特征在于，所述的倾斜拍摄角度对***精度的影响测试方法包括以下步骤：
步骤7.1，首先获取棋盘格标定板表面在此位置下的平面法向量，并通过位姿校正获取垂直拍摄的机械手位姿，在此位姿下进行辅助坐标系标定；
步骤7.2，通过工业相机拍摄棋盘格图片，将棋盘格角点坐标系经过转换得到棋盘格角点三维坐标系(计算值)；
步骤7.3，通过移动机械手尖端触碰到棋盘格角点获取三维坐标系(真实值)，将计算值和真实值相减，得到每个棋盘格角点的位置误差；
步骤7.4，将棋盘格标定板旋转一定角度，保持相机位置不变，并拍摄棋盘格标定板图片，获取图像棋盘格角点进行坐标转换得到棋盘格角点三维坐标系(计算值)，通过移动机械手尖端触碰到棋盘格角点获取棋盘格角点三维坐标系(真实值)，将计算值和真实值相减，得到每个棋盘格角点的位置误差；
步骤7.5，再次旋转移动棋盘格标定板角度，重复上述步骤，对不同角度下放置的棋盘格标定板拟合出平面法向量，计算出各法向量与工业相机光轴中心的夹角，最终得到不同夹角下的平均标定误差结果；
由于倾斜误差，图像中的目标点P所对应拍摄平面中投影点为P2,实际目标点P1到投影点P2的距离即为拍摄平面倾斜所导致的误差；
实际目标点P1到相机光心O的距离l1为：
其中，x为图像中的目标点P到光心O在x轴方向的距离，f为图像中的目标点P到光心O在y轴方向的距离，d为光心O到拍摄平面O'的距离；
投影点P2到光心O的距离l2为：
其中，x为图像中的目标点P到光心O在x轴方向的距离，f为图像中的目标点P到光心O在y轴方向的距离，d为光心O到拍摄平面O'的距离，h为理想拍摄平面和实际拍摄平面之间的距离；
则P1点到P2点的位置误差Perror为：
10.根据权利要求1所述的基于视觉引导的模组装配***，其特征在于，所述的机械臂包含基座、第一连杆、第二连杆和、或多根连杆，第一连杆与基座通过关节球连接，第二连杆与第一连杆通过关节球连接，末端连杆设置有执行器；末端执行机构设置有安装架，安装架固定于机械手法兰盘末端，安装架留有相机安装位置，相机安装位置上安装有工业相机，工业相机的光心轴线和法兰盘垂直轴相互平行，相机安装位置在电动锁螺丝机的背面，电动锁螺丝机垂直固定于安装架。
CN201910698752.2A 2019-07-31 2019-07-31 基于视觉引导的太阳花模组装配*** Active CN110497187B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910698752.2A CN110497187B (zh) 2019-07-31 2019-07-31 基于视觉引导的太阳花模组装配***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910698752.2A CN110497187B (zh) 2019-07-31 2019-07-31 基于视觉引导的太阳花模组装配***

Publications (2)

Publication Number Publication Date
CN110497187A true CN110497187A (zh) 2019-11-26
CN110497187B CN110497187B (zh) 2021-08-06

Family

ID=68586284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910698752.2A Active CN110497187B (zh) 2019-07-31 2019-07-31 基于视觉引导的太阳花模组装配***

Country Status (1)

Country Link
CN (1) CN110497187B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111250406A (zh) * 2020-03-16 2020-06-09 科为升视觉技术（苏州）有限公司 基于视觉定位的pcb检测流水线自动放置方法及***
CN112208113A (zh) * 2020-08-13 2021-01-12 苏州赛米维尔智能装备有限公司 一种基于视觉引导的导热棉自动贴附装置及其贴附方法
CN112589787A (zh) * 2020-12-02 2021-04-02 上海纽钛测控技术有限公司 进料转盘机械臂上下样的视觉定位及手眼标定方法
CN112712501A (zh) * 2020-12-28 2021-04-27 江苏合泰飞梵科技有限公司 一种基于人工智能的后视镜组装生产方法
CN113034604A (zh) * 2019-12-25 2021-06-25 南京极智嘉机器人有限公司 标定***、方法及自导引机器人
CN113188455A (zh) * 2020-12-19 2021-07-30 北京工业大学 一种基于机器人末端单目视觉的物体法向高度计算方法
CN113385930A (zh) * 2021-06-30 2021-09-14 潍坊路加精工有限公司 一种视觉引导组装校正方法
CN113441938A (zh) * 2020-03-24 2021-09-28 南宁富桂精密工业有限公司 螺丝锁付顺序控制方法及***
CN113681279A (zh) * 2021-09-09 2021-11-23 四川大学 一种自动校准精度的组装***
CN114147664A (zh) * 2021-12-09 2022-03-08 苏州华星光电技术有限公司 一种治具更换方法以及电子设备的制备方法
CN114273882A (zh) * 2021-12-22 2022-04-05 津上智造智能科技江苏有限公司 一种组立自动化生产线及其装配方法
CN114725753A (zh) * 2022-02-28 2022-07-08 福建星云电子股份有限公司 一种基于视觉引导的自动对插方法及***
CN114714291A (zh) * 2022-04-28 2022-07-08 珠海格力电器股份有限公司 一种空调外机冷凝器螺钉的装配***及其控制方法
CN114878570A (zh) * 2022-05-18 2022-08-09 南京工业大学 一种基于机器视觉的可转位刀片刃口钝化检测***及检测方法
CN114913140A (zh) * 2022-04-29 2022-08-16 合肥工业大学 一种用于孔轴装配的图像处理方法
CN115072588A (zh) * 2022-07-21 2022-09-20 杭州未名信科科技有限公司 一种塔机标准节的装配工装和标准节加节方法、降节方法
CN115837576A (zh) * 2022-12-27 2023-03-24 联宝(合肥)电子科技有限公司 一种斜面螺孔锁付方法及斜锁螺丝机
CN117532327A (zh) * 2023-12-21 2024-02-09 北京李尔现代坦迪斯汽车***有限公司 基于汽车座椅组装的智能纠偏机械臂

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022127580A1 (de) * 2021-10-19 2023-04-20 Alfing Keßler Sondermaschinen GmbH Schraubvorrichtung mit einer Positioniereinrichtung

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06226561A (ja) * 1993-01-27 1994-08-16 Matsushita Electric Ind Co Ltd 円形状位置認識装置
JPH1142519A (ja) * 1997-07-30 1999-02-16 Mitsubishi Electric Corp 廃家電品のネジ除去装置
JP2006212742A (ja) * 2005-02-04 2006-08-17 National Institute Of Advanced Industrial & Technology タスクスキルによるナット組付け装置
CN101750014A (zh) * 2009-12-31 2010-06-23 重庆大学 正交式三坐标测量机中摄像机的标定方法
CN104182982A (zh) * 2014-08-27 2014-12-03 大连理工大学 双目立体视觉摄像机标定参数的整体优化方法
CN205817246U (zh) * 2016-04-27 2016-12-21 深圳市连硕机器人职业培训中心 一种自动螺丝装配工作站
CN106514201A (zh) * 2016-12-06 2017-03-22 电子科技大学 一种自动接插件装配机器人***及其控制方法
CN206779867U (zh) * 2017-03-10 2017-12-22 杭州凯贝奈特科技有限公司 一种机箱外壳拧螺丝机构及机箱装配***
CN107825122A (zh) * 2017-11-02 2018-03-23 苏州轩明视测控科技有限公司 一种多角度自动锁付螺丝机
CN107984201A (zh) * 2017-11-30 2018-05-04 中国地质大学（武汉） 一种基于视觉伺服的螺孔定位及锁卸螺丝方法
CN108416355A (zh) * 2018-03-09 2018-08-17 浙江大学 一种基于机器视觉的工业现场生产数据的采集方法
CN108921890A (zh) * 2018-06-15 2018-11-30 广东拓斯达科技股份有限公司 螺丝锁付方法、装置及计算机可读存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06226561A (ja) * 1993-01-27 1994-08-16 Matsushita Electric Ind Co Ltd 円形状位置認識装置
JPH1142519A (ja) * 1997-07-30 1999-02-16 Mitsubishi Electric Corp 廃家電品のネジ除去装置
JP2006212742A (ja) * 2005-02-04 2006-08-17 National Institute Of Advanced Industrial & Technology タスクスキルによるナット組付け装置
CN101750014A (zh) * 2009-12-31 2010-06-23 重庆大学 正交式三坐标测量机中摄像机的标定方法
CN104182982A (zh) * 2014-08-27 2014-12-03 大连理工大学 双目立体视觉摄像机标定参数的整体优化方法
CN205817246U (zh) * 2016-04-27 2016-12-21 深圳市连硕机器人职业培训中心 一种自动螺丝装配工作站
CN106514201A (zh) * 2016-12-06 2017-03-22 电子科技大学 一种自动接插件装配机器人***及其控制方法
CN206779867U (zh) * 2017-03-10 2017-12-22 杭州凯贝奈特科技有限公司 一种机箱外壳拧螺丝机构及机箱装配***
CN107825122A (zh) * 2017-11-02 2018-03-23 苏州轩明视测控科技有限公司 一种多角度自动锁付螺丝机
CN107984201A (zh) * 2017-11-30 2018-05-04 中国地质大学（武汉） 一种基于视觉伺服的螺孔定位及锁卸螺丝方法
CN108416355A (zh) * 2018-03-09 2018-08-17 浙江大学 一种基于机器视觉的工业现场生产数据的采集方法
CN108921890A (zh) * 2018-06-15 2018-11-30 广东拓斯达科技股份有限公司 螺丝锁付方法、装置及计算机可读存储介质

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034604A (zh) * 2019-12-25 2021-06-25 南京极智嘉机器人有限公司 标定***、方法及自导引机器人
CN111250406B (zh) * 2020-03-16 2023-11-14 科为升视觉技术（苏州）有限公司 基于视觉定位的pcb检测流水线自动放置方法及***
CN111250406A (zh) * 2020-03-16 2020-06-09 科为升视觉技术（苏州）有限公司 基于视觉定位的pcb检测流水线自动放置方法及***
CN113441938A (zh) * 2020-03-24 2021-09-28 南宁富桂精密工业有限公司 螺丝锁付顺序控制方法及***
CN112208113A (zh) * 2020-08-13 2021-01-12 苏州赛米维尔智能装备有限公司 一种基于视觉引导的导热棉自动贴附装置及其贴附方法
CN112589787A (zh) * 2020-12-02 2021-04-02 上海纽钛测控技术有限公司 进料转盘机械臂上下样的视觉定位及手眼标定方法
CN113188455A (zh) * 2020-12-19 2021-07-30 北京工业大学 一种基于机器人末端单目视觉的物体法向高度计算方法
CN112712501A (zh) * 2020-12-28 2021-04-27 江苏合泰飞梵科技有限公司 一种基于人工智能的后视镜组装生产方法
CN113385930A (zh) * 2021-06-30 2021-09-14 潍坊路加精工有限公司 一种视觉引导组装校正方法
CN113681279A (zh) * 2021-09-09 2021-11-23 四川大学 一种自动校准精度的组装***
CN114147664A (zh) * 2021-12-09 2022-03-08 苏州华星光电技术有限公司 一种治具更换方法以及电子设备的制备方法
CN114273882A (zh) * 2021-12-22 2022-04-05 津上智造智能科技江苏有限公司 一种组立自动化生产线及其装配方法
CN114725753A (zh) * 2022-02-28 2022-07-08 福建星云电子股份有限公司 一种基于视觉引导的自动对插方法及***
CN114714291A (zh) * 2022-04-28 2022-07-08 珠海格力电器股份有限公司 一种空调外机冷凝器螺钉的装配***及其控制方法
CN114714291B (zh) * 2022-04-28 2023-11-03 珠海格力电器股份有限公司 一种空调外机冷凝器螺钉的装配***及其控制方法
CN114913140A (zh) * 2022-04-29 2022-08-16 合肥工业大学 一种用于孔轴装配的图像处理方法
CN114878570A (zh) * 2022-05-18 2022-08-09 南京工业大学 一种基于机器视觉的可转位刀片刃口钝化检测***及检测方法
CN114878570B (zh) * 2022-05-18 2023-09-08 南京工业大学 一种基于机器视觉的可转位刀片刃口钝化检测方法
CN115072588A (zh) * 2022-07-21 2022-09-20 杭州未名信科科技有限公司 一种塔机标准节的装配工装和标准节加节方法、降节方法
CN115837576A (zh) * 2022-12-27 2023-03-24 联宝(合肥)电子科技有限公司 一种斜面螺孔锁付方法及斜锁螺丝机
CN117532327A (zh) * 2023-12-21 2024-02-09 北京李尔现代坦迪斯汽车***有限公司 基于汽车座椅组装的智能纠偏机械臂
CN117532327B (zh) * 2023-12-21 2024-05-03 北京李尔现代坦迪斯汽车***有限公司 基于汽车座椅组装的智能纠偏机械臂

Also Published As

Publication number Publication date
CN110497187B (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN110497187A (zh) 基于视觉引导的太阳花模组装配***
US9124873B2 (en) System and method for finding correspondence between cameras in a three-dimensional vision system
DE102018109774B4 (de) Bildverarbeitungssystem, Bildverarbeitungsvorrichtung und Bildverarbeitungsprogramm
CN109029299B (zh) 舱段销孔对接转角的双相机测量装置及测量方法
US6396942B1 (en) Method and apparatus for locating ball grid array packages from two-dimensional image data
US6078700A (en) Method and apparatus for location and inspecting a two-dimensional image including co-linear features
CN108766894A (zh) 一种机器人视觉引导的芯片贴装方法及***
CN108109174A (zh) 一种用于散乱零件随机分拣的机器人单目引导方法和***
CN105547153B (zh) 基于双目视觉的插件元件针脚视觉定位方法及装置
US11488322B2 (en) System and method for training a model in a plurality of non-perspective cameras and determining 3D pose of an object at runtime with the same
CN106767399A (zh) 基于双目立体视觉和点激光测距的物流货物体积的非接触测量方法
CN101506614A (zh) 对电子元件的球和类似突起作三维视觉以及检查的方法和装置
CN104002602B (zh) 具有加工精度纠正功能的激光活化设备和激光活化方法
CN113324478A (zh) 一种线结构光的中心提取方法及锻件三维测量方法
CN106625713A (zh) 提高涂胶工业机器人涂胶精度的方法
CN108177150A (zh) 基于视觉的电梯门板定位与抓取装置及方法
CN106996748A (zh) 一种基于双目视觉的轮径测量方法
Wang et al. Error analysis and improved calibration algorithm for LED chip localization system based on visual feedback
El-Hakim et al. Multicamera vision-based approach to flexible feature measurement for inspection and reverse engineering
Birdal et al. Online inspection of 3d parts via a locally overlapping camera network
CN110146017A (zh) 工业机器人重复定位精度测量方法
CN114331995A (zh) 一种基于改进2d-icp的多模板匹配实时定位方法
Fan et al. A shape-based stereo matching algorithm for binocular vision
CN111738971B (zh) 一种基于线激光双目立体视觉的电路板立体扫描检测方法
US7139421B1 (en) Methods and apparatuses for detecting similar features within an image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant