CN108766894A - 一种机器人视觉引导的芯片贴装方法及*** - Google Patents
一种机器人视觉引导的芯片贴装方法及*** Download PDFInfo
- Publication number
- CN108766894A CN108766894A CN201810582133.2A CN201810582133A CN108766894A CN 108766894 A CN108766894 A CN 108766894A CN 201810582133 A CN201810582133 A CN 201810582133A CN 108766894 A CN108766894 A CN 108766894A
- Authority
- CN
- China
- Prior art keywords
- chip
- image
- robot
- coordinate
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000004438 eyesight Effects 0.000 title claims abstract description 48
- 238000010521 absorption reaction Methods 0.000 claims abstract description 21
- 239000012636 effector Substances 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims abstract description 19
- 239000011159 matrix material Substances 0.000 claims description 42
- 238000012545 processing Methods 0.000 claims description 27
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 12
- 230000002146 bilateral effect Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 10
- 230000000875 corresponding effect Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 9
- 230000014509 gene expression Effects 0.000 claims description 9
- 238000009434 installation Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 230000010339 dilation Effects 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 11
- 230000000007 visual effect Effects 0.000 abstract description 7
- 230000000694 effects Effects 0.000 description 12
- 230000008859 change Effects 0.000 description 9
- 238000013461 design Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241000252254 Catostomidae Species 0.000 description 1
- 235000010724 Wisteria floribunda Nutrition 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004026 adhesive bonding Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
- H01L21/02—Manufacture or treatment of semiconductor devices or of parts thereof
- H01L21/04—Manufacture or treatment of semiconductor devices or of parts thereof the devices having potential barriers, e.g. a PN junction, depletion layer or carrier concentration layer
- H01L21/50—Assembly of semiconductor devices using processes or apparatus not provided for in a single one of the subgroups H01L21/06 - H01L21/326, e.g. sealing of a cap to a base of a container
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
- H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
- H01L21/67005—Apparatus not specifically provided for elsewhere
- H01L21/67011—Apparatus for manufacture or treatment
- H01L21/67126—Apparatus for sealing, encapsulating, glassing, decapsulating or the like
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- General Physics & Mathematics (AREA)
- Manufacturing & Machinery (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Power Engineering (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种机器人视觉引导的芯片贴装方法及***，在PCB放置区域和芯片放置区域增设一第二工业相机，机器人吸取芯片移至该第二工业相机处，拍摄吸取后芯片的图像，比较芯片贴装区域与水平轴的夹角和吸取芯片后芯片与水平轴的夹角之间的角度差，使末端执行器在P3处旋转该角度差，进行角度补偿，并且在X和Y轴上进行补偿，改善了在吸取芯片或者吸取后移动过程中产生的滑动误差，提高了贴装精度；同时，本发明采用六轴机器人，因六轴机器人具有更好的自由度和灵活性，实现了腔体类工件内部的芯片贴装，做到柔性生产；再加上第一工业相机设置在机器人手部，更易于运动，使得本发明这种基于位置的视觉控制方法具有更高的灵活性，适用范围更广。
Description
技术领域
本发明属于机器人视觉装配技术领域，尤其涉及一种机器人视觉引导的芯片贴装方法及***。
背景技术
中国是一个电子制造大国，据国家***数据显示，截止2017年底，中国共有电子制造企业近15000家，电子制造业主营收入近10万亿元，固定资产投资额突破万亿大关，新增固定资产多年达到20％以上。另外，电子装配具有工件体积小、种类繁多，装配工艺复杂，装配精度要求高等特点，所以，在整个电子制造过程中，装配工作时间约占电子制造总时间的40％-60％，装配工作量约占总工作量的50％-70％。
目前，用于芯片贴装的主要设备是贴片机，例如韩国三星公司的CP45F/FV、ASSEM-BLEON公司的TopazXiⅡ、富士公司的QF132E和CP-733E等。贴片机虽然在芯片贴装领域有较高的应用率，但存在着所配视觉***精度不高、位置矫正不精确、无法实现腔体类工件的内部贴装的局限性，难以做到柔性生产。
最近几年，装配机器人不断发展，柔性手腕和柔性手爪的使用大大提高了机器人装配的精度与灵活度，能够完成贴片机不能完成的一些工作。但是，随着装配工艺的复杂性以及装配精度的不断提高，传统的装配机器人由于缺乏感知和自适应控制的能力而无法满足当前电子制造的需求，而机器视觉可以模仿人的视觉功能，完成对客观事物的识别，并能够从图像中提取目标信息进行处理分析并加以理解，从而将结果用于定位、测量等。所以将机器视觉技术应用到装配机器人中，可以根据工件的实际位置动态调整装配机器人的执行点，从而实现装配机器人精确定位与智能拾放，满足装配需求。机器视觉与装配机器人的融合也使得电子装配向高精度、高灵活度、高智能化的方向发展。
发明内容
针对现有技术存在的芯片贴装精度低、灵活性差等技术问题，本发明提供一种机器人视觉引导的芯片贴装方法及***。
本发明是通过如下的技术方案来解决上述技术问题的：一种机器人视觉引导的芯片贴装方法，包括以下步骤：
步骤(1)：相机的安装和拍照位确定；
在机器人手部安装第一工业相机，在芯片放置区域和PCB放置区域上方分别设置用于获取清晰的芯片放置区域图像和PCB放置区域图像的拍照位P1和P2；在芯片放置区域和PCB放置区域之间安装第二工业相机，并设置拍照位P3；
步骤(2)：相机的标定；
标定第一工业相机和第二工业相机，获取工业相机在P1和P2处以及第二工业相机在P3处的内参数和外参数，确定图像坐标系与世界坐标系之间的关系；
在确定图像坐标系与世界坐标系之间的关系时，先求取图像坐标系与相机坐标系、相机坐标系与世界坐标系之间的关系，再得出图像坐标系与世界坐标系之间的关系；相机畸变校正是根据内参数完成的；相机内参数是与相机自身特性相关的参数，比如相机的焦距、像素大小等；相机外参数为相机的位置、旋转方向等；
步骤(3)：机器人的手眼标定；
对机器人进行手眼标定，获取相机坐标系与机器人坐标系之间的关系；
手是指机器人，眼是指第一工业相机和第二工业相机；
步骤(4)：PCB和芯片的第一次图像采集；
先在拍照位P2处完成PCB的第一次图像采集，再移至拍照位P1处完成芯片的第一次图像采集；
步骤(5)：第一次图像处理及坐标变换；
分别对PCB第一次图像和芯片第一次图像进行处理，得到PCB第一次图像中芯片贴装区域中心点坐标、所述芯片贴装区域与水平轴之间的夹角、以及芯片第一次图像中芯片中心点的坐标；再根据图像坐标系与世界坐标系之间的关系以及相机坐标系与机器人坐标系之间的关系计算出所述芯片贴装区域中心点在机器人坐标系下的坐标(x0,y0)，芯片中心点在机器人坐标系下的坐标(x1,y1)，并将坐标(x0,y0)和(x1,y1)传送给机器人；
在P1、P2处的图像采集均由第一工业相机完成，在P3处的图像采集均由第二工业相机完成；
步骤(6)：芯片的第二次图像采集；
机器人控制其末端执行器到达坐标(x1,y1)，吸取芯片移至拍照位P3处，完成芯片的第二次图像采集；
在芯片吸取过程中的微小滑动导致后续贴片精度不高，通过设置拍照位P3采集吸取后芯片的图像，为后续机器人的末端执行器旋转做准备；
步骤(7)：角度补偿；
对芯片第二次图像进行处理，得到芯片第二次图像中芯片中心点的坐标以及芯片与水平轴之间的夹角θ2；控制末端执行器在拍照位P3处旋转θ2-θ1，完成角度补偿，再次拍照获得旋转后芯片第三次图像；对芯片第三次图像进行处理，得到芯片第三次图像中芯片中心点的坐标，并根据图像坐标系与世界坐标系之间的关系以及相机坐标系与机器人坐标系之间的关系，计算出芯片第三次图像中芯片中心点在机器人坐标系下的坐标(x2,y2)；
通过角度补偿来矫正在吸取芯片或者吸取后移动过程中产生的滑动误差，提高贴片精度；末端执行器在进行旋转时，以逆时针为正方向；
步骤(8)：坐标补偿及贴装完成；
末端执行器在X方向移动x2-x0，在Y方向移动y2-y0后，再垂直向下运动至PCB上的芯片贴装区域放置芯片，完成贴装，进入下一步工序。
在芯片贴装过程中，所有的移动和旋转操作均是机器人的手部、腕部、臂部以及各关节的移动和旋转，机器人底座固定；在所有移动和旋转过程中，机器人上的参考点是一致的，例如末端执行器的中心点，所有移动和旋转均是相对这个参考点而言，由于芯片贴装工作台接近水平，在机器人控制末端执行器吸取芯片、以及贴装芯片时，高度坐标Z可设为一固定值，因此，传递给机器人的坐标仅考虑X轴和Y轴。
进一步的，所述步骤(1)中机器人为六轴机器人，所述第一工业相机安装在六轴机器人的手部；
六轴机器人具有更高的自由度和灵活性，第一工业相机安装在手部具有更宽阔的拍照视野，且易跟随手部的带动而完成拍照；也正是由于六轴机器人的自由度和灵活性，实现了腔体类工件内部的芯片贴装，做到柔性生产。
进一步的，所述步骤(1)中，设PCB放置区域与芯片放置区域之间的中点为区域中心点，第二工业相机安装在PCB放置区域与区域中心点之间，且第二工业相机的镜头朝上；
第二工业相机的安装位置靠近PCB放置区域，缩短了第二工业相机与PCB放置区域之间的距离，在P3处进行角度补偿后，再从P3处移至PCB放置区域，由于之间的距离缩短了，移动过程中发生滑动偏差的距离也缩短了，从而改善了移动过程中因滑动偏差导致的贴装精度降低的问题。
进一步的，所述步骤(1)中，在芯片放置区域、PCB放置区域、以及芯片放置区域和PCB放置区域之间的区域分别安装一台光源，以便能够获得更好效果的图像。
进一步的，所述步骤(2)中相机标定的具体步骤为：
步骤(2.1)：不同角度图像获取；
将棋盘格状标定板置于PCB放置区域所处平面，改变棋盘格状标定板的位置，在P2处通过工业相机从不同角度拍摄15～20张图片；
步骤(2.2)：内角点坐标的获取；
根据步骤(2.1)拍摄的图片，采用Harris角点检测算法获取棋盘格状标定板内角点的图像坐标为u、v分别表示图片上内角点的横坐标和纵坐标，并根据制作时设计的棋盘格状标定板的实际尺寸，获取棋盘格状标定板内角点的世界坐标为X,Y,Z分别表示内角点在世界坐标系下的横坐标、纵坐标及高度上的坐标，S1，S2表示尺度系数；
世界坐标系的原点为棋盘格状标定板左上角的角点，在设计时，标定板中每个方格的尺寸确定，因此，根据每个方格的尺寸可以依次获得每个内角点的实际尺寸；Harris角点检测算法检测的角点为内角点(不包括四周的角点)，该检测算法计算量小，不受光照、旋转的影响；
步骤(2.3)：确定图像坐标系与世界坐标系的关系；
根据内角点的图像坐标和世界坐标，计算第一工业相机的内参数矩阵A和外参数矩阵[R,t]，确定图像坐标系与世界坐标系的对应关系为
其中，R表示3×3的旋转矩阵t表示3×1的平移向量(u0，v0)为主点坐标(主点是指相机光轴与图像平面的交点)，α，β分别表示在X、Y轴上的归一化焦距，γ表示像平面倾斜程度；R中的第一列元素表示绕X轴旋转的角度，第二列元素表示绕Y轴旋转的角度，第三列元素表示绕Z轴旋转的角度；t中三个元素px、py、pz分别表示在X轴、Y轴、Z轴上的平移距离；
内参数矩阵Q中的0和1无具体含义，仅仅是为了计算方便而增加的，不会改变计算结果；利用OpenCV或者MATLAB工具箱，输入内角点的图像坐标和世界坐标，即可求出R和t；
步骤(2.4)：芯片放置区域相机的标定；
在芯片放置区域P1处重复上述步骤(2.1)至(2.3)，完成拍照位P1处的第一工业相机标定；
步骤(2.5)：第二工业相机的标定；
在第二工业相机所处区域，控制末端执行器吸取棋盘格状标定板到达P3处，并改变棋盘格状标定板的位置，在P3处从不同角度拍摄15～20张图片，重复上述步骤(2.2)至(2.3)，完成第二工业相机在拍照位P3处的标定。
进一步的，所述步骤(3)中机器人手眼标定的具体步骤为：
步骤(3.1)：PCB放置区域的手眼标定；
在PCB放置区域所处平面上，选取不在同一直线上的三个位置A1、B1、C1，控制机器人末端执行器依次到达这三个位置，并完成这三个位置第一工业相机的标定，得到三个外参数矩阵分别为[R1，t1]，[R2，t2]，[R3，t3]；在机器人示教器上得到在机器人坐标系下位置A1、B1、C1处所对应的描述矩阵[R4，t4]，[R5，t5]，[R6，t6]；
描述矩阵直接在机器人示教器上显示，用于描述机器人在位置A1、B1、C1处的位置和姿态；
其中，[Rc1，tc1]＝[R1，t1]*[R2，t2]-1，[Rc1，tc1]表示在位置A1和B1两处相机坐标系之间的变换矩阵；[Rc2，tc2]＝[R2，t2]*[R3，t3]-1，[Rc2，tc2]表示在位置B1和C1两处相机坐标系之间的变换矩阵；
[Re1，te1]＝[R4，t4]×[R5，t5]-1，[Re1，te1]表示在位置A1和B1两处机器人坐标系之间的变换矩阵；[Re2，te2]＝[R5，t5]×[R6，t6]-1，[Re2，te2]表示在位置B1和C1两处机器人坐标系之间的变换矩阵；
步骤(3.2)：关系式的建立；
根据步骤(3.1)得到的三个外参数矩阵和描述矩阵，建立以下关系式：
根据上述关系式求得工业相机与末端执行器之间的关系矩阵[Rx,tx]，Rx、tx分别表示相机坐标系转换到机器人坐标系的旋转矩阵、平移向量；
相机坐标系是以相机光心为原点，机器人坐标系是以机器人底座为原点；
步骤(3.3)：芯片放置区域的手眼标定；
在芯片放置区域重复步骤(3.1)和(3.2)，完成芯片放置区域的手眼标定；
步骤(3.4)：第二工业相机区域的手眼标定；
在第二工业相机区域，将棋盘格状标定板支起，重复步骤(3.1)和(3.2)完成该区域的手眼标定；
棋盘格状标定板支起高度能够达到相机聚焦高度，且使标定板位于第二工业相机视野中间即可；第二工业相机区域是指第二工业相机能够拍摄到的区域。
进一步的，所述步骤(5)中，获得所述芯片贴装区域中心点坐标、以及芯片贴装区域与水平轴之间的夹角的具体步骤为：
步骤(5.11)对PCB第一次图像进行预处理，采用双边滤波法去除噪点；
双边滤波法在进行去躁的同时，对图像边缘信息保存较好；
步骤(5.12)采用全局固定阈值法对图像进行二值化处理，处理后为：
其中，(x,y)表示像素点坐标，f1(x,y)表示灰度化处理函数，f1(x,y)＝R×0.3+G×0.59+B×0.11，f2(x,y)表示二值化处理后的灰度值，T表示设定的灰度值；
T是将灰度值由暗到亮依次增大，选取实验效果最好的灰度值作为设定灰度值；R、G、B表示每个像素点的R、G、B三个通道，每个像素点的灰度值就是把这三个通道的值按照固定比例加权；全局固定阈值法计算简单，处理速度快；
步骤(5.13)对图像进行形态学闭运算处理，以使边缘区域平滑；
步骤(5.14)提取步骤(5.13)处理后图像的边缘轮廓，根据边缘轮廓面积和长度筛选出PCB第一次图像上芯片贴装区域的轮廓；
步骤(5.15)根据步骤(5.14)筛选出的轮廓，计算贴装芯片矩形区域的中心点坐标以及该矩形区域与水平轴的夹角，此处的水平轴是指图像的水平边。
进一步的，所述步骤(5.15)中，中心点坐标以及与水平轴夹角的具体计算步骤为：
步骤(5.31)拟合筛选轮廓的最小外接矩形；
步骤(5.32)提取最小外接矩形的四个顶点(m0,n0)，(m1,n1),(m2,n2),(m3,n3)；
步骤(5.33)中心点坐标(mc,nc)的计算公式为
与水平轴夹角θ的计算公式为
进一步的，所述步骤(5)或步骤(7)中，获得芯片中心点坐标以及芯片与水平轴之间夹角的具体步骤为：
芯片图像为芯片的第一次图像、芯片的第二次图像或者芯片的第三次图像；芯片中心点坐标为芯片第一次图像中芯片中心点的坐标、芯片第二次图像中芯片中心点的坐标或者芯片第三次图像中芯片中心点的坐标，芯片与水平轴之间夹角为芯片第二次图像中芯片与水平轴之间的夹角；
步骤(5.21)对芯片图像进行预处理，采用双边滤波法去除噪点；
芯片图像是指芯片第一次图像、芯片第二次图像或者芯片第三次图像；
步骤(5.22)采用最大类间方差法(OTSU)对图像进行二值化处理，提取芯片大致区域：
g＝w1×w2×(u1-u2)2
其中，M×N为芯片图像上总像素点个数，N1为灰度值小于设定灰度值的像素个数，N2为灰度值大于设定灰度值的像素个数，w1表示芯片区域像素点个数占整幅芯片图像总像素点个数的比例，u1表示芯片区域所有像素点灰度值的平均值，w2表示芯片区域以外区域像素点个数占整幅芯片图像总像素点个数的比例，u2表示芯片区域以外区域所有像素点灰度值的平均值，w1+w2＝1，g表示芯片区域所有像素点灰度值的平均值与芯片区域以外区域所有像素点灰度值的平均值之间的方差；
设定灰度值是将灰度值由暗到亮依次增大，再根据实验效果选取的；通过计算g来选取最佳阈值，实现图像的二值化处理，从灰度值0-255进行遍历，g取最大值时的灰度值为最佳阈值；最大类间方差法计算简单，错误率低；
步骤(5.23)对图像进行形态学膨胀处理，去除面积较小干扰区域并平滑边缘；
步骤(5.24)提取所述步骤(5.23)处理后的图像的边缘轮廓，根据边缘轮廓面积和长度筛选出芯片的轮廓；
步骤(5.25)根据步骤(5.24)筛选出的轮廓，计算芯片的中心点坐标以及芯片与水平轴的夹角。
进一步的，一种机器人视觉引导的芯片贴装***，包括机器人以及芯片贴装工作台；所述机器人包括机器人本体、控制***和视觉***；所述控制***与视觉***相互通信连接；所述芯片贴装工作台上设有芯片放置区域和PCB放置区域，在芯片放置区域和PCB放置区域之间设有第二工业相机，所述第二工业相机与视觉***进行通信连接；
所述视觉***包括第一工业相机、图像处理单元以及图像存储单元；所述第一工业相机安装在机器人的手部；
所述图像处理单元，用于利用上述的一种机器人视觉引导的芯片贴装方法对第一工业相机采集的图像和第二工业相机采集的图像进行处理；
所述图像存储单元，用于存储视觉***所处理后的数据和信息；
所述控制***，用于利用上述的一种机器人视觉引导的芯片贴装方法根据视觉***的处理结果控制机器人执行相应的动作。
有益效果：
本发明所提供的一种机器人视觉引导的芯片贴装方法及***，在PCB放置区域和芯片放置区域增设第二工业相机，机器人吸取芯片移至第二工业相机处，拍摄吸取后芯片的图像，比较芯片贴装区域与水平轴的夹角和吸取芯片后芯片与水平轴的夹角之间的角度差，使末端执行器在P3处旋转该角度差，进行角度补偿，并且在X和Y轴上进行补偿，改善了在吸取芯片或者吸取后移动过程中产生的滑动误差，提高了贴装精度；同时，本发明采用六轴机器人，因六轴机器人具有更好的自由度和灵活性，实现了腔体类工件内部的芯片贴装，做到柔性生产；再加上第一工业相机设置在机器人手部，更易于运动，使得本发明这种基于位置的视觉控制方法具有更高的灵活性，适用范围更广；
本发明为提高贴装精度进行了四次拍照，对PCB进行拍照获得了PCB以及PCB上芯片贴装区域的精确位置，使吸取后的芯片能够精确的放置在芯片贴装区域；对芯片进行了三次拍照，第一次拍照获取芯片的精确位置，使机器人能够控制末端执行器准确吸取芯片；第二次拍照由第二工业相机完成，机器人吸取芯片以及移至第二工业相机过程中会使芯片的位置或者角度发生变化，通过第二次拍照来确定发生变化后的芯片中心点坐标以及与水平轴之间的夹角，通过控制末端执行器旋转实现对芯片位置角度变化的补偿，实现角度校正；第三次拍照也由第二工业相机完成，获得角度校正后X和Y方向的补偿值，完成X和Y方向的补偿，这段补偿并没有改变芯片的角度值；本发明的方法考虑了芯片吸取以及移动过程中可能产生的位置或角度变化，大大提高了贴装的精确度。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一个实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一种机器人视觉引导的芯片贴装***的安装示意图；
图2是本发明一种机器人视觉引导的芯片贴装方法的流程图；
图3是本发明获得芯片贴装区域中心点坐标、以及芯片贴装区域与水平轴之间夹角的流程图；
图4是本发明获得芯片中心点坐标以及芯片与水平轴之间夹角的流程图；
图5是本发明PCB第一图像处理过程产生的图像；
其中，(a)为PCB的灰度图像，(b)为双边滤波后的PCB图像，(c)为二值化处理后的PCB图像，(d)为闭运算处理后的PCB图像，(e)为提取边缘后的PCB效果图，(f)为筛选边缘以及拟合矩形后的PCB效果图；
图6是本发明PCB上芯片贴装区域中心点坐标以及与水平轴夹角结果图；
图7是本发明芯片图像处理过程产生的图像；
其中，(a)为芯片的灰度图像，(b)为双边滤波后的芯片图像，(c)为二值化处理后的芯片效果图，(d)为图像膨胀处理后的芯片效果图，(e)为提取边缘后的芯片效果图，(f)为筛选边缘以及拟合矩形过后的芯片效果图；
图8是本发明芯片中心点坐标以及与水平轴夹角的结果图；
图9是本发明所用的棋盘格形状标定板的结构示意图；
标号说明，1-六轴机器人，2-第一工业相机，3-第二工业相机，4-PCB放置区域光源，5-芯片放置区域光源，6-第二工业相机处同轴光源，7-芯片，8-PCB，9-工作台，10-吸盘，11-内角点。
具体实施方式
下面结合本发明实施例中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1和图2所示，本发明所提供的一种机器人视觉引导的芯片贴装方法，包括以下步骤：
步骤(1)：相机的安装和拍照位确定；
在六轴机器人的手部安装第一工业相机，该第一工业相机跟随手部一起运动，具有更宽阔的拍照视野，且用于芯片的第一次图像采集和PCB的图像采集，在PCB放置区域与芯片放置区域之间运动，减少了相机的使用个数，节省了成本。以下描述的机器人均为六轴机器人。
第一工业相机安装好之后，在芯片放置区域和PCB放置区域上方分别设置用于获取清晰的芯片放置区域图像和PCB放置区域图像的拍照位P1和P2，机器人示教拍照位P1和P2；在芯片放置区域和PCB放置区域之间安装第二工业相机，并设置拍照位P3，机器人示教拍照位P3；第二工业相机，用于对芯片的第二次图像和第三次图像进行采集。
拍照位P1、P2不仅仅要保证在工业相机的拍照视野范围内，还要保证一定的高度，能够完成聚焦；第二工业相机固定安装，不可移动，可以通过机器人控制末端执行器(吸盘)吸取芯片移至第二工业相机的视野范围内，调整高度聚焦，此时机器人示教器上显示的末端坐标即为P3。
机器人的末端执行器有多种形式，包括吸盘、夹持器等，在本实施例中，末端执行器为吸盘。
为了提高图像采集的质量，分别在芯片放置区域、PCB放置区域、以及第二工业相机安装区域分别安装一台光源。
步骤(2)：相机的标定；
标定第一工业相机和第二工业相机，获取第一工业相机和第二工业相机的内参数和外参数，确定图像坐标系与世界坐标系之间的关系；并根据内参数完成相机畸变校正。
第一工业相机的标定包括第一工业相机在P1和P2处的标定，第二工业相机的标定为第二工业相机在P3处的标定，分别得到在这三个位置的相机内外参数，具体步骤如下：
步骤(2.1)：不同角度图像获取；
将棋盘格状标定板置于PCB放置区域所处平面，改变棋盘格状标定板的位置(在工业相机的视野范围内)，在P2处从不同角度拍摄15～20张标定板图片。棋盘格状标定板如图9所示。
步骤(2.2)：内角点坐标的获取；
根据步骤(2.1)拍摄的图片，采用Harris角点检测算法获取棋盘格状标定板内角点的图像坐标为u、v分别表示图片上内角点的横坐标和纵坐标，并根据制作时设计的棋盘格状标定板的实际尺寸，获取棋盘格状标定板内角点的世界坐标为X,Y,Z分别表示内角点在世界坐标系下的横坐标、纵坐标及高度上的坐标，S1，S2表示尺度系数。
尺度系数的引入是为了方便计算，并不会改变坐标值，在计算时，选取任意便于简化计算的非零数即可；世界坐标系的原点为棋盘格状标定板左上角的角点，在设计时，标定板中每个方格的尺寸确定，因此，根据每个方格的尺寸可以依次获得每个内角点的实际尺寸；Harris角点检测算法检测的角点为内角点(不包括四周的角点)，该检测算法计算量小，不受光照、旋转的影响。
步骤(2.3)：确定图像坐标系与世界坐标系的关系；
根据步骤(2.2)中内角点的图像坐标和世界坐标，计算第一工业相机的内参数矩阵A和外参数矩阵[R,t]，确定图像坐标系与世界坐标系的对应关系为
其中，R表示3×3的旋转矩阵t表示3×1的平移向量(u0，v0)为主点坐标(主点是指相机光轴与图像平面的交点)，α，β分别表示在X、Y轴上的归一化焦距，γ表示像平面倾斜程度；R中的第一列元素表示绕X轴旋转的角度，第二列元素表示绕Y轴旋转的角度，第三列元素表示绕Z轴旋转的角度；t中三个元素px、py、pz分别表示在X轴、Y轴、Z轴上的平移距离；
内参数矩阵Q中的0和1无具体含义，仅仅是为了计算方便而增加的，不会改变计算结果。OpenCV视觉库中已经有相应的计算内外参的函数，我们只需要将内角点的图像坐标和世界坐标作为函数的参数，即可求出相应的内参数Q，和外参数R、t。
步骤(2.4)：芯片放置区域相机的标定；
由于改变相机位置后相机的外参数会发生变化，因此，在芯片放置区域P1处重复上述步骤(2.1)至(2.3)，完成拍照位P1处的第一工业相机标定，得到P1处工业相机的内外参数，由于相机位置的改变对内参数影响不大，所以，在P1处标定的主要目的是获取外参数。
步骤(2.5)：第二工业相机的标定；
相机制造工艺的差异会使每个相机的内参数和外参数有所不同，并且在不同的位置相机外参数也不同，所以在P3处同样要标定相机。在第二工业相机所处区域，控制吸盘吸取棋盘格状标定板到达P3处，并改变棋盘格状标定板的位置(通过操作机械手来完成)，在P3处从不同角度拍摄15～20张图片，重复上述步骤(2.2)至(2.3)，完成第二工业相机在P3处的标定，得到第二工业相机的内参数和外参数。
步骤(3)：机器人的手眼标定；
对机器人进行手眼标定，获取相机坐标系与机器人坐标系之间的关系，具体操作步骤如下：
步骤(3.1)：PCB放置区域的手眼标定；
在PCB放置区域所处平面上，选取不在同一直线上的三个位置A1、B1、C1，为了保证求出的解不是多个解的情况，必须保证这三个点不在同一直线上。控制机器人吸盘依次到达这三个位置，并采用步骤(2)的方法完成这三个位置第一工业相机的标定，得到三个外参数矩阵分别为[R1，t1]，[R2，t2]，[R3，t3]；在机器人示教器上得出在机器人坐标系下位置A1、B1、C1处所对应的描述矩阵[R4，t4]，[R5，t5]，[R6，t6]；
描述矩阵直接在机器人示教器上显示，用于描述机器人在位置A1、B1、C1处的位置和姿态；
其中，[Rc1，tc1]＝[R1，t1]*[R2，t2]-1，[Rc1，tc1]表示在位置A1和B1两处相机坐标系之间的变换矩阵；[Rc2，tc2]＝[R2，t2]*[R3，t3]-1，[Rc2，tc2]表示在位置B1和C1两处相机坐标系之间的变换矩阵；
[Re1，te1]＝[R4，t4]×[R5，t5]-1，[Re1，te1]表示在位置A1和B1两处机器人坐标系之间的变换矩阵；[Re2，te2]＝[R5，t5]×[R6，t6]-1，[Re2，te2]表示在位置B1和C1两处机器人坐标系之间的变换矩阵。
步骤(3.2)：关系式的建立；
机器人手眼标定的过程实际上就是在求解AX＝XB的过程，根据步骤(3.1)得到的三个外参数矩阵和描述矩阵，建立以下关系式：
利用MATLAB工具箱，根据上述关系式求得工业相机与吸盘之间的关系矩阵[Rx,tx]，Rx、tx分别表示相机坐标系转换到机器人坐标系的旋转矩阵、平移向量。
步骤(3.3)：芯片放置区域的手眼标定；
为了进一步保证精度，在芯片放置区域重复步骤(3.1)和(3.2)，完成芯片放置区域的手眼标定，得出芯片放置区域相机坐标系与机器人坐标系之间的关系。
步骤(3.4)：第二工业相机区域的手眼标定；
在第二工业相机区域，因为第二工业相机镜头朝上，所以需将棋盘格状标定板用支架支起进行拍照，重复步骤(3.1)和(3.2)完成该区域第二工业相机的手眼标定，得出第二工业相机坐标系与机器人坐标系之间的关系矩阵；
棋盘格状标定板支起高度能够达到相机聚焦高度，且使标定板位于第二工业相机视野中间即可；第二工业相机区域是指第二工业相机能够拍摄到的区域。
以上相机的标定和机器人的手眼标定就是为了完成相机的畸变校正以及坐标系之间的转换，达到更精确地贴装目的，标定只需要正式使用前进行一次。贴装工作正常进行时，机器人首先移至拍照位P2处完成PCB的图像采集，此处值得注意的是，到达贴装区域的PCB已经完成了涂胶等前期工序，然后移至拍照位P1处完成对芯片的图像采集。因为拍照处理后要进行芯片的吸取，所以这里先采集PCB的图像，然后移至芯片拍照位置进行图像采集。
步骤(4)：PCB和芯片的第一次图像采集；
先在拍照位P2处完成PCB的第一次图像采集，再移至拍照位P1处完成芯片的第一次图像采集。
步骤(5)：第一次图像处理及坐标变换；
分别对PCB第一次图像和芯片第一次图像进行处理，得到PCB第一次图像中芯片贴装区域中心点坐标、所述芯片贴装区域与水平轴之间的夹角、以及芯片第一次图像中芯片中心点的坐标；再根据图像坐标系与世界坐标系之间的关系以及相机坐标系与机器人坐标系之间的关系计算出芯片贴装区域中心点在机器人坐标系下的坐标(x0,y0)，芯片中心点在机器人坐标系下的坐标(x1,y1)，并将坐标(x0,y0)和(x1,y1)传送给机器人。
如图3所示，获得所述芯片贴装区域中心点坐标、以及芯片贴装区域与水平轴之间的夹角的具体步骤为：
步骤(5.11)读取采集的PCB第一次图像(如图5(a)所示)，因为相机为黑白相机，所以所有图像均是灰度图像，便于后续的处理工作。对PCB第一次图像进行预处理，采用双边滤波法去除噪点，如图5(b)所示；双边滤波法在进行去躁的同时，对图像边缘信息保存较好。
双边滤波函数是一个与空间距离相关的高斯函数与一个灰度距离相关的高斯函数相乘，其中，空间距离指的是当前点与中心点的欧式距离，数学形式为式中，(xi,yi)为当前位置，(xc,yc)为中心点位置，σ1为空间域标准差。灰度距离表示当前点灰度与中心点灰度的差的绝对值，数学形式为其中g(xi,yi)为当前点灰度值，g(xc,yc)为中心点灰度值，σ2为值域标准差。经过实验发现采用半径为10，值域标准差σ1为40，空间域标准差σ2为3的双边滤波器去除噪声对边缘影响最小，效果最好。
步骤(5.12)采用全局固定阈值法对图像进行二值化处理，设定一个灰度值T，实验发现T＝160时效果最好，将大于T的像素点设为255，小于T的像素点设为0，即：
其中，(x,y)表示像素点坐标，f1(x,y)表示灰度化处理函数，f1(x,y)＝R×0.3+G×0.59+B×0.11，f2(x,y)表示二值化处理后的灰度值；R、G、B表示每个像素点的R、G、B三个通道，每个像素点的灰度值就是把这三个通道的值按照固定比例加权；全局固定阈值法计算简单，处理速度快；二值化处理后可以提取PCB上芯片贴装区域的大致位置，处理效果如图5(c)所示。
步骤(5.13)对图像进行形态学闭运算处理，以使边缘区域平滑，处理效果如图5(d)所示。
步骤(5.14)提取步骤(5.13)处理后的图像的边缘轮廓，如图5(e)所示，由于可能会出现一些干扰点，提取的边缘不止一条，但因为PCB上芯片贴装区域的大小是确定的，所以可以根据边缘轮廓面积和长度筛选出芯片贴装区域的轮廓，实验中根据轮廓长度大于400小于600，轮廓面积大于10000小于15000进行筛选。
步骤(5.15)根据步骤(5.14)筛选出的轮廓，计算贴装芯片矩形区域的中心点坐标以及该矩形区域与水平轴的夹角，此处的水平轴是指图像的水平边，如图5(f)和图6所示。
步骤(5.15)中，中心点坐标以及与水平轴夹角的具体计算步骤为：
步骤(5.31)拟合筛选轮廓的最小外接矩形；
步骤(5.32)提取最小外接矩形的四个顶点(m0,n0)，(m1,n1),(m2,n2),(m3,n3)；
步骤(5.33)中心点坐标(mc,nc)的计算公式为
与水平轴夹角θ的计算公式为
在整个贴装过程中，芯片进行了三次拍照，对应有三次图像，分别为芯片第一次图像、芯片第二次图像和芯片第三次图像，这三次图像分别在步骤(4)、(6)和(7)中获得，这三次芯片图像的处理过程是相同的，因此，统一描述为芯片图像的处理，芯片中心点坐标为芯片第一次图像中芯片中心点的坐标、芯片第二次图像中芯片中心点的坐标或者芯片第三次图像中芯片中心点的坐标，芯片与水平轴之间夹角为芯片第二次图像中芯片与水平轴之间的夹角；
如图4所示，获得芯片中心点坐标以及芯片与水平轴之间夹角的具体步骤为：
步骤(5.21)读取芯片灰度图像(如图7(a))，对芯片灰度图像进行预处理，采用双边滤波法去除噪点，处理效果如图7(b)所示。
步骤(5.22)采用最大类间方差法(OTSU)对图像进行二值化处理，提取芯片大致区域：
g＝w1×w2×(u1-u2)2
其中，M×N为芯片图像上总像素点个数，N1为灰度值小于设定灰度值的像素个数，N2为灰度值大于设定灰度值的像素个数，w1表示芯片区域像素点个数占整幅芯片图像总像素点个数的比例，u1表示芯片区域所有像素点灰度值的平均值，w2表示芯片区域以外区域像素点个数占整幅芯片图像总像素点个数的比例，u2表示芯片区域以外区域所有像素点灰度值的平均值，w1+w2＝1，g表示芯片区域所有像素点灰度值的平均值与芯片区域以外区域所有像素点灰度值的平均值之间的方差；
设定灰度值是将灰度值由暗到亮依次增大，再根据实验效果选取的；OTSU通过计算g来选取最佳阈值，实现图像的二值化处理，从灰度值0-255进行遍历，g取最大值时的灰度值为最佳阈值，处理结果如图7(c)所示。
步骤(5.23)对图像进行形态学膨胀处理，去除面积较小干扰区域并平滑边缘，处理结果如图7(d)所示。
步骤(5.24)提取步骤(5.23)处理后的图像的边缘轮廓，根据边缘轮廓面积和长度筛选出芯片的轮廓，如图7(e)所示。
步骤(5.25)根据步骤(5.24)筛选出的轮廓，计算芯片的中心点坐标以及芯片与水平轴的夹角(如图7(f)和图8所示)，其计算过程与计算PCB上芯片贴装区域的中心点坐标以及与水平轴夹角的方式相同，详见步骤(5.31)-(5.33)。
步骤(6)：芯片的第二次图像采集；
机器人控制吸盘到达坐标(x1,y1)，吸取芯片移至拍照位P3处，完成芯片的第二次图像采集；因为在芯片的吸取过程中可能发生滑动，导致后续贴片精度不高，因此，设置了拍照位P3采集吸取后芯片的图像，为后续机器人控制吸盘旋转进行角度补偿做准备。
步骤(7)：角度补偿；
对芯片第二次图像进行处理，得到芯片中心点的第二次图像坐标以及芯片与水平轴之间的夹角θ2；控制吸盘在拍照位P3处旋转θ2-θ1，完成角度补偿，再次拍照获得旋转后芯片第三次图像；对芯片第三次图像进行处理，得到芯片第三次图像中芯片中心点的坐标，并根据图像坐标系与世界坐标系之间的关系以及相机坐标系与机器人坐标系之间的关系，计算出芯片第三次图像中芯片中心点在机器人坐标系下的坐标(x2,y2)；
通过角度补偿来改善在吸取芯片或者吸取后移动过程中产生的滑动误差，提高贴片精度；机器人在进行旋转时，以逆时针为正方向。
步骤(8)：坐标补偿及贴装完成；
由步骤(7)得到在X和Y方向上的补偿，控制吸盘在X方向移动x2-x0，在Y方向移动y2-y0后(在此过程中，芯片与水平轴夹角不再变动)，再垂直向下运动至PCB上的芯片贴装区域放置芯片，完成贴装，进入下一步加热工序。
如图1所示，一种机器人视觉引导的芯片贴装***，包括机器人以及芯片贴装工作台；所述机器人包括机器人本体、控制***和视觉***；所述控制***与视觉***相互通信连接；所述芯片贴装工作台上设有芯片放置区域和PCB放置区域，在芯片放置区域和PCB放置区域之间设有第二工业相机，所述第二工业相机与视觉***进行通信连接；
所述视觉***包括第一工业相机、图像处理单元以及图像存储单元；所述第一工业相机安装在机器人的手部；
所述图像处理单元，利用上述的一种机器人视觉引导的芯片贴装方法对第一工业相机采集的图像和第二工业相机采集的图像进行处理；
所述图像存储单元，用于存储视觉***所处理后的数据和信息；
所述控制***，利用上述的一种机器人视觉引导的芯片贴装方法根据视觉***的处理结果控制机器人执行相应的动作。
以上所述的具体实施方式，对本发明的技术领域、背景、目的、方案和有益效果做了进一步的详细说明，所应理解的是，本实施方式仅为本发明的优选方式而已，并不用于限制本发明，凡在本发明的精神和原则之内，做出的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种机器人视觉引导的芯片贴装方法，其特征在于，包括以下步骤：
步骤(1)：相机的安装和拍照位确定；
在机器人手部安装第一工业相机，在芯片放置区域和PCB放置区域上方分别设置用于获取清晰的芯片放置区域图像和PCB放置区域图像的拍照位P1和P2；在芯片放置区域和PCB放置区域之间安装第二工业相机，并设置拍照位P3；
步骤(2)：相机的标定；
标定第一工业相机和第二工业相机，获取第一工业相机在P1和P2处以及第二工业相机在P3处的内参数和外参数，确定图像坐标系与世界坐标系之间的关系；
步骤(3)：机器人的手眼标定；
对机器人进行手眼标定，获取相机坐标系与机器人坐标系之间的关系；
步骤(4)：PCB和芯片的第一次图像采集；
先在拍照位P2处完成PCB的第一次图像采集，再移至拍照位P1处完成芯片的第一次图像采集；
步骤(5)：第一次图像处理及坐标变换；
分别对PCB第一次图像和芯片第一次图像进行处理，得到PCB第一次图像中芯片贴装区域中心点坐标、所述芯片贴装区域与水平轴之间的夹角、以及芯片第一次图像中芯片中心点的坐标；再根据图像坐标系与世界坐标系之间的关系以及相机坐标系与机器人坐标系之间的关系计算出所述芯片贴装区域中心点在机器人坐标系下的坐标(x0,y0)，芯片中心点在机器人坐标系下的坐标(x1,y1)，并将坐标(x0,y0)和(x1,y1)传送给机器人；
步骤(6)：芯片的第二次图像采集；
机器人控制其末端执行器到达坐标(x1,y1)，吸取芯片移至拍照位P3处，完成芯片的第二次图像采集；
步骤(7)：角度补偿；
对芯片第二次图像进行处理，得到芯片第二次图像中芯片中心点的坐标以及芯片与水平轴之间的夹角θ2；控制末端执行器在拍照位P3处旋转θ2-θ1，完成角度补偿，再次拍照获得旋转后芯片第三次图像；对芯片第三次图像进行处理，得到芯片第三次图像中芯片中心点的坐标，并根据图像坐标系与世界坐标系之间的关系以及相机坐标系与机器人坐标系之间的关系，计算出芯片第三次图像中芯片中心点在机器人坐标系下的坐标(x2,y2)；
步骤(8)：坐标补偿及贴装完成；
末端执行器在X方向移动x2-x0，在Y方向移动y2-y0后，再垂直向下运动至PCB上的芯片贴装区域放置芯片，完成贴装，进入下一步工序。
2.如权利要求1所述的一种机器人视觉引导的芯片贴装方法，其特征在于，所述步骤(1)中机器人为六轴机器人，所述第一工业相机安装在六轴机器人的手部。
3.如权利要求1所述的一种机器人视觉引导的芯片贴装方法，其特征在于，所述步骤(1)中，设PCB放置区域与芯片放置区域之间的中点为区域中心点，所述第二工业相机安装在PCB放置区域与区域中心点之间，且第二工业相机的镜头朝上。
4.如权利要求1所述的一种机器人视觉引导的芯片贴装方法，其特征在于，所述步骤(1)中，在芯片放置区域、PCB放置区域、以及芯片放置区域和PCB放置区域之间的区域分别安装一台光源。
5.如权利要求1所述的一种机器人视觉引导的芯片贴装方法，其特征在于，所述步骤(2)中相机标定的具体步骤为：
步骤(2.1)：不同角度图像获取；
将棋盘格状标定板置于PCB放置区域所处平面，改变棋盘格状标定板的位置，在P2处从不同角度拍摄15～20张图片；
步骤(2.2)：内角点坐标的获取；
根据步骤(2.1)拍摄的图片，采用Harris角点检测算法获取棋盘格状标定板内角点的图像坐标为u、v分别表示图片上内角点的横坐标和纵坐标，并根据制作时设计的棋盘格状标定板的实际尺寸，获取棋盘格状标定板内角点的世界坐标为X,Y,Z分别表示内角点在世界坐标系下的横坐标、纵坐标及高度上的坐标，S1，S2表示尺度系数；
步骤(2.3)：确定图像坐标系与世界坐标系的关系；
根据内角点的图像坐标和世界坐标，计算第一工业相机的内参数矩阵A和外参数矩阵[R,t]，确定图像坐标系与世界坐标系的对应关系为
其中，R表示3×3的旋转矩阵t表示3×1的平移向量(u0，v0)为主点坐标，α，β分别表示在X、Y轴上的归一化焦距，γ表示像平面倾斜程度；R中的第一列元素表示绕X轴旋转的角度，第二列元素表示绕Y轴旋转的角度，第三列元素表示绕Z轴旋转的角度；t中三个元素px、py、pz分别表示在X轴、Y轴、Z轴上的平移距离；
步骤(2.4)：芯片放置区域相机的标定；
在芯片放置区域P1处重复上述步骤(2.1)至(2.3)，完成拍照位P1处的第一工业相机标定；
步骤(2.5)：第二工业相机的标定；
在第二工业相机所处区域，控制末端执行器吸取棋盘格状标定板到达P3处，并改变棋盘格状标定板的位置，在P3处从不同角度拍摄15～20张图片，重复上述步骤(2.2)至(2.3)，完成第二工业相机在拍照位P3处的标定。
6.如权利要求5所述的一种机器人视觉引导的芯片贴装方法，其特征在于，所述步骤(3)中机器人手眼标定的具体步骤为：
步骤(3.1)：PCB放置区域的手眼标定；
在PCB放置区域所处平面上，选取不在同一直线上的三个位置A1、B1、C1，控制机器人末端执行器依次到达这三个位置，并完成这三个位置第一工业相机的标定，得到三个外参数矩阵分别为[R1，t1]，[R2，t2]，[R3，t3]；在机器人示教器上得到在机器人坐标系下位置A1、B1、C1处所对应的描述矩阵[R4，t4]，[R5，t5]，[R6，t6]；
其中，[Rc1，tc1]＝[R1，t1]*[R2，t2]-1，[Rc1，tc1]表示在位置A1和B1两处相机坐标系之间的变换矩阵；[Rc2，tc2]＝[R2，t2]*[R3，t3]-1，[Rc2，tc2]表示在位置B1和C1两处相机坐标系之间的变换矩阵；
[Re1，te1]＝[R4，t4]×[R5，t5]-1，[Re1，te1]表示在位置A1和B1两处机器人坐标系之间的变换矩阵；[Re2，te2]＝[R5，t5]×[R6，t6]-1，[Re2，te2]表示在位置B1和C1两处机器人坐标系之间的变换矩阵；
步骤(3.2)：关系式的建立；
根据步骤(3.1)得到的三个外参数矩阵和描述矩阵，建立以下关系式：
根据上述关系式求得工业相机与末端执行器之间的关系矩阵[Rx,tx]，Rx、tx分别表示相机坐标系转换到机器人坐标系的旋转矩阵、平移向量；
步骤(3.3)：芯片放置区域的手眼标定；
在芯片放置区域重复步骤(3.1)和(3.2)，完成芯片放置区域的手眼标定；
步骤(3.4)：第二工业相机区域的手眼标定；
在第二工业相机区域，将棋盘格状标定板支起，重复步骤(3.1)和(3.2)完成该区域的手眼标定。
7.如权利要求1所述的一种机器人视觉引导的芯片贴装方法，其特征在于，所述步骤(5)中，获得所述芯片贴装区域中心点坐标、以及芯片贴装区域与水平轴之间的夹角的具体步骤为：
步骤(5.11)对PCB第一次图像进行预处理，采用双边滤波法去除噪点；
步骤(5.12)采用全局固定阈值法对图像进行二值化处理，处理后为：
其中，(x,y)表示像素点坐标，f1(x,y)表示灰度化处理函数，f1(x,y)＝R×0.3+G×0.59+B×0.11，f2(x,y)表示二值化处理后的灰度值，T表示设定的灰度值；
步骤(5.13)对图像进行形态学闭运算处理，以使边缘区域平滑；
步骤(5.14)提取步骤(5.13)处理后图像的边缘轮廓，根据边缘轮廓面积和长度筛选出PCB第一次图像上芯片贴装区域的轮廓；
步骤(5.15)根据步骤(5.14)筛选出的轮廓，计算贴装芯片区域的中心点坐标以及该区域与水平轴的夹角。
8.如权利要求7所述的一种机器人视觉引导的芯片贴装方法，其特征在于，所述步骤(5.15)中，中心点坐标以及与水平轴夹角的具体计算步骤为：
步骤(5.31)拟合筛选轮廓的最小外接矩形；
步骤(5.32)提取最小外接矩形的四个顶点(m0,n0)，(m1,n1),(m2,n2),(m3,n3)；
步骤(5.33)中心点坐标(mc,nc)的计算公式为
与水平轴夹角θ的计算公式为
9.如权利要求1所述的一种机器人视觉引导的芯片贴装方法，其特征在于，所述步骤(5)或步骤(7)中，获得芯片中心点坐标以及芯片与水平轴之间夹角的具体步骤为：
芯片图像为芯片的第一次图像、芯片的第二次图像或者芯片的第三次图像；芯片中心点坐标为芯片第一次图像中芯片中心点的坐标、芯片第二次图像中芯片中心点的坐标或者芯片第三次图像中芯片中心点的坐标，芯片与水平轴之间夹角为芯片第二次图像中芯片与水平轴之间的夹角；
步骤(5.21)对芯片图像进行预处理，采用双边滤波法去除噪点；
步骤(5.22)采用最大类间方差法对图像进行二值化处理，提取芯片大致区域：
g＝w1×w2×(u1-u2)2
其中，M×N为芯片图像上总像素点个数，N1为灰度值小于设定灰度值的像素个数，N2为灰度值大于设定灰度值的像素个数，w1表示芯片区域像素点个数占整幅芯片图像总像素点个数的比例，u1表示芯片区域所有像素点灰度值的平均值，w2表示芯片区域以外区域像素点个数占整幅芯片图像总像素点个数的比例，u2表示芯片区域以外区域所有像素点灰度值的平均值，w1+w2＝1，g表示芯片区域所有像素点灰度值的平均值与芯片区域以外区域所有像素点灰度值的平均值之间的方差；
步骤(5.23)对图像进行形态学膨胀处理，去除面积较小干扰区域并平滑边缘；
步骤(5.24)提取所述步骤(5.23)处理后的图像的边缘轮廓，根据边缘轮廓面积和长度筛选出芯片的轮廓；
步骤(5.25)根据步骤(5.24)筛选出的轮廓，计算芯片的中心点坐标以及芯片与水平轴的夹角。
10.一种机器人视觉引导的芯片贴装***，其特征在于，包括机器人以及芯片贴装工作台；所述机器人包括机器人本体、控制***和视觉***；所述控制***与视觉***相互通信连接；所述芯片贴装工作台上设有芯片放置区域和PCB放置区域，在芯片放置区域和PCB放置区域之间设有第二工业相机，所述第二工业相机与视觉***进行通信连接；
所述视觉***包括第一工业相机、图像处理单元以及图像存储单元；所述第一工业相机安装在机器人的手部；
所述图像处理单元，利用权利要求1-9所述的一种机器人视觉引导的芯片贴装方法对第一工业相机采集的图像和第二工业相机采集的图像进行处理；
所述图像存储单元，用于存储视觉***所处理后的数据和信息；
所述控制***，利用权利要求1-9所述的一种机器人视觉引导的芯片贴装方法根据视觉***的处理结果控制机器人执行相应的动作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810582133.2A CN108766894B (zh) | 2018-06-07 | 2018-06-07 | 一种机器人视觉引导的芯片贴装方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810582133.2A CN108766894B (zh) | 2018-06-07 | 2018-06-07 | 一种机器人视觉引导的芯片贴装方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108766894A true CN108766894A (zh) | 2018-11-06 |
| CN108766894B CN108766894B (zh) | 2019-11-05 |
Family
ID=63999434
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810582133.2A Active CN108766894B (zh) | 2018-06-07 | 2018-06-07 | 一种机器人视觉引导的芯片贴装方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108766894B (zh) |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109719734A (zh) * | 2019-03-12 | 2019-05-07 | 湖南大学 | 一种机器人视觉引导的手机闪光灯组装***及组装方法 |
| CN109781164A (zh) * | 2018-12-28 | 2019-05-21 | 长沙长泰机器人有限公司 | 一种线激光传感器的静态标定方法 |
| CN110231036A (zh) * | 2019-07-19 | 2019-09-13 | 广东博智林机器人有限公司 | 一种基于十字激光和机器视觉的机器人定位装置及方法 |
| CN110281069A (zh) * | 2019-07-23 | 2019-09-27 | 琦星智能科技股份有限公司 | 基于工业机器人视觉的不规则产品加工设备及其视觉控制 |
| CN111012506A (zh) * | 2019-12-28 | 2020-04-17 | 哈尔滨工业大学 | 基于立体视觉的机器人辅助穿刺手术末端工具中心标定方法 |
| CN112208113A (zh) * | 2020-08-13 | 2021-01-12 | 苏州赛米维尔智能装备有限公司 | 一种基于视觉引导的导热棉自动贴附装置及其贴附方法 |
| WO2021017203A1 (zh) * | 2019-07-30 | 2021-02-04 | 南京埃斯顿机器人工程有限公司 | 一种应用于机器人打孔的工具姿态调整方法 |
| CN112331582A (zh) * | 2019-08-05 | 2021-02-05 | 捷进科技有限公司 | 芯片贴装装置以及半导体器件的制造方法 |
| CN112496696A (zh) * | 2020-11-24 | 2021-03-16 | 福州大学 | 一种智能手机内部射频线自动组装视觉测量*** |
| CN112589401A (zh) * | 2020-11-09 | 2021-04-02 | 苏州赛腾精密电子股份有限公司 | 一种基于机器视觉的组装方法及*** |
| CN112991461A (zh) * | 2021-03-11 | 2021-06-18 | 珠海格力智能装备有限公司 | 物料装配方法及装配装置、计算机可读存储介质、处理器 |
| CN113059579A (zh) * | 2021-04-30 | 2021-07-02 | 中国铁建重工集团股份有限公司 | 一种柔性作业装置 |
| CN113103238A (zh) * | 2021-04-26 | 2021-07-13 | 福建（泉州）哈工大工程技术研究院 | 一种基于数据优化的手眼标定方法 |
| CN113382555A (zh) * | 2021-08-09 | 2021-09-10 | 常州铭赛机器人科技股份有限公司 | 一种基于机器视觉的贴片机吸嘴同轴度误差自动校准方法 |
| CN113510697A (zh) * | 2021-04-23 | 2021-10-19 | 知守科技(杭州)有限公司 | 机械手定位方法、装置、***、电子装置和存储介质 |
| CN113819839A (zh) * | 2020-10-13 | 2021-12-21 | 常州铭赛机器人科技股份有限公司 | 贴装自动校准方法、装置及设备 |
| CN113894817A (zh) * | 2021-11-15 | 2022-01-07 | 广东天凛高新科技有限公司 | 一种履带式智能浇筑机器人工作方法 |
| CN114293779A (zh) * | 2021-11-15 | 2022-04-08 | 广东天凛高新科技有限公司 | 一种履带式智能浇筑机器人 |
| CN114322933A (zh) * | 2021-12-28 | 2022-04-12 | 珠海市运泰利自动化设备有限公司 | 一种基于托盘倾角的视觉反馈补偿方法 |
| CN114347013A (zh) * | 2021-11-05 | 2022-04-15 | 深港产学研基地（北京大学香港科技大学深圳研修院） | 印刷电路板与fpc柔性电缆线的装配方法及相关设备 |
| EP4033871A1 (en) | 2021-11-06 | 2022-07-27 | Fitech sp. z o.o. | Method of mounting suitable for positioning reeved components on a printed circuit board pcb |
| CN114872038A (zh) * | 2022-04-13 | 2022-08-09 | 欣旺达电子股份有限公司 | 微针扣合视觉自校准***及其校准方法 |
| CN115101947A (zh) * | 2022-05-06 | 2022-09-23 | 南京航空航天大学 | 阵列天线单元装配误差在线补偿方法及*** |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140067317A1 (en) * | 2012-09-03 | 2014-03-06 | Canon Kabushiki Kaisha | Information processing system, method, and program |
| CN105234943A (zh) * | 2015-09-09 | 2016-01-13 | 大族激光科技产业集团股份有限公司 | 一种基于视觉识别的工业机器人示教装置及方法 |
| CN107470170A (zh) * | 2017-07-13 | 2017-12-15 | 上海第二工业大学 | 基于机器视觉的pcb检测分拣***及方法 |
-
2018
- 2018-06-07 CN CN201810582133.2A patent/CN108766894B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140067317A1 (en) * | 2012-09-03 | 2014-03-06 | Canon Kabushiki Kaisha | Information processing system, method, and program |
| CN105234943A (zh) * | 2015-09-09 | 2016-01-13 | 大族激光科技产业集团股份有限公司 | 一种基于视觉识别的工业机器人示教装置及方法 |
| CN107470170A (zh) * | 2017-07-13 | 2017-12-15 | 上海第二工业大学 | 基于机器视觉的pcb检测分拣***及方法 |
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109781164A (zh) * | 2018-12-28 | 2019-05-21 | 长沙长泰机器人有限公司 | 一种线激光传感器的静态标定方法 |
| CN109781164B (zh) * | 2018-12-28 | 2021-02-05 | 长沙长泰机器人有限公司 | 一种线激光传感器的静态标定方法 |
| CN109719734A (zh) * | 2019-03-12 | 2019-05-07 | 湖南大学 | 一种机器人视觉引导的手机闪光灯组装***及组装方法 |
| CN110231036A (zh) * | 2019-07-19 | 2019-09-13 | 广东博智林机器人有限公司 | 一种基于十字激光和机器视觉的机器人定位装置及方法 |
| CN110281069B (zh) * | 2019-07-23 | 2024-05-03 | 琦星智能科技股份有限公司 | 基于工业机器人视觉的不规则产品加工设备及其视觉控制 |
| CN110281069A (zh) * | 2019-07-23 | 2019-09-27 | 琦星智能科技股份有限公司 | 基于工业机器人视觉的不规则产品加工设备及其视觉控制 |
| WO2021017203A1 (zh) * | 2019-07-30 | 2021-02-04 | 南京埃斯顿机器人工程有限公司 | 一种应用于机器人打孔的工具姿态调整方法 |
| CN112331582A (zh) * | 2019-08-05 | 2021-02-05 | 捷进科技有限公司 | 芯片贴装装置以及半导体器件的制造方法 |
| CN112331582B (zh) * | 2019-08-05 | 2024-01-02 | 捷进科技有限公司 | 芯片贴装装置以及半导体器件的制造方法 |
| CN111012506A (zh) * | 2019-12-28 | 2020-04-17 | 哈尔滨工业大学 | 基于立体视觉的机器人辅助穿刺手术末端工具中心标定方法 |
| CN112208113A (zh) * | 2020-08-13 | 2021-01-12 | 苏州赛米维尔智能装备有限公司 | 一种基于视觉引导的导热棉自动贴附装置及其贴附方法 |
| CN113819839A (zh) * | 2020-10-13 | 2021-12-21 | 常州铭赛机器人科技股份有限公司 | 贴装自动校准方法、装置及设备 |
| CN112589401A (zh) * | 2020-11-09 | 2021-04-02 | 苏州赛腾精密电子股份有限公司 | 一种基于机器视觉的组装方法及*** |
| CN112589401B (zh) * | 2020-11-09 | 2021-12-31 | 苏州赛腾精密电子股份有限公司 | 一种基于机器视觉的组装方法及*** |
| CN112496696A (zh) * | 2020-11-24 | 2021-03-16 | 福州大学 | 一种智能手机内部射频线自动组装视觉测量*** |
| CN112991461A (zh) * | 2021-03-11 | 2021-06-18 | 珠海格力智能装备有限公司 | 物料装配方法及装配装置、计算机可读存储介质、处理器 |
| CN113510697A (zh) * | 2021-04-23 | 2021-10-19 | 知守科技(杭州)有限公司 | 机械手定位方法、装置、***、电子装置和存储介质 |
| CN113510697B (zh) * | 2021-04-23 | 2023-02-14 | 知守科技(杭州)有限公司 | 机械手定位方法、装置、***、电子装置和存储介质 |
| CN113103238A (zh) * | 2021-04-26 | 2021-07-13 | 福建（泉州）哈工大工程技术研究院 | 一种基于数据优化的手眼标定方法 |
| CN113059579A (zh) * | 2021-04-30 | 2021-07-02 | 中国铁建重工集团股份有限公司 | 一种柔性作业装置 |
| CN113382555B (zh) * | 2021-08-09 | 2021-10-29 | 常州铭赛机器人科技股份有限公司 | 一种基于机器视觉的贴片机吸嘴同轴度误差自动校准方法 |
| CN113382555A (zh) * | 2021-08-09 | 2021-09-10 | 常州铭赛机器人科技股份有限公司 | 一种基于机器视觉的贴片机吸嘴同轴度误差自动校准方法 |
| CN114347013A (zh) * | 2021-11-05 | 2022-04-15 | 深港产学研基地（北京大学香港科技大学深圳研修院） | 印刷电路板与fpc柔性电缆线的装配方法及相关设备 |
| EP4033871A1 (en) | 2021-11-06 | 2022-07-27 | Fitech sp. z o.o. | Method of mounting suitable for positioning reeved components on a printed circuit board pcb |
| CN114293779A (zh) * | 2021-11-15 | 2022-04-08 | 广东天凛高新科技有限公司 | 一种履带式智能浇筑机器人 |
| CN114293779B (zh) * | 2021-11-15 | 2023-10-03 | 广东天凛高新科技有限公司 | 一种履带式智能浇筑机器人 |
| CN113894817A (zh) * | 2021-11-15 | 2022-01-07 | 广东天凛高新科技有限公司 | 一种履带式智能浇筑机器人工作方法 |
| CN114322933A (zh) * | 2021-12-28 | 2022-04-12 | 珠海市运泰利自动化设备有限公司 | 一种基于托盘倾角的视觉反馈补偿方法 |
| CN114322933B (zh) * | 2021-12-28 | 2024-06-11 | 珠海市运泰利自动化设备有限公司 | 一种基于托盘倾角的视觉反馈补偿方法 |
| CN114872038A (zh) * | 2022-04-13 | 2022-08-09 | 欣旺达电子股份有限公司 | 微针扣合视觉自校准***及其校准方法 |
| CN114872038B (zh) * | 2022-04-13 | 2023-12-01 | 欣旺达电子股份有限公司 | 微针扣合视觉自校准***及其校准方法 |
| CN115101947A (zh) * | 2022-05-06 | 2022-09-23 | 南京航空航天大学 | 阵列天线单元装配误差在线补偿方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108766894B (zh) | 2019-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108766894A (zh) | 一种机器人视觉引导的芯片贴装方法及*** | |
| CN111260731B (zh) | 一种棋盘格亚像素级角点自适应检测的方法 | |
| CN111775146B (zh) | 一种工业机械臂多工位作业下的视觉对准方法 | |
| CN112223285B (zh) | 一种基于组合测量的机器人手眼标定方法 | |
| CN110497187A (zh) | 基于视觉引导的太阳花模组装配*** | |
| CN109029299B (zh) | 舱段销孔对接转角的双相机测量装置及测量方法 | |
| CN109270534A (zh) | 一种智能车激光传感器与相机在线标定方法 | |
| CN109719734B (zh) | 一种机器人视觉引导的手机闪光灯组装***及组装方法 | |
| CN105427288B (zh) | 一种机器视觉对位***的标定方法及装置 | |
| CN107239748A (zh) | 基于棋盘格标定技术的机器人目标识别与定位方法 | |
| CN106197265B (zh) | 一种空间自由飞行模拟器视觉精密定位方法 | |
| CN109727291B (zh) | 一种变焦距摄像机的高精度在线标定方法 | |
| CN106683138B (zh) | 一种锡膏印刷机相机的标定方法 | |
| CN106996748A (zh) | 一种基于双目视觉的轮径测量方法 | |
| CN108898635A (zh) | 一种提高相机标定精度的控制方法及*** | |
| CN112949478A (zh) | 基于云台相机的目标检测方法 | |
| CN112161586A (zh) | 一种基于编码棋盘格的线结构光视觉传感器标定方法 | |
| CN105835507A (zh) | 一种手机盖板玻璃和液晶屏的贴合方法 | |
| CN108154536A (zh) | 二维平面迭代的相机标定法 | |
| CN106600549A (zh) | 鱼眼图像的矫正方法和装置 | |
| CN109191527A (zh) | 一种基于最小化距离偏差的对位方法及装置 | |
| CN110648362A (zh) | 一种双目立体视觉的羽毛球定位识别与姿态计算方法 | |
| CN115546289A (zh) | 一种基于机器人的复杂结构件三维形貌测量方法 | |
| CN114820817A (zh) | 基于高精度线激光3d相机的标定方法和三维重建方法 | |
| CN109087360A (zh) | 一种机器人相机外参的标定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |