CN116309325A - 一种基于深度学习的贴片检测方法及*** - Google Patents
一种基于深度学习的贴片检测方法及*** Download PDFInfo
- Publication number
- CN116309325A CN116309325A CN202310080758.XA CN202310080758A CN116309325A CN 116309325 A CN116309325 A CN 116309325A CN 202310080758 A CN202310080758 A CN 202310080758A CN 116309325 A CN116309325 A CN 116309325A
- Authority
- CN
- China
- Prior art keywords
- image
- centroid
- patch
- detected
- fitting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 56
- 238000013135 deep learning Methods 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 39
- 230000006870 function Effects 0.000 claims abstract description 30
- 238000004364 calculation method Methods 0.000 claims abstract description 26
- 238000007781 pre-processing Methods 0.000 claims abstract description 25
- 238000012937 correction Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims description 15
- 238000005259 measurement Methods 0.000 claims description 10
- 238000003708 edge detection Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 230000036544 posture Effects 0.000 claims description 4
- 230000014509 gene expression Effects 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 description 13
- 238000004519 manufacturing process Methods 0.000 description 11
- 230000000007 visual effect Effects 0.000 description 10
- 238000011161 development Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 9
- 238000004806 packaging method and process Methods 0.000 description 9
- 239000004065 semiconductor Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000007547 defect Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 238000003466 welding Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 206010016256 fatigue Diseases 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000011031 large-scale manufacturing process Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012858 packaging process Methods 0.000 description 1
- 238000012536 packaging technology Methods 0.000 description 1
- 150000003071 polychlorinated biphenyls Chemical class 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000007650 screen-printing Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 230000003867 tiredness Effects 0.000 description 1
- 208000016255 tiredness Diseases 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种基于深度学习的贴片检测方法及***，方法包括：基于双目视觉采集装置采集贴片的待测图像，对待测图像进行基于深度学习的图像预处理和形心计算，确定待测图像的轮廓图像、形心和形心像素值；对形心像素值周围的4×4的样本点进行正交函数局部最小二乘拟合运算，得到拟合系数，根据拟合系数确定拟合公式；代入形心像素值至拟合公式，并对待测图像进行双目重构确定贴片的空间形心坐标；根据最小二乘法拟合出的直线，以空间形心坐标为重构图像的旋转中心计算得到轮廓图像的校正角度。
Description
技术领域
本发明涉及智能检测技术领域，尤其涉及一种基于深度学习的贴片检测方法及***。
背景技术
近年来，中国制造业发展迅猛，PCB(Printed CircuitBoard)行业作为电子信息产品制造的基础产业，也得到了高速的发展，自2006年开始，中国超越日本成为全球第一大PCB生产国，PCB的产量和产值位居世界第一。2000-2015年为我国PCB行业黄金发展期，行业维持在20％以上的复合增长率，目前我国是全球第一大PCB生产国。未来，经济的快速发展，生活水平的改善，市场消费需求的提高，以及智能制造时代的来临，都意味着PCB行业将会蓬勃发展。随着PCB行业的高速发展，与此同时也对PCB的制造及相关设备提出了更高的要求。PCB元件越来越多样化、越来越精细，PCB集合程度越来越高，这对PCB的生产设备的功能及性能要求越来越高。
SMT器件组装技术是世纪年新兴的更为科学的一种封装技术，这种封装技术被认为是在电子组装技术领域的一场革命。SMT组装生产线，包括：丝印机、贴片机、焊接机，贴片机是最关键的设备之一，设备的技术含量最高，标志贴片机参数的发展水平的三项指标是：1、贴片的精度；2、贴片的速度；3、可贴元件范围。已经变成一个特有的研究方向，美国和欧洲等国家在该领域处于世界领先地位。德国、美国是表面贴装器件定位***的领先研发国家。凭借德国精湛的光学和精密仪器技术的爱莎所研发的表面贴装器件视觉定位***十分先进，在国外，这种高智能化、高度集中的封装、焊接技术已经十分成熟，而且也开发出了很多先进的设备。
目前我国国内单件生产或小批量表面贴装芯片大多靠人眼贴装和手工焊接，大规模生产则通过购买国外设备来实现。目前国内市场迫切需要一种价格合理，功能齐全、稳定可靠、直观易用、易于维护，更适合中国国情的表面贴装芯片的视觉定位***。
随着电子市场的快速发展，半导体芯片的应用越来越广泛，需求也在不断增加。为了适应和满足市场需求，对半导体芯片提出了越来越高的要求。然而，传统的芯片封装模块检测方法难以满足表面贴装芯片高速高精度检测的需求。芯片封装外观质量检测主要包括芯片倾角检测、印刷字符检测、芯片引脚尺寸检测以及引脚电性能检测等。对于以上检测项目，各公司起初都采用人工检测。但是，由于芯片本身体积小，人工检测存在很多缺点，如：(1)劳动强度较高，人眼容易疲劳，产生漏检、误检等情况；(2)存在检测标准不一致的现象；(3)速度慢，效率低；(4)人工费用不断上升。因此，随着设备成本逐渐降低，人工检测显然不再能满足工业生产的需求，在工业生产中利用人工检测芯片的场合也逐渐越来越少。国内在半导体芯片封装测试中视觉检测环节存在较多技术空缺，以致于我国半导体行业使用的中高档芯片视觉检测***几乎全部依赖进口。为了缩短与世界水平的差距，打破垄断，提升我国自主创新能力，更好地利用视觉检测的便利性和经济效益，有必要对芯片封装测试视觉检测环节进一步研究。由于国内缺乏相关的研究理论及方法，难以客观地检测半导体芯片封装过程中的缺陷，直接影响芯片封装测试效率，从而制约国内半导体行业的发展。因此，开发高精度、高效率的半导体芯片图像视觉定位检测***，对于有效促进半导体芯片封装测试行业具有深远的意义。
信息电子产业关系到国家的利益和安全，先进电子制造业是信息电子产业发展的基石，而先进电子制造业的发展，离不开先进的技术装备，但现实是：我国用于高性能芯片封装的设备都是从国外引进，包括视觉定位***等单元技术，国内还没有自主研制的能力。大规模电子产品生产所用的全自动贴片机在我国还处于起步阶段，主要制约因素之一是空间双目标的同时成像以及快速、高精度定位问题。
因此，本发明提出的一种基于深度学习的贴片检测方法及***，用于解决高性能芯片封装的设备空间双目标的同时成像以及快速、高精度定位问题。
发明内容
针对现有技术的不足，本发明提供的一种基于深度学习的贴片检测方法及***，用于解决高性能芯片封装的设备空间双目标的同时成像以及快速、高精度定位问题。
一种基于深度学习的贴片检测方法，包括：基于双目视觉采集装置采集贴片的待测图像，对待测图像进行基于深度学习的图像预处理和形心计算，确定待测图像的轮廓图像、形心和形心像素值；对形心像素值周围的4×4的样本点进行正交函数局部最小二乘拟合运算，得到拟合系数，根据拟合系数确定拟合公式；代入形心像素值至拟合公式，并对待测图像进行双目重构确定贴片的空间形心坐标；根据最小二乘法拟合出的直线，以空间形心坐标为重构图像的旋转中心计算得到轮廓图像的校正角度。
作为本发明的一种实施例，一种基于深度学习的贴片检测方法还包括：
采集贴片的待测图像前，基于多组不同姿态的标定板图像对双目视觉采集装置进行标定。
作为本发明的一种实施例，一种基于深度学习的贴片检测方法还包括：采集贴片的待测图像前，基于双目视觉采集装置标定板的样本图像，其中，样本图像分为左样本图像和右样本图像；对样本图像进行基于深度学习的图像预处理和形心计算，确定样本图像中的每一标定板的矩形轮廓图像、矩形形心和矩形形心像素值；以每一标定板的矩形形心作为拟合的样本点。
作为本发明的一种实施例，对待测图像进行基于深度学习的图像预处理和形心计算，确定待测图像的轮廓图像、形心和形心像素值，包括：
基于深度学习对待测图像进行图像预处理，得到待测图像的轮廓图像；其中，图像预处理包括图像对比度增强处理、高斯滤波处理、二值化处理、闭操作处理以及边缘检测处理；轮廓图像分为左待测图像的左轮廓图像和右待测图像的右轮廓图像；
采用基于矩形的形心算法计算得到轮廓图像的矩形形心；
基于矩形形心的位置信息计算得到形心像素值。
作为本发明的一种实施例，对形心像素值周围的4×4的样本点进行正交函数局部最小二乘拟合运算，得到拟合系数，根据拟合系数确定拟合公式，包括：基于正交函数的局部最小二乘拟合的定位计算方法，定义{Pn(x)}是关于点集(xi)(i＝0，2…，m)的多项式，得到：
Pk+1(x)＝(x-αk+1)Pk(x)-βkPk-1(x)
其中，Pk(x)为首项系数为1的k次多项式，根据Pk(x)正交性的约束条件，αk+1和βk的表达式分别为：
基于Pk(x)对形心像素值周围的4×4的样本点进行正交函数局部最小二乘拟合运算，取权函数ω(xi，yi)＝l(m，n)为像素点对应的平面坐标，确定拟合公式为：
其中，aklx表示在x方向k阶和l阶的拟合系数，akly表示在y方向k阶和l阶的拟合系数，根据形心像素值周围的4×4的样本点为计算参数，确定拟合系数为：
其中，X(xi，yi)表示像素点(xi，yi)对应的空间点的横坐标，Y(xi，yi)表示像素点(xi，yi)对应的空间点的纵坐标。
作为本发明的一种实施例，代入形心像素值至拟合公式，并对待测图像进行双目重构确定贴片的空间形心坐标，包括：
分别代入左待测图像的形心像素值和右待测图像的形心像素值至拟合公式，并基于拟合结果和三维重构误差对待测图像进行双目重构并确定贴片的空间形心坐标。
作为本发明的一种实施例，三维重构误差的计算步骤包括：
基于局部立体匹配中的区域立体匹配算法，以样本图像的匹配区域内的匹配特征作为匹配基元，采用局部寻优相似性度量函数的方法确定最佳匹配点；其中，匹配特征包括像素灰度值；
利用区域立体匹配算法，确定左样本图像和右样本图像的视差图；
基于双目视觉原理，重建视差图中的各最佳匹配点在相机坐标系下的深度图，确定各最佳匹配点相对于相机坐标系的高度，根据高度计算得到三维重构误差。
作为本发明的一种实施例，根据最小二乘法拟合出的直线，以空间形心坐标为重构图像的旋转中心计算得到轮廓图像的校正角度，包括：
以OA为空间形心坐标往x轴正方向的延长线，Pq为最小二乘法对最长边两个角点的拟合直线，h＝(x1,y1)为Pq与OA的交点坐标，L为P到h的垂直距离，以h和P为直角三角形的两顶点，以及P点到y轴的垂直距离为一直角边M，构建以L为另一直角边的直角三角形；基于直角三角形的关系，得到：
其中，Py为P点的纵坐标值，Px为P点的横坐标值，
为h点的纵坐标值，/>
为h点的横坐标值；
根据L和M可确定贴片的轮廓图像的倾斜角度A为：
基于倾斜角度A确定轮廓图像的校正角度。
作为本发明的一种实施例，一种基于深度学习的贴片检测方法还包括：根据轮廓图像的校正角度对轮廓图像进行校正，完成检测。
一种基于深度学习的贴片检测***，包括：图像采集模块，用于基于双目视觉采集装置采集贴片的待测图像；
图像预处理及形心计算模块，用于对待测图像进行基于深度学习的图像预处理和形心计算，确定待测图像的轮廓图像、形心和形心像素值；
贴片空间坐标确定模块，用于对形心像素值周围的4×4的样本点进行正交函数局部最小二乘拟合运算，得到拟合系数，根据拟合系数确定拟合公式；代入形心像素值至拟合公式，并对待测图像进行双目重构确定贴片的空间形心坐标；
贴片校正角度确定模块，用于根据最小二乘法拟合出的直线，以空间形心坐标为重构图像的旋转中心计算得到轮廓图像的校正角度。
本发明的有益效果为：
本发明提供的一种基于深度学习的贴片检测方法及***，用于解决高性能芯片封装的设备空间双目标的同时成像以及快速、高精度定位问题。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种基于深度学习的贴片检测方法及***的方法流程图；
图2为本发明实施例中一种基于深度学习的贴片检测方法及***中的标定原理示意图；
图3为本发明实施例中一种基于深度学习的贴片检测方法及***中的双目视差原理示意图；
图4为本发明实施例中一种基于深度学习的贴片检测方法及***中最佳匹配点匹配过程示意图；
图5为本发明实施例中一种基于深度学习的贴片检测方法及***中的贴片元件外形描述图；
图6为本发明实施例中一种基于深度学习的贴片检测方法及***的***模块示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
请参阅图1，本发明实施例提供了一种基于深度学习的贴片检测方法，包括：S101、基于双目视觉采集装置采集贴片的待测图像；S102、对待测图像进行基于深度学习的图像预处理和形心计算，确定待测图像的轮廓图像、形心和形心像素值；S103、对形心像素值周围的4×4的样本点进行正交函数局部最小二乘拟合运算，得到拟合系数，根据拟合系数确定拟合公式；代入形心像素值至拟合公式，并对待测图像进行双目重构确定贴片的空间形心坐标；S104、根据最小二乘法拟合出的直线，以空间形心坐标为重构图像的旋转中心计算得到轮廓图像的校正角度；
上述技术方案的工作原理为：采集选取芯片贴片作为定位元件，将其放在待测平面上，用双目视觉采集装置采集图像，得到采集的左图像和右图像；进行图像预处理和中心计算，获得左图像和右图像中贴片中心的像素值；选择贴片中心像素值周围的4×4的样本点进行正交函数局部最小二乘拟合，求得该区域的拟合系数，并将中心像素代入拟合公式，进行双目重构得到矩形贴片中心的空间坐标，以形心坐标为图像的旋转中心以及最小二乘法拟合出的直线，根据数学计算求出对芯片轮廓图像校正的角度；其中，基于双目视觉的双目视觉采集装置由滑台、伺服电机、调节板、相机与镜头连接板、机架等几个部分组成，其中，双目视觉采集装置的左右摄像机采用同型号的摄像机和镜头时，双目视觉的工件尺寸测量***测量误差最小；在进行摄像机参数设置时，摄像机的曝光时间和增益等应尽量设置为一样，以获取高精度的测量结果；左右摄像机的安装距离，亦即基线B的大小；当基线B规定时，基于双目视觉的定位测量***的测量误差会随着物距z的增加而急剧增大；而当基线B的取值在0.8z～2.2z内时，其测量误差的变化较小；本双目视觉采集装置视觉部分主要包括相机、镜头、光源、光源控制器，为了实现大视野的成像和小视野的显著目标成像，选用面阵相机，分辨率为2448×2050像素，芯片尺寸为2/3英寸，镜头采用定焦距镜头，焦距为35mm，光源对于不同任务需求，可以选用环形光源和同轴光源，光源控制器通过串口通信控制光源照度大小；
上述技术方案的有益效果为：通过上述技术方案，有益于解决高性能芯片封装的设备空间双目标的同时成像以及快速、高精度定位问题，通过使用双目视觉进行定位检测，双目视觉在视觉导航、目标匹配等领域有不可替代的优势，弥补了单目相机不能获取三维信息的缺陷，在PCB元件识别与定位中也得到了广泛的应用，同时传统的基于双目相机的定位方法存在定位不够准确，本方案使用的正交函数局部拟合的方法的定位精度相比传统的定位方法有了较大提高。
在一个实施例中，一种基于深度学习的贴片检测方法还包括：采集贴片的待测图像前，基于多组不同姿态的标定板图像对双目视觉采集装置进行标定；
上述技术方案的工作原理和有益效果为：标定时需要计算内部参数与外部参数，其中，计算内部参数的步骤优选为：将一个X、Y方向上分别为LX、LY，需要求出相机跟物体之间的距离，将距离设为L，假设此时相机的焦距是f，物体图像在X、Y方向上的像素数是NX、NY，可以得到：
其中，Ku和Kv份别表示图像坐标在X，Y方向上单位距离内所表示的像素数；根据小孔成像原理可以求出L，如图2所示；
根据式(1)可以得到如下公式：
上述计算参数的含义如图2所示，这里l为标定物沿着光轴方向步进的距离，求解L可得：
L＝l*N2X/(N2X-N1X) (3)
将式2代入式3可得：
f＝NXN2Xl/LXKu(N2X-N1X)
其中，分别表示图像坐标在X，Y方向上单位距离内所表示的像素数。根据小孔成像原理可以求出L；
其中，计算外部参数的步骤优选为：假如标定的时候两个相机的型号参数都是相同的，在进行相机安装的时候保证两个相机的位置是平行的，这样的话就保证了两个相机在Y方向上的坐标是相同的，此时只有X方向上的偏差需要求出；假设视野内有一点P，则在左右相机的坐标分别为(Xl,Yl,Zl)、(Xr,Yr,Zr)，其中Z为点P的深度坐标值，f则为相机的焦距，f1为左相机的焦距，fr为右相机的焦距，可参阅图3，此时将右相机移到了世界坐标***的原点，则左相机和点P在保持相对几何关系不变的情况下也会跟随着移动，其中Z为P点到小孔处的距离；此时如果将左相机移到世界坐标系的原点，可以解得：
其中，B为基线的大小；由于我们认为左边相机为世界坐标系重合，并且两个相机的光轴是平行的，因此左相机以世界坐标的坐标系的旋转矩阵为
平移矩阵/>
右相机跟左相机之间的X的方向上存在一个B的距离，所以右边相机与世界坐标的旋转矩阵为/>
平移矩阵/>
其中，TXY＝B，因此可以通过式子AX＝XB求得中心距B，在一个优选实施例中，根据计算以及现场安装情况取B的值为100mm；
双目视觉***的标定可以获得左右两摄像机的内外参数，建立摄像机的图像像素坐标与三维坐标之间的数值关系，及两摄像机之间的相对位姿；摄像机内参数包括焦距、畸变系数、像素尺寸和中心坐标，外参数包括摄像机坐标系相对于世界坐标系的旋转矩阵和平移向量；标定过程需要多组不同姿态下的标定板图像，提取其特征点，拟合求解；
上述技术方案的有益效果为：通过对双目视觉采集装置进行标定，有益于提高双目视觉采集装置的采集精确度。
在一个实施例中，一种基于深度学习的贴片检测方法还包括：
采集贴片的待测图像前，基于双目视觉采集装置标定板的样本图像，其中，样本图像分为左样本图像和右样本图像；对样本图像进行基于深度学习的图像预处理和形心计算，确定样本图像中的每一标定板的矩形轮廓图像、矩形形心和矩形形心像素值；以每一标定板的矩形形心作为拟合的样本点；
上述技术方案的工作原理和有益效果为：在一个优选实施例中，优选采用尺寸为72×72mm，图像阵列为7×7的矩形陈列型标定模板；对采集的拟合板(即标定板)图像进行二值化、边缘检测、提取的轮廓、最后求得每个实心矩形的形心像素值；实心矩形在图像中和平面中的位置信息即为拟合的样本点，用于后续的正交函数局部拟合。
在一个实施例中，对待测图像进行基于深度学习的图像预处理和形心计算，确定待测图像的轮廓图像、形心和形心像素值，包括：
基于深度学习对待测图像进行图像预处理，得到待测图像的轮廓图像；其中，图像预处理包括图像对比度增强处理、高斯滤波处理、二值化处理、闭操作处理以及边缘检测处理；轮廓图像分为左待测图像的左轮廓图像和右待测图像的右轮廓图像；
采用基于矩形的形心算法计算得到轮廓图像的矩形形心；
基于矩形形心的位置信息计算得到形心像素值；
上述技术方案的工作原理和有益效果为：在对芯片贴片图像的采集、数字化与传输过程中，由于周边环境问题、设备性能优劣等原因，得到的原始图像可能会出现对比度不足、模糊、混入噪声等问题，需要对图像进行预处理；采用直方图均衡化方法，增强图像对比度，便于后续的边缘检测、特征提取等操作的进行；采用高斯滤波方法，能够较好地保持零件图像的边缘特性，并且保留较多的相关细节，采用最大类间方差法(又称大津法)进行二值化；可以将图像与背景分离，去掉不需要的颜色特征和纹理特征，采用闭操作去除二值化后的边缘锯齿化及不必要的细节；采用Canny算子对图像进行边缘检测，提取图像的边缘，便于贴片特征提取与定位；对图像预处理之后，计算图像中贴片形心像素值；提取贴片外轮廓，采用基于矩形的形心算法计算形心，采用直方图均衡化、高斯滤波、大津法等图像预处理方法，能在较好的保持贴片细节信息的基础上提取出完整的贴片外轮廓。
在一个实施例中，对形心像素值周围的4×4的样本点进行正交函数局部最小二乘拟合运算，得到拟合系数，根据拟合系数确定拟合公式，包括：基于正交函数的局部最小二乘拟合的定位计算方法，定义{Pn(x)}是关于点集(xi)(i＝0，2…，m)的多项式，得到：
Pk+1(x)＝(x-αk+1)Pk(x)-βkPk-1(x)
其中，Pk(x)为首项系数为1的k次多项式，根据Pk(x)正交性的约束条件，αk+1和βk的表达式分别为：
基于Pk(x)对形心像素值周围的4×4的样本点进行正交函数局部最小二乘拟合运算，取权函数ω(xi,yi)＝l(m,n)为像素点对应的平面坐标，确定拟合公式为：
其中，aklx表示在x方向k阶和l阶的拟合系数，akly表示在y方向k阶和l阶的拟合系数，根据形心像素值周围的4×4的样本点为计算参数，确定拟合系数为：
其中，X(xi,yi)表示像素点(xi,yi)对应的空间点的横坐标，Y(xi,yi)表示像素点(xi,yi)对应的空间点的纵坐标；
上述技术方案的有益效果为：采用一种基于正交函数的局部最小二乘拟合法，避免了采集大量图片去获得相机参数，只需要一个图像即可提取样本点，提高了贴片定位的速度和精度。
在一个实施例中，代入形心像素值至拟合公式，并对待测图像进行双目重构确定贴片的空间形心坐标，包括：
分别代入左待测图像的形心像素值和右待测图像的形心像素值至拟合公式，并基于拟合结果和三维重构误差对待测图像进行双目重构并确定贴片的空间形心坐标；
上述技术方案的有益效果为：采用立体匹配和三维重构方法，能够获取目标的三维图像深度信息，提高空间定位精度。
在一个实施例中，三维重构误差的计算步骤包括：
基于局部立体匹配中的区域立体匹配算法，以样本图像的匹配区域内的匹配特征作为匹配基元，采用局部寻优相似性度量函数的方法确定最佳匹配点；其中，匹配特征包括像素灰度值；
利用区域立体匹配算法，确定左样本图像和右样本图像的视差图；
基于双目视觉原理，重建视差图中的各最佳匹配点在相机坐标系下的深度图，确定各最佳匹配点相对于相机坐标系的高度，根据高度计算得到三维重构误差；
上述技术方案的工作原理和有益效果为：本方案选择局部立体匹配中的区域立体匹配算法，区域立体匹配以匹配区域内的特征作为匹配基元，通过局部寻优相似性度量函数找到最佳的匹配点；区域立体匹配以左图像为基准图像，右图像为匹配图像，在基准图像中以某一像素点为中心，在其周围邻域内设置一个大小为(2m+1)*(2n+1)的子窗口，在搜索图像中也设定一个相同大小可移动窗口，使窗口沿外极线在带匹配图像搜索范围内进行搜索，使用相似性度量函数计算相似度，相似度最高的点即为匹配点；通常使用像素灰度值做为匹配特征，匹配过程如图4所示；
根据双目视觉基本原理，可知某一点的视差与其深度有关，视差值的大小与深度成反比，因此不需要沿着外极线依次计算，通常先通过预估测量获得贴片相对于双目视觉***的深度范围，求出图像中匹配点大致的视差范围d∈[dmin，dmax]，视差搜索区域的长度此范围内即可，降低匹配过程的计算量，提高效率；除通过缩小搜索范围来提高效率外，还可以使用图像金字塔由粗略到精细的搜索匹配点，提高搜索效率；
利用立体匹配得到的视差图，根据双目视觉原理即可重建出图像中的匹配点在相机坐标系下的深度图，本文首先使用水平放置的标定板作为三维重构对象，通过计算标定板上各匹配点相对于相机坐标系的高度，计算三维重构误差；根据计算可知，通过双目视觉***计算得到的水平放置标定板平面与摄像机坐标系的平均距离；以平均距离为基准，三维重构的误差在允许范围以内；
通过上述技术方案，针对贴片元件的几何特性本方案通过立体视觉匹配与三维重构检测的方法进行贴片元件的快速定位，在许可的精度范围内较好的提高了检测速度，贴片元件外形描述图如图5所示。
在一个实施例中，根据最小二乘法拟合出的直线，以空间形心坐标为重构图像的旋转中心计算得到轮廓图像的校正角度，包括：
以OA为空间形心坐标往x轴正方向的延长线，Pq为最小二乘法对最长边两个角点的拟合直线，h＝(x1,y1)为Pq与OA的交点坐标，L为P到h的垂直距离，以h和P为直角三角形的两顶点，以及P点到y轴的垂直距离为一直角边M，构建以L为另一直角边的直角三角形；基于直角三角形的关系，得到：
其中，Py为P点的纵坐标值，Px为P点的横坐标值，
为h点的纵坐标值，/>
为h点的横坐标值；
根据L和M可确定贴片的轮廓图像的倾斜角度A为：
基于倾斜角度A确定轮廓图像的校正角度；
上述技术方案的有益效果为：通过上述技术方案，有益于快速确定校正角度。
在一个实施例中，一种基于深度学习的贴片检测方法还包括：根据轮廓图像的校正角度对轮廓图像进行校正，完成检测。
请参阅图6，一种基于深度学习的贴片检测***，包括：
图像采集模块1，用于基于双目视觉采集装置采集贴片的待测图像；
图像预处理及形心计算模块2，用于对待测图像进行基于深度学习的图像预处理和形心计算，确定待测图像的轮廓图像、形心和形心像素值；
贴片空间坐标确定模块3，用于对形心像素值周围的4×4的样本点进行正交函数局部最小二乘拟合运算，得到拟合系数，根据拟合系数确定拟合公式；代入形心像素值至拟合公式，并对待测图像进行双目重构确定贴片的空间形心坐标；
贴片校正角度确定模块4，用于根据最小二乘法拟合出的直线，以空间形心坐标为重构图像的旋转中心计算得到轮廓图像的校正角度。
该一种基于深度学习的贴片检测***中各个模块的工作原理和有益效果可参照上述关于一种基于深度学习的贴片检测方法中对应提及的工作原理和有益效果，这里就不再做重复的累述了。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种基于深度学习的贴片检测方法，其特征在于，包括：基于双目视觉采集装置采集贴片的待测图像，对待测图像进行基于深度学习的图像预处理和形心计算，确定待测图像的轮廓图像、形心和形心像素值；对形心像素值周围的4×4的样本点进行正交函数局部最小二乘拟合运算，得到拟合系数，根据拟合系数确定拟合公式；代入形心像素值至拟合公式，并对待测图像进行双目重构确定贴片的空间形心坐标；根据最小二乘法拟合出的直线，以空间形心坐标为重构图像的旋转中心计算得到轮廓图像的校正角度。
2.根据权利要求1所述的一种基于深度学习的贴片检测方法，其特征在于，还包括：采集贴片的待测图像前，基于多组不同姿态的标定板图像对双目视觉采集装置进行标定。
3.根据权利要求2所述的一种基于深度学习的贴片检测方法，其特征在于，还包括：采集贴片的待测图像前，基于双目视觉采集装置标定板的样本图像，其中，样本图像分为左样本图像和右样本图像；对样本图像进行基于深度学习的图像预处理和形心计算，确定样本图像中的每一标定板的矩形轮廓图像、矩形形心和矩形形心像素值；以每一标定板的矩形形心作为拟合的样本点。
4.根据权利要求1所述的一种基于深度学习的贴片检测方法，其特征在于，对待测图像进行基于深度学习的图像预处理和形心计算，确定待测图像的轮廓图像、形心和形心像素值，包括：
基于深度学习对待测图像进行图像预处理，得到待测图像的轮廓图像；其中，图像预处理包括图像对比度增强处理、高斯滤波处理、二值化处理、闭操作处理以及边缘检测处理；轮廓图像分为左待测图像的左轮廓图像和右待测图像的右轮廓图像；
采用基于矩形的形心算法计算得到轮廓图像的矩形形心；
基于矩形形心的位置信息计算得到形心像素值。
5.根据权利要求1所述的一种基于深度学习的贴片检测方法，其特征在于，对形心像素值周围的4×4的样本点进行正交函数局部最小二乘拟合运算，得到拟合系数，根据拟合系数确定拟合公式，包括：基于正交函数的局部最小二乘拟合的定位计算方法，定义{Pn(x)}是关于点集(xi)(i＝0，2…，m)的多项式，得到：
Pk+1(x)＝(x-αk+1)Pk(x)-βkPk-1(x)
其中，Pk(x)为首项系数为1的k次多项式，根据Pk(x)正交性的约束条件，αk+1和βk的表达式分别为：
基于Pk(x)对形心像素值周围的4×4的样本点进行正交函数局部最小二乘拟合运算，取权函数ω(xi，yi)＝l(m，n)为像素点对应的平面坐标，确定拟合公式为：
其中，aklx表示在x方向k阶和1阶的拟合系数，akly表示在y方向k阶和l阶的拟合系数，根据形心像素值周围的4×4的样本点为计算参数，确定拟合系数为：
其中，X(xi，yi)表示像素点(xi，yi)对应的空间点的横坐标，Y(xi，yi)表示像素点(xi，yi)对应的空间点的纵坐标。
6.根据权利要求1所述的一种基于深度学习的贴片检测方法，其特征在于，代入形心像素值至拟合公式，并对待测图像进行双目重构确定贴片的空间形心坐标，包括：
分别代入左待测图像的形心像素值和右待测图像的形心像素值至拟合公式，并基于拟合结果和三维重构误差对待测图像进行双目重构并确定贴片的空间形心坐标。
7.根据权利要求6所述的一种基于深度学习的贴片检测方法，其特征在于，三维重构误差的计算步骤包括：
基于局部立体匹配中的区域立体匹配算法，以样本图像的匹配区域内的匹配特征作为匹配基元，采用局部寻优相似性度量函数的方法确定最佳匹配点；其中，匹配特征包括像素灰度值；
利用区域立体匹配算法，确定左样本图像和右样本图像的视差图；
基于双目视觉原理，重建视差图中的各最佳匹配点在相机坐标系下的深度图，确定各最佳匹配点相对于相机坐标系的高度，根据高度计算得到三维重构误差。
8.根据权利要求1所述的一种基于深度学习的贴片检测方法，其特征在于，根据最小二乘法拟合出的直线，以空间形心坐标为重构图像的旋转中心计算得到轮廓图像的校正角度，包括：
以OA为空间形心坐标往x轴正方向的延长线，Pq为最小二乘法对最长边两个角点的拟合直线，h＝(x1，y1)为Pq与OA的交点坐
标，L为P到h的垂直距离，以h和P为直角三角形的两顶点，以及P点到y轴的垂直距离为一直角边M，构建以L为另一直角边的直角三角形；基于直角三角形的关系，得到：
其中，Py为P点的纵坐标值，Px为P点的横坐标值，
为h点的纵坐标值，/>
为h点的横坐标值；
根据L和M可确定贴片的轮廓图像的倾斜角度A为：
基于倾斜角度A确定轮廓图像的校正角度。
9.根据权利要求1所述的一种基于深度学习的贴片检测方法，其特征在于，还包括：根据轮廓图像的校正角度对轮廓图像进行校正，完成检测。
10.一种基于深度学习的贴片检测***，其特征在于，包括：
图像采集模块，用于基于双目视觉采集装置采集贴片的待测图像；
图像预处理及形心计算模块，用于对待测图像进行基于深度学习的图像预处理和形心计算，确定待测图像的轮廓图像、形心和形心像素值；
贴片空间坐标确定模块，用于对形心像素值周围的4×4的样本点进行正交函数局部最小二乘拟合运算，得到拟合系数，根据拟合系数确定拟合公式；代入形心像素值至拟合公式，并对待测图像进行双目重构确定贴片的空间形心坐标；
贴片校正角度确定模块，用于根据最小二乘法拟合出的直线，以空间形心坐标为重构图像的旋转中心计算得到轮廓图像的校正角度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310080758.XA CN116309325A (zh) | 2023-02-08 | 2023-02-08 | 一种基于深度学习的贴片检测方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310080758.XA CN116309325A (zh) | 2023-02-08 | 2023-02-08 | 一种基于深度学习的贴片检测方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116309325A true CN116309325A (zh) | 2023-06-23 |
Family
ID=86812218
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310080758.XA Pending CN116309325A (zh) | 2023-02-08 | 2023-02-08 | 一种基于深度学习的贴片检测方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116309325A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118134925A (zh) * | 2024-05-07 | 2024-06-04 | 亿芯微半导体科技(深圳)有限公司 | 半导体芯片倒装方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109087382A (zh) * | 2018-08-01 | 2018-12-25 | 宁波发睿泰科智能科技有限公司 | 一种三维重构方法及三维成像*** |
| CN110992326A (zh) * | 2019-11-27 | 2020-04-10 | 江苏理工学院 | 一种qfn芯片引脚图像快速倾斜校正方法 |
| CN112082493A (zh) * | 2020-09-03 | 2020-12-15 | 武汉工程大学 | 基于双目成像的管道法兰内半径视觉测量方法 |
| CN114742853A (zh) * | 2022-03-18 | 2022-07-12 | 华中科技大学 | 一种基于特征拟合的钣金件矩形轮廓三维测量方法及*** |
-
2023
- 2023-02-08 CN CN202310080758.XA patent/CN116309325A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109087382A (zh) * | 2018-08-01 | 2018-12-25 | 宁波发睿泰科智能科技有限公司 | 一种三维重构方法及三维成像*** |
| CN110992326A (zh) * | 2019-11-27 | 2020-04-10 | 江苏理工学院 | 一种qfn芯片引脚图像快速倾斜校正方法 |
| CN112082493A (zh) * | 2020-09-03 | 2020-12-15 | 武汉工程大学 | 基于双目成像的管道法兰内半径视觉测量方法 |
| CN114742853A (zh) * | 2022-03-18 | 2022-07-12 | 华中科技大学 | 一种基于特征拟合的钣金件矩形轮廓三维测量方法及*** |
Non-Patent Citations (3)
| Title |
|---|
| 亢洁;马振;: "基于轮廓查找的作物定位点提取算法", 科学技术与工程, no. 30 * |
| 王翰: "基于双目视觉的工件空间定位方法研究", 《自动化学报》, 11 October 2018 (2018-10-11), pages 1 - 4 * |
| 钟佩思等: "基于双目视觉的正交函数局部拟合的工件定位方法", 《科学技术与工程》, pages 1 - 6 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118134925A (zh) * | 2024-05-07 | 2024-06-04 | 亿芯微半导体科技(深圳)有限公司 | 半导体芯片倒装方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107941808B (zh) | 基于机器视觉的3d打印成型质量检测***及方法 | |
| CN102496161B (zh) | 一种印刷电路板图像的轮廓提取方法 | |
| CN105835507B (zh) | 一种手机盖板玻璃和液晶屏的贴合方法 | |
| CN107816943B (zh) | 一种物流箱体积重量测量***及其实现方法 | |
| CN112381827B (zh) | 基于视觉图像的快速高精度缺陷检测方法 | |
| CN107869954B (zh) | 一种双目视觉体积重量测量***及其实现方法 | |
| CN110260818B (zh) | 一种基于双目视觉的电子连接器鲁棒检测方法 | |
| CN113240674A (zh) | 基于三维点云和二维图像融合的共面度检测方法 | |
| CN109978940B (zh) | 一种sab安全气囊尺寸视觉测量方法 | |
| CN112161997B (zh) | 半导体芯片管脚三维几何尺寸的在线精密视觉测量方法及*** | |
| CN114494045A (zh) | 一种基于机器视觉的大型直齿轮几何参数测量***及方法 | |
| CN112365502B (zh) | 一种基于视觉图像缺陷检测的标对方法 | |
| CN114136975A (zh) | 一种微波裸芯片表面缺陷智能检测***和方法 | |
| Wang et al. | Error analysis and improved calibration algorithm for LED chip localization system based on visual feedback | |
| CN114111624B (zh) | 一种带标记点投射装置的手持三维扫描方法、设备及介质 | |
| CN115855955A (zh) | 一种基于多束线激光的模具表面结构缺陷检测装置和方法 | |
| CN211401101U (zh) | 高精度3d轮廓建模设备 | |
| CN117092113A (zh) | 一种摄像头模具焊接质量检测装置及其*** | |
| CN116309325A (zh) | 一种基于深度学习的贴片检测方法及*** | |
| CN116913841A (zh) | 一种用于自动固晶机的固晶贴片方法 | |
| CN111784779A (zh) | 基于卷积神经网络和嵌套轮廓识别的棋盘格图像识别定位***及方法 | |
| CN114963981B (zh) | 一种基于单目视觉的筒状零件对接非接触式测量方法 | |
| CN205607332U (zh) | 基于机器视觉的桥式起重机桥架跨度测量装置 | |
| CN109632815A (zh) | 表面缺陷在线检测***及方法 | |
| CN113483655A (zh) | 一种pcb检测***及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |