CN109785316A - 一种芯片表观缺陷检测方法 - Google Patents
一种芯片表观缺陷检测方法 Download PDFInfo
- Publication number
- CN109785316A CN109785316A CN201910061382.1A CN201910061382A CN109785316A CN 109785316 A CN109785316 A CN 109785316A CN 201910061382 A CN201910061382 A CN 201910061382A CN 109785316 A CN109785316 A CN 109785316A
- Authority
- CN
- China
- Prior art keywords
- pin
- centroid
- vector
- angle
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
一种芯片表观缺陷检测方法，采用彩色CCD相机拍摄SOP芯片图像，经一系列的预处理提取芯片圆形标记和引脚的轮廓和形心，计算圆形标记和引脚各个形心的改进环境特征向量，接着与模板图像进行匹配定位，计算出仿射变换矩阵，将图像仿射变换模板图像坐标系，最后对其圆形标记的改进环境向量判断引脚是否缺少，对其印刷区域提取印刷像素和边缘判断印刷信息是否缺陷，对其各个引脚轮廓计算最小外接矩形判断引脚是否上翘、下翘和歪斜，对其引脚区域提取氧化和脱焊像素判断引脚是否氧化和脱焊。本方法能够自动、快速、方便、准确地判断出SOP芯片引脚缺失、上翘、下翘、歪斜、脱焊和氧化问题，还可以判断印刷信息区域是否清晰完整，可有效检测SOP芯片产品外观、减少工作人员的劳动强度。
Description
技术领域
本发明是一种芯片表观缺陷检测方法，属于机器视觉检测领域，是一种基于改进环境向量快速定位技术的集成电路封装(SOP)芯片表观缺陷检测方法。
背景技术
在芯片器件生产过程中，芯片的表观质量检测是其中一项必不可少的环节，目前集成电路的SOP芯片表观质量检测主要采用人工目检测法，工作强度大，容易造成误检，而且检测速度和精度较低，使得检测效率低、无法满足企业规模生产的要求，上述因素在较大程度上制约了我国集成芯片生产行业的发展。
目前，一些固有的缺陷在一定程度上也限制了SOP芯片检测的准确性，比如检测速度和精度。
发明内容
为了解决上述问题，本发明提供一种能够自动、快速、方便、准确地判断出SOP芯片引脚缺失、上翘、下翘、歪斜、脱焊和氧化问题，还可以判断印刷信息区域是否清晰完整，可有效检测SOP芯片产品表观缺陷的检测方法。采取的技术方案为，一种芯片表观缺陷检测方法，包括如下步骤：
(1)搭建机器视觉产品缺陷检测硬件平台，检测芯片，获取彩色图像；
(2)直方图均衡化由步骤(1)得到的图像，然后中值滤波处理该图像；
(3)灰度化由步骤(2)得到的图像，在图像中提取圆形标记轮廓和引脚轮廓，计算引脚和圆形标记相应轮廓的形心；
(4)由步骤(3)得到的形心，计算圆形标记形心和引脚轮廓形心的改进环境特征向量；
(5)由步骤(4)得到的形心的改进环境向量与模板图像形心的改进环境向量相似匹配，其中模板图像圆形标记和引脚环境向量事先由步骤(1)到步骤(4)计算好；
(6)通过由步骤(5)得到的匹配形心点计算仿射变换矩阵，然后仿射变换由步骤(2)获取的彩色图像和由步骤(3)提取的引脚轮廓到参考图像坐标系；
(7)由步骤(4)得到的圆形标记形心的改进环境特征向量，与模板图像的圆形标记形心改进环境特征向量做相似比较，如果近似则表明引脚无缺少，反之引脚缺少；
(8)灰度化由步骤(6)得到变换后的图像，定位分割出印刷信息区域，计算字体像素和字体边缘像素个数占整个印刷信息区域像素个数的比，判断印刷信息是否缺陷；
(9)HSV颜色模型变换由步骤(6)得到仿射变换后的彩色图像，计算每一个引脚区域缺陷像素个数占整个引脚区域像素个数的比，由此判断该引脚是否脱焊和氧化；
(10)计算由步骤(6)得到的变换后的引脚轮廓最小外接矩形的长宽比和水平倾斜角度，由长宽比可判断引脚是否上翘和下翘，由水平倾斜角度可判断引脚是否歪斜。
优选地：所述步骤(4)包括以下步骤：
(4-1)计算圆形标记形心在引脚形心集合下的改进环境特征向量；
(4-2)计算每个引脚形心在圆心标记和其他引脚形心集合下的改进环境特征向量；
优选地：所述步骤(5)包括以下步骤：
(5-1)计算输入图像引脚形心的改进环境向量与模板图像引脚形心的改进环境向量之间的相似度；
(5-2)将最相似的改进环境向量的输入图像的引脚形心和参考图像相互匹配成对，同时直接匹配参考图像圆形标记形心与输入图像圆形标记形心；
优选地：用到的改进的环境特征向量计算包括以下步骤：
其中二维平面上点c在点集P＝{p1，p2...pN}改进的环境特征向量Context的计算步骤如下：
Step 1：计算点c到点集P形心的单位向量计算公式如下：
Step 2：计算点c到点集P上的所有点的向量与向量的夹角Angle＝{angle1，angle2...angleN}，夹角表示范围0～2π，计算公式如下：
Step 3：计算点c到点集P上的所有点的距离Dist＝{dist1，dist2...distN}，计算公式如下：
Step 4：初始化角度直方图AngleHist[l]＝0，l＝1，...，L和距离直方图DistHist[l]＝0，l＝1，...，L，遍历所有夹角集Angle和距离集Dist统计角度直方图和距离直方图，其中L表示统计的分辨率，统计方式如下：
Step 5：归一化角度直方图AngleHist和距离直方图DistHist得到角度环境特征向量AngleVector和距离环境特征向量DistVector，环境特征向量Context由角度环境特征向量AngleVector和距离环境特征向量DistVector组成，归一化公式如下：
更详细的的检测方法描述如下：
(1)搭建机器视觉产品缺陷检测硬件平台，检测芯片，获取3通道RGB图像I1；
(2)直方图均衡化由步骤(1)得到的图像I1，然后中值滤波处理该图像得到I2；
(3)灰度化图像I2得到图像I3，在图像I3中提取圆形标记轮廓MarkContour和引脚轮廓PinContourk，k＝1～K，计算圆形标记和引脚相应轮廓的形心MarkCentroid和PinCentroidk，k＝1～K，K为引脚个数；
进一步，步骤(3)包括以下详细步骤：
(3-1)将3通道RGB图像I2转换为灰度图像I3；
(3-2)全局阈值分割I3得到含有芯片引脚区域的图像I4，阈值thresh选取一般大于200，全局阈值分割公式如下：
其中，I3(i，j)表示灰度图像I3在坐标(i，j)的像素值，I4(i，j)表示全局阈值分割的图像I4在坐标(i，j)的像素值，thresh为经验选取的阈值；
(3-3)采用一种轮廓跟踪算法提取图像I4的引脚轮廓，设定阈值丢弃轮廓面积约小于正常引脚面积60％和大于引脚面积的140％的轮廓得到PinContourk，k＝1～K，并计算其形心PinCentroidk，k＝1～K，K为引脚个数，形心计算公式如下：
其中(xk，yk)代表第k个轮廓PinCentroidk的形心，Mk表示第k个轮廓含有总的像素个数，(xkm，ykm)表示轮廓上第m个像素的坐标；
(3-4)采用霍夫圆变换提取圆形标记轮廓MarkContour和圆形标记的形心也即圆心MarkCentroid；
(4)由步骤(3)得到的形心MarkCentroid和PinCentroidk，k＝1～K，计算圆形标记形心和引脚轮廓形心的改进环境特征向量MarkContext和PinContextk，k＝1～K；
进一步，步骤(4)包括以下详细步骤：
(4-1)计算圆形标记形心MarkCentroid在集合{PinCentroid1...PinCentroidK}下的改进环境特征向量MarkContext；
(4-2)计算每个引脚形心PinCentroidk，k＝1～K在集合{MarkCentroid，PinCentroid1...PinCentroidk-1，PinCentroidk+1...PinCentroidK}下的改进环境特征向量PinContextk，k＝1～K；
(5)由步骤(4)得到的形心的改进环境向量MarkContext和PinContextk，k＝1～K与模板图像形心的改进环境向量rMarkContext和rPinContextk，k＝1～K相似匹配，将最相似改进环境向量的引脚形心PinCentroidk，k＝1～K和模板图像的引脚形心rPinCentroidk，k＝1～K相互匹配成对，同时直接匹配输入图像圆形标记形心MarkCentroid和模板图像的圆形标记形心rMarkCentroid，其中模板图像圆形标记和引脚的形心与环境向量事先由步骤(1)到步骤(4)步计算好；
进一步的步骤(5)包括如下几个详细步骤：
(5-1)计算由步骤(4)得到的引脚形心的改进环境向量{PinContext1...PinContextK}与模板图像引脚形心的改进环境向量{rPinContext1...rPinContextK}之间的相似度Sim，相似度公式如下：
其中Sim(p，q)表示PinContextp和rPinContextq的相似度，Sim(p，q)越接近0表示相似度越高，AngleVectorp和DistVectorp是环境特征向量PinContextp的角度和距离分量，同理，AngleVectorq和DistVectorq是环境特征向量rPinContextq的角度和距离分量；
(5-2)将最相似的改进环境向量的输入图像的引脚形心PinCentroidk，k＝1～K和参考图像rPinCentroidk，k＝1～K相互匹配成对，同时直接匹配参考图像圆形标记形心MarkCentroid与输入图像圆形标记形心rMarkCentroid；
(6)通过由步骤(5)得到的匹配形心点用随机抽样一致RANSANC算法计算仿射变换矩阵T，然后仿射变换由步骤(2)获取的RGB图像I2和由步骤(3)提取的引脚轮廓PinContourk，k＝1～K到参考图像坐标系，得到图像I5和引脚轮廓tPinContourk，k＝1～K；
(7)由步骤(4)得到的圆形标记形心的改进环境特征向量MarkContext，与模板图像的改进环境特征向量rMarkContext做相似比较，如果近似则表明引脚无缺少，反之引脚缺少，其中采用公式(4)作相似度计算，判定阈值由经验选择；
(8)灰度化由步骤(6)得到变换后的图像I5，定位分割出印刷信息区域ROI，计算字体像素和字体边缘像素个数占整个印刷信息区域ROI像素个数的比，判断印刷信息是否缺陷；
进一步，步骤(8)包括以下详细步骤：
(8-1)灰度化由步骤(6)得到变换后的图像I5，定位分割出印刷信息区域ROI；
(8-2)最大类间方差法二值化印刷信息区域ROI，统计印刷字体像素个数，如果个数占印刷信息区域ROI总个数的比低于正常值的80％，则判定印刷不完整；
(8-3)边缘检测算法(Canny算法)提取印刷信息区域ROI，统计印刷字体边缘像素个数，如果个数占印刷信息区域ROI总个数的比低于正常值的80％，则判定印刷不清晰；
(9)HSV颜色模型变换由步骤(6)得到仿射变换后的RGB图像I5，计算每一个引脚区域缺陷像素个数占整个引脚区域像素个数的比，由此判断该引脚是否脱焊和氧化；
进一步，步骤(9)包括以下详细步骤：
(9-1)HSV颜色模型变换由步骤(6)得到变换后的RGB图像I5
(9-2)统计每个引脚区域像素色调H在40°～80°，且饱和度S大于0.15的个数，如果个数占该引脚总个数的40％以上则判定引脚脱焊；
(9-3)统计每个引脚区域像素色调H在70°～130°，且明度V小于0.97的个数，如果个数占该引脚总个数的40％以上则判定引脚氧化；
(10)计算由步骤(6)得到的变换后的引脚轮廓tPinContourk，k＝1～K最小外接矩形的长宽比AspectRatiok，k＝1～K和水平倾斜角度HorizontalAnglek，k＝1～K，由长宽比AspectRatiok，k＝1～K可判断引脚是否上翘和下翘，由水平倾斜角度HorizontalAnglek，k＝1～K可判断引脚是否歪斜。
进一步，步骤(10)包括以下详细步骤：
(10-1)计算由步骤(6)得到的变换后的引脚轮廓tPinContourk，k＝1～K的最小外接矩形；
(10-2)计算最小外接矩形的长宽比AspectRatiok，k＝1～K，如果长宽比大于或小于正常值的20％，则表明该引脚上翘或下翘；
(10-3)计算最小外接矩形的水平倾斜角度HorizontalAnglek，k＝1～K，如果角度大于或小于水平的20°，则表明该引脚歪斜；
其中二维平面上点c在点集P＝{p1，p2...pN}改进的环境特征向量Context的计算步骤如下：
Step 1：计算点c到点集P形心的单位向量计算公式如下：
Step 2：计算点c到点集P上的所有点的向量与向量的夹角Angle＝{angle1，angle2...angleN}，夹角表示范围0～2π，计算公式如下：
其中表示向量与坐标系的夹角，表示向量与极坐标的夹角，anglen表示向量与向量的夹角；
Step 3：计算点c到点集P上的所有点的欧式距离Dist＝{dist1，dist2...distN}，计算公式如下：
Step 4：初始化角度直方图AngleHist[l]＝0，l＝1，...，L和距离直方图DistHist[l]＝0，l＝1，...，L，遍历所有夹角集Angle和距离集Dist统计角度直方图和距离直方图，其中L表示统计的分辨率，统计方式如下：
Step 5：归一化角度直方图AngleHist和距离直方图DistHist得到角度环境特征向量AngleVector和距离环境特征向量DistVector，环境特征向量Context由角度环境特征向量AngleVector和距离环境特征向量DistVector组成，归一化公式如下：
附图说明
图1是本发明基于改进环境向量快速定位技术的SOP芯片表观缺陷检测方法的流程图；
图2是本发明SOP芯片缺陷检测***硬件结构示意图；
图3是8引脚SOP芯片模板图像圆形标记的改进环境向量；
图4到图11是8引脚SOP芯片模板图像各个引脚的改进环境向量；
图12是8引脚SOP芯片输入图像圆形标记改进环境向量；
图13到图20是8引脚SOP芯片输入图像各个引脚的改进环境向量；
图21是8引脚SOP芯片模板图像和输入图像的形心匹配结果；
具体实施方式
下面结合附图和实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。
图2是本发明SOP芯片缺陷检测***硬件结构示意图。检测前要在目标芯片上方安装工业彩色CCD相机和光源，计算机控制相机拍摄和传送带移动，当芯片移动到相机正下方时拍取芯片。检测时要求芯片周围无物体干扰，传送带背景为黑色，同时光照充分，圆形标记照射清楚，引脚亮度相对较高，相机分辨率足够清晰。
图3表示8引脚SOP芯片模板图像的圆形标记的改进环境向量，图4到图11表示模板图像8个引脚形心改进环境特征向量。同样，图12表示输入图像的圆形标记改进环境向量，图13到图20表示输入图像8个引脚形心改进环境特征向量。以上都由步骤(4)完成，每一个曲线图代表对应圆形标记和引脚形心的改进环境特征向量，这里改进环境特征向量的统计分辨率L为9，实线distance表示距离特征向量DistVector，虚线angle表示角度特征向量AngleHist。可以直观得出模板图像和输入图像对应引脚的改进环境特征向量是基本相似的，表明该算法提取的特征具有尺度、旋转、平移的不变性，同时还有一定的稳定性。
图21是8引脚SOP芯片模板图像和输入图像的形心匹配结果。模板图像和输入图像都经过步骤(1)到步骤(5)。在步骤(3)当中，程序需要对轮廓跟踪算法提取的引脚轮廓筛选，筛选方法靠轮廓面积，面积近似引脚面积保留，其它的剔除；同时霍夫圆提取圆形标记易受参数影响，需要根据圆形半径大小筛选，还要定位局部区域搜索圆形标记，这样减少计算量同时减少噪声，增加检测的稳定性。在步骤(4)当中，对应引脚的改进环境特征向量具有很高的相似性(相似性由公式(4)计算)，可以看到模板图像和输入图像对应形心一一匹配。
如图1到图21所示，基于改进环境向量快速定位技术的检测8引脚的SOP芯片具体实例包括如下具体步骤：
(1)搭建如图2的硬件检测***，当传送带有芯片运输过来时，计算机向摄像机发送拍摄指令，获取足够清晰的芯片RGB三通道的输入图像I1。
(2)直方图均衡化由步骤(1)得到的图像I1，然后中值滤波处理该图像得到I2；
(3)灰度化图像I2得到图像I3，由于检测的芯片是8引脚芯片，故芯片引脚个数K为8，在图像I3中提取圆形标记轮廓MarkContour和引脚轮廓PinContourk，k＝1～8，计算圆形标记和引脚相应轮廓的形心MarkCentroid和PinCentroidk，k＝1～8；
进一步，步骤(3)包括以下详细步骤：
(3-1)将3通道RGB图像I2转换为灰度图像I3；
(3-2)用公式(1)全局阈值分割I3得到含有芯片引脚区域的图像I4，阈值thresh选取为220；
其中，I3(i，j)表示灰度图像I3在坐标(i，j)的像素值，I4(i，j)表示全局阈值分割的图像I4在坐标(i，j)的像素值，thresh为经验选取的阈值；
(3-3)采用轮廓跟踪方法提取图像I4的引脚轮廓，丢弃引脚轮廓面积小于正常引脚面积60％和大于引脚轮廓面积的140％的轮廓得到引脚轮廓PinContourk，k＝1～8，并由公式(2)和公式(3)计算其形心PinCentroidk，k＝1～8；
其中(xk，yk)代表第k个轮廓PinCentroidk的形心，Mk表示第k个轮廓含有总的像素个数，(xkm，ykm)表示轮廓上第m个像素的坐标；
(3-4)采用霍夫圆变换提取圆形标记轮廓MarkContour和圆形标记的形心也即圆心MarkCentroid；
(4)由步骤(3)得到的形心MarkCentroid和PinCentroidk，k＝1～8，计算圆形标记形心和引脚轮廓形心的改进环境特征向量MarkContext和PinContextk，k＝1～8，8引脚SOP芯片检测实例模板和输入图像的改进环境特征向量计算结果如图3到图11和图12到图20所示；
进一步，步骤(4)包括以下详细步骤：
(4-1)计算圆形标记形心MarkCentroid在集合{PinCentroid1...PinCentroid8}下的改进环境特征向量MarkContext；
(4-2)计算每个引脚形心PinCentroidk，k＝1～8在集合{MarkCentroid，PinCentroid1...PinCentroidk-1，PinCentroidk+1...PinCentroid8}的改进环境特征向量PinContextk，k＝1～8；
(5)由步骤(4)得到的形心的改进环境向量MarkContext和PinContextk，k＝1～8与模板图像形心的改进环境向量rMarkContext和rPinContextk，k＝1～8相似匹配，将最相似改进环境向量的引脚形心PinCentroidk，k＝1～8和模板图像的引脚形心rPinCentroidk，k＝1～8相互匹配成对，同时匹配输入图像圆形标记形心MarkCentroid和模板图像的圆形标记形心rMarkCentroid，8引脚SOP芯片检测实例匹配结果如图21所示；
进一步的步骤(5)包括如下几个详细步骤：
(5-1)用公式(4)计算由步骤(4)得到的引脚形心的改进环境向量{PinContext1...PinContext8}与模板图像引脚形心的改进环境向量{rPinContext1...rPinContext8}之间的相似度Sim；
其中Sim(p，q)表示PinContextp和rPinContextq的相似度，Sim(p，q)越接近0表示相似度越高，AngleVectorp和DistVectorp是环境特征向量PinContextp的角度和距离分量，同理，AngleVectorq和DistVectorq是环境特征向量rPinContextq的角度和距离分量；
(5-2)将最相似的改进环境向量的输入图像的引脚形心PinCentroidk，k＝1～8和参考图像rPinCentroidk，k＝1～8相互匹配成对，同时直接匹配参考图像圆形标记形心rMarkCentroid与输入图像圆形标记形心MarkCentroid；
(6)通过由步骤(5)得到的匹配形心点用随机抽样一致RANSANC方法计算仿射变换矩阵T，然后仿射变换由步骤(2)获取的RGB图像I2和由步骤(3)提取的引脚轮廓PinContourk，k＝1～8到参考图像坐标系，得到I5和tPinContourk，k＝1～8；
(7)由步骤(4)得到的圆形标记形心的改进环境特征向量MarkContext，与模板图像的改进环境特征向量rMarkContext做相似比较，如果近似则表明引脚无缺少，反之引脚缺少，其中采用公式(4)相似度计算公式，判定阈值由经验选择；
(8)灰度化由(6)得到变换后的图像I5，定位分割出印刷信息区域ROI，计算字体像素和字体边缘像素个数占整个印刷信息区域ROI像素个数的比，判断印刷信息是否缺陷；
进一步，步骤(8)包括以下详细步骤：
(8-1)灰度化由(6)得到变换后的图像I5，定位分割出印刷信息区域ROI；
(8-2)最大类间方差法二值化印刷信息区域ROI，统计印刷字体像素个数，如果个数占印刷信息区域ROI总个数的比低于正常值的80％，则判定印刷不完整；
(8-3)边缘检测方法(Canny方法)提取印刷信息区域ROI，统计印刷字体边缘像素个数，如果个数占印刷信息区域ROI总个数的比低于正常值的80％，则判定印刷不清晰；
(9)HSV颜色模型变换由(6)得到仿射变换后的RGB图像I5，计算每一个引脚区域缺陷像素个数占整个引脚区域像素个数的比，由此判断该引脚是否脱焊和氧化；
进一步，步骤(9)包括以下详细步骤：
(9-1)HSV颜色模型变换由(6)得到变换后的RGB图像I5
(9-2)统计每个引脚区域像素色调H在40°～80°，且饱和度S大于0.15的个数，如果个数占该引脚总个数的40％以上则判定引脚脱焊；
(9-3)统计每个引脚区域像素色调H在70°～130°，且明度V小于0.97的个数，如果个数占该引脚总个数的40％以上则判定引脚氧化；
(10)计算由(6)得到的变换后的引脚轮廓tPinContourk，k＝1～8最小外接矩形的长宽比AspectRatiok，k＝1～8和水平倾斜角度HorizontalAnglek，k＝1～8，由长宽比AspectRatiok，k＝1～8可判断引脚是否上翘和下翘，由水平倾斜角度HorizontalAnglek，k＝1～8可判断引脚是否歪斜。
进一步，步骤(10)包括以下详细步骤：
(10-1)计算由(6)得到的变换后的引脚轮廓tPinContourk，k＝1～8的最小外接矩形；
(10-2)计算最小外接矩形的长宽比AspectRatiok，k＝1～8，如果长宽比大于或小于正常值的20％，则表明该引脚上翘或下翘；
(10-3)计算最小外接矩形的水平倾斜角度HorizontalAnglek，k＝1～8，如果角度大于或小于水平的20°，则表明该引脚歪斜；
其中二维平面上点c在点集P＝{p1，p2...pN}改进的环境特征向量Context的计算步骤如下：
Step 1：计算点c到点集P形心的单位向量计算公式如下：
Step 2：计算点c到点集P上的所有点的向量与向量的夹角Angle＝{angle1，angle2...angleN}，夹角表示范围0～2π，计算公式如下：
其中表示向量与坐标系的夹角，表示向量与极坐标的夹角，anglen表示向量与向量的夹角；
Step 3：计算点c到点集P上的所有点的欧式距离Dist＝{dist1，dist2...distN}，计算公式如下：
Step 4：初始化角度直方图AngleHist[l]＝0，l＝1，...，L和距离直方图DistHist[l]＝0，l＝1，...，L，遍历所有夹角集Angle和距离集Dist统计角度直方图和距离直方图，其中L表示统计的分辨率，统计方式如下：
Step 5：归一化角度直方图AngleHist和距离直方图DistHist得到角度环境特征向量AngleVector和距离环境特征向量DistVector，环境特征向量Context由角度环境特征向量AngleVector和距离环境特征向量DistVector组成，归一化公式如下：
按照上述实施例，便可很好地实现本发明。值得说明的是，基于上述结构设计的前提下，为解决同样的技术问题，即使在本发明上做出的一些无实质性的改动或润色，所采用的技术方案的实质仍然与本发明一样，故其也应当在本发明的保护范围内。
Claims (4)
1.一种芯片表观缺陷检测方法，其特征在于：包括如下步骤：
(1)搭建机器视觉产品缺陷检测硬件平台，检测芯片，获取彩色图像；
(2)直方图均衡化由步骤(1)得到的图像，然后中值滤波处理该图像；
(3)灰度化由步骤(2)得到的图像，在图像中提取圆形标记轮廓和引脚轮廓，计算引脚和圆形标记相应轮廓的形心；
(4)由步骤(3)得到的形心，计算圆形标记形心和引脚轮廓形心的改进环境特征向量；
(5)由步骤(4)得到的形心的改进环境向量与模板图像形心的改进环境向量相似匹配，其中模板图像圆形标记和引脚环境向量事先由步骤(1)到步骤(4)计算好；
(6)通过由步骤(5)得到的匹配形心点计算仿射变换矩阵，然后仿射变换由步骤(2)获取的彩色图像和由步骤(3)提取的引脚轮廓到参考图像坐标系；
(7)由步骤(4)得到的圆形标记形心的改进环境特征向量，与模板图像的圆形标记形心改进环境特征向量做相似比较，如果近似则表明引脚无缺少，反之引脚缺少；
(8)灰度化由步骤(6)得到变换后的图像，定位分割出印刷信息区域，计算字体像素和字体边缘像素个数占整个印刷信息区域像素个数的比，判断印刷信息是否缺陷；
(9)HSV颜色模型变换由步骤(6)得到仿射变换后的彩色图像，计算每一个引脚区域缺陷像素个数占整个引脚区域像素个数的比，由此判断该引脚是否脱焊和氧化；
(10)计算由步骤(6)得到的变换后的引脚轮廓最小外接矩形的长宽比和水平倾斜角度，由长宽比可判断引脚是否上翘和下翘，由水平倾斜角度可判断引脚是否歪斜。
2.根据权利要求1所述的一种芯片表观缺陷检测方法，其特征在于：所述步骤(4)包括以下步骤：
(4-1)计算圆形标记形心在引脚形心集合下的改进环境特征向量；
(4-2)计算每个引脚形心在圆心标记和其他引脚形心集合下的改进环境特征向量。
3.根据权利要求1所述一种芯片表观缺陷检测方法，其特征在于：所述步骤(5)包括以下步骤：
(5-1)计算输入图像引脚形心的改进环境向量与模板图像引脚形心的改进环境向量之间的相似度；
(5-2)将最相似的改进环境向量的输入图像的引脚形心和参考图像相互匹配成对，同时直接匹配参考图像圆形标记形心与输入图像圆形标记形心。
4.根据权利要求1所述一种芯片表观缺陷检测方法，其特征在于：步骤(4)和步骤(7)所述的改进的环境特征向量计算包括以下步骤：
其中二维平面上点c在点集P＝{p1，p2...pN}改进的环境特征向量Context的计算步骤如下：
步骤S001：计算点c到点集P形心的单位向量计算公式如下：
步骤S002：计算点c到点集P上的所有点的向量与向量的夹角Angle＝{angle1，angle2...angleN}，夹角表示范围0～2π，计算公式如下：
其中表示向量与坐标系的夹角，表示向量与极坐标的夹角，anglen表示向量与向量的夹角；
步骤S003：计算点c到点集P上的所有点的欧式距离Dist＝{dist1，dist2...distN}，计算公式如下：
步骤S004：初始化角度直方图AngleHist[l]＝0，l＝1，...，L和距离直方图DistHist[l]＝0，l＝1，...，L，遍历所有夹角集Angle和距离集Dist统计角度直方图和距离直方图，其中L表示统计的分辨率，统计方式如下：
步骤S005：归一化角度直方图AngleHist和距离直方图DistHist得到角度环境特征向量AngleVector和距离环境特征向量DistVector，环境特征向量Context由角度环境特征向量AngleVector和距离环境特征向量DistVector组成，归一化公式如下：
。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910061382.1A CN109785316B (zh) | 2019-01-22 | 2019-01-22 | 一种芯片表观缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910061382.1A CN109785316B (zh) | 2019-01-22 | 2019-01-22 | 一种芯片表观缺陷检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109785316A true CN109785316A (zh) | 2019-05-21 |
| CN109785316B CN109785316B (zh) | 2022-12-02 |
Family
ID=66501894
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910061382.1A Active CN109785316B (zh) | 2019-01-22 | 2019-01-22 | 一种芯片表观缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109785316B (zh) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110334760A (zh) * | 2019-07-01 | 2019-10-15 | 成都数之联科技有限公司 | 一种基于resUnet的光学元器件损伤检测方法及*** |
| CN110930390A (zh) * | 2019-11-22 | 2020-03-27 | 郑州智利信信息技术有限公司 | 基于半监督深度学习的芯片管脚缺失检测方法 |
| CN110992326A (zh) * | 2019-11-27 | 2020-04-10 | 江苏理工学院 | 一种qfn芯片引脚图像快速倾斜校正方法 |
| CN111260621A (zh) * | 2020-01-14 | 2020-06-09 | 湖南大学 | 一种印制电路板表面缺陷定位与识别方法 |
| CN111307753A (zh) * | 2020-02-25 | 2020-06-19 | 杨晨露 | 一种基于太赫兹技术的纤维材料检测***及方法 |
| CN111693546A (zh) * | 2020-06-16 | 2020-09-22 | 湖南大学 | 缺陷检测***、方法及图像采集*** |
| CN112001917A (zh) * | 2020-09-04 | 2020-11-27 | 南京大学金陵学院 | 一种基于机器视觉的圆形有孔零件形位公差检测方法 |
| CN112348840A (zh) * | 2020-10-19 | 2021-02-09 | 江苏师范大学 | 基于像素区域生长的qfp芯片引脚缺陷判别方法 |
| CN112345556A (zh) * | 2020-11-23 | 2021-02-09 | 兰州大学 | 一种集成电路的故障诊断***及方法 |
| CN112419224A (zh) * | 2020-07-17 | 2021-02-26 | 宁波智能装备研究院有限公司 | 一种球形引脚芯片定位方法及*** |
| CN113289911A (zh) * | 2021-06-04 | 2021-08-24 | 宁波舜宇仪器有限公司 | 用于多面体物料的缺陷检测方法及*** |
| CN114061480A (zh) * | 2020-08-03 | 2022-02-18 | 上海飞机制造有限公司 | 一种用于检测工件外形的方法 |
| CN114882027A (zh) * | 2022-07-08 | 2022-08-09 | 南通浩盛汽车科技有限公司 | 电子设备芯片引脚缺陷检测方法及*** |
| CN115266743A (zh) * | 2022-05-17 | 2022-11-01 | 江苏汤谷智能科技有限公司 | 一种无损检测下的芯片质量的评估***及方法 |
| CN115308222A (zh) * | 2022-07-11 | 2022-11-08 | 江苏汤谷智能科技有限公司 | 一种基于机器视觉的芯片外观不良识别***及方法 |
| CN115423814A (zh) * | 2022-11-07 | 2022-12-02 | 江西兆驰半导体有限公司 | 芯片原点定位方法、装置、可读存储介质及电子设备 |
| CN115439452A (zh) * | 2022-09-13 | 2022-12-06 | 杭州凯智莆电子有限公司 | 一种基于数据分析的电容产品检测评估*** |
| CN116051564A (zh) * | 2023-04-02 | 2023-05-02 | 广东仁懋电子有限公司 | 芯片封装缺陷检测方法和*** |
| CN116698753A (zh) * | 2023-07-25 | 2023-09-05 | 广州纳动半导体设备有限公司 | 一种基于机器视觉的mini-LED面板缺陷检测设备及方法 |
| CN117161624A (zh) * | 2023-10-18 | 2023-12-05 | 中设智能装备（苏州）有限公司 | 一种智能焊接检测装置与控制*** |
| CN117686516A (zh) * | 2024-01-29 | 2024-03-12 | 江苏优众微纳半导体科技有限公司 | 基于机器视觉的芯片外观缺陷自动检测*** |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103226106A (zh) * | 2013-03-15 | 2013-07-31 | 江南大学 | 基于机器视觉的轴承防尘盖品质监测*** |
| WO2018086299A1 (zh) * | 2016-11-11 | 2018-05-17 | 广东电网有限责任公司清远供电局 | 基于图像处理的绝缘子缺陷检测方法及*** |
| CN108982508A (zh) * | 2018-05-23 | 2018-12-11 | 江苏农林职业技术学院 | 一种基于特征模板匹配和深度学习的塑封体ic芯片缺陷检测方法 |
-
2019
- 2019-01-22 CN CN201910061382.1A patent/CN109785316B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103226106A (zh) * | 2013-03-15 | 2013-07-31 | 江南大学 | 基于机器视觉的轴承防尘盖品质监测*** |
| WO2018086299A1 (zh) * | 2016-11-11 | 2018-05-17 | 广东电网有限责任公司清远供电局 | 基于图像处理的绝缘子缺陷检测方法及*** |
| CN108982508A (zh) * | 2018-05-23 | 2018-12-11 | 江苏农林职业技术学院 | 一种基于特征模板匹配和深度学习的塑封体ic芯片缺陷检测方法 |
Cited By (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110334760A (zh) * | 2019-07-01 | 2019-10-15 | 成都数之联科技有限公司 | 一种基于resUnet的光学元器件损伤检测方法及*** |
| CN110930390A (zh) * | 2019-11-22 | 2020-03-27 | 郑州智利信信息技术有限公司 | 基于半监督深度学习的芯片管脚缺失检测方法 |
| CN110930390B (zh) * | 2019-11-22 | 2020-09-22 | 深圳市海芯微迅半导体有限公司 | 基于半监督深度学习的芯片管脚缺失检测方法 |
| CN110992326A (zh) * | 2019-11-27 | 2020-04-10 | 江苏理工学院 | 一种qfn芯片引脚图像快速倾斜校正方法 |
| CN110992326B (zh) * | 2019-11-27 | 2022-08-09 | 江苏理工学院 | 一种qfn芯片引脚图像快速倾斜校正方法 |
| CN111260621A (zh) * | 2020-01-14 | 2020-06-09 | 湖南大学 | 一种印制电路板表面缺陷定位与识别方法 |
| CN113447455B (zh) * | 2020-02-25 | 2022-08-12 | 苏州鱼得水电气科技有限公司 | 一种基于太赫兹技术的纤维材料检测*** |
| CN111307753A (zh) * | 2020-02-25 | 2020-06-19 | 杨晨露 | 一种基于太赫兹技术的纤维材料检测***及方法 |
| CN113447455A (zh) * | 2020-02-25 | 2021-09-28 | 杨晨露 | 一种基于太赫兹技术的纤维材料检测*** |
| CN111693546A (zh) * | 2020-06-16 | 2020-09-22 | 湖南大学 | 缺陷检测***、方法及图像采集*** |
| CN112419224A (zh) * | 2020-07-17 | 2021-02-26 | 宁波智能装备研究院有限公司 | 一种球形引脚芯片定位方法及*** |
| CN112419224B (zh) * | 2020-07-17 | 2021-08-27 | 宁波智能装备研究院有限公司 | 一种球形引脚芯片定位方法及*** |
| CN114061480B (zh) * | 2020-08-03 | 2024-04-05 | 上海飞机制造有限公司 | 一种用于检测工件外形的方法 |
| CN114061480A (zh) * | 2020-08-03 | 2022-02-18 | 上海飞机制造有限公司 | 一种用于检测工件外形的方法 |
| CN112001917A (zh) * | 2020-09-04 | 2020-11-27 | 南京大学金陵学院 | 一种基于机器视觉的圆形有孔零件形位公差检测方法 |
| CN112348840A (zh) * | 2020-10-19 | 2021-02-09 | 江苏师范大学 | 基于像素区域生长的qfp芯片引脚缺陷判别方法 |
| CN112345556B (zh) * | 2020-11-23 | 2023-07-21 | 兰州大学 | 一种集成电路的故障诊断***及方法 |
| CN112345556A (zh) * | 2020-11-23 | 2021-02-09 | 兰州大学 | 一种集成电路的故障诊断***及方法 |
| CN113289911A (zh) * | 2021-06-04 | 2021-08-24 | 宁波舜宇仪器有限公司 | 用于多面体物料的缺陷检测方法及*** |
| CN115266743A (zh) * | 2022-05-17 | 2022-11-01 | 江苏汤谷智能科技有限公司 | 一种无损检测下的芯片质量的评估***及方法 |
| CN115266743B (zh) * | 2022-05-17 | 2024-02-02 | 江苏汤谷智能科技有限公司 | 一种无损检测下的芯片质量的评估***及方法 |
| CN114882027B (zh) * | 2022-07-08 | 2022-09-06 | 南通浩盛汽车科技有限公司 | 电子设备芯片引脚缺陷检测方法及*** |
| CN114882027A (zh) * | 2022-07-08 | 2022-08-09 | 南通浩盛汽车科技有限公司 | 电子设备芯片引脚缺陷检测方法及*** |
| CN115308222A (zh) * | 2022-07-11 | 2022-11-08 | 江苏汤谷智能科技有限公司 | 一种基于机器视觉的芯片外观不良识别***及方法 |
| CN115308222B (zh) * | 2022-07-11 | 2024-02-09 | 江苏汤谷智能科技有限公司 | 一种基于机器视觉的芯片外观不良识别***及方法 |
| CN115439452A (zh) * | 2022-09-13 | 2022-12-06 | 杭州凯智莆电子有限公司 | 一种基于数据分析的电容产品检测评估*** |
| CN115423814A (zh) * | 2022-11-07 | 2022-12-02 | 江西兆驰半导体有限公司 | 芯片原点定位方法、装置、可读存储介质及电子设备 |
| CN116051564A (zh) * | 2023-04-02 | 2023-05-02 | 广东仁懋电子有限公司 | 芯片封装缺陷检测方法和*** |
| CN116698753A (zh) * | 2023-07-25 | 2023-09-05 | 广州纳动半导体设备有限公司 | 一种基于机器视觉的mini-LED面板缺陷检测设备及方法 |
| CN116698753B (zh) * | 2023-07-25 | 2024-03-26 | 广州纳动半导体设备有限公司 | 一种基于机器视觉的mini-LED面板缺陷检测设备及方法 |
| CN117161624A (zh) * | 2023-10-18 | 2023-12-05 | 中设智能装备（苏州）有限公司 | 一种智能焊接检测装置与控制*** |
| CN117161624B (zh) * | 2023-10-18 | 2024-04-26 | 中设智能装备（苏州）有限公司 | 一种智能焊接检测装置与控制*** |
| CN117686516A (zh) * | 2024-01-29 | 2024-03-12 | 江苏优众微纳半导体科技有限公司 | 基于机器视觉的芯片外观缺陷自动检测*** |
| CN117686516B (zh) * | 2024-01-29 | 2024-05-10 | 江苏优众微纳半导体科技有限公司 | 基于机器视觉的芯片外观缺陷自动检测*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109785316B (zh) | 2022-12-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109785316A (zh) | 一种芯片表观缺陷检测方法 | |
| CN106407917B (zh) | 基于动态尺度分配的视网膜血管提取方法及*** | |
| CN108009531B (zh) | 一种多策略防欺诈的人脸识别方法 | |
| CN106570511B (zh) | 基于计算机视觉的键盘字符缺陷在线检测***和方法 | |
| CN103971126B (zh) | 一种交通标志识别方法和装置 | |
| CN108491788A (zh) | 一种用于财务报表单元格的智能提取方法及装置 | |
| CN105046252B (zh) | 一种人民币冠字码识别方法 | |
| CN108319973A (zh) | 一种树上柑橘果实检测方法 | |
| CN103035013A (zh) | 一种基于多特征融合的精确运动阴影检测方法 | |
| CN105894655B (zh) | 基于rgb-d相机的复杂环境下纸币检测和识别方法 | |
| CN111915704A (zh) | 一种基于深度学习的苹果分级识别方法 | |
| CN110298860B (zh) | 一种基于机器视觉的高杆绣球检测计数*** | |
| CN109271937A (zh) | 基于图像处理的运动场地标志物识别方法及*** | |
| CN106446894A (zh) | 一种基于轮廓识别球型目标物位置的方法 | |
| CN105205437B (zh) | 基于头部轮廓验证的侧脸检测方法及装置 | |
| CN111695373B (zh) | 斑马线的定位方法、***、介质及设备 | |
| CN108985337A (zh) | 一种基于图像深度学习的产品表面划痕检测方法 | |
| CN106932408B (zh) | 一种基于图像处理的方格蔟污染蚕茧检测方法 | |
| CN108346157A (zh) | 一种基于牛顿定理的物体拍摄图像中椭圆检测方法 | |
| CN103149214A (zh) | 水果表面缺陷检测方法 | |
| CN111161295B (zh) | 一种菜品图像背景剥离方法 | |
| CN105069816B (zh) | 一种进出口人流量统计的方法及*** | |
| CN104517101A (zh) | 一种基于像素平方差匹配的游戏扑克牌识别方法 | |
| CN110599463A (zh) | 一种基于轻量级联神经网络的舌像检测及定位算法 | |
| CN113222938A (zh) | 芯片缺陷检测方法及***与计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |