CN111754461B - 半导体芯片图像字符区域的定位方法、装置 - Google Patents
半导体芯片图像字符区域的定位方法、装置 Download PDFInfo
- Publication number
- CN111754461B CN111754461B CN202010464919.1A CN202010464919A CN111754461B CN 111754461 B CN111754461 B CN 111754461B CN 202010464919 A CN202010464919 A CN 202010464919A CN 111754461 B CN111754461 B CN 111754461B
- Authority
- CN
- China
- Prior art keywords
- corner
- image
- semiconductor chip
- point
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000004065 semiconductor Substances 0.000 title claims abstract description 148
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000001514 detection method Methods 0.000 claims abstract description 63
- 238000001914 filtration Methods 0.000 claims abstract description 43
- 238000012937 correction Methods 0.000 claims abstract description 20
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000009466 transformation Effects 0.000 claims abstract description 9
- 230000002093 peripheral effect Effects 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims description 11
- 238000003708 edge detection Methods 0.000 claims description 7
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 238000007639 printing Methods 0.000 abstract description 14
- 230000000877 morphologic effect Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000004020 conductor Substances 0.000 description 2
- 238000007648 laser printing Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
- G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Character Input (AREA)
Abstract
本发明提供一种半导体芯片图像字符区域的定位方法、装置。其中,定位方法包括:采集半导体芯片图像并进行预处理;通过Hough变换对半导体芯片图像进行旋转校正并去除白边;对校正后的半导体芯片图像进行Harris角点检测;提出角点过滤方法,以剔除角点检测图像中非字符区域的角点;改进凸包检测算法,获取最***角点的凸包线并绘制轮廓;拟合凸包线轮廓的最小外接矩形,以定位半导体芯片图像的字符区域。本发明提出角点过滤方法以及改进凸包检测算法,可以更为精确地定位半导体芯片图像字符区域,避免出现字符打印倾斜、字符打印位置错误等现象。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及一种半导体芯片图像字符区域的定位方法和一种半导体芯片图像字符区域的定位装置。
背景技术
半导体芯片是指在半导体片材上进行浸蚀、布线,从而制成实现某种功能的半导体器件。
在生产过程中,半导体芯片一般通过激光打印芯片表面字符,而芯片尺寸较小,通常利用工控机对芯片表面字符进行检测,检测发现芯片字符在激光打印时可能出现字符打印倾斜、字符打印位置错误等缺陷,从而影响到芯片封装质量和视觉检测。
因此利用一种有效的技术快速、准确地对半导体芯片图像进行字符区域定位,是本领域技术人员急需解决的技术问题。
发明内容
本发明为解决上述技术问题,提供了一种半导体芯片图像字符区域的定位方法,该方法采用角点过滤方法以及改进凸包检测算法,可以更为精确地定位半导体芯片图像字符区域,避免出现字符打印倾斜、字符打印位置错误等现象。
本发明还提出一种半导体芯片图像字符区域的定位装置。
本发明采用的技术方案如下:
本发明第一方面的实施例提出了一种半导体芯片图像字符区域的定位方法,包括以下步骤:采集所述半导体芯片图像并进行预处理;通过Hough变换对所述半导体芯片图像进行旋转校正并去除白边;对校正后的所述半导体芯片图像进行Harris角点检测;提出角点过滤方法,以剔除角点检测图像中非字符区域的角点;改进凸包检测算法,获取最***角点的凸包线并绘制轮廓;拟合凸包线轮廓的最小外接矩形,以定位所述半导体芯片图像的字符区域。
另外,本发明上述提出的半导体芯片图像字符区域的定位方法还包括如下附加技术特征:
根据本发明的一个实施例,采集所述半导体芯片图像并进行预处理,包括:图像灰度化、图像滤波、图像边缘检测。
根据本发明的一个实施例,通过Hough变换对所述半导体芯片图像进行旋转校正,包括:获取所述半导体芯片的尺寸l和半导体芯片最小外接矩形尺寸Lmax;根据所述半导体芯片的尺寸l和半导体芯片最小外接矩形尺寸Lmax,获取所述半导体芯片在水平方向的偏移距离x;根据所述半导体芯片在水平方向的偏移距离x获取所述半导体芯片图像的倾斜角度α;根据所述倾斜角度α对所述半导体芯片图像进行旋转校正。
根据本发明的一个实施例,提出角点过滤方法,以剔除角点检测图像中非字符区域的角点,包括:获取所述角点检测图像中每一行角点数目:分别判断所述每一行角点数目是否大于或等于预设阈值;如果所述角点数目大于或等于所述预设阈值,则保留该行角点;如果所述角点数目小于所述预设阈值,则剔除该行角点。
根据本发明的一个实施例,提出角点过滤方法,以剔除角点检测图像中非字符区域的角点,还包括:根据所述半导体芯片图像尺寸,定义三个预设模板,并设置每个所述预设模板的最少存在的角点数;进行模板运算,以获取每个角点落在所述预设模板里的总角点数;若所述总角点数小于每一个所述预设模板的最少存在的角点数,则剔除该角点;若所述总角点数大于任意一个所述预设模板的最少存在的角点数,则保留角点。
根据本发明的一个实施例,所述三个预设模板的尺寸分别为:10×50px、30×50px、50×50px,且每个所述预设模板的最少存在的角点数分别为4、7、12。
根据本发明的一个实施例,改进凸包检测算法,获取最***角点的凸包线并绘制轮廓,包括:提取所述角点检测图像中字符区域的角点点集,并按x、y坐标进行排序;将处于坐标极值的点从x坐标最小的点开始顺时针读入最小凸包点集,以获取所述角点的点集排序表;提取所述点集排序表中处于x坐标极值的点与y坐标极值的点,以获取初始凸包表P={P1,P2,P3,P4};将所述点集排序表剩余的坐标极值点依次调入判断;若当前坐标极值点处于当前凸包内,则调入下一坐标极值点进行判断;若当前坐标极值点处于当前凸包外,则保留该点,并将所述该点***离所述当前凸包最近边的两端点之间;在所述点集排序表中所有的所述坐标极值点全部判断结束后,根据所述初始凸包表P将满足条件的所述坐标极值点逐点连接成所述凸包线。
根据本发明的一个实施例,根据以下公式判断所述当前坐标极值点是否处于当前凸包内:M(P1,P2,K)=(x2-x0)(y1-y0)-(y2-y0)(x1-x0)<0;其中,P1、P2为凸包一条边的两个端点,K为坐标极值点,(x0,y0)、(x1,y1)、(x2,y2)分别为P1、P2、K的坐标。
本发明第二方面的实施例提出了一种半导体芯片图像字符区域的定位装置,包括:采集模块,所述采集模块用于采集所述半导体芯片图像并进行预处理;图像处理模块,所述图像处理模块用于通过Hough变换对所述半导体芯片图像进行旋转校正并去除白边;检测模块,所述检测模块用于对校正后的所述半导体芯片图像进行Harris角点检测;过滤模块,所述过滤模块用于将角点检测图像中非字符区域的角点进行剔除;轮廓绘制模块,所述轮廓绘制模块用于获取最***角点的凸包线并绘制轮廓;定位模块,所述定位模块用于拟合凸包线轮廓的最小外接矩形,以定位所述半导体芯片图像的字符区域。
另外,本发明上述提出的半导体芯片图像字符区域的定位装置还包括如下附加技术特征:
根据本发明的一个实施例,所述过滤模块具体用于:获取所述角点检测图像中每一行角点数目:分别判断所述每一行角点数目是否大于或等于预设阈值;如果所述角点数目大于或等于所述预设阈值,则保留该行角点;如果所述角点数目小于所述预设阈值,则剔除该行角点。
根据本发明的一个实施例,所述过滤模块还用于:根据所述半导体芯片图像尺寸,定义三个预设模板,并设置每个所述预设模板的最少存在的角点数;进行模板运算,以获取每个角点落在所述预设模板里的总角点数;若所述总角点数小于每一个所述预设模板的最少存在的角点数,则剔除该角点;若所述总角点数大于任意一个所述预设模板的最少存在的角点数,则保留角点。
根据本发明的一个实施例,所述轮廓绘制模块具体用于:提取所述角点检测图像中字符区域的角点点集,并按x、y坐标进行排序;将处于坐标极值的点从x坐标最小的点开始顺时针读入最小凸包点集,以获取所述角点的点集排序表;提取所述点集排序表中处于x坐标极值的点与y坐标极值的点,以获取初始凸包表P={P1,P2,P3,P4};将所述点集排序表剩余的坐标极值点依次调入判断;若当前坐标极值点处于当前凸包内,则调入下一坐标极值点进行判断;若当前坐标极值点处于当前凸包外,则保留该点,并将所述该点***离所述当前凸包最近边的两端点之间;在所述点集排序表中所有的所述坐标极值点全部判断结束后,根据所述初始凸包表P将满足条件的所述坐标极值点逐点连接成所述凸包线。
本发明的有益效果:采用角点过滤方法以及改进凸包检测算法,可以更为精确地定位半导体芯片图像字符区域,避免出现字符打印倾斜、字符打印位置错误等现象。
附图说明
图1是根据本发明一个实施例的半导体芯片图像字符区域的定位方法的流程图;
图2a是根据本发明一个实施例的半导体芯片原始图像;
图2b是根据本发明一个实施例的半导体芯片图像进行灰度化处理后的图像;
图2c是根据本发明一个实施例的半导体芯片图像进行滤波处理后的图像;
图2d是根据本发明一个实施例的半导体芯片图像进行边缘检测后的图像;
图3是根据本发明一个实施例的半导体芯片图像Hough变换校正图像的参数示意图;
图4是根据本发明一个实施例的半导体芯片图像进行旋转校正并去除白边后的图像示意图;
图5是根据本发明一个实施例的半导体芯片图像通过Harris角点检测后的角点分布图像;
图6是根据本发明另一个实施例的半导体芯片图像字符区域的定位方法的流程图
图7是根据本发明一个实施例的半导体芯片图像的角点过滤图像;
图8是根据本发明一个实施例的初始凸包示意图;
图9是根据本发明一个实施例的坐标极值点调入判断示意图;
图10是根据本发明一个实施例的坐标极值点生成凸包线示意图;
图11是根据本发明一个实施例的凸包线轮廓示意图;
图12是根据本发明一个实施例的凸包线轮廓的最小外接矩形示意图;
图13是根据本发明一个实施例的半导体芯片图像字符区域的轮廓图像示意图;
图14a是利用形态学对Harris角点检测后的角点图进行膨胀后的示意图;
图14b是通过连通区域面积滤除非字符区域角点图像;
图14c是利用形态学对滤除后的图像进行腐蚀后的示意图;
图15a是拟合形态学操作后图像的最小外接矩形;
图15b是基于形态学滤波定位半导体芯片字符区域轮廓图像;
图16是本发明定位方法与形态学滤波定位方法对比图像;
图17是根据本发明一个实施例的半导体芯片图像字符区域的定位装置的方框示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1是根据本发明一个实施例的半导体芯片图像字符区域的定位方法的流程图。如图1所示,该方法包括以下步骤:
S1,采集半导体芯片图像并进行预处理。
其中,在本发明的一个实施例中,采集半导体芯片图像并进行预处理,包括:图像灰度化、图像滤波、图像边缘检测。
具体地,可以通过工控机采集半导体芯片图像,半导体芯片原始图像如图2a所示。
图像灰度化可以包括:利用加权平均法对半导体芯片图像进行灰度化处理,将RGB三个分量以不同的权值进行加权平均,计算公式如下:
f(i,j)=0.30R(i,j)+0.59G(i,j)+0.11B(i,j)
其中,f(i,j)为转换后的灰度图像在(i,j)处的灰度值。半导体芯片图像进行灰度化处理后的图像如图2b所示。
图像滤波可以包括:
采用窗口为3×3的高斯滤波,以平滑图像,抑制图像采集产生的噪声,在图像处理中,常使用二维高斯函数进行滤波,计算公式如下:
其中,G(x,y)为二维高斯函数,(x,y)为点坐标,σ为标准差,A为归一化系数,使不同的权重之和为一。半导体芯片图像进行滤波处理后的图像如图2c所示。
图像边缘检测可以包括:
采用高斯滤波标准差σ=3的Canny算子进行边缘检测,获取半导体芯片进行边缘检测后的图像(如图2d)。
S2,通过Hough变换对半导体芯片图像进行旋转校正并去除白边。
其中,Hough变换用于检测图像中直线、圆、抛物线、椭圆等形状能够用一定函数关系描述的曲线,基本原理是将影像空间中的曲线(包括直线)变换到参数空间中,通过检测参数空间中的极值点,确定出该曲线的描述参数,从而提取影像中的规则曲线。
在对半导体芯片图像字符区域定位的过程中,芯片图像不可避免的发生倾斜,影响字符区域定位准确性。通过Hough变化提取图像中的最大检测直线来进行旋转校正,并将旋转校正后的芯片图像存在的白边进行去除。
进一步地,根据本发明的一个实施例,通过Hough变换对半导体芯片图像进行旋转校正,可以包括:获取半导体芯片的尺寸l和半导体芯片最小外接矩形尺寸Lmax;根据半导体芯片的尺寸l和半导体芯片最小外接矩形尺寸Lmax,获取半导体芯片在水平方向的偏移距离x;根据半导体芯片在水平方向的偏移距离x获取半导体芯片图像的倾斜角度α;根据倾斜角度α对半导体芯片图像进行旋转校正。
具体地,如图3所示,半导体芯片图像的倾斜角度为α,根据勾股定理可得:
l2=(Lmax-x)2+x2;
对上述一元二次方程进行解得:
由于因此,半导体芯片图像倾斜角度α可通过以下公式得到:
由此,可以获取半导体芯片图像的倾斜角度α,根据倾斜角度α对半导体芯片图像进行旋转校正即可。通过Hough变换对半导体芯片图像进行旋转校正并去除白边后的图像可参照图4所示。
S3,对校正后的半导体芯片图像进行Harris角点检测。
角点顾名思义就是角的顶点,专业来讲,角点是轮廓之间的交点,在角点附近区域的像素点在任意梯度方向上都会发生较大变化。
Harris角点检测算法是通过使用一个固定窗口在图像的任意方向上进行滑动,然后比较滑动前后窗口中的像素变化程度,若存在任意方向上的滑动都有较大变化的情况,则判断该窗口中存在角点。
如图5所示,采用Harris角点检测算法处理对校正后的图像进行角点检测,可以达到提取角点均匀合理、稳定的效果,获取图像角点分布图,
S4,提出角点过滤方法,以剔除角点检测图像中非字符区域的角点。
进一步地,根据本发明的一个实施例,如图6所示,提出角点过滤方法,以剔除角点检测图像中非字符区域的角点可以包括:
S401,获取角点检测图像中每一行角点数目corners(i)。i代表行数,i为正整数,例如,corners(1)表示第1行的角点数目,corners(2)表示第2行的角点数目角点数目,以此类推。
S402,分别判断每一行角点数目corners(i)是否大于或等于预设阈值threshold。
其中,预设阈值threshold可以根据实际情况进行预设,例如,预设阈值threshold可以为2。
S403,如果角点数目corners(i)大于或等于预设阈值threshold,则保留该行角点。
S404,如果所角点数目corners(i)小于预设阈值threshold,则剔除该行角点。
也就是说,如果corners(i)>threshold,则保留第i行角点;若corners(i)<threshold,则去除第i行角点。
通过步骤S401-S404,可以粗略滤除一些非字符区域角点,但也会存在漏检的角点。为此,如图6所示,根据本发明的一个实施例,上述的提出角点过滤方法,以剔除角点检测图像中非字符区域的角点,还可以包括:
S405,根据半导体芯片图像尺寸,定义三个预设模板,并设置每个预设模板的最少存在的角点数Ni。
S406,进行模板运算,以获取每个角点落在预设模板里的总角点数。
S407,若总角点数小于每一个所预设模板的最少存在的角点数,则剔除该角点。
S408,若总角点数大于任意一个预设模板的最少存在的角点数,则保留角点。
在本发明的一个实施例中,三个预设模板的尺寸可以分别为:10×50px、30×50px、50×50px,且每个预设模板的最少存在的角点数分别为4、7、12。
根据半导体芯片图像尺寸,定义三个预设模板,尺寸分别为:S1=10×50px、S2=30×50px、S3=50×50px,设置Ni为三个模板最少存在的角点数,进行模板运算,经反复实验,可以取N1=4,N2=7,N3=12。corners(q,Si)为角点q处落在预设模板Si里的总角点数,若corners(q,Si)不满足三个模板运算中的任何一个,即如果角点q落在预设模板里的总角点数小于每一个预设模板的最少存在的角点数,则认为角点q不是字符区域检测到的角点,将角点q去除;反之,则保留角点q。
如图7所示,通过模板运算准确滤除漏检的角点,获取角点过滤图像。
S5,改进凸包检测算法,获取最***角点的凸包线并绘制轮廓。
进一步地,根据本发明的一个实施例,如图6所示,改进凸包检测算法,获取最***角点的凸包线,可以包括:
S501,提取角点检测图像中字符区域的角点点集,并按x、y坐标进行排序。其中,x坐标为水平方向的坐标,y坐标为竖直方向的坐标。
S502,将处于坐标极值的点从x坐标最小的点开始顺时针读入最小凸包点集,以获取角点的点集排序表。
S503,提取所点集排序表中处于x坐标极值的点与y坐标极值的点,以获取初始凸包表P={P1,P2,P3,P4}。
S504,将点集排序表剩余的坐标极值点依次调入判断。
S505,若当前坐标极值点处于当前凸包内,则调入下一坐标极值点进行判断。
S506,若当前坐标极值点处于当前凸包外,则保留该点,并将该点***离当前凸包最近边的两端点之间。
S507,在点集排序表中所有的坐标极值点全部判断结束后,根据初始凸包表P将满足条件的坐标极值点逐点连接成凸包线。
具体地,提取字符区域角点点集,点集中处于坐标极值的点一定在凸包上,按x、y坐标进行排序,将处于坐标极值的点从x最小的点开始顺时针读入最小凸包点集,扫描完成后获得点集的排序表,将排序表中处于x坐标极值的点与y坐标极值的点提取出来,获得初始凸包表P={P1,P2,P3,P4},如示意图8所示。
将点集排序表中剩余的坐标极值点依次调入判断,若当前坐标极值点处于当前凸包内,则调入下一坐标极值点进行判断;若当前坐标极值点处于当前凸包外,则保留该判断点,将该点***离当前凸包最近边的两端点之间,如示意图9所示。直至点集排序表中所有的坐标极值点全部判断结束,根据初始凸包表P将满足条件的坐标极值点逐点连接成凸包线,如图10所示。
S6,拟合凸包线轮廓的最小外接矩形,以定位半导体芯片图像的字符区域。
具体地,绘制凸包线轮廓(如图11所示),计算凸包线轮廓面积,拟合凸包线轮廓的最小外接矩形(如图12所示),获取出半导体芯片字符区域位置(如图13所示)。
在本发明的一个实施例中,根据以下公式判断所述当前坐标极值点是否处于当前凸包内:
M(P1,P2,K)=(x2-x0)(y1-y0)-(y2-y0)(x1-x0)<0;
其中,其中,P1、P2为凸包一条边的两个端点,K为坐标极值点,(x0,y0)、(x1,y1)、(x2,y2)分别为P1、P2、K的坐标。
如果坐标极值点满足公式M(P1,P2,K)=(x2-x0)(y1-y0)-(y2-y0)(x1-x0)<0,则判断坐标极值点处于凸包外。
由上,本发明实施例的半导体芯片图像字符区域的定位方法,采用角点过滤方法以及改进凸包检测算法,可以更为精确地定位半导体芯片图像字符区域,避免出现字符打印倾斜、字符打印位置错误等现象。
为使本领域技术人员更清楚地了解本发明产生的有益效果,发明人将本发明提供的半导体芯片图像字符区域的定位方法与形态学滤波定位方法的精度比较:
以工控机采集的半导体芯片图像为实验对象,以四核八线程[email protected]、内存8G、OpenCV2015为实验环境。选取12幅半导体芯片图像为实验对象,在相同的环境下运行程序,图14a是利用形态学对Harris角点检测后的角点图进行膨胀后的示意图,图14b是通过连通区域面积滤除非字符区域角点图像,图14c是利用形态学对滤除后的图像进行腐蚀后的示意图;图15a是拟合形态学操作后图像的最小外接矩形,图15b是基于形态学滤波定位半导体芯片字符区域轮廓图像;图16是本发明定位方法与形态学滤波定位方法对比图像。
表1列出了两种方法定位的半导体芯片字符区域面积,以图形编号1为例,通过本发明方法定位芯片图像字符区域面积为7897mm2,而通过形态学滤波方法定位芯片图像字符区域面积为9396mm2,结合本发明定位方法与形态学滤波定位方法对比图像(如图16),其中灰色框线为形态学滤波定位方法,黑色框线为本发明定位方法,白色框线为根据字符区域长度、宽度等属性特征人工标注的理想外接矩形,可以发现,形态学滤波定位方法与人工标注的理想外接矩形相离较远,而本发明定位方法与人工标注的理想外接矩形接近重合。
表1两种方法定位字符区域面积比较
本发明定位方法与形态学滤波定位方法运行时间比较:
表2为两种方法定位时间比较,采集了30张半导体芯片图像,从表2可以发现,形态学滤波定位方法计算30张半导体芯片图像的字符区域位置时,总运行时间为11.694s,单张半导体芯片图像平均运行时间为0.390s,而本发明定位方法总运行时间为2.830s,单张半导体芯片图像平均运行时间为0.094s,大幅度地减少了计算量。因此本发明提出的半导体芯片图像字符区域高精度定位方法精度更高,效率更快。
表2两种方法定位时间比较
有上述可知,本发明提出的半导体芯片图像字符区域的定位方法,是一种比传统算法精度更高、效率更快的方法,可用于激光打印半导体芯片字符环节,为检测芯片外观缺陷提供了清晰准确地图像,提高半导体芯片缺陷视觉检测效率。
综上所示,根据本发明实施例的半导体芯片图像字符区域的定位方法,采集半导体芯片图像并进行预处理;通过Hough变换对半导体芯片图像进行旋转校正并去除白边;对校正后的半导体芯片图像进行Harris角点检测;提出角点过滤方法,以剔除角点检测图像中非字符区域的角点;改进凸包检测算法,获取最***角点的凸包线并绘制轮廓;拟合凸包线轮廓的最小外接矩形,以定位半导体芯片图像的字符区域。该方法采用角点过滤方法以及改进凸包检测算法,可以更为精确地定位半导体芯片图像字符区域,避免出现字符打印倾斜、字符打印位置错误等现象。
与上述的半导体芯片图像字符区域的定位方法相对应,本发明还提出一种半导体芯片图像字符区域的定位装置。由于本发明的装置实施例与本发明的方法实施例相对应,对于装置实施例中未披露的细节,可参照本发明的方法实施例,本发明中不再进行赘述。
图17是根据本发明一个实施例的半导体芯片图像字符区域的定位装置的方框示意图。如图17所示,该装置包括:采集模块1、图像处理模块2、检测模块3、过滤模块4、轮廓绘制模块5和定位模块6。
其中。采集模块1用于采集半导体芯片图像并进行预处理;图像处理模块2用于通过Hough变换对半导体芯片图像进行旋转校正并去除白边;检测模块3用于对校正后的半导体芯片图像进行Harris角点检测;过滤模块4用于将角点检测图像中非字符区域的角点进行剔除;轮廓绘制模块5用于获取最***角点的凸包线并绘制轮廓;定位模块6用于拟合凸包线轮廓的最小外接矩形,以定位半导体芯片图像的字符区域。
根据本发明的一个实施例,过滤模块4具体用于:获取角点检测图像中每一行角点数目:分别判断每一行角点数目是否大于或等于预设阈值;如果角点数目大于或等于所述预设阈值,则保留该行角点;如果角点数目小于所述预设阈值,则剔除该行角点:根据半导体芯片图像尺寸,定义三个预设模板,并设置每个预设模板的最少存在的角点数;进行模板运算,以获取每个角点落在预设模板里的总角点数;若总角点数小于每一个预设模板的最少存在的角点数,则剔除该角点;若总角点数大于任意一个预设模板的最少存在的角点数,则保留角点。
根据本发明的一个实施例,轮廓绘制模块5具体用于:提取角点检测图像中字符区域的角点点集,并按x、y坐标进行排序;将处于坐标极值的点从x坐标最小的点开始顺时针读入最小凸包点集,以获取角点的点集排序表;提取点集排序表中处于x坐标极值的点与y坐标极值的点,以获取初始凸包表P={P1,P2,P3,P4};将点集排序表剩余的坐标极值点依次调入判断;若当前坐标极值点处于当前凸包内,则调入下一坐标极值点进行判断;若当前坐标极值点处于当前凸包外,则保留该点,并将该点***离当前凸包最近边的两端点之间;在点集排序表中所有的坐标极值点全部判断结束后,根据初始凸包表P将满足条件的坐标极值点逐点连接成凸包线。
综上所述,根据本发明实施例的半导体芯片图像字符区域的定位装置,通过采集模块采集半导体芯片图像并进行预处理,图像处理模块通过Hough变换对半导体芯片图像进行旋转校正并去除白边,检测模块对校正后的半导体芯片图像进行Harris角点检测,过滤模块将角点检测图像中非字符区域的角点进行剔除,轮廓绘制模块获取最***角点的凸包线并绘制轮廓,定位模块、拟合凸包线轮廓的最小外接矩形,以定位半导体芯片图像的字符区域。由此,该装置采用角点过滤方法以及改进凸包检测算法,可以更为精确地定位半导体芯片图像字符区域,避免出现字符打印倾斜、字符打印位置错误等现象。
在本发明的描述中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必针对相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (8)
1.一种半导体芯片图像字符区域的定位方法,其特征在于,包括以下步骤:
采集所述半导体芯片图像并进行预处理;
通过Hough变换对所述半导体芯片图像进行旋转校正并去除白边;
对校正后的所述半导体芯片图像进行Harris角点检测;
提出角点过滤方法,以剔除角点检测图像中非字符区域的角点;
改进凸包检测算法,获取最***角点的凸包线并绘制轮廓;
拟合凸包线轮廓的最小外接矩形,以定位所述半导体芯片图像的字符区域,
其中,提出角点过滤方法,以剔除角点检测图像中非字符区域的角点,包括:
获取所述角点检测图像中每一行角点数目,分别判断所述每一行角点数目是否大于或等于预设阈值;如果所述角点数目大于或等于所述预设阈值,则保留该行角点;如果所述角点数目小于所述预设阈值,则剔除该行角点,
将所述角点检测图像中非字符区域的角点进行剔除,还包括:根据所述半导体芯片图像尺寸,定义三个预设模板,并设置每个所述预设模板的最少存在的角点数;进行模板运算,以获取每个角点落在所述预设模板里的总角点数;若所述总角点数小于每一个所述预设模板的最少存在的角点数,则剔除该角点;若所述总角点数大于任意一个所述预设模板的最少存在的角点数,则保留角点。
2.根据权利要求1所述的半导体芯片图像字符区域的定位方法,其特征在于,采集所述半导体芯片图像并进行预处理,包括:图像灰度化、图像滤波、图像边缘检测。
3.根据权利要求1所述的半导体芯片图像字符区域的定位方法,其特征在于,通过Hough变换对所述半导体芯片图像进行旋转校正,包括:
获取所述半导体芯片的尺寸l和半导体芯片最小外接矩形尺寸Lmax;
根据所述半导体芯片的尺寸l和半导体芯片最小外接矩形尺寸Lmax,获取所述半导体芯片在水平方向的偏移距离x;
根据所述半导体芯片在水平方向的偏移距离x获取所述半导体芯片图像的倾斜角度α;
根据所述倾斜角度α对所述半导体芯片图像进行旋转校正。
4.根据权利要求1所述的半导体芯片图像字符区域的定位方法,其特征在于,所述三个预设模板的尺寸分别为:10×50px、30×50px、50×50px,且每个所述预设模板的最少存在的角点数分别为4、7、12。
5.根据权利要求1所述的半导体芯片图像字符区域的定位方法,其特征在于,改进凸包检测算法,获取最***角点的凸包线并绘制轮廓,包括:
提取所述角点检测图像中字符区域的角点点集,并按x、y坐标进行排序;
将处于坐标极值的点从x坐标最小的点开始顺时针读入最小凸包点集,以获取所述角点的点集排序表;
提取所述点集排序表中处于x坐标极值的点与y坐标极值的点,以获取初始凸包表P={P1,P2,P3,P4};
将所述点集排序表剩余的坐标极值点依次调入判断;
若当前坐标极值点处于当前凸包内,则调入下一坐标极值点进行判断;
若当前坐标极值点处于当前凸包外,则保留该点,并将所述该点***离所述当前凸包最近边的两端点之间;
在所述点集排序表中所有的所述坐标极值点全部判断结束后,根据所述初始凸包表P将满足条件的所述坐标极值点逐点连接成所述凸包线。
6.根据权利要求5所述的半导体芯片图像字符区域的定位方法,其特征在于,根据以下公式判断所述当前坐标极值点是否处于当前凸包内:
M(P1,P2,K)=(x2-x0)(y1-y0)-(y2-y0)(x1-x0)<0;
其中,P1、P2为凸包一条边的两个端点,K为坐标极值点,(x0,y0)、(x1,y1)、(x2,y2)分别为P1、P2、K的坐标。
7.一种半导体芯片图像字符区域的定位装置,其特征在于,包括:
采集模块,所述采集模块用于采集所述半导体芯片图像并进行预处理;
图像处理模块,所述图像处理模块用于通过Hough变换对所述半导体芯片图像进行旋转校正并去除白边;
检测模块,所述检测模块用于对校正后的所述半导体芯片图像进行Harris角点检测;
过滤模块,所述过滤模块用于将角点检测图像中非字符区域的角点进行剔除;
轮廓绘制模块,所述轮廓绘制模块用于获取最***角点的凸包线并绘制轮廓;
定位模块,所述定位模块用于拟合凸包线轮廓的最小外接矩形,以定位所述半导体芯片图像的字符区域,
所述过滤模块具体用于:获取所述角点检测图像中每一行角点数目,分别判断所述每一行角点数目是否大于或等于预设阈值;如果所述角点数目大于或等于所述预设阈值,则保留该行角点;如果所述角点数目小于所述预设阈值,则剔除该行角点,
根据所述半导体芯片图像尺寸,定义三个预设模板,并设置每个所述预设模板的最少存在的角点数;进行模板运算,以获取每个角点落在所述预设模板里的总角点数;若所述总角点数小于每一个所述预设模板的最少存在的角点数,则剔除该角点;若所述总角点数大于任意一个所述预设模板的最少存在的角点数,则保留角点。
8.根据权利要求7所述的半导体芯片图像字符区域的定位装置,其特征在于,所述轮廓绘制模块具体用于:
提取所述角点检测图像中字符区域的角点点集,并按x、y坐标进行排序;
将处于坐标极值的点从x坐标最小的点开始顺时针读入最小凸包点集,以获取所述角点的点集排序表;
提取所述点集排序表中处于x坐标极值的点与y坐标极值的点,以获取初始凸包表P={P1,P2,P3,P4};
将所述点集排序表剩余的坐标极值点依次调入判断;
若当前坐标极值点处于当前凸包内,则调入下一坐标极值点进行判断;
若当前坐标极值点处于当前凸包外,则保留该点,并将所述该点***离所述当前凸包最近边的两端点之间;
在所述点集排序表中所有的所述坐标极值点全部判断结束后,根据所述初始凸包表P将满足条件的所述坐标极值点逐点连接成所述凸包线。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010464919.1A CN111754461B (zh) | 2020-05-28 | 2020-05-28 | 半导体芯片图像字符区域的定位方法、装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010464919.1A CN111754461B (zh) | 2020-05-28 | 2020-05-28 | 半导体芯片图像字符区域的定位方法、装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111754461A CN111754461A (zh) | 2020-10-09 |
CN111754461B true CN111754461B (zh) | 2024-03-01 |
Family
ID=72674055
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010464919.1A Active CN111754461B (zh) | 2020-05-28 | 2020-05-28 | 半导体芯片图像字符区域的定位方法、装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111754461B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113379673B (zh) * | 2021-04-28 | 2022-02-01 | 合肥联宝信息技术有限公司 | 一种键盘小红帽检测方法、装置和设备 |
CN114998347B (zh) * | 2022-08-04 | 2022-10-21 | 创新奇智(成都)科技有限公司 | 一种半导体面板角点定位方法及装置 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013012157A (ja) * | 2011-06-30 | 2013-01-17 | Toshiba Corp | 領域検出装置、領域検出方法及びプログラム |
CN103279956A (zh) * | 2013-05-30 | 2013-09-04 | 华南理工大学 | 一种检测贴片机元器件定位精度的方法 |
CN105023265A (zh) * | 2014-04-29 | 2015-11-04 | 东北大学 | 鱼眼镜头下的棋盘格角点自动检测方法 |
CN105184792A (zh) * | 2015-09-06 | 2015-12-23 | 江苏科技大学 | 一种圆锯片磨损量在线测量方法 |
CN108805042A (zh) * | 2018-05-25 | 2018-11-13 | 武汉东智科技股份有限公司 | 道路区域监控视频被树叶遮挡的检测方法 |
CN109409366A (zh) * | 2018-10-30 | 2019-03-01 | 四川长虹电器股份有限公司 | 基于角点检测的畸变图像校正方法及装置 |
CN109671084A (zh) * | 2018-11-15 | 2019-04-23 | 华东交通大学 | 一种工件形状的测量方法 |
CN110097048A (zh) * | 2019-04-02 | 2019-08-06 | 江苏理工学院 | 一种sot芯片图像快速校正与字符识别方法 |
CN110674812A (zh) * | 2019-09-17 | 2020-01-10 | 沈阳建筑大学 | 一种面向复杂背景的民用车牌定位与字符分割方法 |
CN110992326A (zh) * | 2019-11-27 | 2020-04-10 | 江苏理工学院 | 一种qfn芯片引脚图像快速倾斜校正方法 |
-
2020
- 2020-05-28 CN CN202010464919.1A patent/CN111754461B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013012157A (ja) * | 2011-06-30 | 2013-01-17 | Toshiba Corp | 領域検出装置、領域検出方法及びプログラム |
CN103279956A (zh) * | 2013-05-30 | 2013-09-04 | 华南理工大学 | 一种检测贴片机元器件定位精度的方法 |
CN105023265A (zh) * | 2014-04-29 | 2015-11-04 | 东北大学 | 鱼眼镜头下的棋盘格角点自动检测方法 |
CN105184792A (zh) * | 2015-09-06 | 2015-12-23 | 江苏科技大学 | 一种圆锯片磨损量在线测量方法 |
CN108805042A (zh) * | 2018-05-25 | 2018-11-13 | 武汉东智科技股份有限公司 | 道路区域监控视频被树叶遮挡的检测方法 |
CN109409366A (zh) * | 2018-10-30 | 2019-03-01 | 四川长虹电器股份有限公司 | 基于角点检测的畸变图像校正方法及装置 |
CN109671084A (zh) * | 2018-11-15 | 2019-04-23 | 华东交通大学 | 一种工件形状的测量方法 |
CN110097048A (zh) * | 2019-04-02 | 2019-08-06 | 江苏理工学院 | 一种sot芯片图像快速校正与字符识别方法 |
CN110674812A (zh) * | 2019-09-17 | 2020-01-10 | 沈阳建筑大学 | 一种面向复杂背景的民用车牌定位与字符分割方法 |
CN110992326A (zh) * | 2019-11-27 | 2020-04-10 | 江苏理工学院 | 一种qfn芯片引脚图像快速倾斜校正方法 |
Non-Patent Citations (5)
Title |
---|
A Fast Method for Two-stage Precise License Plate Location Based on Fusion of Corner Feature and Gray Level Jumps;Ran Wang et al;《2012 International Conference on Industrial Control and Electronics Engineering》;976-979 * |
一种快速角点提取的相机标定方法研究;和晓军等;《沈阳理工大学学报》;第32卷(第4期);15-19 * |
基于改进凸包检测的芯片图像字符区域定位;巢渊等;《图学学报》;第42卷(第2期);165-173 * |
基于灰度差分与模板的Harris角点检测快速算法;张立亭等;《仪器仪表学报》;第39卷(第2期);218-224 * |
宽幅光学遥感图像舰船飞机目标检测识别技术研究;王文胜;《中国博士学位论文全文数据库(信息科技辑)》(第10期);第5.2.2节,图5.2、5.10 * |
Also Published As
Publication number | Publication date |
---|---|
CN111754461A (zh) | 2020-10-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112508826B (zh) | 一种印刷品缺陷检测方法 | |
CN109978839B (zh) | 晶圆低纹理缺陷的检测方法 | |
US10289924B2 (en) | System and method for scanned document correction | |
CN108764229B (zh) | 一种基于计算机视觉技术的水尺图像自动识别方法 | |
Tian et al. | Rectification and 3D reconstruction of curved document images | |
CN114926839B (zh) | 基于rpa和ai的图像识别方法及电子设备 | |
CN111754461B (zh) | 半导体芯片图像字符区域的定位方法、装置 | |
CN109948135B (zh) | 一种基于表格特征归一化图像的方法及设备 | |
CN111353961B (zh) | 一种文档曲面校正方法及装置 | |
JP5852919B2 (ja) | ひび割れ検出方法 | |
CN111354047B (zh) | 一种基于计算机视觉的摄像模组定位方法及*** | |
CN109558844A (zh) | 基于图像归一化提升自定义模板识别率的方法及设备 | |
CN114022439B (zh) | 一种基于形态学图像处理的柔性电路板缺陷检测方法 | |
CN116958125B (zh) | 基于图像处理的电竞主机电源元件缺陷视觉检测方法 | |
CN111652844B (zh) | 一种基于数字图像区域增长的x射线缺陷检测方法及*** | |
JPH08287184A (ja) | 画像切り出し装置及び文字認識装置 | |
JP6542230B2 (ja) | 投影ひずみを補正するための方法及びシステム | |
CN116503462A (zh) | 一种圆形斑点圆心快速提取方法及*** | |
CN111627059B (zh) | 一种棉花叶片中心点位置定位方法 | |
CN111667429A (zh) | 一种巡检机器人目标定位校正方法 | |
CN115578594A (zh) | 基于计算机视觉的边缘定位方法、装置及相关设备 | |
CN110689586A (zh) | 中医智能舌诊中的舌像识别方法和用于该方法的便携式校正色卡 | |
CN114298996A (zh) | 基于图像处理的电路板划痕检测方法和*** | |
CN114998571A (zh) | 基于固定尺寸标志物的图像处理及颜色检测方法 | |
CN113159027A (zh) | 基于最小外接矩形变体的七段式数显仪表识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |