CN111640154A - 一种基于显微视觉的立针微平面亚像素级定位方法 - Google Patents
一种基于显微视觉的立针微平面亚像素级定位方法 Download PDFInfo
- Publication number
- CN111640154A CN111640154A CN202010445400.9A CN202010445400A CN111640154A CN 111640154 A CN111640154 A CN 111640154A CN 202010445400 A CN202010445400 A CN 202010445400A CN 111640154 A CN111640154 A CN 111640154A
- Authority
- CN
- China
- Prior art keywords
- straight line
- edge
- template
- micro
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000001514 detection method Methods 0.000 claims abstract description 15
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 238000006243 chemical reaction Methods 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000001914 filtration Methods 0.000 claims description 9
- 238000003754 machining Methods 0.000 claims description 6
- 238000003708 edge detection Methods 0.000 claims description 4
- 238000011524 similarity measure Methods 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000009432 framing Methods 0.000 claims description 2
- 230000002401 inhibitory effect Effects 0.000 claims description 2
- 238000012887 quadratic function Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 241001632422 Radiola linoides Species 0.000 claims 1
- 238000005286 illumination Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000003746 surface roughness Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241001632427 Radiola Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20061—Hough transform
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
一种基于显微视觉的立针微平面亚像素级定位方法,先通过显微镜CCD采集模板图像,再建立模板图像信息,然后进行模板匹配,再提取亚像素边缘,然后进行轮廓边缘提取,然后对边缘轮廓进行直线检测,最后在所得直线边缘点邻域搜索,用邻域内的亚像素边缘点替换,再进行直线拟合,并根据直线位置以及平台坐标系和图像坐标系的转换关系确定微平面的位置;本发明能够实现立针微平面自动定位,且具有速度快、精度高、鲁棒性高的优点。
Description
技术领域
本发明属于显微视觉平面定位技术领域,特别涉及一种基于显微视觉的立针微平面亚像素级定位方法。
背景技术
立针作为芯片制造的必要工具,用于芯片封装中引线键合这一关键步骤,是一款结构精密且复杂的工具。在引线键合过程中,需要将引线贯穿立针的微孔,而孔径大小超差会导致引线损伤甚至断线。制造立针时,通常需要在小于100微米的平面上加工直径约为50微米的孔,加工精度达到5微米以内。高的加工精度要依赖于微平面的高精度定位,所以对立针微平面进行精确定位是解决上述问题的关键。目前,立针打孔平面的定位方式是使用精密夹具装夹立针后,通过显微镜观察人工目视定位,这种定位方式存在精度低、速度慢、自动化程度低等缺点,不利于立针的高精度、大批量制造,从而严重影响芯片的质量和产能。
为了解决上述问题,拟采用显微视觉实现立针微平面的高精度、自动化定位。同时考虑降低外部环境对定位过程的影响,要求方法满足较强的抗干扰能力。目前显微视觉定位方法主要分为:基于模板匹配的方法和基于边缘特征的方法。基于模板匹配的方法用于立针微平面定位存在两个缺点:1)由于立针微平面表面粗糙度较大,在显微镜CCD的高放大倍数下,立针表面会出现较多噪声,难以进行匹配;2)由于立针微平面存在加工误差,实际微平面尺寸与理想尺寸不一致,导致匹配结果存在误差,甚至出现误匹配、漏匹配的现象。基于边缘特征的方法用于立针微平面定位同样存在两个缺点:1)由于提取的边缘属于无序边缘,而在复杂环境中,难以将无序边缘转化为有实际意义的有序边缘,且立针微平面在一定区域内位置有一定随机性,大大提高了获取有序边缘的难度;2)同样会存有由立针微平面表面粗糙度引起的噪声,导致在提取边缘时,微平面内部会出现大量干扰性的“边缘”,且难以直接滤除。
综上所知,现有的视觉定位方法难以满足立针微平面定位的精度和效率的要求。
发明内容
为了克服上述现有技术的缺点,本发明的目的在于提出一种基于显微视觉的立针微平面亚像素级定位方法,能够实现立针微平面自动定位,并且具有速度快、精度高、鲁棒性高的优点。
为了实现上述目的,本发明采取的技术方案为:
一种基于显微视觉的立针微平面亚像素级定位方法,包括以下步骤:
1)采集模板图像:将显微镜CCD对准立针微平面后,调节光源亮度或曝光时间,当立针微平面边缘清晰,完成采图,人工去除微平面表面噪声;
2)建立模板:根据模板图像建立模板,人工标注并记录步骤1)模板图像中用作定位的直线及其端点;设置寻找角度范围、角度步长、图像金字塔层数;提取模板图像边缘,记录边缘点点集q={q1…qn},其中n为边缘点总数,记录边缘点对应位置的X、Y方向梯度以及对应幅值MagGT到模板T(θ,h),θ和h分别表示不同角度、金字塔层数;
3)模板匹配:获取模板T(θ,h)后,将立针放置在二维微纳加工平台上,通过夹具装夹,相机完成采图,通过模板匹配获取模板图像在待搜索图像中的位置和旋转角度,基于精密运动平台计算像素当量s,并统一相机坐标系和加工平台坐标系;
4)提取亚像素边缘:获取模板图像位置后,从在待搜索图像中提取出模板图像所在的局部区域Q,提取亚像素边缘,记为亚像素边缘点集E;
5)轮廓边缘提取:对模板图像所在局部区域Q,通过高斯模糊后,使用大津算法二值化,提取边缘点,记为边缘点集O;
6)直线检测:对边缘点集O进行直线检测,记录构成每条直线的直线边缘点集lq={lq1...lqz};
7)直线拟合:在点集lq的邻域内搜索,如果存在步骤4)中亚像素边缘点集E的点,用点集E中的亚像素边缘点替换点集lq中的点,并拟合直线;
8)定位微平面:根据步骤7)所得直线位置、步骤3)所得像素当量s,以及加工平台和相机坐标变换关系,定位立针微平面在物理空间位置,进而确定立针微孔加工位置。
所述步骤2)中建立模板的具体方法为:对步骤1)采集的模板图像通过人工框选感兴趣区域,记录感兴趣区域内信息为模板信息,在模板图像中标注用于定位微平面的直线边缘的位置,记录其端点;设置寻找角度范围θl至θh、角度步长θs、图像金字塔层数n,原始模板图像在高斯滤波后,按角度步长在角度范围内旋转得到不同角度模板图像;建立图像金子塔后,对不同角度、不同金字塔层数的模板图像通过Canny边缘检测方法,提取所有的模板图像的边缘点,并对感兴趣区域内边缘点间隔采样,记录边缘点所对应位置的X、Y方向梯度以及对应梯度幅值MagGT到模板T(θ,h),θ和h分别表示不同角度、金字塔层数。
所述的步骤3)中图像通过模板匹配的具体方法为:对采集到的图像建立n层的图像金字塔,并对每层金字塔图像进行高斯滤波,其中更靠近顶层的金字塔图像使用小尺度的高斯核,对最顶层金字塔图像使用大津算法进行二值化,并通过形态学滤波中闭运算去除小型黑色区域,记录白色区域为搜索范围M;计算待搜索图像的X、Y方向梯度以及对应梯度幅值MagGS;提出一个梯度幅值阈值参数H,对梯度幅值小于阈值H的点进行抑制,将该点的梯度幅值置为0;开始搜索后,使用金字塔顶层的模板T(θ,n)在搜索范围M中遍历,计算每一位置的形状相似度量值S,S的值在0到1范围内,1表示完全一致,
其中:m为模板边缘点数量,(u,v)是当前的模板中心位置像素坐标,(Xi,Yi)是模板图像第i个边缘点像素坐标,分别是模板图像中坐标(Xi,Yi)对应的X方向梯度、Y方向梯度、以及梯度幅值,分别是待搜索图像中坐标为(u+Xi,v+Yi)对应X方向梯度、Y方向梯度、以及梯度幅值;
找到所有S大于阈值T的点作为种子点;通过非极大值抑制,在所有种子点的3×3领域中,保存相似度量值得分最大的点作为此层种子点Se={Se1...Sed};在下一层金字塔中,用θ邻域内的模板T(θ±θs,n-1)计算种子点Se的在n-1层金字塔对应位置的3×3邻域内的相似度量值;选取极大值对应的种子点,作为n-1层种子点,直到第0层;再使用下一个角度的模板T(θ,n)进行上述计算;完成全部角度模板的计算后,在金字塔第0层,统计不同角度模板计算得到的种子点的相似度量值大于T的种子点,从中选出极大值,即可确定模板在图像中的位置和角度。
所述的步骤4)提取亚像素边缘方法为:在局部区域Q进行Canny边缘提取,计算每个边缘点的梯度方向,设定-22.5度至22.5度、157.5度至180度、-180度至-157.5度对应0度,22.5度至67.5度、-157.5度至-112.5度对应45度,67.5度至112.5度、-112.5度至-67.5度对应90度,112.5度至157.5度、-67.5度至-22.5度对应135度,判定边缘点所在区间,在对应方向上二次函数拟合获取亚像素边缘点,记亚像素边缘点为亚像素边缘点集E。
所述的步骤6)直线检测具体方法为:对步骤5)中所得边缘点集O通过八邻域边缘连接,得到多个连续边缘Cm,Cm={C1...Cy},对C1采用概率霍夫直线检测方法,计算在霍夫空间内不同距离ρ、角度θ所对应的像素点数量,并记录所对应的像素点位置,加入点序列pij,i代表距离序号,j代表角度序号;如果霍夫空间中存在像素点数量超过阈值tH的直线,选择像素点数量最大值所对应的ρ0、θ0作为第一条待验证直线L;若全小于阈值TH,则C1中不存在直线,对下一连续边缘C2进行上述计算;存在待验证直线L时,计算C1中所有点到直线L的距离,将所有距离小于阈值d的边缘点,加入点集将点集投影到此直线L上,计算投影点到直线L与图像边界交点的距离,从小到大进行排序,距离最小的点作为直线的端点A0,如果后一个点和前一点之间的距离不超过断裂阈值D,则认为属于同一条直线;若超过断裂阈值D,记录前一点为直线L的另一端点B0,后一点为下一条直线的起始端点A1,如果直线A0B0超过直线要求的最短距离,则认为是一条合格直线;反之,直线不合格,将A0B0内所有边缘点从剔除,以A1为起始点,重复进行前面的判断,直到该直线L上所有的点被统计完毕;完成统计后,如果存在合格直线,记录为lq1,并从C1剔除中所有点,重新回到概率霍夫直线检测的步骤进行计算;如果不存在合格直线,则将ρ0、θ0所对应直线在霍夫空间的3×3邻域中所有值置为0后,寻找霍夫空间中大于TH的最大值对应ρ1、θ1,作为下一个待验证直线进行上述判断;直到所有连续边缘都进行上述计算。
所述的步骤7)中直线拟合具体方法为:在构成每条直线的边缘点lq的3×3邻域内寻找在亚像素边缘点集E,如果存在对应的亚像素边缘点,则用距离原边缘点最近的亚像素边缘点代替;反之,则将这个边缘点从直线边缘中剔除,完成上述操作后,对构成直线的亚像素边缘点进行最小二乘拟合,获得直线方程后,计算边缘点到直线的距离,通过3Sigma准则剔除距离较大的点后,重新拟合得到最终的直线斜率和截距,以及直线端点,将所得的直线端点和步骤2)中的人工标注直线端点根据位置距离进行一一对应,剔除多余的直线。
所述的步骤8)中定位微平面具体方法为:根据步骤7)中直线的位置关系,确定立针微平面上底和两条斜边的直线方程,计算上底和两条斜边的两个交点的中心,将其作为坐标轴原点,与上底垂直的坐标轴记为Y轴,朝向梯形内部的方向为正方向,完成立针微平面在图像中的定位;根据每一个像素所对应的物理尺寸s,以及实际微孔中心到上底的物理距离,确定图像坐标系加工微孔的位置,再通过图像坐标系与精密运动平台坐标系的转换关系,确定物理空间中立针微平面位置和微孔的加工位置。
本发明的有益效果为:
(1)由于本发明采用基于边缘的模板匹配方法搜索立针微平面模板在图像中的位置,以及大津二值化算法分离待检测微平面和背景,所以此立针微平面定位算法具有对环境光照、噪声干扰因素不敏感的优点;
(2)由于本发明采用图像金字塔的方法对模板匹配进行加速,并从背景中分割模板图像所在感兴趣区域,所以此立针微平面定位算法具有速度快的优点;
(3)由于本发明采用了旋转的模板匹配方法,使待定位微平面仅要求在显微CCD视场内,降低了加工时对夹具定位精度的要求,从而大大降低夹具的制造成本和难度;
(4)由于本发明采用了亚像素边缘检测算法和二值化算法相结合的方法确定边缘位置,具有边缘检测精度高、边缘连续性好的优点,将定位精度提高到亚像素级;
(5)由于本发明采用了一种改进的霍夫直线检测方法,该方法可以有效判断直线是否断裂,在直线度较差时,有效处理直线的波动,并且通过最小二乘法拟合直线达到亚像素级精度,提高了立针微平面定位方法的精度。
附图说明
图1为本发明实施例方法流程图。
图2为本发明实施例模板图像。
图3为本发明实施例建立模板流程图。
图4为本发明实施例待搜索图像。
图5为本发明实施例模板匹配流程图。
图6为本发明实施例直线检测流程图。
具体实施方式
下面结合附图和实施例对本发明作详细描述。
如图1所示,一种基于显微视觉的立针微平面亚像素级定位方法,包括以下步骤:
步骤1),采集模板图像:将立针放置在二维微纳加工平台上,用用显微镜CCD对准待定位微平面,采集显微镜下立针微平面的灰度图像,其尺寸为1200×1600,在此图像中,选取立针微平面部分作为模板图像,其尺寸为200×180,适当调高光源亮度或曝光时间,使得微立针平面边缘清晰时完成采图,人工去除由于微平面表面粗糙度引起的噪声,模板图像如图2所示;
步骤2),建立模板:为了从模板图像中获取模板所需的信息,需要根据模板图像建立模板,参照图3,由于待定位立针微平面为梯形结构,并且通过显微镜CCD发现梯形的下底被另一个面遮挡,步骤1)采集出的图像对应部分呈现不规则的形状,不能成为模板部分,所以需要对模板图像中感兴趣区域进行框选,人工标注并记录感兴趣区域内信息为模板信息,从而去除干扰部分,同时减少了计算量;因为立针微平面定位的基准是基于立针微平面的三条直线边,所以在模板图像中标出三条边的位置,记录其端点;设置寻找角度范围为0-360度,角度步长1度,图像金字塔层数3,将步骤1)所得模板图像经过高斯滤波后按角度步长旋转得到360个模板图像,即得到图像金字塔;建立图像金子塔后,总共创建1440个模板图像,对所有的模板图像进行Canny边缘提取,为了进一步缩短计算时间,通过对边缘点采用隔点采样的方法,使得模板在保存边缘完整性的同时,参与计算的边缘点数量变为之前的二分之一,记录边缘点所对应位置的X、Y方向梯度以及对应梯度幅值MagGT到模板T(θ,h),θ和h分别表示不同角度、金字塔层数;
步骤3)模板匹配:获取模板T(θ,h)后,将立针放置在二维微纳加工平台上,通过夹具装夹,相机完成采图,由于方法有较强抗光照变化的能力,将光照调节在一定范围内,如图4所示,对采集到的待搜索图像进行模板匹配;参照图5,模板匹配具体方法为,首先对其建立与模板图像相同的3层图像金字塔,并对每层金字塔图像进行高斯滤波,其中更靠近顶层的金字塔图像使用小尺度高斯核,对最顶层金字塔图像使用大津算法对图像进行二值化,并通过形态学滤波中闭运算去除小型黑色区域,记录白色区域为搜索范围M,从而减少计算时间;计算待搜索图像X、Y方向梯度以及对应梯度幅值MagGS,提出一个梯度幅值阈值参数H,对梯度幅值小于H=15的点进行抑制,将该点的梯度幅值置为0,从而避免由于梯度幅值较小,但梯度方向接近,而导致的误匹配;开始搜索后,首先使用金字塔第3层的模板图像T(θ,3)在搜索范围M中进行遍历,计算每一位置的形状相似度量值S,S的值在0到1范围内,1表示完全一致;
其中:m为模板边缘点数量,(u,v)是当前的模板中心位置像素坐标,(Xi,Yi)是模板图像第i个边缘点像素坐标,分别是模板图像中坐标(Xi,Yi)对应的X方向梯度、Y方向梯度、以及梯度幅值,分别是待搜索图像中坐标为(u+Xi,v+Yi)对应X方向梯度、Y方向梯度、以及梯度幅值;
找到所有S大于阈值T=0.9的点作为种子点;通过非极大值抑制,在所有种子点的3×3领域中,保存相似度量值得分最大的点作为此层种子点Se={Se1...Sed};在下一层金字塔中,用θ邻域内的模板T(θ±θs,n-1)计算种子点Se的在n-1层金字塔对应位置的3×3邻域内的相似度量值;选取极大值对应的种子点,作为n-1层种子点,直到第0层;再使用下一个角度的模板T(θ,n)进行上述计算,完成全部角度模板的计算后,在金字塔第0层,统计不同角度模板计算得到的种子点的相似度量值大于T=0.9的种子点,从中选出极大值,即确定模板在图像中的位置和角度。完成搜索后,控制微纳加工平台,使得模板图像中心向待搜索图像中心方向移动,记录微纳加工平台移动的距离,以及模板图像在待搜索图像上移动的距离,计算出像素当量s,通过加工平台在X、Y方向的位移的距离,以及对应的图像坐标系X、Y方向上的位移,统一图像坐标系和加工平台坐标系;
步骤4)提取亚像素边缘:找到了模板图像在待搜索图像中的位置后,截取模板图像所在局部区域Q,由于立针微平面尺寸存在加工误差,所以模板图像中微平面尺寸和待搜索图像中微平面尺寸也有误差,导致模板匹配得到的结果和实际结果存在误差,需要对立针微平面在图像上的位置进行精确定位:在局部区域Q进行Canny边缘提取,计算每个边缘点的梯度方向,设定-22.5度至22.5度、157.5度至180度、-180度至-157.5度对应0度,22.5度至67.5度、-157.5度至-112.5度对应45度,67.5度至112.5度、-112.5度至-67.5度对应90度,112.5度至157.5度、-67.5度至-22.5度对应135度,判定边缘点所在区间,在对应方向上通过二次函数拟合获取亚像素边缘点,记亚像素边缘点为亚像素边缘点集E;
步骤5)轮廓边缘提取:由于方法需要满足光照不变性,且立针表面不光滑,所以步骤4)中获得的边缘会有很多杂乱边缘,边缘连续性差,对局部区域Q进行高斯模糊后,使用大津算法二值化,再进行Canny边缘提取,可以获得立针微平面的轮廓边缘,提取边缘点,记为边缘点集O;
步骤6)直线检测:参照图6,对边缘点集O使用八邻域边缘连接方法,得到多个连续边缘记录为Cm(m=0,1...n,n为连续边缘数量);在Cm中用概率霍夫直线检测方法,计算在霍夫空间内不同距离ρ、角度θ所对应的像素点数量,并记录所对应的像素点位置,加入点序列pij(i代表距离序号,j代表角度序号);如果霍夫空间中存在像素点数量超过阈值TH的直线,选择像素点数量最大值所对应的ρ0、θ0作为第一条待验证直线L;若全小于阈值TH,Cm中不存在直线,对下一连续边缘对Cm+1进行上述计算;存在待验证直线L时,由于图像中获取的边缘并不是理想直线,所以需要考虑到直线的波动,计算Cm中所有点到直线L的距离,将所有距离小于阈值d的边缘点,加入点序列随后将点序列投影到此直线L上,计算投影点到直线L与图像边界交点的距离,从小到大进行排序,距离最小的点作为直线的端点A0;如果后一个点和前一点之间的距离不超过断裂阈值D,则认为属于同一条直线;若后一点到前一点距离超过断裂阈值,记录前一点为直线L的另一端点B0,后一点为下一条直线的起始端点A1;如果直线A0B0超过直线要求的最短距离,则认为是一条合格直线;反之,该直线不合格,将A0B0内所有边缘点从剔除;完成判断后,以A1为起始点,重复进行前面的判断,直到该直线L上所有的点被统计完毕;完成统计后,如果存在合格直线,将放入点集lq0,并从Cm剔除中所有点,重新回到概率霍夫直线检测的步骤进行计算;如果不存在合格直线,则将ρ0、θ0所对应直线在霍夫空间的3×3邻域中所有值置为0后,寻找霍夫空间中大于TH的最大值对应ρ1、θ1,作为下一个待验证直线进行上述判断;直到所有连续边缘都进行上述计算;记录构成每条直线的直线边缘点集lq= {lq1...lqz};
步骤7)直线拟合:在构成每条直线的边缘点的3×3邻域内寻找在步骤4)中得到的边缘点集E的点,如果存在对应的亚像素边缘点,则用距离最近的亚像素边缘点代替原边缘点;反之,则将这个边缘点从直线边缘中剔除;完成上述操作后,对构成直线的亚像素边缘点进行最小二乘拟合,获得直线方程后,计算边缘点到直线的距离,通过3Sigma准则剔除距离较大的点后,重新拟合得到最终的直线斜率和截距,以及直线端点;将所得的直线端点和步骤2)中的人工标注直线端点根据位置距离进行一一对应,剔除多余的直线;
步骤8)定位微平面:根据步骤7)中直线的位置关系,确定立针微平面上底和两条斜边的直线方程,计算上底和两条斜边的两个交点的中心,将其作为坐标轴原点,与上底垂直的坐标轴记为Y轴,朝向梯形内部的方向为正方向,完成微平面在图像中的定位;根据每一个像素所对应的物理尺寸s,以及实际微孔中心到上底的物理距离,确定图像坐标系加工微孔的位置,再通过图像坐标系与精密运动平台坐标系的转换关系,确定物理空间中立针微平面位置以及微孔的加工位置。
Claims (7)
1.一种基于显微视觉的立针微平面亚像素级定位方法,其特征在于,包括以下步骤:
1)采集模板图像:将显微镜CCD对准立针微平面后,调节光源亮度或曝光时间,当立针微平面边缘清晰,完成采图,人工去除微平面表面噪声;
2)建立模板:根据模板图像建立模板,人工标注并记录步骤1)模板图像中用作定位的直线及其端点;设置寻找角度范围、角度步长、图像金字塔层数;提取模板图像边缘,记录边缘点点集q={q1…qn},其中n为边缘点总数,记录边缘点对应位置的X、Y方向梯度以及对应幅值MagGT到模板T(θ,h),θ和h分别表示不同角度、金字塔层数;
3)模板匹配:获取模板T(θ,h)后,将立针放置在二维微纳加工平台上,通过夹具装夹,相机完成采图,通过模板匹配获取模板图像在待搜索图像中的位置和旋转角度,基于精密运动平台计算像素当量s,并统一相机坐标系和加工平台坐标系;
4)提取亚像素边缘:获取模板图像位置后,从在待搜索图像中提取出模板图像所在的局部区域Q,提取亚像素边缘,记为亚像素边缘点集E;
5)轮廓边缘提取:对模板图像所在局部区域Q,通过高斯模糊后,使用大津算法二值化,提取边缘点,记为边缘点集O;
6)直线检测:对边缘点集O进行直线检测,记录构成每条直线的直线边缘点集lq={lq1...lqz};
7)直线拟合:在点集lq的邻域内搜索,如果存在步骤4)中亚像素边缘点集E的点,用点集E中的亚像素边缘点替换点集lq中的点,并拟合直线;
8)定位微平面:根据步骤7)所得直线位置、步骤3)所得像素当量s,以及加工平台和相机坐标变换关系,定位立针微平面在物理空间位置,进而确定立针微孔加工位置。
2.根据权利要求1所述的一种基于显微视觉的立针微平面亚像素级定位方法,其特征在于,所述步骤2)中建立模板的具体方法为:对步骤1)采集的模板图像通过人工框选感兴趣区域,记录感兴趣区域内信息为模板信息,在模板图像中标注用于定位微平面的直线边缘的位置,记录其端点;设置寻找角度范围θl至θh、角度步长θs、图像金字塔层数n,原始模板图像在高斯滤波后,按角度步长在角度范围内旋转得到不同角度模板图像;建立图像金子塔后,对不同角度、不同金字塔层数的模板图像通过Canny边缘检测方法,提取所有的模板图像的边缘点,并对感兴趣区域内边缘点间隔采样,记录边缘点所对应位置的X、Y方向梯度以及对应梯度幅值Mag GT到模板T(θ,h),θ和h分别表示不同角度、金字塔层数。
3.根据权利要求1所述的一种基于显微视觉的立针微平面亚像素级定位方法,其特征在于,所述的步骤3)中图像通过模板匹配的具体方法为:对采集到的图像建立n层的图像金字塔,并对每层金字塔图像进行高斯滤波,其中更靠近顶层的金字塔图像使用小尺度高斯核,对最顶层金字塔图像使用大津算法进行二值化,并通过形态学滤波中闭运算去除小型黑色区域,记录白色区域为搜索范围M;计算待搜索图像的X、Y方向梯度以及对应梯度幅值Mag GS;提出一个梯度幅值阈值参数H,对梯度幅值小于阈值H的点进行抑制,将该点的梯度幅值置为0;开始搜索后,使用金字塔顶层的模板T(θ,n)在搜索范围M中遍历,计算每一位置的形状相似度量值S,S的值在0到1范围内,1表示完全一致,
其中:m为模板边缘点数量,(u,v)是当前的模板中心位置像素坐标,(Xi,Yi)是模板图像第i个边缘点像素坐标,分别是模板图像中坐标(Xi,Yi)对应的X方向梯度、Y方向梯度、以及梯度幅值,分别是待搜索图像中坐标为(u+Xi,v+Yi)对应X方向梯度、Y方向梯度、以及梯度幅值;
找到所有S大于阈值T的点作为种子点;通过非极大值抑制,在所有种子点的3×3领域中,保存相似度量值得分最大的点作为此层种子点Se={Se1...Sed};在下一层金字塔中,用θ邻域内的模板T(θ±θs,n-1)计算种子点Se的在n-1层金字塔对应位置的3×3邻域内的相似度量值;选取极大值对应的种子点,作为n-1层种子点,直到第0层;再使用下一个角度的模板T(θ,n)进行上述计算;完成全部角度模板的计算后,在金字塔第0层,统计不同角度模板计算得到的种子点的相似度量值大于T的种子点,从中选出极大值,即确定模板在图像中的位置和角度。
4.根据权利要求1所述的一种基于显微视觉的立针微平面亚像素级定位方法,其特征在于,所述的步骤4)提取亚像素边缘方法为:在局部区域Q进行Canny边缘提取,计算每个边缘点的梯度方向,设定-22.5度至22.5度、157.5度至180度、-180度至-157.5度对应0度,22.5度至67.5度、-157.5度至-112.5度对应45度,67.5度至112.5度、-112.5度至-67.5度对应90度,112.5度至157.5度、-67.5度至-22.5度对应135度,判定边缘点所在区间,在对应方向上通过二次函数拟合获取亚像素边缘点,记亚像素边缘点为亚像素边缘点集E。
5.根据权利要求1所述的一种基于显微视觉的立针微平面亚像素级定位方法,其特征在于,所述的步骤6)直线检测具体方法为:对步骤5)中所得边缘点集O通过八邻域边缘连接,得到多个连续边缘Cm,Cm={C1...Cy},对C1采用概率霍夫直线检测方法,计算在霍夫空间内不同距离ρ、角度θ所对应的像素点数量,并记录所对应的像素点位置,加入点序列pij,i代表距离序号,j代表角度序号;如果霍夫空间中存在像素点数量超过阈值TH的直线,选择像素点数量最大值所对应的ρ0、θ0作为第一条待验证直线L;若全小于阈值TH,则C1中不存在直线,对下一连续边缘C2进行上述计算;存在待验证直线L时,计算C1中所有点到直线L的距离,将所有距离小于阈值d的边缘点,加入点集将点集投影到此直线L上,计算投影点到直线L与图像边界交点的距离,从小到大进行排序,距离最小的点作为直线的端点A0,如果后一个点和前一点之间的距离不超过断裂阈值D,则认为属于同一条直线;若超过断裂阈值D,记录前一点为直线L的另一端点B0,后一点为下一条直线的起始端点A1,如果直线A0B0超过直线要求的最短距离,则认为是一条合格直线;反之,直线不合格,将A0B0内所有边缘点从剔除,以A1为起始点,重复进行前面的判断,直到该直线L上所有的点被统计完毕;完成统计后,如果存在合格直线,记录为lq1,并从C1剔除中所有点,重新回到概率霍夫直线检测的步骤进行计算;如果不存在合格直线,则将ρ0、θ0所对应直线在霍夫空间的3×3邻域中所有值置为0后,寻找霍夫空间中大于TH的最大值对应ρ1、θ1,作为下一个待验证直线进行上述判断;直到所有连续边缘都进行上述计算。
6.根据权利要求1所述的一种基于显微视觉的立针微平面亚像素级定位方法,其特征在于,所述的步骤7)中直线拟合具体方法为:在构成每条直线的边缘点lq的3×3邻域内寻找在亚像素边缘点集E,如果存在对应的亚像素边缘点,则用距离原边缘点最近的亚像素边缘点代替;反之,则将这个边缘点从直线边缘中剔除,完成上述操作后,对构成直线的亚像素边缘点进行最小二乘拟合,获得直线方程后,计算边缘点到直线的距离,通过3Sigma准则剔除距离较大的点后,重新拟合得到最终的直线斜率和截距,以及直线端点,将所得的直线端点和步骤2)中的人工标注直线端点根据位置距离进行一一对应,剔除多余的直线。
7.根据权利要求1所述的一种基于显微视觉的立针微平面亚像素级定位方法,其特征在于,所述的步骤8)中定位微平面具体方法为:根据步骤7)中直线的位置关系,确定立针微平面上底和两条斜边的直线方程,计算上底和两条斜边的两个交点的中心,将其作为坐标轴原点,与上底垂直的坐标轴记为Y轴,朝向梯形内部的方向为正方向,完成立针微平面在图像中的定位;根据每一个像素所对应的物理尺寸s,以及实际微孔中心到上底的物理距离,确定图像坐标系加工微孔的位置,再通过图像坐标系与精密运动平台坐标系的转换关系,确定物理空间中立针微平面位置和微孔的加工位置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010445400.9A CN111640154B (zh) | 2020-05-24 | 2020-05-24 | 一种基于显微视觉的立针微平面亚像素级定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010445400.9A CN111640154B (zh) | 2020-05-24 | 2020-05-24 | 一种基于显微视觉的立针微平面亚像素级定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111640154A true CN111640154A (zh) | 2020-09-08 |
CN111640154B CN111640154B (zh) | 2022-04-05 |
Family
ID=72328501
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010445400.9A Active CN111640154B (zh) | 2020-05-24 | 2020-05-24 | 一种基于显微视觉的立针微平面亚像素级定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111640154B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112150541A (zh) * | 2020-09-10 | 2020-12-29 | 中国石油大学(华东) | 一种多led晶片定位算法 |
CN112801111A (zh) * | 2020-12-18 | 2021-05-14 | 广东工业大学 | 基于梯度方向的图像直线边缘点分类方法及装置 |
CN115330826A (zh) * | 2022-08-11 | 2022-11-11 | 创新奇智(青岛)科技有限公司 | 直线检测方法、装置、电子设备及计算机可读存储介质 |
CN117173389A (zh) * | 2023-08-23 | 2023-12-05 | 无锡芯智光精密科技有限公司 | 一种基于轮廓匹配的固晶机视觉定位方法 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090180663A1 (en) * | 2008-01-11 | 2009-07-16 | Andrew John Stoddart | Detection of blobs in images |
CN102945368A (zh) * | 2012-10-17 | 2013-02-27 | 西安理工大学 | 啤酒瓶盖激光字符的定位识别方法 |
JP2013190938A (ja) * | 2012-03-13 | 2013-09-26 | Ricoh Co Ltd | ステレオ画像処理装置 |
CN103679725A (zh) * | 2013-12-13 | 2014-03-26 | 中南大学 | 基于直线检测和模板匹配的刀刃区域自动检索方法 |
CN104268857A (zh) * | 2014-09-16 | 2015-01-07 | 湖南大学 | 一种基于机器视觉的快速亚像素边缘检测与定位方法 |
CN104408722A (zh) * | 2014-11-26 | 2015-03-11 | 南京工业大学 | 一种用于pcb视觉定位的检测方法 |
CN104981105A (zh) * | 2015-07-09 | 2015-10-14 | 广东工业大学 | 一种快速精确获得元件中心和偏转角度的检测及纠偏方法 |
CN105913415A (zh) * | 2016-04-06 | 2016-08-31 | 吴晓军 | 一种具有广泛适应性的图像亚像素边缘提取方法 |
CN105930858A (zh) * | 2016-04-06 | 2016-09-07 | 吴晓军 | 一种带旋转、缩放的快速高精度几何模板匹配方法 |
CN106530347A (zh) * | 2016-09-28 | 2017-03-22 | 吴晓军 | 一种稳定的高性能圆特征检测方法 |
CN106969706A (zh) * | 2017-04-02 | 2017-07-21 | 聊城大学 | 基于双目立体视觉的工件检测与三维测量***及检测方法 |
CN108830838A (zh) * | 2018-05-28 | 2018-11-16 | 江苏大学 | 一种亚像素级的pcb板残缺基准点检测方法 |
CN109211102A (zh) * | 2017-07-03 | 2019-01-15 | 北京信息科技大学 | 亚像素级角点的检测方法及*** |
CN109583504A (zh) * | 2018-12-05 | 2019-04-05 | 河北工业大学 | 一种基于视觉的pcb板圆形定位孔快速准确识别方法 |
CN110189314A (zh) * | 2019-05-28 | 2019-08-30 | 长春大学 | 基于机器视觉的汽车仪表盘图像定位方法 |
-
2020
- 2020-05-24 CN CN202010445400.9A patent/CN111640154B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090180663A1 (en) * | 2008-01-11 | 2009-07-16 | Andrew John Stoddart | Detection of blobs in images |
JP2013190938A (ja) * | 2012-03-13 | 2013-09-26 | Ricoh Co Ltd | ステレオ画像処理装置 |
CN102945368A (zh) * | 2012-10-17 | 2013-02-27 | 西安理工大学 | 啤酒瓶盖激光字符的定位识别方法 |
CN103679725A (zh) * | 2013-12-13 | 2014-03-26 | 中南大学 | 基于直线检测和模板匹配的刀刃区域自动检索方法 |
CN104268857A (zh) * | 2014-09-16 | 2015-01-07 | 湖南大学 | 一种基于机器视觉的快速亚像素边缘检测与定位方法 |
CN104408722A (zh) * | 2014-11-26 | 2015-03-11 | 南京工业大学 | 一种用于pcb视觉定位的检测方法 |
CN104981105A (zh) * | 2015-07-09 | 2015-10-14 | 广东工业大学 | 一种快速精确获得元件中心和偏转角度的检测及纠偏方法 |
CN105913415A (zh) * | 2016-04-06 | 2016-08-31 | 吴晓军 | 一种具有广泛适应性的图像亚像素边缘提取方法 |
CN105930858A (zh) * | 2016-04-06 | 2016-09-07 | 吴晓军 | 一种带旋转、缩放的快速高精度几何模板匹配方法 |
CN106530347A (zh) * | 2016-09-28 | 2017-03-22 | 吴晓军 | 一种稳定的高性能圆特征检测方法 |
CN106969706A (zh) * | 2017-04-02 | 2017-07-21 | 聊城大学 | 基于双目立体视觉的工件检测与三维测量***及检测方法 |
CN109211102A (zh) * | 2017-07-03 | 2019-01-15 | 北京信息科技大学 | 亚像素级角点的检测方法及*** |
CN108830838A (zh) * | 2018-05-28 | 2018-11-16 | 江苏大学 | 一种亚像素级的pcb板残缺基准点检测方法 |
CN109583504A (zh) * | 2018-12-05 | 2019-04-05 | 河北工业大学 | 一种基于视觉的pcb板圆形定位孔快速准确识别方法 |
CN110189314A (zh) * | 2019-05-28 | 2019-08-30 | 长春大学 | 基于机器视觉的汽车仪表盘图像定位方法 |
Non-Patent Citations (3)
Title |
---|
HUA GAO 等: "A New Approach of Template Matching and Localization Based on the Guidance of Feature Points", 《ICIA》 * |
YU WANG 等: "An Micro Head Positioning Slot Recognition Detection System Based on Machine Vision", 《IOP CONFERENCE SERIES: MATERIALS SCIENCE AND ENGINEERING》 * |
李超 等: "激光测距仪镜头感光元件的快速识别与定位算法研究", 《红外技术》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112150541A (zh) * | 2020-09-10 | 2020-12-29 | 中国石油大学(华东) | 一种多led晶片定位算法 |
CN112801111A (zh) * | 2020-12-18 | 2021-05-14 | 广东工业大学 | 基于梯度方向的图像直线边缘点分类方法及装置 |
CN115330826A (zh) * | 2022-08-11 | 2022-11-11 | 创新奇智(青岛)科技有限公司 | 直线检测方法、装置、电子设备及计算机可读存储介质 |
CN115330826B (zh) * | 2022-08-11 | 2024-02-20 | 创新奇智(青岛)科技有限公司 | 直线检测方法、装置、电子设备及计算机可读存储介质 |
CN117173389A (zh) * | 2023-08-23 | 2023-12-05 | 无锡芯智光精密科技有限公司 | 一种基于轮廓匹配的固晶机视觉定位方法 |
CN117173389B (zh) * | 2023-08-23 | 2024-04-05 | 无锡芯智光精密科技有限公司 | 一种基于轮廓匹配的固晶机视觉定位方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111640154B (zh) | 2022-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111640154B (zh) | 一种基于显微视觉的立针微平面亚像素级定位方法 | |
CN108921865B (zh) | 一种抗干扰的亚像素直线拟合方法 | |
CN105335973B (zh) | 运用于带钢加工生产线的视觉处理方法 | |
CN108007388A (zh) | 一种基于机器视觉的转盘角度高精度在线测量方法 | |
CN111260731A (zh) | 一种棋盘格亚像素级角点自适应检测的方法 | |
CN110910359B (zh) | 一种基于特征跟踪与骨架特征匹配的fpc线路检测方法 | |
CN111508032B (zh) | 相机标定过程中特征点的排序方法 | |
CN112132886A (zh) | 一种航空零件圆孔圆心快速定位及圆度检测方法 | |
JP6510665B2 (ja) | 基板プリアライメント方法 | |
CN113112496A (zh) | 一种基于自适应阈值的亚像素轴类零件尺寸测量方法 | |
CN110728326A (zh) | 一种带旋转的边缘模板匹配方法 | |
CN114820761A (zh) | 基于图像显微扫描平台xy方向夹角测量与运动补偿方法 | |
TW201915443A (zh) | 基於影像尺的定位量測系統 | |
CN108960236B (zh) | 基于二维码匹配与图像识别的指针式仪表识别方法 | |
CN112329880A (zh) | 一种基于相似性度量和几何特征的模板快速匹配方法 | |
CN109785324B (zh) | 一种大幅面pcb板定位方法 | |
CN113607058B (zh) | 一种基于机器视觉的直刃刀尺寸检测方法及*** | |
CN113705564A (zh) | 一种指针式仪表识别读数方法 | |
CN111815580B (zh) | 一种图像边缘识别方法及小模数齿轮模数检测方法 | |
CN103679713A (zh) | 一种针对部分匹配图像的二维图像配准方法 | |
CN116596987A (zh) | 一种基于双目视觉的工件三维尺寸高精度测量方法 | |
CN114419042A (zh) | 基于激光投影辅助线的板材轮廓视觉提取方法、***和可读存储介质 | |
CN107292924A (zh) | 一种对激光加工形成的激光槽的特征自动识别方法 | |
CN113222880A (zh) | 分析检测方法 | |
CN118015004B (zh) | 一种激光切割扫描***及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |