CN105427237B - 一种大幅面光学测量***的钢网图像配准与检测方法 - Google Patents

一种大幅面光学测量***的钢网图像配准与检测方法 Download PDF

Info

Publication number
CN105427237B
CN105427237B CN201510833458.XA CN201510833458A CN105427237B CN 105427237 B CN105427237 B CN 105427237B CN 201510833458 A CN201510833458 A CN 201510833458A CN 105427237 B CN105427237 B CN 105427237B
Authority
CN
China
Prior art keywords
image
steel mesh
shooting
vertex
triangle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510833458.XA
Other languages
English (en)
Other versions
CN105427237A (zh
Inventor
吴云革
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Yitian Technology Co Ltd
Original Assignee
Changchun Yitian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Yitian Technology Co Ltd filed Critical Changchun Yitian Technology Co Ltd
Priority to CN201510833458.XA priority Critical patent/CN105427237B/zh
Publication of CN105427237A publication Critical patent/CN105427237A/zh
Application granted granted Critical
Publication of CN105427237B publication Critical patent/CN105427237B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/14Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/48Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种大幅面光学测量***的钢网图像配准与检测方法,涉及图像处理领域,解决了现有图像配准与检测方法存在的配准与检测精度低、难度大的问题。本发明利用大幅面光学测量***的先验设计参数作为先验信息来指导图像配准的算法,创造性的将星图识别方法引入钢网图像配准方法中,将钢网图像配准需要计算的缩放、旋转和平移三个关键的参量采用不同的方法分开计算,将复杂的钢网图像配准问题简化。本发明充分利用了大幅面光学测量***的设计参数作为图像检测的先验信息,降低了原本非常复杂的钢网图像的配准与检测的难度,首次将星图识别的方法引入钢网图像配准方法中,与利用Hough变换和先验摆放角的配准方法相互验证,有效的保证了配准的成功率。

Description

一种大幅面光学测量***的钢网图像配准与检测方法
技术领域
本发明涉及图像处理技术领域,具体涉及一种大幅面光学测量***的钢网图像配准与检测方法。
背景技术
近年来,电子行业获得了飞速的发展,PCB板电路集成度和复杂度也越来越高,贴片元件在电路板上的比重也越来越大。表面贴装技术已经成为当今电装技术中最通用的技术,而焊膏印刷是表面贴装技术的一道关键工序,其质量直接影响PCB板组装的质量和效率。印刷钢网的制作目前主要有3种工艺:化学蚀刻、激光切割和电铸成形。随着间距的减小,钢网上开孔的尺寸也越来越小,同时对开孔的尺寸要求也越来越高,这使得目前主要靠人工视觉检测手段来检测钢网的质量越来越难以满足要求。对于大尺寸的钢网(如900mm×800mm),开孔数量可达几万个,人工视觉检测很难保证检测的正确率,同时人工视觉检测也很难给出精确的测量数据。目前大多数的生产厂家依旧采用游标卡尺、千分尺和显微镜等工具对印刷钢网进行尺寸检测,这将消耗大量的时间,实时性和正确性都难以保证。可以预见的是,基于数字图像处理和计算机技术的机器视觉检测代替人工检测是钢网检测技术发展的必然趋势。
对于尺寸较大的钢网需要采用大幅面光学测量***对其成像,该大幅面光学测量***的核心技术是大视场多面阵CMOS拼接合成的全视场图像的配准与检测。其拍摄的钢网图像的特点是视场大、像元数多、重复图形信息多、纹理细节信息少等,这给图像的配准和检测都带来了相当大的难度。此外,现有的图像配准与检测方法的设计者通常是仅针对图像本身进行处理,没有充分结合光学测量***的先验设计参数等信息来进行处理,这使得配准和检测精度有所将降低。
发明内容
为了解决现有的图像配准与检测方法存在的配准与检测精度低、难度大的的问题,本发明提出了一种大幅面光学测量***的钢网图像配准与检测方法,有效的结合光学测量***的先验信息进行大视场图像的配准与检测。
本发明为解决技术问题所采用的技术方案如下:
本发明的一种大幅面光学测量***的钢网图像配准与检测方法,包括以下步骤:
步骤一、根据光学测量***的设计参数和钢网的标准文件,确定图像配准与检测的先验信息:全视场钢网图像的矢量文件、拍摄图像每像元对应钢网的像面距离、钢网最大倾斜角度θ、每片CMOS拍摄区域所对应全视场的位置区域;
步骤二、将拍摄的当前帧图像进行二值化处理得到图像1,对图像1保留前N组面积最大的连通区域得到图像2;
步骤三、将图像2采用canny算子提取边缘,得到图像3;
步骤四、对图像3在±θ范围内以0.01°的精度进行Hough变换,取得到的所有旋转角度中权值最大的量作为钢网图像的旋转角度α1;
步骤五、对图像2的每个闭合连通区域提取质心,并在图像2中以所有提取的质心为顶点,排列组合所有三角形,并作满足下列条件的筛选:组成三角形的三个角均要大于最小角度门限threshold_1,组成三角形的三条边均要大于最小边长门限threshold_2,记录满足这两种门限的所有三角形信息;
步骤六、对图像1的每个闭合连通区域提取质心,并将图像2提取的全部N个质心位置映射到图像1中;在图像1中以这N个质心为中心,半径为R的范围内搜索其他质心的数量,并记录到步骤五中的每个三角形对应的顶点信息中,即每个顶点邻域质心的个数;
步骤七、将步骤五的所有三角形信息按照三角形周长的大小顺序进行排序,对每个三角形的三个顶点在记录数组中的顺序按照以下的优先级进行排序:顶点所在角的大小、顶点对边的长度、顶点对应连通区域的面积、顶点对应邻域目标的个数;按照这四个优先级记录后,最后记录该顶点在图像中的位置信息,由此得到拍摄星点信息表;
步骤八、对全视场钢网图像的矢量文件根据拍摄图像每像元对应钢网的像面距离缩放输出为与拍摄图像不存在尺度缩放关系的标准图像,并根据拍摄当前帧图像的CMOS拍摄区域所对应全视场的位置区域给出对应于当前帧的标准图像;
步骤九、对当前帧的标准图像重复步骤二、三、五、六、七的处理,得到标准星点信息表;
步骤十、设定搜索角阈值threshold_3、搜索邻域目标数量阈值threshold_4、搜索顶点连通区域面积阈值threshold_5和旋转角比较阈值α;在拍摄星点信息表中按照排好的顺序依次选取候选的三角形,在标准星点信息表中搜索同时满足threshold_3、threshold_4、threshold_5的三角形,若能找到该三角形,则利用两个配对的三角形三个顶点的位置关系,计算两幅图像的旋转角度α2,并且满足|α1-α2|<α则搜索成功,否则搜索失败;
步骤十一、若步骤十搜索成功,则当前帧图像与标准图像的旋转角度为α2,若步骤十搜索失败,则当前帧图像与标准图像的旋转角度为α1,将拍摄的当前帧图像按照计算的旋转角度与标准图像角度对齐;
步骤十二、计算经过步骤十一处理后的两幅图像的平移量,并将拍摄图像与标准图像完全对齐;
步骤十三、对步骤十二处理后的拍摄图像进行形态学预处理;
步骤十四、对步骤十三处理后的拍摄图像与标准图像依次进行异或运算、腐蚀运算和膨胀运算,最终得到所有缺陷的位置和形状。
进一步的,步骤十二中,利用归一化互相关方法计算经过步骤十一处理后的两幅图像的平移量。
进一步的,步骤十三中,所述形态学预处理包括:消除尖刺、填充孤立黑点、去除孤立亮点。
本发明的有益效果是:
1、本发明充分利用了大幅面光学测量***的先验设计参数作为先验信息来指导图像配准的算法,这主要体现在以下几个方面:第一,利用拍摄图像每像元对应钢网的像面距离和全视场钢网图像的矢量文件就可以解决图像配准的尺度缩放问题,而这个问题的解决有利于后续配准算法的精度;第二,钢网的摆放方向与成像器件最大的夹角可以作为Hough变换计算角度的范围,从而大大的降低Hough变换的计算量,由于钢网中的矩形的边缘大都是平行摆放的,故Hough变换计算的权重最大值就是整块钢网与传送方向的夹角;第三,根据拍摄当前帧图像的CMOS拍摄区域所对应全视场的位置区域给出对应于当前帧的标准图像也大大降低了图像配准的难度,使得即使全视场中有大量的重复出现的图形,钢网图像配准的方法也能实现较好的配准。
2、本发明创造性的将星图识别方法引入钢网图像配准方法中,将钢网的每一个连通区域视为一颗星,面积视为星等,这样可以把一个复杂的二值图像配准问题转化为一个星表查找的问题。但由于钢网图形的位置具有整齐排列的特点,这与传统的星图问题大不一样。故提取前N个最大的图形的质心构建星图,即减小了计算量,又增加了计算精度,并且进一步的利用每个星点邻域的信息,可以增加配准正确率。
3、本发明将钢网图像配准需要计算的缩放、旋转和平移三个关键的参量采用不同的方法分开计算,将复杂的钢网图像配准问题简化。计算旋转参数时利用Hough变换和星图配准两种方法相互验证,保证了计算的准确性,减小配准失败的概率,是一种非常有效和新颖的图像配准与检测方法。
4、本发明充分利用了大幅面光学测量***的设计参数作为图像检测的先验信息,降低了原本非常复杂的钢网图像的配准与检测的难度,首次将星图识别的方法引入钢网图像配准方法中,与利用Hough变换和先验摆放角的配准方法相互验证,有效的保证了配准的成功率。
附图说明
图1为大幅面光学测量***13片CMOS排列的示意图。
图2为拍摄的当前帧钢网图像经过二值化处理之后的图像1。
图3为对图像1保留前50组面积最大的连通区域之后的图像2。
图4为对图像2采用canny算子提取边缘之后的图像3。
图5为当前帧位置的标准图像。
图6为对步骤十二处理后的拍摄图像进行形态学预处理之后的图像。
图7为得到所有缺陷的位置和形状的图像。
图8为本发明的一种大幅面光学测量***的钢网图像配准与检测方法的流程图。
具体实施方式
以下结合附图对本发明作进一步详细说明。
如图8所示,本发明的一种大幅面光学测量***的钢网图像配准与检测方法,该方法由以下步骤实现:
步骤一、根据光学测量***的设计参数和钢网的标准文件,确定图像配准与检测的先验信息:全视场钢网图像的矢量文件,针对最大钢网尺寸为900mm×800mm;拍摄图像每像元对应15μm×15μm的钢网区域、钢网最大倾斜角度为θ=3°;13片CMOS按照图1所示品字形排列,横向的13片CMOS,纵向曝光30帧可覆盖全视场,故需要对全视场标准钢网文件划分为390个拍摄区域。
步骤二、将拍摄的当前帧图像进行二值化处理得到图像1,如图2所示。对图像1保留前50组面积最大的连通区域得到图像2,如图3所示。
步骤三、将图像2采用canny算子提取边缘,得到图像3,如图4所示。
步骤四、对图像3在±3°范围内以0.01°的精度进行Hough变换,取得到的所有旋转角度中权值最大的量作为钢网图像的旋转角度α1,结果为α1=1.99°。
步骤五、对图像2的每个闭合连通区域提取质心,并在图像2中以所有提取的质心为顶点,排列组合所有可能的三角形,组成三角形的三个角均要大于30°,组成三角形的三条边均要大于1000个像元。将满足这两种门限的所有的三角形信息记录下来,总计3748个。
步骤六、对图像1的每个闭合连通区域提取质心,并将图像2提取的全部50个质心位置映射到图像1中。在图像1中以这50个质心为中心,半径为300个像元的范围内搜索其他质心的数量,并记录到步骤五的每个三角形的对应的顶点信息中,即每个顶点邻域质心的个数。
步骤七、将步骤五的3748个三角形信息按照三角形周长的大小顺序进行排序,对每个三角形的三个顶点在记录数组中的顺序按照以下的优先级进行排序:顶点所在角的大小、顶点对边的长度、顶点对应连通区域的面积、顶点对应邻域目标的个数。按照这四个优先级记录后,最后记录该顶点在图像中的位置信息,由此得到拍摄星点信息表。
步骤八、对全视场钢网图像的矢量文件按照15μm×15μm每像元缩放标准图像,并根据拍摄当前帧图像的CMOS拍摄区域所对应全视场的位置区域给出对应于当前帧位置的标准图像,如图5所示。
步骤九、对当前帧的标准图像重复步骤二、三、五、六、七的处理,得到标准星点信息表。
步骤十、设定搜索角阈值0.01°、搜索邻域目标数量阈值1个、对应顶点连通区域面积阈值5个像元和旋转角比较阈值0.02°。在拍摄星点信息表中按照之前排好的顺序从头开始依次选取候选的三角形,在标准星点信息表中搜索同时满足角误差小于0.01°、邻域目标个数相同、对应顶点连通区域面积误差小于5个像元的三角形。利用找到的配对三角形的顶点位置计算得到两幅图像的旋转角度为2.00°,与步骤四计算的1.99°相差0.01°,小于0.02°的旋转角比较阈值,认为搜索成功。
步骤十一、将拍摄的当前帧旋转2°与标准图像角度对齐。
步骤十二、利用归一化互相关方法(NCC)计算经过步骤十一处理后的两幅图像的平移量,并将拍摄图像与标准图像完全对齐。
步骤十三、对步骤十二处理后的拍摄图像进行形态学预处理,主要包括:消除尖刺、填充孤立黑点、去除孤立亮点,如图6所示。
步骤十四、对步骤十三处理后的拍摄图像与标准图像进行异或运算,然后进行腐蚀运算和膨胀运算,最终得到所有缺陷的位置和形状,如图7所示。

Claims (3)

1.一种大幅面光学测量***的钢网图像配准与检测方法,其特征在于,包括以下步骤:
步骤一、根据光学测量***的设计参数和钢网的标准文件,确定图像配准与检测的先验信息:全视场钢网图像的矢量文件、拍摄图像每像元对应钢网的像面距离、钢网最大倾斜角度θ、每片CMOS拍摄区域所对应全视场的位置区域;
步骤二、将拍摄的当前帧图像进行二值化处理得到图像1,对图像1保留前N组面积最大的连通区域得到图像2;
步骤三、将图像2采用canny算子提取边缘,得到图像3;
步骤四、对图像3在±θ范围内以0.01°的精度进行Hough变换,取得到的所有旋转角度中权值最大的量作为钢网图像的旋转角度α1;
步骤五、对图像2的每个面积最大的连通区域提取质心,并在图像2中以所有提取的质心为顶点,排列组合所有三角形,并作满足下列条件的筛选:组成三角形的三个角均要大于最小角度门限threshold_1,组成三角形的三条边均要大于最小边长门限threshold_2,记录满足这两种门限的所有三角形信息;
步骤六、对图像1的每个闭合连通区域提取质心,并将图像2提取的全部N个质心位置映射到图像1中;在图像1中以这N个质心为中心,半径为R的范围内搜索其他质心的数量,并记录到步骤五中的每个三角形对应的顶点信息中,即每个顶点邻域质心的个数;
步骤七、将步骤五的所有三角形信息按照三角形周长的大小顺序进行排序,对每个三角形的三个顶点在记录数组中的顺序按照以下的优先级进行排序:顶点所在角的大小、顶点对边的长度、顶点对应连通区域的面积、顶点对应邻域目标的个数;按照这四个优先级记录后,最后记录该顶点在图像中的位置信息,由此得到拍摄星点信息表;
步骤八、对全视场钢网图像的矢量文件根据拍摄图像每像元对应钢网的像面距离缩放输出为与拍摄图像不存在尺度缩放关系的标准图像,并根据拍摄当前帧图像的CMOS拍摄区域所对应全视场的位置区域给出对应于当前帧的标准图像;
步骤九、对当前帧的标准图像重复步骤二、三、五、六、七的处理,得到标准星点信息表;
步骤十、设定搜索角阈值threshold_3、搜索邻域目标数量阈值threshold_4、搜索顶点连通区域面积阈值threshold_5和旋转角比较阈值α;在拍摄星点信息表中按照排好的顺序依次选取候选的三角形,在标准星点信息表中搜索同时满足threshold_3、threshold_4、threshold_5的三角形,若能找到该三角形,则利用两个配对的三角形三个顶点的位置关系,计算两幅图像的旋转角度α2,并且满足|α1-α2|<α则搜索成功,否则搜索失败;
步骤十一、若步骤十搜索成功,则当前帧图像与标准图像的旋转角度为α2,若步骤十搜索失败,则当前帧图像与标准图像的旋转角度为α1,将拍摄的当前帧图像按照计算的旋转角度与标准图像角度对齐;
步骤十二、计算经过步骤十一处理后的两幅图像的平移量,并将拍摄图像与标准图像完全对齐;
步骤十三、对步骤十二处理后的拍摄图像进行形态学预处理;
步骤十四、对步骤十三处理后的拍摄图像与标准图像依次进行异或运算、腐蚀运算和膨胀运算,最终得到所有缺陷的位置和形状。
2.根据权利要求1所述的一种大幅面光学测量***的钢网图像配准与检测方法,其特征在于,步骤十二中,利用归一化互相关方法计算经过步骤十一处理后的两幅图像的平移量。
3.根据权利要求1所述的一种大幅面光学测量***的钢网图像配准与检测方法,其特征在于,步骤十三中,所述形态学预处理包括:消除尖刺、填充孤立黑点、去除孤立亮点。
CN201510833458.XA 2015-11-25 2015-11-25 一种大幅面光学测量***的钢网图像配准与检测方法 Active CN105427237B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510833458.XA CN105427237B (zh) 2015-11-25 2015-11-25 一种大幅面光学测量***的钢网图像配准与检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510833458.XA CN105427237B (zh) 2015-11-25 2015-11-25 一种大幅面光学测量***的钢网图像配准与检测方法

Publications (2)

Publication Number Publication Date
CN105427237A CN105427237A (zh) 2016-03-23
CN105427237B true CN105427237B (zh) 2018-04-24

Family

ID=55505419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510833458.XA Active CN105427237B (zh) 2015-11-25 2015-11-25 一种大幅面光学测量***的钢网图像配准与检测方法

Country Status (1)

Country Link
CN (1) CN105427237B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108470081B (zh) * 2018-01-17 2021-10-12 天津大学 一种超声速边界层多块网格定位及快速流场插值方法
CN109785324B (zh) * 2019-02-01 2020-11-27 佛山市南海区广工大数控装备协同创新研究院 一种大幅面pcb板定位方法
CN110977073B (zh) * 2020-01-03 2022-04-01 广州市鸿利显示电子有限公司 一种在焊锡点定点刷锡的方法
CN112950680B (zh) * 2021-02-20 2022-07-05 哈尔滨学院 一种卫星遥感图像配准方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103901416A (zh) * 2014-03-31 2014-07-02 西安电子科技大学 一种基于稳健主成分分析法的多通道杂波抑制方法
CN104867104A (zh) * 2015-05-20 2015-08-26 天津大学 基于xct图像非刚度配准的目标鼠解剖结构图谱获取方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3747866B2 (ja) * 2002-03-05 2006-02-22 日産自動車株式会社 車両用画像処理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103901416A (zh) * 2014-03-31 2014-07-02 西安电子科技大学 一种基于稳健主成分分析法的多通道杂波抑制方法
CN104867104A (zh) * 2015-05-20 2015-08-26 天津大学 基于xct图像非刚度配准的目标鼠解剖结构图谱获取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
柔性印制电路板自动生产设备关键技术研究;陈安;《中国博士学位论文全文数据库 信息科技辑》;20140515(第5期);第I138-45页 *

Also Published As

Publication number Publication date
CN105427237A (zh) 2016-03-23

Similar Documents

Publication Publication Date Title
CN105427237B (zh) 一种大幅面光学测量***的钢网图像配准与检测方法
CN105608671B (zh) 一种基于surf算法的图像拼接方法
WO2019169532A1 (zh) 车牌识别方法及云***
CN104881665A (zh) 一种芯片字符识别与校验方法及装置
US10713515B2 (en) Using multiple cameras to perform optical character recognition
CN105184225B (zh) 一种多国纸币图像识别方法和装置
CN115184380B (zh) 基于机器视觉的印刷电路板焊点异常检测方法
CN107590494A (zh) 答题卡图片定位方法、装置、可读存储介质以及电子设备
CN109738450A (zh) 笔记本键盘的检测方法和装置
CN108709500B (zh) 一种电路板元件定位匹配方法
CN106529368A (zh) 二维码识别区域定位的方法
CN110544202A (zh) 一种基于模板匹配与特征聚类的视差图像拼接方法及***
CN115775246A (zh) 一种pcb元器件缺陷检测的方法
CN113506276A (zh) 一种测量结构位移的标志物及方法
CN106709870A (zh) 一种近景影像直线段匹配方法
Chen et al. An adaptive deep learning framework for fast recognition of integrated circuit markings
CN113705564B (zh) 一种指针式仪表识别读数方法
Lu et al. HFENet: A lightweight hand‐crafted feature enhanced CNN for ceramic tile surface defect detection
CN113781419B (zh) 一种柔性pcb板缺陷检测方法、视觉***、装置及介质
CN110288040A (zh) 一种基于拓扑验证的图像相似评判方法及设备
CN113780484A (zh) 工业产品缺陷检测方法和装置
CN116843633A (zh) 图像检测方法、装置、电子设备和存储介质
CN204576547U (zh) 一种芯片字符校验装置
CN116091470A (zh) 基于5g技术的智能工控方法、装置、电子设备及存储介质
CN108345817A (zh) 一种圆柱面二维码的识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Wu Yunge

Inventor before: Zhang Xingxiang

Inventor before: Wang Wenhua

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant