CN116563357B - 图像匹配方法、装置、计算机设备及计算机可读存储介质 - Google Patents
图像匹配方法、装置、计算机设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN116563357B CN116563357B CN202310838392.8A CN202310838392A CN116563357B CN 116563357 B CN116563357 B CN 116563357B CN 202310838392 A CN202310838392 A CN 202310838392A CN 116563357 B CN116563357 B CN 116563357B
- Authority
- CN
- China
- Prior art keywords
- image
- fourier
- transformation
- production image
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000003860 storage Methods 0.000 title claims abstract description 18
- 238000004519 manufacturing process Methods 0.000 claims abstract description 161
- 238000013461 design Methods 0.000 claims abstract description 135
- 230000009466 transformation Effects 0.000 claims abstract description 84
- 238000010586 diagram Methods 0.000 claims abstract description 77
- 230000008859 change Effects 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 21
- 230000004044 response Effects 0.000 claims description 19
- 230000007547 defect Effects 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 5
- 230000001629 suppression Effects 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000013519 translation Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000007689 inspection Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- IKGXIBQEEMLURG-NVPNHPEKSA-N rutin Chemical compound O[C@@H]1[C@H](O)[C@@H](O)[C@H](C)O[C@H]1OC[C@@H]1[C@@H](O)[C@H](O)[C@@H](O)[C@H](OC=2C(C3=C(O)C=C(O)C=C3OC=2C=2C=C(O)C(O)=CC=2)=O)O1 IKGXIBQEEMLURG-NVPNHPEKSA-N 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 150000003071 polychlorinated biphenyls Chemical class 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30141—Printed circuit board [PCB]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种图像匹配方法、装置、计算机设备及计算机可读存储介质。方法包括：对PCB的生产图像和设计图像分别进行傅里叶梅林变换，得到傅里叶梅林变换后的生产图像和傅里叶梅林变换后的设计图像；基于相位相关法利用傅里叶梅林变换后的设计图像校正傅里叶梅林变换后的生产图像，得到校正后的生产图像；将傅里叶梅林变换后的设计图像和校正后的生产图像切分为数目相同的分块图，得到设计图像的分块图和生产图像的分块图；将设计图像的分块图与对应的生产图像的分块图进行一一匹配，得到匹配结果。采用本申请，能够快速且精准实现PCB的设计图像与生产图像之间的匹配。
Description
技术领域
本申请涉及数据处理技术领域，具体涉及一种图像匹配方法、装置、计算机设备及计算机可读存储介质。
背景技术
现代电子产品中，印制电路板（PCB，Printed Circuit Board）的应用非常广泛。在PCB的缺陷检测过程中，需要对PCB的设计图和生产图进行精确对齐。然而，由于PCB场景的复杂性和图像数据量的庞大（例如，图像的像素一般达到30000*30000），通用的图像匹配方法难以满足实际需求，严重影响了后续PCB缺陷检测的效率和精度。
传统中对PCB的设计图和生产图进行匹配是在PCB板上选取几个特征点，根据特征点计算变换关系，从而实现将设计图和生产图对齐的。这种基于特征点的匹配方法，匹配精度低，而且对于PCB的图像数据量较大时速度慢。
发明内容
有鉴于此，本申请实施例提供一种图像匹配方法、装置、计算机设备及计算机可读存储介质，能够快速且精准实现PCB的设计图像与生产图像之间的匹配。
第一方面，本申请提供了一种图像匹配方法，包括：
对PCB的生产图像和设计图像分别进行傅里叶梅林变换，得到傅里叶梅林变换后的生产图像和傅里叶梅林变换后的设计图像；
基于相位相关法利用傅里叶梅林变换后的设计图像校正傅里叶梅林变换后的生产图像，得到校正后的生产图像；
将傅里叶梅林变换后的设计图像和校正后的生产图像切分为数目相同的分块图，得到设计图像的分块图和生产图像的分块图；
将设计图像的分块图与对应的生产图像的分块图进行一一匹配，得到匹配结果。
第二方面，本申请提供了一种图像匹配装置，包括：
变换单元，用于对PCB的生产图像和设计图像分别进行傅里叶梅林变换，得到傅里叶梅林变换后的生产图像和傅里叶梅林变换后的设计图像；
校正单元，用于基于相位相关法利用傅里叶梅林变换后的设计图像校正傅里叶梅林变换后的生产图像，得到校正后的生产图像；
切分单元，用于将傅里叶梅林变换后的设计图像和校正后的生产图像切分为数目相同的分块图，得到设计图像的分块图和生产图像的分块图；
匹配单元，用于将设计图像的分块图与对应的生产图像的分块图进行一一匹配，得到匹配结果。
第三方面，本申请提供了一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行该计算机程序时实现上述的方法中的步骤。
第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的方法中的步骤。
第五方面，本申请提供了一种计算机程序产品，计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现本上述的方法中的步骤。
上述图像匹配方法、装置、计算机设备、计算机可读存储介质及计算机程序产品，采用先粗对齐再精对齐的方式，粗对齐是为了提高整体匹配的速度；精对齐主要是为了提高匹配的精度。粗对齐具体包括将PCB的生产图像和设计图像分别进行傅里叶梅林变换，得到傅里叶梅林变换后的生产图像和傅里叶梅林变换后的设计图像；基于相位相关法利用傅里叶梅林变换后的设计图像校正傅里叶梅林变换后的生产图像，得到校正后的生产图像，即可以得到生产图像和设计图像之间的尺度和角度的变化数值，以及x方向和y方向的偏移值，根据尺度和角度的变化数值以及x方向和y方向的偏移值得到校正后的生产图像。再进行精对齐，即将傅里叶梅林变换后的设计图像和校正后的生产图像进行分块，并行计算设计图像的每个分块图与对应的生产图像的每个分块图之间的像素匹配结果。因此，在图像匹配时，先粗对齐再精对齐，能够快速且精准实现PCB的设计图像与生产图像之间的匹配。
附图说明
图1为本申请实施例提供的一种图像匹配方法的应用场景图；
图2为本申请实施例提供的一种图像匹配方法的流程图；
图3为本申请实施例提供的另一种图像匹配方法的流程图；
图4为本申请实施例提供的一种精对齐的示意图；
图5为本申请实施例提供的一种图像匹配装置的示意图；
图6为本申请实施例提供的一种计算机设备的内部结构图；
图7为本申请实施例提供的另一种计算机设备的内部结构图；
图8为本申请实施例提供的一种计算机可读存储介质的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，先介绍本申请实施例提供的技术方案的应用场景。
本申请实施例提供的图像匹配方法应用于对PCB进行缺陷检测之前的匹配过程，主要是将PCB的设计图（cam图）和生产图（test图，又称实物图）进行匹配，匹配之后才进行PCB的缺陷检测。但是，由于PCB的图像数据量庞大，因此，本申请为了兼顾匹配的速度和精确度，采用由粗到细的匹配方式，先进行整体图的粗对齐，然后基于粗对齐后的结果，分块进行精对齐，即将粗对齐后设计图和生产图划分成同等数目的分块图，并行对齐每个分块图，将设计图像的分块图与对应的生产图像的分块图进行一一匹配， 得到匹配结果。
本申请实施例提供的图像匹配方法，可以应用于如图1所示的应用环境中。其中，终端102通过通信网络与服务器104进行通信。数据存储***可以存储服务器104需要处理的数据。数据存储***可以集成在服务器104上，也可以放在云上或其他网络服务器上。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备及便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
为便于理解本申请实施例的技术方案，下面将先对本申请实施例涉及的技术名词进行说明。
傅里叶梅林变换（Fourier-Mellin Transform）：是一种频域变换方法，在图像匹配过程中，常常需要处理平移、旋转、尺度变换、遮挡、形变等问题，使用傅里叶梅林变换可以很好的应对平移、平面内旋转、缩放和遮挡，是一种鲁棒性较强的方法。
对数极坐标变换（Log-polar）：与极坐标变换类似，将傅里叶梅林变换后的图像转换到对数极坐标域。根据对数极坐标变换，假如两个图片只存在旋转和缩放。旋转和缩放在对数极坐标下会被转换为平移关系，然后利用相位相关技术可以获得旋转和缩放量。
相位相关法（Phase Correlate）：用于检测两幅内容相同的图像直接的相对位移量，相位相关法基于傅里叶变换的位移定理，平移后的函数的傅里叶变换仅仅是未平移函数的傅里叶变换与一个具有线性相位的指数因子的乘积，即空间域的平移会造成频域中频谱的相移。
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请实施例作进一步详细的说明。
参见图2，该图为本申请实施例提供的一种图像匹配方法的流程图。
本申请实施例提供的图像匹配方法，包括：
S201：对PCB的生产图像和设计图像分别进行傅里叶梅林变换，得到傅里叶梅林变换后的生产图像和傅里叶梅林变换后的设计图像。
傅里叶梅林变换的作用是为了剔除PCB的生产图像和设计图像在频域上的平移因子的影响，即x方向和y方向的偏移。
S202：基于相位相关法利用傅里叶梅林变换后的设计图像校正傅里叶梅林变换后的生产图像，得到校正后的生产图像。
利用相位相关法可以得到尺度变化值、角度变化值以及xy偏移值。
本申请实施例利用傅里叶梅林变换在频域计算的高效性，例如，可以实现在80ms左右完成粗匹配的要求。对3w*3w以上像素尺寸的超大图，粗对齐的技术方案的匹配精度可达到32像素以内。
S203：将傅里叶梅林变换后的设计图像和校正后的生产图像切分为数目相同的分块图，得到设计图像的分块图和生产图像的分块图。
根据设计图像的尺寸，将设计图像和校正后的生产图像切分成相同数目的分块图，例如对于同一个位置的分块图而言，设计图像的分块图小于生产图像的分块图。
应该理解，本申请实施例不具体限定分块图的数目，可以根据实际需要来设置，例如参考设计图像的尺寸，尺寸越大，可以设置分块图的数目越多，也可以根据匹配的速度和精度来设置，例如速度越高，则分块图的数量可以越少。精度越高，则分块图的数目可以越大。
S204：将设计图像的分块图与对应的生产图像的分块图进行一一匹配， 得到匹配结果。
应该理解，为了提高匹配速度，可以并行计算每个设计图像的分块图与对应的生产图像的分块图之间的匹配结果，实现像素级别的匹配，具体可以利用模板进行匹配，相似性越高则说明匹配成功。
例如，本申请实施例提供的精对齐，可以实现精准匹配，最终匹配的精度可以达到3像素以内。
本申请实施例提供的图像匹配方法，采用先粗对齐再精对齐的方式，粗对齐是为了提高整体匹配的速度；精对齐主要是为了提高匹配的精度。粗对齐具体包括将PCB的生产图像和设计图像分别进行傅里叶梅林变换，得到傅里叶梅林变换后的生产图像和傅里叶梅林变换后的设计图像；基于相位相关法利用傅里叶梅林变换后的设计图像校正傅里叶梅林变换后的生产图像，得到校正后的生产图像，即可以得到生产图像和设计图像之间的尺度和角度的变化数值，以及x方向和y方向的偏移值，根据尺度和角度的变化数值以及x方向和y方向的偏移值得到校正后的生产图像。再进行精对齐，即将傅里叶梅林变换后的设计图像和校正后的生产图像进行分块，并行计算设计图像的每个分块图与对应的生产图像的每个分块图之间的像素匹配结果。因此，在图像匹配时，先粗对齐再精对齐，能够快速且精准实现PCB的设计图像与生产图像之间的匹配。
下面结合附图介绍一种具体的图像匹配方法的实现过程。
参见图3，该图为本申请实施例提供的另一种图像匹配方法的流程图。
S301：对PCB的生产图像和设计图像分别进行降采样，得到降采样后的生产图像和降采样后的设计图像；
应该理解，降采样是为了进一步提高图像匹配粗对齐的速度。降采样的倍数可以根据实际需要来设置，例如可以根据图像匹配的时间和精度设置具体倍数。
应该理解，生产图像和设计图像的降采样倍数可以相同。下面以生产图像的降采样为例进行介绍。
设生产图像的初始图像的宽度width，高度为height，降采样倍数为n，n可以为整数，也可以为小数，本申请实施例不做具体限定，则降采样图像的宽度width_down和高度height_down计算公式分别为：
width_down=width/n，height_down=height/n。
S302：对降采样后的生产图像和设计图像进行最邻近插值，得到傅里叶梅林变换之前的生产图像和设计图像；
为了提高计算速度，减少不必要的计算量，且粗对齐时不需要很精确的图像像素值，因此降采样图像的像素值是采用最邻近插值方法得到的。
S303：对最邻近插值后的生产图像和降采样后的设计图像分别进行傅里叶梅林变换，得到傅里叶梅林变换后的生产图像和傅里叶梅林变换后的设计图像。
在基于相位相关法利用傅里叶梅林变换后的设计图像校正傅里叶梅林变换后的生产图像，得到校正后的生产图像之前，方法还包括：
S304：将傅里叶梅林变换后的设计图像和傅里叶梅林变换后的生产图像均进行对数极坐标变换，得到对数极坐标中的设计图像和对数极坐标中的生产图像。
为了有利于计算更加简便，将上述傅里叶梅林变换后的设计图像和傅里叶梅林变换后的生产图像均转到对数极坐标域，则旋转和缩放在对数极坐标下将变成平移关系。
基于相位相关法利用傅里叶梅林变换后的设计图像校正傅里叶梅林变换后的生产图像，得到校正后的生产图像，包括S305和S306。
S305：基于相位相关法获得对数极坐标中的设计图像和对数极坐标中的生产图像之间的尺度变化值、角度变化值和xy偏移值；
基于相位相关法获得对数极坐标中的设计图像和对数极坐标中的生产图像之间的xy偏移值，包括：
基于相位相关法获得所有响应值中满足预设条件的k个响应值，k为大于等于2的整数；例如，满足预设条件可以为从大至小对所有响应值进行排序，排序位于前k个的响应值作为满足预设条件的响应值。例如，基于相位相关法在空间位置获得一系列的响应值，例如共N个响应值，从N个响应值中选出前k个较大响应值，N为大于等于2的整数。
对k个响应值进行非极大值抑制，获得多个候选点。非极大值抑制是为了剔除掉无效的候选点，留下有效的候选点。
针对每个候选点，获得对数极坐标中的设计图像和对数极坐标中的生产图像之间的匹配数值；将多个匹配数值中最高匹配数值对应的候选点作为最终匹配位置；目的是为了从多个候选点找到平移位置的最优点。具体地，可以利用相似性函数来获得对数极坐标中的设计图像和对数极坐标中的生产图像之间的匹配数值。
根据最终匹配位置获得对数极坐标中的设计图像和对数极坐标中的生产图像之间的xy偏移值。具体地，可以以最终匹配位置为基准，移动生产图像，对生产图像进行偏移校准。
本申请实施例提供的获得最终匹配位置的方式更具有鲁棒性，可以提高偏移校准的准确性。
应该理解，由于之前对生产图像和设计图像均进行了降采样，因此，得到xy偏移值以后，需要对xy偏移值进行对应的升采样，以体现原始图像的特点。
S306：根据尺度变化值、角度变化值和xy偏移值对对数极坐标中的生产图像进行校正，得到校正后的生产图像。即可以得到粗对齐后的具体匹配数值。
具体地，校正生产图像具体可以为原始生产图像乘以一个逆变换矩阵，利用尺度变化值、角度变化值和xy偏移值来构建逆变换矩阵的参数。
S307：将傅里叶梅林变换后的设计图像和校正后的生产图像切分为数目相同的分块图，得到设计图像的分块图和生产图像的分块图；将设计图像的分块图与对应的生产图像的分块图进行一一匹配，得到匹配结果，包括：
并行计算设计图像的每个分块图与对应的生产图像的每个分块图之间的像素匹配结果。
参见图4，该图为本申请实施例提供的一种精对齐的示意图。图4中左侧为设计图，图4中右侧为生产图，可以看出，设计图包括很多分块图，生产图包括很多分块图；其中，左侧C对应的分块图与右侧T对应的分块图为对应匹配的分块图。
S308：利用匹配后的设计图像的分块图与对应的生产图像的分块图，对PCB的生产图像进行缺陷检测，得到缺陷检测结果。
本申请实施例提供的图像匹配方法，可以实现PCB的设计图像和生产图像的精准匹配，由于先粗匹配，因此可以提高匹配速度，再并行对于分块图进行精对齐，从而可以提高匹配精度。由于可以对PCB的设计图像和生产图像分别在角度、尺度和位置上进行校正，因此可以应对PCB的复杂场景。本申请实施例提供的技术方案可以实现自动光学检测（AOI，Automated Optical Inspection）的超大图精确匹配，方便后续PCB缺陷检测流程的进行，提高整个PCB缺陷检测流程的速率和准确性。
应该理解的是，虽然如上述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种图像匹配装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像匹配装置实施例中的具体限定可以参见上文中对于图像匹配方法的限定，在此不再赘述。
如图5所示，本申请实施例提供了一种图像匹配装置500，包括：
变换单元501，用于对PCB的生产图像和设计图像分别进行傅里叶梅林变换，得到傅里叶梅林变换后的生产图像和傅里叶梅林变换后的设计图像；
校正单元502，用于基于相位相关法利用傅里叶梅林变换后的设计图像校正傅里叶梅林变换后的生产图像，得到校正后的生产图像；
切分单元503，用于将傅里叶梅林变换后的设计图像和校正后的生产图像切分为数目相同的分块图，得到设计图像的分块图和生产图像的分块图；
匹配单元504，用于将设计图像的分块图与对应的生产图像的分块图进行一一匹配，得到匹配结果。
在一些实施例中，在基于相位相关法利用傅里叶梅林变换后的设计图像校正傅里叶梅林变换后的生产图像，得到校正后的生产图像方面，校正单元502具体用于：
基于相位相关法获得对数极坐标中的设计图像和对数极坐标中的生产图像之间的尺度变化值、角度变化值和xy偏移值；
根据尺度变化值、角度变化值和xy偏移值对对数极坐标中的生产图像进行校正，得到校正后的生产图像。
在一些实施例中，在基于相位相关法获得对数极坐标中的设计图像和对数极坐标中的生产图像之间的xy偏移值方面，校正单元502具体用于：
基于相位相关法获得所有响应值中满足预设条件的k个响应值，k为大于等于2的整数；
对k个响应值进行非极大值抑制，获得多个候选点；
针对每个候选点，获得对数极坐标中的设计图像和对数极坐标中的生产图像之间的匹配数值；将多个匹配数值中最高匹配数值对应的候选点作为最终匹配位置；
根据最终匹配位置获得对数极坐标中的设计图像和对数极坐标中的生产图像之间的xy偏移值。
在一些实施例中，在将设计图像的分块图与对应的生产图像的分块图进行一一匹配，得到匹配结果方面，匹配单元504具体用于：
并行计算设计图像的每个分块图与对应的生产图像的每个分块图之间的像素匹配结果。
在一些实施例中，变换单元501还用于：将傅里叶梅林变换后的设计图像和傅里叶梅林变换后的生产图像均进行对数极坐标变换，得到对数极坐标中的设计图像和对数极坐标中的生产图像。
在一些实施例中，装置还包括检测单元，其中：
检测单元，用于利用匹配后的设计图像的分块图与对应的生产图像的分块图，对PCB的生产图像进行缺陷检测，得到缺陷检测结果。
在一些实施例中，装置还包括采样单元，其中：
采样单元，用于对PCB的生产图像和设计图像分别进行降采样，得到降采样后的生产图像和降采样后的设计图像；
在对PCB的生产图像和设计图像分别进行傅里叶梅林变换，得到傅里叶梅林变换后的生产图像和傅里叶梅林变换后的设计图像方面，变换单元501具体用于：
对降采样后的生产图像和降采样后的设计图像分别进行傅里叶梅林变换，得到傅里叶梅林变换后的生产图像和傅里叶梅林变换后的设计图。
上述图像匹配装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以以硬件形式内嵌于或独立于计算机设备中的处理器，也可以以软件形式存储于计算机设备中的存储器，以便于处理器调用执行以上各个模块对应的操作。
在一些实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）及通信接口。其中，处理器、存储器和输入/输出接口通过***总线连接，通信接口通过输入/输出接口连接到***总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储设计图。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述的图像匹配方法中的步骤。
在一些实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元及输入装置。其中，处理器、存储器和输入/输出接口通过***总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到***总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现上述的图像匹配方法中的步骤。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏；该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6或图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一些实施例中，提供了一种计算机设备，该计算机设备包括存储器和处理器，存储器存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一些实施例中，如图8所示提供了一种计算机可读存储介质的内部结构图，计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一些实施例中，提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（FerroelectricRandom Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（StaticRandom Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (7)
1.一种图像匹配方法，其特征在于，包括：
对PCB的生产图像和设计图像分别进行傅里叶梅林变换，得到傅里叶梅林变换后的生产图像和傅里叶梅林变换后的设计图像；
将所述傅里叶梅林变换后的设计图像和所述傅里叶梅林变换后的生产图像均进行对数极坐标变换，得到所述对数极坐标中的设计图像和所述对数极坐标中的生产图像；
基于相位相关法获得所述对数极坐标中的设计图像和所述对数极坐标中的生产图像之间的尺度变化值、角度变化值和xy偏移值；根据所述尺度变化值、所述角度变化值和所述xy偏移值对所述对数极坐标中的生产图像进行校正，得到校正后的生产图像；
其中，所述基于相位相关法获得所述对数极坐标中的设计图像和所述对数极坐标中的生产图像之间的xy偏移值，包括：基于相位相关法获得所有响应值中满足预设条件的k个响应值，所述k为大于等于2的整数；对所述k个响应值进行非极大值抑制，获得多个候选点；针对每个所述候选点，获得所述对数极坐标中的设计图像和所述对数极坐标中的生产图像之间的匹配数值；将多个所述匹配数值中最高匹配数值对应的所述候选点作为最终匹配位置；根据所述最终匹配位置获得所述对数极坐标中的设计图像和所述对数极坐标中的生产图像之间的xy偏移值；
将所述傅里叶梅林变换后的设计图像和所述校正后的生产图像切分为数目相同的分块图，得到所述设计图像的分块图和所述生产图像的分块图；
将所述设计图像的分块图与对应的所述生产图像的分块图进行一一匹配，得到匹配结果。
2.根据权利要求1所述的方法，其特征在于，所述将所述设计图像的分块图与对应的所述生产图像的分块图进行一一匹配，得到匹配结果，包括：
并行计算所述设计图像的每个分块图与对应的所述生产图像的每个分块图之间的像素匹配结果。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
利用匹配后的所述设计图像的分块图与对应的所述生产图像的分块图，对所述PCB的生产图像进行缺陷检测，得到缺陷检测结果。
4.根据权利要求1所述的方法，其特征在于，在所述对PCB的生产图像和设计图像分别进行傅里叶梅林变换，得到傅里叶梅林变换后的生产图像和傅里叶梅林变换后的设计图像之前，所述方法还包括：
对所述PCB的生产图像和设计图像分别进行降采样，得到降采样后的生产图像和降采样后的设计图像；
所述对PCB的生产图像和设计图像分别进行傅里叶梅林变换，得到傅里叶梅林变换后的生产图像和傅里叶梅林变换后的设计图像，包括：
对所述降采样后的生产图像和所述降采样后的设计图像分别进行傅里叶梅林变换，得到傅里叶梅林变换后的生产图像和傅里叶梅林变换后的设计图像。
5.一种图像匹配装置，其特征在于，包括：
变换单元，用于对PCB的生产图像和设计图像分别进行傅里叶梅林变换，得到傅里叶梅林变换后的生产图像和傅里叶梅林变换后的设计图像；
校正单元，用于将所述傅里叶梅林变换后的设计图像和所述傅里叶梅林变换后的生产图像均进行对数极坐标变换，得到所述对数极坐标中的设计图像和所述对数极坐标中的生产图像；基于相位相关法获得所述对数极坐标中的设计图像和所述对数极坐标中的生产图像之间的尺度变化值、角度变化值和xy偏移值；根据所述尺度变化值、所述角度变化值和所述xy偏移值对所述对数极坐标中的生产图像进行校正，得到校正后的生产图像；其中，所述基于相位相关法获得所述对数极坐标中的设计图像和所述对数极坐标中的生产图像之间的xy偏移值，包括：基于相位相关法获得所有响应值中满足预设条件的k个响应值，所述k为大于等于2的整数；对所述k个响应值进行非极大值抑制，获得多个候选点；针对每个所述候选点，获得所述对数极坐标中的设计图像和所述对数极坐标中的生产图像之间的匹配数值；将多个所述匹配数值中最高匹配数值对应的所述候选点作为最终匹配位置；根据所述最终匹配位置获得所述对数极坐标中的设计图像和所述对数极坐标中的生产图像之间的xy偏移值；
切分单元，用于将所述傅里叶梅林变换后的设计图像和所述校正后的生产图像切分为数目相同的分块图，得到所述设计图像的分块图和所述生产图像的分块图；
匹配单元，用于将所述设计图像的分块图与对应的所述生产图像的分块图进行一一匹配，得到匹配结果。
6.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序指令，所述处理器执行所述计算机程序指令时实现如权利要求1-4中任一项所述的方法中的步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-4中任一项所述的方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310838392.8A CN116563357B (zh) | 2023-07-10 | 2023-07-10 | 图像匹配方法、装置、计算机设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310838392.8A CN116563357B (zh) | 2023-07-10 | 2023-07-10 | 图像匹配方法、装置、计算机设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116563357A CN116563357A (zh) | 2023-08-08 |
| CN116563357B true CN116563357B (zh) | 2023-11-03 |
Family
ID=87495106
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310838392.8A Active CN116563357B (zh) | 2023-07-10 | 2023-07-10 | 图像匹配方法、装置、计算机设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116563357B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103824086A (zh) * | 2014-03-24 | 2014-05-28 | 东方网力科技股份有限公司 | 一种图像匹配方法及装置 |
| CN104239882A (zh) * | 2013-06-14 | 2014-12-24 | 富士通株式会社 | 图像相似度确定装置和方法以及图像特征获取装置和方法 |
| CN107516322A (zh) * | 2017-08-11 | 2017-12-26 | 浙江大学 | 一种基于对数极空间的图像物体大小和旋转估计计算方法 |
| CN109767401A (zh) * | 2019-01-15 | 2019-05-17 | 深圳看到科技有限公司 | 画面优化方法、装置、终端及对应的存储介质 |
| CN114463391A (zh) * | 2022-01-26 | 2022-05-10 | 中国电子科技集团公司第十四研究所 | 一种利用图像分块匹配的sar图像配准方法 |
| CN114708151A (zh) * | 2022-06-02 | 2022-07-05 | 深圳市先地图像科技有限公司 | 一种pcb板图像的处理方法 |
| CN114998097A (zh) * | 2022-07-21 | 2022-09-02 | 深圳思谋信息科技有限公司 | 图像对齐方法、装置、计算机设备和存储介质 |
| CN115239690A (zh) * | 2022-08-11 | 2022-10-25 | 成都数之联科技股份有限公司 | 一种基于图像识别的pcb线序检测方法及*** |
| CN115965646A (zh) * | 2023-03-16 | 2023-04-14 | 深圳思谋信息科技有限公司 | 区域划分方法、装置、计算机设备及计算机可读存储介质 |
| CN116362957A (zh) * | 2021-12-27 | 2023-06-30 | 广州镭晨智能装备科技有限公司 | Pcb板卡图像对齐的方法、装置、介质和电子设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2296143A1 (fr) * | 2000-01-18 | 2001-07-18 | 9071 9410 Quebec Inc. | Systeme d'inspection optique |
| US20030185432A1 (en) * | 2002-03-29 | 2003-10-02 | Hong Dezhong | Method and system for image registration based on hierarchical object modeling |
-
2023
- 2023-07-10 CN CN202310838392.8A patent/CN116563357B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104239882A (zh) * | 2013-06-14 | 2014-12-24 | 富士通株式会社 | 图像相似度确定装置和方法以及图像特征获取装置和方法 |
| CN103824086A (zh) * | 2014-03-24 | 2014-05-28 | 东方网力科技股份有限公司 | 一种图像匹配方法及装置 |
| CN107516322A (zh) * | 2017-08-11 | 2017-12-26 | 浙江大学 | 一种基于对数极空间的图像物体大小和旋转估计计算方法 |
| CN109767401A (zh) * | 2019-01-15 | 2019-05-17 | 深圳看到科技有限公司 | 画面优化方法、装置、终端及对应的存储介质 |
| CN116362957A (zh) * | 2021-12-27 | 2023-06-30 | 广州镭晨智能装备科技有限公司 | Pcb板卡图像对齐的方法、装置、介质和电子设备 |
| CN114463391A (zh) * | 2022-01-26 | 2022-05-10 | 中国电子科技集团公司第十四研究所 | 一种利用图像分块匹配的sar图像配准方法 |
| CN114708151A (zh) * | 2022-06-02 | 2022-07-05 | 深圳市先地图像科技有限公司 | 一种pcb板图像的处理方法 |
| CN114998097A (zh) * | 2022-07-21 | 2022-09-02 | 深圳思谋信息科技有限公司 | 图像对齐方法、装置、计算机设备和存储介质 |
| CN115239690A (zh) * | 2022-08-11 | 2022-10-25 | 成都数之联科技股份有限公司 | 一种基于图像识别的pcb线序检测方法及*** |
| CN115965646A (zh) * | 2023-03-16 | 2023-04-14 | 深圳思谋信息科技有限公司 | 区域划分方法、装置、计算机设备及计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于傅里叶-梅林变换的图像匹配方法研究;戴宪策 等;《红外技术》;第38卷(第10期);第860-863页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116563357A (zh) | 2023-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Accurate light field depth estimation with superpixel regularization over partially occluded regions | |
| CN110096929A (zh) | 基于神经网络的目标检测 | |
| CN111340077A (zh) | 基于注意力机制的视差图获取方法和装置 | |
| CN113963072B (zh) | 双目摄像头标定方法、装置、计算机设备和存储介质 | |
| CN110163095B (zh) | 回环检测方法、回环检测装置及终端设备 | |
| CN113516697B (zh) | 图像配准的方法、装置、电子设备及计算机可读存储介质 | |
| CN116563357B (zh) | 图像匹配方法、装置、计算机设备及计算机可读存储介质 | |
| CN112927163A (zh) | 图像数据增强方法、装置、电子设备及存储介质 | |
| CN115760641B (zh) | 基于多尺度特征注意力网络的遥感影像去云雾方法和设备 | |
| CN113298098B (zh) | 基础矩阵估计方法及相关产品 | |
| CN116527908B (zh) | 运动场估计方法、装置、计算机设备和存储介质 | |
| CN117237347B (zh) | Pcb板缺陷检测方法、装置、存储介质及电子设备 | |
| CN115861429B (zh) | 图像采集设备标定方法、装置、计算机设备和存储介质 | |
| CN115965856B (zh) | 图像检测模型构建方法、装置、计算机设备及存储介质 | |
| CN117576645B (zh) | 基于bev视角的车位检测方法、装置和计算机设备 | |
| CN116659520B (zh) | 基于仿生偏振视觉增强的匹配定位方法、装置和设备 | |
| CN115880249B (zh) | 基于图像的对象分割方法、装置、设备和介质 | |
| CN115994955B (zh) | 相机外参标定方法、装置和车辆 | |
| CN115761239B (zh) | 一种语义分割方法及相关装置 | |
| CN116402842A (zh) | 边缘缺陷检测方法、装置、计算机设备及存储介质 | |
| CN115063408B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN117635554A (zh) | 线路缺陷检测方法、装置、计算机设备及存储介质 | |
| CN116883491A (zh) | 调整距离确定方法、装置、计算机设备和存储介质 | |
| CN117764819A (zh) | 图像处理方法、装置、电子设备和存储介质 | |
| CN115760774A (zh) | 区域检测方法、装置、计算机设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |