CN109685142A - 一种图像匹配方法及装置 - Google Patents
一种图像匹配方法及装置 Download PDFInfo
- Publication number
- CN109685142A CN109685142A CN201811591694.5A CN201811591694A CN109685142A CN 109685142 A CN109685142 A CN 109685142A CN 201811591694 A CN201811591694 A CN 201811591694A CN 109685142 A CN109685142 A CN 109685142A
- Authority
- CN
- China
- Prior art keywords
- image
- hog feature
- target area
- area image
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种图像匹配方法,其中,该方法包括:获取待检测的目标图像,并将目标图像划分为至少一个目标区域图像;对于上述目标区域图像中的至少一个,提取该目标区域图像的方向梯度直方图HOG特征,并将该目标区域图像的HOG特征与从参考图像中提取出的HOG特征进行匹配;基于匹配的结果,确定该目标图像中是否包含有相应参考图像的图像特征。由于对目标图像进行了局部分区,以及将从目标区域图像提取到的HOG特征与从参考图像的HOG特征进行匹配,而目标图像局部的目标区域图像的HOG特征又能描述图像的边缘信息,因此,该方法不仅能适应图像空间特征和光学变化,而且通过HOG特征体现的边缘信息可以确定图像形状,从而实现了PCB内对元器件的自动检测。
Description
技术领域
本申请涉及数据处理技术领域,具体而言,涉及一种图像匹配方法及装置。
背景技术
随着智能制造产业的兴起,电子设备的生产制造过程也越来越智能化,印制线路板(Printed CircuitBoard,PCB)是电子设备中必不可少的一部分,对印制线路板的电子元器件进行检测是生产制造过程中一项重要操作流程。
目前,在对电子元器件进行检测时主要基于图像匹配算法,具体是利用将电子元器件的参照图像与待检测图像的每个像素点的特征依次进行匹配,以便从PCB中找到匹配的电子元器件。但是这种匹配像素点的方式,没有考虑到各个像素点之间的关联,对于图像的整体空间特征以及光学变化适应性不强,导致图像匹配的准确率较低。
发明内容
有鉴于此,本申请实施例的目的在于提供一种图像匹配方法及装置,能够解决现有技术中存在的无法适应图像局部的空间特征以及光学变化适应性不强的问题,达到了在PCB内有效检测元器件的目的。
第一方面,本申请实施例提供了一种图像匹配方法,包括:
获取待检测的目标图像,并将所述目标图像划分为至少一个目标区域图像;
对于所述目标区域图像中的至少一个,提取该目标区域图像的方向梯度直方图HOG特征,并将该目标区域图像的HOG特征与从参考图像中提取出的HOG特征进行匹配;
基于上述匹配的结果,确定所述目标图像中是否包含有所述参考图像的图像特征。
一种可能的实施方式,相邻两个目标区域图像之间存在重叠区域。
一种可能的实施方式,所述将该目标区域图像的HOG特征与从参考图像中提取出的HOG特征进行匹配,包括:
计算该目标区域图像的HOG特征与从所述参考图像中提取出的HOG特征之间的相似度;
所述基于所述匹配的结果,确定所述目标图像中是否包含有所述参考图像的图像特征,包括:
当所述至少一个目标区域图像中存在计算出的相似度大于预设值的目标区域图像,则确定所述目标图像中包含所述参考图像的图像特征;
当所述至少一个目标区域图像中均不存在计算出的相似度大于所述预设值的目标区域图像,则确定所述目标图像中不包含所述参考图像的图像特征。
一种可能的实施方式,在提取划分出的每个目标区域图像的HOG特征之前,还包括:
对所述目标图像和/或所述参考图像进行基本图像处理;
其中,所述基本图像处理包括以下处理中的一种或多种:图像灰度化处理、图像锐化处理、图像增强处理。
一种可能的实施方式,所述提取该目标区域图像的HOG特征,包括:
计算该目标区域图像中各像素点的梯度幅值和梯度方向,以及,将该目标区域图像划分成至少一个区块,每个区块由N1*N2个像素点组成,N1、N2为正整数;
基于每个区块中各像素点的梯度幅值和梯度方向,统计每个区块的HOG特征;
将所述至少一个区块的HOG特征串联组合,得到该目标区域图像的HOG特征。
一种可能的实施方式,所述将所述至少一个区块的HOG特征串联组合,得到该目标区域图像的HOG特征,包括:
将所述至少一个区块的HOG特征串联组合后得到的组合HOG特征进行归一化处理,将归一化处理后的组合HOG特征确定为该目标区域图像的HOG特征。
一种可能的实施方式,在将所述至少一个区块的HOG特征串联组合后得到的组合HOG特征进行归一化处理之后,还包括:
对归一化处理后的组合HOG特征进行降维,将降维后的组合HOG特征确定为该目标区域图像的HOG特征。
第二方面,本申请实施例还提供一种图像匹配装置,包括:
目标区域图像划分单元,用于获取待检测的目标图像,并将所述目标图像划分为至少一个目标区域图像;
提取匹配单元,用于对于所述目标区域图像中的至少一个,提取该目标区域图像的方向梯度直方图HOG特征,并将该目标区域图像的HOG特征与从参考图像中提取出的HOG特征进行匹配;
确定单元,用于基于上述匹配的结果,确定所述目标图像中是否包含有所述参考图像的图像特征。
一种可能的实施方式,相邻两个目标区域图像之间存在重叠区域。
一种可能的实施方式,在所述将该目标区域图像的HOG特征与从参考图像中提取出的HOG特征进行匹配时,所述提取匹配单元用于:
计算该目标区域图像的HOG特征与从所述参考图像中提取出的HOG特征之间的相似度;
所述确定单元,进一步用于:
当所述至少一个目标区域图像中存在计算出的相似度大于预设值的目标区域图像,则确定所述目标图像中包含所述参考图像的图像特征;
当所述至少一个目标区域图像中均不存在计算出的相似度大于所述预设值的目标区域图像,则确定所述目标图像中不包含所述参考图像的图像特征。
一种可能的实施方式,所述装置还包括预处理单元,用于在提取划分出的每个目标区域图像的HOG特征之前,执行以下操作:
对所述目标图像和/或所述参考图像进行基本图像处理;
其中,所述基本图像处理包括以下处理中的一种或多种:图像灰度化处理、图像锐化处理、图像增强处理。
一种可能的实施方式,在所述提取该目标区域图像的HOG特征时,所述提取匹配单元用于:
计算该目标区域图像中各像素点的梯度幅值和梯度方向,以及,将该目标区域图像划分成至少一个区块,每个区块由N1*N2个像素点组成,N1、N2为正整数;
基于每个区块中各像素点的梯度幅值和梯度方向,统计每个区块的HOG特征;
将所述至少一个区块的HOG特征串联组合,得到该目标区域图像的HOG特征。
一种可能的实施方式,在所述将所述至少一个区块的HOG特征串联组合,得到该目标区域图像的HOG特征时,所述提取匹配单元用于:
将所述至少一个区块的HOG特征串联组合后得到的组合HOG特征进行归一化处理,将归一化处理后的组合HOG特征确定为该目标区域图像的HOG特征。
一种可能的实施方式,在将所述至少一个区块的HOG特征串联组合后得到的组合HOG特征进行归一化处理之后,所述提取匹配单元还用于:
对归一化处理后的组合HOG特征进行降维,将降维后的组合HOG特征确定为该目标区域图像的HOG特征。
第三方面,本申请实施例还提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面中任一种可能的实施方式中图像匹配方法的步骤。
第四方面,本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面,或第一方面中任一种可能的实施方式中图像匹配方法的步骤。
本申请实施例中,通过将待检测的目标图像划分成至少一个目标区域图像,可以将全局图像范围缩小到局部图像,不仅能减小运算量,而且,目标区域图像作为目标图像的局部图像,能较好的适应局部空间特征以及光学变化。进一步地,对上述至少一个目标区域图像提取HOG特征,以及将提取到的HOG特征与从对应的参考图像提取到的HOG特征进行匹配,并基于匹配结果,确定目标图像中是否包含该参考图像的图像特征,由于提取的是目标图像局部的HOG特征,HOG特征能够极好地描述局部的目标区域图像的边缘信息,从而能达到检测局部图像内边缘形状的目的,实现了对PCB内部元器件的自动检测。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的第一种图像匹配方法的流程图;
图2示出了本申请实施例所提供的第二种图像匹配方法的流程图;
图3示出了本申请实施例中的梯度方向区间示例图;
图4示出了本申请实施例所提供的一种图像匹配装置的结构示意图;
图5示出了本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
为便于对本实施例进行理解,首先对本申请实施例所公开的一种图像匹配方法进行详细介绍。
实施例一
本实施例提供了一种图像匹配方法,如图1所示,所述方法包括:步骤100至步骤120。
步骤100:获取待检测的目标图像,并将获得的目标图像划分为至少一个目标区域图像。
具体的,本申请实施例中,将印制线路板(Printed Circuit Board,PCB)图像作为待检测的目标图像,其主要目的是为了判断PCB图像中是否存在目标元器件(如,芯片、电阻、电感等等),或者,判断PCB图像中存在的缺陷,(如,元器件异常、电路异常和/或焊接异常等,元器件异常包括:元器件缺失、元器件错误、元器件损坏、元器件偏移和/或元器件偏转;电路异常包括:连线错误、线路损坏和/或线路短路;焊接异常包括:空焊、焊锡过多和/或焊锡过少,等等),以判断PCB是否存在缺陷,从而实现PCB的自动检测,当然,上述应用场景仅是优选的一种场景而已,本申请实施例所提供的方法,也可以应用在图像匹配的其他场景。
进一步地,由于本申请实施例是利用方向梯度直方图(Histogram of OrientedGradient,HOG)进行PCB图像的元器件检测,即是通过计算和统计图像局部区域的方向梯度直方图构建特征,因此,在获得待检测的目标图像之后,为了后续便于提取相应特征,需要先将获得的目标图像划分为若干个目标区域图像。
步骤110:对于获得的目标区域图像中的至少一个,提取该目标区域图像的HOG特征,并将该目标区域图像的HOG特征与从参考图像中提取出的HOG特征进行匹配。
在确定若干目标区域图像后,针对至少一个目标区域图像,执行以下操作:具体提取该目标区域图像的HOG特征,并将提取到的HOG特征与从对应的参考图像提取到的HOG特征进行相似度匹配。
所谓参考图像,即是待检测PCB图像中待测元器件对应的实物参考图,用于判断待测元器件是否正确或者是否完整,而参考图像的HOG特征可以是预先经过计算获得,而后存储在指定区域,以便能随时被提取出来完成上述匹配操作,从而节省了计算量,提高了匹配效率。
步骤120:基于已获得的匹配结果,确定该目标图像中是否包含有参考图像的图像特征。
具体的,基于前述步骤获得的匹配结果,确定待检测的目标图像中是否包含有参考图像的图像特征,进而实现目标图像基于参考图像的自动检测。
实施例二
本实施例提供了一种图像匹配方法,如图2所示,所述方法包括:步骤200至步骤260。
为了减少环境因素,或图像质量本身对提取HOG特征结果的影响,在提取目标图像的HOG特征之前,需要对待检测的目标图像和/或参考图像执行了一系列的基本图像处理操作,上述基本图像处理包括以下处理中的一种或多种:图像灰度化处理、图像锐化处理、图像增强处理。
之所以要将目标图像进行图像灰度化处理,是因为在图像的纹理特征中,图像局部的曝光贡献比重较大,所以这种图像处理方式能够有效地降低图像局部的阴影和光照变化影响,同时也能抑制噪音信号。
较佳的,本申请实施例中,采用Gamma矫正法对目标图像的每个像素点的灰度值进行归一化处理,以获得目标图像的灰度图,具体实现公式如下:
I(x,y)=I(x,y)gamma 公式一
其中,(x,y)表示像素点的坐标位置,I表示像素点的灰度值。例如,gamma可以为1/2,即,将原始的目标图像的所有像素点的灰度值取平方根,以实现目标图像的灰度归一化。
进一步地,还可以对目标图像进行图像锐化处理,以增强边缘特征,故本申请实施例中,可以通过采用锐化处理,能凸显目标图像中的元器件轮廓信息。
进一步地,还可以对目标图像进行图像增强处理,以使其灰度值集中分布在较窄的区间内,因此,本申请实施例中,采用直方图均衡化增加局部的对比度,能更清晰的展示图像的各个细节,实现图像画质的增强与改善。
通过直方图均衡化对目标图像进行图像增强处理,具体操作如下:
首先,设定灰度等级,并统计目标图像中每个灰度等级对应的像素点的个数;
其次,计算每个灰度等级的分布密度,其中,某灰度等级的分布密度为该灰度等级下像素点的个数与该目标图像像素点总数的占比;
然后,建立灰度等级和累计分布密度的累计分布直方图关系,在累计分布直方图中,某灰度等级的累计分布密度通常表现为含该灰度等级之前的所有灰度等级的所有分布密度的累加值。例如,现有A、B、C三个灰度等级,其中,A的分布密度为30%,B的分布密度为40%,C的分布密度为30%,则,A的累计分布密度为30%,B的累计分布密度为70%(30%+40%),C的累计分布密度为100%(30%+40%+30%)。
接着,对累计分布密度进行取整操作,具体为:先确定该目标图像中最大的灰度等级,再将该灰度等级乘以每个灰度等级对应的累计分布密度,以获得更新后的各个灰度等级。
最后,将目标图像原始的各个灰度等级全部替换为更新后的各个灰度等级。
本发明实施例中,通过分布密度调整每个像素的灰度等级,能够凸显分布密度较高的元器件。
虽然,上述基本图像操作是以目标图像为例进行说明的,根据处理的需要,也可以采用上述相同的图像处理操作对参考图像进行预处理。
步骤200:获取待检测的目标图像,并将获得的目标图像划分为至少一个目标区域图像,其中,相邻两个目标区域图像之间可以存在重叠区域。
本申请实施例中,可以将获取的待检测的目标图像按照预定义大小划分为至少一个目标区域图像,相邻两个目标区域图像之间可以存在部分重叠区域。
具体的,在待检测的目标图像上,采用固定大小(预定义的)的滑动窗口按照设定步长进行滑动,且将步长设定在滑动窗口的固定大小范围内,滑动方向按照实际情况,可以设置为上下滑动,也可以设置为左右滑动,这样,相邻两个目标区域图像之间存在一定重叠区域,使得后续在匹配参考图像时,能减少目标区域图像内容的遗漏,从而提高匹配精度。
例如,假设待检测目标图像的大小为128*64像素,且滑动窗口的固定大小设置为9*9像素,并将步长设置为一个像素大小,这样,在128*64像素的目标图像上,采用9*9像素大小的滑动窗口按照一个像素大小的步长进行滑动,由于步长仅为一个像素大小,倘若存在第二个目标区域图像,那么,第一个目标区域图像和第二个目标区域图像在一个方向上重叠了8个像素。
本申请实施例中,也可以不采用滑动窗口的形式,例如:直接按照固定大小将目标图像划分为若干目标区域图像。
步骤210:确定一个目标区域图像,并提取该目标区域图像的方向梯度直方图HOG特征。
具体的,针对获得的目标区域图像中的至少一个,提取该目标区域图像的方向梯度直方图HOG特征。
由于本申请是基于滑动窗口提取目标区域图像的,因此,在实施时,先确定一个目标区域图像,并对该目标区域图像执行提取HOG特征的操作,其中,图像的HOG特征表征了该图像对应的方向梯度直方图。
具体实施时,首先,分别计算该目标区域图像中各个像素点的梯度幅值和梯度方向,以及,将该目标区域图像划分成至少一个区块,每个区块由N1*N2个像素点组成,且N1和N2为正整数。
较佳的,本申请实施例中,首先通过以下公式求解该目标区域图像中坐标为(x,y)的像素点的梯度幅值和梯度方向:
Gx(x,y)=H(x+1,y)-H(x-1,y) 公式二
Gy(x,y)=H(x,y+1)-H(x,y-1) 公式三
其中,式中Gx(x,y)、Gy(x,y)、H(x,y)分别表示输入的目标区域图像中像素点(x,y)处的水平方向梯度、垂直方向梯度和像素值。推导可知,像素点(x,y)处的梯度幅值G(x,y)和梯度方向α(x,y)分别为:
然后,基于每个区块中各像素点的梯度幅值和梯度方向,统计每个区块的HOG特征,并将至少一个区块的HOG特征串联组合,得到该目标区域图像的HOG特征。
例如,合理假设目标区域图像M由区块1和区块2组成,且区块1和区块2均是由8*8个像素点组成的,以区块1为例进行说明,将区块1的180°梯度方向均等分成了9个梯度方向区间(Z1:0°-20°;Z2:20°-40°;Z3:40°-60°;Z4:60°-80°;Z5:80°-100°;Z6:100°-120°;Z7:120°-140°;Z8:140°-160°;Z9:160°-180°),且对称相位角归属的梯度方向区间相同,如“0°-20°”和“180°-200°”均归属梯度方向区间Z1,“20°-40°”和“200°-220°”均归属梯度方向区间Z2,为了直观说明,具体参见图3所示。
经过上述公式四和公式五的计算,可知区块1中各个像素点的梯度幅值和梯度方向,然后,通过统计区块1中的各个像素点落入各个梯度方向区间的个数,再通过各个像素点各自的梯度幅值进行加权投影,从而获得上述9个梯度方向区间各自对应的像素点分布密度,具体的,若某个像素点的梯度方向落入“60°-80°”或“240°-260°”内,则“60°-80°”或“240°-260°”对应的梯度方向区间Z3内像素点的计数加1,继续假设若梯度方向区间Z3最终的像素点个数为3,则以这三个像素点各自梯度幅值之和乘以“3”,所得值即为梯度方向区间Z3的像素点分布密度,其他梯度方向区间同理可得对应的像素点分布密度。
从图像上来看,区块1的HOG特征是“横坐标为9个梯度方向区间,纵坐标为像素点分布密度”的梯度方向直方图,从空间维度上来看,区块1的HOG特征是一个9维的特征向量。
同理,采用上述相同的方式,即可获得区块2的HOG特征。
那么,在确定目标区域图像M的区块1和区块2各自的HOG特征后,将区块1和区块2各自的HOG特征串联可得目标区域图像M的HOG特征,由上,可知目标区域图像M的组合HOG特征是2*9维的特征向量。
然而,由于区块局部的光照变化大以及局部背景的对比度高,使得组合而成的目标区域图像的梯度强度变化范围非常大,因此,需要对目标区域图像的光照、阴影和边缘进行压缩,以减小损失,本申请实施例中,将目标区域图像的各个区块的HOG特征串联组合后得到的组合HOG特征进行归一化处理,并将归一化处理后的组合HOG特征重新确定为该目标区域图像的HOG特征。
例如,可以对组合HOG特征取对数值等等,在此不再赘述。
进一步地,由于目标区域图像对应的归一化处理后的组合HOG特征是由各个区块的HOG特征串联组合而成的,因此,计算量较大,为了减少运算量,提高匹配速度,本申请实施例中,对归一化处理后的组合HOG特征再进行降维,并将降维后的组合HOG特征确定为该目标区域图像的HOG特征。
具体降维步骤如下:
首先,对归一化处理后的组合HOG特征的特征向量X进行特征矩阵中心化操作,具体为:计算特征向量X每列的均值,并从相应列中减去该均值,以得到新的特征向量Y,其中,特征向量X中的每一列对应一个区块;
其次,利用公式六计算协方差矩阵C,以及协方差矩阵C的特征值和特征向量,其中,N为区块个数,YT为Y的转置;
接着,获得的协方差矩阵C进行分解,将其转化为对角矩阵,并从协方差矩阵C的最大特征值开始,依次取前K个特征值对应的特征向量组成投影矩阵P,其中,K是预先设定的降维后的维度值;
最后,采用投影矩阵P对特征向量Y进行映射,得到降维后的特征向量Z,较佳的,本申请实施例中,对应的公式为:
Z=PY 公式七
至此,最终获得降维后的组合HOG特征,即为该目标区域图像最终的HOG特征。
上述求取目标区域图像最终的HOG特征的操作同样适用于从对应参考图像提取HOG特征,参考图像的HOG特征可以是预先提取并存储在某一位置的,也可以是在提取该目标区域图像的HOG特征的同时提取的,本申请实施例中,并不限定于此。
步骤220:计算该目标区域图像的HOG特征与从参考图像中提取出的HOG特征之间的相似度。
具体的,计算该目标区域图像的HOG特征与从对应参考图像中提取出的HOG特征之间的相似度,相似度可以是两个HOG特征之间的欧几里得距离或者是巴氏系数,当然,本申请实施例中,并不限定采用何种方式计算目标区域图像的HOG特征与对应参考图像的HOG特征之间相似度。
步骤230:判断该目标区域图像与参考图像之间的相似度是否大于预设值,若是,则执行步骤240,否则,继续执行步骤250。
对于采用滑动窗口逐步从目标图像中划分提取目标区域图像的实施方式,可以针对先获取的目标区域图像,从中提取HOG特征,并与从参考图像中提取的HOG特征进行匹配,具体通过计算该目标区域图像的HOG特征与参考图像的HOG特征之间相似度,再根据相似度与预设值的比较,从而判断是否匹配。
由计算可知,如若在先滑动所得的目标区域图像的HOG特征与参考图像的HOG特征之间的相似度大于预设值,则可直接确定该目标图像中包含有该参考图像的图像特征。
如若在先滑动所得的目标区域图像的HOG特征与参考图像的HOG特征之间的相似度不大于预设值,则执行步骤250,具体判断预先划分的若干目标区域图像中是否还存在剩余的目标区域图像,如果存在,则滑动窗口继续向前滑动,以提取下一个目标区域图像,并重复执行步骤210至步骤220,如果目标图像中不存在剩余的目标区域图像时,则可直接判定该目标图像中不包含相应参考图像的图像特征。
可见,通过滑动窗口,并非将目标图像的全部HOG特征与参考图像的HOG特征进行比较,而是采用局部拆分和逐步比较的思路,使得一旦确定了某个目标区域图像的HOG特征与从参考图像中提取的HOG特征之间的相似度大于预设值,后续则无需再通过滑动窗口继续向前提取下一个目标区域图像,可以直接得出结论,即判定目标图像中包含了参考图像的图像特征,节省了特征的运算量,相应的,提高了图像的匹配速度。
步骤240:确定对应目标图像中包含有相应参考图像的图像特征。
步骤250:判断目标图像中是否存在剩余的目标区域图像,若是,则执行步骤210,否则,执行步骤260。
步骤260:确定对应目标图像中不包含有相应参考图像的图像特征。
例如,待检测的目标图像为PCB图像A,参考图像为XX电源芯片,首先,将PCB图像A按照预先设定的像素大小划分为4个目标区域图像(分别为A1、A2、A3和A4),然后分别对A1、A2、A3和A4提取HOG特征,并从指定区域提取XX电源芯片的HOG特征,经过相似度匹配,发现A3的HOG特征与XX电源芯片的HOG特征之间的相似度大于预设值96%,则可判定PCB图像A中存在XX电源芯片的图像特征。
在智能制造产业中,采用本申请实施例所提供上述方案,能够自动检测出PCB中焊接位置有偏差的元器件,或者,外观损坏的元器件等等。
本申请实施例中,首先,可以采用滑动窗口的概念,将目标图像划分成了至少一个目标区域图像,这样,一旦通过在先滑动划分所得的目标区域图像,能判定目标图像包含了参考图像的图像特征,则无需再向前滑动提取下一个目标区域图像,也无需进行后续特征提取和特征匹配操作,从而节省了计算量,提高了匹配速度。进一步地,由于HOG特征能较好的描述图像的边缘及变化特征,因此,针对单个的目标区域图像提取HOG特征,并与从参考图像中提取到的HOG特征进行匹配,通过判断目标区域图像与参考图像的匹配关系,从而判断目标图像是否存在参考图像的图像特征,上述方法,能够较好地适应图像局部的几何形变和光学形变,而且,能达到检测图像局部内边缘形状的目的,从而实现了对PCB内部元器件的自动检测。
实施例三
基于同一申请构思,本申请实施例中还提供了与图像匹配方法对应的图像匹配装置,具体参见图4所示,上述图像匹配装置400,包括:
目标区域图像划分单元401,用于获取待检测的目标图像,并将该目标图像划分为至少一个目标区域图像;
提取匹配单元402,用于对目标区域图像中的至少一个,提取该目标区域图像的方向梯度直方图HOG特征,并将该目标区域图像的HOG特征与从参考图像中提取出的HOG特征进行匹配;
确定单元403,用于基于上述匹配的结果,确定所述目标图像中是否包含有所述参考图像的图像特征。
较佳的,相邻两个目标区域图像之间存在重叠区域。
较佳的,在所述将该目标区域图像的HOG特征与从参考图像中提取出的HOG特征进行匹配时,所述提取匹配单元用于:
计算该目标区域图像的HOG特征与从所述参考图像中提取出的HOG特征之间的相似度;
所述确定单元403,进一步用于:
当所述至少一个目标区域图像中存在计算出的相似度大于预设值的目标区域图像,则确定所述目标图像中包含所述参考图像的图像特征;
当所述至少一个目标区域图像中均不存在计算出的相似度大于所述预设值的目标区域图像,则确定所述目标图像中不包含所述参考图像的图像特征。
较佳的,所述装置还包括预处理单元404,用于在提取划分出的每个目标区域图像的HOG特征之前,执行以下操作:
对所述目标图像和/或所述参考图像进行基本图像处理;
其中,所述基本图像处理包括以下处理中的一种或多种:图像灰度化处理、图像锐化处理、图像增强处理。
较佳的,在所述提取该目标区域图像的HOG特征时,所述提取匹配单元402用于:
计算该目标区域图像中各像素点的梯度幅值和梯度方向,以及,将该目标区域图像划分成至少一个区块,每个区块由N1*N2个像素点组成,N1、N2为正整数;
基于每个区块中各像素点的梯度幅值和梯度方向,统计每个区块的HOG特征;
将所述至少一个区块的HOG特征串联组合,得到该目标区域图像的HOG特征。
较佳的,在所述将所述至少一个区块的HOG特征串联组合,得到该目标区域图像的HOG特征时,所述提取匹配单元402用于:
将所述至少一个区块的HOG特征串联组合后得到的组合HOG特征进行归一化处理,将归一化处理后的组合HOG特征确定为该目标区域图像的HOG特征。
较佳的,在将所述至少一个区块的HOG特征串联组合后得到的组合HOG特征进行归一化处理之后,所述提取匹配单元402还用于:
对归一化处理后的组合HOG特征进行降维,将降维后的组合HOG特征确定为该目标区域图像的HOG特征。
由于本申请实施例中的装置解决问题的原理与本申请实施例上述图像匹配方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
实施例四
基于相同的技术构思,本申请实施例还提供了一种电子设备,参照图5所示的结构示意图,所述设备50包括处理器51、存储器52和总线53,所述存储器52存储执行指令,当所述设备50运行时,所述处理器51与所述存储器52之间通过总线53通信,所述处理器51执行所述存储器52存储的所述执行指令,使得所述设备50执行上述实施例中所述的图像匹配方法的步骤。
此外,本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的图像匹配方法的步骤。
本申请实施例所提供的路线规划方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行上述方法实施例中所述的图像匹配方法的步骤,具体可参见上述方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本申请所提供的几个实施例中,应该理解到,所揭露的***、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种图像匹配方法,其特征在于,包括:
获取待检测的目标图像,并将所述目标图像划分为至少一个目标区域图像;
对于所述目标区域图像中的至少一个,提取该目标区域图像的方向梯度直方图HOG特征,并将该目标区域图像的HOG特征与从参考图像中提取出的HOG特征进行匹配;
基于上述匹配的结果,确定所述目标图像中是否包含有所述参考图像的图像特征。
2.如权利要求1所述的方法,其特征在于,相邻两个目标区域图像之间存在重叠区域。
3.如权利要求1所述的方法,其特征在于,所述将该目标区域图像的HOG特征与从参考图像中提取出的HOG特征进行匹配,包括:
计算该目标区域图像的HOG特征与从所述参考图像中提取出的HOG特征之间的相似度;
所述基于所述匹配的结果,确定所述目标图像中是否包含有所述参考图像的图像特征,包括:
当所述至少一个目标区域图像中存在计算出的相似度大于预设值的目标区域图像,则确定所述目标图像中包含所述参考图像的图像特征;
当所述至少一个目标区域图像中均不存在计算出的相似度大于所述预设值的目标区域图像,则确定所述目标图像中不包含所述参考图像的图像特征。
4.如权利要求1所述的方法,其特征在于,在提取划分出的每个目标区域图像的HOG特征之前,还包括:
对所述目标图像和/或所述参考图像进行基本图像处理;
其中,所述基本图像处理包括以下处理中的一种或多种:图像灰度化处理、图像锐化处理、图像增强处理。
5.如权利要求1-4任一所述的方法,其特征在于,所述提取该目标区域图像的HOG特征,包括:
计算该目标区域图像中各像素点的梯度幅值和梯度方向,以及,将该目标区域图像划分成至少一个区块,每个区块由N1*N2个像素点组成,N1、N2为正整数;
基于每个区块中各像素点的梯度幅值和梯度方向,统计每个区块的HOG特征;
将所述至少一个区块的HOG特征串联组合,得到该目标区域图像的HOG特征。
6.如权利要求5所述的方法,其特征在于,所述将所述至少一个区块的HOG特征串联组合,得到该目标区域图像的HOG特征,包括:
将所述至少一个区块的HOG特征串联组合后得到的组合HOG特征进行归一化处理,将归一化处理后的组合HOG特征确定为该目标区域图像的HOG特征。
7.如权利要求6所述的方法,其特征在于,在将所述至少一个区块的HOG特征串联组合后得到的组合HOG特征进行归一化处理之后,还包括:
对归一化处理后的组合HOG特征进行降维,将降维后的组合HOG特征确定为该目标区域图像的HOG特征。
8.一种图像匹配装置,其特征在于,包括:
目标区域图像划分单元,用于获取待检测的目标图像,并将所述目标图像划分为至少一个目标区域图像;
提取匹配单元,用于对于所述目标区域图像中的至少一个,提取该目标区域图像的方向梯度直方图HOG特征,并将该目标区域图像的HOG特征与从参考图像中提取出的HOG特征进行匹配;
确定单元,用于基于上述匹配的结果,确定所述目标图像中是否包含有所述参考图像的图像特征。
9.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的图像匹配方法的步骤。
10.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至7任一所述的图像匹配方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811591694.5A CN109685142A (zh) | 2018-12-25 | 2018-12-25 | 一种图像匹配方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811591694.5A CN109685142A (zh) | 2018-12-25 | 2018-12-25 | 一种图像匹配方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109685142A true CN109685142A (zh) | 2019-04-26 |
Family
ID=66189413
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811591694.5A Pending CN109685142A (zh) | 2018-12-25 | 2018-12-25 | 一种图像匹配方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109685142A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111161208A (zh) * | 2019-11-21 | 2020-05-15 | 深圳航天智控科技有限公司 | 图像检测方法和装置 |
CN113674270A (zh) * | 2021-09-06 | 2021-11-19 | 深邦智能科技(青岛)有限公司 | 一种轮胎花纹一致性检测***及其方法 |
CN113705660A (zh) * | 2021-08-25 | 2021-11-26 | 青岛睿维申信息科技有限公司 | 目标识别方法及相关设备 |
CN113920329A (zh) * | 2021-11-08 | 2022-01-11 | 北京九州安华信息安全技术有限公司 | 一种基于梯度直方图的特征提取方法和装置 |
CN114049272A (zh) * | 2021-11-11 | 2022-02-15 | 上海傲显科技有限公司 | 屏幕图像处理方法、屏幕组件和计算机存储介质 |
CN115330279A (zh) * | 2022-10-14 | 2022-11-11 | 北京师范大学 | 一种基于股票走势图相似性检测的公司选取方法 |
CN116091498A (zh) * | 2023-04-07 | 2023-05-09 | 飞杨电源技术(深圳)有限公司 | 用于铅酸蓄电池智能充电器的视觉缺陷检测方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102937595A (zh) * | 2012-11-13 | 2013-02-20 | 浙江省电力公司电力科学研究院 | 一种pcb板检测方法、装置及*** |
CN103400393A (zh) * | 2013-08-21 | 2013-11-20 | 中科创达软件股份有限公司 | 一种图像匹配方法和*** |
CN104680500A (zh) * | 2015-02-07 | 2015-06-03 | 江西科技学院 | 一种基于直方图均衡化的图像增强算法 |
WO2017054941A1 (en) * | 2015-09-30 | 2017-04-06 | Fotonation Limited | A method and system for tracking an object |
CN107886110A (zh) * | 2017-10-23 | 2018-04-06 | 深圳云天励飞技术有限公司 | 人脸检测方法、装置及电子设备 |
CN108009554A (zh) * | 2017-12-01 | 2018-05-08 | 国信优易数据有限公司 | 一种图像处理方法以及装置 |
CN108961236A (zh) * | 2018-06-29 | 2018-12-07 | 国信优易数据有限公司 | 电路板缺陷检测模型的训练方法及装置、检测方法及装置 |
-
2018
- 2018-12-25 CN CN201811591694.5A patent/CN109685142A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102937595A (zh) * | 2012-11-13 | 2013-02-20 | 浙江省电力公司电力科学研究院 | 一种pcb板检测方法、装置及*** |
CN103400393A (zh) * | 2013-08-21 | 2013-11-20 | 中科创达软件股份有限公司 | 一种图像匹配方法和*** |
CN104680500A (zh) * | 2015-02-07 | 2015-06-03 | 江西科技学院 | 一种基于直方图均衡化的图像增强算法 |
WO2017054941A1 (en) * | 2015-09-30 | 2017-04-06 | Fotonation Limited | A method and system for tracking an object |
CN107886110A (zh) * | 2017-10-23 | 2018-04-06 | 深圳云天励飞技术有限公司 | 人脸检测方法、装置及电子设备 |
CN108009554A (zh) * | 2017-12-01 | 2018-05-08 | 国信优易数据有限公司 | 一种图像处理方法以及装置 |
CN108961236A (zh) * | 2018-06-29 | 2018-12-07 | 国信优易数据有限公司 | 电路板缺陷检测模型的训练方法及装置、检测方法及装置 |
Non-Patent Citations (1)
Title |
---|
何东健: "《数字图像处理》", 31 December 2015 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111161208A (zh) * | 2019-11-21 | 2020-05-15 | 深圳航天智控科技有限公司 | 图像检测方法和装置 |
CN113705660A (zh) * | 2021-08-25 | 2021-11-26 | 青岛睿维申信息科技有限公司 | 目标识别方法及相关设备 |
CN113674270A (zh) * | 2021-09-06 | 2021-11-19 | 深邦智能科技(青岛)有限公司 | 一种轮胎花纹一致性检测***及其方法 |
CN113674270B (zh) * | 2021-09-06 | 2023-11-14 | 深邦智能科技集团(青岛)有限公司 | 一种轮胎花纹一致性检测***及其方法 |
CN113920329A (zh) * | 2021-11-08 | 2022-01-11 | 北京九州安华信息安全技术有限公司 | 一种基于梯度直方图的特征提取方法和装置 |
CN114049272A (zh) * | 2021-11-11 | 2022-02-15 | 上海傲显科技有限公司 | 屏幕图像处理方法、屏幕组件和计算机存储介质 |
CN115330279A (zh) * | 2022-10-14 | 2022-11-11 | 北京师范大学 | 一种基于股票走势图相似性检测的公司选取方法 |
CN115330279B (zh) * | 2022-10-14 | 2023-01-24 | 北京师范大学 | 一种基于股票走势图相似性检测的公司选取方法 |
CN116091498A (zh) * | 2023-04-07 | 2023-05-09 | 飞杨电源技术(深圳)有限公司 | 用于铅酸蓄电池智能充电器的视觉缺陷检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109685142A (zh) | 一种图像匹配方法及装置 | |
US20190347767A1 (en) | Image processing method and device | |
CN107507173B (zh) | 一种全切片图像的无参考清晰度评估方法及*** | |
CN108446694B (zh) | 一种目标检测方法及装置 | |
CN108564085B (zh) | 一种自动读取指针式仪表读数的方法 | |
CN108416789A (zh) | 图像边缘检测方法及*** | |
US20180114092A1 (en) | Devices, systems, and methods for anomaly detection | |
CN103279957A (zh) | 一种基于多尺度特征融合的遥感图像感兴趣区域提取方法 | |
CN108416771A (zh) | 一种基于单目相机的金属材料锈蚀面积检测方法 | |
WO2023160312A1 (zh) | 基于自监督学习的行人重识别方法、装置、设备及存储介质 | |
CN107808161A (zh) | 一种基于光视觉的水下目标识别方法 | |
CN107369176B (zh) | 一种柔性ic基板氧化面积检测***及方法 | |
CN106530271A (zh) | 一种红外图像显著性检测方法 | |
CN110910445B (zh) | 一种物件尺寸检测方法、装置、检测设备及存储介质 | |
CN112991374B (zh) | 基于Canny算法的边缘增强方法、装置、设备及存储介质 | |
CN108182383A (zh) | 一种车窗检测的方法及设备 | |
CN110189341B (zh) | 一种图像分割模型训练的方法、图像分割的方法及装置 | |
CN106384074A (zh) | 路面缺陷的检测装置、方法以及图像处理设备 | |
JP2011165170A (ja) | 対象物検出装置及びプログラム | |
CN110390344A (zh) | 备选框更新方法及装置 | |
CN108769543A (zh) | 曝光时间的确定方法及装置 | |
WO2024016632A1 (zh) | 亮点定位方法、亮点定位装置、电子设备及存储介质 | |
CN109741370B (zh) | 一种目标跟踪方法和装置 | |
US11004205B2 (en) | Hardware accelerator for histogram of oriented gradients computation | |
CN113435358B (zh) | 用于训练模型的样本生成方法、装置、设备、程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 100070 building 31, headquarters Plaza, 188 South 4th Ring Road West, Fengtai District, Beijing Applicant after: Guoxin Youyi Data Co., Ltd Address before: 100070 building 31, headquarters Plaza, 188 South 4th Ring Road West, Fengtai District, Beijing Applicant before: SIC YOUE DATA Co.,Ltd. |
|
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190426 |