CN115858845A - 一种多模板图像深度匹配的相似图像检索方法及*** - Google Patents

Abstract

本发明提出了一种多模板图像深度匹配的相似图像检索方法及***，涉及数字图像技术领域。一种多模板图像深度匹配的相似图像检索方法，包括以下步骤：步骤一、选取模板图像；步骤二、对模板图像和待检索图像进行SIFT特征提取，并基于提取后的特征计算模板图像和待检索图像的相似性；步骤三、根据相似性，从模板图像中选取得到潜在相似图像；步骤四、对潜在相似图像与模板图像分别进行多尺度构建，并计算潜在相似图像与模板图像在不同尺度下的相似度；步骤五、根据相似度挑选得到确定相似图像；本发明能够实现相似类别图像的检索，并提升相似类别图像的检索精度，减少了对人力资源和计算资源的消耗。

Description

一种多模板图像深度匹配的相似图像检索方法及***

技术领域

本发明涉及数字图像技术领域，具体而言，涉及一种多模板图像深度匹配的相似图像检索方法及***。

背景技术

随着数字媒体时代和大数据时代的来临，海量的数字图像已经广泛地应用于多个领域。而数字图像作为重要的信息载体，提供了丰富的语义信息。

传统的图像检索方法可以较好地对相同类别图像进行检索，但忽略了对语义和类别相似的图像进行检索，存在一定的局限性。同时，传统的图像检索方法在检索过程中往往需要大量的训练样本，对人力资源和计算资源也是一种消耗。近年来，部分方法虽然利用了多模板匹配的思想，但检索效果仍然不够显著。因此，急需一种可解决上述问题的图像检索方法。

发明内容

本发明的目的在于提供一种多模板图像深度匹配的相似图像检索方法及***，其能够实现相似类别图像的检索，并提升相似类别图像的检索精度，减少了对人力资源和计算资源的消耗。

本发明的实施例是这样实现的：

第一方面，本申请实施例提供一种多模板图像深度匹配的相似图像检索方法，其包括以下步骤：

步骤一、选取模板图像；

步骤二、对模板图像和待检索图像进行SIFT特征提取，并基于提取后的特征计算模板图像和待检索图像的相似性；

步骤三、根据相似性，从模板图像中选取得到潜在相似图像；

步骤四、对潜在相似图像与模板图像分别进行多尺度构建，并计算潜在相似图像与模板图像在不同尺度下的相似度；

步骤五、根据相似度挑选得到确定相似图像。

在本发明的一些实施例中，上述步骤一包括：

选取图像并对选取的图像进行分类，以得到多个类别的图像；

将各个类别的图像进行聚类处理，以建立聚类图像集；

基于聚类图像集选取代表图像，以得到模板图像。

在本发明的一些实施例中，上述选取代表图像的具体步骤包括：

从分类后的大类别中挑选目标图像；

对目标图像进行深度自编码；

计算不同目标图像自编码后的欧式距离，并根据该欧氏距离筛选得到代表图像。

在本发明的一些实施例中，步骤二中计算相似性的方法为欧氏距离算法。

在本发明的一些实施例中，上述步骤三包括：

基于相似性将模板图像与待检索图像进行匹配数量统计，以得到数量统计结果，判断数量统计结果是否超过预定数值，若是，则将模板图像定义为潜在相似图像。

在本发明的一些实施例中，上述步骤五包括：

基于相似度对每个尺度下的潜在相似图像与模板图像进行数量统计，以得到数量统计数据，判断数量统计数据是否超过预定数值，若是，则将潜在相似图像定义为最终相似图像。

在本发明的一些实施例中，判定每个尺度下上述潜在相似图像与模板图像的相似度的具体步骤包括：

利用平滑卷积核对潜在相似图像和模板图像分别进行处理，以得到过滤结果，利用欧式距离计算过滤后的潜在相似图像和模板图像的相似度得到相似度A；

利用锐化卷积核对潜在相似图像和模板图像分别进行处理，以得到过滤结果，利用欧式距离计算过滤后的潜在相似图像和模板图像的相似度得到相似度B；

利用去噪卷积核对潜在相似图像和模板图像分别进行处理，以得到过滤结果，利用欧式距离计算过滤后的潜在相似图像和模板图像的相似度得到相似度C。

第二方面，本申请实施例提供一种多模板图像深度匹配的相似图像检索***，其包括：

选取模块，用于选取模板图像；

计算模块，用于对模板图像和待检索图像进行SIFT特征提取，并计算提取特征后的模板图像和待检索图像的相似性；

图像选取模块，用于根据相似性，从模板图像中选取得到潜在相似图像；

尺度构建模块，用于对潜在相似图像与模板图像分别进行多尺度构建，并计算潜在相似图像与模板图像在不同尺度下的相似度；

图像确定模块，用于根据相似度挑选确定最终相似图像。

在本发明的一些实施例中，上述选取模块包括：

分类子模块，用于对选取的图像进行分类，以得到多个类别的图像；

聚类子模块，用于将各个类别的图像进行聚类处理，以建立聚类图像集；

目标子模块，用于从分类后的大类别中挑选目标图像；

编码子模块，用于对目标图像进行深度自编码；

筛选子模块，用于计算不同目标图像深度自编码后的欧式距离，并根据该欧氏距离筛选得到模板图像。

在本发明的一些实施例中，上述尺度构建模块包括：

相似度计算子模块，用于利用平滑、锐化和去噪卷积核的方式，对潜在相似图像和模板图像分别进行处理，以得到过滤结果，计算过滤后的潜在相似图像和模板图像的相似度。

相对于现有技术，本发明的实施例至少具有如下优点或有益效果：

本发明的实施例提供了一种多模板图像深度匹配的相似图像检索方法，包括以下步骤：步骤一、选取模板图像；步骤二、对模板图像和待检索图像进行SIFT特征提取，并基于提取后的特征计算模板图像和待检索图像的相似性；步骤三、根据相似性，从模板图像中选取得到潜在相似图像；步骤四、对潜在相似图像与模板图像分别进行多尺度构建，并计算潜在相似图像与模板图像在不同尺度下的相似度；步骤五、根据相似度挑选得到确定相似图像。

本发明一种多模板图像深度匹配的相似图像检索方法，具有以下优点：

(1)利用深度自编码的方法挑选出较为精良的模板图像，有助于提升相似性图像检索的精度；

(2)利用经典特征算子和多种卷积核相结合的方式提升了相似性图像的检索精度；

(3)没有大量的训练样本和复杂的训练过程，减少了人力资源和计算资源的消耗。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例1一种多模板图像深度匹配的相似图像检索方法的步骤图；

图2为本发明实施例2一种多模板图像深度匹配的相似图像检索***的结构框图；

图3为本发明实施例2一种多模板图像深度匹配的相似图像检索***的选取模块的结构框图。

具体实施方式

术语解释：

SIFT：尺度不变特征变换(Scale-invariant feature transform，SIFT)，是用于图像处理领域的一种描述。

欧氏距离：(Euclid Distance)也称欧几里得度量，是一个通常采用的距离定义，它是在m维空间中两个点之间的真实距离。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的各个实施例及实施例中的各个特征可以相互组合。

实施例1

请参阅图1，图1所示为本申请实施例1提供的一种多模板图像深度匹配的相似图像检索方法的步骤图。

本申请的实施例1提供的一种多模板图像深度匹配的相似图像检索方法，包括以下步骤：

步骤一、选取模板图像；

步骤二、对模板图像和待检索图像进行SIFT特征提取，并基于提取后的特征计算模板图像和待检索图像的相似性；

步骤三、根据相似性，从模板图像中选取得到潜在相似图像；

步骤四、对潜在相似图像与模板图像分别进行多尺度构建，并计算潜在相似图像与模板图像在不同尺度下的相似度；

步骤五、根据相似度挑选得到确定相似图像。

其中，模板图像为在常用搜索引擎如百度、360、搜狗、谷歌等广泛的图像数据集中选取的多种类别的数字图像，通过重复步骤一至步骤五，在海量图像数据库中对每个待检索图像进行判定，从而即可检索出每个待检索图像的所有的相似图像。

作为一种优选的实施方式，步骤一包括：

选取图像并对选取的图像进行分类，以得到多个类别的图像；

将各个类别的图像进行聚类处理，以建立聚类图像集；

基于聚类图像集选取代表图像，以得到模板图像。

其中，聚类处理主要为将类别相近的图像聚为一类(例如草原、山川、河流或森林等类别的图像即可聚类成风景类图像)，即可建立聚类图像集，在每一类中挑选出多个代表性图像即可当做模板图像。

作为一种优选的实施方式，选取代表图像的具体步骤包括：

从分类后的大类别中挑选目标图像；

对目标图像进行深度自编码；

计算不同目标图像自编码后的欧式距离，并根据该欧氏距离筛选得到代表图像。

其中，当若干个图像的欧式距离数值相近时，只需要保留其中一个数值；(欧式距离数值相近时，我们认为它们高度相似)，通过进行多次欧式距离的计算，即可筛选出一批差异性较大的图像，即作为模板图像的代表性图像。

作为一种优选的实施方式，步骤二中计算相似性的方法为欧氏距离算法。

作为一种优选的实施方式，步骤三包括：

基于相似性将模板图像与待检索图像进行匹配数量统计，以得到数量统计结果，判断数量统计结果是否超过预定数值，若是，则将模板图像定义为潜在相似图像。

其中，根据模板图像与待检索图像的相似性进行数量统计得到数量统计结果，根据数量统计结果进行判定，设定预定数值，判断统计模板图像总数中是否有超过预定数值的模板图像与待检索图像的相似性都较高，若是，则可以将其分类为潜在相似图像，若否，则可以分类为非相似性图像。

作为一种优选的实施方式，步骤五包括：

基于相似度对每个尺度下的潜在相似图像与模板图像进行数量统计，以得到数量统计数据，判断数量统计数据是否超过预定数值，若是，则将潜在相似图像定义为最终相似图像。

其中，根据每个尺度下的潜在相似图像与模板图像的相似度对比统计，即可得到潜在相似图像的相似度与模板图像的相似度接近的数量统计数据，对数量统计数据进行判定，从而判断每个尺度下的潜在相似图像是否和超过预定数值的模板图像都保持较高的相似度，若是，则将潜在相似图像定义为最终相似图像，若否，则将其判定为非相似图像。

作为一种优选的实施方式，判定每个尺度下潜在相似图像与模板图像的相似度的具体步骤包括：

利用平滑卷积核对潜在相似图像和模板图像分别进行处理，以得到过滤结果，利用欧式距离计算过滤后的潜在相似图像和模板图像的相似度得到相似度A；

利用锐化卷积核对潜在相似图像和模板图像分别进行处理，以得到过5滤结果，利用欧式距离计算过滤后的潜在相似图像和模板图像的相似度得到相似度B；

利用去噪卷积核对潜在相似图像和模板图像分别进行处理，以得到过滤结果，利用欧式距离计算过滤后的潜在相似图像和模板图像的相似度得到相似度C。

0其中，卷积核的尺寸为3*3；若相似度A、相似度B与相似度C中有两个及以上的相似度接近时，即认为该潜在相似图像与该模板图像保持了相似，也就是保持了较高的相似度。

可以理解，图1所示的结构仅为示意，一种多模板图像深度匹配的相似图像检索方法还可包括比图1中所示更多或者更少的组件，或者具有与5图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

实施例2

请参阅图2，图2所示为本发明实施例2一种多模板图像深度匹配的相似图像检索***的结构框图。

0本发明实施例2提供一种多模板图像深度匹配的相似图像检索***，

包括：

选取模块，用于选取模板图像；

计算模块，用于对模板图像和待检索图像进行SIFT特征提取，并计算提取特征后的模板图像和待检索图像的相似性；

图像选取模块，用于根据相似性，从模板图像中选取得到潜在相似图像；

尺度构建模块，用于对潜在相似图像与模板图像分别进行多尺度构建，并计算潜在相似图像与模板图像在不同尺度下的相似度；

图像确定模块，用于根据相似度挑选确定最终相似图像。

本发明实施例2提供的一种多模板图像深度匹配的相似图像检索***，通过选取模块选取模板图像后，再通过计算模块对模板图像和待检索图像进行特征提取从而计算相似性，进而即可通过图像选取模块根据相似性从模板图像中选取得到潜在相似图像，再通过尺度构建模块对潜在相似图像与模板图像分别进行多尺度构建并计算潜在相似图像与模板图像不同尺度下的相似度，即可根据相似度检索出待检索图像的最终相似图像。

作为一种优选的实施方式，尺度构建模块包括：

相似度计算子模块，用于利用平滑、锐化和去噪卷积核的方式，对潜在相似图像和模板图像分别进行处理，以得到过滤结果，计算过滤后的潜在相似图像和模板图像的相似度。

其中，若平滑、锐化和去噪卷积核的三种方式中的两种及以上的方式对每个潜在相似图像和每个模板图像分别进行处理后的该潜在相似图像和该模板图像的相似度较高，即认为该潜在相似图像和该模板图像保持了较高的相似度。

请参阅图3，图3所示为本发明实施例2一种多模板图像深度匹配的相似图像检索***的选取模块的结构框图。

作为一种优选的实施方式，选取模块包括：

分类子模块，用于对选取的图像进行分类，以得到多个类别的图像；

聚类子模块，用于将各个类别的图像进行聚类处理，以建立聚类图像集；

目标子模块，用于从分类后的大类别中挑选目标图像；

编码子模块，用于对目标图像进行深度自编码；

筛选子模块，用于计算不同目标图像深度自编码后的欧式距离，并根据该欧氏距离筛选得到模板图像。

其中，目标图像需足够充分，涵盖大类别中的代表性图像；在计算不同目标图像深度自编码后的欧式距离时，当若干个图像的欧氏距离较近时，即可认为它们高度相似，仅需保留其中一个即可，经过计算多次欧氏距离，即可筛选出一批差异性较大的图像，即作为代表性的模板图像。

在本申请所提供的实施例中，应该理解到，所揭露的***和方法，也可以通过其它的方式实现。以上所描述的***实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

综上所述，本申请实施例提供的一种多模板图像深度匹配的相似图像检索方法及***，通过利用深度自编码的方法挑选出较为精良的模板图像，再利用多模板图像深度匹配的思想，实现了相似性图像的检索；利用经典特征算子和多种卷积核相结合的方式提升了相似性图像的检索精度；没有大量的训练样本和复杂的训练过程，减少了人力资源和计算资源的消耗。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于5本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体0形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种多模板图像深度匹配的相似图像检索方法，其特征在于，包括以下步骤：

步骤一、选取模板图像；

步骤二、对模板图像和待检索图像进行SIFT特征提取，并基于提取后的特征计算模板图像和待检索图像的相似性；

步骤三、根据相似性，从模板图像中选取得到潜在相似图像；

步骤四、对潜在相似图像与模板图像分别进行多尺度构建，并计算潜在相似图像与模板图像在不同尺度下的相似度；

步骤五、根据相似度挑选得到确定相似图像。

2.如权利要求1所述的一种多模板图像深度匹配的相似图像检索方法，其特征在于，所述步骤一包括：

选取图像并对选取的图像进行分类，以得到多个类别的图像；

将各个类别的图像进行聚类处理，以建立聚类图像集；

基于聚类图像集选取代表图像，以得到模板图像。

3.如权利要求2所述的一种多模板图像深度匹配的相似图像检索方法，其特征在于，选取代表图像的具体步骤包括：

从分类后的大类别中挑选目标图像；

对目标图像进行深度自编码；

计算不同目标图像自编码后的欧式距离，并根据该欧氏距离筛选得到代表图像。

4.如权利要求1所述的一种多模板图像深度匹配的相似图像检索方法，其特征在于，步骤二中计算相似性的方法为欧氏距离算法。

5.如权利要求1所述的一种多模板图像深度匹配的相似图像检索方法，其特征在于，所述步骤三包括：

基于相似性将模板图像与待检索图像进行匹配数量统计，以得到数量统计结果，判断数量统计结果是否超过预定数值，若是，则将模板图像定义为潜在相似图像。

6.如权利要求1所述的一种多模板图像深度匹配的相似图像检索方法，其特征在于，所述步骤五包括：

基于相似度对每个尺度下的潜在相似图像与模板图像进行数量统计，以得到数量统计数据，判断数量统计数据是否超过预定数值，若是，则将潜在相似图像定义为最终相似图像。

7.如权利要求6所述的一种多模板图像深度匹配的相似图像检索方法，其特征在于，判定每个尺度下所述潜在相似图像与模板图像的相似度的具体步骤包括：

利用平滑卷积核对潜在相似图像和模板图像分别进行处理，以得到过滤结果，利用欧式距离计算过滤后的潜在相似图像和模板图像的相似度得到相似度A；

利用锐化卷积核对潜在相似图像和模板图像分别进行处理，以得到过滤结果，利用欧式距离计算过滤后的潜在相似图像和模板图像的相似度得到相似度B；

利用去噪卷积核对潜在相似图像和模板图像分别进行处理，以得到过滤结果，利用欧式距离计算过滤后的潜在相似图像和模板图像的相似度得到相似度C。

8.一种多模板图像深度匹配的相似图像检索***，其特征在于，包括：

选取模块，用于选取模板图像；

计算模块，用于对模板图像和待检索图像进行SIFT特征提取，并计算提取特征后的模板图像和待检索图像的相似性；

图像选取模块，用于根据相似性，从模板图像中选取得到潜在相似图像；

尺度构建模块，用于对潜在相似图像与模板图像分别进行多尺度构建，并计算潜在相似图像与模板图像在不同尺度下的相似度；

图像确定模块，用于根据相似度挑选确定最终相似图像。

9.如权利要求8所述的一种多模板图像深度匹配的相似图像检索***，其特征在于，所述选取模块包括：

分类子模块，用于对选取的图像进行分类，以得到多个类别的图像；

聚类子模块，用于将各个类别的图像进行聚类处理，以建立聚类图像集；

目标子模块，用于从分类后的大类别中挑选目标图像；

编码子模块，用于对目标图像进行深度自编码；

筛选子模块，用于计算不同目标图像深度自编码后的欧式距离，并根据该欧氏距离筛选得到模板图像。

10.如权利要求8所述的一种多模板图像深度匹配的相似图像检索***，其特征在于，所述尺度构建模块包括：

相似度计算子模块，用于利用平滑、锐化和去噪卷积核的方式，对潜在相似图像和模板图像分别进行处理，以得到过滤结果，计算过滤后的潜在相似图像和模板图像的相似度。

Images