CN109992690B - 一种图像检索方法和*** - Google Patents

Abstract

本发明涉及一种图像检索方法和***，涉及电子数据处理领域。包括以下步骤：S1：获取n张目标图像并提取全部所述目标图像的特征；S2：对所述特征进行聚类并构建词典树T₁；S3：根据所述词典树T₁计算得出频率向量F^j，再根据频率向量F^j得到每张所述目标图像的词典向量d^j；S4：获取查询图像，计算所述查询图像的词典向量q^j，并计算词典向量q^j和词典向量d^j的相似度s^j；S5：根据所述相似度s^j得到查询结果。本方案解决了如何完成千万级图像的快速检索的技术问题，适用于千万级图像的快速检索。

Description

一种图像检索方法和***

技术领域

本发明涉及电子数据处理领域，特别涉及一种图像检索方法和***。

背景技术

随着互联网的发展，对图像检索的要求也逐日提高。现有的图像检索方法在图像库的数据量提高后就不能短时间响应完成检索。

发明内容

本发明所要解决的技术问题是如何完成千万级图像的快速检索。

本发明解决上述技术问题的技术方案如下：一种图像检索方法，包括以下步骤：

S1：获取n张目标图像并提取全部所述目标图像的特征；

S2：对所述特征进行聚类并构建词典树T₁；

S3：根据所述词典树T₁计算得出频率向量F^j，再根据频率向量F^j得到每张所述目标图像的词典向量d^j；

S4：获取查询图像，计算所述查询图像的词典向量q^j，并计算词典向量 q^j和词典向量d^j的相似度s^j；

S5：根据所述相似度s^j得到查询结果。

本方案通过获取目标图像的特征，构建词典树，再根据词典树计算得出单一目标图像中的频率向量F^j，结合频率向量得出每张目标图像的词典向量 d^j，再用同样的方式获取查询图像的词典向量q^j，对比查询图像和目标图像的词典向量得到相似度，从而得到查询结果。

本发明的有益效果是：在开始图像检索之前，对目标图像进行特征提取，得到所有目标图像的特征向量，在所有目标图像中查询和查询图像相似的图像时，仅需计算出查询图像的特征向量，再对比查询图像的词典向量q^j和每个目标图像的词典向量d^j得到相似度，从而达到快速在千万级的图像中完成快速检索的目的。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，步骤S1还包括以下步骤：

S11：创建包括至少3个卷积子模块的神经网络数字模型；

S12：获取三通道彩色图像作为目标图像，并将所述目标图像转换为3 个单通道图像；

S13：取3个所述卷积子模块作为目标卷积子模块，并在每个所述目标卷积子模块后面增加一个池化层得到目标模型；

S14：根据所述单通道图像和所述目标模型得到3个图像信息串联的初始图像信息矩阵，并进行归一化处理得到重塑图像特征信息矩阵；

S15：根据剩余的所述单通道图像各自重复步骤S14一次，得到3个重塑图像特征信息矩阵I₁、I₂和I₃。

采用上述进一步方案的有益效果是，基于三通道彩色图像的图像特征提取，相比基于普通彩色图像的提取到更多的图像特征，提高相似度s^j的可靠性。

进一步，步骤S2还包括以下步骤：

S21：将每个所述重塑图像特征信息矩阵通过图像特征提取形成至少3 个64维特征；

S22：将所有所述特征进行聚类得到四个聚类中心，分别为 {μ₁，μ₂，μ₃，μ₄}；

S23：对每个所述聚类中心再进行聚类得到聚类节点，直到待构建的词典树的层数h＝4或者所在的类再无子类为止；

S24，根据每个节点中的特征涵盖的图像数量计算节点的权重，得到词典树T₁。

进一步，步骤S3具体包括：

S31：获取一张所述目标图像；

S32：提取所述目标图像的特征得到待处理特征；

S33：计算所述待处理特征与所述目标模型内所述聚类节点的距离，将每个待处理特征归入距离最近的词典树节点中；

S34：统计每个所述词典树节点中的待处理特征个数，得到频率向量F^j；

S35：根据下列公式得到词典向量d^j：

d^j＝W_T·F^j

其中W_T为所述聚类节点的权重；

S36：重复步骤S31-S35直至遍历所有所述目标图像。

采用上述进一步方案的有益效果是，在检索查询图像之前，先将所有目标图像的词典向量d^j提取出，使得在得到查询图像与每个目标图像的相似度时，仅需要对比词典向量d^j和词典向量q^j即可，从而达到快速检索的目的。

进一步，步骤S4具体包括：

S41：获取查询图像和所述目标模型；

S42：根据所述目标模型计算所述查询图像的词典向量q^j；

S43：根据下列公式计算词典向量q^j和词典向量d^j的相似度s^j：

其中，p为所述词典向量q^j和词典向量d^j的维度；

S44：根据所述相似度s^j，将所述图像库中的图像从大到小排序，并输出前n张图像作为查询结果。

本发明解决上述技术问题的另一技术方案如下：

一种图像检索***，包括图像输入模块、特征提取模块、词典树模块和查询模块，所述图像输入模块用于获取n涨目标图像，所述特征提取模块用于提取全部所述目标图像的特征；所述词典树模块用于对所述特征进行聚类并构建词典树T₁；所述词典树模块还用于根据所述词典树T₁计算得出频率向量F^j，再根据频率向量F^j得到每张所述目标图像的词典向量d^j；所述图像输入模块还用于获取查询图像，所述查询模块用于根据所述词典树T₁计算出所述查询图像的词典向量q^j，并计算词典向量q^j和词典向量d^j的相似度s^j，最后根据所述相似度s^j得到查询结果。

采用上述进一步方案的有益效果是，在开始图像检索之前，对目标图像进行特征提取，得到所有目标图像的特征向量，在所有目标图像中查询和查询图像相似的图像时，仅需计算出查询图像的特征向量，再对比查询图像的词典向量q^j和每个目标图像的词典向量d^j得到相似度，从而达到快速在千万级的图像中完成快速检索的目的。

进一步，所述图像输入模块用于获取三通道彩色图像作为目标图像，所述特征提取模块用于创建包括至少3个卷积子模块的神经网络数字模型，并将所述目标图像转换为3个单通道图像；所述特征提取模块还用于取3个所述卷积子模块作为目标卷积子模块，并在每个所述目标卷积子模块后面增加一个池化层得到目标模型，再根据每张所述单通道图像和所述目标模型得到 3个与每张所述单通道图像对应的图像信息串联的初始图像信息矩阵，并对每张所述单通道图像的每个初始图像信息矩阵进行归一化处理得到重塑图像特征信息矩阵I₁、I₂和I₃。

采用上述进一步方案的有益效果是，基于三通道彩色图像的图像特征提取，相比基于普通彩色图像的提取到更多的图像特征，提高相似度s^j的可靠性。

进一步，所述词典树模块用于将每个所述重塑图像特征信息矩阵通过图像特征提取形成至少3个64维特征，并将所有所述特征进行聚类得到四个聚类中心，分别为{μ₁，μ₂，μ₃，μ₄}，所述词典树模块还用于对每个所述聚类中心再进行聚类得到聚类节点，直到待构建的词典树的层数h＝4或者所在的类再无子类为止；所述词典树模块还用于根据每个节点中的特征涵盖的图像数量计算节点的权重，得到词典树T₁。

进一步，所述词典树模块用于获取所有所述目标图像，并提取单一所述目标图像的特征得到待处理特征；计算所述待处理特征与所述目标模型内所述聚类节点的距离，将每个待处理特征归入距离最近的词典树节点中；所述词典树模块还用于统计每个所述词典树节点中的待处理特征个数，得到频率向量F^j；所述词典树模块还用于根据下列公式得到单一所述目标图像的词典向量d^j：

d^j＝W_T·F^j

其中W_T为所述聚类节点的权重。

采用上述进一步方案的有益效果是，在检索查询图像之前，先将所有目标图像的词典向量d^j提取出，使得在得到查询图像与每个目标图像的相似度时，仅需要对比词典向量d^j和词典向量q^j即可，从而达到快速检索的目的。

进一步，所述查询模块用于根据所述目标模型计算所述查询图像的词典向量q^j；并根据下列公式计算词典向量q^j和词典向量d^j的相似度s^j：

其中，p为所述词典向量q^j和词典向量d^j的维度。

本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。

附图说明

图1为本发明图像检索方法的实施例的流程图；

图2为本发明图像检索***的实施例的***结构示意图；

图3为本发明图像检索方法的其它实施例的图像特征提取架构图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

实施例基本如附图1所示：

本实施例中图像检索方法，包括：S1：获取n张目标图像并提取全部目标图像的特征；

S2：对特征进行聚类并构建词典树T₁；

S3：根据词典树T₁计算得出频率向量F^j，再根据频率向量F^j得到每张目标图像的词典向量d^j；

S4：获取查询图像，计算查询图像的词典向量q^j，并计算词典向量q^j和词典向量d^j的相似度s^j；

S5：根据相似度s^j得到查询结果。

本方案通过获取目标图像的特征，构建词典树，再根据词典树计算得出单一目标图像中的频率向量F^j，结合频率向量得出每张目标图像的词典向量 d^j，再用同样的方式获取查询图像的词典向量q^j，对比查询图像和目标图像的词典向量得到相似度，从而得到查询结果。

在上述技术方案的基础上，本发明还可以做如下改进。

可选的，在一些其它实施例中，步骤S1还包括以下步骤：

S11：创建包括至少3个卷积子模块的神经网络数字模型，本实施例中，创建的神经网络数字模型可以为VGG16模型，包括5个卷积模块，可以使用后面3个卷积模块作为卷积子模块得到特征信息；

S12：获取三通道彩色图像作为目标图像，并将目标图像转换为3个单通道图像；

S13：取3个卷积子模块作为目标卷积子模块，并在每个目标卷积子模块后面增加一个池化层得到目标模型，本实施例中的池化层可以为最大池化MaxPool ing2D；

S14：根据单通道图像和目标模型得到3个图像信息串联的初始图像信息矩阵，并进行归一化处理得到重塑图像特征信息矩阵，本实施例中可以利用L₂-norm进行归一化处理；

S15：根据剩余的单通道图像各自重复步骤S14一次，得到3个重塑图像特征信息矩阵I₁、I₂和I₃。

基于三通道彩色图像的图像特征提取，相比基于普通彩色图像的提取到更多的图像特征，提高相似度s^j的可靠性。

可选的，在一些其它实施例中，步骤S2还包括以下步骤：

S21：将每个重塑图像特征信息矩阵通过图像特征提取形成至少3个64 维特征，本实施例中可以提取60个64维特征；

S22：将所有特征进行聚类得到四个聚类中心，分别为{μ₁，μ₂，μ₃，μ₄}，本实施例中可以采用K-Means将所有图像特征进行分层聚类，得到的聚类中心分别可以为μ1＝{α1,α2,α3,α4,β5,β6,β7,β8,β20,β19,β18, β17,γ10,γ11,γ13}，μ2＝{α5,α7,α12,α16,β1,β2,β15,β16,γ2 0,γ19,γ18,γ17,γ1,γ2,γ14}，μ3＝{α6,α9,α19,α20,β3,β4,β9, β10,γ16,γ12,γ4,γ5,γ8,γ9,γ15}，μ4＝{α8,α10,α11,α13,α14, α15,α17,α18,β11,β12,β13,β14,γ3,γ6,γ7}；

S23：对每个聚类中心再进行聚类得到聚类节点，直到待构建的词典树的层数h＝4或者所在的类再无子类为止；

S24，根据每个节点中的特征涵盖的图像数量计算节点的权重，得到词典树T₁，本实施例中，可以根据以下公式计算所述聚类节点的权重WT：

W_T＝log(N/N_T) (1)

其中N表示所述图像库的图像总数，N_T表示对于聚类节点T中的所述特征涵盖的图像数量，log()为对数函数，本实施例中N＝3，N_T＝2。

例如利用图像T＝{I₁,I₂,I₃}构建的词典树，每个节点中的涉及到的图像数量如{A:3,B:3,C:2,D:1,E:1,H:2,F:2,I:1,G:1,^J:3,K:3,N:3,L:3,O:3,R:2, S:1,P:1,M:3,T:3,U:2}

因此，词典树T1节点的权重向量

为：

可选的，在一些其它实施例中，步骤S3具体包括：

S31：获取一张目标图像；

S32：提取目标图像的特征得到待处理特征；

S33：计算待处理特征与目标模型内聚类节点的距离，将每个待处理特征归入距离最近的词典树节点中；

S34：统计每个词典树节点中的待处理特征个数，得到频率向量F^j；

S35：根据下列公式得到词典向量d^j：

d^j＝W_T·F^j (2)

其中W_T为聚类节点的权重；

S36：重复步骤S31-S35直至遍历所有目标图像。

在检索查询图像之前，先将所有目标图像的词典向量d^j提取出，使得在得到查询图像与每个目标图像的相似度时，仅需要对比词典向量d^j和词典向量q^j即可，从而达到快速检索的目的。

例如，如附图3所示，设有图像I₁的特征点des(I₁)＝{α₁,α₂,…,α₂₀}对应词典树中的节点中个数分别为：{A:20,B:4,C:2,D:1,E:1,H:2,F:2,I:0,G:0, J:0,K:4,N:4,L:4,O:3,R:2,S:1,P:1,M:8,T:1,U:7}那么,图像I₁的频率向量 F¹如下：

节点	A	B	C	D	E	H	F	I	G	J	K	N	L	O	R	S	P	M	T	U
																					F<sup>1</sup>	20	4	2	1	1	2	2	0	0	0	4	4	4	3	2	1	1	8	1	7

利用公式(2)得到图像I₁的词典向量d^j为：

可选的，在一些其它实施例中，步骤S4具体包括：

S41：获取查询图像和目标模型；

S42：根据目标模型计算查询图像的词典向量q^j；

S43：根据下列公式计算词典向量q^j和词典向量d^j的相似度s^j：

其中，p为词典向量q^j和词典向量d^j的维度，本实施例中p＝64；

S44：根据相似度s^j，将图像库中的图像从大到小排序，并输出前n张图像作为查询结果。

本发明解决上述技术问题的另一技术方案如下：

一种图像检索***，如附图2所示，包括图像输入模块1、特征提取模块2、词典树模块3和查询模块4，图像输入模块1用于获取n张目标图像，特征提取模块2用于提取全部目标图像的特征；词典树模块3用于对特征进行聚类并构建词典树T₁；词典树模块3还用于根据词典树T₁计算得出频率向量F^j，再根据频率向量F^j得到每张目标图像的词典向量d^j；图像输入模块1 还用于获取查询图像，查询模块4用于根据词典树T₁计算出查询图像的词典向量q^j，并计算词典向量q^j和词典向量d^j的相似度s^j，最后根据相似度s^j得到查询结果。

在开始图像检索之前，对目标图像进行特征提取，得到所有目标图像的特征向量，在所有目标图像中查询和查询图像相似的图像时，仅需计算出查询图像的特征向量，再对比查询图像的词典向量q^j和每个目标图像的词典向量d^j得到相似度，从而达到快速在千万级的图像中完成快速检索的目的。

可选的，在一些其它实施例中，图像输入模块1用于获取三通道彩色图像作为目标图像，特征提取模块2用于创建包括至少3个卷积子模块的神经网络数字模型，并将目标图像转换为3个单通道图像；特征提取模块2还用于取3个卷积子模块作为目标卷积子模块，并在每个目标卷积子模块后面增加一个池化层得到目标模型，再根据每张单通道图像和目标模型得到3个与每张单通道图像对应的图像信息串联的初始图像信息矩阵，并对每张单通道图像的每个初始图像信息矩阵进行归一化处理得到重塑图像特征信息矩阵 I₁、I₂和I₃。

基于三通道彩色图像的图像特征提取，相比基于普通彩色图像的提取到更多的图像特征，提高相似度s^j的可靠性。

可选的，在一些其它实施例中，词典树模块3用于将每个重塑图像特征信息矩阵通过图像特征提取形成至少3个64维特征，并将所有特征进行聚类得到四个聚类中心，分别为{μ₁，μ₂，μ₃，μ₄}，词典树模块3还用于对每个聚类中心再进行聚类得到聚类节点，直到待构建的词典树的层数h＝4或者所在的类再无子类为止；词典树模块3还用于根据每个节点中的特征涵盖的图像数量计算节点的权重，得到词典树T₁。

可选的，在一些其它实施例中，词典树模块3用于获取所有目标图像，并提取单一目标图像的特征得到待处理特征；计算待处理特征与目标模型内聚类节点的距离，将每个待处理特征归入距离最近的词典树节点中；词典树模块3还用于统计每个词典树节点中的待处理特征个数，得到频率向量F^j；词典树模块3还用于根据下列公式得到单一目标图像的词典向量d^j：

d^J＝W_T·F^j

其中W_T为聚类节点的权重。

在检索查询图像之前，先将所有目标图像的词典向量d^j提取出，使得在得到查询图像与每个目标图像的相似度时，仅需要对比词典向量d^j和词典向量q^j即可，从而达到快速检索的目的。

可选的，在一些其它实施例中，查询模块4用于根据目标模型计算查询图像的词典向量q^j；并根据下列公式计算词典向量q^j和词典向量d^j的相似度s^j：

其中，p为词典向量q^j和词典向量d^j的维度。

需要说明的是，上述各实施例是与上述各方法实施例对应的产品实施例，对于本实施例中各结构装置及可选实施方式的说明可以参考上述各方法实施例中的对应说明，在此不再赘述。

读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (6)

1.一种图像检索方法，其特征在于，包括以下步骤：

S1：获取n张目标图像并提取全部所述目标图像的特征；

S2：对所述特征进行聚类并构建词典树T₁；

S3：根据所述词典树T₁计算得出频率向量F^j，再根据频率向量F^j得到每张所述目标图像的词典向量d^j；

S4：获取查询图像，计算所述查询图像的词典向量q^j，并计算词典向量q^j和词典向量d^j的相似度s^j；

S5：根据所述相似度s^j得到查询结果;

其中，步骤S1包括以下步骤：

S11：创建包括至少3个卷积子模块的神经网络数字模型；

S12：获取三通道彩色图像作为目标图像，并将所述目标图像转换为3个单通道图像；

S13：取3个所述卷积子模块作为目标卷积子模块，并在每个所述目标卷积子模块后面增加一个池化层得到目标模型；

S14：根据所述单通道图像和所述目标模型得到3个图像信息串联的初始图像信息矩阵，并进行归一化处理得到重塑图像特征信息矩阵；

S15：根据剩余的所述单通道图像各自重复步骤S14一次，得到3个重塑图像特征信息矩阵I₁、I₂和I₃；

步骤S2包括以下步骤：

S21：将每个所述重塑图像特征信息矩阵通过图像特征提取形成至少3个64维特征；

S22：将所有所述特征进行聚类得到四个聚类中心，分别为

；

S23：对每个所述聚类中心再进行聚类得到聚类节点，直到待构建的词典树的层数h=4或者所在的类再无子类为止；

S24，根据每个节点中的特征涵盖的图像数量计算节点的权重，得到词典树T₁。

2.根据权利要求1所述的图像检索方法，其特征在于：步骤S3具体包括：

S31：获取一张所述目标图像；

S32：提取所述目标图像的特征得到待处理特征；

S33：计算所述待处理特征与所述目标模型内所述聚类节点的距离，将每个待处理特征归入距离最近的词典树节点中；

S34：统计每个所述词典树节点中的待处理特征个数，得到频率向量F^j；

S35：根据下列公式得到词典向量d^j：

其中W_T为所述聚类节点的权重;

S36：重复步骤S31-S35直至遍历所有所述目标图像。

3.根据权利要求2所述的图像检索方法，其特征在于：步骤S4具体包括：

S41：获取查询图像和所述目标模型；

S42：根据所述目标模型计算所述查询图像的词典向量q^j；

S43：根据下列公式计算词典向量q^j和词典向量d^j的相似度s^j：

其中，p为所述词典向量q^j和词典向量d^j的维度；

S44：根据所述相似度s^j，将图像库中的图像从大到小排序，并输出前n张图像作为查询结果。

4.一种图像检索***，其特征在于：包括图像输入模块、特征提取模块、词典树模块和 查询模块，所述图像输入模块用于获取n张目标图像，所述特征提取模块用于提取全部所述 目标图像的特征；所述词典树模块用于对所述特征进行聚类并构建词典树T₁；所述词典树 模块还用于根据所述词典树T₁计算得出频率向量F^j，再根据频率向量F^j得到每张所述目标 图像的词典向量d^j；所述图像输入模块还用于获取查询图像，所述查询模块用于根据所述 词典树T₁计算出所述查询图像的词典向量q^j，并计算词典向量q^j和词典向量d^j的相似度s^j， 最后根据所述相似度s^j得到查询结果；其中，所述图像输入模块用于获取三通道彩色图像 作为目标图像，所述特征提取模块用于创建包括至少3个卷积子模块的神经网络数字模型， 并将所述目标图像转换为3个单通道图像；所述特征提取模块还用于取3个所述卷积子模块 作为目标卷积子模块，并在每个所述目标卷积子模块后面增加一个池化层得到目标模型， 再根据每张所述单通道图像和所述目标模型得到3个与每张所述单通道图像对应的图像信 息串联的初始图像信息矩阵，并对每张所述单通道图像的每个初始图像信息矩阵进行归一 化处理得到重塑图像特征信息矩阵I₁、I₂和I₃；所述词典树模块用于将每个所述重塑图像特 征信息矩阵通过图像特征提取形成至少3个64维特征，并将所有所述特征进行聚类得到四 个聚类中心，分别为

，所述词典树模块还用于对每个所述聚类中心再进行 聚类得到聚类节点，直到待构建的词典树的层数h=4或者所在的类再无子类为止；所述词典 树模块还用于根据每个节点中的特征涵盖的图像数量计算节点的权重，得到词典树T₁。

5.根据权利要求4所述的图像检索***，其特征在于：所述词典树模块用于获取所有所述目标图像，并提取单一所述目标图像的特征得到待处理特征；计算所述待处理特征与所述目标模型内所述聚类节点的距离，将每个待处理特征归入距离最近的词典树节点中；所述词典树模块还用于统计每个所述词典树节点中的待处理特征个数，得到频率向量F^j；所述词典树模块还用于根据下列公式得到单一所述目标图像的词典向量d^j：

其中W_T为所述聚类节点的权重。

6.根据权利要求5所述的图像检索***，其特征在于：所述查询模块用于根据所述目标模型计算所述查询图像的词典向量q^j；并根据下列公式计算词典向量q^j和词典向量d^j的相似度s^j：

其中，p为所述词典向量q^j和词典向量d^j的维度；

所述查询模块还用于根据所述相似度s^j，将图像库中的图像从大到小排序，并输出前n张图像作为查询结果。

Images