CN114168782A - 一种基于三元组网络的深度哈希图像检索方法 - Google Patents

Abstract

本发明公开了一种基于三元组网络的深度哈希图像检索方法，具体为：采用三元组网络作为CNN网络进行图像特征学习；根据特征学习的情况进行损失函数优化，使得同一类别的样本图像对在特征空间的距离小于不同类别之间的样本图像对，优化神经网络模型；将查询图像与测试集图像输入三元组网络，分别得到图像的二进制哈希编码和fc7层的深度特征向量，先利用二进制哈希编码进行粗检索，根据汉明距离大小和设定的阈值得到相似图像的候选集图像，再利用fc7层深度特征进行细检索，计算查询图像与候选集图像的fc7层特征向量的欧氏距离，根据欧氏距离由小到大的顺序，得到最终n个检索结果。本发明解决了现有技术中存在的图像检索精度不高的问题。

Description

一种基于三元组网络的深度哈希图像检索方法

技术领域

本发明属于计算机图像检索方法技术领域，涉及一种基于三元组网络的深度哈希图像检索方法。

背景技术

近年来，哈希技术在大规模图像检索中应用广泛，通过将图像的高维特征转换为低维空间的二进制哈希编码，计算汉明距离来进行快速图像检索。该方法具有存储开销小，计算效率高的优点。传统的哈希方法是先提取高维特征，对特征进行学习得到哈希函数，然后利用哈希函数映射将图像高维特征转化为低维空间哈希码。随着CNN的发展，出现了将CNN提取的深度特征与哈希学习相结合的深度哈希算法，能够直接获取代表图像更深层信息的哈希编码。然而现有的大多数深度哈希方法存在监督信息利用不足，无法获取更加具有区分性的哈希编码，从而训练得到的模型没有达到预期的效果，直接影响检索结果精度。

因此，如何提供一种图像检索方法来提高哈希技术的检索精度具有重要的价值。

发明内容

本发明的目的是提供一种基于三元组网络的深度哈希图像检索方法，解决了现有技术中存在的图像检索精度不高的问题。

本发明所采用的技术方案是，一种基于三元组网络的深度哈希图像检索方法，具体按照如下步骤实施：

步骤1，采用并列的三个Alexnet网络模型为CNN网络模型，并在每个Alexnet网络模型的倒数第二个全连接层fc7层后添加隐藏层，即就是添加哈希层，且三个Alexnet网络模型之间共享权重参数；

步骤2，选用图像数据集CIFAR-10，将其划分为训练集和测试集，以训练集图像作为步骤1构建的CNN网络模型的输入图像，每个输入图像均为一个三元组图像，包括锚点图像、正样本图像和负样本图像，其中正样本图像和锚点图像为同一类别，负样本图像与锚点图像为不同类别；

步骤3，将每个输入图像的锚点图像、正样本图像和负样本图像分别输入至一个Alexnet网络模型中，锚点图像、正样本图像和负样本图像分别在输出fc7层和哈希层产生一个输出fc7层的深度特征和一个代表图像特征的初步哈希码；

步骤4，为CNN网络模型引入一个三元组损失函数，使用步骤3生成的初步哈希码通过最小化三元组损失函数，使得锚点图像、正样本图像在特征空间的距离小于锚点图像和负样本图像在特征空间的距离，完成对CNN网络模型的优化；

步骤5，将测试集图像与查询图像输入到步骤4优化的CNN网络模型中对应输入锚点图像的Alexnet网络模型中，得到对应的哈希编码和fc7层深度特征，其中测试图像和查询图像均为锚点图像，计算查询图像与测试集图像对应的二进制哈希编码的汉明距离，根据设定的阈值，如果汉明距离小于阈值，则认为查询图像与测试集图像相似，在测试集图像中得到m个最相似的候选图像集，然后计算查询图像向量与候选集图像的深度特征向量的欧式距离，按照从小到大排序获得最终的检索结果，在候选图像集中找到n个最相似的图像，即就是查询图像最相似n图像。

本发明的特征还在于，

图像数据集CIFAR-10共60000张，训练集分10类，每类5000张，测试集分10类，每类1000张。

步骤4中的使得锚点图像、正样本图像在特征空间的距离小于锚点图像和负样本图像在特征空间的距离，即就是：

S(x_i,x_i ⁺)<S(x_i,x_i ^-) (2)

等价于

S²(x_i,x_i ⁺)<S²(x_i,x_i ^-) (3)

其中，x_i为锚点图像，x_i ⁺为正样本图像，即与x_i同一类别的样本图像，x_i ^-为负样本图像，即与x_i不同样类别的样本图像，S(x,x`)表示两张图像x和x`的相似性，即就是S(x_i,x_i ⁺)为锚点图像和正样本图像的相似性，S(x_i,x_i ^-)锚点图像和负样本图像的相似性，根据此将三元组损失函数定义如下：

loss(x_i,x_i ⁺,x_i ^-)＝max{0,g+S²(x_i,x_i ⁺)-S²(x_i,x_i ^-)} (4)

式中，loss(x_i,x_i ⁺,x_i ^-)代表三元组损失函数，其中，g为度量同类别图像对与不同类别图像对之间距离的阈值参数。

g＝-1。

对CNN网络模型的优化，即就是对三元组损失函数的优化，具体过程为：

记训练集X＝{X_i}，其中{X_i}＝(x_i,x_i ⁺,x_i ^-)，则将三元组损失函数的优化转化为以下目标函数L的最小化问题，即就是：

其中，W为神经网络参数，λ为提高网络模型泛化能力而引入的正则化系数，n为训练集中三元组的数目；

引入函数d(W,X_i)表示三元组中锚点图像、正样本图像与锚点图像、负样本图像图像对之间的距离，即

d(W,X_i)＝S²(x_i,x_i ⁺)-S²(x_i,x_i ^-) (6)

则目标函数可以进一步写成:

为优化该目标函数，使其最小，目标函数的偏导数为：

通过d(W,X_i)的定义可以得到d(W,X_i)的梯度如下：

由此可以看出，将三元组图像输入到网络中，进行前向和反向计算即可得到三元组损失函数的梯度，然后使用梯度下降算法即可得到优化的目标函数，从而优化三元组损失函数，得到最优的CNN网络模型。

步骤5中计算查询图像与测试集图像对应的二进制哈希编码的汉明距离具体为：

首先给定测试集中的图像I，将查询图像I输入到步骤5优化后的CNN网络模型中，提取隐藏层，即就是哈希层的输出作为图像特征，记为Out(H)，通过设定阈值进行二值化，得到对应的二进制哈希码，即对于每一位j＝1...h，h是隐藏层的节点数，输出的二进制编码为

设定Γ＝{I₁,I₂,...,I_n}表述用于检索的图像构成的测试集，I_n表示第n个测试集图像，每个图像对应的二进制编码表示为Γ_H＝{H₁,H₂,...,H_n}，其中H_i∈{0,1}^h；

对于查询图像I_q和其对应的二进制编码H_q，计算H_q和H_i的汉明距离，如果H_q和H_i∈Γ_H汉明距离小于阈值，则认为是相似图像，根据阈值设定最终得到有m张相似图片的候选图像集，得到对应的候选图像集

步骤5中计算查询图像向量与候选集图像的深度特征向量的欧式距离具体为：

对于查询图像I_q和候选图像集P,V_q代表查询图像q的特征向量，V_i ^P表示候选集图像中第i个图像的特征向量，通过下式计算它们对应的特征向量之间的欧氏距离：

s_i＝||V_q-V_i ^P|| (12)

欧氏距离越小，两幅图像的相似度越高，最终在候选图像集中根据欧氏距离由小到大的排序得到n个最相似的结果图像，n<m。

本发明的有益效果是：

本发明选用三元组网络共享权重进行图像特征学习，能够充分利用图像的监督信息，获取代表图像的深度特征，并利用三元组损失函数进一步优化网络模型，使得同一类别的图像之间的距离更小，不同类别图像之间的距离更大，从而获得更具区分性和更高查询精度的二进制哈希编码。在检索图像时，先利用哈希编码进行粗检索，得到候选图像集，再利用图像的fc7层深度特征进行细检索，最终在候选图像集中得到n个最相似的图像，有效提高检索精度。

附图说明

图1是本发明一种基于三元组网络的深度哈希图像检索方法中图像特征学习的结构示意图；

图2是本发明一种基于三元组网络的深度哈希图像检索方法的流程图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明一种基于三元组网络的深度哈希图像检索方法，其流程如图2所示。具体按照如下步骤实施：

步骤1，如图1所示，采用并列的三个Alexnet网络模型为CNN网络模型，并在每个Alexnet网络模型的倒数第二个全连接层fc7层后添加隐藏层，即就是添加哈希层，且三个Alexnet网络模型之间共享权重参数；

步骤2，选用图像数据集CIFAR-10，将其划分为训练集和测试集，以训练集图像作为步骤1构建的CNN网络模型的输入图像，图像数据集CIFAR-10共60000张，训练集分10类，每类5000张，测试集分10类，每类1000张，每个输入图像均为一个三元组图像，包括锚点图像、正样本图像和负样本图像，其中正样本图像和锚点图像为同一类别，负样本图像与锚点图像为不同类别；

步骤3，将每个输入图像的锚点图像、正样本图像和负样本图像分别输入至一个Alexnet网络模型中，锚点图像、正样本图像和负样本图像分别在输出fc7层和哈希层产生一个输出fc7层的深度特征和一个代表图像特征的初步哈希码；

步骤4，为CNN网络模型引入一个三元组损失函数，使用步骤3生成的初步哈希码通过最小化三元组损失函数，使得锚点图像、正样本图像在特征空间的距离小于锚点图像和负样本图像在特征空间的距离，即就是即同一类别图像生成的哈希码更相似，不同类别图像的哈希码差异越大，完成对CNN网络模型的优化；

优化过程具体为：

假设样本图像之间的相对距离关系使用一系列图像三元组来表示：{X_i}＝(x,x⁺,x^-)，其中x为锚点图像，x⁺为正样本，即与x同一类别的样本图像，x^-为负样本图像，即与x不同样类别的样本图像。根据图像在欧式空间的距离，将两张图像x,x`的相似性定义为：

S(x,x`)＝||F(x)-F(x`)||₂ (1)

式中S(x,x`)为两张图像的相似性，F(x)为将图像数据映射到欧式空间的函数，对通过深度神经网络实现的特征映射函数，F(x)表示图像x的网络输出，或是图像x的特征表示。

对于训练时的一个三元组来说，使得锚点图像、正样本图像在特征空间的距离小于锚点图像和负样本图像在特征空间的距离，即就是期望输出的特征表示应该在L₂范数下满足以下条件：

S(x_i,x_i ⁺)<S(x_i,x_i ^-) (2)

等价于

S²(x_i,x_i ⁺)<S²(x_i,x_i ^-) (3)

其中，x_i为锚点图像，x_i ⁺为正样本图像，即与x_i同一类别的样本图像，x_i ^-为负样本图像，即与x_i不同样类别的样本图像，S(x,x`)表示两张图像x和x`的相似性，即就是S(x_i,x_i ⁺)为锚点图像和正样本图像的相似性，S(x_i,x_i ^-)锚点图像和负样本图像的相似性，这里使用平方的形式便于后续实施优化时的导数计算。对于给定的三元组{X_i}，针对分类问题言，需要最大化同一类别图像对与非同一类别图像对之间的距离，因此将三元组损失函数定义如下：

loss(x_i,x_i ⁺,x_i ^-)＝max{0,g+S²(x_i,x_i ⁺)-S²(x_i,x_i ^-)} (4)

式中，loss(x_i,x_i ⁺,x_i ^-)代表三元组损失函数，其中，g为度量同类别图像对与不同类别图像对之间距离的阈值参数，g＝-1。

对CNN网络模型的优化，即就是对三元组损失函数的优化，具体过程为：

记训练集X＝{X_i}，其中{X_i}＝(x_i,x_i ⁺,x_i ^-)，则将三元组损失函数的优化转化为以下目标函数L的最小化问题，即就是：

其中，W为神经网络参数，λ为提高网络模型泛化能力而引入的正则化系数，n为训练集中三元组的数目；

引入函数d(W,X_i)表示三元组中锚点图像、正样本图像与锚点图像、负样本图像图像对之间的距离，即

d(W,X_i)＝S²(x_i,x_i ⁺)-S²(x_i,x_i ^-) (6)

则目标函数可以进一步写成:

为优化该目标函数，使其最小，目标函数的偏导数为：

通过d(W,X_i)的定义可以得到d(W,X_i)的梯度如下：

由此可以看出，将三元组图像输入到网络中，进行前向和反向计算即可得到三元组损失函数的梯度，然后使用梯度下降算法即可得到优化的目标函数，从而优化三元组损失函数，得到最优的CNN网络模型，从而提取到图像最本质的深层特征，获得具有更高的区分性和查询精度的哈希码。

步骤5，将测试集图像与查询图像输入到步骤4优化的CNN网络模型中对应输入锚点图像的Alexnet网络模型中，得到对应的哈希编码和fc7层深度特征，其中测试图像和查询图像均为锚点图像，计算查询图像与测试集图像对应的二进制哈希编码的汉明距离，根据设定的阈值，如果汉明距离小于阈值，则认为查询图像与测试集图像相似，在测试集图像中得到m个最相似的候选图像集，然后计算查询图像向量与候选集图像的深度特征向量的欧式距离，按照从小到大排序获得最终的检索结果，在候选图像集中找到n个最相似的图像，即就是查询图像最相似n图像；

其中，计算查询图像与测试集图像对应的二进制哈希编码的汉明距离具体为：

首先给定测试集中的图像I，将查询图像I输入到步骤5优化后的CNN网络模型中，提取隐藏层，即就是哈希层的输出作为图像特征，记为Out(H)，通过设定阈值进行二值化，得到对应的二进制哈希码，即对于每一位j＝1...h，h是隐藏层的节点数，输出的二进制编码为

设定Γ＝{I₁,I₂,...,I_n}表述用于检索的图像构成的测试集，I_n表示第n个测试集图像，每个图像对应的二进制编码表示为Γ_H＝{H₁,H₂,...,H_n}，其中H_i∈{0,1}^h；

对于查询图像I_q和其对应的二进制编码H_q，计算H_q和H_i的汉明距离，如果H_q和H_i∈Γ_H汉明距离小于阈值，则认为是相似图像，根据阈值设定最终得到有m张相似图片的候选图像集，得到对应的候选图像集

其中，计算查询图像向量与候选集图像的深度特征向量的欧式距离具体为：

对于查询图像I_q和候选图像集P,V_q代表查询图像q的特征向量，V_i ^P表示候选集图像中第i个图像的特征向量，通过下式计算它们对应的特征向量之间的欧氏距离：

s_i＝||V_q-V_i ^P|| (12)

欧氏距离越小，两幅图像的相似度越高，最终在候选图像集中根据欧氏距离由小到大的排序得到n个最相似的结果图像，n<m。

Claims (7)

1.一种基于三元组网络的深度哈希图像检索方法，其特征在于，具体按照如下步骤实施：

步骤1，采用并列的三个Alexnet网络模型为CNN网络模型，并在每个Alexnet网络模型的倒数第二个全连接层fc7层后添加隐藏层，即就是添加哈希层，且三个Alexnet网络模型之间共享权重参数；

步骤2，选用图像数据集CIFAR-10，将其划分为训练集和测试集，以训练集图像作为步骤1构建的CNN网络模型的输入图像，每个输入图像均为一个三元组图像，包括锚点图像、正样本图像和负样本图像，其中正样本图像和锚点图像为同一类别，负样本图像与锚点图像为不同类别；

步骤3，将每个输入图像的锚点图像、正样本图像和负样本图像分别输入至一个Alexnet网络模型中，锚点图像、正样本图像和负样本图像分别在输出fc7层和哈希层产生一个输出fc7层的深度特征和一个代表图像特征的初步哈希码；

步骤4，为CNN网络模型引入一个三元组损失函数，使用步骤3生成的初步哈希码通过最小化三元组损失函数，使得锚点图像、正样本图像在特征空间的距离小于锚点图像和负样本图像在特征空间的距离，完成对CNN网络模型的优化；

步骤5，将测试集图像与查询图像输入到步骤4优化的CNN网络模型中对应输入锚点图像的Alexnet网络模型中，得到对应的哈希编码和fc7层深度特征，其中测试图像和查询图像均为锚点图像，计算查询图像与测试集图像对应的二进制哈希编码的汉明距离，根据设定的阈值，如果汉明距离小于阈值，则认为查询图像与测试集图像相似，在测试集图像中得到m个最相似的候选图像集，然后计算查询图像向量与候选集图像的深度特征向量的欧式距离，按照从小到大排序获得最终的检索结果，在候选图像集中找到n个最相似的图像，即就是查询图像最相似n图像。

2.根据权利要求1所述的一种基于三元组网络的深度哈希图像检索方法，其特征在于，所述图像数据集CIFAR-10共60000张，训练集分10类，每类5000张，测试集分10类，每类1000张。

3.根据权利要求1所述的一种基于三元组网络的深度哈希图像检索方法，其特征在于，所述步骤4中的使得锚点图像、正样本图像在特征空间的距离小于锚点图像和负样本图像在特征空间的距离，即就是：

S(x_i,x_i ⁺)<S(x_i,x_i ^-) (2)

等价于

S²(x_i,x_i ⁺)<S²(x_i,x_i ^-) (3)

其中，x_i为锚点图像，x_i ⁺为正样本图像，即与x_i同一类别的样本图像，x_i ^-为负样本图像，即与x_i不同样类别的样本图像，S(x,x`)表示两张图像x和x`的相似性，即就是S(x_i,x_i ⁺)为锚点图像和正样本图像的相似性，S(x_i,x_i ^-)锚点图像和负样本图像的相似性，根据此将三元组损失函数定义如下：

loss(x_i,x_i ⁺,x_i ^-)＝max{0,g+S²(x_i,x_i ⁺)-S²(x_i,x_i ^-)} (4)

式中，loss(x_i,x_i ⁺,x_i ^-)代表三元组损失函数，其中，g为度量同类别图像对与不同类别图像对之间距离的阈值参数。

4.根据权利要求3所述的一种基于三元组网络的深度哈希图像检索方法，其特征在于，g＝-1。

5.根据权利要求3所述的一种基于三元组网络的深度哈希图像检索方法，其特征在于，所述对CNN网络模型的优化，即就是对三元组损失函数的优化，具体过程为：

记训练集X＝{X_i}，其中{X_i}＝(x_i,x_i ⁺,x_i ^-)，则将三元组损失函数的优化转化为以下目标函数L的最小化问题，即就是：

其中，W为神经网络参数，λ为提高网络模型泛化能力而引入的正则化系数，n为训练集中三元组的数目；

引入函数d(W,X_i)表示三元组中锚点图像、正样本图像与锚点图像、负样本图像图像对之间的距离，即

d(W,X_i)＝S²(x_i,x_i ⁺)-S²(x_i,x_i ^-) (6)

则目标函数可以进一步写成:

为优化该目标函数，使其最小，目标函数的偏导数为：

通过d(W,X_i)的定义可以得到d(W,X_i)的梯度如下：

由此可以看出，将三元组图像输入到网络中，进行前向和反向计算即可得到三元组损失函数的梯度，然后使用梯度下降算法即可得到优化的目标函数，从而优化三元组损失函数，得到最优的CNN网络模型。

6.根据权利要求4所述的一种基于三元组网络的深度哈希图像检索方法，其特征在于，所述步骤5中计算查询图像与测试集图像对应的二进制哈希编码的汉明距离具体为：

首先给定测试集中的图像I，将查询图像I输入到步骤5优化后的CNN网络模型中，提取隐藏层，即就是哈希层的输出作为图像特征，记为Out(H)，通过设定阈值进行二值化，得到对应的二进制哈希码，即对于每一位j＝1...h，h是隐藏层的节点数，输出的二进制编码为

设定Γ＝{I₁,I₂,...,I_n}表述用于检索的图像构成的测试集，I_n表示第n个测试集图像，每个图像对应的二进制编码表示为Γ_H＝{H₁,H₂,...,H_n}，其中H_i∈{0,1}^h；

对于查询图像I_q和其对应的二进制编码H_q，计算H_q和H_i的汉明距离，如果H_q和H_i∈Γ_H汉明距离小于阈值，则认为是相似图像，根据阈值设定最终得到有m张相似图片的候选图像集，得到对应的候选图像集

7.根据权利要求6所述的一种基于三元组网络的深度哈希图像检索方法，其特征在于，所述步骤5中计算查询图像向量与候选集图像的深度特征向量的欧式距离具体为：

对于查询图像I_q和候选图像集P,V_q代表查询图像q的特征向量，V_i ^P表示候选集图像中第i个图像的特征向量，通过下式计算它们对应的特征向量之间的欧氏距离：

s_i＝||V_q-V_i ^P|| (12)

欧氏距离越小，两幅图像的相似度越高，最终在候选图像集中根据欧氏距离由小到大的排序得到n个最相似的结果图像，n<m。

Images