CN115761263B - 深度哈希方法 - Google Patents
深度哈希方法 Download PDFInfo
- Publication number
- CN115761263B CN115761263B CN202211581109.XA CN202211581109A CN115761263B CN 115761263 B CN115761263 B CN 115761263B CN 202211581109 A CN202211581109 A CN 202211581109A CN 115761263 B CN115761263 B CN 115761263B
- Authority
- CN
- China
- Prior art keywords
- data
- image
- representing
- hash code
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000004927 fusion Effects 0.000 claims abstract description 61
- 239000011159 matrix material Substances 0.000 claims abstract description 51
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 27
- 238000005457 optimization Methods 0.000 claims abstract description 25
- 239000013598 vector Substances 0.000 claims description 23
- 238000013507 mapping Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 7
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000000903 blocking effect Effects 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 32
- 238000000605 extraction Methods 0.000 description 5
- 238000013139 quantization Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请适用于图像检索技术领域，提供了一种深度哈希方法，该方法通过提取图像数据的局部特征数据和全局表示数据；对局部特征数据和全局表示数据进行融合，得到融合特征数据；对多个融合特征进行聚类，得到多个簇；将最大簇融合特征的数量作为所有超边的最大阶数，根据所有阶超边的权重构建总关联矩阵；根据总关联矩阵构建融合特征数据超图；利用超图卷积神经网络对融合特征数据超图进行处理，得到融合特征数据对应的优化特征数据；对优化特征数据进行处理，得到图像数据的初始哈希码；利用初始哈希码和损失函数构建模型优化函数，并根据模型优化函数得到最终哈希码。本申请可以提高深度哈希方法检索的准确率。
Description
技术领域
本申请属于图像检索技术领域，尤其涉及一种深度哈希方法。
背景技术
深度哈希(一种基于深度学习的压缩映射技术，通过训练好的哈希模型将高维图像特征映射成低维二进制码，通过计算二进制哈希码之间的汉明距离(两个相似图片的哈希码之间对应位置的不同字符的数量)来实现高效、精准的图像检索方法)作为近似最近邻检索的算法之一，通过将高维图像映射成低维哈希码，在牺牲一定精度的前提下，极大提高了大规模图像检索的检索效率，在图像检索领域由于其低存储，高检索的优点吸引了人们的广泛关注。
目前大多数深度哈希方法的特征提取阶段都是使用卷积神经网络(CNN，Convolutional Neural Network)来进行的，通过全连接层将图像特征映射到低维汉明空间，以语义相似性损失函数和量化损失函数来优化哈希模型，从而保持训练对的相似性，控制量化误差，进而生成高质量的哈希码。尽管卷积神经网络局部特征的提取能力很好，但受限于感受野的大小，其全局表示能力不足，使得图像检索的效果并不能让人满意。随着视觉转换器(VIT，Vision Transformer)在视觉领域的出现，VIT在各种计算机视觉任务(图像分类、目标检测等)中胜过CNN，有人使用VIT来代替CNN来进行特征提取，并取得了很好的效果。但是VIT忽略了图片的局部特征细节，降低了前景和背景之间的可辨别性。而且无论是CNN亦或是VIT，都无法挖掘图像数据间的复杂的关系，单靠损失函数去进行哈希码的相关性优化无法满足实际图像检索的性能需求。
综上，目前深度哈希方法的检索准确率低。
发明内容
本申请实施例提供了一种深度哈希方法，可以解决深度哈希方法检索准确率较低的问题。
本申请一些实施例中，提供了一种深度哈希方法，包括：
提取图像数据的局部特征数据和全局表示数据；
对局部特征数据和全局表示数据进行融合，得到融合特征数据；
对多个融合特征进行聚类，得到多个簇；
将多个簇中最大簇包括的融合特征的数量作为超边的最大阶数，计算所有阶超边的关联矩阵，并根据每个阶超边的权重构建总关联矩阵；
根据总关联矩阵构建融合特征数据超图；
利用超图卷积神经网络对融合特征数据超图进行处理，得到融合特征数据对应的优化特征数据；
对优化特征数据进行哈希处理，得到图像数据的初始哈希码；
利用初始哈希码和损失函数构建模型优化函数，并根据构建的模型优化函数得到图像数据的最终哈希码。
可选的，提取图像数据的局部特征数据和全局表示数据，包括：
对原始图像数据进行增强处理，得到增强图像数据X；
利用卷积神经网络提取增强图像数据的局部特征数据；
利用视觉转换器提取增强图像数据的全局表示数据。
可选的，利用卷积神经网络提取增强图像数据的局部特征数据，包括：
将神经网络模型的特征提取器作为卷积神经网络的主干网络；
利用所述卷积神经网络提取所述增强图像数据X中每个增强图像的高维局部特征，得到高维局部特征数据；其中，xi表示n个增强图像中的第i个增强图像，i＝1,2,...,n，n表示增强图像的总数量，xi∈RW×H×C，R表示实数空间，W表示图像宽度，H表示图像高度，C表示图像的通道数；
利用卷积神经网络对高维局部特征数据进行映射，得到局部特征数据flocal。
可选的，利用视觉转换器提取增强图像数据的全局表示数据，包括：
对每个增强图像进行分块处理；其中，每个增强图像被分成b个增强图像块，b＝(W×H)/p2，p表示每个增强图像块的长度；
对每个增强图像对应的增强图像块进行映射，得到该增强图像对应的块向量集xiB＝{xi1,xi2,...,xib}；其中，xib表示第i个增强图像的第b个增强图像块对应的块向量，B＝1,2,...,b；
在每个增强图像对应的块向量集中，添加一个类令牌xclass，得到该增强图像对应的嵌入块向量集xemd；
在每个增强图像对应的嵌入块向量集中，通过位置编码添加位置信息POS，得到该增强图像对应的位置嵌入块向量集xpos；其中，xpos＝xemd+POS；
利用编码器对每个增强图像对应的位置嵌入块向量集进行编码，得到增强图像数据的全局表示数据fglobal；其中，fglobal＝E(xpos)。
可选的，对局部特征数据和全局表示数据进行融合，得到融合特征数据，包括：
对局部特征数据中的每个局部特征和全局表示数据中该局部特征对应的全局表示进行融合，得到融合特征数据ffused＝[flocal,fglobal]。
可选的，将多个簇中最大簇包括的融合特征的数量作为超边的最大阶数，计算所有阶超边的关联矩阵，并根据每个阶超边的权重构建总关联矩阵，包括：
将多个簇中最大簇包括的融合特征的数量作为超边的最大阶数C；
根据阶数由小到大的顺序，依次构建各阶超边的关联矩阵Hc，c＝1,2,…,C；
根据各阶超边的权重，对所有阶超边的关联矩阵进行计算，得到总关联矩阵Htotal，Htotal∈Rn×n。
可选的，利用超图卷积神经网络对融合特征数据超图进行处理，得到融合特征数据对应的优化特征数据，包括：
通过计算公式
得到优化特征数据，其中，X(l)表示超图卷积神经网络第l层输入的融合特征数据，X(l+1)表示融合特征数据在超图卷积神经网络第l层处理后的优化特征数据，θ(l)表示超图卷积神经网络第l层的的权重，W表示超边的权重矩阵，Dv表示节点的度矩阵，节点与融合特征数据中的融合特征一一对应，De表示超边的度矩阵，σ表示激活函数，H表示总关联矩阵。
可选的，对优化特征数据进行哈希处理，得到增强图像数据的初始哈希码，包括：
对优化特征数据进行全连接映射，得到图像数据的初始哈希码H；其中，hi表示第i个图像对应的初始哈希码，k表示初始哈希码的维度。
可选的，利用初始哈希码和损失函数构建模型优化函数，并根据构建的模型优化函数得到图像数据的最终哈希码，包括：
通过计算公式
Ltotal＝Ls+Lq
得到模型优化函数Ltotal；其中，表示第i个图像的初始哈希码hi与第j个图像的初始哈希码hj的余弦相似度，D(|hi|,1)表示第i个图像的初始哈希码hi与离散值1之间的距离，sij表示第i个图像的真实值xi和第j个图像的真实值xj对应的相似矩阵，若xi和xj相似，则sij＝1，否则sij＝0；S1＝{sij∈S:sij＝1}表示所有图像数据相似项的集合，S0＝{sij∈S:sij＝0}表示所有图像数据中不相似项的集合；
利用Adam优化器对超图卷积神经网络中每层的权重进行更新，并通过更新后满足预设标准的超图卷积神经网络对融合特征数据超图进行处理，得到图像数据的新的哈希码；
利用模型优化函数Ltotal对图像数据的新的哈希码进行处理，得到图像数据的最终哈希码。
本申请的上述方案有如下的有益效果：
在本申请的一些实施例中，通过将根据聚类得到的多个簇中最大簇包括的融合特征的数量作为所有超边的最大阶数，使得超边中融合特征的数量不固定，然后根据所有阶超边的权重构建总关联矩阵，再由总关联矩阵构建融合特征数据超图，能够更详细的描述图像数据的分布，提高了深度哈希方法检索的准确率；利用损失函数和初始哈希码构建模型优化函数，并根据构建的模型优化函数得到图像数据的最终哈希码，减小了哈希处理中的语义损失和量化损失，从而提高了深度哈希方法检索的准确率。
本申请的其它有益效果将在随后的具体实施方式部分予以详细说明。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的深度哈希方法的流程图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
针对目前深度哈希方法的检索准确率低的问题，本申请提供了一种深度哈希方法，通过将根据聚类得到的多个簇中最大簇包括的融合特征的数量作为所有超边的最大阶数，使得超边中融合特征的数量不固定，然后根据所有阶超边的权重构建总关联矩阵，再由总关联矩阵构建融合特征数据超图，能够更详细的描述图像数据的分布，提高了深度哈希方法检索的准确率；利用损失函数和初始哈希码构建模型优化函数，并根据构建的模型优化函数得到图像数据的最终哈希码，减小了哈希处理中的语义损失和量化损失，从而提高了深度哈希方法检索的准确率。
如图1所示，本申请提供的深度哈希方法包括以下步骤：
步骤11，提取图像数据的局部特征数据和全局表示数据。
上述图像数据包括多个图像，上述局部特征数据表示图像数据的多个局部特征，上述全局表示数据包括图像数据的多个全局表示。
提取图像数据的局部特征数据和全局表示数据可以便于后续得到图像数据的融合特征数据，提高图像检索的准确率。
步骤12，对局部特征数据和全局表示数据进行融合，得到融合特征数据。
具体的，将局部特征扁平化之后添加到全局表示当中，得到融合特征ffused＝[flocal,fglobal]。
步骤13，对多个融合特征进行聚类，得到多个簇。
具体的，将每个融合特征作为一个节点，根据图像特征(融合特征)间的欧氏距离进行邻近算法(K-Means)聚类，得到多个簇。
步骤14，将多个簇中最大簇包括的融合特征的数量作为超边的最大阶数，计算所有阶超边的关联矩阵，并根据每个阶超边的权重构建总关联矩阵。
具体的，以最大簇中融合特征的数量的当作超边的最大阶数C，从1到C分别以融合特征计算各阶超边的关联矩阵，最终根据所有阶超边的权重构建总关联矩阵。
采用多个簇中最大簇包括的融合特征的数量作为所有超边的最大阶数，能够解除固定阶数对实际数据分布的限制，使得超图的构建更加精确合理，不再是均匀超图(所有超边所连接的点的数量均一致的超图)，从而提高图像检索的准确性。
步骤15，根据总关联矩阵构建融合特征数据超图。
步骤16，利用超图卷积神经网络对融合特征数据超图进行处理，得到融合特征数据对应的优化特征数据。
超图卷积神经网络能够聚合超图中相邻节点的特征，增强数据的相关性。
步骤17，对优化特征数据进行哈希处理，得到图像数据的初始哈希码。
具体的，对优化特征数据进行全连接映射，得到图像数据的初始哈希码H；其中，hi表示第i个图像对应的初始哈希码。
步骤18，利用初始哈希码和损失函数构建模型优化函数，并根据构建的模型优化函数得到图像数据的最终哈希码。
通过模型优化函数的约束，可以使哈希码趋于平稳，该哈希码对应的图像的预测值更加接近该图像的真实值。
可见，本申请通过将根据聚类得到的多个簇中最大簇包括的融合特征的数量作为所有超边的最大阶数，使得超边中融合特征的数量不固定，然后根据所有阶超边的权重构建总关联矩阵，再由总关联矩阵构建融合特征数据超图，能够更详细的描述图像数据的分布，提高了深度哈希方法检索的准确率；利用损失函数和初始哈希码构建模型优化函数，并根据构建的模型优化函数得到图像数据的最终哈希码，减小了哈希处理中的语义损失和量化损失，从而提高了深度哈希方法检索的准确率。
下面对步骤11(提取图像数据的局部特征数据和全局表示数据)的具体过程做是理性说明。
步骤11.1，对原始图像数据进行增强处理，得到增强图像数据X。
具体的，对原始图像数据的尺寸进行统一处理，通过图像随机裁剪的方式进行数据增强，得到增强图像数据X。其中，xi表示n个增强图像中的第i个增强图像，i＝1,2,...,n，n表示增强图像的总数量，xi∈RW×H×C，R表示实数空间，W表示图像宽度，H表示图像高度，C表示图像的通道数。
该步骤能够去除原始图像数据中不清晰的图像数据，减少由不清晰图像数据带来的干扰，提高图像检索的准确率。
步骤11.2，利用卷积神经网络提取增强图像数据的局部特征数据。
上述卷积神经网络是一种用于提取图像特征的深度神经网络，用于各种视觉任务，使用卷积核可以提取到图像的局部特征。
步骤11.2.1，将神经网络模型的特征提取器作为卷积神经网络的主干网络。
上述特征提取器由五层卷积层构成，每层卷积层由卷积(Convolution),线性整流函数(Relu)和最大池化(Maxpool)构成。
步骤11.2.2，利用卷积神经网络提取增强图像数据X中每个增强图像的高维局部特征，得到高维局部特征数据。
步骤11.2.3，利用卷积神经网络对高维局部特征数据进行映射，得到局部特征数据。
具体的，通过卷积神经网络中的一层全连接层将高维局部特征数据映射成一维局部特征数据，该一维局部特征数据就是所求局部特征数据flocal。
步骤11.3，利用视觉转换器提取增强图像数据的全局表示数据。
上述视觉转换器是一种出自自然语言处理领域，目前在视觉领域兴起的深度神经网络，其是基于注意力机制构建的模型架构，通过切块以及位置编码操作可以提取到图像的全局表示。
步骤11.3.1，对每个增强图像进行分块处理。
具体的，将增强图像数据中的每个增强图像分成b块，则每个增强图像包含b个增强图像块，b＝(W×H)/p2，p表示每个增强图像块的长度，每个增强图像块的维度为P×P×C。
步骤11.3.2，对每个增强图像对应的增强图像块进行映射，得到该增强图像对应的块向量集xiB＝{xi1,xi2,...,xib}。
具体的，将高维的增强图像块向量映射到低维空间，得到该增强图像对应的块向量集xiB＝{xi1,xi2,...,xib}，
步骤11.3.3，在每个增强图像对应的块向量集中，添加一个类令牌xclass，得到该增强图像对应的嵌入块向量集xemd。
示例性的，在每个增强图像对应的块向量集的头部，添加一个类令牌xclass，得到增强图像对应的嵌入块向量集xemd＝[xclass,xi1,xi2,…,xib]。
步骤11.3.4，利用编码器对每个增强图像对应的位置嵌入块向量集进行编码，得到增强图像数据的全局表示数据fglobal。
具体的，使用编码器(enconder)对位置嵌入向量进行编码操作以得到图像的全局表示fglobal＝E(xpos)。
下面对步骤14(将多个簇中最大簇包括的融合特征的数量作为超边的最大阶数，计算所有阶超边的关联矩阵，并根据每个阶超边的权重构建总关联矩阵)的具体过程做是理性说明。
步骤14.1，将多个簇中最大簇包括的融合特征的数量作为超边的最大阶数C。
步骤14.2，根据阶数由小到大的顺序，依次构建各阶超边的关联矩阵Hc。
步骤14.3，根据各阶超边的权重，对所有阶超边的关联矩阵进行计算，得到总关联矩阵Htotal。
具体的，根据各阶超边的权重将所有阶的关联矩阵进行加权求平均取得总的关联矩阵。
下面对步骤16(利用超图卷积神经网络对融合特征数据超图进行处理，得到融合特征数据对应的优化特征数据)的具体过程做示例性说明。
具体的，通过计算公式
得到优化特征数据，其中，X(l)表示超图卷积神经网络第l层输入的融合特征数据，X(l+1)表示融合特征数据在超图卷积神经网络第l层处理后的优化特征数据，θ(l)表示超图卷积神经网络第l层的的权重，W表示超边的权重矩阵，Dv表示节点的度矩阵，节点与融合特征数据中的融合特征一一对应，De表示超边的度矩阵，σ表示激活函数，H表示总关联矩阵。上述超边的度表示超边所包含的点(融合特征)的数量，点的度表示与该顶点有关的超边与超边对应权重乘积之和。
需要说明的是，超图卷积神经网络是一种用于挖掘数据间高阶相关性的神经网络，利用超图描述数据间复杂的关系,再用相应的卷积计算聚合相邻节点的特征，增强节点的相关性表示。
上述优化特征数据是超图卷积神经网络最后一层的输出结果。
下面对步骤17(对优化特征数据进行哈希处理，得到增强图像数据的初始哈希码)的具体过程做示例性说明。
具体的，对优化特征数据进行全连接映射，得到图像数据的初始哈希码H；其中，hi表示第i个图像对应的初始哈希码，k表示初始哈希码的维度。
下面对步骤18(利用初始哈希码和损失函数构建模型优化函数，并根据构建的模型优化函数得到图像数据的最终哈希码)的具体过程做示例性说明。
步骤18.1，通过计算公式
Ltotal＝Ls+Lq
得到模型优化函数Ltotal；其中，表示第i个图像的初始哈希码hi与第j个图像的初始哈希码hj的余弦相似度，D(|hi|,1)表示第i个图像的初始哈希码hi与离散值1之间的距离，sij表示第i个图像的真实值xi和第j个图像的真实值xj对应的相似矩阵，若xi和xj相似，则sij＝1，否则sij＝0；S1＝{sij∈S:sij＝1}表示所有图像数据相似项的集合，S0＝{sij∈S:sij＝0}表示所有图像数据中不相似项的集合。
步骤18.2，利用自适应矩估计(Adam，Adaptive MomentEstimation)优化器对超图卷积神经网络中每层的权重进行更新，并通过更新后满足预设标准的超图卷积神经网络对融合特征数据超图进行处理，得到图像数据的新的哈希码。
上述Adam优化器表示一种计算模型参数自适应学习率的方法，通过对梯度的一阶矩估计(梯度的均值)和二阶矩估计(梯度的未中心化的方差)的综合考虑进行迭代。
步骤18.3，利用模型优化函数Ltotal对图像数据的新的哈希码进行处理，得到图像数据的最终哈希码。
本申请的上述实施例提供的深度哈希方法，提出了一种用于大规模图像检索的深度哈希模型，改进了现有深度哈希方法的架构。具体而言，通过构建一种由CNN和VIT构成的双流网络来进行特征提取，更深层次地保持原始图像的语义信息，同时构建超图描述图像间复杂的关系，通过超图卷积神经网络挖掘图像间的相关性信息，使得大规模图像检索更加高效、精准。
以上所述是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (6)
1.一种深度哈希方法，其特征在于，包括：
提取图像数据的局部特征数据和全局表示数据；所述提取图像数据的局部特征数据和全局表示数据，包括：对原始图像数据进行增强处理，得到增强图像数据X；利用卷积神经网络提取所述增强图像数据的局部特征数据；利用视觉转换器提取所述增强图像数据的全局表示数据；
对所述局部特征数据和所述全局表示数据进行融合，得到融合特征数据；
对多个融合特征进行聚类，得到多个簇；
将所述多个簇中最大簇包括的融合特征的数量作为超边的最大阶数，计算所有阶超边的关联矩阵，并根据每个阶超边的权重构建总关联矩阵；所述将所述多个簇中最大簇包括的融合特征的数量作为超边的最大阶数，计算所有阶超边的关联矩阵，并根据每个阶超边的权重构建总关联矩阵，包括：将所述多个簇中最大簇包括的融合特征的数量作为超边的最大阶数C；根据阶数由小到大的顺序，依次构建各阶超边的关联矩阵，/>；根据各阶超边的权重，对所有阶超边的关联矩阵进行计算，得到所述总关联矩阵；
根据所述总关联矩阵构建融合特征数据超图；
利用超图卷积神经网络对所述融合特征数据超图进行处理，得到所述融合特征数据对应的优化特征数据；
对所述优化特征数据进行哈希处理，得到所述图像数据的初始哈希码；
利用所述初始哈希码和损失函数构建模型优化函数，并根据构建的模型优化函数得到所述图像数据的最终哈希码；所述利用所述初始哈希码和损失函数构建模型优化函数，并根据构建的模型优化函数得到所述图像数据的最终哈希码，包括：通过计算公式
得到所述模型优化函数；其中，/>表示第/>个图像的初始哈希码/>与第个图像的初始哈希码/>的余弦相似度，/>表示第/>个图像的初始哈希码/>与离散值1之间的距离，/>表示第/>个图像的真实值/>和第/>个图像的真实值/>对应的相似矩阵，若/>和/>相似，则/>，否则/>；/>表示所有图像数据相似项的集合，/>表示所有图像数据中不相似项的集合；
利用Adam优化器对所述超图卷积神经网络中每层的权重进行更新，并通过更新后满足预设标准的超图卷积神经网络对所述融合特征数据超图进行处理，得到所述图像数据的新的哈希码；
利用所述模型优化函数对所述图像数据的新的哈希码进行处理，得到所述图像数据的最终哈希码。
2.根据权利要求1所述的深度哈希方法，其特征在于，所述利用卷积神经网络提取所述增强图像数据的局部特征数据，包括：
将神经网络模型的特征提取器作为所述卷积神经网络的主干网络；
利用所述卷积神经网络提取所述增强图像数据X中每个增强图像的高维局部特征，得到高维局部特征数据；其中，，/>表示/>个增强图像中的第/>个增强图像，，/>表示增强图像的总数量，/>，/>表示实数空间，/>表示图像宽度，/>表示图像高度，/>表示图像的通道数；
利用所述卷积神经网络对所述高维局部特征数据进行映射，得到所述局部特征数据。
3.根据权利要求2所述的深度哈希方法，其特征在于，所述利用视觉转换器提取所述增强图像数据的全局表示数据，包括：
对每个增强图像进行分块处理；其中，每个增强图像被分成个增强图像块，，/>表示每个增强图像块的长度；
对每个增强图像对应的增强图像块进行映射，得到该增强图像对应的块向量集；其中，/>表示第/>个增强图像的第/>个增强图像块对应的块向量，/>；
在每个增强图像对应的块向量集中，添加一个类令牌，得到该增强图像对应的嵌入块向量集/>；
在每个增强图像对应的嵌入块向量集中，通过位置编码添加位置信息，得到该增强图像对应的位置嵌入块向量集/>；其中，/>；
利用编码器对每个增强图像对应的位置嵌入块向量集进行编码，得到增强图像数据的全局表示数据；其中，/>。
4.根据权利要求1所述的深度哈希方法，其特征在于，所述对所述局部特征数据和所述全局表示数据进行融合，得到融合特征数据，包括
对所述局部特征数据中的每个局部特征和所述全局表示数据中该局部特征对应的全局表示进行融合，得到所述融合特征数据。
5. 根据权利要求1所述的深度哈希方法，其特征在于，所述利用超图卷积神经网络对所述融合特征数据超图进行处理，得到所述融合特征数据对应的优化特征数据，包括：
通过计算公式
得到所述优化特征数据，其中，表示所述超图卷积神经网络第/>层输入的所述融合特征数据，/>表示所述融合特征数据在所述超图卷积神经网络第/>层处理后的优化特征数据，/>表示超图卷积神经网络第/>层的权重，/>表示超边的权重矩阵，/>表示节点的度矩阵，所述节点与所述融合特征数据中的融合特征一一对应，/>表示超边的度矩阵，/>表示激活函数，/>表示所述总关联矩阵。
6.根据权利要求1所述的深度哈希方法，其特征在于，所述对所述优化特征数据进行哈希处理，得到所述图像数据的初始哈希码，包括：
对所述优化特征数据进行全连接映射，得到所述图像数据的初始哈希码；其中，，/>表示第/>个图像对应的初始哈希码，/>表示所述初始哈希码的维度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211581109.XA CN115761263B (zh) | 2022-12-09 | 2022-12-09 | 深度哈希方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211581109.XA CN115761263B (zh) | 2022-12-09 | 2022-12-09 | 深度哈希方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115761263A CN115761263A (zh) | 2023-03-07 |
| CN115761263B true CN115761263B (zh) | 2023-07-25 |
Family
ID=85344914
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211581109.XA Active CN115761263B (zh) | 2022-12-09 | 2022-12-09 | 深度哈希方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115761263B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110516095A (zh) * | 2019-08-12 | 2019-11-29 | 山东师范大学 | 基于语义迁移的弱监督深度哈希社交图像检索方法和*** |
| CN113343025A (zh) * | 2021-08-05 | 2021-09-03 | 中南大学 | 基于加权梯度哈希激活热力图的稀疏对抗攻击方法 |
| CN113722529A (zh) * | 2021-08-20 | 2021-11-30 | 中国人民解放军陆军工程大学 | 一种无监督图像深度哈希检索方法及*** |
| CN115357747A (zh) * | 2022-10-18 | 2022-11-18 | 山东建筑大学 | 一种基于序数哈希的图像检索方法及*** |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105512273A (zh) * | 2015-12-03 | 2016-04-20 | 中山大学 | 一种基于可变长深度哈希学习的图像检索方法 |
-
2022
- 2022-12-09 CN CN202211581109.XA patent/CN115761263B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110516095A (zh) * | 2019-08-12 | 2019-11-29 | 山东师范大学 | 基于语义迁移的弱监督深度哈希社交图像检索方法和*** |
| CN113343025A (zh) * | 2021-08-05 | 2021-09-03 | 中南大学 | 基于加权梯度哈希激活热力图的稀疏对抗攻击方法 |
| CN113722529A (zh) * | 2021-08-20 | 2021-11-30 | 中国人民解放军陆军工程大学 | 一种无监督图像深度哈希检索方法及*** |
| CN115357747A (zh) * | 2022-10-18 | 2022-11-18 | 山东建筑大学 | 一种基于序数哈希的图像检索方法及*** |
Non-Patent Citations (1)
| Title |
|---|
| 深度哈希图像检索方法综述;刘颖;程美;王富平;李大湘;刘伟;范九伦;;中国图象图形学报(第07期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115761263A (zh) | 2023-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Improved deep hashing with soft pairwise similarity for multi-label image retrieval | |
| CN111079532B (zh) | 一种基于文本自编码器的视频内容描述方法 | |
| CN109800692B (zh) | 一种基于预训练卷积神经网络的视觉slam回环检测方法 | |
| CN104820696B (zh) | 一种基于多标签最小二乘哈希算法的大规模图像检索方法 | |
| CN110705344B (zh) | 一种基于深度学习的人群计数模型及其实现方法 | |
| CN109492776B (zh) | 基于主动学习的微博流行度预测方法 | |
| CN105631416A (zh) | 采用新型密度聚类进行人脸识别的方法 | |
| CN113627266A (zh) | 基于Transformer时空建模的视频行人重识别方法 | |
| CN109960732B (zh) | 一种基于鲁棒监督的深度离散哈希跨模态检索方法及*** | |
| CN115357747B (zh) | 一种基于序数哈希的图像检索方法及*** | |
| CN112256904A (zh) | 一种基于视觉描述语句的图像检索方法 | |
| CN114282059A (zh) | 视频检索的方法、装置、设备及存储介质 | |
| CN114140831B (zh) | 人体姿态估计方法、装置、电子设备及存储介质 | |
| CN109508737B (zh) | 基于深度矩阵的约束概念分解聚类方法 | |
| CN114140657A (zh) | 一种基于多特征融合的图像检索方法 | |
| CN112348033B (zh) | 一种协同显著性目标检测方法 | |
| CN115761263B (zh) | 深度哈希方法 | |
| CN117765258A (zh) | 基于密度自适应和注意力机制的大规模点云语义分割方法 | |
| CN115909336A (zh) | 文本识别方法、装置、计算机设备和计算机可读存储介质 | |
| CN112528077A (zh) | 基于视频嵌入的视频人脸检索方法及*** | |
| CN116884067A (zh) | 一种基于改进的隐式语义数据增强的微表情识别方法 | |
| CN114863242B (zh) | 一种面向图像识别的深度学习网络的优化方法及*** | |
| CN112101267B (zh) | 一种基于深度学习和哈希编码的快速人脸检索方法 | |
| Kane et al. | Bayesian network structure learning and inference in indoor vs. outdoor image classification | |
| Jiang et al. | Feature data optimization with LVQ technique in semantic image annotation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240129 Address after: 410000, No. 1409, Building D3, Phase II, Zhongdian Software Park, No. 18 Jianshan Road, High tech Development Zone, Changsha City, Hunan Province Patentee after: Hunan Hanma Technology Co.,Ltd. Country or region after: China Address before: Yuelu District City, Hunan province 410000 Changsha Lushan Road No. 932 Patentee before: CENTRAL SOUTH University Country or region before: China |
|
| TR01 | Transfer of patent right |