CN109977250B - 融合语义信息和多级相似性的深度哈希图像检索方法 - Google Patents
融合语义信息和多级相似性的深度哈希图像检索方法 Download PDFInfo
- Publication number
- CN109977250B CN109977250B CN201910211486.6A CN201910211486A CN109977250B CN 109977250 B CN109977250 B CN 109977250B CN 201910211486 A CN201910211486 A CN 201910211486A CN 109977250 B CN109977250 B CN 109977250B
- Authority
- CN
- China
- Prior art keywords
- vector
- image
- hash
- matrix
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种融合语义信息和多级相似性的深度哈希图像检索方法,包括以下步骤;S1,构建图像数据库;S2,构建标签向量矩阵和语义向量矩阵;S3,构建相似度矩阵;S4,搭建深度哈希神经网络模型,将原始图像转换为近似哈希向量;S5,构建对相似图片哈希向量的海明距离有下界约束的损失函数;S6,对搭建的深度哈希神经网络模型进行训练;S7,构建图像的哈希向量数据库;S8,将待检索图像的哈希向量与哈希向量数据库里的向量进行对比,以找出相似的图像。本发明通过融合语义信息,提高了图像检索的精度;并通过约束两张相似图片所对应哈希向量间的海明距离的下界,提高了检索性能。
Description
技术领域
本发明涉及图像检索技术领域,具体涉及一种融合语义信息和多级相似性的深度哈希图像检索方法。
背景技术
近年来,随着互联网的发展,海量的图像数据给图像检索任务带来了巨大的挑战。面对大规模且复杂的图像数据,检索***应在保证图像检索质量的同时,也要兼顾检索的效率,同时还要解决海量信息的存储有效性问题,以实现更好的用户体验。因此,研究更优的图像检索方法具有很高的现实意义。
基于深度哈希技术来进行图像检索是目前比较常用的方法,其优势在于:通过将图片映射为二进制哈希向量,可以利用位运算快速比较特征,提高检索速度,同时减少需占用的存储空间。
面对较为复杂的图片,传统的深度哈希方法暴露出明显的缺点。一方面,衡量不同图像之间的相似度时过于粗糙。即只要两张图片共享标签,就视为相似;反之则不相似。这样做没有考虑到图片间更细粒度的相似度等级,以及图片所蕴含的语义信息。另一方面,对于传统的二元组损失函数,只用一个指定阈值来约束两张相似图片的哈希向量间的海明距离上界,对下界没有任何约束。这就使得具有不同程度相似性的图像间的相对距离无法保证,也就导致图像检索结果中排序准确度的降低。
发明内容
本发明的目的在于克服现有技术中所存在的上述不足,提供一种融合语义信息和多级相似性的深度哈希图像检索方法,以融合语义信息,考虑到图片间更细粒度的相似度等级,提高图像的检索精度;并通过采用新的二元组损失函数,构建对相似图片哈希向量的海明距离有下界约束的损失函数,提高图像检索结果中排序的准确度。
为了实现上述发明目的,本发明提供了以下技术方案:
一种融合语义信息和多级相似性的深度哈希图像检索方法,包括以下步骤:
S1,构建图像数据库;
S2,构建标签向量矩阵和语义向量矩阵;
S3,构建相似度矩阵;
S4,搭建深度哈希神经网络模型,将原始图像转换为近似哈希向量;
S5,构建对相似图片哈希向量的海明距离有下界约束的损失函数;
S6,对搭建的深度哈希神经网络模型进行训练;
S7,构建图像的哈希向量数据库;
S8,将待检索图像的哈希向量与哈希向量数据库里的向量进行对比,以找出相似的图像。基于标签向量矩阵和语义向量矩阵构建相似度矩阵,以融合语义信息,提高图像的检索精度;并通过构建对相似图片哈希向量的海明距离有下界约束的损失函数,提高图像检索结果中排序的准确度。
优选地,所述步骤S2中,构建标签向量矩阵和语义向量矩阵的步骤如下:
从图像数据库中随机抽取图像及对应的标签和文本描述,以构建出标签向量矩阵和语义向量矩阵;利用标签信息构建出标签向量矩阵L,其中Li,j=0表示第i张图片不含有第j个标签,Li,j=1表示第i张图片含有第j个标签;利用自然语言处理技术,将每张图片的文本描述编码成一个向量,构建出图片语义向量矩阵C,其中,Ci表示第i张图片的文本描述对应的向量,用此向量代表该图片的语义信息。
优选地,所述步骤S3中,构建相似度矩阵的步骤如下:
S3-1,利用步骤S2中构建的标签向量矩阵,对标签向量进行相互内积,以构建标签相似度矩阵:
公式(1)中,Slabel是标签相似度矩阵,为图像i和图像j之间的标签相似度,n表示图片个数,L为S2中构建的标签向量矩阵,LT为L的转置矩阵,Ltotal为图片间的总标签矩阵,其中Ltotal[i,j]为图片i和j总共包含的标签个数;
S3-2,利用步骤S2中构建的语义向量矩阵,计算语义向量相互间的余弦相似度,以构建语义相似度矩阵:
S3-3,利用标签相似度矩阵和语义相似度矩阵,构建相似度矩阵为:
公式(4)中,S是相似度矩阵,si,j代表图像i和图像j之间的相似度,n表示图片个数,w是权重系数。
优选地,所述步骤S4包括以下步骤:
S4-1,利用TensorFlow深度学习开源框架搭建AlexNet网络模型,并使用ImageNet数据集对AlexNet网络模型进行预训练;
S4-2,在经典的AlexNet模型上进行优化,构建深度哈希神经网络模型;
所搭建的深度哈希神经网络模型结构如下:
包含5个卷积层:第一卷积层、第二卷积层、第三卷积层、第四卷积层以及第五卷积层;
包含3个全连接层:第一全连接层、第二全连接层以及哈希层。
利用TensorFlow深度学习开源框架搭建AlexNet网络模型,对AlexNet网络模型进行预训练时,该训练过程是模型自适应反向传播更新参数,中间不需要人为干预调整参数,预训练过程简单。
优选地,所述哈希层的神经元个数为64。
优选地,所述步骤S5中,所设计的损失函数为:
公式(8)中,表示损失函数,si,j为图像i和图像j之间的相似度,/>为图像i和图像j之间的标签相似度,S是相似度矩阵,α为调节阈值上界的超参数,β为调节阈值下界的超参数,σ为第一参数,δ为第二参数,Nbits是生成哈希向量的长度;bi、bj分别表示第i张图像和第j张图像的近似哈希向量,/>表示bi、bj间的欧式距离;γ是权重系数;/>表示维度和bi相同的所有元素值为1的向量,/>分别表示近似哈希向量bi、bj的绝对值向量和全1向量每个元素之间的差值之和。其中,上、下界的阈值跟随图片间的相似度si,j变化自适应,对于共享标签的两张图片,对应的近似哈希向量间的欧式距离,应该处于上、下界之间;而对于不共享标签的两张图片,会尽量拉大对应的近似哈希向量间的欧式距离;提高图像检索精度。
优选地,所述步骤S6中,采用随机梯度下降法对深度哈希神经网络模型进行训练;
公式(9)中,μ表示深度哈希神经网络模型中的任意一个参数,μ′表示更新后的参数,λ表示μ更新的幅度,表示损失函数,/>表示/>关于μ的梯度。采用随机梯度下降法对深度哈希神经网络模型进行训练,更新深度哈希神经网络模型中的参数,提高提高图像检索精度。
优选地,所述步骤S7中,将图像数据库中的图像输入步骤S6已训练完成的深度哈希神经网络模型,将会得到近似哈希向量集合B={b1,b2,…bn},其中n为图像数据库中图像的个数,bn为第n个图像的近似哈希向量;将近似哈希向量集合B经过sign函数,得到对应的二进制哈希向量数据库集合H={h1,h2,...hn},其中n为图像数据库中图像的个数,hn表示第n个图像的二进制哈希向量。用二进制哈希向量来表示图片特征,提高了图像检索的速度。
与现有技术相比,本发明的有益效果:
1、基于标签向量矩阵和语义向量矩阵构建相似度矩阵,以融合语义信息,提高图像的检索精度;
2、通过构建对相似图片哈希向量的海明距离有下界约束的损失函数,提高图像检索结果中排序的准确度;
3、上、下界的阈值跟随图片间的相似度si,j变化自适应,对于共享标签的两张图片,对应的近似哈希向量间的欧式距离,应该处于上、下界之间;而对于不共享标签的两张图片,会尽量拉大对应的近似哈希向量间的欧式距离;提高图像检索精度;
4、用二进制哈希向量来表示图片特征,提高了图像检索的速度。
附图说明:
图1为本发明示例性实施例1的融合语义信息和多级相似性的深度哈希图像检索方法的流程图;
图2为本发明示例性实施例1的深度哈希神经网络模型的结构图。
图中标记:11-第一卷积层,12-第二卷积层,13-第三卷积层,14-第四卷积层,15-第五卷积层,21-第一最大池化层,22-第二最大池化层,23-第三最大池化层,31-第一全连接层,32-第二全连接层,41-哈希层。
具体实施方式
下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例,凡基于本发明内容所实现的技术均属于本发明的范围。
实施例1
如图1所示,本实施例提供一种融合语义信息和多级相似性的深度哈希图像检索方法,具体包括一下步骤:
S1:构建图像数据库。
筛选出在数据集中出现频率最高的前K个标签的种类,以及包含这K个标签的图片,用于构建图像数据库。
本实施例中,本发明采用微软公开的COCO数据集,数据集中的每一张图像对应若干个标签种类(例如标签种类为人、水、汽车,等等)。本发明选取在数据集中出现次数(由多到少排列)排列前K位的标签种类以及拥有该标签种类的图像,用于构建图像数据库。例如,本发明在COCO数据集中选取出现次数排列前20的标签种类及对应的图像,用于构建本发明的图像数据库。
S2:构建标签向量矩阵和语义向量矩阵。
从图像数据库中随机抽取图像及对应的标签和文本描述,以构建出标签向量矩阵和语义向量矩阵。
本实施例中,本发明从图像数据库中随机抽取n个图像及对应的标签,构成训练集:T={t1,t2,…,tn},tn表示第n个图像及对应的标签,n≥1;其中,tn={In,Ln},In表示第n张图像,Ln为标签向量,表示第n张图像对应的标签,其为向量。用标签向量构建出标签向量矩阵L,其大小为n×K,n表示图像的个数,K表示标签种类的个数。其中Li,j=0表示第i张图片不含有第j个标签,Li,j=1表示第i张图片含有第j个标签。另外,利用自然语言处理技术,将每张图片的文本描述编码成一个向量,构建出图片语义向量矩阵C;其中,Ci表示第i张图片的文本描述对应的向量,用此向量代表该图片的语义信息。本实施例中,将每张图片的文本描述编码成一个512维的向量。
S3:构建相似度矩阵。
S3-1:利用步骤S2中构建的标签向量矩阵,构建标签相似度矩阵;
本实施例中,将所有标签向量Ln进行相互内积,并对任意两个标签向量内积的结果,除以对应图片内容涉及的标签总数;将该结果用于构建标签相似度矩阵。标签相似度矩阵大小为n×n,n表示图像的个数。
标签相似度矩阵Slabel表示为以下公式:
公式(1)中,Slabel是标签相似度矩阵,为图像i和图像j之间的标签相似度,n表示图片个数,L为S2中构建的标签向量矩阵,LT为L的转置矩阵,Ltotal为图片间的总标签矩阵,其中Ltotal[i,j]为图片i和j总共包含的标签个数。
S3-2:利用步骤S2中构建的语义向量矩阵,计算语义向量相互间的余弦相似度,以构建语义相似度矩阵;
本实施例中,语义相似度矩阵大小为n×n,n表示图像的个数。语义相似度矩阵表示为以下公式:
S3-3:利用标签相似度矩阵和语义相似度矩阵,构建相似度矩阵。
本实施例中,相似度矩阵S由步骤S3-1和S3-2中得到的标签相似度矩阵和语义相似度矩阵融合而成。其大小为n×n,n表示图像的个数。相似度矩阵S表示为以下公式:
公式(4)中,S是相似度矩阵,si,j代表图像i和图像j之间的相似度,n表示图片个数,w是权重系数。本实施例中w取值为0.5。
S4:搭建深度哈希神经网络模型,将原始图像转换为近似哈希向量。
S4-1:利用TensorFlow深度学习开源框架搭建AlexNet网络模型,并使用ImageNet数据集对AlexNet网络模型进行预训练。
TensorFlow深度学习开源框架是相对高阶的机器学习库,用户可以方便地用它设计神经网络结构,而且其支持自动求导,用户不需要再通过反向传播求解梯度。CNN(卷积神经网络)是图像识别分类算法的核心算法,其中AlexNet网络模型为现有的深度学习方面的经典模型。利用TensorFlow深度学习开源框架搭建AlexNet网络模型,并使用ImageNet数据集对AlexNet网络模型进行预训练。对AlexNet网络模型进行预训练,即对参数随机化的AlexNet网络进行分类训练,使其参数能够学习到普适的特征,该训练过程是模型自适应反向传播更新参数,中间不需要人为干预调整参数。
S4-2:构建深度哈希神经网络模型。
本实施例在经典的AlexNet模型上进行优化,用于构建深度哈希神经网络模型,以提高图像的检索精度。
本发明将预训练的AlexNet网络模型中最后一个全连接层去掉,保留其余结构及参数,并在网络顶层添加一个新的哈希层fch。其中,fch层包含64个神经元,该层的激活函数设置为tanh函数,以使fch中各个神经元输出的值在[-1,1]之间。所搭建的深度哈希神经网络模型结构如图2所示:
包含5个卷积层:第一卷积层(conv1)11、第二卷积层(conv2)12、第三卷积层(conv3)13、第四卷积层(conv4)14以及第五卷积层(conv5)15;
包含3个全连接层:第一全连接层(fc6)31、第二全连接层(fc7)32以及哈希层(fch)41。
第一卷积层(conv1)11的输入端用于输入原始图像,第一卷积层(conv1)11的输出端连接第一最大池化层21的输入端,第一最大池化层21的输出端连接第二卷积层(conv2)12的输入端,第二卷积层(conv2)12的输出端连接第二最大池化层22的输入端,第二最大池化层22的输出端连接第三卷积层(conv3)13的输入端,第三卷积层(conv3)13的输出端连接第四卷积层(conv4)14的输入端,第四卷积层(conv4)14的输出端连接第五卷积层(conv5)15的输入端,第五卷积层(conv5)15的输出端连接第三最大池化层23的输入端,第三最大池化层23的输出端连接第一全连接层(fc6)31的输入端,第一全连接层(fc6)31的输出端连接第二全连接层(fc7)32的输入端,第二全连接层(fc7)32的输出端连接哈希层(fch)41的输入端,哈希层(fch)41的输出端输出经过近似哈希向量。
本发明将原始图像输入到深度哈希神经网络模型中,经过卷积层和全连接层的映射后,得到近似哈希向量,近似哈希向量中每一维度的取值范围为[-1,1]。例如,本发明在构建的深度哈希神经网络模型中输入原始大小为227×227×3的图像,经过5个卷积层和3个全连接层的映射,将输出一个64维的近似哈希向量。另外,本发明可同时输入多个图像,从而得到多个近似哈希向量集合B={b1,b2,…bn},bn表示第n张图像的近似哈希向量。
S5:构建对相似图片哈希向量的海明距离有下界约束的损失函数。
S5-1:计算图片对应的近似哈希向量之间的相似度。
本实施例中,对于S4中得到的近似哈希向量集合B={b1,b2,…bn},用集合中近似哈希向量之间的欧式距离来表示两个近似哈希向量之间的相似度。其中,bi、bj分别表示第i、j张图像的近似哈希向量。/>
公式(5)中,表示二元组损失函数,si,j为图像i和图像j之间的相似度,/>为图像i和图像j之间的标签相似度,S是相似度矩阵,α为调节阈值上界的超参数,β为调节阈值下界的超参数,σ为第一参数,本实施例中σ为2.5,δ为第二参数,本实施例中δ为1.5,Nbits是生成哈希向量的长度,本实施例中Nbits为64。bi、bj分别表示第i张图像和第j张图像的近似哈希向量,/>表示bi、bj间的欧式距离。
该二元组损失函数的意义为:对于共享标签的两张图片,对应的近似哈希向量间的欧式距离,应该处于上、下界之间。其中,上、下界的阈值跟随图片间的相似度si,j变化自适应。对于不共享标签的两张图片,会尽量拉大对应的近似哈希向量间的欧式距离;直至其大于规定的阈值δ*Nbits时,才会不产生损失。
该公式的意义为:近似哈希向量每个维度的值越接近1或-1,那么它是个合理的哈希向量的概率越高,产生的损失就越小。
S5-4:构建完整的损失函数。
S6:对搭建的深度哈希神经网络模型进行训练。
S6-1:通过损失函数构建优化目标。
S6-2:使用随机梯度下降的方法对优化目标进行求解。
本实施例中,每一批的训练数据量为256,迭代次数为10000次。
S7:构建图像的哈希向量数据库。
本实施例中,本发明将图像数据库中的图像输入已训练完成的深度哈希神经网络模型,将会得到近似哈希向量集合B={b1,b2,…bn},其中n为图像数据库中图像的个数,bn为第n个图像的近似哈希向量;将近似哈希向量集合B经过sign函数(函数的作用是:将大于等于0的数转变成1,小于0的数转变成-1),得到对应的二进制哈希向量数据库集合H={h1,h2,...hn},其中n为图像数据库中图像的个数,hn表示第n个图像的二进制哈希向量。
S8:将待检索图像的哈希向量与哈希向量数据库里的向量进行对比,以找出相似的图像。
本实施例中,本发明将待检索的图像i输入已训练完成的深度哈希神经网络模型中,从而得到相对应的近似哈希向量bi;再经过sign函数,得到图像i相对应的二进制哈希向量hi。将哈希向量hi和构建的图像哈希向量数据库中的所有哈希向量进行与运算,分别得到相对应的结果,并将结果值按从大到小进行排列;结果值越大,表明该哈希向量与hi的相似度越高,即表明该哈希向量对应的图像与需检索的图像i越相似,保障了图像的检索精度。例如,哈希向量hi与图像哈希向量数据库中的第一个哈希向量进行与运算,得到第一结果值;哈希向量hi与图像哈希向量数据库中的第二个哈希向量进行与运算,得到第二结果值;若第一结果值大于第二结果值,则表明第一哈希向量对应的图像与哈希向量hi对应的图像更加相似。
以上所述,仅为本发明具体实施方式的详细说明,而非对本发明的限制。相关技术领域的技术人员在不脱离本发明的原则和范围的情况下,做出的各种替换、变型以及改进均应包含在本发明的保护范围之内。
Claims (5)
1.一种融合语义信息和多级相似性的深度哈希图像检索方法,其特征在于,包括以下步骤:
S1,构建图像数据库;
S2,构建标签向量矩阵和语义向量矩阵;
构建标签向量矩阵和语义向量矩阵的步骤如下:
从图像数据库中随机抽取图像及对应的标签和文本描述,以构建出标签向量矩阵和语义向量矩阵;利用标签信息构建出标签向量矩阵L,其中Li,j=0表示第i张图片不含有第j个标签,Li,j=1表示第i张图片含有第j个标签;利用自然语言处理技术,将每张图片的文本描述编码成一个向量,构建出图片语义向量矩阵C,其中,Ci表示第i张图片的文本描述对应的向量,用此向量代表该图片的语义信息;
S3,构建相似度矩阵;
构建相似度矩阵的步骤如下:
S3-1,利用步骤S2中构建的标签向量矩阵,对标签向量进行相互内积,以构建标签相似度矩阵:
公式(1)中,Slabel是标签相似度矩阵,为图像i和图像j之间的标签相似度,n表示图片个数,L为S2中构建的标签向量矩阵,LT为L的转置矩阵,Ltotal为图片间的总标签矩阵,其中Ltotal[i,j]为图片i和j总共包含的标签个数;
S3-2,利用步骤S2中构建的语义向量矩阵,计算语义向量相互间的余弦相似度,以构建语义相似度矩阵:
S3-3,利用标签相似度矩阵和语义相似度矩阵,构建相似度矩阵为:
公式(4)中,S是相似度矩阵,si,j代表图像i和图像j之间的相似度,n表示图片个数,w是权重系数;
S4,搭建深度哈希神经网络模型,将原始图像转换为近似哈希向量;
S5,构建对相似图片哈希向量的海明距离有下界约束的损失函数;
所设计的损失函数为:
公式(8)中,表示损失函数,si,j为图像i和图像j之间的相似度,/>为图像i和图像j之间的标签相似度,S是相似度矩阵,α为调节阈值上界的超参数,β为调节阈值下界的超参数,σ为第一参数,δ为第二参数,Nbits是生成哈希向量的长度;bi、bj分别表示第i张图像和第j张图像的近似哈希向量,/>表示bi、bj间的欧式距离;γ是权重系数;/>表示维度和bi相同的所有元素值为1的向量,/>分别表示近似哈希向量bi、bj的绝对值向量和全1向量每个元素之间的差值之和;
S6,对搭建的深度哈希神经网络模型进行训练;
S7,构建图像的哈希向量数据库;
S8,将待检索图像的哈希向量与哈希向量数据库里的向量进行对比,以找出相似的图像。
2.如权利要求1所述的融合语义信息和多级相似性的深度哈希图像检索方法,其特征在于,所述步骤S4包括以下步骤:
S4-1,利用TensorFlow深度学习开源框架搭建AlexNet网络模型,并使用ImageNet数据集对AlexNet网络模型进行预训练;
S4-2,在经典的AlexNet模型上进行优化,构建深度哈希神经网络模型;
所搭建的深度哈希神经网络模型结构如下:
包含5个卷积层:第一卷积层、第二卷积层、第三卷积层、第四卷积层以及第五卷积层;
包含3个全连接层:第一全连接层、第二全连接层以及哈希层。
3.如权利要求2所述的融合语义信息和多级相似性的深度哈希图像检索方法,其特征在于,所述哈希层的神经元个数为64。
5.如权利要求1所述的融合语义信息和多级相似性的深度哈希图像检索方法,其特征在于,所述步骤S7中,将图像数据库中的图像输入步骤S6已训练完成的深度哈希神经网络模型,将会得到近似哈希向量集合B={b1,b2,…bn},其中n为图像数据库中图像的个数,bn为第n个图像的近似哈希向量;将近似哈希向量集合B经过sign函数,得到对应的二进制哈希向量数据库集合H={h1,h2,...hn},其中n为图像数据库中图像的个数,hn表示第n个图像的二进制哈希向量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910211486.6A CN109977250B (zh) | 2019-03-20 | 2019-03-20 | 融合语义信息和多级相似性的深度哈希图像检索方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910211486.6A CN109977250B (zh) | 2019-03-20 | 2019-03-20 | 融合语义信息和多级相似性的深度哈希图像检索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109977250A CN109977250A (zh) | 2019-07-05 |
CN109977250B true CN109977250B (zh) | 2023-03-28 |
Family
ID=67079595
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910211486.6A Active CN109977250B (zh) | 2019-03-20 | 2019-03-20 | 融合语义信息和多级相似性的深度哈希图像检索方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109977250B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110532417B (zh) * | 2019-09-02 | 2022-03-29 | 河北省科学院应用数学研究所 | 基于深度哈希的图像检索方法、装置及终端设备 |
CN111143400B (zh) * | 2019-12-26 | 2024-05-14 | 新长城科技有限公司 | 一种全栈式检索方法、***、引擎及电子设备 |
CN111709252B (zh) | 2020-06-17 | 2023-03-28 | 北京百度网讯科技有限公司 | 基于预训练的语义模型的模型改进方法及装置 |
CN112734386A (zh) * | 2021-01-13 | 2021-04-30 | 国家电网有限公司 | 基于关联匹配算法的新能源接网全流程贯通方法及*** |
CN112765382A (zh) * | 2021-01-20 | 2021-05-07 | 上海依图网络科技有限公司 | 图像搜索方法及其装置、介质和电子设备 |
CN113221658A (zh) * | 2021-04-13 | 2021-08-06 | 卓尔智联(武汉)研究院有限公司 | 图像处理模型的训练方法、装置、电子设备及存储介质 |
CN113641845B (zh) * | 2021-07-16 | 2022-09-23 | 广西师范大学 | 一种基于向量对比策略的深度特征对比加权图像检索方法 |
CN115878823B (zh) * | 2023-03-03 | 2023-04-28 | 中南大学 | 基于图卷积网络的深度哈希方法及交通数据检索方法 |
CN116645661B (zh) * | 2023-07-27 | 2023-11-14 | 深圳市青虹激光科技有限公司 | 一种防重码检测方法及*** |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104834748A (zh) * | 2015-05-25 | 2015-08-12 | 中国科学院自动化研究所 | 一种利用基于深度语义排序哈希编码的图像检索方法 |
CN105512289A (zh) * | 2015-12-07 | 2016-04-20 | 郑州金惠计算机***工程有限公司 | 基于深度学习和哈希的图像检索方法 |
CN108399185A (zh) * | 2018-01-10 | 2018-08-14 | 中国科学院信息工程研究所 | 一种多标签图像的二值向量生成方法及图像语义相似度查询方法 |
CN109165306A (zh) * | 2018-08-09 | 2019-01-08 | 长沙理工大学 | 基于多任务哈希学习的图像检索方法 |
CN109241313A (zh) * | 2018-08-14 | 2019-01-18 | 大连大学 | 一种基于高阶深度哈希学习的图像检索方法 |
CN109284741A (zh) * | 2018-10-30 | 2019-01-29 | 武汉大学 | 一种基于深度哈希网络的大规模遥感影像检索方法和*** |
-
2019
- 2019-03-20 CN CN201910211486.6A patent/CN109977250B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104834748A (zh) * | 2015-05-25 | 2015-08-12 | 中国科学院自动化研究所 | 一种利用基于深度语义排序哈希编码的图像检索方法 |
CN105512289A (zh) * | 2015-12-07 | 2016-04-20 | 郑州金惠计算机***工程有限公司 | 基于深度学习和哈希的图像检索方法 |
CN108399185A (zh) * | 2018-01-10 | 2018-08-14 | 中国科学院信息工程研究所 | 一种多标签图像的二值向量生成方法及图像语义相似度查询方法 |
CN109165306A (zh) * | 2018-08-09 | 2019-01-08 | 长沙理工大学 | 基于多任务哈希学习的图像检索方法 |
CN109241313A (zh) * | 2018-08-14 | 2019-01-18 | 大连大学 | 一种基于高阶深度哈希学习的图像检索方法 |
CN109284741A (zh) * | 2018-10-30 | 2019-01-29 | 武汉大学 | 一种基于深度哈希网络的大规模遥感影像检索方法和*** |
Non-Patent Citations (1)
Title |
---|
《基于深度卷积神经网络和二进制哈希学习的图像检索方法》;彭天强 等;《电子与信息学报》;20160826;第38卷(第8期);2068-2075 * |
Also Published As
Publication number | Publication date |
---|---|
CN109977250A (zh) | 2019-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109977250B (zh) | 融合语义信息和多级相似性的深度哈希图像检索方法 | |
CN111611377B (zh) | 基于知识蒸馏的多层神经网络语言模型训练方法与装置 | |
CN110807154B (zh) | 一种基于混合深度学习模型的推荐方法与*** | |
CN109284506B (zh) | 一种基于注意力卷积神经网络的用户评论情感分析***及方法 | |
CN109918671B (zh) | 基于卷积循环神经网络的电子病历实体关系抽取方法 | |
CN109271522B (zh) | 基于深度混合模型迁移学习的评论情感分类方法及*** | |
CN111858931B (zh) | 一种基于深度学习的文本生成方法 | |
CN110717334A (zh) | 基于bert模型和双通道注意力的文本情感分析方法 | |
CN110263323A (zh) | 基于栅栏式长短时记忆神经网络的关键词抽取方法及*** | |
CN110489567B (zh) | 一种基于跨网络特征映射的节点信息获取方法及其装置 | |
CN110969020A (zh) | 基于cnn和注意力机制的中文命名实体识别方法、***及介质 | |
CN111027595B (zh) | 双阶段语义词向量生成方法 | |
CN112328900A (zh) | 一种融合评分矩阵和评论文本的深度学习推荐方法 | |
CN112464097A (zh) | 一种多辅助域信息融合跨域推荐方法与*** | |
CN111079409A (zh) | 一种利用上下文和方面记忆信息的情感分类方法 | |
CN113157919B (zh) | 语句文本方面级情感分类方法及*** | |
CN113516198B (zh) | 一种基于记忆网络和图神经网络的文化资源文本分类方法 | |
Lin et al. | Intelligent decision support for new product development: a consumer-oriented approach | |
CN110781271A (zh) | 一种基于层次注意力机制的半监督网络表示学习模型 | |
CN115422369B (zh) | 基于改进TextRank的知识图谱补全方法和装置 | |
CN114462420A (zh) | 一种基于特征融合模型的虚假新闻检测方法 | |
Du et al. | Efficient network construction through structural plasticity | |
CN112950414A (zh) | 一种基于解耦法律要素的法律文本表示方法 | |
CN111737470A (zh) | 文本分类方法 | |
CN114254108B (zh) | 一种中文文本对抗样本生成的方法、***及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |