CN113326393B - 一种基于深度哈希特征和异构并行处理的图像检索方法 - Google Patents

一种基于深度哈希特征和异构并行处理的图像检索方法 Download PDF

Info

Publication number
CN113326393B
CN113326393B CN202110600390.6A CN202110600390A CN113326393B CN 113326393 B CN113326393 B CN 113326393B CN 202110600390 A CN202110600390 A CN 202110600390A CN 113326393 B CN113326393 B CN 113326393B
Authority
CN
China
Prior art keywords
hash
image
binary
deep
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202110600390.6A
Other languages
English (en)
Other versions
CN113326393A (zh
Inventor
廖开阳
陈星�
曹从军
章明珠
王睿天
罗晓洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Foresight Information Co ltd
Xi'an Huaqi Zhongxin Technology Development Co ltd
Original Assignee
Shenzhen Foresight Information Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Foresight Information Co ltd filed Critical Shenzhen Foresight Information Co ltd
Priority to CN202110600390.6A priority Critical patent/CN113326393B/zh
Publication of CN113326393A publication Critical patent/CN113326393A/zh
Application granted granted Critical
Publication of CN113326393B publication Critical patent/CN113326393B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度哈希特征和异构并行处理的图像检索方法，具体按照如下步骤实施：步骤1，训练深度哈希网络模型；步骤2，将测试集和查询图像送入训练好的网络模型中得到测试集和查询图像的深度哈希特征，即二进制哈希编码；步骤3，计算步骤2得到的测试集和查询图像的二进制哈希编码之间的汉明距离并进行升序排序，得到初排结果；步骤4，选取初排结果里的前p张图像的二进制哈希编码，与查询图像的二进制编码再次进行汉明距离计算，根据汉明距离升序排序得到重排序结果，即最终得到与查询图像最相似的q个检索结果。本发明的一种基于深度哈希特征和异构并行处理的图像检索方法，解决了现有技术中存在的图像检索精度不高的问题。

Description

一种基于深度哈希特征和异构并行处理的图像检索方法
技术领域
本发明属于计算机图像检索方法技术领域，涉及一种基于深度哈希特征和异构并行处理的图像检索方法。
背景技术
随着存储设备、计算机网络以及多媒体技术的迅猛发展，人们所接触和制造的图像数据与日俱增。在海量数据库中快速、准确的找到用户想要的图像已经成为当下研究的热点，因此，图像检索技术也备受关注并迅速发展。此类应用目前也存在两个重要的挑战：(1)图像特征通常是高维数据，存储要求高且计算效率低；(2)大规模数据的检索方法对速度、时间等有很高的要求。
现有技术在进行图像检索时，主要采取两种方法。一种是基于图像整体特征描述进行检索，因为特征维度较高，导致存储、运算、检索等一切的速度影响；另一种是基于图像局部特征进行检索，虽然该方法可以准确描述图像局部特征，但是对图像整体的描述有所损失，导致检索精度不高。
因此，如何提供一种图像检索方法来提高检索精度和速度成为计算机视觉领域亟待解决的问题。
发明内容
本发明的目的是提供一种基于深度哈希特征和异构并行处理的图像检索方法，解决了现有技术中存在的图像检索精度不高的问题。
本发明所采用的技术方案是，一种基于深度哈希特征和异构并行处理的图像检索方法，具体按照如下步骤实施：
步骤1，离线训练网络模型
采用GoogLeNet网络模型作为初始化网络结构并将其最后一层分类层替换为哈希层，且哈希层的单元数即为图像要编码成的比特数，得到GoogLeNet-1网络模型，将图像数据集CIFAR-10划分为训练集和测试集，训练集分10类，每类5000张，测试集分10类，每类1000张。
将训练集输入GoogLeNet-1网络模型中，通过卷积层提取图像深度特征，同时进行哈希函数学习，最终深度特征经过哈希层映射得到对应的二进制哈希编码，再通过对损失函数进行迭代优化和更新，得到最优的网络参数和最终的深度哈希网络模型GoogLeNet-hash；
步骤2，将测试集和查询图像送入训练好的GoogLeNet-hash网络模型中得到测试集和查询图像的深度哈希特征，即二进制哈希编码；
步骤3，计算步骤2得到的测试集和查询图像的二进制哈希编码之间的汉明距离并进行升序排序，得到初排结果；
步骤4，选取初排结果里的前p张图像的二进制哈希编码，与查询图像的二进制编码再次进行汉明距离计算，根据汉明距离升序排序得到重排序结果，即最终得到与查询图像最相似的q个检索结果(q＜p)。
本发明的特征还在于，
步骤1和步骤2中在哈希层生成二进制哈希编码生成过程具体为：
假设从GoogLeNet-hash网络模型的全连接层得到m维图像深度特征x后，将x传入到哈希层，假设哈希层的节点个数是q，即有q个哈希函数，生成q位哈希编码，q个哈希函数产生的哈希编码如下公式所示：
(h1,h2,...,hq)T＝(sigmoid(W1x),sigmoid(W2x)...,sigmoid(Wqx))T   (1)
其中，h1-hq为第1到第q位的哈希编码，sigmoid(W1x)-sigmoid(Wqx)为采用sigmoid函数松弛后的第1到第q个哈希编码，W1-Wq为构造q个m维随机向量矩阵，W1-Wq∈Rq *m，W1-Wq的初始值从高斯分布中生成；
再对松弛后的哈希编码进行量化，得到最终的二值哈希编码H，即对H＝{h1,h2,...,hq}T进行阈值化，最终的二进制哈希编码由下式得到：
Figure BDA0003092503750000031
即就是，二值哈希编码H一个由0和1组成的编码。
步骤1中再通过对损失函数进行迭代优化和更新，得到最优的网络参数和最终的深度哈希网络模型GoogLeNet-hash具体为：
步骤1.1，计算训练集中每张图像属于各类别的概率；
Figure BDA0003092503750000032
其中，Zk代表哈希层加权之后的图像特征，n代表图像类别数目，f(Zk)表示图像属于每个类别的概率，Zi表示第i个类别，其中1＜＝i＜＝n，k是图像真实的类别；
步骤1.2，根据f(Zk)计算损失函数Loss的值：
Loss＝-logf(Zk)  (4)
步骤1.3，求解Loss的最优值，并采用梯度下降法更新权重系数θ：
Figure BDA0003092503750000033
Figure BDA0003092503750000034
θ＝θ-η(f(Zk)-1+γθ)   (7)
其中，γ是衰减因子，η是学习率，从而完成对Softmax分类器的修正和网络参数的更新，得到最终的深度哈希网络模型GoogLeNet-hash。
步骤2中提取特征是将图像输入到深度哈希网络GoogLeNet-hash中提取图像的二进制哈希特征并进行阈值化，最终得到特征集合，具体为：
即给定测试集ψ＝{I1,I2,...,Ig}，其中Ig表示测试集中的第g个图像，将测试集的图像输入到深度哈希网络模型GoogLeNet-hash中提取图像哈希特征并进行阈值化，得到最终的特征集合ψH＝{H1,H2,...,Hg}，其中Hg＝{0,1}q；
给定查询图像Ik，将查询图像Ik输入到深度哈希网络模型GoogLeNet-hash中提取图像哈希特征并进行阈值化，得到图像的二进制哈希编码Hk；
其中，Hg和Hk按照H＝{h1,h2,...,hq}T，再对H按照公式(3)阈值化得到。
步骤3具体为：
计算查询图像Ik的二进制哈希编码Hk和测试集图像对应的二进制哈希编码集合ψH＝{H1,H2,...,Hg}中每个二进制哈希编码Hg的汉明距离，按照距离升序排列得到初始检索结果排序。
计算汉明距离时，将二进制哈希编码Hk和二进制哈希编码Hn的每一位进行比较，通过比较哈希码每一位是否相同，若不同则汉明距离加1，即得到对应的汉明距离。
在中央处理器CPU端进行查询图像Ik的二进制哈希编码Hk和测试集图像对应的二进制哈希编码集合ψH＝{H1,H2,...,Hg}的获取，将获取的Hk和ψH＝{H1,H2,...,Hg}传输到图像处理器GPU端，进行汉明距离的计算，计算后按照汉明距离从小到大排序，得到初排结果，并将初排结果传输到CPU端。
步骤4具体为：CPU端再次计算与查询图像的二进制哈希编码之间的汉明距离，得到重排序结果，即q个与查询图像最相似的图像q＜p，得到最终的检索结果。
CIFAR-10数据集共60000张，训练集分10类，每类5000张，测试集分10类，每类1000张。
本发明的有益效果是：
本发明将深度学习网络与哈希算法相结合构成端到端的深度哈希网络模型，然后提取CIFAR-10图像的二进制哈希编码作为特征索引，通过引入GPU并行检索进行特征匹配和距离度量加快检索速度，最后利用结果重排来提高最终检索结果精度。
附图说明
图1是本发明一种基于深度哈希特征和异构并行处理的图像检索方法的流程图；
图2是本发明一种基于深度哈希特征和异构并行处理的图像检索方法中CPU+GPU异构并行处理结构的示意图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种基于深度哈希特征和异构并行处理的图像检索方法，其流程如图1所示，具体按照如下步骤实施：
步骤1，离线训练网络模型
采用GoogLeNet网络模型作为初始化网络结构并将其最后一层分类层替换为哈希层，且哈希层的单元数即为图像要编码成的比特数，得到GoogLeNet-1网络模型，将图像数据集CIFAR-10划分为训练集和测试集，CIFAR-10数据集共60000张，训练集分10类，每类5000张，测试集分10类，每类1000张，将训练集输入GoogLeNet-1网络模型中，通过卷积层提取图像深度特征，同时进行哈希函数学习，最终深度特征经过哈希层映射得到对应的二进制哈希编码，再通过对损失函数进行迭代优化和更新，得到最优的网络参数和最终的深度哈希网络模型GoogLeNet-hash；
步骤2，将测试集和查询图像送入训练好的GoogLeNet-hash网络模型中得到测试集和查询图像的深度哈希特征，即二进制哈希编码；
本发明通过设计哈希层，从训练数据中学习出哈希函数的参数值，用来生成更加紧致的哈希特征。从GoogLeNet-hash网络模型的全连接层得到图像深度特征后，将深度特征传入哈希层，生成二进制哈希编码；
步骤1和步骤2中在哈希层生成二进制哈希编码生成过程具体为：
假设从GoogLeNet-hash网络模型的全连接层得到m维图像深度特征x后，将x传入到哈希层，假设哈希层的节点个数是q，即有q个哈希函数，生成q位哈希编码，q个哈希函数产生的哈希编码如下公式所示：
(h1,h2,...,hq)T＝(sgn(W1x),sgn(W2x)...,sgn(Wqx))T   (1)
由于sgn函数不是凸函数，无法使用基于梯度的方法对目标函数进行优化求解，所以选用sigmoid函数进行松弛，将编码范围约束到(0,1)区间，得到最终的q个哈希函数产生的哈希编码如下公式所示：
(h1,h2,...,hq)T＝(sigmoid(W1x),sigmoid(W2x)...,sigmoid(Wqx))T   (2)
其中，h1-hq为第1到第q位的哈希编码，sigmoid(W1x)-sigmoid(Wqx)为采用sigmoid函数松弛后的第1到第q个哈希编码，W1-Wq为构造q个m维随机向量矩阵，W1-Wq∈Rq *m，W1-Wq的初始值从高斯分布中生成；
再对松弛后的哈希编码进行量化，得到最终的二值哈希编码H，即对H＝{h1,h2,...,hq}T进行阈值化，最终的二进制哈希编码由下式得到：
Figure BDA0003092503750000071
即就是，二值哈希编码H一个由0和1组成的编码；
其中，通过对损失函数进行迭代优化和更新，得到最优的网络参数和最终的深度哈希网络模型GoogLeNet-hash具体为：
步骤1.1，计算训练集中每张图像属于各类别的概率；
Figure BDA0003092503750000072
其中，Zk代表哈希层加权之后的图像特征，n代表图像类别数目，f(Zk)表示图像属于每个类别的概率，Zi表示第i个类别，其中1＜＝i＜＝n，k是图像真实的类别；
步骤1.2，根据f(Zk)计算损失函数Loss的值：
Loss＝-logf(Zk)   (5)
步骤1.3，求解Loss的最优值，并采用梯度下降法更新权重系数θ：
Figure BDA0003092503750000073
Figure BDA0003092503750000074
θ＝θ-η(f(Zk)-1+γθ)   (8)
其中，γ是衰减因子，η是学习率，从而完成对Softmax分类器的修正和网络参数的更新，得到最终的深度哈希网络模型GoogLeNet-hash；
哈希层也属于神经网络的隐藏层，隐藏层的神经元个数并没有具体的确定，在本发明中设计的哈希层节点个数决定图像二进制编码特征的长度，所以可通过实验比较不同节点个数的训练速度与二进制编码进行检索时的精度来最终确定哈希层的节点个数。
步骤2中提取特征是将图像输入到深度哈希网络GoogLeNet-hash中提取图像的二进制哈希特征并进行阈值化，最终得到特征集合，具体为：
即给定测试集ψ＝{I1,I2,...,Ig}，其中Ig表示测试集中的第g个图像，将测试集的图像输入到深度哈希网络模型GoogLeNet-hash中提取图像哈希特征并进行阈值化，得到最终的特征集合ψH＝{H1,H2,...,Hg}，其中Hg＝{0,1}q；
给定查询图像Ik，将查询图像Ik输入到深度哈希网络模型GoogLeNet-hash中提取图像哈希特征并进行阈值化，得到图像的二进制哈希编码Hk；
其中，Hg和Hk按照H＝{h1,h2,...,hq}T，再对H按照公式(3)阈值化得到。
步骤3，计算步骤2得到的测试集和查询图像的二进制哈希编码之间的汉明距离并进行升序排序，得到初排结果；具体为：
具体为：
计算查询图像Ik的二进制哈希编码Hk和测试集图像对应的二进制哈希编码集合ψH＝{H1,H2,...,Hg}中每个二进制哈希编码Hg的汉明距离，按照距离升序排列得到初始检索结果排序。
计算汉明距离时，将二进制哈希编码Hk和二进制哈希编码Hn的每一位进行比较，通过比较哈希码每一位是否相同，若不同则汉明距离加1，如10001001和10110001有3位不同。则汉明距离为3，即得到对应的汉明距离，汉明距离越大，则查询图像与测试集图像之间的差异越大，即相似度越低。将汉明距离从小到大排序，即出现相似图像的排序。
如图2所示，在中央处理器CPU端进行查询图像Ik的二进制哈希编码Hk和测试集图像对应的二进制哈希编码集合ψH＝{H1,H2,...,Hg}的获取，将获取的Hk和ψH＝{H1,H2,...,Hg}传输到图像处理器GPU端，进行汉明距离的计算，计算后按照汉明距离从小到大排序，得到初排结果，并将初排结果传输到CPU端；
步骤4，选取初排结果里的前p张图像的二进制哈希编码，CPU端再次计算与查询图像的二进制哈希编码之间的汉明距离，根据汉明距离升序排序得到重排序结果，即最终得到与查询图像最相似的q个检索结果(q＜p)。
本发明利用深度神经网络提取图像的特征，网络结构对训练有着至关重要的影响。网络结构太复杂训练难度大，会出现过拟合，而结构过于简单，无法激发网络的学习能力。本发明选用GoogLeNet网络，此网络在加深层数的同时在不同深度增加了损失loss来避免梯度消失的问题，并且不同大小的卷积核拼接也可以达到不同尺度特征的融合的优点。
本发明基于深度哈希特征和异构并行处理的大规模图像检索，如图1所示，可以分为四部分。分别为：训练网络模型部分、提取图像特征部分、并行处理计算部分和检索结果重排序部分。训练网络模型部分是将GoogLeNet最后一层全连接层替换为哈希层的GoogLeNet-1网络模型，之后通过哈希学习和优化参数得到最终的深度哈希网络模型GoogLeNet-hash；提取图像特征部分是采用预训练好的网络模型来提取测试集图像和查询图像的深度特征；并行处理计算部分是利用GPU强大的数据处理能力，分线程去计算查询图像与测试集图像二进制哈希编码之间的汉明距离，依据距离大小进行相似度排序，距离越小越相似；检索结果重排部分是提高检索精度的一种方法，通过二次计算汉明距离得到最终的重排结果和最像的q个图像。
本发明基于深度哈希特征和异构并行处理的大规模图像检索方法，从功能执行上讲，首先通过训练集得到深度哈希网络模型GoogLeNet-hash；其次采用预训练的深度哈希网络模型提取图像的二进制哈希编码特征；接下来对查询图像进行特征提取并进行特征匹配，执行CPU+GPU异构并行处理，分线程计算查询图像与测试集图像二进制哈希编码的汉明距离，基于汉明距离大小得到初排序结果；最后执行结果重排序，通过二次汉明距离计算提高检索精度，得到与查询图像最相似的q个图像。本发明基于深度哈希特征和异构并行处理的大规模图像检索方法，充分利用了图像的深度特征以及二进制哈希编码的简洁性，结合GPU强大的数据处理能力，实现了快速、准确的大规模图像检索。

Claims (5)

1.一种基于深度哈希特征和异构并行处理的图像检索方法，其特征在于，具体按照如下步骤实施：
步骤1，离线训练网络模型
采用GoogLeNet网络模型作为初始化网络结构并将其最后一层分类层替换为哈希层，且哈希层的单元数即为图像要编码成的比特数，得到GoogLeNet-1网络模型，将图像数据集CIFAR-10划分为训练集和测试集，训练集和测试集均包括多个类别的图像，将训练集输入GoogLeNet-1网络模型中，通过卷积层提取图像深度特征，同时进行哈希函数学习，最终深度特征经过哈希层映射得到对应的二进制哈希编码，再通过对损失函数进行迭代优化和更新，得到最优的网络参数和最终的深度哈希网络模型GoogLeNet-hash；
步骤2，将测试集和查询图像送入训练好的GoogLeNet-hash网络模型中得到测试集和查询图像的深度哈希特征，即二进制哈希编码；所述步骤2中提取特征是将图像输入到深度哈希网络GoogLeNet-hash中提取图像的二进制哈希特征并进行阈值化，最终得到特征集合，具体为：
即给定测试集ψ＝{I1,I2,...,Ig}，其中Ig表示测试集中的第g个图像，将测试集的图像输入到深度哈希网络模型GoogLeNet-hash中提取图像哈希特征并进行阈值化，得到最终的特征集合ψH＝{H1,H2,...,Hg}，其中Hg＝{0,1}q；
给定查询图像Ik，将查询图像Ik输入到深度哈希网络模型GoogLeNet-hash中提取图像哈希特征并进行阈值化，得到图像的二进制哈希编码Hk；
其中，Hg和Hk按照H＝{h1,h2,...,hq}T，再对H按照公式(3)阈值化得到；
步骤3，计算步骤2得到的测试集和查询图像的二进制哈希编码之间的汉明距离并进行升序排序，得到初排结果；具体为：计算查询图像Ik的二进制哈希编码Hk和测试集图像对应的二进制哈希编码集合ψH＝{H1,H2,...,Hg}中每个二进制哈希编码Hg的汉明距离，按照距离升序排列得到初始检索结果排序；
在中央处理器CPU端进行查询图像Ik的二进制哈希编码Hk和测试集图像对应的二进制哈希编码集合ψH＝{H1,H2,...,Hg}的获取，将获取的Hk和ψH＝{H1,H2,...,Hg}传输到图像处理器GPU端，进行汉明距离的计算，计算后按照汉明距离从小到大排序，得到初排结果，并将初排结果传输到CPU端；
步骤4，选取初排结果里的前p张图像的二进制哈希编码，与查询图像的二进制编码再次进行汉明距离计算，根据汉明距离升序排序得到重排序结果，即最终得到与查询图像最相似的q个检索结果，q<p；
所述步骤1和步骤2中在哈希层生成二进制哈希编码生成过程具体为：
假设从GoogLeNet-hash网络模型的全连接层得到m维图像深度特征x后，将x传入到哈希层，假设哈希层的节点个数是q，即有q个哈希函数，生成q位哈希编码，q个哈希函数产生的哈希编码如下公式所示：
(h1,h2,...,hq)T＝(sigmoid(W1x),sigmoid(W2x)...,sigmoid(Wqx))T  (2)
其中，h1-hq为第1到第q位的哈希编码，sigmoid(W1x)-sigmoid(Wqx)为采用sigmoid函数松弛后的第1到第q个哈希编码，W1-Wq为构造q个m维随机向量矩阵，W1-Wq∈Rq*m，W1-Wq的初始值从高斯分布中生成；
再对松弛后的哈希编码进行量化，得到最终的二值哈希编码H，即对H＝{h1,h2,...,hq}T进行阈值化，最终的二进制哈希编码由下式得到：
Figure FDA0003925039900000031
即就是，二值哈希编码H一个由0和1组成的编码。
2.根据权利要求1所述的一种基于深度哈希特征和异构并行处理的图像检索方法，其特征在于，所述步骤1中再通过对损失函数进行迭代优化和更新，得到最优的网络参数和最终的深度哈希网络模型GoogLeNet-hash具体为：
步骤1.1，计算训练集中每张图像属于各类别的概率；
Figure FDA0003925039900000032
其中，Zk代表哈希层加权之后的图像特征，n代表图像类别数目，f(Zk)表示图像属于每个类别的概率，Zi表示第i个类别，其中1<＝i<＝n，k是图像真实的类别；
步骤1.2，根据f(Zk)计算损失函数Loss的值：
Loss＝-log f(Zk)                    (5)
步骤1.3，求解Loss的最优值，并采用梯度下降法更新权重系数θ：
Figure FDA0003925039900000033
Figure FDA0003925039900000034
θ＝θ-η(f(Zk)-1+γθ)                 (8)
其中，γ是衰减因子，η是学习率，从而完成对Softmax分类器的修正和网络参数的更新，得到最终的深度哈希网络模型GoogLeNet-hash。
3.根据权利要求1所述的一种基于深度哈希特征和异构并行处理的图像检索方法，其特征在于，计算汉明距离时，将二进制哈希编码Hk和二进制哈希编码Hn的每一位进行比较，通过比较哈希码每一位是否相同，若不同则汉明距离加1，即得到对应的汉明距离。
4.根据权利要求1所述的一种基于深度哈希特征和异构并行处理的图像检索方法，其特征在于，所述步骤4具体为：CPU端再次计算与查询图像的二进制哈希编码之间的汉明距离，得到重排序结果，即q个与查询图像最相似的图像q<p，得到最终的检索结果。
5.根据权利要求1所述的一种基于深度哈希特征和异构并行处理的图像检索方法，其特征在于，所述CIFAR-10数据集共60000张，训练集分10类，每类5000张，测试集分10类，每类1000张。
CN202110600390.6A 2021-05-31 2021-05-31 一种基于深度哈希特征和异构并行处理的图像检索方法 Expired - Fee Related CN113326393B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110600390.6A CN113326393B (zh) 2021-05-31 2021-05-31 一种基于深度哈希特征和异构并行处理的图像检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110600390.6A CN113326393B (zh) 2021-05-31 2021-05-31 一种基于深度哈希特征和异构并行处理的图像检索方法

Publications (2)

Publication Number Publication Date
CN113326393A CN113326393A (zh) 2021-08-31
CN113326393B true CN113326393B (zh) 2023-04-07

Family

ID=77422601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110600390.6A Expired - Fee Related CN113326393B (zh) 2021-05-31 2021-05-31 一种基于深度哈希特征和异构并行处理的图像检索方法

Country Status (1)

Country Link
CN (1) CN113326393B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407352A (zh) * 2016-09-06 2017-02-15 广东顺德中山大学卡内基梅隆大学国际联合研究院 基于深度学习的交通图像检索方法
CN109918532A (zh) * 2019-03-08 2019-06-21 苏州大学 图像检索方法、装置、设备及计算机可读存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512273A (zh) * 2015-12-03 2016-04-20 中山大学 一种基于可变长深度哈希学习的图像检索方法
CN106503106B (zh) * 2016-10-17 2019-10-18 北京工业大学 一种基于深度学习的图像哈希索引构建方法
CN107016708B (zh) * 2017-03-24 2020-06-05 杭州电子科技大学 一种基于深度学习的图像哈希编码方法
CN107423376B (zh) * 2017-07-10 2019-12-27 上海媒智科技有限公司 一种有监督深度哈希快速图片检索方法及***
CN108920720B (zh) * 2018-07-30 2021-09-07 电子科技大学 基于深度哈希和gpu加速的大规模图像检索方法
CN109241313B (zh) * 2018-08-14 2021-11-02 大连大学 一种基于高阶深度哈希学习的图像检索方法
US11556581B2 (en) * 2018-09-04 2023-01-17 Inception Institute of Artificial Intelligence, Ltd. Sketch-based image retrieval techniques using generative domain migration hashing
CN109241317B (zh) * 2018-09-13 2022-01-11 北京工商大学 基于深度学习网络中度量损失的行人哈希检索方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407352A (zh) * 2016-09-06 2017-02-15 广东顺德中山大学卡内基梅隆大学国际联合研究院 基于深度学习的交通图像检索方法
CN109918532A (zh) * 2019-03-08 2019-06-21 苏州大学 图像检索方法、装置、设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN113326393A (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
WO2020182019A1 (zh) 图像检索方法、装置、设备及计算机可读存储介质
Zhang et al. Improved deep hashing with soft pairwise similarity for multi-label image retrieval
CN110298037B (zh) 基于增强注意力机制的卷积神经网络匹配的文本识别方法
CN109299342B (zh) 一种基于循环生成式对抗网络的跨模态检索方法
CN111753189B (zh) 一种少样本跨模态哈希检索共同表征学习方法
CN109783682B (zh) 一种基于点对相似度的深度非松弛哈希图像检索方法
CN108038122B (zh) 一种商标图像检索的方法
CN113177132B (zh) 基于联合语义矩阵的深度跨模态哈希的图像检索方法
CN110222218B (zh) 基于多尺度NetVLAD和深度哈希的图像检索方法
CN109766469B (zh) 一种基于深度哈希学习优化的图像检索方法
CN111125411B (zh) 一种深度强相关哈希学习的大规模图像检索方法
CN104199923B (zh) 基于最优k均值哈希算法的大规模图像库检索方法
CN110688502A (zh) 一种基于深度哈希和量化的图像检索方法及存储介质
CN114358188A (zh) 特征提取模型处理、样本检索方法、装置和计算机设备
CN111026887B (zh) 一种跨媒体检索的方法及***
CN112732864B (zh) 一种基于稠密伪查询向量表示的文档检索方法
CN114118369B (zh) 一种基于群智能优化的图像分类卷积神经网络设计方法
CN113806580B (zh) 基于层次语义结构的跨模态哈希检索方法
CN111008224A (zh) 一种基于深度多任务表示学习的时间序列分类和检索方法
CN112163114B (zh) 一种基于特征融合的图像检索方法
CN113836896A (zh) 一种基于深度学习的专利文本摘要生成方法和装置
CN115795065A (zh) 基于带权哈希码的多媒体数据跨模态检索方法及***
CN112860930A (zh) 一种基于层次化相似性学习的文本到商品图像的检索方法
CN108805280B (zh) 一种图像检索的方法和装置
CN114168782B (zh) 一种基于三元组网络的深度哈希图像检索方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230303

Address after: 518000 301, Feiyada Science and Technology Building, No. 002, Gaoxin South 1st Road, High-tech Zone Community, Yuehai Street, Nanshan District, Shenzhen, Guangdong Province

Applicant after: Shenzhen foresight Information Co.,Ltd.

Address before: 710000 No. B49, Xinda Zhongchuang space, 26th Street, block C, No. 2 Trading Plaza, South China City, international port district, Xi'an, Shaanxi Province

Applicant before: Xi'an Huaqi Zhongxin Technology Development Co.,Ltd.

Effective date of registration: 20230303

Address after: 710000 No. B49, Xinda Zhongchuang space, 26th Street, block C, No. 2 Trading Plaza, South China City, international port district, Xi'an, Shaanxi Province

Applicant after: Xi'an Huaqi Zhongxin Technology Development Co.,Ltd.

Address before: 710048 Shaanxi province Xi'an Beilin District Jinhua Road No. 5

Applicant before: XI'AN University OF TECHNOLOGY

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20230407