CN112766458A - 一种联合分类损失的双流有监督深度哈希图像检索方法 - Google Patents

一种联合分类损失的双流有监督深度哈希图像检索方法 Download PDF

Info

Publication number
CN112766458A
CN112766458A CN202110010811.XA CN202110010811A CN112766458A CN 112766458 A CN112766458 A CN 112766458A CN 202110010811 A CN202110010811 A CN 202110010811A CN 112766458 A CN112766458 A CN 112766458A
Authority
CN
China
Prior art keywords
layer
group
size
network
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110010811.XA
Other languages
English (en)
Inventor
刘悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Ruiyi Intelligent Technology Co ltd
Original Assignee
Nanjing Ruiyi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Ruiyi Intelligent Technology Co ltd filed Critical Nanjing Ruiyi Intelligent Technology Co ltd
Priority to CN202110010811.XA priority Critical patent/CN112766458A/zh
Publication of CN112766458A publication Critical patent/CN112766458A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种联合分类损失的双流有监督深度哈希图像检索方法，首先选取图像训练集以及对应的图像标签，接着设计双流深度神经网络结构，第一流神经网络专注于空间上的语义关联性，第二流神经网络专注于通道上的语义相关性，两层都使用Alexnet在ImageNet上的预训练模型，在全连接层前添加注意力模型，并在分类层之前添加一个哈希层，然后将这两个神经网络结合在一起创建一个可端到端训练的统一框架，使用三元组损失函数、分类损失函数和量化损失函数来训练网络。通过设置网络的学习率和每次处理数据的数量，在多个数据集上取得了很好的效果，实现了快速有效的图像检索。

Description

一种联合分类损失的双流有监督深度哈希图像检索方法
技术领域
本发明涉及知识图谱、图像检索技术领域，具体为一种联合分类损失的双流有监督深度哈希图像检索方法。
背景技术
传统的哈希图像检索算法一般采取两个步骤，第一步，对训练数据集进行特征提取，得到图像的高维特征向量，然后通过设计好的算法对这些高维特征向量进行学习，然后得到学习好的哈希函数。第二步，将数据库里的图像通过特征提取以及哈希函数的映射得到哈希码并存入数据库当中。当用一张图像进行检索时，同样进行相应的特征提取之后再进行哈希函数，得到对应的查询图像的哈希码，将这个哈希码与数据库中的哈希码进行相似性计算，找到相似的样本，返回相似度最高的图像返回给用户。一些传统的哈希算法比如局部敏感哈希算法(Locality Sensitive Hashing,LSH)、基于核的监督哈希算法(supervised hashing with kernels,KSH)，监督离散哈希算法(Supervised DiscreteHashing,SDH)。然而通过这些方法得到的特征再经过训练得到的模型效果往往没有达到预期，一方面是提取的局部特征往往不能完整的表示整个图像信息，另一方面是它将特征提取与哈希学习部分分割开来，使得学到的哈希码大部分依赖于提取到的特征，学习的结果并不能直接反馈到特征提取的部分。
发明内容
本发明的目的在于提供一种联合分类损失的双流有监督深度哈希图像检索方法，以精确地用哈希码表示图像，增强图像的重要特征，充分利用标签实现更高精度的图像检索。本发明提供了一种不依赖时间信息的传播网络中影响一种联合分类损失的双流有监督深度哈希图像检索方法，包括以下步骤：
步骤1、选取图像训练集以及对应的图像标签，并进行归一化处理；
步骤2、设计双流深度神经网络结构；
步骤3、设计三元组损失函数、分类损失函数和量化损失函数；
步骤4、设置网络的学习率和每次处理数据的数量来训练网络。
优选的，步骤1所述的选取图像训练集以及对应的图像标签，并进行归一化处理，具体为：训练集从检索库中选取一部分图像，将训练集中的图像归一化为224×224的像素大小。
优选的，步骤2所述设计双流深度神经网络结构，具体为：
第一流神经网络的结构为：
网络输入的是224×224×3的彩色图像，
第一组由第一卷积层(Conv1_1)和第一最大池化层(Pool1)组成，卷积核的大小为11×11，设置步长为4，池化步长设置为2；
第二组由第二卷积层(Conv2_1)和第二最大池化层(Pool2)组成，卷积核的大小为5×5，设置步长为1，池化步长设置为2；
第三组由第三卷积层(Conv3_1)组成，卷积核的大小为3×3；
第四组由第四卷积层(Conv4_1)组成，卷积核的大小为3×3；
第五组由第五卷积层(Conv5_1)和第三最大池化层(Pool3)组成，卷积核的大小为3×3，池化步长设置为2；
第六组为一个空间注意力机制网络，连接第五组第三最大池化层(Pool3)的神经元，维度是C×H×W，将这个神经元通过二维卷积得到相应的特征图B、C、D，再重塑成C×H×W，将重塑后的B转置与重塑后的C相乘，再通过softmax函数得到空间注意力图，最终再与第五组第三最大池化层(Pool3)的神经元相加再乘以变化因子得到最后的输出(Conv6_1)，
第七组为第一个完全连接层(Fc7)，连接第六组中的输出(Conv6_1)，输出数量为4096；
第八组为第二个完全连接层(Fc8)，连接第一个完全连接层(Fc7)的神经元，输出数量为4096；
第二流神经网络的结构为：
网络输入的是224×224×3的彩色图像，
第一组由第一卷积层(Conv1_1)和第一最大池化层(Pool1)组成，卷积核的大小为11×11，设置步长为4，池化步长设置为2；
第二组由第二卷积层(Conv2_1)和第二最大池化层(Pool2)组成，卷积核的大小为5×5，设置步长为1，池化步长设置为2；
第三组由第三卷积层(Conv3_1)组成，卷积核的大小为3×3；
第四组由第四卷积层(Conv4_1)组成，卷积核的大小为3×3；
第五组由第五卷积层(Conv5_1)和第三最大池化层(Pool3)组成，卷积核的大小为3×3，池化步长设置为2；
第六组为一个通道注意力机制网络，连接第五组第三最大池化层(Pool3)的神经元，维度是C×H×W，对这个神经元做重塑和重塑与转置，将它们相乘再通过softmax函数得到通道注意力图，最终再与第五组第三最大池化层(Pool3)的神经元做乘积再乘以变化因子，得到最后的输出(Conv6_1)，
第七组为第一个完全连接层(Fc7)，连接第六组中的输出(Conv6_1)，输出数量为4096；
第八组为第二个完全连接层(Fc8)，连接第一个完全连接层(Fc7)的神经元，输出数量为4096；
整个网络：
输入为第一流和第二流的网络的第八组输出相加，为一个完全连接层(Fc8_2)，输出数量为4096
第一组为第一个完全连接层(Fc1)，输出数量为n，n是哈希码的数量；
第二组为第二个完全连接层(Fc2)，连接第一个完全连接层(Fc1)的神经元，输出数量为c，c为图像的分类个数。
优选的，步骤3所述设计三元组损失函数、分类损失函数和量化损失函数，具体如下：
对于三元组图像，似然函数可以用如下表达式来表示：
其中
Figure BDA0002885009140000041
θ是一个超参数，表示相似图像对与不相似图像对之间的阈值，M(x)是Sigmoid激活函数，表达式如下：
Figure BDA0002885009140000042
表示哈希码之间的内积
Figure BDA0002885009140000043
当锚点哈希码与相似图像之间的内积越大，锚点哈希码与不相似图像之间的内积越小，三元组似然函数值越大，
综上所述，我们定义我们的负对数三元组似然函数为如下：
Figure BDA0002885009140000044
分类损失可以用以下的式子来表示：
Figure BDA0002885009140000045
为了控制哈希编码的输出为-1或者1，我们使用如下的量化损失函数：
总损失如下所示，其中β与γ都是超参数。
优选的，步骤4所述设置网络的学习率和每次处理数据的数量来训练网络，训练批次大小为128，学习率设置为1e-5。
与现有技术相比，本发明提供了一种联合分类损失的双流有监督深度哈希图像检索方法，具备以下有益效果：
(1)使用双流框架加强了重要特征的表达；
(2)在线生成三元组，在一个训练批次中，一个epoch内每张图像都参与了训练，所以训练集的所有图像都在构建的三元组内，不仅使每张图像都参与了训练，而且减少了训练次数；
(3)设计了分类损失函数，使得产生的哈希码可以用于分类。
附图说明
(3)图1为本发明的联合分类损失的双流有监督深度哈希图像检索的网络图。
(4)图2为本发明的空间注意力图。
(5)图3为本发明的通道注意力图。
(6)图4为本发明的三元组网络图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-4，一种联合分类损失的双流有监督深度哈希图像检索方法，包括以下步骤：
步骤1、选取图像训练集以及对应的图像标签，并进行归一化处理，具体为：训练集从检索库中选取一部分图像，将训练集中的图像归一化为224×224的像素大小；
步骤2、设计双流深度神经网络结构，具体为：
第一流神经网络的结构为：
网络输入的是224×224×3的彩色图像；
第一组由第一卷积层(Conv1_1)和第一最大池化层(Pool1)组成，卷积核的大小为11×11，设置步长为4，池化步长设置为2；
第二组由第二卷积层(Conv2_1)和第二最大池化层(Pool2)组成，卷积核的大小为5×5，设置步长为1，池化步长设置为2；
第三组由第三卷积层(Conv3_1)组成，卷积核的大小为3×3；
第四组由第四卷积层(Conv4_1)组成，卷积核的大小为3×3；
第五组由第五卷积层(Conv5_1)和第三最大池化层(Pool3)组成，卷积核的大小为3×3，池化步长设置为2；
第六组为一个空间注意力机制网络，连接第五组第三最大池化层(Pool3)的神经元，维度是C×H×W，将这个神经元通过二维卷积得到相应的特征图B、C、D，再重塑成C×H×W，将重塑后的B转置与重塑后的C相乘，再通过softmax函数得到空间注意力图，最终再与第五组第三最大池化层(Pool3)的神经元相加再乘以变化因子得到最后的输出(Conv6_1)；
第七组为第一个完全连接层(Fc7)，连接第六组中的输出(Conv6_1)，输出数量为4096；
第八组为第二个完全连接层(Fc8)，连接第一个完全连接层(Fc7)的神经元，输出数量为4096；
第二流神经网络的结构为：
网络输入的是224×224×3的彩色图像；
第一组由第一卷积层(Conv1_1)和第一最大池化层(Pool1)组成，卷积核的大小为11×11，设置步长为4，池化步长设置为2；
第二组由第二卷积层(Conv2_1)和第二最大池化层(Pool2)组成，卷积核的大小为5×5，设置步长为1，池化步长设置为2；
第三组由第三卷积层(Conv3_1)组成，卷积核的大小为3×3；
第四组由第四卷积层(Conv4_1)组成，卷积核的大小为3×3；
第五组由第五卷积层(Conv5_1)和第三最大池化层(Pool3)组成，卷积核的大小为3×3，池化步长设置为2；
第六组为一个通道注意力机制网络，连接第五组第三最大池化层(Pool3)的神经元，维度是C×H×W，对这个神经元做重塑和重塑与转置，将它们相乘再通过softmax函数得到通道注意力图，最终再与第五组第三最大池化层(Pool3)的神经元做乘积再乘以变化因子，得到最后的输出(Conv6_1)。
第七组为第一个完全连接层(Fc7)，连接第六组中的输出(Conv6_1)，输出数量为4096；
第八组为第二个完全连接层(Fc8)，连接第一个完全连接层(Fc7)的神经元，输出数量为4096；
整个网络：
输入为第一流和第二流的网络的第八组输出相加，为一个完全连接层(Fc8_2)，输出数量为4096
第一组为第一个完全连接层(Fc1)，输出数量为n，n是哈希码的数量；
第二组为第二个完全连接层(Fc2)，连接第一个完全连接层(Fc1)的神经元，输出数量为c，c为图像的分类个数。
步骤3、设计三元组损失函数、分类损失函数和量化损失函数，具体如下：
对于三元组图像，似然函数可以用如下表达式来表示：
(1)
其中
Figure BDA0002885009140000071
θ是一个超参数，表示相似图像对与不相似图像对之间的阈值，M(x)是Sigmoid激活函数，表达式如下：
(2)
Figure BDA0002885009140000072
表示哈希码之间的内积
Figure BDA0002885009140000073
当锚点哈希码与相似图像之间的内积越大，锚点哈希码与不相似图像之间的内积越小，三元组似然函数值越大。
综上所述，我们定义我们的负对数三元组似然函数为如下：
Figure BDA0002885009140000081
分类损失可以用以下的式子来表示：
Figure BDA0002885009140000082
为了控制哈希编码的输出为-1或者1，我们使用如下的量化损失函数：
(5)
总损失如下所示，其中β与γ都是超参数。
(6)
步骤4、设置网络的学习率和每次处理数据的数量来训练网络，训练批次大小为128，学习率设置为1e-5。
下面结合具体实施例对本发明做进一步的说明。
实施例1
结合图1～4，本发明基于单个卷积神经网络的面部多特征点定位方法，包括以下步骤：
步骤1、选取图像训练集以及对应的图像标签，并进行归一化处理，具体为：训练集从检索库中选取一部分图像，将训练集中的图像归一化为224×224的像素大小。
步骤2、设计双流深度神经网络结构，网络输入的是224×224×3的彩色图像，第一流神经网络专注于空间上的语义关联性，第二流神经网络专注于通道上的语义相关性，两层都使用Alexnet在ImageNet上的预训练模型，在全连接层前添加注意力模型，并在分类层之前添加一个哈希层，然后将这两个神经网络结合在一起创建一个可端到端训练的统一框架。
步骤3、设计三元组损失函数、分类损失函数和量化损失函数，具体如下：
对于三元组图像，似然函数可以用如下表达式来表示：
(1)
其中
Figure BDA0002885009140000091
θ是一个超参数，表示相似图像对与不相似图像对之间的阈值，M(x)是Sigmoid激活函数，表达式如下：
Figure BDA0002885009140000092
表示哈希码之间的内积
Figure BDA0002885009140000093
当锚点哈希码与相似图像之间的内积越大，锚点哈希码与不相似图像之间的内积越小，三元组似然函数值越大。
综上所述，我们定义我们的负对数三元组似然函数为如下：
Figure BDA0002885009140000094
分类损失可以用以下的式子来表示：
Figure BDA0002885009140000095
为了控制哈希编码的输出为-1或者1，我们使用如下的量化损失函数：
总损失如下所示，其中β与γ都是超参数。
步骤4、设置网络的学习率和每次处理数据的数量来训练网络，训练批次大小为128，学习率设置为1e-5。
本发明采用NUSWIDE和COCO两个数据集来测试图像检索的结果，与现有的主流方法比较，结果如表1所示。
表1 NUSWIDE和COCO数据集上的MAP@5000、5000各种方法比较。
Figure BDA0002885009140000101
从表中可以得到以下几点：(1)ITQ-CCA结合了监督信息，对比于ITQ，还是没有无监督的效果好，从侧面反映出传统方法对于有监督信息并不能很好的利用。(2)传统的方法SDH也能获得较好的精度，与一些深度的方法精度相近，由于不能进行及时地反馈，导致性能提升有限。(3)深度方法中，DHN通过保留相似信息与量化控制损失函数来获取哈希码，HashNet从不平衡中精确地学习二进制哈希码，并解决二元激活非光滑深网络优化中的不适定梯度问题，GAH利用一种新的结合新梯度的深度哈希模型注意机制来学习哈希码，他们利用端到端网络、量化控制、注意力梯度等方式来解决深度网络当中哈希码的学习问题，在大多数情况下都获得了比传统哈希方法较优的效果。注意到三个深度哈希算法都是通过Alexnet和成对损失函数来学习哈希码，所以DATH的优势在于注意力机制的使用、分类损失函数的使用。
表2自身对比结果
Figure BDA0002885009140000111
为了验证注意力机制的有效性，设置了几个自身对比实验，如表2所示，DATH-S表示本章使用的注意力机制只包含空间注意力，DATH-C表示注意力机制只包含通道注意力，DATH-N表示不包含任何注意力机制，只有一个Alexnet网络，类似于普通的深度哈希网络。
从下表可以得出以下几点，一是对比DATH-S与DATH两种方法，DATH在NUSWIDE数据集上各比特位上平均提升了0.55％，在COCO数据集上各比特位上也平均提升了0.75％，说明通过增加空间注意力有效地提升了图像各像素间的语义联系；二是对比DATH-C与DATH两种方法，DATH在NUSWIDE数据集上各比特位上平均提升了1.125％，在COCO数据集上各比特位上也平均提升了0.9％，说明增强通道间的语义联系注意力有助于图像间语义关系关联；三是对比DATH-N与DATH两种方法，在每个比特位上都有提升，说明注意力机制有效地增强了哈希码间的语义联系，突出了重要特征而抑制了不重要的特征。另外，对比DATH-S与DATH-N两种方法，发现空间注意力机制在大部分情况下对结果有提升，在16比特位上提升明显。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种联合分类损失的双流有监督深度哈希图像检索方法，其特征在于，包括以下步骤：
步骤1、选取图像训练集以及对应的图像标签，并进行归一化处理；
步骤2、设计双流深度神经网络结构；
步骤3、设计三元组损失函数、分类损失函数和量化损失函数；
步骤4、设置网络的学习率和每次处理数据的数量来训练网络。
2.根据权利要求1所述的联合分类损失的双流有监督深度哈希图像检索方法，其特征在于，步骤1所述的选取图像训练集以及对应的图像标签，并进行归一化处理，具体为：训练集从检索库中选取一部分图像，将训练集中的图像归一化为224×224的像素大小。
3.根据权利要求1所述的联合分类损失的双流有监督深度哈希图像检索方法，其特征在于，步骤2所述设计双流深度神经网络结构，具体为：
第一流神经网络的结构为：
网络输入的是224×224×3的彩色图像，
第一组由第一卷积层(Conv1_1)和第一最大池化层(Pool1)组成，卷积核的大小为11×11，设置步长为4，池化步长设置为2；
第二组由第二卷积层(Conv2_1)和第二最大池化层(Pool2)组成，卷积核的大小为5×5，设置步长为1，池化步长设置为2；
第三组由第三卷积层(Conv3_1)组成，卷积核的大小为3×3；
第四组由第四卷积层(Conv4_1)组成，卷积核的大小为3×3；
第五组由第五卷积层(Conv5_1)和第三最大池化层(Pool3)组成，卷积核的大小为3×3，池化步长设置为2；
第六组为一个空间注意力机制网络，连接第五组第三最大池化层(Pool3)的神经元，维度是C×H×W，将这个神经元通过二维卷积得到相应的特征图B、C、D，再重塑成C×H×W，将重塑后的B转置与重塑后的C相乘，再通过softmax函数得到空间注意力图，最终再与第五组第三最大池化层(Pool3)的神经元相加再乘以变化因子得到最后的输出(Conv6_1)，
第七组为第一个完全连接层(Fc7)，连接第六组中的输出(Conv6_1)，输出数量为4096；
第八组为第二个完全连接层(Fc8)，连接第一个完全连接层(Fc7)的神经元，输出数量为4096；
第二流神经网络的结构为：
网络输入的是224×224×3的彩色图像，
第一组由第一卷积层(Conv1_1)和第一最大池化层(Pool1)组成，卷积核的大小为11×11，设置步长为4，池化步长设置为2；
第二组由第二卷积层(Conv2_1)和第二最大池化层(Pool2)组成，卷积核的大小为5×5，设置步长为1，池化步长设置为2；
第三组由第三卷积层(Conv3_1)组成，卷积核的大小为3×3；
第四组由第四卷积层(Conv4_1)组成，卷积核的大小为3×3；
第五组由第五卷积层(Conv5_1)和第三最大池化层(Pool3)组成，卷积核的大小为3×3，池化步长设置为2；
第六组为一个通道注意力机制网络，连接第五组第三最大池化层(Pool3)的神经元，维度是C×H×W，对这个神经元做重塑和重塑与转置，将它们相乘再通过softmax函数得到通道注意力图，最终再与第五组第三最大池化层(Pool3)的神经元做乘积再乘以变化因子，得到最后的输出(Conv6_1)，
第七组为第一个完全连接层(Fc7)，连接第六组中的输出(Conv6_1)，输出数量为4096；
第八组为第二个完全连接层(Fc8)，连接第一个完全连接层(Fc7)的神经元，输出数量为4096；
整个网络：
输入为第一流和第二流的网络的第八组输出相加，为一个完全连接层(Fc8_2)，输出数量为4096
第一组为第一个完全连接层(Fc1)，输出数量为n，n是哈希码的数量；
第二组为第二个完全连接层(Fc2)，连接第一个完全连接层(Fc1)的神经元，输出数量为c，c为图像的分类个数。
4.根据权利要求1所述的联合分类损失的双流有监督深度哈希图像检索方法，其特征在于，步骤3所述设计三元组损失函数、分类损失函数和量化损失函数，具体如下：
对于三元组图像，似然函数可以用如下表达式来表示：
其中
Figure FDA0002885009130000031
是一个超参数，表示相似图像对与不相似图像对之间的阈值，M(x)是Sigmoid激活函数，表达式如下：
Figure FDA0002885009130000032
表示哈希码之间的内积
Figure FDA0002885009130000033
当锚点哈希码与相似图像之间的内积越大，锚点哈希码与不相似图像之间的内积越小，三元组似然函数值越大，
综上所述，我们定义我们的负对数三元组似然函数为如下：
Figure FDA0002885009130000034
分类损失可以用以下的式子来表示：
Figure FDA0002885009130000035
为了控制哈希编码的输出为-1或者1，我们使用如下的量化损失函数：
总损失如下所示，其中β与γ都是超参数。
5.根据权利要求1所述的联合分类损失的双流有监督深度哈希图像检索方法，其特征在于，步骤4所述设置网络的学习率和每次处理数据的数量来训练网络，训练批次大小为128，学习率设置为1e-5。
CN202110010811.XA 2021-01-06 2021-01-06 一种联合分类损失的双流有监督深度哈希图像检索方法 Pending CN112766458A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110010811.XA CN112766458A (zh) 2021-01-06 2021-01-06 一种联合分类损失的双流有监督深度哈希图像检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110010811.XA CN112766458A (zh) 2021-01-06 2021-01-06 一种联合分类损失的双流有监督深度哈希图像检索方法

Publications (1)

Publication Number Publication Date
CN112766458A true CN112766458A (zh) 2021-05-07

Family

ID=75699750

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110010811.XA Pending CN112766458A (zh) 2021-01-06 2021-01-06 一种联合分类损失的双流有监督深度哈希图像检索方法

Country Status (1)

Country Link
CN (1) CN112766458A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537384A (zh) * 2021-07-30 2021-10-22 中国海洋大学 基于通道注意力的哈希遥感图像检索方法、装置及介质
CN113821670A (zh) * 2021-07-23 2021-12-21 腾讯科技（深圳）有限公司 图像检索方法、装置、设备及计算机可读存储介质
CN116050508A (zh) * 2021-10-28 2023-05-02 腾讯科技（深圳）有限公司 神经网络训练方法以及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106980641A (zh) * 2017-02-09 2017-07-25 上海交通大学 基于卷积神经网络的无监督哈希快速图片检索***及方法
US20190303715A1 (en) * 2018-03-29 2019-10-03 Qualcomm Incorporated Combining convolution and deconvolution for object detection
CN110598022A (zh) * 2019-08-05 2019-12-20 华中科技大学 一种基于鲁棒深度哈希网络的图像检索***与方法
CN111428073A (zh) * 2020-03-31 2020-07-17 新疆大学 一种深度监督量化哈希的图像检索方法
US20200242422A1 (en) * 2019-01-29 2020-07-30 Boe Technology Group Co., Ltd. Method and electronic device for retrieving an image and computer readable storage medium
CN111553205A (zh) * 2020-04-12 2020-08-18 西安电子科技大学 无车牌信息车辆重识别方法、***、介质、视频监控***
CN111832620A (zh) * 2020-06-11 2020-10-27 桂林电子科技大学 一种基于双注意力多层特征融合的图片情感分类方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106980641A (zh) * 2017-02-09 2017-07-25 上海交通大学 基于卷积神经网络的无监督哈希快速图片检索***及方法
US20190303715A1 (en) * 2018-03-29 2019-10-03 Qualcomm Incorporated Combining convolution and deconvolution for object detection
US20200242422A1 (en) * 2019-01-29 2020-07-30 Boe Technology Group Co., Ltd. Method and electronic device for retrieving an image and computer readable storage medium
CN110598022A (zh) * 2019-08-05 2019-12-20 华中科技大学 一种基于鲁棒深度哈希网络的图像检索***与方法
CN111428073A (zh) * 2020-03-31 2020-07-17 新疆大学 一种深度监督量化哈希的图像检索方法
CN111553205A (zh) * 2020-04-12 2020-08-18 西安电子科技大学 无车牌信息车辆重识别方法、***、介质、视频监控***
CN111832620A (zh) * 2020-06-11 2020-10-27 桂林电子科技大学 一种基于双注意力多层特征融合的图片情感分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李博涵;许敏;王凯;孙翔;谭守标;: "结合编解码网络的人体解析方法", 小型微型计算机***, no. 10 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113821670A (zh) * 2021-07-23 2021-12-21 腾讯科技（深圳）有限公司 图像检索方法、装置、设备及计算机可读存储介质
CN113821670B (zh) * 2021-07-23 2024-04-16 腾讯科技（深圳）有限公司 图像检索方法、装置、设备及计算机可读存储介质
CN113537384A (zh) * 2021-07-30 2021-10-22 中国海洋大学 基于通道注意力的哈希遥感图像检索方法、装置及介质
CN113537384B (zh) * 2021-07-30 2023-11-28 中国海洋大学 基于通道注意力的哈希遥感图像检索方法、装置及介质
CN116050508A (zh) * 2021-10-28 2023-05-02 腾讯科技（深圳）有限公司 神经网络训练方法以及装置

Similar Documents

Publication Publication Date Title
Geng et al. Ensemble manifold regularization
CN112766458A (zh) 一种联合分类损失的双流有监督深度哈希图像检索方法
CN113177132B (zh) 基于联合语义矩阵的深度跨模态哈希的图像检索方法
Wu et al. Graphmixup: Improving class-imbalanced node classification on graphs by self-supervised context prediction
Karagoz et al. A new framework of multi-objective evolutionary algorithms for feature selection and multi-label classification of video data
WO2023155508A1 (zh) 一种基于图卷积神经网络和知识库的论文相关性分析方法
CN110598022B (zh) 一种基于鲁棒深度哈希网络的图像检索***与方法
CN114780748A (zh) 基于先验权重增强的知识图谱的补全方法
CN114580638A (zh) 基于文本图增强的知识图谱表示学习方法及***
CN114612761A (zh) 一种面向图像识别的网络架构搜索方法
CN115410199A (zh) 图像内容检索方法、装置、设备及存储介质
Yoo et al. Belief Propagation Network for Hard Inductive Semi-Supervised Learning.
CN110674333B (zh) 基于多视图增强深度哈希的大规模图像高速检索方法
CN114780767A (zh) 一种基于深度卷积神经网络的大规模图像检索方法及***
Arevalillo-Herráez et al. A hybrid multi-objective optimization algorithm for content based image retrieval
CN112836511B (zh) 基于协同关系的知识图谱上下文嵌入方法
CN113283530B (zh) 基于级联特征块的图像分类***
Xia et al. A closed-form reduction of multi-class cost-sensitive learning to weighted multi-class learning
Matharage et al. A scalable and dynamic self-organizing map for clustering large volumes of text data
CN113869462B (zh) 一种基于双路结构对比嵌入学习的小样本对象分类方法
Quost et al. Adapting a combination rule to non-independent information sources
Taghanaki et al. Nonlinear feature transformation and genetic feature selection: improving system security and decreasing computational cost
Carbonera et al. An attraction-based approach for instance selection
Yang et al. The Basics of Network Embedding
Sarangi et al. Automatic Image Annotation Using Convex Deep Learning Models.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination