CN110866134B - 一种面向图像检索的分布一致性保持度量学习方法 - Google Patents

一种面向图像检索的分布一致性保持度量学习方法 Download PDF

Info

Publication number
CN110866134B
CN110866134B CN201911089272.2A CN201911089272A CN110866134B CN 110866134 B CN110866134 B CN 110866134B CN 201911089272 A CN201911089272 A CN 201911089272A CN 110866134 B CN110866134 B CN 110866134B
Authority
CN
China
Prior art keywords
samples
image
query
positive
negative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911089272.2A
Other languages
English (en)
Other versions
CN110866134A (zh
Inventor
赵宏伟
范丽丽
赵浩宇
刘萍萍
李蛟
张媛
袁琳
胡黄水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201911089272.2A priority Critical patent/CN110866134B/zh
Publication of CN110866134A publication Critical patent/CN110866134A/zh
Application granted granted Critical
Publication of CN110866134B publication Critical patent/CN110866134B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/535—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种面向图像检索的分布一致性保持度量学习方法，所述方法通过一种新颖的样本挖掘和类内难样本挖掘方法，选择有代表性的样本，在提高收敛速度的同时获取更丰富的信息；类内容易样本和难样本的比例为选取的难样本赋予动态权重，以学习类内数据结构特征，对于负样本，根据其周围样本的分布情况设置不同的权重进行学习以保持其相似结构的一致性，从而更准确地提取图像特征。本发明充分考虑了正样本和负样本的分布情况对实验的影响，可以根据模型的训练效果对正样本和负样本的数量及选择进行调整。

Description

一种面向图像检索的分布一致性保持度量学习方法
技术领域
本发明涉及一种图像检索方法，具体涉及一种面向图像检索的分布一致性保持度量学习方法。
背景技术
近年来，互联网上视觉数据呈现出***式的增长，越来越多的研究工作围绕图像搜索或图像检索技术而展开。早期的搜索技术仅采用文本信息，忽视了视觉内容作为排序的线索，导致搜索文本和视觉内容不一致。基于内容的图像检索(CBIR)技术充分利用视觉内容识别相关图像，在近几年来获得了广泛关注。
从众多图像中检测稳健且有辨别力的特征是图像检索的一个重大挑战。传统方法依赖于手工制作的特征，其中包括光谱(颜色)、纹理和形状特征等全局特征，以及像词袋(BoW)、本地聚合描述符(VLAD)矢量和Fisher矢量(FV)等聚合特征，这种设计耗时并且需要大量的专业知识。
深度学习的发展推动了CBIR的发展，从手工描述符演变到从卷积神经网络(CNNS)中提取学习的卷积描述符。深度卷积神经网络特征是高度抽象的并且具有高级语义信息。此外，深度特征从数据中自动学习，是数据驱动的，在设计特征方面不需要人为的努力，这使得深度学习技术在大规模图像检索中极具价值。深度度量学习(DML)是一种结合深度学习和度量学习的技术，其中度量学习的目的是学习嵌入空间，即鼓励相似样本的嵌入向量更接近，而不相似的样本彼此推开。深度度量学习利用深度卷积神经网络的鉴别能力将图像嵌入到度量空间中，其中可以使用欧几里得距离等简单的度量直接计算测量图像之间的语义相似度。深度度量学习被应用到很多自然图像领域，包括人脸识别、视觉追踪、自然图像检索。
在DML框架中，损失函数起着至关重要的作用，之前的研究中已经提出了大量的损失函数。对比损失捕获成对样本之间的关系，即相似性或相异性，使正对的距离最小化，同时大于边界的负对的距离最大化。基于三重损失也有很广泛的研究，三元组由查询图片、正样本和负样本组成。三重损失的目的是学习一个距离度量使得查询图片相比于负样本更接近正样本。通常来说，由于考虑了正负对之间的关系，三重损失优于对比损失。受此启发，最近很多研究都考虑了多个样本之间更丰富的结构化信息，并且在很多应用(如检索和聚类)上取得了很好的性能。
然而，目前最先进的DML方法仍然有一定的局限性。在之前的一些损失函数中，考虑了对多个样本的结构化信息进行合并，有的方法将和查询图片相同类别的所有除查询图片外的样本都用作正样本，将和查询图片不同类别的样本都当作负样本。通过这种方法可以利用所有非平凡样本构建一个信息量更大的结构用于学习更多的有区别的嵌入向量，虽然这样得到的信息量很大很丰富，但存在很多的冗余信息，对计算量、计算成本和存储成本都带来了很大的麻烦。同时，在之前的结构性损失中没有考虑到类内的样本分布，所有的损失都希望可以尽可能靠近同一类中的样本。因此，这些算法都试图将同一类的样本压缩到特征空间中的一个点上，并且可能很容易丢失它们的一些相似性结构和有用的样本信息。
发明内容
本发明的目的是提供一种面向图像检索的分布一致性保持度量学习方法，通过一种新颖的样本挖掘和类内难样本挖掘方法，选择有代表性的样本，在提高收敛速度的同时获取更丰富的信息；类内容易样本和难样本的比例为选取的难样本赋予动态权重，以学习类内数据结构特征，对于负样本，根据其周围样本的分布情况设置不同的权重进行学习以保持其相似结构的一致性，从而更准确地提取图像特征。
本发明的目的是通过以下技术方案实现的：
一种面向图像检索的分布一致性保持度量学习方法，包括如下步骤：
步骤1：初始化微调CNN网络，提取查询图像和训练数据库中图像的底层特征；
步骤2：通过计算步骤1提取得到的查询图像和训练数据库中所有图像底层特征的欧氏距离，以及根据训练数据的标签属性将训练集进行正负样本集划分；
步骤3：设定阈值τ、m，跟据负样本和正样本分别的排序序号列表计算每个正负样本对的权重值；
步骤4：将步骤3获得的训练数据的真实排序序号分别赋予给选择出的负样本和正样本，将序号与其阈值相结合，分配给正负样本不同的权重，运用基于分布一致性保持的损失函数计算损失值，调整正负样本与查询图像特征向量的距离；
步骤5：通过反向传播和共享权重对深度卷积网络的初始参数进行进一步调整，得到深度卷积网络的更新参数；
步骤6：重复步骤1到步骤5，不断的训练更新网络参数，直到结束训练，一共进行30轮；
步骤7：对于测试阶段，将测试数据集中的查询图像和其他样本图像输入步骤6得到的深度卷积网络中，得到与查询图像相关的图像列表；
步骤8：选取查询图像以及步骤7中获取的各自相应图像列表中的Top-N图像进行特征排序，对特征进行加权求和取平均作为查询图像，再进行步骤7的操作，得到最终的图像列表。
相比于现有技术，本发明具有如下优点：
1、本发明将分布一致性保持理论引入到图像检索中，根据正样本类内容易样本和难样本的数量和分布布局，为正样本赋予动态权重；通过负样本类挖掘的方式，根据负样本邻居样本的分布情况为负样本赋予权重，从而能够更全面的学习图像特征进行更准确的检索。
2、本发明将样本平衡和正负样本挖掘理论引入到图像检索中，根据正样本与查询图片的欧式距离以及负样本周围样本的分布情况调整网络参数，能够更全面的学习图像特征从而进行更准确的检索。
3、本发明充分考虑了正样本和负样本的分布情况对实验的影响，可以根据模型的训练效果对正样本和负样本的数量及选择进行调整。
附图说明
图1为本发明面向图像检索的分布一致性保持度量学习方法及其测试的流程图；
图2为样本对挖掘选择图；
图3为检索结果的可视化图。
具体实施方式
下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。
本发明考虑到样本类内容易样本和难样本的比例以及样本周围样本的分布决定着在特征提取时特征向量贡献的大小，从而影响是否能够对图像特征进行准确提取进而对图像检索有着重要的影响，提出一种面向图像检索的分布一致性保持度量学习方法。如图1所示，所述图像检索方法包括以下步骤：
步骤1：初始化微调CNN网络，提取查询图像和训练数据库中图像的底层特征。
提取底层特征是为了得到查询图像的初始特征表示。本发明采用的是微调CNN网络(ResNet50、VGG)的卷积部分对查询图像和训练数据库中图像的底层特征进行初步处理，即去掉卷积后的全连接层，并采用平均池化(SPoC)代替全连接后的最后一个最大池化进行池化操作。微调CNN网络如图1所示。
本步骤中，池化层采用SPoC池化，对每一个通道，取该通道上所有激活值的平均值作为通道池化层的输出值。
本步骤中，所述SPoC池化的计算方式为：
Figure BDA0002266381130000061
式中，K表示维度，x作为输入并产生一个向量f作为池化过程的输出，|χK|表示特征向量的个数，fk表示特征向量。
步骤2：通过计算步骤1提取得到的查询图像和训练数据库中所有图像底层特征的欧氏距离，以及根据训练数据的标签属性将训练集进行正负样本集划分；基于训练集样本与查询图像特征向量的距离挑选正负样本对，选择与查询图像同类别最不像的五个样本作为正样本，选择与查询图像不同类别且彼此类别不同的五个与查询图像最像的样本作为负样本，即每个查询图像通过计算获得五个正样本对及五个负样本对。
本步骤中，每个查询图像对应五个正样本和五个负样本，正样本与查询图像有很高的相似度，但是这些所选择的正样本在所有与查询图像类别相同的图片中相似度最低，而所选择的负样本是所有与查询图像不同类别样本中的相似度较高的。
本步骤中，所述正负样本是在训练的过程中获得。正负样本的选择依赖于当前网络的参数并且每轮训练都进行更新。通过对训练集中所有图片与查询样本的欧式距离计算，根据不同的选择规则进行正负样本的选择。
本步骤中，所述正相关对是从一组图像中随机选择的正样本，到查询图像的描述符距离最大的五个图像被选择为正样本，表示为：
Figure BDA0002266381130000071
其中，m(q)表示描述同一物体的难样本，M(q)表示基于q簇中的摄像机构建的正相关候选图像池，q表示查询图片，p表示所选的正样本，f(x)是学习的度量函数，在特征空间中正样本与查询图像的相似度高于负样本与查询图像的相似度。
本步骤中，所述负样本的选择图如图2所示，五个负样本是从不同于查询图像的聚类中选择的。
本步骤中，利用已有的方法对查询图片和训练数据集进行特征提取，计算提取到的查询图像与数据集图像的特征向量的欧式距离，在训练数据集中随机选取若干负样本数据作为待选高相关性图像池。
本步骤中，所述图像池选取同查询图像对应的特征向量欧式距离最小的N个图像聚类。
本步骤中，所述五个正样本的选择方法如图2所示，对于查询图像来说，计算查询图像的特征向量f(q)，以及所有与查询图像同类的图像样本的特征向量f(p)。通过向量计算选择这些图像中与查询图像相似度最低的五个样本作为查询图片的正样本对。
本步骤中，所述五个负样本的选择方法如图2所示，对于查询图像来说，计算查询图像的特征向量f(q)，以及所有与查询图像不同类的图像样本特征向量f(n)。通过向量计算后按照大小进行排序，在这些样本中选择与查询图像最像的五个不同类别的图像，同时这五个图像也不属于同一类别，作为负样本对。
步骤3：根据设定的阈值τ、m，跟据负样本和正样本分别的排序序号列表计算每个正负样本对的权重值。
本步骤中，使正样本比任何负样本更接近查询图像，同时将负样本推到距离查询图像距离为τ处(τ为查询图像与负样本的距离)。并且，用边缘来划分正样本和负样本，即正样本离查询图片最大距离为τ-m。因此，m是正负样本之间的差距，也是选择正负样本的标准。如图2所示，最终希望达到的效果是所有正样本都在与查询图像距离τ-m的范围内，所有负样本都推出到离查询图像距离τ之外，正负样本之间距离为m。
本步骤中，计算并记录距离查询样本距离为：
Figure BDA0002266381130000081
其中，
Figure BDA0002266381130000082
表示查询样本
Figure BDA0002266381130000083
与所选样本
Figure BDA0002266381130000084
的点积，xj表示类内样本，Sik表示查询样本
Figure BDA0002266381130000085
与类间样本
Figure BDA0002266381130000086
的点积，Pc,i表示查询样本的类内样本集，ε是超参数，这里的值为0.1。满足上述约束的难正样本的数量为下文中的nhard。
本步骤中，对于每个查询样本
Figure BDA0002266381130000087
存在大量具有不同结构分布的正样本和负样本，为了充分利用它们，本发明根据正样本和负样本各自的空间分布，即每个样本违反约束的程度，对正样本和负样本进行不同权重的赋值。
本步骤中，对于查询样本
Figure BDA0002266381130000088
Pc,i表示所有与
Figure BDA0002266381130000089
属于同一类别的样本(即：正样本)的集合，表示为
Figure BDA00022663811300000810
则Pc,i中样本的数量为|Pc,i|＝Nc-1，Nc表示图像类别c的样本数量，i和j分别表示类别中第i个和第j个样本。Nc,i表示所有与
Figure BDA0002266381130000091
不同类别的样本(即：负样本)集合，表示为
Figure BDA0002266381130000092
则Nc,i中样本的数量为|Nc,i|＝∑k≠cNk，Nk表示图像类别k的样本数量，k和c分别表示类别k和类别c。步骤2中挑选出的五个正样本和五个负样本与查询图像一同组成元组数据集
Figure BDA0002266381130000093
其中
Figure BDA0002266381130000094
表示五个被选择的正样本的集合，
Figure BDA0002266381130000095
表示五个被选择的负样本的集合。
Figure BDA0002266381130000096
表示正样本对的个数，
Figure BDA0002266381130000097
表示负样本对的个数。
在本步骤中，对于负样本
Figure BDA0002266381130000098
我们采用基于分布熵的权重保持类的相似性排序一致性。分布熵指的是，对于一个样本，它所选择的来自不同类的负样本周围样本的分布，因为周围样本的分布决定着负样本信息量的大小，当我们所选择的负样本对于周围样本是难样本时，它的信息量大，反之亦然。此时的相似度不仅包含自相似度，还有相对相似度，我们以此为依据计算基于分布熵的权重，我们将权重值定义为w1，它的计算方式为：
Figure BDA0002266381130000099
其中，
Figure BDA00022663811300000910
表示查询样本
Figure BDA00022663811300000911
与所选样本
Figure BDA00022663811300000912
的点积，Nc,i表示所有与
Figure BDA00022663811300000913
不同类别的样本集合，λ＝1，β＝50。
将上面得到的权重由小到大进行排序，并把排序序号赋值给a(a为训练集中真实排序序号)，根据a的大小，我们调整负样本对的相似性排序权重
Figure BDA00022663811300000914
将负样本相对于查询图片拉开不同的距离，通过保证不同类别与锚点的排序距离一致，准确提取特征。
Figure BDA00022663811300000915
的计算过程为：
Figure BDA0002266381130000101
在本步骤中，对于正样本，我们的加权机制依赖于类内容易样本和难样本的数量和分布布局，对于一个锚点，它所在类内难样本数目越多，所选正样本对包含的信息也就越丰富，训练的过程中，我们给这样本的样本对赋予一个大权重。而当类内难样本数量较少时，所选的难样本可能是噪声或者是携带的信息不具有代表性，这个时候如果赋予大的权重，会使模型的整体学习方向跑偏，导致无效学习，所以对于这种类内难样本数量少的类，我们给所选样本对赋予少的权重。对于正样本对{xi,xj}，它的权重为：
Figure BDA0002266381130000102
其中，
Figure BDA0002266381130000103
为超参数，这里我们设置其为1。
步骤4：将步骤3获得的训练数据的真实排序序号分别赋予给选择出的负样本和正样本，将序号与其阈值相结合，分配给正负样本不同的权重，运用基于分布一致性保持损失函数计算损失值，调整正负样本与查询图像特征向量的距离；
本步骤中，所述基于分布一致性保持的损失函数可以调整损失值优化参数来学习判别特征表示。
本发明要训练一个双分支暹罗网络，这个网络除了损失函数外，其余完全相同，网络的两个分支共享相同的网络结构并且共享网络参数。
本步骤中，所述基于分布一致性保持的损失函数由两部分结合而成，对于每个查询图像
Figure BDA0002266381130000111
我们的目的是将它的所有负样本Nc,i比它的正样本Pc,i远离m的距离。定义正样本损失
Figure BDA0002266381130000112
为：
Figure BDA0002266381130000113
同样的，对于负样本，我们定义负样本损失
Figure BDA0002266381130000114
为：
Figure BDA0002266381130000115
在分布一致性保持损失中，f是我们学习到的一个判别函数，使得在特征空间中，查询与正样本之间的相似度高于查询与负样本之间的相似度。即
Figure BDA0002266381130000116
分别表示查询样本
Figure BDA0002266381130000117
正样本
Figure BDA0002266381130000118
负样本
Figure BDA0002266381130000119
通过判别函数f计算得到的特征值。
因此，基于分布一致性保持的损失函数定义为：
Figure BDA00022663811300001110
对于同查询图像具有高相关性、在数据集中已经标记为正相关的图像，即在集合
Figure BDA00022663811300001111
中的图像，我们要保证它在特征空间中与查询图像保持固定的欧式距离τ-m，在这个距离内，正样本能够保持其结构特征。对于组内的所有正样本，如果它与查询图像的欧式距离小于按序边界值，则取loss＝0，图像被视为容易样本，如果它与查询图像的欧式距离大于按序边界值，则计算损失。
对于同查询图像具有低相关性的图像，在网络训练过程中我们将其标记为其所处与训练集合
Figure BDA00022663811300001112
中的数据，对于组内的所有负样本，如果它与查询图像的欧式距离大于按序边界值，则取夹紧下边界值即loss＝0，图像被视为无用样本，如果它与查询图像的欧式距离小于按序边界值，则计算损失。
步骤5：通过反向传播和共享权重对深度卷积网络的初始参数进行调整，得到深度卷积网络的最终参数。
本步骤中，基于成对损失值对深度网络的参数进行全局调整。在本发明的实施中，采用著名的后向传播算法进行全局参数调整，最终得到所述深度网络的参数。
步骤6：重复步骤1到步骤5，不断的训练更新网络参数，直到结束训练，轮数为30。
步骤7：对于测试阶段，将测试数据集中的查询图像和其他样本图像输入步骤6得到的深度卷积网络中，得到与查询图像相关的图像列表，测试图如图1所示。
本步骤中，所述池化层采用与训练中一致的SPoC均值池化。
本步骤中，所述正则化采用L2正则化：
Figure BDA0002266381130000121
式中，m1为样本数目，hθ(x)是我们的假设函数，(hθ(x)-y)2是单个样本的平方差，λ为正则化参数，θ为所求参数。
步骤8：选取查询图像以及步骤7中获取的图像列表中的Top-N图像进行特征排序，对特征进行加权求和取平均作为查询图像，再进行步骤7的操作，得到最终的图像列表。
本步骤中，特征排序的方法为：计算测试图片特征向量与查询图片特征向量的欧式距离，由小到大依次排序。
本步骤中，查询扩展通常会导致准确性的大幅提升，其工作过程包括以下步骤：
步骤8.1，初始查询阶段，使用查询图像的特证向量进行查询，通过查询得到返回的Top-N个结果，前N个结果可能会经历空间验证阶段，其中与查询不匹配的结果会丢弃；
步骤8.2，将剩余的结果与原始查询一起进行求和并进行重新的正则化；
步骤8.3，使用组合描述符进行第二次查询，生成检索图像的最终列表，最后查询结果如图3所示。

Claims (10)

1.一种面向图像检索的分布一致性保持度量学习方法，其特征在于所述方法包括如下步骤：
步骤1：初始化微调CNN网络，提取查询图像和训练数据库中图像的底层特征；
步骤2：通过计算步骤1提取得到的查询图像和训练数据库中所有图像底层特征的欧氏距离，以及根据训练数据的标签属性将训练集进行正负样本集划分；
步骤3：设定阈值τ、m，跟据负样本和正样本分别的排序序号列表计算每个正负样本对的权重值；
步骤4：将步骤3获得的训练数据的真实排序序号分别赋予给选择出的负样本和正样本，将序号与其阈值相结合，分配给正负样本不同的权重，运用基于分布一致性保持的损失函数计算损失值，调整正负样本与查询图像特征向量的距离；
步骤5：通过反向传播和共享权重对深度卷积网络的初始参数进行进一步调整，得到深度卷积网络的更新参数；
步骤6：重复步骤1到步骤5，不断的训练更新网络参数，直到结束训练；
步骤7：对于测试阶段，将测试数据集中的查询图像和其他样本图像输入步骤6得到的深度卷积网络中，得到与查询图像相关的图像列表；
步骤8：选取查询图像以及步骤7中获取的各自相应图像列表中的Top-N图像进行特征排序，对特征进行加权求和取平均作为查询图像，再进行步骤7的操作，得到最终的图像列表。
2.根据权利要求1所述的面向图像检索的分布一致性保持度量学***均池化代替全连接后的最后一个最大池化进行池化操作。
3.根据权利要求1所述的面向图像检索的分布一致性保持度量学习方法，其特征在于所述步骤2中，基于训练集样本与查询图像特征向量的距离挑选正负样本对，选择与查询图像同类别最不像的五个样本作为正样本，选择与查询图像不同类别且彼此类别不同的五个与查询图像最像的样本作为负样本。
4.根据权利要求1所述的面向图像检索的分布一致性保持度量学习方法，其特征在于所述步骤3中，所有正样本都在与查询图像距离τ-m的范围内，所有负样本都推出到离查询图像距离τ之外，正负样本之间距离为m。
5.根据权利要求1所述的面向图像检索的分布一致性保持度量学习方法，其特征在于所述步骤3中，负样本对的权重值
Figure FDA0003696601430000021
为：
Figure FDA0003696601430000022
正样本的权重值
Figure FDA0003696601430000023
为：
Figure FDA0003696601430000031
式中，
Figure FDA0003696601430000032
表示负样本对的个数，a为训练集中真实排序序号，
Figure FDA0003696601430000033
表示正样本对的个数，|Pc,i|为Pc,i中样本的数量，Pc,i表示所有与
Figure FDA0003696601430000034
属于同一类别的样本的集合，
Figure FDA0003696601430000035
为查询样本，
Figure FDA0003696601430000036
为超参数，nhard为满足下述约束的难正样本的数量：
Figure FDA0003696601430000037
其中，
Figure FDA0003696601430000038
表示查询样本
Figure FDA0003696601430000039
与所选样本
Figure FDA00036966014300000310
的点积，Sik表示查询样本
Figure FDA00036966014300000311
与类间样本
Figure FDA00036966014300000312
的点积，Pc,i表示查询样本的类内样本集，ε是超参数。
6.根据权利要求1所述的面向图像检索的分布一致性保持度量学习方法，其特征在于所述步骤4中，基于分布一致性保持的损失函数定义为：
Figure FDA00036966014300000313
式中，
Figure FDA00036966014300000314
为正样本损失，
Figure FDA00036966014300000315
为负样本损失。
7.根据权利要求6所述的面向图像检索的分布一致性保持度量学习方法，其特征在于所述正样本损失
Figure FDA00036966014300000316
为：
Figure FDA00036966014300000317
负样本损失
Figure FDA00036966014300000318
为：
Figure FDA00036966014300000319
式中，
Figure FDA00036966014300000320
分别表示查询样本
Figure FDA00036966014300000321
正样本
Figure FDA00036966014300000322
负样本
Figure FDA00036966014300000323
通过判别函数f计算得到的特征值，
Figure FDA00036966014300000324
表示负样本对的权重值，
Figure FDA00036966014300000325
表示正样本的权重值，
Figure FDA00036966014300000326
表示正样本的集合，
Figure FDA00036966014300000327
表示负样本的集合。
8.根据权利要求1所述的面向图像检索的分布一致性保持度量学习方法，其特征在于所述步骤6中，重复步骤1到步骤5一共进行30轮。
9.根据权利要求1所述的面向图像检索的分布一致性保持度量学习方法，其特征在于所述步骤8中，特征排序的方法为：计算测试图片特征向量与查询图片特征向量的欧式距离，由小到大依次排序。
10.根据权利要求1所述的面向图像检索的分布一致性保持度量学习方法，其特征在于所述步骤8中，得到最终图像列表的方法如下：
步骤8.1，初始查询阶段，使用查询图像的特证向量进行查询，通过查询得到返回的Top-N个结果，前N个结果会经历空间验证阶段，其中与查询不匹配的结果会丢弃；
步骤8.2，将剩余的结果与原始查询一起进行求和并进行重新的正则化；
步骤8.3，使用组合描述符进行第二次查询，生成检索图像的最终列表。
CN201911089272.2A 2019-11-08 2019-11-08 一种面向图像检索的分布一致性保持度量学习方法 Active CN110866134B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911089272.2A CN110866134B (zh) 2019-11-08 2019-11-08 一种面向图像检索的分布一致性保持度量学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911089272.2A CN110866134B (zh) 2019-11-08 2019-11-08 一种面向图像检索的分布一致性保持度量学习方法

Publications (2)

Publication Number Publication Date
CN110866134A CN110866134A (zh) 2020-03-06
CN110866134B true CN110866134B (zh) 2022-08-05

Family

ID=69653877

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911089272.2A Active CN110866134B (zh) 2019-11-08 2019-11-08 一种面向图像检索的分布一致性保持度量学习方法

Country Status (1)

Country Link
CN (1) CN110866134B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914944B (zh) * 2020-08-18 2022-11-08 中国科学院自动化研究所 基于动态样本选择和损失一致性的物体检测方法和***
CN112800959B (zh) * 2021-01-28 2023-06-06 华南理工大学 一种用于人脸识别中数据拟合估计的困难样本发掘方法
CN113361543B (zh) * 2021-06-09 2024-05-21 北京工业大学 Ct图像特征提取方法、装置、电子设备和存储介质
CN114998960B (zh) * 2022-05-28 2024-03-26 华南理工大学 一种基于正负样本对比学习的表情识别方法
CN116401396A (zh) * 2023-06-09 2023-07-07 吉林大学 一种类内排序辅助的深度度量学习图像检索方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512273A (zh) * 2015-12-03 2016-04-20 中山大学 一种基于可变长深度哈希学习的图像检索方法
CN108595636A (zh) * 2018-04-25 2018-09-28 复旦大学 基于深度跨模态相关性学习的手绘草图的图像检索方法
CN110188225A (zh) * 2019-04-04 2019-08-30 吉林大学 一种基于排序学习和多元损失的图像检索方法
CN110263697A (zh) * 2019-06-17 2019-09-20 哈尔滨工业大学（深圳） 基于无监督学习的行人重识别方法、装置及介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103761503A (zh) * 2013-12-28 2014-04-30 辽宁师范大学 用于相关反馈图像检索的自适应训练样本选取方法
CN106021364B (zh) * 2016-05-10 2017-12-12 百度在线网络技术（北京）有限公司 图片搜索相关性预测模型的建立、图片搜索方法和装置
CN106897390B (zh) * 2017-01-24 2019-10-15 北京大学 基于深度度量学习的目标精确检索方法
US20190065957A1 (en) * 2017-08-30 2019-02-28 Google Inc. Distance Metric Learning Using Proxies

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512273A (zh) * 2015-12-03 2016-04-20 中山大学 一种基于可变长深度哈希学习的图像检索方法
CN108595636A (zh) * 2018-04-25 2018-09-28 复旦大学 基于深度跨模态相关性学习的手绘草图的图像检索方法
CN110188225A (zh) * 2019-04-04 2019-08-30 吉林大学 一种基于排序学习和多元损失的图像检索方法
CN110263697A (zh) * 2019-06-17 2019-09-20 哈尔滨工业大学（深圳） 基于无监督学习的行人重识别方法、装置及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Deep Learning Earth Observation Classification Using ImageNet Pretrained Networks";Dimitrios Marmanis 等;《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》;20160131;第13卷(第1期);第105-109页 *
"基于Faster RCNNH的多任务分层图像检索技术";何霞 等;《计算机科学》;20190331;第46卷(第3期);第303-313页 *

Also Published As

Publication number Publication date
CN110866134A (zh) 2020-03-06

Similar Documents

Publication Publication Date Title
CN110851645B (zh) 一种基于深度度量学习下相似性保持的图像检索方法
CN110866134B (zh) 一种面向图像检索的分布一致性保持度量学习方法
CN112308158B (zh) 一种基于部分特征对齐的多源领域自适应模型及方法
WO2021134871A1 (zh) 基于局部二值模式和深度学习的合成人脸图像取证方法
CN113378632B (zh) 一种基于伪标签优化的无监督域适应行人重识别方法
CN109740541B (zh) 一种行人重识别***与方法
CN112507901B (zh) 一种基于伪标签自纠正的无监督行人重识别方法
CN110880019B (zh) 通过无监督域适应训练目标域分类模型的方法
CN111814871A (zh) 一种基于可靠权重最优传输的图像分类方法
CN110941734B (zh) 基于稀疏图结构的深度无监督图像检索方法
CN110097060B (zh) 一种面向树干图像的开集识别方法
CN103425996B (zh) 一种并行分布式的大规模图像识别方法
CN106778921A (zh) 基于深度学习编码模型的人员再识别方法
CN111414461A (zh) 一种融合知识库与用户建模的智能问答方法及***
Yi et al. An improved initialization center algorithm for K-means clustering
CN109063649A (zh) 基于孪生行人对齐残差网络的行人重识别方法
CN108052683B (zh) 一种基于余弦度量规则的知识图谱表示学习方法
CN114299362A (zh) 一种基于k-means聚类的小样本图像分类方法
CN113033345B (zh) 基于公共特征子空间的v2v视频人脸识别方法
CN111079840B (zh) 基于卷积神经网络和概念格的图像语义完备标注方法
CN116452904B (zh) 图像美学质量确定方法
CN110750672B (zh) 基于深度度量学习和结构分布学习损失的图像检索方法
CN113887653B (zh) 一种基于三元网络的紧耦合弱监督学习的定位方法及***
CN115100694A (zh) 一种基于自监督神经网络的指纹快速检索方法
JP2016014990A (ja) 動画像検索方法、動画像検索装置及びそのプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant