CN107315765A - 一种大规模图片集分布式近似搜索的方法 - Google Patents

一种大规模图片集分布式近似搜索的方法 Download PDF

Info

Publication number
CN107315765A
CN107315765A CN201710333386.1A CN201710333386A CN107315765A CN 107315765 A CN107315765 A CN 107315765A CN 201710333386 A CN201710333386 A CN 201710333386A CN 107315765 A CN107315765 A CN 107315765A
Authority
CN
China
Prior art keywords
mrow
picture
msub
node
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710333386.1A
Other languages
English (en)
Inventor
***
吕成钢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201710333386.1A priority Critical patent/CN107315765A/zh
Publication of CN107315765A publication Critical patent/CN107315765A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Library & Information Science (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种大规模图片集分布式近似搜索的方法。图片分布存储在多个服务器结点中，在各结点并行训练时使用反映了图片间内在语义一致性的转换矩阵来计算图片间的优化相似度。随机抽取部分图片作为抽样图片集来度量图片间的相似性，并在训练转换矩阵时采用随机梯度下降法减少算法的训练时间。通过优化相似度得到用于编码的相似矩阵后，使用哈希技术把图片映射为二进制编码。在新的查询图片进行近似搜索时，首先传入各结点计算查询图片的编码，再引入加权汉明距离模型，当图片和查询图片的汉明距离小于设定的汉明距离门限阈值时，作为查询图片的近似图片。本发明解决了传统的集中式哈希算法在大规模图片集应用中效率过慢和性能不佳的问题。

Description

一种大规模图片集分布式近似搜索的方法
技术领域
本发明属于机器学习领域，主要涉及在大规模图片集分布式地存储数据和训练算法模型的近似搜索方法，以及利用哈希技术对图片进行编码。
背景技术
对图片的近似搜索是近邻查询邻域中的一个重要的应用。在大数据时代，图片数据通常具有两个特点：第一，数据的规模非常大；其次，图片本身的特征维度很高。在现实中，图片数据通常是以分布式的方式存储或采集，所以分布式的近似搜索方法对海量高维图片高效准确地近邻查询对机器学习、信息检索、计算机视觉等领域的研究有着非常重要的应用价值。
在图片近似搜索的应用中，现在最为流行的方法是基于哈希技术的近似近邻搜索。哈希技术的本质就是把原始高维特征的数据映射到汉明空间中形成二进制编码，通过比较各数据间二进制编码的汉明距离来确定近邻关系。现有的哈希算法大都是以集中式的方法训练算法模型，并对新的查询图片搜索近邻。所谓的集中式方法，就是指对训练数据的存储，和利用数据训练算法模型的过程都是在一个服务器结点上进行。比较经典的集中式哈希算法如局部敏感哈希算法(LSH)，通过将数据的近似搜索问题转化为寻找汉明距离较小的二进制编码来解决，这样可以具有更为简单的索引结构和使用更少的存储空间。但是LSH为了同时保证精度和召回率，需要构建多个哈希表，这样会导致查询时间和存储开销的大幅增加，使得算法的性能下降。
随之又出现了可以产生更为高效编码的集中式哈希算法，比如谱哈希(SH)算法，锚哈希(AGH)算法。但是这些算法在寻找近邻图片时过于片面，它们只考虑了图片在数据集中的实际存储位置，而没有考虑图片可能具有的语义标记信息，这使得这些算法在图片近似搜索中的性能较差。然而在现实中，很多图片具有语义标记信息，不同的类标记信息代表图片属于不同的类别。比如两张图片在数据集中可能实际存储距离较远，但是它们具有相同的类标记“天空”，那么这两张图片也是近似图片。
上面所述的集中式哈希算法，只用一个服务器结点存储所有的数据，并在单个结点上训练算法模型。但是在大数据时代，当图片数据集的规模非常大时，集中式的算法通常会存在如下的问题：一、单个计算结点不可能把成百上千万计的图片数据加载进内存进行训练；二、在现实应用中，图片数据通常是分布式地存储或采集，把这些数据汇聚到一个结点会产生很大的通信和计算开销。所以用单个服务器结点集中式地训练算法模型已不再适合。
发明内容
本发明的目的在于提供一种应用于大规模图片数据集中的引入语义一致性的分布式近似图片搜索方法。主要解决图片的分布式近似搜索问题并将近似的图片通过哈希技术映射成相同或相似的二进制编码。本发明主要包括两个部分：分布式地训练算法模型的过程和查询图片近似搜索的过程。
为此目的，本发明采用的技术方案为一种大规模图片集分布式近似搜索的方法，包括如下步骤：
步骤1：输入图片数据集样本矩阵X，X是n*d维的矩阵，n是图片的个数，d是图片特征的维度，和对应的语义类标记矩阵Y，Y是n*c维的矩阵，n是样本个数，c是类标记的个数，假设有I个服务器结点，图片集中的样本矩阵均匀分为I部分：X＝[X1，X2，...，XI]，类标记矩阵也相应地分为I部分：Y＝[Y1，Y2，...，YI]，每一部分数据和对应的标记存储在一个结点上；
步骤2：从各服务器结点的图片样本中随机抽取一部分图片作为抽样图片集，计算图片和抽样图片之间的相似度；
步骤3：引入语义一致性构建目标函数表达式O(Ai)，其中Ai是d*d维的方阵,d是图片特征的维度，i代表第i个服务器结点，Ai是在编码阶段需要的转换矩阵；
步骤4：在各结点中，对于每一个图片样本x，用转换矩阵Ai乘以图片样本x和抽样图片之间的相似度，得到了引入语义一致性之后的优化相似度，然后再利用哈希技术进行编码，将图片由原始的d维特征压缩映射成k维的二进制编码；
步骤5：对于新的查询图片，分别输入到各结点中，并行计算出此查询图片的二进制编码，并通过加权模型得到各结点中查询图片的汉明距离向量；
步骤6：合并各结点的汉明距离向量，得到查询图片相对于图片集中所有图片的汉明距离向量，如果图片在汉明距离向量中对应位置的元素值小于设定的汉明距离门限阈值r，以此图片作为查询图片的近似图片。
进一步，上述利用哈希技术进行编码具体包含以下步骤：
步骤1：
对于大规模图片数据集样本矩阵X，和对应的语义类标记矩阵Y，假设有I个服务器结点，则把图片集中的样本矩阵均匀分为I部分：X＝[X1，X2，...，XI]，类标记矩阵也相应地分为I部分：Y＝[Y1，Y2，...，YI]，每一部分数据和对应的标记信息存储在一个结点中，作为后续各结点并行训练模型使用；
步骤2：
在各结点并行训练过程中，需要计算结点中图片和抽样图片集之间的优化相似度，若第i个结点中包含ni张图片样本，定义图片间的关系矩阵Wi是一个ni*ni维的矩阵，关系矩阵中的每一个元素定义为：
Wpq＝exp(-||Ai(xp-uq)||2) (1)
上式中Ai表示第i个结点的转换矩阵，xp表示结点中的第p张图片，uq表示结点抽样图片集中的第q张图片，训练转换矩阵Ai的过程引入了语义一致性建立目标函数，并通过随机梯度下降算法迭代求解，获得编码阶段所需要的转换矩阵，对于第i个结点，定义目标函数式为：
上述目标函数中的fp表示结点中第p个图片样本的类标记向量，类标记向量是c维的列向量，c是类的数目，向量中元素的值为1或0，分别表示图片属于这个类和不属于这个类。fq表示抽样图片集中图片的类标记向量。||fp-fq||2即是在训练转换矩阵时引入的语义一致性质；
步骤3：
在优化过程中采用随机梯度下降算法以减少训练转换矩阵所用的时间，转换矩阵的初始值为I/δ，I是d*d维的单位矩阵，δ是数据集中各图片之间欧氏距离的中位数，然后根据随机梯度下降算法优化转换矩阵Ai，迭代更新规则如下：
其中γ(t)是每次迭代过程中的优化步长，遍历完结点中所有图片后，即得到最终优化完成的转换矩阵Ai；
步骤4：
得到转换矩阵Ai后，再通过式(1)计算出结点中每张图片和抽样图片之间引入语义一致性后的优化相似度，即得到了关系矩阵Wi的各个元素的值；如果抽样图片集中有m张图片样本，那么通过关系矩阵可以构建出第i个结点中使用哈希编码技术需要用到的相似矩阵Zi，Zi矩阵中各元素的计算公式定义如下：
其中<p>集合代表的是抽样图片集，即只有当图片是属于抽样图片集中的图片时，才计算Zi矩阵上对应元素的值，否则Zi矩阵上对应元素值为0；
步骤5：
设结点抽样图片集中图片数量为m，构造一个m*m维的M矩阵，M矩阵定义如下：
M＝Λ-1/2Zi TZiΛ-1/2 (5)
其中Λ＝diag(Zi T1)，是一个对角矩阵，计算得到M矩阵前k个最大的特征值组成的k*k维的对角矩阵：Σ＝diag(δ1,...,δk)∈Rk×k和前k个最大的特征值对应的特征向量组成的m*k维的矩阵：V＝[v1,...,vk]∈Rm×k，由上式得到的各矩阵，构造出第i个服务器结点最终的编码矩阵Yi，Yi矩阵定义如下：
Yi是一个n*k维的矩阵，n代表结点中图片的个数，k代表编码位数，编码矩阵Yi的每行就是一个编码函数，各图片通过编码函数计算得到一个k维的向量，再对此向量进行二值化分割：sgn(yi)，就得到了第i个结点中各图片的编码。
作为优选，上述步长的值可分别选取1*10-5，1*10-4，1*10-3，1*10-2。
进一步，上述步骤6具体包含以下步骤：
步骤1：
把查询图片q分别传入各服务器结点中，各结点通过分布式训练过程中的方法并行计算得到查询图片q在各结点中的编码函数：y1(q)，y2(q)，...，yI(q)，再对编码函数二值化处理就得到了q的二进制编码：h1(q)，h2(q)，...，hI(q)。
步骤2：
对于第i个服务器结点，在计算查询图片q和结点中各图片二进制编码的汉明距离时，引入加权模型做如下处理：
设r是编码的位数，k是其中的第k个比特位，则Pr(Δhk(q)＝0)表示在第k个比特位上结点中各图片和查询图片q的码值相同的概率，Pr(Δhk(q)≠0)表示在第k个比特位上结点中各图片和查询图片q的码值不同的概率，
如果查询图片q在第i个服务器上的编码函数(代表查询图片q在第i个结点的编码函数的第k位的值)则有：
如果编码函数则有：
其中erf(.)是高斯误差函数，σk是常量参数，定义查询样本q的第k个比特位上的权重值公式为：
通过(9)式可得，和查询图片第k个比特位的编码值相同的概率越大，则这个比特位上的权重值越高，对于r位的编码，可得查询图片的权重向量为：w(q)＝(w1(q)，w2(q)，...，wk(q)，...，wr(q))，
设第i个服务器结点中存储P张图片，h1，h2，...，hp是各图片通过分布式训练得到的二进制编码，hi(q)是查询图片q在第i个结点上的二进制编码，则引入加权模型后的查询图片在第i个结点上的汉明距离向量计算公式如下：
合并每个结点的汉明距离向量，即得到查询图片相对于整个图片集中所有图片的汉明距离向量：
步骤3：定义汉明距离门限阈值为r，如果图片集中的图片在Dw(q)向量对应位置上的元素值小于阈值r的话，即认为此图片是查询图片的近似图片。
作为优选，上述阈值r的值可分别选取1,2,3,4。
与现有技术相比，本发明的有益效果：
1.解决了传统的集中式哈希算法在大规模图片集应用中效率过慢和性能不佳的问题。
2.在各服务器结点中，使用转换矩阵计算图片之间的优化相似度，解决了使用传统的高斯核函数度量图片相似度时对敏感参数过于依赖的问题。
3.使用哈希技术把d维的原始图片压缩映射成k比特的二进制编码，极大地提高了算法的效率并且极大的缩减了对内存空间的占用。
附图说明
图1为本发明的***框架图。
图2为本发明的方法流程图。
图3为本发明的各结点算法模型训练流程图。
具体实施方式
以下结合说明书附图对发明做进一步的分析。分布式训练过程主要是把图片数据集中的数据均匀分给各个服务器结点存储，各结点并行地训练算法模型，互不影响。在计算结点中存储图片和抽样图片的相似度时引入语义一致性，得到优化后的转换矩阵，并根据转换矩阵构建出相似矩阵进而利用哈希技术对各结点中的图片进行编码。查询图片近似搜索的过程主要是把查询图片分别传入各结点中并行计算，分别得到查询图片的编码。并引入加权模型，计算出查询图片与各结点中图片编码的汉明距离向量。如果图片在汉明距离向量中对应位置的元素值小于我们设定的汉明距离门限阈值，即认为此图片就是查询图片的近似图片。
本发明的关键技术分述如下：
(1)基于语义一致的分布式近似搜索算法：
基于语义一致的分布式近似搜索算法是把图片分布存储在各服务器结点中，在计算各结点中图片和抽样图片集中图片的相似度时引入语义一致性，构建出包含语义内容的目标函数。然后用随机梯度下降算法迭代求解，表达式收敛后即得到反映图片间内在语义一致特性的转换矩阵。再在各结点中利用哈希技术把图片映射成k位的二进制编码。
(2)随机梯度下降(SGD)算法：
随机梯度下降算法作为梯度下降(Gradient Descent,GD)算法的改进算法，其主要针对原始梯度下降算法收敛速度过慢和易陷入局部最优的问题，是一种最小化损失函数或风险函数的迭代求解方法。本发明在优化转换矩阵时使用随机梯度下降算法，减少了语义一致分布式近似搜索方法中转换矩阵的训练时间。和传统的优化方法相比极大的提高了算法的效率。
(3)加权汉明距离模型：
当使用哈希技术进行二进制编码时，每个比特位上对应着一个哈希函数进行编码，每个哈希函数的编码效果是不同的。与查询图片在原始的特征空间中相似的图片，如果在某个比特位上通过哈希函数编码后得到相同编码的概率大，就认为这个哈希函数编码效果较好，在计算查询图片和结点中图片编码的汉明距离时会对这类哈希函数对应的编码比特位赋予更大的权重值。引入加权汉明距离模型，有效地提高了查询图片计算汉明距离向量时的准确度。
本发明针对于在大规模图片集中图片的近似近邻查找，提出了一种引入语义一致性的分布式近似搜索方法。多个服务器结点分别存储一部分训练图片，每个服务器结点并行地训练算法模型互不影响，并在训练时引入语义一致特性提高算法性能，而且在各结点使用哈希技术生成高效的二进制编码。这样，在大规模图片集的近似搜索中可以获得更好的性能。
如图1所示，本发明提供了一种在大规模图片集中引入语义一致性，并利用哈希技术对图片进行编码的分布式近似搜索方法。本发明主要分为以下两个阶段：
一、分布式训练过程
分布式训练过程首先把图片分别存储到各服务器结点中，在各结点并行训练时，根据语义一致的思想建立模型并获得编码阶段需要的转换矩阵，转换矩阵反映了图片间内在的语义一致特性。在训练转换矩阵的过程中本发明采用随机梯度下降(SGD)算法减少训练时间。在得到优化的转换矩阵后，进而可以构建出反映图片和抽样图片集之间优化后的相似性关系的相似矩阵Z。然后利用哈希技术对各结点中的图片进行编码。如图3所示，具体的过程如下：
步骤1：
对于大规模图片数据集样本矩阵X，和对应的语义类标记矩阵Y。假设有I个服务器结点。则把图片集中的样本矩阵均匀分为I部分：X＝[X1，X2，...，XI]，类标记矩阵也相应地分为I部分：Y＝[Y1，Y2，...，YI]。每一部分数据和对应的标记信息存储在一个结点中，作为后续各结点并行训练模型使用。
步骤2：
如图3所示，在各结点并行训练过程中，需要计算结点中图片和抽样图片集之间的优化相似度，若第i个结点中包含ni张图片样本，定义图片间的关系矩阵Wi是一个ni*ni维的矩阵，关系矩阵中的每一个元素定义为：
Wpq＝exp(-||Ai(xp-uq)||2) (1)
上式中Ai表示第i个结点的转换矩阵，xp表示结点中的第p张图片，uq表示结点抽样图片集中的第q张图片。
训练转换矩阵Ai的过程主要引入了语义一致性建立目标函数，并通过随机梯度下降(SGD)算法迭代求解，获得编码阶段所需要的转换矩阵。对于第i个结点，定义目标函数式为：
上述目标函数中的fp表示结点中第p个图片样本的类标记向量，(类标记向量是c维的列向量，c是类的数目，向量中元素的值为1或0，分别表示图片属于这个类和不属于这个类)。fq表示抽样图片集中图片的类标记向量。||fp-fq||2即是在训练转换矩阵时引入的语义一致性质。它结合图片间的特征相似性可以生成更为准确的二进制编码。
步骤3：
在优化过程中本发明采用随机梯度下降算法以减少训练转换矩阵所用的时间。转换矩阵的初始值为I/δ，I是d*d维的单位矩阵，δ是数据集中各图片之间欧氏距离的中位数。然后根据随机梯度下降算法优化转换矩阵Ai，迭代更新规则如下：
其中γ(t)是每次迭代过程中的优化步长，步长可选取以下值：(1*10-5，1*10-4，1*10-3，1*10-2)。遍历完结点中所有图片后，即得到最终优化完成的转换矩阵Ai。步骤4：
得到转换矩阵Ai后，再通过式(1)计算出结点中每张图片和抽样图片之间引入语义一致性后的优化相似度。即得到了关系矩阵Wi的各个元素的值。如果抽样图片集中有m张图片样本，那么通过关系矩阵可以构建出第i个结点中使用哈希编码技术需要用到的相似矩阵Zi。Zi矩阵中各元素的计算公式定义如下：
其中<p>集合代表的是抽样图片集。即只有当图片是属于抽样图片集中的图片时，才计算Zi矩阵上对应元素的值，否则Zi矩阵上对应元素值为0。
步骤5：
设结点抽样图片集中图片数量为m，构造一个m*m维的M矩阵。M矩阵定义如下：
M＝Λ-1/2Zi TZiΛ-1/2 (5)
其中Λ＝diag(Zi T1)，是一个对角矩阵。计算得到M矩阵前k个最大的特征值组成的k*k维的对角矩阵：Σ＝diag(δ1,...,δk)∈Rk×k和前k个最大的特征值对应的特征向量组成的m*k维的矩阵：V＝[v1,...,vk]∈Rm×k。
由上式得到的各矩阵，构造出第i个服务器结点最终的编码矩阵Yi，Yi矩阵定义如下：
Yi是一个n*k维的矩阵，n代表结点中图片的个数，k代表编码位数。编码矩阵Yi的每行就是一个编码函数，各图片通过编码函数计算得到一个k维的向量，再对此向量进行二值化分割：sgn(yi)。就得到了第i个结点中各图片的编码。
二、查询图片近似搜索过程
如图2所示，对新的查询图片进行近似搜索时，首先把查询图片分别传入各服务器结点中，在各结点中计算得到查询图片的编码。再引入加权汉明距离模型，得到查询图片相对于各结点中存储图片的汉明距离向量。如果图片在汉明距离向量中对应位置的元素值小于设定的汉明距离门限阈值r，即认为此图片是查询图片的近似图片。
步骤1：
把查询图片q分别传入各服务器结点中，各结点通过分布式训练过程中的方法并行计算得到查询图片q在各结点中的编码函数：y1(q)，y2(q)，...，yI(q)，再对编码函数二值化处理就得到了q的二进制编码：h1(q)，h2(q)，...，hI(q)。
步骤2：
对于第i个服务器结点，在计算查询图片q和结点中各图片二进制编码的汉明距离时，引入加权模型做如下处理：
设r是编码的位数，k是其中的第k个比特位。则Pr(Δhk(q)＝0)表示在第k个比特位上结点中各图片和查询图片q的码值相同的概率。Pr(Δhk(q)≠0)表示在第k个比特位上结点中各图片和查询图片q的码值不同的概率。
如果查询图片q在第i个服务器上的编码函数(代表查询图片q在第i个结点的编码函数的第k位的值)则有：
如果编码函数则有：
其中erf(.)是高斯误差函数，σk是常量参数。定义查询样本q的第k个比特位上的权重值公式为：
通过(9)式可得，和查询图片第k个比特位的编码值相同的概率越大，则这个比特位上的权重值越高。对于r位的编码，可得查询图片的权重向量为：w(q)＝(w1(q)，w2(q)，...，wk(q)，...，wr(q))。
设第i个服务器结点中存储P张图片，h1，h2，...，hp是各图片通过分布式训练得到的二进制编码。hi(q)是查询图片q在第i个结点上的二进制编码。则引入加权模型后的查询图片在第i个结点上的汉明距离向量计算公式如下：
合并每个结点的汉明距离向量，即得到查询图片相对于整个图片集中所有图片的汉明距离向量：
步骤3：
定义汉明距离门限阈值为r(r可选取以下值：1,2,3,4)，如果图片集中的图片在Dw(q)向量对应位置上的元素值小于阈值r的话，即认为此图片是查询图片的近似图片。
本发明所解决的问题如下：
(1)使用随机梯度下降算法解决了目标函数式收敛过慢的问题。
原始的梯度下降算法称为批量梯度下降算法，它的做法是最小化所有训练数据的损失函数，最终求得全局最优解。但是批量梯度算法每迭代一步，都要用到训练集所有的数据，如果数据集中图片数量很大，那么批量梯度算法非常慢。随机梯度下降算法在迭代更新一次时只用到一个数据样本，速度很快。特别是对于大规模图片数据集而言，速度的优势更为明显。而且对目标损失函数来说，使用随机梯度下降算法不需要完遍历整个数据集就可以达到收敛。本发明用随机梯度下降算法取代批量梯度算法在各服务器结点中迭代求解算法的目标函数，解决了算法收敛过慢的问题。
(2)在各结点中使用抽象图片集计算优化相似度。解决了传统方法应用在大规模图片集中计算过慢的问题。
在大规模图片数据集中，图片样本的数量通常都是成百上千万规模。如果使用传统的计算图片两两之间相似度的这种度量方法，时间开销会非常大，现实应用中不可行。本发明在各结点存储的图片中随机抽取很少的一部分图片作为各结点的抽样图片集，只计算图片和抽样图片集之间的优化相似度。大大减少了算法的时间开销，提高了算法效率。
(3)解决了传统近似搜索算法在训练过程中没有引入语义一致性导致性能不佳的问题。
很多传统的用于图片近邻搜索的算法在寻找查询图片近邻的时候过于片面，在寻找查询图片的近邻时没有考虑图片可能具有的语义信息，使得这些算法在图片近似搜索的实际应用中性能不佳。本发明在各服务器结点中对图片进行相似性度量时引入语义一致特性，可以更为准确的度量图片之间的相似性。使算法能够有效地应用在现实的大规模图片集近似搜索中。

Claims (5)

1.一种大规模图片集分布式近似搜索的方法，其特征在于：所述方法包括如下步骤：
步骤1：输入图片数据集样本矩阵X，X是n*d维的矩阵，n是图片的个数，d是图片特征的维度，和对应的语义类标记矩阵Y，Y是n*c维的矩阵，n是样本个数，c是类标记的个数，假设有I个服务器结点，图片集中的样本矩阵均匀分为I部分：X＝[X1,X2,…,XI]，类标记矩阵也相应地分为I部分：Y＝[Y1,Y2,…,YI]，每一部分数据和对应的标记存储在一个结点上；
步骤2：从各服务器结点的图片样本中随机抽取一部分图片作为抽样图片集，计算图片和抽样图片之间的相似度；
步骤3：引入语义一致性构建目标函数表达式O(Ai)，其中Ai是d*d维的方阵,d是图片特征的维度，i代表第i个服务器结点，Ai是在编码阶段需要的转换矩阵；
步骤4：在各结点中，对于每一个图片样本x，用转换矩阵Ai乘以图片样本x和抽样图片之间的相似度，得到了引入语义一致性之后的优化相似度，然后再利用哈希技术进行编码，将图片由原始的d维特征压缩映射成k维的二进制编码；
步骤5：对于新的查询图片，分别输入到各结点中，并行计算出此查询图片的二进制编码，并通过加权模型得到各结点中查询图片的汉明距离向量；
步骤6：合并各结点的汉明距离向量，得到查询图片相对于图片集中所有图片的汉明距离向量，如果图片在汉明距离向量中对应位置的元素值小于设定的汉明距离门限阈值r，以此图片作为查询图片的近似图片。
2.根据权利要求1所述的大规模图片集分布式近似搜索的方法，其特征在于：所述利用哈希技术进行编码具体包含以下步骤：
步骤1：
对于大规模图片数据集样本矩阵X，和对应的语义类标记矩阵Y，假设有I个服务器结点，则把图片集中的样本矩阵均匀分为I部分：X＝[X1,X2,…,XI]，
类标记矩阵也相应地分为I部分：Y＝[Y1,Y2,…,YI]，每一部分数据和对应的标记信息存储在一个结点中，作为后续各结点并行训练模型使用；
步骤2：
在各结点并行训练过程中，需要计算结点中图片和抽样图片集之间的优化相似度，若第i个结点中包含ni张图片样本，定义图片间的关系矩阵Wi是一个ni*ni
维的矩阵，关系矩阵中的每一个元素定义为：
Wpq＝exp(-||Ai(xp-uq)||2) (1)
上式中Ai表示第i个结点的转换矩阵，xp表示结点中的第p张图片，uq表示结点抽样图片集中的第q张图片，训练转换矩阵Ai的过程引入了语义一致性建立目标函数，并通过随机梯度下降算法迭代求解，获得编码阶段所需要的转换矩阵，对于第i个结点，定义目标函数式为：
<mrow> <mi>O</mi> <mrow> <mo>(</mo> <msub> <mi>A</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>p</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>q</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <msub> <mi>W</mi> <mrow> <mi>p</mi> <mi>q</mi> </mrow> </msub> <mo>|</mo> <mo>|</mo> <msub> <mi>f</mi> <mi>p</mi> </msub> <mo>-</mo> <msub> <mi>f</mi> <mi>q</mi> </msub> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
上述目标函数中的fp表示结点中第p个图片样本的类标记向量，类标记向量是c维的列向量，c是类的数目，向量中元素的值为1或0，分别表示图片属于这个类和不属于这个类。fq表示抽样图片集中图片的类标记向量。||fp-fq||2即是在训练转换矩阵时引入的语义一致性质；
步骤3：
在优化过程中采用随机梯度下降算法以减少训练转换矩阵所用的时间，转换矩阵的初始值为I/δ，I是d*d维的单位矩阵，δ是数据集中各图片之间欧氏距离的中位数，然后根据随机梯度下降算法优化转换矩阵Ai，迭代更新规则如下：
<mrow> <msubsup> <mi>A</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>A</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msubsup> <mo>-</mo> <msup> <mi>&amp;gamma;</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msup> <mfrac> <mrow> <mo>&amp;part;</mo> <mi>O</mi> <mrow> <mo>(</mo> <msub> <mi>A</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow> <mrow> <mo>&amp;part;</mo> <msub> <mi>A</mi> <mi>i</mi> </msub> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
其中γ(t)是每次迭代过程中的优化步长，遍历完结点中所有图片后，即得到最终优化完成的转换矩阵Ai；
步骤4：
得到转换矩阵Ai后，再通过式(1)计算出结点中每张图片和抽样图片之间引入语义一致性后的优化相似度，即得到了关系矩阵Wi的各个元素的值；如果抽样图片集中有m张图片样本，那么通过关系矩阵可以构建出第i个结点中使用哈希编码技术需要用到的相似矩阵Zi，Zi矩阵中各元素的计算公式定义如下：
<mrow> <msub> <mi>Z</mi> <mrow> <mi>p</mi> <mi>q</mi> </mrow> </msub> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mfrac> <mrow> <mi>exp</mi> <mrow> <mo>(</mo> <mo>-</mo> <mo>|</mo> <mo>|</mo> <msub> <mi>A</mi> <mi>i</mi> </msub> <mo>(</mo> <mrow> <msub> <mi>x</mi> <mi>p</mi> </msub> <mo>-</mo> <msub> <mi>u</mi> <mi>q</mi> </msub> </mrow> <mo>)</mo> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>)</mo> </mrow> </mrow> <mrow> <msub> <mo>&amp;Sigma;</mo> <mrow> <mi>q</mi> <mo>&amp;Element;</mo> <mo>&lt;</mo> <mi>p</mi> <mo>&gt;</mo> </mrow> </msub> <mi>exp</mi> <mrow> <mo>(</mo> <mo>-</mo> <mo>|</mo> <mo>|</mo> <msub> <mi>A</mi> <mi>i</mi> </msub> <mo>(</mo> <mrow> <msub> <mi>x</mi> <mi>p</mi> </msub> <mo>-</mo> <msub> <mi>u</mi> <mi>q</mi> </msub> </mrow> <mo>)</mo> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mo>&amp;ForAll;</mo> <mi>q</mi> <mo>&amp;Element;</mo> <mo>&lt;</mo> <mi>p</mi> <mo>&gt;</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mn>0</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>o</mi> <mi>t</mi> <mi>h</mi> <mi>e</mi> <mi>r</mi> <mi>w</mi> <mi>i</mi> <mi>s</mi> <mi>e</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>
其中<p>集合代表的是抽样图片集，即只有当图片是属于抽样图片集中的图片时，才计算Zi矩阵上对应元素的值，否则Zi矩阵上对应元素值为0；
步骤5：
设结点抽样图片集中图片数量为m，构造一个m*m维的M矩阵，M矩阵定义如下：
M＝Λ-1/2Zi TZiΛ-1/2 (5)
其中Λ＝diag(Zi T1)，是一个对角矩阵，计算得到M矩阵前k个最大的特征值组成的k*k维的对角矩阵：Σ＝diag(δ1,...,δk)∈Rk×k和前k个最大的特征值对应的特征向量组成的m*k维的矩阵：V＝[v1,...,vk]∈Rm×k，由上式得到的各矩阵，构造出第i个服务器结点最终的编码矩阵Yi，Yi矩阵定义如下：
<mrow> <msub> <mi>Y</mi> <mi>i</mi> </msub> <mo>=</mo> <msqrt> <mi>n</mi> </msqrt> <msub> <mi>Z</mi> <mi>i</mi> </msub> <msup> <mi>&amp;Lambda;</mi> <mrow> <mo>-</mo> <mn>1</mn> <mo>/</mo> <mn>2</mn> </mrow> </msup> <mi>V</mi> <msup> <mo>&amp;Sigma;</mo> <mrow> <mo>-</mo> <mn>1</mn> <mo>/</mo> <mn>2</mn> </mrow> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo> </mrow> </mrow>
Yi是一个n*k维的矩阵，n代表结点中图片的个数，k代表编码位数，编码矩阵Yi的每行就是一个编码函数，各图片通过编码函数计算得到一个k维的向量，再对此向量进行二值化分割：sgn(yi)，就得到了第i个结点中各图片的编码。
3.根据权利要求2所述的大规模图片集分布式近似搜索的方法，其特征在于：
所述步长的值可分别选取1*10-5，1*10-4，1*10-3，1*10-2。
4.根据权利要求1所述的大规模图片集分布式近似搜索的方法，其特征在于：步骤6具体包含以下步骤：
步骤1：
把查询图片q分别传入各服务器结点中，各结点通过分布式训练过程中的方法并行计算得到查询图片q在各结点中的编码函数：y1(q),y2(q),…,yI(q)，再对编码函数二值化处理就得到了q的二进制编码：h1(q),h2(q),…,hI(q)。
步骤2：
对于第i个服务器结点，在计算查询图片q和结点中各图片二进制编码的汉明距离时，引入加权模型做如下处理：
设r是编码的位数，k是其中的第k个比特位，则表示在第k个比特位上结点中各图片和查询图片q的码值相同的概率，表示在第k个比特位上结点中各图片和查询图片q的码值不同的概率，
如果查询图片q在第i个服务器上的编码函数(代表查询图片q在第i个结点的编码函数的第k位的值)则有：
<mrow> <mi>Pr</mi> <mrow> <mo>(</mo> <msub> <mi>&amp;Delta;h</mi> <mi>k</mi> </msub> <mo>(</mo> <mi>q</mi> <mo>)</mo> <mo>&amp;NotEqual;</mo> <mn>0</mn> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <mo>&amp;lsqb;</mo> <mn>1</mn> <mo>+</mo> <mi>e</mi> <mi>r</mi> <mi>f</mi> <mrow> <mo>(</mo> <mfrac> <mrow> <mo>-</mo> <msubsup> <mi>y</mi> <mi>i</mi> <mi>k</mi> </msubsup> <mrow> <mo>(</mo> <mi>q</mi> <mo>)</mo> </mrow> </mrow> <mrow> <msub> <mi>&amp;sigma;</mi> <mi>k</mi> </msub> <msqrt> <mn>2</mn> </msqrt> </mrow> </mfrac> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo> </mrow> </mrow>
如果编码函数则有：
<mrow> <mi>Pr</mi> <mrow> <mo>(</mo> <msub> <mi>&amp;Delta;h</mi> <mi>k</mi> </msub> <mo>(</mo> <mi>q</mi> <mo>)</mo> <mo>&amp;NotEqual;</mo> <mn>0</mn> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <mo>&amp;lsqb;</mo> <mn>1</mn> <mo>-</mo> <mi>e</mi> <mi>r</mi> <mi>f</mi> <mrow> <mo>(</mo> <mfrac> <mrow> <mo>-</mo> <msubsup> <mi>y</mi> <mi>i</mi> <mi>k</mi> </msubsup> <mrow> <mo>(</mo> <mi>q</mi> <mo>)</mo> </mrow> </mrow> <mrow> <msub> <mi>&amp;sigma;</mi> <mi>k</mi> </msub> <msqrt> <mn>2</mn> </msqrt> </mrow> </mfrac> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow>
其中erf(.)是高斯误差函数，σk是常量参数，定义查询样本q的第k个比特位上的权重值公式为：
<mrow> <msub> <mi>w</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <mi>q</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mfrac> <mrow> <mi>Pr</mi> <mrow> <mo>(</mo> <msub> <mi>&amp;Delta;h</mi> <mi>k</mi> </msub> <mo>(</mo> <mi>q</mi> <mo>)</mo> <mo>=</mo> <mn>0</mn> <mo>)</mo> </mrow> </mrow> <mrow> <mi>Pr</mi> <mrow> <mo>(</mo> <msub> <mi>&amp;Delta;h</mi> <mi>k</mi> </msub> <mo>(</mo> <mi>q</mi> <mo>)</mo> <mo>&amp;NotEqual;</mo> <mn>0</mn> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>=</mo> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mfrac> <mrow> <mn>1</mn> <mo>-</mo> <mi>Pr</mi> <mrow> <mo>(</mo> <msub> <mi>&amp;Delta;h</mi> <mi>k</mi> </msub> <mo>(</mo> <mi>q</mi> <mo>)</mo> <mo>&amp;NotEqual;</mo> <mn>0</mn> <mo>)</mo> </mrow> </mrow> <mrow> <mi>Pr</mi> <mrow> <mo>(</mo> <msub> <mi>&amp;Delta;h</mi> <mi>k</mi> </msub> <mo>(</mo> <mi>q</mi> <mo>)</mo> <mo>&amp;NotEqual;</mo> <mn>0</mn> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>,</mo> <mi>k</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mo>...</mo> <mo>,</mo> <mi>r</mi> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>9</mn> <mo>)</mo> </mrow> </mrow>
通过(9)式可得，和查询图片第k个比特位的编码值相同的概率越大，则这个比特位上的权重值越高，对于r位的编码，可得查询图片的权重向量为：w(q)＝(w1(q),w2(q),…,wk(q),…,wr(q))，
设第i个服务器结点中存储P张图片，h1,h2,…,hp是各图片通过分布式训练得到的二进制编码，hi(q)是查询图片q在第i个结点上的二进制编码，则引入加权模型后的查询图片在第i个结点上的汉明距离向量计算公式如下：
<mrow> <msubsup> <mi>D</mi> <mi>i</mi> <mi>w</mi> </msubsup> <mrow> <mo>(</mo> <mi>q</mi> <mo>)</mo> </mrow> <mo>=</mo> <mrow> <mo>(</mo> <mi>w</mi> <mo>(</mo> <mi>q</mi> <mo>)</mo> <mo>(</mo> <mrow> <msub> <mi>h</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>q</mi> <mo>)</mo> </mrow> <mo>&amp;CirclePlus;</mo> <msub> <mi>h</mi> <mn>1</mn> </msub> </mrow> <mo>)</mo> <mo>,</mo> <mi>w</mi> <mo>(</mo> <mi>q</mi> <mo>)</mo> <mo>(</mo> <mrow> <msub> <mi>h</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>q</mi> <mo>)</mo> </mrow> <mo>&amp;CirclePlus;</mo> <msub> <mi>h</mi> <mn>2</mn> </msub> </mrow> <mo>)</mo> <mo>,</mo> <mn>...</mn> <mo>,</mo> <mi>w</mi> <mo>(</mo> <mi>q</mi> <mo>)</mo> <mo>(</mo> <mrow> <msub> <mi>h</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>q</mi> <mo>)</mo> </mrow> <mo>&amp;CirclePlus;</mo> <msub> <mi>h</mi> <mi>p</mi> </msub> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>10</mn> <mo>)</mo> </mrow> </mrow>
合并每个结点的汉明距离向量，即得到查询图片相对于整个图片集中所有图片的汉明距离向量：
<mrow> <msup> <mi>D</mi> <mi>w</mi> </msup> <mrow> <mo>(</mo> <mi>q</mi> <mo>)</mo> </mrow> <mo>=</mo> <mrow> <mo>(</mo> <msubsup> <mi>D</mi> <mn>1</mn> <mi>w</mi> </msubsup> <mo>(</mo> <mi>q</mi> <mo>)</mo> <mo>,</mo> <msubsup> <mi>D</mi> <mn>2</mn> <mi>w</mi> </msubsup> <mo>(</mo> <mi>q</mi> <mo>)</mo> <mo>,</mo> <mo>...</mo> <mo>,</mo> <msubsup> <mi>D</mi> <mi>I</mi> <mi>w</mi> </msubsup> <mo>(</mo> <mi>q</mi> <mo>)</mo> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>11</mn> <mo>)</mo> </mrow> </mrow>
步骤3：定义汉明距离门限阈值为r，如果图片集中的图片在Dw(q)向量对应位置上的元素值小于阈值r的话，即认为此图片是查询图片的近似图片。
5.根据权利要求4所述的大规模图片集分布式近似搜索的方法，其特征在于：所述阈值r的值可分别选取1,2,3,4。
CN201710333386.1A 2017-05-12 2017-05-12 一种大规模图片集分布式近似搜索的方法 Pending CN107315765A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710333386.1A CN107315765A (zh) 2017-05-12 2017-05-12 一种大规模图片集分布式近似搜索的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710333386.1A CN107315765A (zh) 2017-05-12 2017-05-12 一种大规模图片集分布式近似搜索的方法

Publications (1)

Publication Number Publication Date
CN107315765A true CN107315765A (zh) 2017-11-03

Family

ID=60181530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710333386.1A Pending CN107315765A (zh) 2017-05-12 2017-05-12 一种大规模图片集分布式近似搜索的方法

Country Status (1)

Country Link
CN (1) CN107315765A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107944046A (zh) * 2017-12-15 2018-04-20 清华大学 大规模高维数据快速检索方法及***
CN108509651A (zh) * 2018-04-17 2018-09-07 *** 基于语义一致性的具有隐私保护的分布式近似性搜索方法
CN109284409A (zh) * 2018-08-29 2019-01-29 清华大学深圳研究生院 基于大规模街景数据的图片组地理定位方法
CN109685112A (zh) * 2018-11-29 2019-04-26 昆明理工大学 一种基于颜色差值算法和DHash的图像相似判定方法
CN110019531A (zh) * 2017-12-29 2019-07-16 北京京东尚科信息技术有限公司 一种获取相似对象集合的方法和装置
CN110489585A (zh) * 2019-07-08 2019-11-22 南京邮电大学 基于监督学习的分布式图像搜索方法
CN111368122A (zh) * 2020-02-14 2020-07-03 深圳壹账通智能科技有限公司 一种图片去重的方法及装置
CN111626408A (zh) * 2020-05-22 2020-09-04 深圳前海微众银行股份有限公司 哈希编码方法、装置、设备及可读存储介质
CN112347855A (zh) * 2020-10-12 2021-02-09 西安电子科技大学青岛计算技术研究院 一种基于深度学习的生物特征模板保护方法及装置
CN112527855A (zh) * 2020-09-23 2021-03-19 碧桂园生活服务集团股份有限公司 一种人脸向量快速比对技术
CN112557950A (zh) * 2020-12-03 2021-03-26 广东电网有限责任公司江门供电局 基于矩阵相似性的配电网谐振接地***故障选线方法
CN113300830A (zh) * 2021-05-25 2021-08-24 湖南遥昇通信技术有限公司 基于加权概率模型的数据传输方法、设备及存储介质
CN113486879A (zh) * 2021-07-27 2021-10-08 平安科技（深圳）有限公司 图像区域建议框检测方法、装置、设备及存储介质
CN115129921A (zh) * 2022-06-30 2022-09-30 重庆紫光华山智安科技有限公司 图片检索方法、装置、电子设备和计算机可读存储介质
CN117194737A (zh) * 2023-09-14 2023-12-08 上海交通大学 基于距离阈值的近似近邻搜索方法、***、介质及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103744934A (zh) * 2013-12-30 2014-04-23 南京大学 一种基于位置敏感哈希的分布式索引方法
CN105160039A (zh) * 2015-10-13 2015-12-16 四川携创信息技术服务有限公司 一种基于大数据的查询方法
CN106383891A (zh) * 2016-09-22 2017-02-08 重庆理工大学 一种基于深度哈希的医学图像分布式检索方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103744934A (zh) * 2013-12-30 2014-04-23 南京大学 一种基于位置敏感哈希的分布式索引方法
CN105160039A (zh) * 2015-10-13 2015-12-16 四川携创信息技术服务有限公司 一种基于大数据的查询方法
CN106383891A (zh) * 2016-09-22 2017-02-08 重庆理工大学 一种基于深度哈希的医学图像分布式检索方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HAIFENG HU: "Anchor graph hashing with semantically consistent graph", 《2016 8TH INTERNATIONAL CONFERENCE ON WIRELESS COMMUNICATIONS AND SIGNAL PROCESSING》 *
LEI ZHANG: "binary code ranking with weighted hamming distance", 《2013 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
陈冬霞等: "基于内容的分布式web图像检索***与算法研究", 《计算机工程与应用》 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107944046A (zh) * 2017-12-15 2018-04-20 清华大学 大规模高维数据快速检索方法及***
CN110019531A (zh) * 2017-12-29 2019-07-16 北京京东尚科信息技术有限公司 一种获取相似对象集合的方法和装置
CN110019531B (zh) * 2017-12-29 2021-11-02 北京京东尚科信息技术有限公司 一种获取相似对象集合的方法和装置
CN108509651A (zh) * 2018-04-17 2018-09-07 *** 基于语义一致性的具有隐私保护的分布式近似性搜索方法
CN108509651B (zh) * 2018-04-17 2019-03-12 *** 基于语义一致性的具有隐私保护的分布式近似性搜索方法
CN109284409B (zh) * 2018-08-29 2020-08-25 清华大学深圳研究生院 基于大规模街景数据的图片组地理定位方法
CN109284409A (zh) * 2018-08-29 2019-01-29 清华大学深圳研究生院 基于大规模街景数据的图片组地理定位方法
CN109685112A (zh) * 2018-11-29 2019-04-26 昆明理工大学 一种基于颜色差值算法和DHash的图像相似判定方法
CN110489585A (zh) * 2019-07-08 2019-11-22 南京邮电大学 基于监督学习的分布式图像搜索方法
CN110489585B (zh) * 2019-07-08 2022-12-02 南京邮电大学 基于监督学习的分布式图像搜索方法
CN111368122A (zh) * 2020-02-14 2020-07-03 深圳壹账通智能科技有限公司 一种图片去重的方法及装置
CN111626408A (zh) * 2020-05-22 2020-09-04 深圳前海微众银行股份有限公司 哈希编码方法、装置、设备及可读存储介质
CN111626408B (zh) * 2020-05-22 2021-08-06 深圳前海微众银行股份有限公司 哈希编码方法、装置、设备及可读存储介质
CN112527855A (zh) * 2020-09-23 2021-03-19 碧桂园生活服务集团股份有限公司 一种人脸向量快速比对技术
CN112527855B (zh) * 2020-09-23 2024-05-03 广东协城信息科技有限公司 一种人脸向量快速比对技术
CN112347855A (zh) * 2020-10-12 2021-02-09 西安电子科技大学青岛计算技术研究院 一种基于深度学习的生物特征模板保护方法及装置
CN112557950A (zh) * 2020-12-03 2021-03-26 广东电网有限责任公司江门供电局 基于矩阵相似性的配电网谐振接地***故障选线方法
CN112557950B (zh) * 2020-12-03 2022-11-22 广东电网有限责任公司江门供电局 基于矩阵相似性的配电网谐振接地***故障选线方法
CN113300830B (zh) * 2021-05-25 2022-05-27 湖南遥昇通信技术有限公司 基于加权概率模型的数据传输方法、设备及存储介质
CN113300830A (zh) * 2021-05-25 2021-08-24 湖南遥昇通信技术有限公司 基于加权概率模型的数据传输方法、设备及存储介质
CN113486879A (zh) * 2021-07-27 2021-10-08 平安科技（深圳）有限公司 图像区域建议框检测方法、装置、设备及存储介质
CN113486879B (zh) * 2021-07-27 2024-03-05 平安科技（深圳）有限公司 图像区域建议框检测方法、装置、设备及存储介质
CN115129921A (zh) * 2022-06-30 2022-09-30 重庆紫光华山智安科技有限公司 图片检索方法、装置、电子设备和计算机可读存储介质
CN115129921B (zh) * 2022-06-30 2023-05-26 重庆紫光华山智安科技有限公司 图片检索方法、装置、电子设备和计算机可读存储介质
CN117194737A (zh) * 2023-09-14 2023-12-08 上海交通大学 基于距离阈值的近似近邻搜索方法、***、介质及设备
CN117194737B (zh) * 2023-09-14 2024-06-07 上海交通大学 基于距离阈值的近似近邻搜索方法、***、介质及设备

Similar Documents

Publication Publication Date Title
CN107315765A (zh) 一种大规模图片集分布式近似搜索的方法
Wang et al. Transferring CNN with adaptive learning for remote sensing scene classification
CN110399850A (zh) 一种基于深度神经网络的连续手语识别方法
CN112733866B (zh) 一种提高可控图像文本描述正确性的网络构建方法
CN110941734B (zh) 基于稀疏图结构的深度无监督图像检索方法
CN103488662A (zh) 基于图形处理单元的自组织映射神经网络聚类方法及***
CN109299462A (zh) 基于多维卷积特征的短文本相似度计算方法
CN104462196A (zh) 多特征联合哈希信息检索方法
CN109960738A (zh) 基于深度对抗哈希学习的大规模遥感影像内容检索方法
Zhan et al. Handwritten digit string recognition using convolutional neural network
CN110349229A (zh) 一种图像描述方法及装置
CN108388656A (zh) 一种基于标记相关性的图片搜索方法
CN110490298A (zh) 基于膨胀卷积的轻量化深度卷积神经网络模型
JP7196542B2 (ja) 学習装置および学習方法
CN104268629A (zh) 一种基于先验信息和网络固有信息的复杂网络社区检测方法
CN110263855A (zh) 一种利用共基胶囊投影进行图像分类的方法
CN113032613A (zh) 一种基于交互注意力卷积神经网络的三维模型检索方法
CN114879185A (zh) 基于任务经验迁移的雷达目标智能识别方法
Chen et al. Learning to segment object candidates via recursive neural networks
Wei et al. Edge devices clustering for federated visual classification: A feature norm based framework
CN107133348B (zh) 大规模图片集中基于语义一致性的近似搜索方法
CN114492744A (zh) 一种基于对抗生成网络的地海杂波谱数据样本生成方法
CN112836736B (zh) 一种基于深度自编码器构图的高光谱图像半监督分类方法
Zheng et al. Boundary adjusted network based on cosine similarity for temporal action proposal generation
CN117763185A (zh) 一种基于思考空间维度的哈希图像检索方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171103

RJ01 Rejection of invention patent application after publication