WO2017012491A1 - 一种图像高维特征的相似比较方法及装置 - Google Patents

一种图像高维特征的相似比较方法及装置 Download PDF

Info

Publication number
WO2017012491A1
WO2017012491A1 PCT/CN2016/089866 CN2016089866W WO2017012491A1 WO 2017012491 A1 WO2017012491 A1 WO 2017012491A1 CN 2016089866 W CN2016089866 W CN 2016089866W WO 2017012491 A1 WO2017012491 A1 WO 2017012491A1
Authority
WO
WIPO (PCT)
Prior art keywords
low
dimensional feature
feature vector
image
segmentation
Prior art date
Application number
PCT/CN2016/089866
Other languages
English (en)
French (fr)
Inventor
林熙东
牟川
Original Assignee
北京京东尚科信息技术有限公司
北京京东世纪贸易有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京京东尚科信息技术有限公司, 北京京东世纪贸易有限公司 filed Critical 北京京东尚科信息技术有限公司
Priority to US15/746,794 priority Critical patent/US11048966B2/en
Priority to JP2018502395A priority patent/JP6544756B2/ja
Priority to RU2018106458A priority patent/RU2686590C1/ru
Publication of WO2017012491A1 publication Critical patent/WO2017012491A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2255—Hash tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G06F16/316—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Definitions

  • the local sensitive hash encoding process of the image is shown in Figure 1.
  • the original image is represented as an n-dimensional vector for the RGB channel.
  • CNN convolutional neural network
  • the output of a hidden layer (usually taken between the reciprocal 2 and 4 layers) is taken as the m-dimensional feature vector of the image (typical The length is 4096 dimensions).
  • the eigenvector is then converted to an LSH code of k (k is much smaller than m) by a set of locally sensitive hash vector operations.
  • the service company converts all of its pictures into such a code, and subsequent image similarity retrieval is based on the representation of the image.
  • the image similarity retrieval process is shown in Figure 2.
  • the user-acquired query image first obtains its local-sensitive hash LSH code A through the above step 1, and then calculates the Hamming distance of both A and B for each vector B in the locally-sensitive hash vector table, and then according to the obtained The distance is sorted from small to large, and the original image corresponding to several vectors before the last call is returned to the user as a result of the similar search.
  • a similarity comparison method for image high-dimensional features of the present invention includes: performing a dimensionality reduction process on the extracted image feature vector to obtain a low-dimensional feature vector; and equally segmenting the low-dimensional feature vector and Establishing a segmentation index table; obtaining a candidate sample set by retrieving the segmented low-dimensional feature vector of the query image in the segmentation index table; and respectively lowering the samples in the candidate sample set with the query image
  • the dimensional feature vector is similarly metric.
  • the image feature vector is extracted by constructing a neural network using a deep learning technique.
  • the neural network is a convolutional neural network.
  • the step of obtaining the candidate sample set by retrieving the segmented low-dimensional feature vector of the query image in the segment index table comprises: accessing the segmented low-dimensional feature vector of the query image by accessing The entry address, the conflict set is obtained; the low-dimensional feature vector corresponding to the conflict set node with the same fingerprint value of the segmented low-dimensional feature vector of the query image is extracted as a candidate set; Segmented search The candidate sets are combined, and the low-dimensional feature vector repeated therein is removed to obtain a candidate sample set.
  • performing a similarity measure between the samples in the candidate sample set and the low-dimensional feature vector of the query image respectively includes: calculating, respectively, each sample in the candidate sample set and a low-dimensional feature vector of the query image a Manhattan distance score; the scores are sorted from small to large, and an image of a sample corresponding to a predetermined number of scores is taken as a similar image of the query image.
  • the segmentation index is added to the locally sensitive hash code of the image feature vector after dimension reduction, which can speed up the retrieval speed and improve the retrieval efficiency.
  • the Manhattan distance metric is used to replace the traditional Hamming. The distance metric can make full use of the quantizable distance information contained in the local sensitive hash coding, thereby improving the retrieval precision under the segmentation retrieval.
  • FIG. 1 is a schematic diagram of a locally sensitive hash encoding process for generating an image in the prior art
  • FIG. 3 is a schematic diagram showing main steps of a similarity comparison method for image high-dimensional features according to an embodiment of the present invention
  • FIG. 5 is a structural diagram of a segmentation hash index table according to an embodiment of the present invention.
  • FIG. 6 is a schematic diagram of an image similarity retrieval process based on a segmentation index according to an embodiment of the present invention
  • FIG. 3 is a schematic diagram showing the main steps of a similarity comparison method for image high-dimensional features according to an embodiment of the invention.
  • a similarity comparison method of an image high-dimensional feature of the present invention includes the following steps S31 to S34.
  • Step S31 The extracted image feature vector is subjected to dimensionality reduction processing by a local sensitive hash algorithm to obtain a low-dimensional feature vector.
  • the feature vector of the image in this step can be extracted by using a deep learning technique to construct a neural network, and the neural network generally used is a convolutional neural network CNN.
  • the neural network generally used is a convolutional neural network CNN.
  • the original image is extracted by the convolutional neural network CNN to obtain an m-dimension.
  • CNN feature vector is subjected to dimensionality reduction processing by a locally sensitive hash LSH, and a feature vector LSH code with a low (eg, k, k is much smaller than m) dimension is obtained.
  • Step S32 averaging the low-dimensional feature vectors and establishing a segmentation index table.
  • the optimal segment length can be determined experimentally on a smaller verification set, so that the technical solution of the present invention obtains a search speed and accuracy. Relatively satisfactory compromise. After that, according to the most determined The segment length d is excellent, and the low-dimensional LSH code vector is averaged.
  • the LSH code for a sample numbered 1001 is:
  • the number before each paragraph represents the positioning number, the first paragraph is 1, the second paragraph is 2, and so on.
  • Step S321 averaging the low-dimensional feature vector, taking the segmented feature vector as an index item, and calculating a fingerprint value of each index item;
  • Step S322 Perform a remainder operation on the prime value that is closest to the predetermined number of entries included in the segment index table to obtain an entry address of the index entry.
  • Step S323 Insert the low-dimensional feature vector into the segment index table according to the obtained entry address to establish a segment index table.
  • the sample numbered 1001 is taken as an example.
  • the segmented feature vector is used as an index term to calculate the fingerprint value of each segment index entry, for example, the fifth version of the message digest algorithm (ie, the MD5 function) is used for calculation.
  • the fingerprint values are compared with the prime numbers closest to the predetermined number of entries included in the segment index table to obtain the entry addresses of the respective index entries.
  • the number of entries N of the segment index table can be set as needed, for example, according to the memory size of the machine or the need for function implementation.
  • the entry addresses of the index entries may be repeated, that is, the so-called key value conflicts, and the index entry of the key value conflict is in the form of a conflict set. Save as a conflicting set linked list.
  • the low-dimensional feature vector LSH encoding is inserted into the segment index table according to the obtained entry address to establish a segment index table.
  • Step S33 The candidate sample set is obtained by searching the segmented low-dimensional feature vector of the query image in the segmentation index table.
  • Step S331 Obtain a conflict set by accessing an entry address of the segmented low-dimensional feature vector of the query image.
  • Step S332 Extracting the low-dimensional feature vector corresponding to the conflict set node of the segmented low-dimensional feature vector of the query image as a candidate set;
  • Step S333 Combine the candidate sets obtained by each segment retrieval, and remove the low-dimensional feature vector repeated therein to obtain a candidate sample set.
  • Step S331 first, calculating a fingerprint value of each segmented index item after segmentation to find an entry address S of each index entry in the index table, and obtaining a corresponding conflict set linked list by accessing the entry address S, The pointer to the right of each node in the conflict set list is used to save the conflict set list, and the downward pointer is used to save the candidate set list.
  • the so-called candidate set is that when the fingerprint value of a segment index item of a certain query image is the same as the fingerprint value of the "segmented local sensitive hash LSH code" of the node, the segment index that needs to be carefully compared later is compared.
  • the candidate sample set of the item where the candidate sample is the corresponding low-dimensional feature vector.
  • the candidate set is extracted as described in step S332.
  • step S333 after each segment retrieval is completed, all the obtained candidate sets are combined, and the repeated low-dimensional feature vectors are removed to obtain a candidate sample set that needs to be compared by distance.
  • Step S34 Perform similar metrics on the samples in the candidate sample set and the low-dimensional feature vectors of the query image.
  • Similarity measurement first, respectively calculating a Manhattan distance score between each sample in the candidate sample set and a low-dimensional feature vector of the query image; then, sorting the scores from small to large, and taking The image of the sample corresponding to the score of the previous predetermined number is taken as the similar image of the query image.
  • the number of similar images to be displayed may be set in advance according to the needs of the application, or the number of similar images to be displayed may be selected by the user.
  • the process of segment-based index-based image similarity retrieval according to an embodiment of the present invention as shown in FIG. 6 can be realized. That is, the low-dimensional feature vector of the query image and each element in the segmented local-sensitive hash LSH coding vector set are respectively based on the similarity between the segmentation index and the Manhattan distance, and finally the similar local-sensitive hash LSH coded record set is obtained. , thereby obtaining a corresponding similar image.
  • the local sensitive hash code contains quantizable distance information
  • the distance information is fully utilized when the Manhattan distance is used for similarity measurement, and the Hamming distance is only equal to the number comparison, so the similarity measure based on the Manhattan distance is used.
  • the retrieval accuracy is higher than the Hamming distance based scheme. After a large amount of experimental data, the retrieval accuracy is about 5% higher.
  • FIG. 7 is a schematic diagram of main modules of a similarity comparing apparatus for image high-dimensional features according to an embodiment of the invention. As shown in FIG. 7, the phase of the image high-dimensional feature in the embodiment of the present invention
  • the comparison device 70 mainly includes a feature dimension reduction module 71, a segmentation index module 72, a similarity query module 73, and a comparison metric module 74.
  • the feature dimension reduction module 71 is configured to perform the dimension reduction processing on the extracted image feature vector by a local sensitive hash algorithm to obtain a low-dimensional feature vector.
  • the image feature vector is extracted by constructing a neural network by using a deep learning technique, and the neural network is a convolutional neural network.
  • the segmentation indexing module 72 is configured to average segment the low-dimensional feature vectors and establish a segmentation index table. Segmentation indexing module 72 may also be used to experimentally determine an optimal segment length on a smaller set of validations prior to averaging the low-dimensional feature vectors.
  • the segmentation indexing module 72 may be further configured to average segment the low-dimensional feature vector, use the segmented feature vector as an index item, and calculate a fingerprint value of each index item;
  • the segmentation index table includes a predetermined number of entries, and the nearest prime number is subjected to a remainder operation to obtain an entry address of the index entry; the low-dimensional feature vector is inserted into the segment index table according to the obtained entry address to establish segmentation. direction chart.
  • the similarity query module 73 is configured to obtain a candidate sample set by searching the segmented low-dimensional feature vector of the query image in the segmentation index table.
  • the similarity query module 73 can also be configured to obtain a conflict set by accessing the entry address of the segmented low-dimensional feature vector of the query image; and set a conflict set with the same fingerprint value of the segmented low-dimensional feature vector of the query image.
  • the low-dimensional feature vector corresponding to the node is extracted as a candidate set; and the candidate sets retrieved by each segment are combined, and the repeated low-dimensional feature vectors are removed to obtain a candidate sample set.
  • the comparison metric module 74 is configured to perform similar metrics on the samples in the candidate sample set with the low-dimensional feature vectors of the query image.
  • the comparison metric module 74 can be further configured to separately calculate a Manhattan distance score between each sample in the candidate sample set and a low-dimensional feature vector of the query image; sort the scores from small to large, and pre-schedule The image of the sample corresponding to the score of the number is taken as the similar image of the query image.
  • the segmentation index is added to the locally sensitive hash code of the reduced image feature vector to speed up the retrieval speed, thereby improving the retrieval efficiency; when performing image similarity retrieval, the Manhattan distance metric is used instead of the traditional one.
  • the Hamming distance metric can make full use of the quantizable distance information contained in the local sensitive hash coding, thereby improving the retrieval precision under the segmentation retrieval.
  • the process of establishing a segmentation index in the technical solution of the present invention may not be limited to being executed on one machine, and may be performed in parallel in a distributed scheduling system. This way, you can handle larger amounts of data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Library & Information Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种图像高维特征的相似比较方法及装置，能够在基于局部敏感哈希编码的海量图片相似检索中提高检索速度与检索精度。所述方法包括：将所提取的图像特征向量通过局部敏感哈希算法进行降维处理后得到低维特征向量（S31）；将所述低维特征向量平均分段并建立分段索引表（S32）；通过将查询图像的分段后的低维特征向量在所述分段索引表中进行检索得到候选样本集（S33）；将所述候选样本集中的样本分别与所述查询图像的低维特征向量进行相似度量（S34）。

Description

一种图像高维特征的相似比较方法及装置 技术领域
本发明涉及计算机技术领域，特别地涉及一种图像高维特征的相似比较方法及装置。
背景技术
在当今互联网环境下，网络用户除了文字检索需求外还希望能够对声音、图像、视频等多媒体内容进行检索。具体到图像检索，用户希望能够通过用户提供的图像作为查询(Query)，请求互联网服务提供商找出与该图片内容相似的候选图片集合，应用场景如电商企业根据用户提供的商品图片向其推荐同款或相似款的商品，各搜索网站根据用户提供的风景图片显示相似图片等。
传统的图像检索一般是基于人工指定的图像特征进行相似度量，由于图像数据在语义上的非结构化特点，使得要靠人工发现富有表达力的特征是个比较困难的任务。Hinton等人提出的深度学习神经网络技术能够自主学习完成特征提取，即从原始图像的高维特征向量空间到较低维特征向量空间的有效映射，大大提高了图像领域的特征表达效率。
在互联网行业，服务企业的存量图像往往数量巨大。面对用户的检索需求，如果需要在秒级响应时间内得到检索结果，除了采用大规模并行计算技术外，还需要同时在降维与索引、匹配算法上提高速度。局部敏感哈希(Locality Sensitive Hashing，LSH)算法是一种降维编码技术，其特点是在生成的哈希编码中保留了原始特征空间中的相对位置关系，因此可以用于图像的快速检索。
在现有技术中，局部敏感哈希算法用于图像检索主要包括如下步 骤：
1、图像的局部敏感哈希编码过程
图像的局部敏感哈希编码过程如图1所示。原始图像针对RGB通道表示为n维向量，经过卷积神经网络(CNN)编码后取其某一隐层(一般在倒数2～4层间取)的输出作为图像的m维特征向量(典型的长度为4096维)。该特征向量随后经过一组局部敏感哈希向量运算后转换为k(k远小于m)维的LSH编码。按照此种方法，服务企业将其所有的图片转化为这种编码，那么后续的图像相似检索都是基于图像的这种表示方式进行的。
2、图像相似检索过程
图像相似检索过程如图2所示。用户上传的查询图像先经过上述步骤1得到其局部敏感哈希LSH编码A，接着对局部敏感哈希向量表中的每一个向量B，计算A、B两者的汉明距离，然后根据所得的距离从小到大排序，最后取靠前的若干个向量所对应的原始图像作为相似检索的结果返回给用户。
但是，在使用过程中，发现现有的局部敏感哈希算法用于图像检索的方法存在以下缺点：
1、基于LSH编码的相似检索速度在图像集比较大(如包含百万、千万及以上的图片)时仍然比较慢；
2、汉明距离度量虽然计算速度比欧氏距离度量、曼哈顿距离度量等要快，但是精度下降比较多，检索结果不尽如人意。
发明内容
有鉴于此，本发明提供一种图像高维特征的相似比较方法及装置，通过对图像的局部敏感哈希编码进行分段索引及检索，并选用曼哈顿距离进行相似度量的方法，能够在基于局部敏感哈希编码的海量图片相似检索中提高检索速度与检索精度。
为实现上述目的，根据本发明的一个方面，提供了一种图像高维特征的相似比较方法。
本发明的一种图像高维特征的相似比较方法包括：将所提取的图像特征向量通过局部敏感哈希算法进行降维处理后得到低维特征向量；将所述低维特征向量平均分段并建立分段索引表；通过将查询图像的分段后的低维特征向量在所述分段索引表中进行检索得到候选样本集；将所述候选样本集中的样本分别与所述查询图像的低维特征向量进行相似度量。
可选地，所述图像特征向量是利用深度学习技术构建神经网络来提取的。
可选地，所述神经网络为卷积神经网络。
可选地，将所述低维特征向量平均分段的步骤之前，还包括：在一个较小的验证集上通过实验确定最优的分段长度。
可选地，将所述低维特征向量平均分段并建立分段索引表的步骤包括：将所述低维特征向量平均分段，以分段后的特征向量作为索引项，并计算每个索引项的指纹值；将所述指纹值对与所述分段索引表包含的预定的入口个数最接近的素数进行取余运算，得到所述索引项的入口地址；将所述低维特征向量根据得到的所述入口地址***所述分段索引表中以建立分段索引表。
可选地，通过将查询图像的分段后的低维特征向量在所述分段索引表中进行检索得到候选样本集的步骤包括：通过访问查询图像的所述分段后的低维特征向量的入口地址，得到冲突集；将与所述查询图像的分段后的低维特征向量的指纹值相同的所述冲突集节点对应的所述低维特征向量提取出来，作为候选集；把各个分段检索得到的所述 候选集合并起来，去掉其中重复的所述低维特征向量，得到候选样本集。
可选地，将所述候选样本集中的样本分别与所述查询图像的低维特征向量进行相似度量包括：分别计算所述候选样本集中的每个样本与所述查询图像的低维特征向量之间的曼哈顿距离得分；将所述得分按照从小到大排序，并取前预定个数的得分对应的样本的图像作为所述查询图像的相似图像。
根据本发明的另一方面，提供了一种图像高维特征的相似比较装置。
本发明的一种图像高维特征的相似比较装置包括：特征降维模块，用于将所提取的图像特征向量通过局部敏感哈希算法进行降维处理后得到低维特征向量；分段索引模块，用于将所述低维特征向量平均分段并建立分段索引表；相似查询模块，用于通过将查询图像的分段后的低维特征向量在所述分段索引表中进行检索得到候选样本集；比较度量模块，用于将所述候选样本集中的样本分别与所述查询图像的低维特征向量进行相似度量。
可选地，所述图像特征向量是利用深度学习技术构建神经网络来提取的。
可选地，所述神经网络为卷积神经网络。
可选地，所述分段索引模块在将所述低维特征向量平均分段之前，还用于：在一个较小的验证集上通过实验确定最优的分段长度。
可选地，所述分段索引模块还用于：将所述低维特征向量平均分段，以分段后的特征向量作为索引项，并计算每个索引项的指纹值； 将所述指纹值对与所述分段索引表包含的预定的入口个数最接近的素数进行取余运算，得到所述索引项的入口地址；将所述低维特征向量根据得到的所述入口地址***所述分段索引表中以建立分段索引表。
可选地，所述相似查询模块还用于：通过访问查询图像的所述分段后的低维特征向量的入口地址，得到冲突集；将与所述查询图像的分段后的低维特征向量的指纹值相同的所述冲突集节点对应的所述低维特征向量提取出来，作为候选集；把各个分段检索得到的所述候选集合并起来，去掉其中重复的所述低维特征向量，得到候选样本集。
可选地，所述比较度量模块还用于：分别计算所述候选样本集中的每个样本与所述查询图像的低维特征向量之间的曼哈顿距离得分；将所述得分按照从小到大排序，并取前预定个数的得分对应的样本的图像作为所述查询图像的相似图像。
根据本发明的技术方案，对降维后的图像特征向量局部敏感哈希编码建立分段索引可以加快检索速度，从而提高检索效率；在进行图像相似检索时，采用曼哈顿距离度量替代传统的汉明距离度量，可以充分利用局部敏感哈希编码中包含的可量化的距离信息，从而提高了在分段检索下的检索精度。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是现有技术中的生成图像的局部敏感哈希编码过程示意图；
图2是现有技术中的图像相似检索过程示意图；
图3是根据本发明实施例的一种图像高维特征的相似比较方法的主要步骤示意图；
图4是根据本发明实施方式的生成图像的局部敏感哈希编码及建立分段索引的过程示意图；
图5是根据本发明实施方式的分段哈希索引表结构图；
图6是根据本发明实施方式的基于分段索引的图像相似检索过程示意图；
图7是根据本发明实施例的一种图像高维特征的相似比较装置的主要模块示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
以下将结合图3至图6对本发明的实施过程进行介绍。图3是根据本发明实施例的一种图像高维特征的相似比较方法的主要步骤示意图。如图3所示，本发明的一种图像高维特征的相似比较方法包括如下的步骤S31至步骤S34。
步骤S31：将所提取的图像特征向量通过局部敏感哈希算法进行降维处理后得到低维特征向量。本步骤中的图像的特征向量可利用深度学习技术构建神经网络来提取，一般所使用的神经网络为卷积神经网络CNN。下面结合图4所示的根据本发明实施方式的生成图像的局部敏感哈希编码及建立分段索引的过程示意图，可以看出，原始图像经过卷积神经网络CNN进行特征提取后，得到m维的CNN特征向量。之后，对该m维的特征向量通过局部敏感哈希LSH进行降维处理，得到低(如：k，k远小于m)维的特征向量LSH编码。
步骤S32：将所述低维特征向量平均分段并建立分段索引表。在对LSH编码平均分段并建立分段索引之前，可以通过在一个较小的验证集上通过实验确定最优的分段长度，以使得本发明的技术方案在检索速度和精度之间取得一个相对比较满意的折衷。之后，根据确定的最 优的分段长度d，将该低维的LSH编码向量进行平均分段。举例来说，编号为1001的样本的LSH编码为：
[0，1，1，0，0，3，1，0，1，0，2，1，0，1，2，1，1，0，1，-1，2，1，0，1，1，1，0，0]
若最优的分段长度为d＝7，则需将其分为四段，得到的分段索引项分别为：
1[0，1，1，0，0，3，1]、2[0，1，0，2，1，0，1]、3[2，1，1，0，1，-1，2]、4[1，0，1，1，1，0，0]
其中每段前的数字代表定位序号，第一段为1，第二段为2，以此类推。
将低维特征向量LSH编码平均分段后，对该低维特征向量在内存中建立分段哈希索引表，主要步骤可概括如下：
步骤S321：将所述低维特征向量平均分段，以分段后的特征向量作为索引项，并计算每个索引项的指纹值；
步骤S322：将所述指纹值对与所述分段索引表包含的预定的入口个数最接近的素数进行取余运算，得到所述索引项的入口地址；
步骤S323：将所述低维特征向量根据得到的所述入口地址***所述分段索引表中以建立分段索引表。
结合图5所示的根据本发明实施方式的分段哈希索引表结构图，以前述的编号为1001的样本为例进行介绍。将该样本分为4段后，以分段后的特征向量作为索引项，计算每个分段索引项的指纹值，例如可通过消息摘要算法第五版(即：MD5函数)来进行计算，以求得每个索引项的指纹值。然后，将这些指纹值对与分段索引表包含的预定的入口个数最接近的素数进行取余运算，得到各个索引项的入口地址。分段索引表的入口个数N可根据需要进行设定，例如可根据机器的内存大小，或者功能实现的需要等进行设定。在实际应用中，由于分段索引项的个数很多，因此各个索引项的入口地址可能会重复，也就是通常所说的键值冲突，本发明将键值冲突的索引项以冲突集的形式保存为冲突集链表。最后，将低维特征向量LSH编码根据得到的入口地址***分段索引表中以建立分段索引表。
通过以上的步骤S31和步骤S32，即可实现本发明实施方式的生成图像的局部敏感哈希编码及建立分段索引的过程。下面结合附图介绍基于分段索引的图像相似检索过程。
步骤S33：通过将查询图像的分段后的低维特征向量在所述分段索引表中进行检索得到候选样本集。在进行相似图像查询时，可以按照以下的几个步骤来进行。
步骤S331：通过访问查询图像的所述分段后的低维特征向量的入口地址，得到冲突集；
步骤S332：将与所述查询图像的分段后的低维特征向量的指纹值相同的所述冲突集节点对应的所述低维特征向量提取出来，作为候选集；
步骤S333：把各个分段检索得到的所述候选集合并起来，去掉其中重复的所述低维特征向量，得到候选样本集。
结合图5所示的分段哈希索引表结构，以前述的编号为1001的样本为例进行介绍查候选样本集的过程。如步骤S331，首先，计算分段后的每一个分段索引项的指纹值，以找到每一个分段索引项在索引表的入口地址S，通过访问该入口地址S得到对应的冲突集链表，冲突集链表中的每个节点向右的指针用于保存冲突集链表，向下的指针用于保存候选集链表。所谓候选集，就是当某个查询图像的一个分段索引项的指纹值和该节点的“分段局部敏感哈希LSH编码”的指纹值相同时，后续需要进行仔细距离比较的该分段索引项的候选样本集合，此处的候选样本即是相应的低维特征向量。如步骤S332所述，将该候选集提取出来。最后，如步骤S333所述，各个分段检索都完成后，将得到的所有候选集合并起来，去掉其中重复的低维特征向量，得到最终需要进行距离比较的候选样本集。
步骤S34：将所述候选样本集中的样本分别与所述查询图像的低维特征向量进行相似度量。在进行相似度量时，首先，分别计算所述候选样本集中的每个样本与所述查询图像的低维特征向量之间的曼哈顿距离得分；然后，将所述得分按照从小到大排序，并取前预定个数的得分对应的样本的图像作为该查询图像的相似图像。
根据曼哈顿距离的原理，得分越小则相似度越高，因此根据计算的曼哈顿距离得分即可将相似度比较出来并排序。在实际应用中，可以根据应用的需要事先设定好要显示的相似图像的个数，也可由用户自己选择要显示的相似图像的个数。
通过以上的步骤S33和步骤S34，即可实现如图6所示的根据本发明实施方式的基于分段索引的图像相似检索的过程。即：将查询图像的低维特征向量与分段局部敏感哈希LSH编码向量集中的每个元素分别进行基于分段索引与曼哈顿距离的相似判别，最后得到相似局部敏感哈希LSH编码的记录集合，从而得到对应的相似图像。
由以上的步骤S31至步骤S34可以实现本发明的技术方案。经过实验得出，对于一个100万的图片集来说，由卷积神经网络的倒数第3层的特征向量将得到512位局部敏感哈希LSH编码，如果选用d＝24位的分段长度进行分段并建立索引，在进行图像相似检索时，检索速度大约比不进行分段直接进行两两比较可提高1000倍，也就是说，采用分段索引后检索速度比直接基于原始局部敏感哈希LSH编码的比较有很大的提高。另外，由于局部敏感哈希编码中包含有可量化的距离信息，选用曼哈顿距离进行相似度量时会充分利用该距离信息，而汉明距离只是对数字比较是否相等，因此基于曼哈顿距离进行相似度量的检索精度比基于汉明距离的方案要高。经过大量实验数据论证，检索精度大约高5％以上。
图7是根据本发明实施例的一种图像高维特征的相似比较装置的主要模块示意图。如图7所示，本发明实施例中的图像高维特征的相 似比较装置70主要包括特征降维模块71、分段索引模块72、相似查询模块73和比较度量模块74。
特征降维模块71用于将所提取的图像特征向量通过局部敏感哈希算法进行降维处理后得到低维特征向量。其中，所述图像特征向量是利用深度学习技术构建神经网络来提取的，且该神经网络为卷积神经网络。
分段索引模块72用于将所述低维特征向量平均分段并建立分段索引表。分段索引模块72在将所述低维特征向量平均分段之前，还可以用于在一个较小的验证集上通过实验确定最优的分段长度。
分段索引模块72还可以用于将所述低维特征向量平均分段，以分段后的特征向量作为索引项，并计算每个索引项的指纹值；将所述指纹值对与所述分段索引表包含的预定的入口个数最接近的素数进行取余运算，得到所述索引项的入口地址；将该低维特征向量根据得到的入口地址***分段索引表中以建立分段索引表。
相似查询模块73用于通过将查询图像的分段后的低维特征向量在所述分段索引表中进行检索得到候选样本集。
相似查询模块73还可以用于通过访问查询图像的分段后的低维特征向量的入口地址，得到冲突集；将与该查询图像的分段后的低维特征向量的指纹值相同的冲突集节点对应的低维特征向量提取出来，作为候选集；以及把各个分段检索得到的候选集合并起来，去掉其中重复的低维特征向量，得到候选样本集。
比较度量模块74用于将所述候选样本集中的样本分别与所述查询图像的低维特征向量进行相似度量。
比较度量模块74还可以用于分别计算所述候选样本集中的每个样本与所述查询图像的低维特征向量之间的曼哈顿距离得分；将所述得分按照从小到大排序，并取前预定个数的得分对应的样本的图像作为所述查询图像的相似图像。
根据本发明实施例的技术方案，对降维后的图像特征向量局部敏感哈希编码建立分段索引可以加快检索速度，从而提高检索效率；在进行图像相似检索时，采用曼哈顿距离度量替代传统的汉明距离度量，可以充分利用局部敏感哈希编码中包含的可量化的距离信息，从而提高了在分段检索下的检索精度。
另外，本发明的技术方案中建立分段索引的过程可不限于在一台机器上执行，可以在分布式调度***中，同时并行执行。这样，便可以处理更大规模的数据。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (14)

  1. 一种图像高维特征的相似比较方法，其特征在于，包括：
    将所提取的图像特征向量通过局部敏感哈希算法进行降维处理后得到低维特征向量；
    将所述低维特征向量平均分段并建立分段索引表；
    通过将查询图像的分段后的低维特征向量在所述分段索引表中进行检索得到候选样本集；
    将所述候选样本集中的样本分别与所述查询图像的低维特征向量进行相似度量。
  2. 根据权利要求1所述的方法，其特征在于，所述图像特征向量是利用深度学习技术构建神经网络来提取的。
  3. 根据权利要求2所述的方法，其特征在于，所述神经网络为卷积神经网络。
  4. 根据权利要求1所述的方法，其特征在于，将所述低维特征向量平均分段的步骤之前，还包括：
    在一个较小的验证集上通过实验确定最优的分段长度。
  5. 根据权利要求1所述的方法，其特征在于，将所述低维特征向量平均分段并建立分段索引表的步骤包括：
    将所述低维特征向量平均分段，以分段后的特征向量作为索引项，并计算每个索引项的指纹值；
    将所述指纹值对与所述分段索引表包含的预定的入口个数最接近的素数进行取余运算，得到所述索引项的入口地址；
    将所述低维特征向量根据得到的所述入口地址***所述分段索引表中以建立分段索引表。
  6. 根据权利要求1所述的方法，其特征在于，通过将查询图像的分段后的低维特征向量在所述分段索引表中进行检索得到候选样本集的步骤包括：
    通过访问查询图像的所述分段后的低维特征向量的入口地址，得到冲突集；
    将与所述查询图像的分段后的低维特征向量的指纹值相同的所述冲突集节点对应的所述低维特征向量提取出来，作为候选集；
    把各个分段检索得到的所述候选集合并起来，去掉其中重复的所述低维特征向量，得到候选样本集。
  7. 根据权利要求1所述的方法，其特征在于，将所述候选样本集中的样本分别与所述查询图像的低维特征向量进行相似度量包括：
    分别计算所述候选样本集中的每个样本与所述查询图像的低维特征向量之间的曼哈顿距离得分；
    将所述得分按照从小到大排序，并取前预定个数的得分对应的样本的图像作为所述查询图像的相似图像。
  8. 一种图像高维特征的相似比较装置，其特征在于，包括：
    特征降维模块，用于将所提取的图像特征向量通过局部敏感哈希算法进行降维处理后得到低维特征向量；
    分段索引模块，用于将所述低维特征向量平均分段并建立分段索引表；
    相似查询模块，用于通过将查询图像的分段后的低维特征向量在所述分段索引表中进行检索得到候选样本集；
    比较度量模块，用于将所述候选样本集中的样本分别与所述查询图像的低维特征向量进行相似度量。
  9. 根据权利要求8所述的装置，其特征在于，所述图像特征向量是利用深度学习技术构建神经网络来提取的。
  10. 根据权利要求9所述的装置，其特征在于，所述神经网络为卷积神经网络。
  11. 根据权利要求8所述的装置，其特征在于，所述分段索引模块在将所述低维特征向量平均分段之前，还用于：
    在一个较小的验证集上通过实验确定最优的分段长度。
  12. 根据权利要求8所述的装置，其特征在于，所述分段索引模块还用于：
    将所述低维特征向量平均分段，以分段后的特征向量作为索引项，并计算每个索引项的指纹值；
    将所述指纹值对与所述分段索引表包含的预定的入口个数最接近的素数进行取余运算，得到所述索引项的入口地址；
    将所述低维特征向量根据得到的所述入口地址***所述分段索引表中以建立分段索引表。
  13. 根据权利要求8所述的装置，其特征在于，所述相似查询模块还用于：
    通过访问查询图像的所述分段后的低维特征向量的入口地址，得到冲突集；
    将与所述查询图像的分段后的低维特征向量的指纹值相同的所述冲突集节点对应的所述低维特征向量提取出来，作为候选集；
    把各个分段检索得到的所述候选集合并起来，去掉其中重复的所述低维特征向量，得到候选样本集。
  14. 根据权利要求8所述的装置，其特征在于，所述比较度量模块还用于：
    分别计算所述候选样本集中的每个样本与所述查询图像的低维特征向量之间的曼哈顿距离得分；
    将所述得分按照从小到大排序，并取前预定个数的得分对应的样 本的图像作为所述查询图像的相似图像。
PCT/CN2016/089866 2015-07-23 2016-07-13 一种图像高维特征的相似比较方法及装置 WO2017012491A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/746,794 US11048966B2 (en) 2015-07-23 2016-07-13 Method and device for comparing similarities of high dimensional features of images
JP2018502395A JP6544756B2 (ja) 2015-07-23 2016-07-13 画像の高次元特徴の類似性を比較するための方法及びデバイス
RU2018106458A RU2686590C1 (ru) 2015-07-23 2016-07-13 Способ и устройство для сравнения схожих элементов высокоразмерных признаков изображений

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510436176.6A CN105095435A (zh) 2015-07-23 2015-07-23 一种图像高维特征的相似比较方法及装置
CN201510436176.6 2015-07-23

Publications (1)

Publication Number Publication Date
WO2017012491A1 true WO2017012491A1 (zh) 2017-01-26

Family

ID=54575872

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/089866 WO2017012491A1 (zh) 2015-07-23 2016-07-13 一种图像高维特征的相似比较方法及装置

Country Status (5)

Country Link
US (1) US11048966B2 (zh)
JP (1) JP6544756B2 (zh)
CN (1) CN105095435A (zh)
RU (1) RU2686590C1 (zh)
WO (1) WO2017012491A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107992892A (zh) * 2017-12-05 2018-05-04 奕响（大连）科技有限公司 一种像素灰度图片相似判定方法
CN108038436A (zh) * 2017-12-05 2018-05-15 奕响（大连）科技有限公司 一种局部像素灰度图片相似判定方法
CN109271545A (zh) * 2018-08-02 2019-01-25 深圳市商汤科技有限公司 一种特征检索方法及装置、存储介质和计算机设备
CN110209895A (zh) * 2019-06-06 2019-09-06 阿里巴巴集团控股有限公司 向量检索方法、装置和设备
CN111460088A (zh) * 2019-01-22 2020-07-28 阿里巴巴集团控股有限公司 相似文本的检索方法、装置和***
CN111581413A (zh) * 2020-04-03 2020-08-25 北京联合大学 一种面向高维图像数据检索的数据过滤方法及***
CN112307248A (zh) * 2020-11-26 2021-02-02 国网电子商务有限公司 一种图像检索方法及装置
CN113436188A (zh) * 2021-07-28 2021-09-24 北京计算机技术及应用研究所 一种利用卷积计算图像哈希值的方法
US11210555B2 (en) 2017-03-17 2021-12-28 Beijing Jingdong Shangke Information Technology Co., Ltd. High-dimensional image feature matching method and device
CN114445811A (zh) * 2022-01-30 2022-05-06 北京百度网讯科技有限公司 一种图像处理方法、装置及电子设备
CN114978783A (zh) * 2022-08-02 2022-08-30 暗链科技(深圳)有限公司 零知识身份验证方法、验证客户端、用户客户端及***
CN115357747A (zh) * 2022-10-18 2022-11-18 山东建筑大学 一种基于序数哈希的图像检索方法及***

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105095435A (zh) 2015-07-23 2015-11-25 北京京东尚科信息技术有限公司 一种图像高维特征的相似比较方法及装置
CN105512273A (zh) * 2015-12-03 2016-04-20 中山大学 一种基于可变长深度哈希学习的图像检索方法
CN105721933A (zh) * 2016-03-23 2016-06-29 Tcl集团股份有限公司 广告视频信息库的创建方法、广告视频识别方法及装置
CN105844667A (zh) * 2016-03-25 2016-08-10 中国矿业大学 一种紧凑颜色编码的结构化目标跟踪方法
CN107423309A (zh) * 2016-06-01 2017-12-01 国家计算机网络与信息安全管理中心 基于模糊哈希算法的海量互联网相似图片检测***及方法
CN106227851B (zh) * 2016-07-29 2019-10-01 汤一平 基于深度卷积神经网络的分层深度搜索的图像检索方法
CN108629233A (zh) * 2017-03-20 2018-10-09 华为技术有限公司 一种行人检索方法及装置
CN107220325A (zh) * 2017-05-22 2017-09-29 华中科技大学 一种基于卷积神经网络的app相似图标检索方法和***
CN107273471A (zh) * 2017-06-07 2017-10-20 国网上海市电力公司 一种基于Geohash的二元电力时序数据索引构建方法
CN110019905B (zh) * 2017-10-13 2022-02-01 北京京东尚科信息技术有限公司 信息输出方法和装置
CN108876864B (zh) * 2017-11-03 2022-03-08 北京旷视科技有限公司 图像编码、解码方法、装置、电子设备及计算机可读介质
CN108021693A (zh) * 2017-12-18 2018-05-11 北京奇艺世纪科技有限公司 一种图像检索方法和装置
CN109416689B (zh) * 2018-01-16 2021-08-03 深圳力维智联技术有限公司 海量特征向量数据的相似检索方法及设备、存储介质
CN108959441A (zh) * 2018-06-13 2018-12-07 新华智云科技有限公司 一种基于局部敏感哈希的近相似快速查找方法
CN109165307B (zh) * 2018-09-19 2021-02-02 腾讯科技（深圳）有限公司 一种特征检索方法、装置和存储介质
CN111126102A (zh) * 2018-10-30 2020-05-08 富士通株式会社 人员搜索方法、装置及图像处理设备
CN110149529B (zh) * 2018-11-01 2021-05-28 腾讯科技（深圳）有限公司 媒体信息的处理方法、服务器及存储介质
CN109543057A (zh) * 2018-11-20 2019-03-29 广州逗号智能零售有限公司 基于智能收银台的商品识别方法、装置、设备及存储介质
CN109582674B (zh) * 2018-11-28 2023-12-22 亚信科技（南京）有限公司 一种数据存储方法及***
CN109753576A (zh) * 2018-12-25 2019-05-14 上海七印信息科技有限公司 一种相似图像检索方法
CN111506756B (zh) * 2019-01-30 2024-05-17 北京京东尚科信息技术有限公司 相似图片的查找方法及***、电子设备、存储介质
US10810726B2 (en) 2019-01-30 2020-10-20 Walmart Apollo, Llc Systems and methods for detecting content in images using neural network architectures
US10922584B2 (en) 2019-01-30 2021-02-16 Walmart Apollo, Llc Systems, methods, and techniques for training neural networks and utilizing the neural networks to detect non-compliant content
CN110059634B (zh) * 2019-04-19 2023-04-18 山东博昂信息科技有限公司 一种大场景人脸抓拍方法
KR20210033774A (ko) 2019-09-19 2021-03-29 삼성전자주식회사 이미지 분석 방법 및 이를 수행하는 전자 장치
CN111143597B (zh) * 2019-12-13 2023-06-20 浙江大华技术股份有限公司 图像检索方法、终端及存储装置
CN111008301B (zh) * 2019-12-19 2023-08-15 新华智云科技有限公司 一种以图搜视频的方法
CN111191058B (zh) * 2019-12-27 2023-08-29 青岛海洋科技中心 一种图片检索方法
US11758069B2 (en) 2020-01-27 2023-09-12 Walmart Apollo, Llc Systems and methods for identifying non-compliant images using neural network architectures
CN111325245B (zh) * 2020-02-05 2023-10-17 腾讯科技（深圳）有限公司 重复图像识别方法、装置、电子设备及计算机可读存储介质
CN111324760B (zh) * 2020-02-19 2023-09-26 创优数字科技(广东)有限公司 一种图像检索方法及装置
CN111738194B (zh) * 2020-06-29 2024-02-02 深圳力维智联技术有限公司 一种用于人脸图像相似性的评价方法和装置
CN111737586B (zh) * 2020-08-19 2020-12-04 腾讯科技（深圳）有限公司 信息推荐方法、装置、设备及计算机可读存储介质
CN112100412B (zh) * 2020-09-01 2024-04-12 深圳市欢太科技有限公司 图片检索方法、装置、计算机设备和存储介质
CN112000940B (zh) * 2020-09-11 2022-07-12 支付宝(杭州)信息技术有限公司 一种隐私保护下的用户识别方法、装置以及设备
CN112417381B (zh) * 2020-12-11 2021-06-22 中国搜索信息科技股份有限公司 应用于图像版权保护的快速定位侵权图像的方法及装置
JP7200279B2 (ja) * 2021-03-03 2023-01-06 三菱電機インフォメーションシステムズ株式会社 検知装置、検知方法、検知プログラム及び検知システム
CN113127515A (zh) * 2021-04-12 2021-07-16 中国电力科学研究院有限公司 面向电网的调控数据高速缓存方法、装置、计算机设备和存储介质
CN114595350B (zh) * 2021-12-08 2024-04-26 拓尔思信息技术股份有限公司 一种百亿级图像快速搜索的方法
CN114795468B (zh) * 2022-04-19 2022-11-15 首都医科大学附属北京天坛医院 一种血管内治疗的术中导航方法及其***
CN114943090B (zh) * 2022-07-22 2022-11-22 图灵人工智能研究院（南京）有限公司 一种基于同态加密大规模人脸库隐匿查询的方法
CN117390013A (zh) * 2023-09-12 2024-01-12 博瀚智能(深圳)有限公司 数据存储方法、检索方法、***、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345496A (zh) * 2013-06-28 2013-10-09 新浪网技术(中国)有限公司 多媒体信息检索方法和***
CN104050247A (zh) * 2014-06-04 2014-09-17 上海美琦浦悦通讯科技有限公司 实现海量视频快速检索的方法
CN104572804A (zh) * 2013-10-24 2015-04-29 Tcl集团股份有限公司 一种视频物体检索的方法及其***
CN105095435A (zh) * 2015-07-23 2015-11-25 北京京东尚科信息技术有限公司 一种图像高维特征的相似比较方法及装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7353224B2 (en) * 2001-12-04 2008-04-01 Hewlett-Packard Development Company, L.P. System and method for efficiently finding near-similar images in massive databases
US20070276733A1 (en) * 2004-06-23 2007-11-29 Frank Geshwind Method and system for music information retrieval
US7657126B2 (en) * 2005-05-09 2010-02-02 Like.Com System and method for search portions of objects in images and features thereof
CN101710334B (zh) * 2009-12-04 2012-01-25 大连理工大学 基于图像哈希的大规模图像库检索方法
US20110142335A1 (en) * 2009-12-11 2011-06-16 Bernard Ghanem Image Comparison System and Method
US8488883B2 (en) * 2009-12-28 2013-07-16 Picscout (Israel) Ltd. Robust and efficient image identification
US8515964B2 (en) * 2011-07-25 2013-08-20 Yahoo! Inc. Method and system for fast similarity computation in high dimensional space
RU2480831C1 (ru) * 2011-11-24 2013-04-27 Общество с ограниченной ответственностью "КБК Групп" Способ выборки изображений из базы изображений
US9208219B2 (en) 2012-02-09 2015-12-08 Stroz Friedberg, LLC Similar document detection and electronic discovery
US20150169644A1 (en) * 2013-01-03 2015-06-18 Google Inc. Shape-Gain Sketches for Fast Image Similarity Search
CN103440292B (zh) * 2013-08-16 2016-12-28 新浪网技术(中国)有限公司 基于比特向量的多媒体信息检索方法和***
US9412031B2 (en) 2013-10-16 2016-08-09 Xerox Corporation Delayed vehicle identification for privacy enforcement
JP6211407B2 (ja) * 2013-12-06 2017-10-11 株式会社デンソーアイティーラボラトリ 画像検索システム、画像検索装置、検索サーバ装置、画像検索方法、及び画像検索プログラム
CN104035949B (zh) * 2013-12-10 2017-05-10 南京信息工程大学 一种基于局部敏感哈希改进算法的相似性数据检索方法
US11100073B2 (en) * 2015-11-12 2021-08-24 Verizon Media Inc. Method and system for data assignment in a distributed system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345496A (zh) * 2013-06-28 2013-10-09 新浪网技术(中国)有限公司 多媒体信息检索方法和***
CN104572804A (zh) * 2013-10-24 2015-04-29 Tcl集团股份有限公司 一种视频物体检索的方法及其***
CN104050247A (zh) * 2014-06-04 2014-09-17 上海美琦浦悦通讯科技有限公司 实现海量视频快速检索的方法
CN105095435A (zh) * 2015-07-23 2015-11-25 北京京东尚科信息技术有限公司 一种图像高维特征的相似比较方法及装置

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11210555B2 (en) 2017-03-17 2021-12-28 Beijing Jingdong Shangke Information Technology Co., Ltd. High-dimensional image feature matching method and device
CN107992892A (zh) * 2017-12-05 2018-05-04 奕响（大连）科技有限公司 一种像素灰度图片相似判定方法
CN108038436A (zh) * 2017-12-05 2018-05-15 奕响（大连）科技有限公司 一种局部像素灰度图片相似判定方法
CN109271545A (zh) * 2018-08-02 2019-01-25 深圳市商汤科技有限公司 一种特征检索方法及装置、存储介质和计算机设备
CN111460088A (zh) * 2019-01-22 2020-07-28 阿里巴巴集团控股有限公司 相似文本的检索方法、装置和***
CN110209895A (zh) * 2019-06-06 2019-09-06 阿里巴巴集团控股有限公司 向量检索方法、装置和设备
CN110209895B (zh) * 2019-06-06 2023-09-05 创新先进技术有限公司 向量检索方法、装置和设备
CN111581413B (zh) * 2020-04-03 2023-02-28 北京联合大学 一种面向高维图像数据检索的数据过滤方法及***
CN111581413A (zh) * 2020-04-03 2020-08-25 北京联合大学 一种面向高维图像数据检索的数据过滤方法及***
CN112307248A (zh) * 2020-11-26 2021-02-02 国网电子商务有限公司 一种图像检索方法及装置
CN112307248B (zh) * 2020-11-26 2023-11-03 国网数字科技控股有限公司 一种图像检索方法及装置
CN113436188A (zh) * 2021-07-28 2021-09-24 北京计算机技术及应用研究所 一种利用卷积计算图像哈希值的方法
CN113436188B (zh) * 2021-07-28 2023-02-03 北京计算机技术及应用研究所 一种利用卷积计算图像哈希值的方法
CN114445811A (zh) * 2022-01-30 2022-05-06 北京百度网讯科技有限公司 一种图像处理方法、装置及电子设备
CN114978783A (zh) * 2022-08-02 2022-08-30 暗链科技(深圳)有限公司 零知识身份验证方法、验证客户端、用户客户端及***
CN114978783B (zh) * 2022-08-02 2022-11-11 暗链科技(深圳)有限公司 零知识身份验证方法、验证客户端、用户客户端及***
CN115357747A (zh) * 2022-10-18 2022-11-18 山东建筑大学 一种基于序数哈希的图像检索方法及***
CN115357747B (zh) * 2022-10-18 2024-03-26 山东建筑大学 一种基于序数哈希的图像检索方法及***

Also Published As

Publication number Publication date
JP2018527656A (ja) 2018-09-20
US11048966B2 (en) 2021-06-29
CN105095435A (zh) 2015-11-25
JP6544756B2 (ja) 2019-07-17
US20180349735A1 (en) 2018-12-06
RU2686590C1 (ru) 2019-04-29

Similar Documents

Publication Publication Date Title
WO2017012491A1 (zh) 一种图像高维特征的相似比较方法及装置
CN106777318B (zh) 基于协同训练的矩阵分解跨模态哈希检索方法
Liu et al. Collaborative hashing
WO2020207074A1 (zh) 一种信息推送的方法及设备
CN106570141B (zh) 近似重复图像检测方法
US11727053B2 (en) Entity recognition from an image
US8868569B2 (en) Methods for detecting and removing duplicates in video search results
CN109710792B (zh) 一种基于索引的快速人脸检索***应用
WO2023108980A1 (zh) 基于文本对抗样例的信息推送方法及装置
Xie et al. Fast and accurate near-duplicate image search with affinity propagation on the ImageWeb
CN110334290B (zh) 一种基于MF-Octree的时空数据快速检索方法
CN110134965B (zh) 用于信息处理的方法、装置、设备和计算机可读存储介质
CN110069713B (zh) 一种基于用户上下文感知的个性化推荐方法
Liu et al. An image-based near-duplicate video retrieval and localization using improved edit distance
CN113239159B (zh) 基于关系推理网络的视频和文本的跨模态检索方法
CN111339784A (zh) 一种新话题的自动挖掘方法和***
CN112836008B (zh) 基于去中心化存储数据的索引建立方法
CN113918807A (zh) 数据推荐方法、装置、计算设备及计算机可读存储介质
CN106599305B (zh) 一种基于众包的异构媒体语义融合方法
US10824811B2 (en) Machine learning data extraction algorithms
CN116340551A (zh) 一种相似内容确定方法和装置
CN115098728A (zh) 视频检索方法及装置
JP2011159100A (ja) 逐次類似文書検索装置、逐次類似文書検索方法およびプログラム
Ozan et al. M-pca binary embedding for approximate nearest neighbor search
CN111191058A (zh) 一种图片检索方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16827182

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018502395

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2018106458

Country of ref document: RU

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC , EPO FORM 1205A DATED 05.04.18.

122 Ep: pct application non-entry in european phase

Ref document number: 16827182

Country of ref document: EP

Kind code of ref document: A1