CN111767419B - 图片搜索方法、装置、设备及计算机可读存储介质 - Google Patents
图片搜索方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111767419B CN111767419B CN201910427816.5A CN201910427816A CN111767419B CN 111767419 B CN111767419 B CN 111767419B CN 201910427816 A CN201910427816 A CN 201910427816A CN 111767419 B CN111767419 B CN 111767419B
- Authority
- CN
- China
- Prior art keywords
- pictures
- picture
- searched
- features
- dimensional vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 239000013598 vector Substances 0.000 claims abstract description 154
- 238000001914 filtration Methods 0.000 claims abstract description 21
- 238000012216 screening Methods 0.000 claims abstract description 17
- 238000013139 quantization Methods 0.000 claims description 53
- 238000004590 computer program Methods 0.000 claims description 12
- 238000007667 floating Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 7
- 239000000523 sample Substances 0.000 claims 1
- 239000000758 substrate Substances 0.000 claims 1
- 238000004364 calculation method Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000007781 pre-processing Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000013145 classification model Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Library & Information Science (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种图片搜索方法、装置、设备及计算机可读存储介质。本发明实施例的方法，通过先根据待搜索图片的类型确定与待搜索图片的类型对应的待匹配图片作为待匹配的对象图片，缩小了图片搜索的范围；根据待搜索图片的高维向量特征，确定N个聚类中与所述待搜索图片的高维向量特征相似度最高的至少一个聚类；先通过图片的量化特征，对至少一个聚类中的待匹配图片进行过滤，筛选出与待搜索图片的量化特征相似度较高的目标图片集，通过图片的高维向量特征进行图片相似度计算得到目标图片，提高了图片间匹配搜索的效率，在给定的搜索时长下完成更大数量的图片匹配搜索，提高了图片搜索的召回率。
Description
技术领域
本发明实施例涉及图片搜索技术领域，尤其涉及一种图片搜索方法、装置、设备及计算机可读存储介质。
背景技术
目前常用的图片搜索技术，一般利用训练好的深度神经网络模型提取出海量图片的高维向量特征，然后对图片的高维向量特征聚类成N类，将图片的高位向量特征或者对其利用乘积量化(Product Quantization，简称PQ)等技术损失一定的精度压缩后的特征，作为索引值，针对每一类建立一个索引列表。
在进行图片搜索时，首先提取出待搜索的图片的高维向量特征，并计算其与N个聚类中心的距离，并确定与其距离最近的M各聚类中心对应的M个索引列表，选择性地遍历这M个聚类中心对应的M个倒排索引列表，返回与待搜索的图片的高维向量特征距离最近的K张图片，也即得到与待搜索图片最相似的，K张图片。
基于上述图片搜索方法，若将图片的高位向量特征作为索引值，由于计算高维向量特征的距离非常耗费资源，在较短的设定时间内，一般只能遍历搜索最近的少数几个聚类中心所对应的索引列表，不能遍历搜索很多的索引列表，对于大规模上亿，十亿以上规模的数据索引来说，利用有限的服务器在有限时间内是搜索不全的，图片搜索的效率和召回率均很低。另外，若将对图片的高位向量特征损失一定的精度压缩后的特征作为索引值，因为压缩后的索引值有一定的精度损失，会有一些不太相似的图片被搜索出来，同样导致图片搜索的召回率低。
发明内容
本发明实施例提供一种图片搜索方法、装置、设备及计算机可读存储介质，用以解决现有的图片搜索方法的效率和召回率低的问题。
本发明实施例的一个方面是提供一种图片搜索方法，包括：
获取与待搜索图片的类型对应的待匹配图片的高维向量特征、量化特征、以及对所述待匹配图片的高维向量特征聚类成的N个聚类，其中N为正整数；
根据所述待搜索图片的高维向量特征，确定与所述待搜索图片的高维向量特征的相似度最高的至少一个聚类；
根据所述待搜索图片的量化特征，对所述至少一个聚类中的待匹配图片进行过滤，得到目标图片集；
根据所述待搜索图片的高维向量特征，确定所述目标图片集中与所述待搜索图片对应的目标图片。
本发明实施例的另一个方面是提供一种图片搜索装置，包括：
数据获取模块，用于获取与待搜索图片的类型对应的待匹配图片的高维向量特征、量化特征、以及对所述待匹配图片的高维向量特征聚类成的N个聚类；
聚类搜索模块，用于根据所述待搜索图片的高维向量特征，确定与所述待搜索图片的高维向量特征的相似度最高的至少一个聚类；
量化特征过滤模块，用于根据所述待搜索图片的量化特征，对所述至少一个聚类中的待匹配图片进行过滤，得到目标图片集；
高维向量特征搜索处理模块，用于根据所述待搜索图片的高维向量特征，确定所述目标图片集中与所述待搜索图片对应的目标图片。
本发明实施例的另一个方面是提供一种图片搜索设备，包括：
存储器，处理器，以及存储在所述存储器上并可在所述处理器上运行的计算机程序，
所述处理器运行所述计算机程序时实现上述所述的图片搜索方法。
本发明实施例的另一个方面是提供一种计算机可读存储介质，存储有计算机程序，
所述计算机程序被处理器执行时实现上述所述的图片搜索方法。
本发明实施例提供的图片搜索方法、装置、设备及计算机可读存储介质，通过在进行图片搜索时，首先根据待搜索图片的类型，确定与待搜索图片的类型对应的待匹配图片，作为待匹配的对象图片，缩小了图片搜索的范围；然后在与待搜索图片的类型对应的N个聚类中，根据所述待搜索图片的高维向量特征，确定与所述待搜索图片的高维向量特征相似度最高的至少一个聚类；由于量化向量间相似度计算比高维向量特征间相似度计算的效率更高，先通过图片的量化特征，对至少一个聚类中的待匹配图片进行过滤，过滤掉与待搜索图片的量化特征差异度较大、或者相似度较低的图片，筛选出与待搜索图片的量化特征相似度较高的图片，得到目标图片集，再通过图片的高维向量特征进行图片相似度的计算，得到目标图片，大大提交了图片间的匹配搜索效率，在给定的搜索时长下，可以完成更大数量的图片匹配搜索，从而可以提高图片搜索的召回率。
附图说明
图1为本发明实施例一提供的图片搜索方法流程图；
图2为本发明实施例二提供的图片搜索方法流程图；
图3为本发明实施例二提供的改进的NASNET模型的示意图；
图4为本发明实施例二提供的搜索效果的示意图；
图5为本发明实施例三提供的图片搜索装置的结构示意图；
图6为本发明实施例五提供的图片搜索设备的结构示意图。
通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明实施例构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明实施例的一些方面相一致的装置和方法的例子。
本发明实施例所涉及的术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。在以下各实施例的描述中，“多个”的含义是两个以上，除非另有明确具体的限定。
下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
实施例一
图1为本发明实施例一提供的图片搜索方法流程图。本发明实施例针对现有的图片搜索方法的效率和召回率低的问题，提供了图片搜索方法。
本实施例中的方法应用于图片搜索设备，该图片搜索设备可以是智能手机、平板电脑等移动终端，也可以是进行图片搜索的各平台的服务器设备等，在其他实施例中，该方法还可应用于其他设备，本实施例以图片搜索设备为例进行示意性说明。
如图1所示，该方法具体步骤如下：
步骤S101、获取与待搜索图片的类型对应的待匹配图片的高维向量特征、量化特征、以及对待匹配图片的高维向量特征聚类成的N个聚类，其中N为正整数。
本实施例提供的图片搜索方法可以应用于同一款商品的图片的搜索，对于给定的一个待搜索图片，图片搜索设备可以从后台的商品图片库中搜索出与给定的待搜索图片属于同一款商品的图片。
本实施例中，预先将图片库中的所有图片进行分类，为不同类型的图片标注不同的类型信息。
可选的，可以按照图片对应商品的分类，确定图片的类型。例如，图片的类型可以包括：服装，家电，食品，图书，等等。
另外，图片的类型可以包括一级分类或者多级分类，本实施例此处不做具体限定。例如，图片的类型还可以包括二级分类：服装-上衣，服装-裤子，服装-内衣，家电-电视，家电-洗衣机，家电-冰箱，等等。
在进行图片搜索时，可以根据待搜索图片的类型，从图片库中确定与待搜索图片为同一类型的图片，作为与待搜索图片的类型对应的待匹配图片，获取这些待匹配图片的高维向量特征、量化特征、以及对这些待匹配图片的高维向量特征聚类成的N个聚类。
优选地，在进行图片搜索之前，图片搜索设备可以预先生成图片库中待匹配的所有图片的高维向量特征和量化特征，并根据待匹配的所有图片的类型，对同一类型的图片的高维向量特征进行聚类，得到每种类型的待匹配图片对应的N个聚类；并在本地存储待匹配的所有图片的高维向量特征和量化特征，以及每种类型的待匹配图片对应的N个聚类，以便于在进行图片搜索时，直接从本地已存储的数据中获取与待搜索图片为同一类型的待匹配图片的高维向量特征、量化特征、以及对应的N个聚类，可以提高图片搜索的效率。
步骤S102、根据待搜索图片的高维向量特征，确定与所述待搜索图片的高维向量特征的相似度最高的至少一个聚类。
在获取到与待搜索图片为同一类型的待匹配图片的高维向量特征、量化特征、以及对应的N个聚类之后，该步骤中，根据待搜索图片的高维向量特征，分别计算这些聚类与待搜索图片的高维向量特征的相似度，并确定与待搜索图片的高维向量特征的相似度最高的至少一个聚类。
可选的，所述聚类与所述待搜索图片的高维向量特征的相似度，根据聚类的中心与所述待搜索图片的高维向量特征间的距离确定。若聚类的中心与所述待搜索图片的高维向量特征间的距离越小，则该聚类与所述待搜索图片的高维向量特征的相似度越高。
其中，确定与待搜索图片的高维向量特征的相似度最高的聚类的数量可以根据图片搜索设备的性能、预先设定的图片搜索时间、以及各聚类中的图片数量进行设定，可以根据搜索图片的不同动态变化，本实施例此处不做具体限定。
步骤S103、根据待搜索图片的量化特征，对至少一个聚类中的待匹配图片进行过滤，得到目标图片集。
可选的，图片的量化特征可以是二进制特征等，相对于图片的高维向量特征，计算量化特征的相似度比计算高维向量特征所需耗费的资源更少、效率更高。
该步骤中，首先根据待搜索图片的量化特征，对至少一个聚类中的待匹配图片进行过滤，过滤掉与待搜索图片的量化特征差异度较大、或者相似度较低的图片，筛选出与待搜索图片的量化特征相似度较高的图片，这些与待搜索图片的量化特征相似度较高的图片构成目标图片集。
可选的，该步骤的一种可行的实现方式如下：
根据待搜索图片的量化特征，计算至少一个聚类中的待匹配图片与待搜索图片的第一相似度；筛选出第一相似度满足预设筛选条件的图片，得到目标图片集。
其中，预设筛选条件可以为大于或者等于第一预设相似度值等，第一预设相似度值可以由技术人员根据实际应用场景和经验进行设定，此处不做具体限定。另外，预设筛选条件还可以由技术人员设定的其他筛选规则，本实施例此处不做具体限定。
可选的，该步骤的另一种可行的实现方式如下：
根据待搜索图片的量化特征，计算至少一个聚类中的待匹配图片与待搜索图片的差异度；过滤掉差异度大于预设差异度阈值的图片，保留差异度小于或者等于预设差异度阈值的图片，得到目标图片集。
其中，预设差异度阈值可以由技术人员根据实际应用场景和经验进行设定，此处不做具体限定。
步骤S104、根据待搜索图片的高维向量特征，确定目标图片集中与待搜索图片对应的目标图片。
对于根据待搜索图片的量化特征对至少一个聚类中的待匹配图片进行过滤，得到目标图片集，根据待搜索图片的高维向量特征，计算目标图片集中的各图片与待搜索图片的相似度，并将与待搜索图片的相似度大于预设相似度阈值的图片，作为与待搜索图片对应的目标图片。
本发明实施例通过在进行图片搜索时，首先根据待搜索图片的类型，确定与待搜索图片的类型对应的待匹配图片，作为待匹配的对象图片，缩小了图片搜索的范围；然后在与待搜索图片的类型对应的N个聚类中，根据待搜索图片的高维向量特征，确定与所述待搜索图片的高维向量特征相似度最高的至少一个聚类；由于量化向量间相似度计算比高维向量特征间相似度计算的效率更高，先通过图片的量化特征，对至少一个聚类中的待匹配图片进行过滤，过滤掉与待搜索图片的量化特征差异度较大、或者相似度较低的图片，筛选出与待搜索图片的量化特征相似度较高的图片，得到目标图片集，再通过图片的高维向量特征进行图片相似度的计算，得到目标图片，大大提交了图片间的匹配搜索效率，在给定的搜索时长下，可以完成更大数量的图片匹配搜索，从而可以提高图片搜索的召回率。
实施例二
图2为本发明实施例二提供的图片搜索方法流程图；图3为本发明实施例二提供的改进的NASNET模型的示意图；图4为本发明实施例二提供的搜索效果的示意图。在上述实施例一的基础上，本实施例中，根据待搜索图片的量化特征，对至少一个聚类中的待匹配图片进行过滤，得到目标图片集，包括：根据待搜索图片的量化特征，计算至少一个聚类中的待匹配图片与待搜索图片的量化特征的汉明距离；筛选出与待搜索图片的量化特征的汉明距离小于或者等于汉明距离阈值的图片，得到目标图片集。
如图2所示，该方法具体步骤如下：
步骤S201、获取并存储待匹配的所有图片的高维向量特征、量化特征、以及类型。
其中，图片的高维向量特征可以是整型数特征或者是浮点数特征，可以采用现有技术中任意一种用于提取图片的高维向量特征的深度神经网络模型计算得到，本实施例此处不再赘述。
例如，高维向量特征可以是通过VGG模型(Visual Geometry Group Network，VGGNet)提取的高维浮点数特征；图片的量化特征可以是二进制特征、或者其他对高维向量特征经压缩或者量化处理得到的特征，相对于图片的高维向量特征，计算量化特征的相似度比计算高维向量特征所需耗费的资源更少、效率更高。
具体的，量化特征可以是通过改进的NASNET模型提取的图片的二进制特征。本实施例中的改进的NASNET模型为在NASNET模型的输出层之前、增加用于进行二进制量化的全连接层，增加的全连接层用于将NASNET模型的输出层之前得到的高维浮点数特征转化为二进制特征。由于二进制特征为二进制比特位，通过计算二进制特征的汉明距离衡量图片特征间的差异度，计算速度比计算高维浮点数特征的相似度快很多，可以在降低资源消耗的情况下提高召回率。
如图3所示，NASNET模型由卷积神经网络(Convolutional Neural Networks,CNN)，用于计算4032维浮点数特征的全连接层(如图3中的“4032floats”所示的层)和有n个输出节点的输出层(如图3中的“n nodes”所示的层)组成，其中n为正整数，本实施例中对n的值不做具体限定。而改进的NASNET模型为在NASNET模型的输出层之前增加了一个全连接层(如图3中的“4096bit”所示的层)，增加的全连接层用于将NASNET模型的输出层之前得到的4032维浮点数特征转化为4096维的二进制特征。
NASNET模型用于进行图片分类，在确定改进的NASNET模型的结构之后，改进的NASNET模型也可以用于进行图片分类。在确定改进的NASNET模型的结构之后，将图片库中已经标注了类型的图片作为训练样本，对改进的NASNET模型进行分类训练，使得训练后得到的改进的NASNET模型能够准确地确定图片的类型，在此训练过程中，同时可以完成对增加的用于进行二进制量化的全连接层的输出参数进行0-1量化的分类训练；训练完成后最终得到改进的NASNET模型。
通过改进的NASNET模型对图片进行处理，由改进的NASNET模型的输出层之前的全连接层输出的特征作为图片的二进制特征。
本实施例中，以高维向量特征为通过VGG模型提取的高维浮点数特征，量化特征是通过改进的NASNET模型提取的图片的二进制特征为例，进行示例性地说明。
本实施例中，在进行图片搜索之前，图片搜索设备首先完成以下数据预处理的过程：
图片搜索设备预先提取待匹配的所有图片的高维向量特征，并将所有图片的高维向量特征存储为离线数据；图片搜索设备预先提取待匹配的所有图片的量化特征，并将所有图片的量化特征存储为离线数据；图片搜索设备预先获取待匹配的所有图片的类型，并将所有图片的类型存储为离线数据；以便后续进行图片搜索的过程中在线使用这些数据。
步骤S202、根据待匹配的所有图片的类型，对同一类型的图片的高维向量特征进行聚类，得到每种类型的待匹配图片对应的N个聚类，并存储每种类型的待匹配图片对应的N个聚类。
其中，N为正整数。
在进行图片搜索之前，图片搜索设备的数据预处理的过程还包括：
根据待匹配的所有图片的类型，将具有相同类型的图片分为一类；针对每一类型的图片，对该类型的图片的高维向量特征进行聚类，得到每种类型的待匹配图片对应的N个聚类；并存储每种类型的待匹配图片对应的N个聚类。
上述步骤S201-S202为在进行图片搜索之前的数据预处理过程，在此过程中，预先获取到待匹配的所有图片的高维向量特征，量化特征，类型，以及每一类型的待匹配图片对应的N个聚类，在后续步骤S203-S208的图片搜索过程中，这些数据可以被随时读取和使用，从而可以提高图片搜索的效率。
步骤S203、根据待搜索图片的类型，从已存储数据中，获取与待搜索图片为同一类型的待匹配图片的高维向量特征、量化特征、以及对应的N个聚类。
在进行图片搜索时，首先通过图片分类模型计算待搜索图片的类型，然后根据待搜索图片的类型，从已存储数据中，获取与待搜索图片为同一类型的待匹配图片的高维向量特征，量化特征，以及对应的至少一个聚类。
具体的，本实施例中，确定待搜索图片的类型时使用的图片分类模型可以采用上述步骤S201中提供的改进的NASNET模型实现。另外，确定待搜索图片的类型时使用的图片分类模型还可以采用现有技术中其他用于进行图片分类的深度神经网络模型，本实施例此处不再赘述。
步骤S204、根据待搜索图片的高维向量特征，确定与所述待搜索图片的高维向量特征的相似度最高的至少一个聚类。
本实施例中，高维向量特征为通过VGG模型提取的高维浮点数特征。
在获取到与待搜索图片为同一类型的待匹配图片的高维向量特征、量化特征、以及对应的N个聚类之后，该步骤中，根据待搜索图片的高维向量特征，分别计算这些聚类与待搜索图片的高维向量特征的相似度，并确定与待搜索图片的高维向量特征的相似度最高的至少一个聚类。
可选的，所述聚类与所述待搜索图片的高维向量特征的相似度，根据聚类的中心与所述待搜索图片的高维向量特征间的距离确定。若聚类的中心与所述待搜索图片的高维向量特征间的距离越小，则该聚类与所述待搜索图片的高维向量特征的相似度越高。
其中，确定与待搜索图片的高维向量特征的相似度最高的聚类的数量可以根据图片搜索设备的性能、预先设定的图片搜索时间、以及各聚类中的图片数量进行设定，可以根据搜索图片的不同动态变化，本实施例此处不做具体限定。
步骤S205、根据待搜索图片的量化特征，计算至少一个聚类中的待匹配图片与待搜索图片的量化特征的汉明距离。
本实施例中，如步骤S201中所描述的，量化特征是通过改进的NASNET模型提取的图片的二进制特征；改进的NASNET模型为在NASNET模型的输出层之前、增加用于进行二进制量化的全连接层。
进一步的，根据待搜索图片的量化特征，对至少一个聚类中的待匹配图片进行过滤，得到目标图片集，可以采用步骤S205-S206实现。
该步骤S205中，首先根据待搜索图片的二进制特征，计算至少一个聚类中的待匹配图片与待搜索图片的量化特征的汉明距离，待匹配图片与待搜索图片的量化特征的汉明距离可以作为待匹配图片与待搜索图片的量化特征的差异度。
步骤S206、筛选出与待搜索图片的量化特征的汉明距离小于或者等于汉明距离阈值的图片，得到所述目标图片集。
根据与待搜索图片的量化特征的汉明距离，对至少一个聚类中的待匹配图片进行过滤，过滤掉与待搜索图片的量化特征的汉明距离大于汉明距离阈值的图片，筛选出与待搜索图片的量化特征的汉明距离小于或者等于汉明距离阈值的图片，也即是过滤掉与待搜索图片的量化特征差异度较大的图片，筛选出与待搜索图片的量化特征相似度较高的图片，得到所述目标图片集。
其中，汉明距离阈值可以由技术人员根据实际应用场景和经验进行设定，本实施例此处不做具体限定。
通过步骤S205-S206对待匹配的图片进行一次初步筛选，得到与待搜索图片的量化特征相似度较高的图片构成的目标图片集，缩小了图片搜索的范围；然后通过步骤S207-S208，使用图片的高维向量特征计算相似度，计算出相似度大于预设相似度阈值的图片，作为待搜索图片的相似图片。
步骤S207、根据待搜索图片的高维向量特征，计算目标图片集中各图片与待搜索图片的第二相似度。
可选的，两个图片的第二相似度为两个图片的高维向量特征间的距离。
步骤S208、将目标图片集中与待搜索图片的第二相似度大于预设相似度阈值的图片，作为与待搜索图片对应的目标图片。
在计算得到目标图片集中各图片与待搜索图片的第二相似度之后，比较各图片与待搜索图片的第二相似度与预设相似度阈值的大小，将与待搜索图片的第二相似度大于预设相似度阈值的图片，作为与待搜索图片对应的目标图片。
进一步的，还可以按照与待搜索图片的第二相似度的大小，对目标图片集中各图片进行排序，将与待搜索图片的第二相似度最大的至少一个图片，作为与待搜索图片对应的目标图片。
本实施例中，在以高维向量特征为通过VGG模型提取的高维浮点数特征，量化特征是通过改进的NASNET模型提取的图片的二进制特征的前提下，本实施例提供的方法与现有的方法的效果对比如图4所示，相对于现有的图片搜索方法，本实施例提供的图片搜索方法，随着搜索时间的增加，召回率提升更加明显；并且，在使用相同的搜索时间(也即耗时相同)情况下，本实施例提供的图片搜索方法的召回率明显提高。
本发明实施例通过在进行图片搜索之前，预先获取并存储待匹配的所有图片的高维向量特征，量化特征，类型，以及每一类型的待匹配图片对应的聚类，使得在进行图片搜索时，可以直接获取已存储数据，提高图片搜索的效率；另外，在进行图片搜索时，首先根据待搜索图片的类型，确定与待搜索图片的类型对应的待匹配图片，作为待匹配的对象图片，缩小了图片搜索的范围；然后在与待搜索图片的类型对应的N个聚类中，根据待搜索图片的高维向量特征，确定与所述待搜索图片的高维向量特征相似度最高的至少一个聚类；由于量化向量间相似度计算比高维向量特征间相似度计算的效率更高，先通过图片的量化特征，对至少一个聚类中的待匹配图片进行过滤，过滤掉与待搜索图片的量化特征差异度较大、或者相似度较低的图片，筛选出与待搜索图片的量化特征相似度较高的图片，得到目标图片集，再通过图片的高维向量特征进行图片相似度的计算，得到目标图片，大大提交了图片间的匹配搜索效率，在给定的搜索时长下，可以完成更大数量的图片匹配搜索，从而可以提高图片搜索的召回率。
实施例三
图5为本发明实施例三提供的图片搜索装置的结构示意图。本发明实施例提供的图片搜索装置可以执行图片搜索方法实施例提供的处理流程。如图5所示，该图片搜索装置30包括：数据获取模块301，聚类搜索模块302，量化特征过滤模块303和高维向量特征搜索处理模块304。
具体地，数据获取模块301，用于获取与待搜索图片的类型对应的待匹配图片的高维向量特征、量化特征、以及对待匹配图片的高维向量特征聚类成的N个聚类。
聚类搜索模块302，用于根据待搜索图片的高维向量特征，确定与所述待搜索图片的高维向量特征的相似度最高的至少一个聚类。
量化特征过滤模块303，用于根据待搜索图片的量化特征，对至少一个聚类中的待匹配图片进行过滤，得到目标图片集。
高维向量特征搜索处理模块304，用于根据待搜索图片的高维向量特征，确定目标图片集中与待搜索图片对应的目标图片。
可选的，量化特征过滤模块303还用于：
根据所述待搜索图片的量化特征，计算所述至少一个聚类中的待匹配图片与所述待搜索图片的第一相似度；筛选出所述第一相似度满足预设筛选条件的图片，得到所述目标图片集。
可选的，所述聚类与所述待搜索图片的高维向量特征的相似度，根据聚类的中心与所述待搜索图片的高维向量特征间的距离确定；若聚类的中心与所述待搜索图片的高维向量特征间的距离越小，则该聚类与所述待搜索图片的高维向量特征的相似度越高。
本发明实施例提供的装置可以具体用于执行上述实施例一所提供的方法实施例，具体功能此处不再赘述。
本发明实施例通过在进行图片搜索时，首先根据待搜索图片的类型，确定与待搜索图片的类型对应的待匹配图片，作为待匹配的对象图片，缩小了图片搜索的范围；然后在与待搜索图片的类型对应的N个聚类中，根据所述待搜索图片的高维向量特征，确定与所述待搜索图片的高维向量特征相似度最高的至少一个聚类；由于量化向量间相似度计算比高维向量特征间相似度计算的效率更高，先通过图片的量化特征，对至少一个聚类中的待匹配图片进行过滤，过滤掉与待搜索图片的量化特征差异度较大、或者相似度较低的图片，筛选出与待搜索图片的量化特征相似度较高的图片，得到目标图片集，再通过图片的高维向量特征进行图片相似度的计算，得到目标图片，大大提交了图片间的匹配搜索效率，在给定的搜索时长下，可以完成更大数量的图片匹配搜索，从而可以提高图片搜索的召回率。
实施例四
在上述实施例三的基础上，本实施例中，量化特征过滤模块还用于：
根据所述待搜索图片的量化特征，计算所述至少一个聚类中的待匹配图片与所述待搜索图片的量化特征的汉明距离；筛选出与所述待搜索图片的量化特征的汉明距离小于或者等于汉明距离阈值的图片，得到所述目标图片集。
可选的，量化特征是通过改进的NASNET模型提取的图片的二进制特征；改进的NASNET模型为在NASNET模型的输出层之前、增加用于进行二进制量化的全连接层。
可选的，高维向量特征搜索处理模块还用于：
根据所述待搜索图片的高维向量特征，计算所述目标图片集中各图片与所述待搜索图片的第二相似度；将目标图片集中与所述待搜索图片的第二相似度大于预设相似度阈值的图片，作为与所述待搜索图片对应的目标图片。
可选的，两个图片的所述第二相似度为两个图片的高维向量特征间的距离。
可选的，图片搜索装置还可以包括数据预处理模块，数据预处理模块与数据获取模块连接。数据预处理模块用于：
获取并存储待匹配的所有图片的高维向量特征、量化特征、以及类型；
根据待匹配的所有图片的类型，对同一类型的图片的高维向量特征进行聚类，得到每种类型的待匹配图片对应的N个聚类，并存储每种类型的待匹配图片对应的N个聚类。
可选的，数据获取模块还用于：
根据待搜索图片的类型，从已存储数据中，获取与待搜索图片为同一类型的待匹配图片的高维向量特征、量化特征、以及对应的N个聚类。
可选的，高维向量特征为通过VGG模型提取的高维浮点数特征。
本发明实施例提供的装置可以具体用于执行上述实施例二所提供的方法实施例，具体功能此处不再赘述。
本发明实施例通过在进行图片搜索之前，预先获取并存储待匹配的所有图片的高维向量特征，量化特征，类型，以及每一类型的待匹配图片对应的聚类，使得在进行图片搜索时，可以直接获取已存储数据，提高图片搜索的效率；另外，在进行图片搜索时，首先根据待搜索图片的类型，确定与待搜索图片的类型对应的待匹配图片，作为待匹配的对象图片，缩小了图片搜索的范围；然后在与待搜索图片的类型对应的N个聚类中，根据所述待搜索图片的高维向量特征，确定与所述待搜索图片的高维向量特征相似度最高的至少一个聚类；由于量化向量间相似度计算比高维向量特征间相似度计算的效率更高，先通过图片的量化特征，对至少一个聚类中的待匹配图片进行过滤，过滤掉与待搜索图片的量化特征差异度较大、或者相似度较低的图片，筛选出与待搜索图片的量化特征相似度较高的图片，得到目标图片集，再通过图片的高维向量特征进行图片相似度的计算，得到目标图片，大大提交了图片间的匹配搜索效率，在给定的搜索时长下，可以完成更大数量的图片匹配搜索，从而可以提高图片搜索的召回率。
实施例五
图6为本发明实施例五提供的图片搜索设备的结构示意图。如图6所示，该图片搜索设备40包括：处理器401，存储器402，以及存储在存储器402上并可由处理器401执行的计算机程序。
处理器401在执行存储在存储器402上的计算机程序时实现上述任一方法实施例提供的图片搜索方法。
本发明实施例通过在进行图片搜索时，首先根据待搜索图片的类型，确定与待搜索图片的类型对应的待匹配图片，作为待匹配的对象图片，缩小了图片搜索的范围；然后在与待搜索图片的类型对应的N个聚类中，根据所述待搜索图片的高维向量特征，确定与所述待搜索图片的高维向量特征相似度最高的至少一个聚类；由于量化向量间相似度计算比高维向量特征间相似度计算的效率更高，先通过图片的量化特征，对至少一个聚类中的待匹配图片进行过滤，过滤掉与待搜索图片的量化特征差异度较大、或者相似度较低的图片，筛选出与待搜索图片的量化特征相似度较高的图片，得到目标图片集，再通过图片的高维向量特征进行图片相似度的计算，得到目标图片，大大提交了图片间的匹配搜索效率，在给定的搜索时长下，可以完成更大数量的图片匹配搜索，从而可以提高图片搜索的召回率。
另外，本发明实施例还提供一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述任一方法实施例提供的图片搜索方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求书指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求书来限制。
Claims (13)
1.一种图片搜索方法，其特征在于，包括：
获取与待搜索图片的类型对应的待匹配图片的高维向量特征、量化特征、以及对所述待匹配图片的高维向量特征聚类成的N个聚类，其中N为正整数，所述量化特征为二进制特征；
根据所述待搜索图片的高维向量特征，确定与所述待搜索图片的高维向量特征的相似度最高的至少一个聚类；
根据所述待搜索图片的量化特征，对所述至少一个聚类中的待匹配图片进行过滤，得到目标图片集；
根据所述待搜索图片的高维向量特征，确定所述目标图片集中与所述待搜索图片对应的目标图片。
2.根据权利要求1所述的方法，其特征在于，所述根据所述待搜索图片的量化特征，对所述至少一个聚类中的待匹配图片进行过滤，得到目标图片集，包括：
根据所述待搜索图片的量化特征，计算所述至少一个聚类中的待匹配图片与所述待搜索图片的第一相似度；
筛选出所述第一相似度满足预设筛选条件的图片，得到所述目标图片集。
3.根据权利要求1所述的方法，其特征在于，所述根据所述待搜索图片的量化特征，对所述至少一个聚类中的待匹配图片进行过滤，得到目标图片集，包括：
根据所述待搜索图片的量化特征，计算所述至少一个聚类中的待匹配图片与所述待搜索图片的量化特征的汉明距离；
筛选出与所述待搜索图片的量化特征的汉明距离小于或者等于汉明距离阈值的图片，得到所述目标图片集。
4.根据权利要求3所述的方法，其特征在于，所述量化特征是通过改进的NASNET模型提取的图片的二进制特征；
所述改进的NASNET模型为在NASNET模型的输出层之前、增加用于进行二进制量化的全连接层。
5.根据权利要求1所述的方法，其特征在于，所述根据所述待搜索图片的高维向量特征，确定所述目标图片集中与所述待搜索图片对应的目标图片，包括：
根据所述待搜索图片的高维向量特征，计算所述目标图片集中各图片与所述待搜索图片的第二相似度；
将目标图片集中与所述待搜索图片的第二相似度大于预设相似度阈值的图片，作为与所述待搜索图片对应的目标图片。
6.根据权利要求5所述的方法，其特征在于，
两个图片的所述第二相似度为两个图片的高维向量特征间的距离。
7.根据权利要求1所述的方法，其特征在于，所述获取与待搜索图片的类型对应的待匹配图片的高维向量特征、量化特征、以及对所述待匹配图片的高维向量特征聚类成的N个聚类之前，还包括：
获取并存储待匹配的所有图片的高维向量特征、量化特征、以及类型；
根据待匹配的所有图片的类型，对同一类型的图片的高维向量特征进行聚类，得到每种类型的待匹配图片对应的N个聚类，并存储每种类型的待匹配图片对应的N个聚类。
8.根据权利要求7所述的方法，其特征在于，所述获取与待搜索图片的类型对应的待匹配图片的高维向量特征、量化特征、以及对所述待匹配图片的高维向量特征聚类成的N个聚类，包括：
根据所述待搜索图片的类型，从已存储数据中，获取与所述待搜索图片为同一类型的待匹配图片的高维向量特征、量化特征、以及对应的N个聚类。
9.根据权利要求1-8任一项所述的方法，其特征在于，
所述高维向量特征为通过VGG模型提取的高维浮点数特征。
10.根据权利要求1所述的方法，其特征在于，
所述聚类与所述待搜索图片的高维向量特征的相似度，根据聚类的中心与所述待搜索图片的高维向量特征间的距离确定；
若聚类的中心与所述待搜索图片的高维向量特征间的距离越小，则该聚类与所述待搜索图片的高维向量特征的相似度越高。
11.一种图片搜索装置，其特征在于，包括：
数据获取模块，用于获取与待搜索图片的类型对应的待匹配图片的高维向量特征、量化特征、以及对所述待匹配图片的高维向量特征聚类成的N个聚类，所述量化特征为二进制特征；
聚类搜索模块，用于根据所述待搜索图片的高维向量特征，确定与所述待搜索图片的高维向量特征的相似度最高的至少一个聚类；
量化特征过滤模块，用于根据所述待搜索图片的量化特征，对所述至少一个聚类中的待匹配图片进行过滤，得到目标图片集；
高维向量特征搜索处理模块，用于根据所述待搜索图片的高维向量特征，确定所述目标图片集中与所述待搜索图片对应的目标图片。
12.一种图片搜索设备，其特征在于，包括：
存储器，处理器，以及存储在所述存储器上并可在所述处理器上运行的计算机程序，
所述处理器运行所述计算机程序时实现如权利要求1-10中任一项所述的方法。
13.一种计算机可读存储介质，其特征在于，存储有计算机程序，
所述计算机程序被处理器执行时实现如权利要求1-10中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910427816.5A CN111767419B (zh) | 2019-05-22 | 2019-05-22 | 图片搜索方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910427816.5A CN111767419B (zh) | 2019-05-22 | 2019-05-22 | 图片搜索方法、装置、设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111767419A CN111767419A (zh) | 2020-10-13 |
| CN111767419B true CN111767419B (zh) | 2023-11-07 |
Family
ID=72718248
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910427816.5A Active CN111767419B (zh) | 2019-05-22 | 2019-05-22 | 图片搜索方法、装置、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111767419B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112418298B (zh) * | 2020-11-19 | 2021-12-03 | 北京云从科技有限公司 | 数据检索方法、装置以及计算机可读存储介质 |
| CN113312508A (zh) * | 2021-06-24 | 2021-08-27 | 深圳市商汤科技有限公司 | 一种车辆图像检索方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103294813A (zh) * | 2013-06-07 | 2013-09-11 | 北京捷成世纪科技股份有限公司 | 一种敏感图片搜索方法和装置 |
| CN105843925A (zh) * | 2016-03-23 | 2016-08-10 | 中国科学技术大学 | 一种基于改进bow算法的相似图片搜索方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7966327B2 (en) * | 2004-11-08 | 2011-06-21 | The Trustees Of Princeton University | Similarity search system with compact data structures |
| US20150169644A1 (en) * | 2013-01-03 | 2015-06-18 | Google Inc. | Shape-Gain Sketches for Fast Image Similarity Search |
-
2019
- 2019-05-22 CN CN201910427816.5A patent/CN111767419B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103294813A (zh) * | 2013-06-07 | 2013-09-11 | 北京捷成世纪科技股份有限公司 | 一种敏感图片搜索方法和装置 |
| CN105843925A (zh) * | 2016-03-23 | 2016-08-10 | 中国科学技术大学 | 一种基于改进bow算法的相似图片搜索方法 |
Non-Patent Citations (1)
| Title |
|---|
| 面向高维图像特征匹配的多次随机子向量量化哈希算法;杨恒;王庆;何周灿;;计算机辅助设计与图形学学报(第03期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111767419A (zh) | 2020-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111090807B (zh) | 一种基于知识图谱的用户识别方法及装置 | |
| CN113095370B (zh) | 图像识别方法、装置、电子设备及存储介质 | |
| WO2023108995A1 (zh) | 向量相似度计算方法、装置、设备及存储介质 | |
| CN110636445A (zh) | 基于wifi的室内定位方法、装置、设备及介质 | |
| EP4390725A1 (en) | Video retrieval method and apparatus, device, and storage medium | |
| CN111767419B (zh) | 图片搜索方法、装置、设备及计算机可读存储介质 | |
| CN111522968A (zh) | 知识图谱融合方法及装置 | |
| CN111309946B (zh) | 一种已建立档案优化方法及装置 | |
| CN111260220A (zh) | 群控设备识别方法、装置、电子设备和存储介质 | |
| CN115632874A (zh) | 一种实体对象的威胁检测方法、装置、设备及存储介质 | |
| CN110442489A (zh) | 数据处理的方法和存储介质 | |
| CN115965058A (zh) | 神经网络训练方法、实体信息分类方法、装置及存储介质 | |
| CN115062709A (zh) | 模型优化方法、装置、设备、存储介质及程序产品 | |
| CN114817651A (zh) | 数据存储方法、数据查询方法、装置和设备 | |
| CN114490923A (zh) | 相似文本匹配模型的训练方法、装置、设备及存储介质 | |
| CN115878824B (zh) | 图像检索***、方法和装置 | |
| Van et al. | Content‐based image retrieval based on binary signatures cluster graph | |
| CN110209895B (zh) | 向量检索方法、装置和设备 | |
| CN112257689A (zh) | 人脸识别模型的训练和识别方法、存储介质及相关设备 | |
| CN111737461A (zh) | 文本的处理方法、装置、电子设备及计算机可读存储介质 | |
| US20170185857A1 (en) | Offline, hybrid and hybrid with offline image recognition | |
| CN113244629B (zh) | 流失帐号的召回方法和装置、存储介质及电子设备 | |
| CN115169489A (zh) | 数据检索方法、装置、设备以及存储介质 | |
| CN114268625B (zh) | 特征选择方法、装置、设备及存储介质 | |
| CN111428767B (zh) | 数据处理方法及装置、处理器、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |