CN115129915A - 重复图像检索方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提出一种重复图像检索方法、装置、设备及存储介质，该方法包括：获取待检索图像的特征向量和第一局部特征描述子；根据预设特征索引和特征向量，获取待检索图像的预设数目个最近邻图像对应的图像标识；根据每个图像标识，分别获取每个最近邻图像的第二局部特征描述子；根据第一局部特征描述子和每个第二局部特征描述子，从每个最近邻图像中确定出与待检索图像重复的图像。本申请从大量图像中粗筛出多个最近邻图像，通过局部特征描述子匹配从中确定出重复图像，缩小检索范围，提高了检索效率。且基于用人工修改的相似图像训练的深度学习特征嵌入模型粗筛，能准确召回经人工处理的图像，提高了重复图像检索的准确性。

Description

重复图像检索方法、装置、设备及存储介质

技术领域

本申请属于图像处理技术领域，具体涉及一种重复图像检索方法、装置、设备及存储介质。

背景技术

随着移动互联网的飞速发展，各大网站越来越重视内容平台的建设。内容平台中通常具有海量的图像内容，在海量的图像中检索重复图像成为一个难题。

目前，相关技术中提供了一种重复图像的检索方法，该方法提取待检索图像的局部特征描述子，以及提取图像库中每个图像的局部特征描述子，对待检索图像的局部特征描述子与图像库中每个图像的局部特征描述子进行匹配，将匹配的局部特征描述子的个数大于阈值的图像确定为与待检索图像重复的图像。

但上述相关技术中匹配局部特征描述子的操作比较耗时，利用局部特征描述子匹配的方式从图像库包括的大量图像中检索重复图像，效率很低。

发明内容

本申请提出一种重复图像检索方法、装置、设备及存储介质，从大量图像中粗筛出多个最近邻图像，通过局部特征描述子匹配从中确定出重复图像，缩小检索范围，提高了检索效率。

本申请第一方面实施例提出了一种重复图像检索方法，包括：

获取待检索图像的特征向量和第一局部特征描述子；

根据预设特征索引和所述特征向量，获取所述待检索图像的预设数目个最近邻图像对应的图像标识；

根据每个所述图像标识，分别获取每个所述最近邻图像的第二局部特征描述子；

根据所述第一局部特征描述子和每个所述第二局部特征描述子，从每个所述最近邻图像中确定出与所述待检索图像重复的图像。

在本申请的一些实施例中，所述根据预设特征索引和所述特征向量，获取所述待检索图像的预设数目个最近邻图像对应的图像标识，包括：

在预设特征索引中检索所述特征向量的预设数目个最近邻特征向量和每个所述最近邻特征向量对应的图像编号；

根据预设图像信息库和获取的每个所述图像编号，分别确定所述待检索图像对应的每个最近邻图像的图像标识。

在本申请的一些实施例中，所述预设特征索引包括临时索引和图结构索引；所述根据预设特征索引和所述特征向量，获取所述待检索图像的预设数目个最近邻图像对应的图像标识之前，还包括：

获取待入库图像的特征向量，将所述待入库图像的特征向量存储在所述临时索引中；

在所述临时索引中当前存储的向量总数大于或等于预设数目时，将所述临时索引中存储的所有向量批量存入所述图结构索引中。

在本申请的一些实施例中，所述根据每个所述图像标识，分别获取每个所述最近邻图像的第二局部特征描述子，包括：

根据每个所述图像标识，从预设图像信息库中分别获取每个所述最近邻图像对应的描述子标识；

根据每个所述描述子标识，从预设描述子库中分别获取每个所述最近邻图像的第二局部特征描述子。

在本申请的一些实施例中，所述根据所述第一局部特征描述子和每个所述第二局部特征描述子，从每个所述最近邻图像中确定出与所述待检索图像重复的图像，包括：

将所述第一局部特征描述子分别与每个所述第二局部特征描述子进行匹配运算，确定所述第一局部特征描述子与每个所述第二局部特征描述子匹配的描述子数目；

从每个所述第二局部特征描述子中选择出匹配的描述子数目大于预设阈值的第二局部特征描述子；

将选择出的所述第二局部特征描述子对应的最近邻图像确定为与所述待检索图像重复的图像。

在本申请的一些实施例中，所述获取待检索图像的特征向量和第一局部特征描述子之前，还包括：

构建深度学习特征嵌入模型的结构；

获取训练集，所述训练集中包括多个相似图像组，所述相似图像组中包括原始图像及对所述原始图像进行变换得到的多个相似图像；

根据所述训练集对所述深度学习特征嵌入模型进行训练。

在本申请的一些实施例中，所述构建深度学习特征嵌入模型的结构，包括：

将图像编码器与距离确定模块连接；

将所述距离确定模块与损失确定模块连接。

在本申请的一些实施例中，所述根据所述训练集对所述深度学习特征嵌入模型进行训练，包括：

从所述训练集中获取多个相似图像组；

通过所述图像编码器分别提取每个所述相似图像组中每个图像的特征向量；

通过所述距离确定模块分别计算同一相似图像组中原始图像的特征向量与每个相似图像的特征向量之间的组内距离值，以及分别计算所述原始图像的特征向量与其他相似图像组中每个图像的特征向量之间的组间距离值；

从每个所述组内距离值中选择最大组内距离值，从每个所述组间距离值中选择最小组间距离值；

根据所述最大组内距离值和所述最小组间距离值，通过所述损失确定模块计算当前训练周期的损失值。

在本申请的一些实施例中，所述方法还包括：

若当前已训练周期数大于或等于预设次数，则将损失值最小的训练周期对应的模型参数和所述深度学习特征嵌入模型的结构确定为训练好的深度学习特征嵌入模型；

若当前已训练周期数小于预设次数，则根据所述当前训练周期的损失值调整模型参数，根据调整后的所述模型参数进行下一周期的训练。

在本申请的一些实施例中，所述获取待检索图像的特征向量和第一局部特征描述子，包括：

接收用户的重复图像检索请求；

若所述重复图像检索请求包括待检索图像的图像标识，则根据所述图像标识，从预设特征索引中获取所述待检索图像对应的特征向量，以及从预设描述子库中获取所述待检索图像对应的第一局部特征描述子；所述预设特征索引中的特征向量均是通过训练好的所述深度学习特征嵌入模型提取的；

若所述重复图像检索请求不包括待检索图像的图像标识，则根据所述重复图像检索请求中包括的所述待检索图像的URL，下载所述待检索图像；通过训练好的所述深度学习特征嵌入模型提取所述待检索图像的特征向量；以及，提取所述待检索图像的第一局部特征描述子。

在本申请的一些实施例中，所述方法还包括：

根据待入库图像对应的图像基本信息，获取所述待入库图像；

通过训练好的所述深度学习特征嵌入模型提取所述待入库图像的特征向量；

提取所述待入库图像的局部特征描述子；

将所述待入库图像的特征向量及所述图像基本信息包括的图像标识存储在所述预设特征索引中；

将所述待入库图像的局部特征描述子存储在预设描述子库中，获得所述待入库图像对应的描述子标识；

将所述图像基本信息和所述描述子标识存储在预设图像信息库中。

本申请第二方面的实施例提供了一种重复图像检索装置，包括：

特征获取模块，用于获取待检索图像的特征向量和第一局部特征描述子；

最近邻确定模块，用于根据预设特征索引和所述特征向量，获取所述待检索图像的预设数目个最近邻图像对应的图像标识；根据每个所述图像标识，分别获取每个所述最近邻图像的第二局部特征描述子；

重复图像确定模块，用于根据所述第一局部特征描述子和每个所述第二局部特征描述子，从每个所述最近邻图像中确定出与所述待检索图像重复的图像。

本申请第三方面的实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序以实现上述第一方面所述的方法。

本申请第四方面的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行实现上述第一方面所述的方法。

本申请实施例中提供的技术方案，至少具有如下技术效果或优点：

在本申请实施例中，根据待检索图像的特征向量及预设特征索引，从大量图像中粗筛出预设数目个最近邻图像。然后再通过局部特征描述子匹配方式从这些最近邻图像中确定出与待检索图像重复的图像。基于特征向量进行粗筛，大大减少了重复图像的检索范围，通过局部特征描述子匹配方式从数目较少的最近邻图像中检索重复图像，缩短了重复图像检索的时间，提高了重复图像的检索效率。

进一步地，基于训练的深度学习特征嵌入模型进行粗筛，粗筛出的最近邻图像中图像的重复比例高，且重复图像的排序更靠前。该深度学习特征嵌入模型是利用人工修改变换得到的相似图像进行训练的，对于任意两个近似的图像，通过深度学习特征嵌入模型提取特征向量，近似的图像的特征向量之间的距离值会很小，有利于提高最近邻图像检索的精度，且在粗筛过程中能够准确地召回经过人工处理而成的图像，提高了重复图像检索的准确性。且采取临时索引和图结构索引来存储向量，接收到待入库的向量时先将向量存入临时索引中，临时索引支持快速的向量更新，临时索引的数据量小，通过暴力检索就能够快速获得准确的检索结果。当临时索引中向量数目达到预设阈值后，将临时索引中的所有向量批量存入图结构索引中，从而实现向量的在线实时更新。图结构索引在海量数据下仍具备很好的查询性能。通过这两个索引库来分级构建索引，提高了向量入库效率实现满足业务需要的向量快速入库和查询需求。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变的明显，或通过本申请的实践了解到。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。

在附图中：

图1示出了本申请一实施例所提供的一种重复图像检索方法的流程图；

图2示出了本申请一实施例所提供的深度学习特征嵌入模型的结构示意图；

图3示出了本申请一实施例所提供的深度学习特征嵌入模型的另一结构示意图；

图4示出了本申请一实施例所提供的残差网络50包括的结构单元的示意图；

图5示出了本申请一实施例所提供的残差网络50提取图像的特征向量的示意图；

图6示出了本申请一实施例所提供的一种重复图像检索方法的流程图；

图7示出了本申请一实施例所提供的一种重复图像检索装置的结构示意图；

图8示出了本申请一实施例所提供的一种电子设备的结构示意图；

图9示出了本申请一实施例所提供的一种存储介质的示意图。

具体实施方式

下面将参照附图更详细地描述本申请的示例性实施方式。虽然附图中显示了本申请的示例性实施方式，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。

下面结合附图来描述根据本申请实施例提出的一种重复图像检索方法、装置、设备及存储介质。

目前相关技术中提出了一些重复图像检索方法。例如，基于内容的图像检索是查找与待检索图像具有相同或者相似内容的其他图像，其返回结果和重复图像检索有本质区别，内容相同或相似的图像并不一定是重复图像，该方式并不适合直接用于重复图像检索。又如，相关技术中还提出了基于局部特征描述子匹配的方法，但不同的图像抽取到的局部特征描述子的个数是不一致的，且局部特征描述子的提取及匹配需要一定的时间，在海量图像中实施该方法非常耗时，得采用复杂的优化算法做一定取舍，才能实现重复图像的实时匹配检索。相比于前述两种方法，基于感知哈希相似度的方法的主要缺点在于，同源的图像经过旋转、裁剪、添加马赛克等人工处理后就无法召回。

基于相关技术存在的上述问题，本申请实施例提供了一种重复图像检索方法，该方法通过旋转、缩放、平移、裁剪、镜像、水印、马赛克等各种人工处理操作来对图像进行变换，制作了包括多个相似图像组的训练集，利用该训练集训练了深度学习特征嵌入模型。在训练过程中考虑了属于同一相似图像组中两个图像之间的组内距离，以及考虑了属于不同相似图像组的两个图像之间的组间距离。利用该模型来提取图像的特征向量，并基于提取的特征向量来进行重复图像检索，能够使与待检索图像重复的图像在检索结果中的排序更靠前，且能够召回经人工处理修改的图像。

本申请实施例先通过上述深度学习特征嵌入模型粗筛出待检索图像对应的预设数目个最近邻图像，然后再利用局部特征描述子匹配的方式从该预设数目个最近邻图像中确定出重复图像，大大缩小了局部特征描述子匹配的图像范围，避免了直接在海量图像中应用局部特征描述子匹配，显著减少计算量，节省了计算资源。

参见图1，本申请实施例具体通过如下步骤S1-S3的操作来训练深度学习特征嵌入模型，具体包括：

S1：构建深度学习特征嵌入模型的结构。

如图2所示，将图像编码器与距离确定模块连接，将距离确定模块与损失确定模块连接。其中，图像编码器用于提取图像的特征向量。距离确定模块用于计算两个图像的特征向量之间的距离值，该距离值可以为欧氏距离、余弦距离等。损失确定模块用于根据距离确定模块确定的距离值计算每个训练周期的损失值。

由于距离确定模块是计算两个图像的特征向量之间的距离值，因此为了提高模型训练速度，还可以在深度学习特征嵌入模型的结构中设置两个相同的图像编码器，通过两个相同的图像编码器同时提取两个图像的特征向量，如图3所示，这两个相同的图像编码器均与距离确定模块连接。

在本申请实施例中，图像编码器可以为残差网络50，图4示出了残差网络50包括的结构单元，该结构单元采用ReLU(Rectified Linear Unit，线性整流函数)激活函数，该结构单元包括三个卷积层，这三个卷积层依次为卷积核为1×1、64通道的卷积层，卷积核为3×3、64通道的卷积层，以及卷积核为1×1、256通道的卷积层。残差网络50中包括很多个图4所示的结构单元，表1中给出了残差网络50的整个网络结构。

表1

如图5所示，一张图像经过残差网络50处理后提取出了128维的特征向量。本申请实施例中，图像编码器可以采用上述残差网络50，也可以采用其他任意能够提取图像的特征向量的网络，本申请实施例并不限定图像编码器所采用的具体网络，实际应用中可根据需求确定图像编码器的具体结构。

通过本步骤构建出深度学习特征嵌入模型的结构后，通过如下步骤S2和S3的操作来训练该模型。

S2：获取训练集，该训练集中包括多个相似图像组，相似图像组中包括原始图像及对原始图像进行变换得到的多个相似图像。

首先获取大量原始图像，对每个原始图像进行人工修改变换，如在原始图像中添加马赛克、贴纸、水印等，或者对原始图像进行旋转或裁剪等操作。人工修改变换后得到原始图像对应的多个相似图像。对于每个原始图像，将该原始图像及其对应的多个相似图像组成一个相似图像组。将得到的多个相似图像组组成训练集。

S3：根据该训练集对构建的深度学习特征嵌入模型进行训练。

在当前训练周期，从训练集中获取多个相似图像组。获取的相似图像组的数目可以为该深度学习特征嵌入模型的batchsize规定的批量处理数量。将获取的相似图像组输入构建的深度学习特征嵌入模型中。通过图像编码器分别提取每个相似图像组中每个图像的特征向量，将提取的每个图像的特征向量输入距离确定模块。通过距离确定模块分别计算同一相似图像组中原始图像的特征向量与每个相似图像的特征向量之间的组内距离值，以及分别计算该原始图像的特征向量与其他相似图像组中每个图像的特征向量之间的组间距离值。从每个组内距离值中选择最大组内距离值，从每个组间距离值中选择最小组间距离值。将选择出的最大组内距离值和最小组间距离值输入损失确定模块。根据该最大组内距离值和最小组间距离值，通过损失确定模块计算当前训练周期的损失值。

在本申请实施例中，损失确定模块采用公式(1)所示的三元损失函数来计算每个训练周期的损失值。

Loss＝max(d(a,p)-d(a,n)+margin,0)…(1)

在公式(1)中，Loss为损失值，该三元损失函数的输入是一个三元组<a，p，n>，a为相似图像组中的原始图像，p为与原始图像a相似的相似图像，n为与原始图像a不相似的图像，d(a,p)为最大组内距离值，d(a,n)为最小组间距离值，margin为预设界格系数。

上述三元损失函数能够使得同一相似图像组内的图像的特征向量之间的距离更小，而使属于不同相似图像组的图像的特征向量间的距离更大。上述计算的组内距离值和组间距离值均为欧式距离或余弦距离等。

为了便于理解上述训练过程，下面举例进行说明。例如，获取了5万张原始图像，每张原始图像经过随机马赛克、旋转、裁剪、贴纸、水印等操作各生成9张相似图像，总的图像数量增加到50万张。一张原始图像及其对应的9张相似图像共10张图像组成一个相似图像组。假设每个训练周期处理3个相似图像组，则每个训练周期处理30张图像。从所有相似图像组中随机挑选3个相似图像组，共30张图像。对于每张图像，通过图像编码器得到该图像的特征向量，将该图像所属的相似图像组中剩下的9张图像也通过图像编码器得到各自的特征向量，然后通过计算得到9个相似图像的特征向量与原始图像的特征向量之间最大的欧式距离，即得到d(a,p)。在其他相似图像组中找到与该原始图像的特征向量之间最小的欧式距离，即得到d(a,n)。然后通过上述公式(1)计算当前训练周期的损失值。

通过上述方式计算出当前训练周期的损失值后，还将记录的已训练周期数加一，将加一后的已训练周期数与预设次数进行比较。若当前已训练周期数大于或等于预设次数，则将损失值最小的训练周期对应的模型参数和该深度学习特征嵌入模型的结构确定为训练好的深度学习特征嵌入模型。若当前已训练周期数小于预设次数，则根据当前训练周期的损失值调整模型参数，根据调整后的模型参数，按照上述训练过程继续进行下一周期的训练，直至已训练次数达到预设次数时获得训练好的模型。上述预设次数可以为500或1000等。

通过上述方式训练出深度学习特征嵌入模型后，将其应用于本申请实施例进行重复图像检索。本申请实施例的执行主体为能够提供重复图像检索的服务器。服务器基于预设图像信息库、预设特征索引及预设描述子库等多个数据库来提供重复图像检索服务。

服务器维护一个内容图像队列，当服务器接收到需入库的图像对应的图像基本信息时，将该图像基本信息***到内容图像队列的队尾。服务器每次从内容图像队列的队首获取一定数目个图像基本信息，对获取的这些图像基本信息进行并行处理。

具体地，对于每个图像基本信息，首先根据该图像基本信息，判断该图像基本信息对应的图像是否已入库。服务器在将图像入库时都为图像分配一个唯一标识该图像的图像标识。若该图像基本信息中包括图像标识，则确定该图像基本信息对应的图像已入库，不再对其进行入库操作。若该图像基本信息中不包括图像标识，则确定该图像基本信息尚未入库。服务器首先根据该图像基本信息包括的URL下载待入库图像，为待入库图像分配图像标识，通过上述训练的深度学习特征嵌入模型提取待入库图像的特征向量。然后将待入库图像对应的图像标识及其特征向量存入预设特征索引中。在本申请实施例中，预设特征索引包括临时索引和图结构索引，临时索引以列表的形式存储特征向量，存储的特征向量数据较少，在临时索引中检索特征向量时是采用暴力检索的方式进行检索的。临时索引具有快速构建的能力，支持快速的向量更新及检索。图结构索引为通过HNSW(HierarchicalNavigable Small World graphs)算法构建的带有层级的图结构的特征索引。在图结构索引中所有的特征向量均存储在带有层级的图结构中，其中第0层的图层中包含了所有图像的特征向量，层级越高的图层中存储的特征向量数依次减少，遵循指数衰减概率分布。构建该图结构的过程中，新加入的特征向量，由指数衰减概率函数得出该特征向量对应的节点最高投影到第几层，从最高的投影层到向下的图层中该特征向量均存在，检索时自上而下依次查询每一图层的结果。

预设特征索引对待入库图像的特征向量具有实时处理的功能。对于待入库图像，服务器利用上述训练的深度学习特征嵌入模型获得待入库图像的特征向量后，将待入库图像的特征向量存储在临时索引中。在临时索引中当前存储的向量总数大于或等于预设数目时，将临时索引中存储的所有向量批量存入图结构索引中。将待入库图像的特征向量存入临时索引后，会得到一个反馈值，该反馈值为待入库图像的特征向量在临时索引中的向量编号，服务器获取当前图结构索引中存储的向量总数，计算该向量编号与该向量总数之和，将该和值作为待入库图像对应的图像编号。该图像编号用于表示待入库图像的特征向量在预设特征索引中的存储位置。

对于待入库图像，服务器还提取待入库图像的局部特征描述子，将提取的局部特征描述子存储在预设描述子库中，并获得一个反馈值，将该反馈值称为待入库图像对应的描述子标识，该描述子标识用于表示待入库图像的局部特征描述子在预设描述子库中的存储位置。本申请实施例可以通过SIFT(Scale-invariant feature transform，尺度不变特征变换)算法来提取图像的局部特征描述子。具体地，将图像缩放为多种尺度下的图像，对缩放得到的每个图像都遍历搜索图像像素，利用高斯微分函数寻找图像中潜在的对于尺度缩放保持不变的兴趣点。根据每个兴趣点的位置，拟合函数曲线。确定每个兴趣点距离拟合的曲线的距离，距离该曲线越近的兴趣点的稳定程度越高，将与该曲线之间的距离超过阈值的兴趣点删除。利用图像局部的梯度方向，对剩余的每个兴趣点所在位置分配一个或者多个方向，在选定的图像空间尺度及每个兴趣点的方向对应的邻域内，分别计算图像局部的梯度。然后将计算的每个梯度变换为允许比较大的局部形状变形和光照变化的表示，得到该图像的多个局部特征描述子。

对于待入库图像，服务器还将待入库图像存储在本地内存中，确定出待入库图像的存储地址。然后服务器将待入库图像的存储地址、图像标识、URL(Uniform ResourceLocator，统一资源定位符)等图像基本信息以及待入库图像对应的图像编号和描述子标识对应存入预设图像信息库中。

本申请实施例中，服务器通过维护内容图像队列，按照上述方式通过多个待入库图像的并行处理，实现新增图像的实时入库。

通过上述方式将待入库图像存在本地内存中，将待入库图像对应的特征向量和图像编号存储在预设特征索引中，将待入库图像对应的局部特征描述子和描述子标识存储在预设描述子库中，将待入库图像对应的图像基本信息、图像编号及描述子标识对应存储在预设图像信息库中，就完成了将待入库图像入库的全部过程。服务器基于预设图像信息库、预设特征索引、预设描述子库、本地内存中存储的大量图像以及上述训练好的深度学习特征嵌入模型来提供重复图像检索服务。

参见图6，该重复图像检索方法具体包括以下步骤：

步骤101：获取待检索图像的特征向量和第一局部特征描述子。

当调用方需要进行重复图像检索时，发送重复图像检索请求给服务器。服务器接收该重复图像检索请求，判断该重复图像检索请求中是否包括待检索图像的图像标识。该图像标识为服务器在将待检索图像入库的过程中为待检索图像分配的，用于唯一标识待检索图像。若判断出该重复图像检索请求包括待检索图像的图像编号，则根据该图像编号，从预设特征索引中获取待检索图像对应的特征向量。以及根据该图像编号，从预设图像信息库中获取待检索图像的描述子标识。根据该描述子标识，从预设描述子库中获取待检索图像对应的第一局部特征描述子。其中，预设特征索引中的特征向量均是通过训练好的所述深度学习特征嵌入模型提取的。

若判断出重复图像检索请求不包括待检索图像的图像标识，则根据该重复图像检索请求中包括的待检索图像的URL，下载待检索图像。通过训练好的深度学习特征嵌入模型提取待检索图像的特征向量。以及，调用SIFT算法提取待检索图像的第一局部特征描述子。

步骤102：根据预设特征索引和待检索图像的特征向量，获取待检索图像的预设数目个最近邻图像对应的图像标识。

根据待检索图像的特征向量，在预设特征索引中检索该特征向量的预设数目个最近邻特征向量和每个所述最近邻特征向量对应的图像编号。预设特征索引包括临时索引和图结构索引。临时索引是以列表的形式存储特征向量的，图结构索引是通过HNSW算法构建的图结构的索引。在检索该特征向量的最近邻特征向量时，同时在临时索引和图结构索引中进行检索，在临时索引中采用暴力检索方式进行检索，将检索出的最近邻特征向量按照与该特征向量之间的距离由小到大或由大到小排序，从排序后的最近邻特征向量的序列中选取与待检索图像的特征向量之间距离最小的第一预设个数个最近邻特征向量。在图结构索引中首先确定该特征向量所在的编号最高的图层，从该编号最高的图层开始从上往下遍历每个图层，在每个图层中检索该特征向量的最近邻特征向量。将每层检索出的最近邻特征向量按照与该特征向量之间的距离由小到大或由大到小排序，从排序后的最近邻特征向量的序列中选取与待检索图像的特征向量之间距离最小的第二预设个数个最近邻特征向量。上述第一预设个数和第一预设个数均可以为100或200等，第一预设个数与第二预设个数可以相等，也可以不相等。

将从临时索引中检索得到的第一预设个数个最近邻特征向量与从图结构索引中检索得到的第二预设个数个最近邻特征向量合并，从合并的所有最近邻特征向量中选取与待检索图像的特征向量之间距离最小的预设数目个最近邻特征向量。上述预设数目可以为100或200等。本申请实施例并不限制上述预设数目的具体取值，实际应用中可根据需求来设置预设数目的具体取值。

服务器中采取临时索引和图结构索引来存储向量，临时索引具有快速构建的能力，服务器接收到待入库的向量时先将向量存入临时索引中，临时索引支持快速的向量更新，临时索引的数据量小，通过暴力检索就能够快速获得准确的检索结果。当临时索引中向量数目达到预设阈值后，服务器将临时索引中的所有向量批量存入图结构索引中，从而实现向量的在线实时更新。图结构索引在海量数据下仍具备很好的查询性能。通过这两个索引库来分级构建索引，当临时索引中向量数目达到阈值后，将临时索引中所有向量批量增添到图结构索引中，提高了向量入库效率，充分利用临时索引和图结构索引各自的优点，实现满足业务需要的向量快速入库和查询需求。

通过上述方式选取出预设数目个最近邻特征向量后，从预设特征索引中获取每个最近邻特征向量对应的图像编号。根据预设图像信息库和获取的每个图像编号，分别确定待检索图像对应的每个最近邻图像的图像标识。具体地，根据最近邻特征向量对应的图像编号，从预设图像信息库中获取该图像编号对应的图像标识，将获取的该图像标识确定为该最近邻特征向量所属的最近邻图像的图像标识。

本步骤基于深度学习特征嵌入模型提取的特征向量，从海量图像中粗筛出预设数目个最近邻图像，从而大大缩小后续基于局部特征描述子匹配来检索重复图像的检索范围，提高重复图像检索速度。而且深度学习特征嵌入模型是利用人工修改变换得到的相似图像进行训练的，对于任意两个近似的图像，通过深度学习特征嵌入模型提取特征向量，近似的图像的特征向量之间的距离值会很小，有利于提高最近邻图像检索的精度，且在粗筛过程中能够准确地召回经过人工处理而成的相似图像。

步骤103：根据每个最近邻图像对应的图像标识，分别获取每个最近邻图像的第二局部特征描述子。

根据每个最近邻图像对应的图像标识，从预设图像信息库中分别获取每个最近邻图像对应的描述子标识。最近邻图像对应的描述子标识用于表示该最近邻图像的第二局部特征描述子在预设描述子库中的存储位置。根据每个最近邻图像对应的描述子标识，从预设描述子库中分别获取每个最近邻图像的第二局部特征描述子。

步骤104：根据待检索图像的第一局部特征描述子和每个最近邻图像的第二局部特征描述子，从每个最近邻图像中确定出与待检索图像重复的图像。

待检索图像的第一局部特征描述子及最近邻图像的第二局部特征描述子均为描述子集合，即第一局部特征描述子中包括待检索图像的多个描述子。第二局部特征描述子中包括最近邻图像的多个描述子。

将待检索图像的第一局部特征描述子分别与每个最近邻图像的第二局部特征描述子进行匹配运算，确定第一局部特征描述子与每个最近邻图像的第二局部特征描述子之间匹配的描述子数目。从每个第二局部特征描述子中选择出匹配的描述子数目大于预设阈值的第二局部特征描述子。将选择出的第二局部特征描述子对应的最近邻图像确定为与待检索图像重复的图像。

本申请实施例中，具体利用FLANN(Fast Library for Approximate NearestNeighbors，快速近似紧邻算法库)构建近邻搜索。对于每个最近邻图像，将待检索图像的第一局部特征描述子与该最近邻图像的第二局部特征描述子输入FLANN进行近邻匹配，统计待检索图像与该最近邻图像之间满足匹配条件的匹配对，匹配对包括相互匹配的待检索图像的一个局部特征描述子和最近邻图像的一个局部特征描述子。然后将匹配对数目与设定的阈值进行比较，若匹配对数目小于阈值，则确定该最近邻图像与待检索图像不重复。若确定出匹配对数目大于或等于阈值，则确定该最近邻图像与待检索图像重复。

为了提高重复图像判断的准确性，减少误判，本申请实施例中还可以对上述匹配对中的局部特征描述子进行单应性矩阵校验，剔除误识别的描述子，确定剩余的匹配对数目。将剩余的匹配对数目与设定的阈值比较，以判断该最近邻图像是否与待检索图像重复。

通过设定不同的阈值可以根据匹配对数目，从最近邻图像中判断出与待检索图像重复的图像和/或疑似重复的图像。当确定出与待检索图像重复的图像后，从本地内存中获取该重复图像，将该重复图像发送给调用方。

本步骤只对与待检索图像距离最近的一些最近邻图像进行处理，如此局部特征描述子匹配算法的时间消耗可以控制到一定时间范围内，解决了直接暴力使用局部特征描述子匹配算法的时间消耗问题。

在本申请实施例中，根据待检索图像的特征向量及预设特征索引，从大量图像中粗筛出预设数目个最近邻图像。然后再通过局部特征描述子匹配方式从这些最近邻图像中确定出与待检索图像重复的图像。基于特征向量进行粗筛，大大减少了重复图像的检索范围，通过局部特征描述子匹配方式从数目较少的最近邻图像中检索重复图像，缩短了重复图像检索的时间，提高了重复图像的检索效率。且基于训练的深度学习特征嵌入模型进行粗筛，粗筛出的最近邻图像中图像的重复比例高，且重复图像的排序更靠前。该深度学习特征嵌入模型是利用人工修改变换得到的相似图像进行训练的，对于任意两个近似的图像，通过深度学习特征嵌入模型提取特征向量，近似的图像的特征向量之间的距离值会很小，有利于提高最近邻图像检索的精度，且在粗筛过程中能够准确地召回经过人工处理而成的图像，提高了重复图像检索的准确性。且采取临时索引和图结构索引来存储向量，接收到待入库的向量时先将向量存入临时索引中，临时索引支持快速的向量更新，临时索引的数据量小，通过暴力检索就能够快速获得准确的检索结果。当临时索引中向量数目达到预设阈值后，将临时索引中的所有向量批量存入图结构索引中，从而实现向量的在线实时更新。图结构索引在海量数据下仍具备很好的查询性能。通过这两个索引库来分级构建索引，提高了向量入库效率实现满足业务需要的向量快速入库和查询需求。

本申请实施例还提供一种重复图像检索装置，该装置用于执行上述任一实施例提供的重复图像检索方法。参见图7，该装置包括：

特征获取模块701，用于获取待检索图像的特征向量和第一局部特征描述子；

近似最近邻确定模块702，用于根据预设特征索引和特征向量，获取待检索图像的预设数目个最近邻图像对应的图像标识；根据每个图像标识，分别获取每个最近邻图像的第二局部特征描述子；

重复图像确定模块703，用于根据第一局部特征描述子和每个第二局部特征描述子，从每个最近邻图像中确定出与待检索图像重复的图像。

最近邻确定模块702，用于在预设特征索引中检索特征向量的预设数目个最近邻特征向量和每个最近邻特征向量对应的图像编号；根据预设图像信息库和获取的每个图像编号，分别确定为待检索图像对应的每个最近邻图像的图像标识。

预设特征索引包括临时索引和图结构索引；该装置还包括：向量存储模块，用于获取待入库图像的特征向量，将待入库图像的特征向量存储在临时索引中；在临时索引中当前存储的向量总数大于或等于预设数目时，将临时索引中存储的所有向量批量存入图结构索引中。

最近邻确定模块702，用于根据每个图像标识，从预设图像信息库中分别获取每个最近邻图像对应的描述子标识；根据每个描述子标识，从预设描述子库中分别获取每个最近邻图像的第二局部特征描述子。

重复图像确定模块703，用于将第一局部特征描述子分别与每个第二局部特征描述子进行匹配运算，确定第一局部特征描述子与每个第二局部特征描述子匹配的描述子数目；从每个第二局部特征描述子中选择出匹配的描述子数目大于预设阈值的第二局部特征描述子；将选择出的第二局部特征描述子对应的最近邻图像确定为与待检索图像重复的图像。

在本申请实施例中，该装置还包括：模型训练模块，用于构建深度学习特征嵌入模型的结构；获取训练集，训练集中包括多个相似图像组，相似图像组中包括原始图像及对原始图像进行变换得到的多个相似图像；根据训练集对深度学习特征嵌入模型进行训练。

上述模型训练模块，用于将图像编码器与距离确定模块连接；将距离确定模块与损失确定模块连接。

上述模型训练模块，用于从训练集中获取多个相似图像组；通过图像编码器分别提取每个相似图像组中每个图像的特征向量；通过距离确定模块分别计算同一相似图像组中原始图像的特征向量与每个相似图像的特征向量之间的组内距离值，以及分别计算原始图像的特征向量与其他相似图像组中每个图像的特征向量之间的组间距离值；从每个组内距离值中选择最大组内距离值，从每个组间距离值中选择最小组间距离值；根据最大组内距离值和最小组间距离值，通过损失确定模块计算当前训练周期的损失值。

上述模型训练模块，用于若当前已训练周期数大于或等于预设次数，则将损失值最小的训练周期对应的模型参数和深度学习特征嵌入模型的结构确定为训练好的深度学习特征嵌入模型；若当前已训练周期数小于预设次数，则根据当前训练周期的损失值调整模型参数，根据调整后的模型参数进行下一周期的训练。

特征获取模块701，用于接收用户的重复图像检索请求；若重复图像检索请求包括待检索图像的图像标识，则根据图像标识，从预设特征索引中获取待检索图像对应的特征向量，以及从预设描述子库中获取待检索图像对应的第一局部特征描述子；预设特征索引中的特征向量均是通过训练好的深度学习特征嵌入模型提取的；若重复图像检索请求不包括待检索图像的图像标识，则根据重复图像检索请求中包括的待检索图像的URL，下载待检索图像；通过训练好的深度学习特征嵌入模型提取待检索图像的特征向量；以及，提取待检索图像的第一局部特征描述子。

在本申请实施例中，该装置还包括：图像入库模块，用于根据待入库图像对应的图像基本信息，获取待入库图像；通过训练好的深度学习特征嵌入模型提取待入库图像的特征向量；提取待入库图像的局部特征描述子；将待入库图像的特征向量及图像基本信息包括的图像标识存储在预设特征索引中；将待入库图像的局部特征描述子存储在预设描述子库中，获得待入库图像对应的描述子标识；将图像基本信息和描述子标识存储在预设图像信息库中。

本申请的上述实施例提供的重复图像检索装置与本申请实施例提供的重复图像检索方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。

本申请实施方式还提供一种电子设备，以执行上述重复图像检索方法。请参考图8，其示出了本申请的一些实施方式所提供的一种电子设备的示意图。如图8所示，电子设备8包括：处理器800，存储器801，总线802和通信接口803，所述处理器800、通信接口803和存储器801通过总线802连接；所述存储器801中存储有可在所述处理器800上运行的计算机程序，所述处理器800运行所述计算机程序时执行本申请前述任一实施方式所提供的重复图像检索方法。

其中，存储器801可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口803(可以是有线或者无线)实现该装置网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。

总线802可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器801用于存储程序，所述处理器800在接收到执行指令后，执行所述程序，前述本申请实施例任一实施方式揭示的所述重复图像检索方法可以应用于处理器800中，或者由处理器800实现。

处理器800可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器800中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器800可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器801，处理器800读取存储器801中的信息，结合其硬件完成上述方法的步骤。

本申请实施例提供的电子设备与本申请实施例提供的重复图像检索方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。

本申请实施方式还提供一种与前述实施方式所提供的重复图像检索方法对应的计算机可读存储介质，请参考图9，其示出的计算机可读存储介质为光盘30，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的重复图像检索方法。

需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。

本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的重复图像检索方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。

需要说明的是：

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下示意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种重复图像检索方法，其特征在于，包括：

获取待检索图像的特征向量和第一局部特征描述子；

根据预设特征索引和所述特征向量，获取所述待检索图像的预设数目个最近邻图像对应的图像标识；

根据每个所述图像标识，分别获取每个所述最近邻图像的第二局部特征描述子；

根据所述第一局部特征描述子和每个所述第二局部特征描述子，从每个所述最近邻图像中确定出与所述待检索图像重复的图像。

2.根据权利要求1所述的方法，其特征在于，所述根据预设特征索引和所述特征向量，获取所述待检索图像的预设数目个最近邻图像对应的图像标识，包括：

在预设特征索引中检索所述特征向量的预设数目个最近邻特征向量和每个所述最近邻特征向量对应的图像编号；

根据预设图像信息库和获取的每个所述图像编号，分别确定所述待检索图像对应的每个最近邻图像的图像标识。

3.根据权利要求1或2所述的方法，其特征在于，所述预设特征索引包括临时索引和图结构索引；所述根据预设特征索引和所述特征向量，获取所述待检索图像的预设数目个最近邻图像对应的图像标识之前，还包括：

获取待入库图像的特征向量，将所述待入库图像的特征向量存储在所述临时索引中；

在所述临时索引中当前存储的向量总数大于或等于预设数目时，将所述临时索引中存储的所有向量批量存入所述图结构索引中。

4.根据权利要求1所述的方法，其特征在于，所述根据每个所述图像标识，分别获取每个所述最近邻图像的第二局部特征描述子，包括：

根据每个所述图像标识，从预设图像信息库中分别获取每个所述最近邻图像对应的描述子标识；

根据每个所述描述子标识，从预设描述子库中分别获取每个所述最近邻图像的第二局部特征描述子。

5.根据权利要求1所述的方法，其特征在于，所述根据所述第一局部特征描述子和每个所述第二局部特征描述子，从每个所述最近邻图像中确定出与所述待检索图像重复的图像，包括：

将所述第一局部特征描述子分别与每个所述第二局部特征描述子进行匹配运算，确定所述第一局部特征描述子与每个所述第二局部特征描述子匹配的描述子数目；

从每个所述第二局部特征描述子中选择出匹配的描述子数目大于预设阈值的第二局部特征描述子；

将选择出的所述第二局部特征描述子对应的最近邻图像确定为与所述待检索图像重复的图像。

6.根据权利要求1、2、4、5中任一项所述的方法，其特征在于，所述获取待检索图像的特征向量和第一局部特征描述子之前，还包括：

构建深度学习特征嵌入模型的结构；

获取训练集，所述训练集中包括多个相似图像组，所述相似图像组中包括原始图像及对所述原始图像进行变换得到的多个相似图像；

根据所述训练集对所述深度学习特征嵌入模型进行训练。

7.根据权利要求6所述的方法，其特征在于，所述构建深度学习特征嵌入模型的结构，包括：

将图像编码器与距离确定模块连接；

将所述距离确定模块与损失确定模块连接。

8.根据权利要求7所述的方法，其特征在于，所述根据所述训练集对所述深度学习特征嵌入模型进行训练，包括：

从所述训练集中获取多个相似图像组；

通过所述图像编码器分别提取每个所述相似图像组中每个图像的特征向量；

通过所述距离确定模块分别计算同一相似图像组中原始图像的特征向量与每个相似图像的特征向量之间的组内距离值，以及分别计算所述原始图像的特征向量与其他相似图像组中每个图像的特征向量之间的组间距离值；

从每个所述组内距离值中选择最大组内距离值，从每个所述组间距离值中选择最小组间距离值；

根据所述最大组内距离值和所述最小组间距离值，通过所述损失确定模块计算当前训练周期的损失值。

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

若当前已训练周期数大于或等于预设次数，则将损失值最小的训练周期对应的模型参数和所述深度学习特征嵌入模型的结构确定为训练好的深度学习特征嵌入模型；

若当前已训练周期数小于预设次数，则根据所述当前训练周期的损失值调整模型参数，根据调整后的所述模型参数进行下一周期的训练。

10.根据权利要求6所述的方法，其特征在于，所述获取待检索图像的特征向量和第一局部特征描述子，包括：

接收用户的重复图像检索请求；

若所述重复图像检索请求包括待检索图像的图像标识，则根据所述图像标识，从预设特征索引中获取所述待检索图像对应的特征向量，以及从预设描述子库中获取所述待检索图像对应的第一局部特征描述子；所述预设特征索引中的特征向量均是通过训练好的所述深度学习特征嵌入模型提取的；

若所述重复图像检索请求不包括待检索图像的图像标识，则根据所述重复图像检索请求中包括的所述待检索图像的URL，下载所述待检索图像；通过训练好的所述深度学习特征嵌入模型提取所述待检索图像的特征向量；以及，提取所述待检索图像的第一局部特征描述子。

11.根据权利要求6所述的方法，其特征在于，所述方法还包括：

根据待入库图像对应的图像基本信息，获取所述待入库图像；

通过训练好的所述深度学习特征嵌入模型提取所述待入库图像的特征向量；

提取所述待入库图像的局部特征描述子；

将所述待入库图像的特征向量及所述图像基本信息包括的图像标识存储在所述预设特征索引中；

将所述待入库图像的局部特征描述子存储在预设描述子库中，获得所述待入库图像对应的描述子标识；

将所述图像基本信息和所述描述子标识存储在预设图像信息库中。

12.一种重复图像检索装置，其特征在于，包括：

特征获取模块，用于获取待检索图像的特征向量和第一局部特征描述子；

最近邻确定模块，用于根据预设特征索引和所述特征向量，获取所述待检索图像的预设数目个最近邻图像对应的图像标识；根据每个所述图像标识，分别获取每个所述最近邻图像的第二局部特征描述子；

重复图像确定模块，用于根据所述第一局部特征描述子和每个所述第二局部特征描述子，从每个所述最近邻图像中确定出与所述待检索图像重复的图像。

13.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序以实现如权利要求1-11任一项所述的方法。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行实现如权利要求1-11中任一项所述的方法。

Images