CN114547365A - 一种图像检索方法和设备 - Google Patents

Abstract

本发明公开了一种图像检索方法和设备，该方法包括：获取初始待检索图像集合；针对初始待检索图像集合中的每个待检索图像，基于目标图像检索模型，确定待检索图像的浮点特征和哈希特征；应用各个待检索图像的哈希特征与参考图像的参考哈希特征进行比较，对初始待检索图像集合进行筛选，得到第一待检索图像集合；应用第一待检索图像集合中的各个第一待检索图像的浮点特征与参考图像的参考浮点特征进行处理，对第一待检索图像集合进行筛选，得到目标图像集合。用来实现快速且准确的图像检索。

Description

一种图像检索方法和设备

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种图像检索方法和设备。

背景技术

随着大数据技术和人工智能分析技术在公共安全领域应用的不断深入，前端智能抓拍摄像机的应用越来越广泛，而如何根据用户需求在海量的抓拍图像中得到相关图像尤为重要。

相关技术中，通常是根据特征空间中的数据库中的抓拍图像与标准图像的逐一距离度量来对数据库中的抓拍图像进行排序，然后根据距离返回图像检索结果。然而，常见的数据库中通常有数百万图像，这种方式检索效率较低。

另外，相关技术中，还出现了提取图像的浅层特征信息的方式，通过浅层特征信息之间的对比来对图像进行检索。但是，这种方式中，网络学习到的特征少，仅适用于图像类别较少的情况，而在场景复杂的监控场景中的检索准确度较低。

因此，面对海量的抓拍数据，如何实现快速且准确的图像检索十分重要。

发明内容

本发明示例性的实施方式中提供一种图像检索方法和设备，用以实现快速且准确的图像检索。

根据示例性的实施方式中的第一方面，提供一种图像检索方法，该方法包括：

获取初始待检索图像集合；

针对所述初始待检索图像集合中的每个待检索图像，基于目标图像检索模型，确定所述待检索图像的浮点特征和哈希特征；

应用所述各个待检索图像的哈希特征与参考图像的参考哈希特征进行比较，对所述初始待检索图像集合进行筛选，得到第一待检索图像集合；

应用所述第一待检索图像集合中的各个第一待检索图像的浮点特征与所述参考图像的参考浮点特征进行处理，对所述第一待检索图像集合进行筛选，得到目标图像集合。

本申请实施例，由于初始待检索图像集合中可能包括大量的待检索图像，因此，在获取到初始待检索图像集合后，先基于目标图像检索模型确定各个待检索图像的浮点特征和哈希特征。接下来，应用各个待检索图像的哈希特征与参考图像的参考哈希特征进行比较，来进行第一筛选，得到第一待检索图像集合，由于应用哈希特征的比对过程是通过位运算的快速比较过程，该过程的计算量小且速度较快，因此，该过程为粗筛过程，可以筛选出小范围的待检索图像。继而，应用第一待检索图像集合中的各个第一待检索图像的浮点特征与参考图像的参考浮点特征进行处理，由于浮点特征通常为高维浮点特征，应用浮点特征的处理过程为利用余弦相似度进行处理的过程，该筛选过程较为准确，为细筛过程，该过程输出的是准确的与参考图像近邻的图像数据。因此本申请实施例的图像检索方法，既可以保证检索精度，又能提高检索速度。

根据示例性的实施方式中的第二方面，提供一种电子设备，该设备包括处理器和图像获取单元，其中：

所述图像获取单元被配置为执行：

获取初始待检索图像集合；

所述处理器被配置为执行：

针对所述初始待检索图像集合中的每个待检索图像，基于目标图像检索模型，确定所述待检索图像的浮点特征和哈希特征；

应用所述各个待检索图像的哈希特征与参考图像的参考哈希特征进行比较，对所述初始待检索图像集合进行筛选，得到第一待检索图像集合；

应用所述第一待检索图像集合中的各个第一待检索图像的浮点特征与所述参考图像的参考浮点特征进行处理，对所述第一待检索图像集合进行筛选，得到目标图像集合。

根据示例性的实施方式中的第三方面，提供一种图像检索装置，该装置包括：

图像获取模块，用于获取初始待检索图像集合；

特征确定模块，用于针对所述初始待检索图像集合中的每个待检索图像，基于目标图像检索模型，确定所述待检索图像的浮点特征和哈希特征；

第一筛选模块，用于应用所述各个待检索图像的哈希特征与参考图像的参考哈希特征进行比较，对所述初始待检索图像集合进行筛选，得到第一待检索图像集合；

第二筛选模块，用于应用所述第一待检索图像集合中的各个第一待检索图像的浮点特征与所述参考图像的参考浮点特征进行处理，对所述第一待检索图像集合进行筛选，得到目标图像集合。

根据示例性的实施方式中的第四方面，提供一种计算机存储介质，所述计算机存储介质中存储有计算机程序指令，当所述指令在计算机上运行时，使得所述计算机执行如第一方面所述的图像检索方法。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示例性示出了本发明实施例提供的一种图像检索的应用场景的示意图；

图2示例性示出了本发明实施例提供的一种图像检索方法的流程图；

图3示例性示出了本发明实施例提供的另一种图像检索方法的流程图；

图4示例性示出了本发明实施例提供的一种目标图像检索模型的训练过程的流程图；

图5示例性示出了本发明实施例提供的一种另目标图像检索模型的训练过程的示意图；

图6示例性示出了本发明实施例提供的一种目标图像检索模型的结构示意图；

图7示例性示出了本发明实施例提供的一种图像检索装置的结构示意图；

图8示例性示出了本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

为了方便理解，下面对本申请实施例中涉及的名词进行解释：

(1)汉明距离：使用在数据传输差错控制编码中，标识两个相同长度的字对应位不同的数量。对两个字符串进行异或运算，并统计结果为1的个数，这个数就是汉明距离。

(2)余弦距离：两个向量间的夹角的余弦值。

(3)ResNet：网络是残差网络Residual Network的缩写，该系列网络广泛用于目标分类等领域，典型的网络有ResNet50和ResNet101等。

在实际的应用过程中，前端智能抓拍摄像机的应用越来越广泛，而如何根据用户需求在海量的抓拍图像中得到相关图像尤为重要。

相关技术中的图像检索方法，要么检索效率低，要么检索准确率低。

为此，本申请实施例提供了一种图像检索方法，该方法中，针对初始待检索图像集合中的每个待检索图像，基于目标图像检索模型，确定待检索图像的浮点特征和哈希特征。应用各个待检索图像的哈希特征与参考图像的参考哈希特征进行比较，对初始待检索图像集合进行筛选，得到第一待检索图像集合；该筛选过程为利用哈希特征来进行粗筛的过程，缩小了后续利用浮点特征进行细筛的范围，提高了检索速度。接下来，再应用第一待检索图像集合中的各个第一待检索图像的浮点特征与参考图像的参考浮点特征进行处理，对第一待检索图像集合进行筛选，得到目标图像集合；该筛选过程为利用浮点特征的细筛的过程，保证了检索精度。因此，本申请提供的图像检索方法，实现了快速且准确的图像检索。

在介绍完本申请实施例的设计思想之后，下面对本申请实施例的技术方案能够适用的应用场景做一些简单介绍，需要说明的是，以下介绍的应用场景仅用于说明本申请实施例而非限定。在具体实施时，可以根据实际需要灵活地应用本申请实施例提供的技术方案。

参考图1，其为本申请实施例提供的一种图像检索方法的应用场景示意图。可应用在公共安全、智能社区或智慧城市相关业务中，以交通场景为例，各个路口安装的卡口相机为图像采集设备。这样采集到大量的图像，比如为了分析各个路口在不同时间段的交通流的情况，需要筛选出特定的图像来确定交通流情况。

该应用场景包括多个图像采集设备101(包括图像采集设备101-1、图像采集设备101-2、……图像采集设备101-n)、图像检索设备102。其中，图像采集设备101、图像检索设备102之间通过无线或有线网络连接，图像采集设备101比如可以是摄像头或者卡口相机。图像检索设备102可以是一台图像检索设备、若干台图像检索设备组成的图像检索设备集群或云计算中心。图像检索设备102可以是独立的物理图像检索设备，也可以是多个物理图像检索设备构成的图像检索设备集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云图像检索设备。

各个图像采集设备101将采集到的海量的图像发送至图像检索设备102，而图像检索设备102中预先存储有参考图像(用于确定筛选出哪些图像)，这样，图像检索设备102可以分析出采集到的图像的浮点特征和哈希特征，进而通过哈希特征对海量的图像进行粗筛，降低了细筛的图像的数量，提高了检索速度，再利用浮点特征进行细筛，保证了检索准确度。

为进一步说明本申请实施例提供的技术方案，下面结合附图以及具体实施方式对此进行详细的说明。虽然本申请实施例提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。

下面结合图1所示的应用场景，参考图2示出的一种图像检索方法的流程图，对本申请实施例提供的技术方案进行说明。

S201、获取初始待检索图像集合。

S202、针对初始待检索图像集合中的每个待检索图像，基于目标图像检索模型，确定待检索图像的浮点特征和哈希特征。

S203、应用各个待检索图像的哈希特征与参考图像的参考哈希特征进行比较，对初始待检索图像集合进行筛选，得到第一待检索图像集合。

S204、应用第一待检索图像集合中的各个第一待检索图像的浮点特征与参考图像的参考浮点特征进行处理，对第一待检索图像集合进行筛选，得到目标图像集合。

本申请实施例，由于初始待检索图像集合中可能包括大量的待检索图像，因此，在获取到初始待检索图像集合后，先基于目标图像检索模型确定各个待检索图像的浮点特征和哈希特征。接下来，应用各个待检索图像的哈希特征与参考图像的参考哈希特征进行比较，来进行第一筛选，得到第一待检索图像集合，由于应用哈希特征的比对过程是通过位运算的快速比较过程，该过程的计算量小且速度较快，因此，该过程为粗筛过程，可以筛选出小范围的待检索图像。继而，应用第一待检索图像集合中的各个第一待检索图像的浮点特征与参考图像的参考浮点特征进行处理，由于浮点特征通常为高维浮点特征，应用浮点特征的处理过程为利用余弦相似度进行处理的过程，该筛选过程较为准确，为细筛过程，该过程输出的是准确的与参考图像近邻的图像数据。因此本申请实施例的图像检索方法，既可以保证检索精度，又能提高检索速度。

涉及到S201，在实际的应用场景中，研究对象比如是A城市B区的范围，该范围内的全部卡口相机均为图像采集设备。在一个具体的例子中，比如用户需要获取过去的一周内的该区域范围内的交通流情况，用来确定获取到的车辆的图像与畅通情况下图像的效果的差异，可以获取该一周内的全部卡口相机获取到的图像，称为初始待检索图像集合。进而在初始待检索图像集合中筛选出来想要的目标图像集合。

涉及到S202，一张图像通常包含了很多信息，而通常情况下，可以对图像进行信息提取，来获取用于表征图像特点的各个维度的信息等。在实际的应用过程中，提取图像的方法不同，得到的图像的信息量和信息内容均不同。

为了在初始待检索图像集合中找到用户想要图像，需要根据用户的需求预先设定一个参考图像，进而找到初始待检索图像集合中与参考图像接近的图像。

针对初始待检索图像中的每个待检索图像，基于预先训练好的目标图像检索模型，来确定待检索图像的浮点特征和哈希特征。其中，哈希特征可以称为短特征，用来对初始待检索图像集合进行粗筛；浮点特征可以称为长特征，用来对粗筛过后的图像集合进行细筛。

具体的，将每个待检索的图像作为目标图像检索模型的输入，确定目标图像检索模型中的全连接层之前的输出为待检索图像的浮点特征，以及，确定目标图像检索模型中的哈希层的输出为哈希特征。而目标图像检索模型可以是预先训练好的神经网络模型，后续对训练过程进行说明。

涉及到S203，在得到初始待检索图像集合中的各个待检索图像的浮点特征和哈希特征后，应用各个待检索图像的哈希特征与参考图像的参考哈希特征进行比较，对初始待检索图像集合进行筛选，得到第一待检索图像集合。

由于哈希特征的比对过程的计算量相对较小，因此，可以将该筛选过程称为粗筛。示例性的，该粗筛过程的具体实现方式如下：

针对每个待检索图像，确定待检索图像的哈希特征与参考哈希特征之间的汉明距离；应用各个待检索图像对应的汉明距离与预设汉明距离阈值的大小关系对初始待检索图像集合进行筛选；确定小于预设汉明距离阈值的各个汉明距离对应的待检索图像构成的集合为第一待检索图像集合。

具体的，通过目标图像检索模型，将参考图像作为输入，可以确定参考图像的哈希特征和浮点特征，为了表述清楚，将参考图像的哈希特征称为参考哈希特征，将参考图像的浮点特征称为参考浮点特征。

在进行粗筛时，针对每个待检索图像，确定该待检索图像的哈希特征与参考哈希特征之间的汉明距离，而如何根据哈希特征计算汉明距离，可参考相关技术中的方法，这里不赘述。而预先设定了一个预设汉明距离阈值，该预设汉明距离阈值的设定过程，一方面要考虑检索精度，还要考虑检索速度，选取一个折中的值作为预设汉明距离阈值。而得到的汉明距离越大，表明待检索图像与参考图像的相似度越低，因此，将大于以及等于预设汉明距离阈值的各个汉明距离对应的待检索图像删除，将初始待检索图像集合中剩余的小于预设汉明距离的各个汉明距离对应的待检索图像构成的集合为第一待检索图像。

由于哈希特征的比对过程是通过位运算的快速比较过程，该过程的计算量相对较小而且速度较快，因此，该粗筛过程耗费的计算力较小，还可以用来除去一些与参考图像差别较大的待检索图像，进而筛选出小范围的待检索图像，也即，使接下来的筛选过程的图像集合的基数变小，提高后续检索过程的速度。

涉及到S204，在进行粗筛后，得到的第一待检索图像与初始待检索图像集合相比，图像的数量减少。接下来，应用第一待检索图像集合中的各个第一待检索图像的浮点特征与参考图像的参考浮点特征进行处理，对第一待检索图像集合进行筛选，得到目标图像集合。

由于浮点特征的比对过程可以实现图像间的精准匹配，因此，可以将该筛选过程称为细筛。示例性的，该细筛过程的具体实现方式如下：

针对第一待检索图像集合中的每个第一待检索图像，确定第一待检索图像的浮点特征与参考浮点特征之间的余弦距离；应用各个第一待检索图像对应的余弦距离与预设余弦距离阈值的大小关系对第一待检索图像集合进行筛选；确定大于预设余弦距离阈值的各个余弦距离对应的各个第一待检索图像构成目标图像集合。

具体的，针对每个待检索图像，确定该待检索图像的浮点特征与参考浮点特征之间的余弦距离，而如何根据浮点特征计算余弦距离，可参考相关技术中的方法，这里不赘述。而预先设定了一个预设余弦距离阈值，该预设余弦距离阈值的设定过程，一方面要考虑检索精度，还要考虑检索速度，选取一个折中的值作为预设余弦距离阈值。而得到的余弦距离越大，表明待检索图像与参考图像的相似度越高，因此，将小于以及等于预设余弦距离阈值的各个余弦距离对应的待检索图像删除，将初始待检索图像集合中剩余的大于预设余弦距离的各个余弦距离对应的待检索图像构成的集合为目标待检索图像。

由于浮点特征通常为高维浮点特征，因此，上述细筛的余弦距离的计算过程为利用余弦相似度进行度量的过程，该过程输出的是与参考图像近邻的图像数据。

这样，本申请实施例的图像检索方法，既可以保证检索精度，又能提高检索速度。

为了使本申请的技术方案更完善，下面用一个完整的流程图对本申请实施例的图像检索方法进行说明，参考图3，至少包括如下步骤：

S301、获取初始待检索图像集合。

S302、将初始待检索图像集合中的每个待检索图像输入至目标图像检索模型，确定目标图像检索模型中的全连接层之前的输出为待检索图像的浮点特征，以及，确定目标图像检索模型中的哈希层的输出为哈希特征。

S303、针对每个待检索图像，确定待检索图像的哈希特征与参考哈希特征之间的汉明距离。

S304、应用各个待检索图像对应的汉明距离与预设汉明距离阈值的大小关系对初始待检索图像集合进行筛选。

S305、确定小于预设汉明距离阈值的各个汉明距离对应的待检索图像构成的集合为第一待检索图像集合。

S306、针对第一待检索图像集合中的每个第一待检索图像，确定第一待检索图像的浮点特征与参考浮点特征之间的余弦距离。

S307、应用各个第一待检索图像对应的余弦距离与预设余弦距离阈值的大小关系对第一待检索图像集合进行筛选。

S308、确定大于预设余弦距离阈值的各个余弦距离对应的各个第一待检索图像构成目标图像集合。

本申请实施例，利用训练好的目标图像检索模型，先确定各个待检索图像的哈希特征和浮点特征，再确定待检索图像与参考图像的参考哈希特征的汉明距离，通过距离度量来判断各个待检索图像与参考图像的相似性，返回相似度高的图像，完成对图像的第一步粗筛。再确定粗筛得到的图像的浮点特征与参考图像的参考负点特征的余弦距离，通过距离度量来判断各个待检索图像与参考图像的相似性，返回相似度高的图像，完成对图像的检索。

如上为本申请实施例中的图像检索过程的说明，在该检索过程中的，应用到了各个待检索图像的浮点特征和哈希特征，而确定浮点特征和哈希特征是通过将各个待检索图像作为目标图像检索模型的输入时，目标图像检索模型的输出。参考图4，接下来对目标图像检索模型的训练过程进行说明：

S401、获取训练样本集合；其中，训练样本集合包括多个训练图像。

具体的，训练样本集合可以是图像采集设备采集到的一定时间范围内的多个训练图像。另外，对训练样本集合进行预处理，将训练集的标签设置为one-hot标签，比如训练样本集合表示为T＝[t₁,t₂,…,t_n]，t_i∈{0,1}，n为分类数。

S402、基于训练样本集合中的各个训练图像的类别，构建初始深度学习网络；其中，初始深度学习网络模型为基础ResNet50网络的Conv5_x层后增加一层全连接层。

具体的，构建用于学习浮点特征的初始深度学习网络，比如可以采用ResNet50网络为浮点特征学习的基础部分，并且在网络的最后一层Conv5_x层后增加一层全连接层用于分类。

S403、设置第一损失函数，并基于训练样本集合，对初始深度学习网络模型进行训练，确定第一参数集合以及基于第一参数集合的训练好的初始深度学习网络模型。

其中，初始深度学习网络的初始参数配置见表1。

表1用于提取浮点特征的初始深度学习网络的配置与参数表

示例性的，可以采用imagenet数据库上预训练的ResNet50模型中的参数对本深度哈希网络的卷积层进行参数初始化，初始深度学习网络的全连接层参数按照均值为0，方差为0.001的高斯分布进行随机初始化。

具体的，构建第一损失函数如下：

loss＝αsoftmax loss+βcenter loss+γtriple loss；

其中，loss为第一损失函数，softmax loss为softmax损失函数，center loss为center损失函数，triple loss为三元组损失函数，α、β和γ分别为相应损失函数对应的调整参数。

在一个具体的例子中，各个损失函数的定义如下：

(1)softmax损失函数定义如下：

其中，z为某个全连接层输出的一组结果，j为全连接层的包括的层数。

softmax损失函数可以让分类正确的概率最大，从而提高分类的准确度。

(2)center损失函数定义如下：

表示第y_i个类别的特征中心，x_i表示全连接层之前的特征，m表示mini-batch的大小。

center损失函数通过将特征中心与特征之间的距离作为损失函数，为了让类间距离更大，特征空间分布更均匀，具体表现为可以将相同类别的类内距离进一步减少，类间距离增大，相似度提高。

(3)三元组损失函数triple loss定义如下：

triple loss＝max(d(a，p)-d(a，n)+margin，0)

三元组损失函数可以让相同类别的目标距离拉近，不同类别的目标距离拉远，也即，最终的优化目标是拉近a,p的距离，拉远a,n的距离。

因此，第一损失函数为：

loss＝αsoftmax loss+βcenter loss+γtriple loss。

按照交叉验证的原则调整参数α，β，γ。将确定后的各个包括参数α，β，γ的全部参数构成的集合称为第一参数集合，因此，可以基于第一参数集合中的各个参数，确定训练好的初始深度学习网络模型。基于表1的参数设置，该训练好的初始深度学习网络模型的输出即为输入图像对应的2048维的浮点特征。

S404、在训练好的初始深度学习网络模型的Conv5_x层后增加一层哈希层，得到第二深度学习网络模型；其中，哈希层是具有预设数量神经元的全连接层。

具体的，由于第二深度学习网络模型是在训练好的初始深度学习网络模型的基础上进行修改的，也即，在Conv5_x层后增加一层哈希层，这样，第二深度学习网络模型的基础网络也为ResNet50网络。示例性的，哈希层也为全连接层，具有预设数量的神经元，该预设数量与哈希层的设置有关，以便将倒数第二层的输出映射到汉明空间。

S405、设置第二损失函数，保持第一参数集合中的各个参数不变，并基于训练样本集合，对第二深度学习网络模型进行训练，确定第二参数集合以及基于第二参数集合的目标图像检索模型；其中，第二参数集合包括第一参数集合中的各个参数以及哈希层的参数。

其中，在对第二深度学习网络模型的训练过程中，由于第二深度学习网络和初始深度学习网络均具有ResNet50基础结构，因此，保持ResNet50其他层参数(第一参数集合中的参数)不变，可以降低模型训练过程中的计算量，提高训练速度。

在对第二深度学习网络模型的训练过程中，采用松弛的策略，选择tanh激活函数，输出{-1,1}¹²⁸哈希特征向量，采用RMSprop优化器和CosAnnealingLR学习率调整策略，选择度量损失函数、基于正则化损失函数和分类损失函数确定的损失函数以及量化损失函数进行训练。主要目的是让相似的高维特征映射到低维汉明空间后，保持良好的类间距离，同时相似类别的距离相近，不同类别的距离远离。能够最大可能的保证从高维向量空间到低维汉明空间形成紧凑的二进制码，保证检索的相似性。

具体的，第二深度学习网络模型的初始参数配置见表2。

表2用于提取哈希特征的第二深度学习网络模型的配置与参数表

示例性的，可以采用Market-1501数据库上预训练的ResNet50模型中的参数对第二深度学习网络模型的卷积层进行参数初始化，全连接层参数按照均值为0，方差为0.01的高斯分布进行随机初始化。

其中，第二损失函数如下：

F＝J+μQ+λC；

其中，F为第二损失函数，μ为权衡参数，λ为正则参数；

(1)J为度量损失函数，该度量损失函数例如可以选取最大似然函数或者交叉熵函数cross-entropy。可以用于学习哈希特征，是根据训练样本集合中每两个训练图像对应的哈希特征的相似性度量确定的。

具体的，举例说明确定J的过程：

由于一个样本可能属于多个分类，所以计算哈希码的相似性度量，公式如下：

其中，S＝{s_ij}＝T*T^T，s_ij∈{0,1}，one-hot标签的相似度矩阵，若两个哈希码的语义相似，s_ij＝1，反之则为0；

b_i，b_j为i类图像和j类图像的哈希码，二者的汉明距离dist_H(·，·)和内积<b_i，b_j>关系如下：

其中，K为预设常数，如果两个哈希码的内积很小，二者汉明距离会很大，反之亦然。可以看出，内积越大，p(1|B)越大，这意味着b_i，b_j应该归类为相似。

考虑到相似性度量，将如下作为用于学习哈希码的哈希函数：

该公式是负对数似然函数，它使两个相似点的汉明距离尽能小，同时使两个不同点的汉明距离尽可能大。

(2)Q为基于正则损失函数和分类损失函数确定的损失函数。其中，分类损失函数为用于建立学习到的哈希特征和真实标签向量之间的关系的函数，是根据训练样本集合的分类权重、真实向量标签和训练样本集合中批图像输出的哈希矩阵确定的。

具体的，举例说明确定Q的过程：

尽管使用成对标签信息来学习公式J表示的哈希函数，但标签信息并未得到充分利用。为了直接利用标签信息，使用一个简单的线性分类器对学习到的哈希码和标签信息之间的关系进行建模：

Y＝W^TB

其中，W＝[w1,w2……wC]是分类权重，Y＝[y1,y2……yN]是真值标签向量，损失函数如下：

其中，L(·)是损失函数，可以选取L2损失函数，λ是正则化参数，

是矩阵的Frobenius范数。在这个公式中，L(Y，W^TB)为分类损失函数，表征真实向量标签和所述训练样本集合中批图像输出的哈希输出之间的偏差；

为L2正则损失函数。

(3)C量化损失函数，具体为用于确定实际输出与理论输出的偏差的损失函数，是符合均匀分布的实际输出中间的松弛后的哈希特征与最终输出二值化哈希值之间距离确定的量化损失。

为了计算理想与实际输出之间的偏差，让输出尽量满足均匀分布，有如下公式：

C＝(U-B).pow(2).mean()

对应于损失函数中的Q，U符合均匀分布的初始矩阵，B是一个batch图像输出的哈希矩阵。.pow(2)是将矩阵中的每一个元素求平方值。最后再取矩阵元素的均值。这里U-B是指hash输出减去松弛的tanh输出的L2度量值。

结合上述公式，第二损失函数如下：

F＝J+μQ+λC

其中μ是权衡参数。假设学习的哈希码应该使成对标签似然尽可能大，并且对于联合学习的线性分类应该是最优的。

利用交叉验证求取哈希函数各个参数：按照交叉验证的原则调整学习率，参数λ和μ的数值进而得到最终的哈希函数。网络训练完成后，将最后一层具有C个神经元的全连接层经过sign()函数，目的是将实数值量化成离散的哈希码。

另外，为了使目标图像检索模型的训练过程更容易理解，用一个具体的例子对应的流程进行说明，参考图5，至少包括如下步骤：

S501、获取训练样本集合。

S502、迁移ResNet50模型，根据训练样本集合的数量构建初始深度学习网络模型。

S503、设置第一损失函数为loss＝αsoftmax loss+βcenter loss+γtripleloss。

S504、设置优化器为SGD，以及，设置学习率为Warm-Up。

其中，SGD为随机梯度下降方法，全称为Stochastic Gradient Descent。

S505、初始深度学习网络模型训练完成。

S506、加载初始深度学习网络模型，在ResNet50的Conv5_x层上添加哈希层。

S507、设置第二损失函数为度量损失函数cross-entropy、正则损失函数regular、分类损失函数以及量化损失函数quantization的和。

S508、设置优化器为RMSprop，学习率采用CosineAnnealingLr衰减法。

S509、目标图像检索模型训练完成。

另外，为了使目标图像检索模型的结构更清楚，图6示出了一种目标图像检索模型的结构示意图，其中，Hash layer为哈希层，FC为全连接层，Hash feather为哈希层输出的哈希特征，Float feather为ResNet50网络中的全连接层输出的浮点特征。

在实际的应用过程中，可以将目标图像检索模型封装为一个微服务，提供RestfulAPI接口，其基本功能是加载目标图像检索模型，获取接口请求后，解析json，获取请求图像，调用目标图像检索模型推理，获取浮点特征和哈希特征作为响应输出。

如图7所示，基于相同的发明构思，本发明实施例提供一种图像检索装置，包括图像获取模块71、特征确定模块72、第一筛选模块73和第二筛选模块74。

其中，图像获取模块71，用于获取初始待检索图像集合；

特征确定模块72，用于针对初始待检索图像集合中的每个待检索图像，基于目标图像检索模型，确定待检索图像的浮点特征和哈希特征；

第一筛选模块73，用于应用各个待检索图像的哈希特征与参考图像的参考哈希特征进行比较，对初始待检索图像集合进行筛选，得到第一待检索图像集合；

第二筛选模块74，用于应用第一待检索图像集合中的各个第一待检索图像的浮点特征与参考图像的参考浮点特征进行处理，对第一待检索图像集合进行筛选，得到目标图像集合。

在一些示例性的实施方式中，第一筛选模块73具体用于：

针对每个待检索图像，确定待检索图像的哈希特征与参考哈希特征之间的汉明距离；

应用各个待检索图像对应的汉明距离与预设汉明距离阈值的大小关系对初始待检索图像集合进行筛选；

确定小于预设汉明距离阈值的各个汉明距离对应的待检索图像构成的集合为第一待检索图像集合。

在一些示例性的实施方式中，第二筛选模块74具体用于：

针对第一待检索图像集合中的每个第一待检索图像，确定第一待检索图像的浮点特征与参考浮点特征之间的余弦距离；

应用各个第一待检索图像对应的余弦距离与预设余弦距离阈值的大小关系对第一待检索图像集合进行筛选；

确定大于预设余弦距离阈值的各个余弦距离对应的各个第一待检索图像构成目标图像集合。

在一些示例性的实施方式中，特征确定模块72具体用于：

将初始待检索图像集合中的每个待检索图像输入至目标图像检索模型，确定目标图像检索模型中的全连接层之前的输出为待检索图像的浮点特征，以及，确定目标图像检索模型中的哈希层的输出为哈希特征。

在一些示例性的实施方式中，还包括模型训练模块，用于执行如下训练过程得到目标图像检索模型：

获取训练样本集合；其中，训练样本集合包括多个训练图像；

基于训练样本集合中的各个训练图像的类别，构建初始深度学习网络；其中，初始深度学习网络模型为基础ResNet50网络的Conv5_x层后增加一层全连接层；

设置第一损失函数，并基于训练样本集合，对初始深度学习网络模型进行训练，确定第一参数集合以及基于第一参数集合的训练好的初始深度学习网络模型；

在训练好的初始深度学习网络模型的Conv5_x层后增加一层哈希层，得到第二深度学习网络模型；其中，哈希层是具有预设数量神经元的全连接层；

设置第二损失函数，保持第一参数集合中的各个参数不变，并基于训练样本集合，对第二深度学习网络模型进行训练，确定第二参数集合以及基于第二参数集合的目标图像检索模型；其中，第二参数集合包括第一参数集合中的各个参数以及哈希层的参数。

在一些示例性的实施方式中，第一损失函数如下：

loss＝αsoftmax loss+βcenter loss+γtriple loss；

其中，loss为第一损失函数，softmax loss为softmax损失函数，center loss为center损失函数，triple loss为三元组损失函数，α、β和γ分别为相应损失函数对应的调整参数。

在一些示例性的实施方式中，第二损失函数如下：

F＝J+μQ+λC；

其中，F为第二损失函数，μ为权衡参数，λ为正则参数；J为度量损失函数，Q为基于正则损失函数和分类损失函数确定的损失函数，C为量化损失函数。

由于该装置即是本发明实施例中的方法中的装置，并且该装置解决问题的原理与该方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。

如图8所示，基于相同的发明构思，本发明实施例提供一种电子设备，该电子设备包括：处理器801以及图像获取单元802。

处理器801被配置为：

该设备包括处理器和图像获取单元，其中：

图像获取单元802被配置为执行：

获取初始待检索图像集合；

处理器801被配置为执行：

针对初始待检索图像集合中的每个待检索图像，基于目标图像检索模型，确定待检索图像的浮点特征和哈希特征；

应用各个待检索图像的哈希特征与参考图像的参考哈希特征进行比较，对初始待检索图像集合进行筛选，得到第一待检索图像集合；

应用第一待检索图像集合中的各个第一待检索图像的浮点特征与参考图像的参考浮点特征进行处理，对第一待检索图像集合进行筛选，得到目标图像集合。

在一些示例性的实施方式中，处理器801被配置为执行：

针对每个待检索图像，确定待检索图像的哈希特征与参考哈希特征之间的汉明距离；

应用各个待检索图像对应的汉明距离与预设汉明距离阈值的大小关系对初始待检索图像集合进行筛选；

确定小于预设汉明距离阈值的各个汉明距离对应的待检索图像构成的集合为第一待检索图像集合。

在一些示例性的实施方式中，处理器801被配置为执行：

针对第一待检索图像集合中的每个第一待检索图像，确定第一待检索图像的浮点特征与参考浮点特征之间的余弦距离；

应用各个第一待检索图像对应的余弦距离与预设余弦距离阈值的大小关系对第一待检索图像集合进行筛选；

确定大于预设余弦距离阈值的各个余弦距离对应的各个第一待检索图像构成目标图像集合。

在一些示例性的实施方式中，处理器801被配置为执行：

将初始待检索图像集合中的每个待检索图像输入至目标图像检索模型，确定目标图像检索模型中的全连接层之前的输出为待检索图像的浮点特征，以及，确定目标图像检索模型中的哈希层的输出为哈希特征。

在一些示例性的实施方式中，处理器801被配置执行如下过程得到目标图像检索模型：

获取训练样本集合；其中，训练样本集合包括多个训练图像；

基于训练样本集合中的各个训练图像的类别，构建初始深度学习网络；其中，初始深度学习网络模型为基础ResNet50网络的Conv5_x层后增加一层全连接层；

设置第一损失函数，并基于训练样本集合，对初始深度学习网络模型进行训练，确定第一参数集合以及基于第一参数集合的训练好的初始深度学习网络模型；

在训练好的初始深度学习网络模型的Conv5_x层后增加一层哈希层，得到第二深度学习网络模型；其中，哈希层是具有预设数量神经元的全连接层；

设置第二损失函数，保持第一参数集合中的各个参数不变，并基于训练样本集合，对第二深度学习网络模型进行训练，确定第二参数集合以及基于第二参数集合的目标图像检索模型；其中，第二参数集合包括第一参数集合中的各个参数以及哈希层的参数。

在一些示例性的实施方式中，第一损失函数如下：

loss＝αsoftmax loss+βcenter loss+γtriple loss；

其中，loss为第一损失函数，softmax loss为softmax损失函数，center loss为center损失函数，triple loss为三元组损失函数，α、β和γ分别为相应损失函数对应的调整参数。

在一些示例性的实施方式中，第二损失函数如下：

F＝J+μQ+λC；

其中，F为第二损失函数，μ为权衡参数，λ为正则参数；J为度量损失函数，Q为基于正则损失函数和分类损失函数确定的损失函数，C为量化损失函数。

本发明实施例还提供一种计算机存储介质，计算机存储介质中存储有计算机程序指令，当指令在计算机上运行时，使得计算机执行上述图像检索方法的步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种图像检索方法，其特征在于，包括：

获取初始待检索图像集合；

针对所述初始待检索图像集合中的每个待检索图像，基于目标图像检索模型，确定所述待检索图像的浮点特征和哈希特征；

应用所述各个待检索图像的哈希特征与参考图像的参考哈希特征进行比较，对所述初始待检索图像集合进行筛选，得到第一待检索图像集合；

应用所述第一待检索图像集合中的各个第一待检索图像的浮点特征与所述参考图像的参考浮点特征进行处理，对所述第一待检索图像集合进行筛选，得到目标图像集合。

2.根据权利要求1所述的方法，其特征在于，所述应用所述各个待检索图像的哈希特征与参考图像的参考哈希特征进行比较，对所述初始待检索图像集合进行筛选，得到第一待检索图像集合，包括：

针对每个待检索图像，确定所述待检索图像的哈希特征与参考哈希特征之间的汉明距离；

应用各个待检索图像对应的汉明距离与预设汉明距离阈值的大小关系对所述初始待检索图像集合进行筛选；

确定小于所述预设汉明距离阈值的各个所述汉明距离对应的待检索图像构成的集合为第一待检索图像集合。

3.根据权利要求1所述的方法，其特征在于，所述应用所述第一待检索图像集合中的各个第一待检索图像的浮点特征与所述参考图像的参考浮点特征进行处理，对所述第一待检索图像集合进行筛选，得到目标图像集合，包括：

针对所述第一待检索图像集合中的每个第一待检索图像，确定所述第一待检索图像的浮点特征与参考浮点特征之间的余弦距离；

应用各个第一待检索图像对应的余弦距离与预设余弦距离阈值的大小关系对所述第一待检索图像集合进行筛选；

确定大于所述预设余弦距离阈值的各个所述余弦距离对应的各个第一待检索图像构成目标图像集合。

4.根据权利要求1所述的方法，其特征在于，针对所述初始待检索图像集合中的每个待检索图像，基于目标图像检索模型，确定所述待检索图像的浮点特征和哈希特征，包括：

将所述初始待检索图像集合中的每个待检索图像输入至所述目标图像检索模型，确定所述目标图像检索模型中的全连接层之前的输出为所述待检索图像的浮点特征，以及，确定所述目标图像检索模型中的哈希层的输出为哈希特征。

5.根据权利要求1所述的方法，其特征在于，所述目标图像检索模型的训练过程如下：

获取训练样本集合；其中，所述训练样本集合包括多个训练图像；

基于所述训练样本集合中的各个训练图像的类别，构建初始深度学习网络；其中，所述初始深度学习网络模型为基础ResNet50网络的Conv5_x层后增加一层全连接层；

设置第一损失函数，并基于所述训练样本集合，对所述初始深度学习网络模型进行训练，确定第一参数集合以及基于所述第一参数集合的训练好的初始深度学习网络模型；

在所述训练好的初始深度学习网络模型的Conv5_x层后增加一层哈希层，得到第二深度学习网络模型；其中，所述哈希层是具有预设数量神经元的全连接层；

设置第二损失函数，保持所述第一参数集合中的各个参数不变，并基于所述训练样本集合，对所述第二深度学习网络模型进行训练，确定第二参数集合以及基于所述第二参数集合的目标图像检索模型；其中，所述第二参数集合包括所述第一参数集合中的各个参数以及所述哈希层的参数。

6.根据权利要求5所述的方法，其特征在于，所述第一损失函数如下：

loss＝αsoftmax loss+βcenter loss+γtriple loss；

其中，loss为第一损失函数，softmax loss为softmax损失函数，center loss为center损失函数，triple loss为三元组损失函数，α、β和γ分别为相应损失函数对应的调整参数。

7.根据权利要求5或6所述的方法，其特征在于，所述第二损失函数如下：

F＝J+μQ+λC；

其中，F为第二损失函数，μ为权衡参数，λ为正则参数；J为度量损失函数，Q为基于正则损失函数和分类损失函数确定的损失函数，C为量化损失函数。

8.一种电子设备，其特征在于，包括处理器和图像获取单元，其中：

所述图像获取单元被配置为执行：

获取初始待检索图像集合；

所述处理器被配置为执行：

针对所述初始待检索图像集合中的每个待检索图像，基于目标图像检索模型，确定所述待检索图像的浮点特征和哈希特征；

应用所述各个待检索图像的哈希特征与参考图像的参考哈希特征进行比较，对所述初始待检索图像集合进行筛选，得到第一待检索图像集合；

应用所述第一待检索图像集合中的各个第一待检索图像的浮点特征与所述参考图像的参考浮点特征进行处理，对所述第一待检索图像集合进行筛选，得到目标图像集合。

9.根据权利要求8所述的设备，其特征在于，所述处理器被配置为执行：

针对每个待检索图像，确定所述待检索图像的哈希特征与参考哈希特征之间的汉明距离；

应用各个待检索图像对应的汉明距离与预设汉明距离阈值的大小关系对所述初始待检索图像集合进行筛选；

确定小于所述预设汉明距离阈值的各个所述汉明距离对应的待检索图像构成的集合为第一待检索图像集合。

10.根据权利要求8所述的设备，其特征在于，所述处理器被配置为执行：

针对所述第一待检索图像集合中的每个第一待检索图像，确定所述第一待检索图像的浮点特征与参考浮点特征之间的余弦距离；

应用各个第一待检索图像对应的余弦距离与预设余弦距离阈值的大小关系对所述第一待检索图像集合进行筛选；

确定大于所述预设余弦距离阈值的各个所述余弦距离对应的各个第一待检索图像构成目标图像集合。

Images