CN110609916A

CN110609916A - 视频图像数据检索方法、装置、设备和存储介质

Info

Publication number: CN110609916A
Application number: CN201910912178.6A
Authority: CN
Inventors: 常亮
Original assignee: Sichuan Dongfang Wangli Technology Co Ltd
Current assignee: Sichuan Dongfang Wangli Technology Co Ltd
Priority date: 2019-09-25
Filing date: 2019-09-25
Publication date: 2019-12-24

Abstract

本发明涉及一种视频图像数据检索方法、装置、设备和存储介质，该方法包括：获取图片检索数据库和训练数据库；将训练数据库中的特征数据进行聚类训练，生成预设数量的数据桶，并确定每个数据桶的聚类中心；计算图片检索数据库中的每一条特征数据与各个聚类中心的距离，按照第一距离规则将图片检索数据库中的每一条特征数据添加到对应的数据桶中，以确定倒排索引表；计算待检索图片的特征矩阵与各个聚类中心的距离，按照第二距离规则确定目标数据桶；基于倒排索引表，计算待检索图片的特征向量矩阵与目标数据桶的聚类中心的距离，按照检索规则确定与待检索图片的相似图片作为检索结果。提高了视频图像数据检索时的性能和效率。

Description

视频图像数据检索方法、装置、设备和存储介质

技术领域

本发明涉及图像数据检索技术领域，具体涉及一种视频图像数据检索方法、装置、设备和存储介质。

背景技术

随着互联网的飞速发展，大规模视频图像数据在搜索引擎和社会网络中越来越普遍，也吸引了包括智慧社区、智能安防和AI(Artificial Intelligence，人工智能)城市等解决方案的高度关注。另外，随着人类、城市视频图像资源的不断增加，视频图像数据的规模越来越大。

相关技术中，对大规模的视频图像数据的处理虽然可以获得较好的聚类效果，但是聚类时训练集的训练耗时、模型正确性验证复杂且麻烦；而且，部分深度网络模型不仅需要训练，在线上部署时需要GPU(Graphics Processing Unit，图形处理器)支持，这样，在模型比较复杂时，需要大量的计算性能来构建。这样，相关技术在检索前的数据处理上比较高效，在检索方法有很大的局限性，例如，处理速度慢以及检索性能差等。

发明内容

有鉴于此，提供一种视频图像数据检索方法、装置、设备和存储介质，以解决相关技术中在面临大规模、高维度、分布稀疏的视频图像数据时，检索难度大、检索性能差以及检索效率低的问题。

本发明采用如下技术方案：

第一方面，本申请实施例提供了一种视频图像数据检索方法，该方法包括：

获取图片检索数据库和训练数据库；

将所述训练数据库中的特征数据进行聚类训练，生成预设数量的数据桶，并确定每个数据桶的聚类中心；

计算所述图片检索数据库中的每一条特征数据与各个所述聚类中心的距离，按照第一距离规则将所述图片检索数据库中的每一条特征数据添加到对应的数据桶中，以确定倒排索引表；

计算待检索图片的特征矩阵与各个所述聚类中心的距离，按照第二距离规则确定目标数据桶；

基于所述倒排索引表，计算所述待检索图片的特征向量矩阵与所述目标数据桶的聚类中心的距离，按照检索规则确定与所述待检索图片的相似图片作为检索结果。

第二方面，本申请实施例提供了一种视频图像数据检索装置，该装置包括：

数据获取模块，用于获取图片检索数据库和训练数据库；

聚类模块，用于将所述训练数据库中的特征数据进行聚类训练，生成预设数量的数据桶，并确定每个数据桶的聚类中心；

索引表确定模块，用于计算所述图片检索数据库中的每一条特征数据与各个所述聚类中心的距离，按照第一距离规则将所述图片检索数据库中的每一条特征数据添加到对应的数据桶中，以确定倒排索引表；

目标数据桶确定模块，用于计算待检索图片的特征矩阵与各个所述聚类中心的距离，按照第二距离规则确定目标数据桶；

检索模块，用于基于所述倒排索引表，计算所述待检索图片的特征向量矩阵与所述目标数据桶的聚类中心的距离，按照检索规则确定与所述待检索图片的相似图片作为检索结果。

第三方面，本申请实施例提供了一种设备，该设备包括：

处理器，以及与所述处理器相连接的存储器；

所述存储器用于存储计算机程序，所述计算机程序至少用于执行本申请实施例第一方面所述的视频图像数据检索方法；

所述处理器用于调用并执行所述存储器中的所述计算机程序。

第四方面，本申请实施例提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现如第一方面所述的视频图像数据检索方法中各个步骤。

本发明采用以上技术方案，通过获取图片检索数据库和训练数据库；将训练数据库中的特征数据进行聚类训练，生成预设数量的数据桶，并确定每个数据桶的聚类中心，这样就可以进行数据分桶，以便把高维数据点散列到多个数据桶中，提高检索效率；计算图片检索数据库中的每一条特征数据与各个聚类中心的距离，按照第一距离规则将图片检索数据库中的每一条特征数据添加到对应的数据桶中，以确定倒排索引表，采用倒排索引和数据分桶，更好降低高维数据检索中的时间复杂度和空间复杂度；计算待检索图片的特征矩阵与各个聚类中心的距离，按照第二距离规则确定目标数据桶；基于倒排索引表，计算待检索图片的特征向量矩阵与目标数据桶的聚类中心的距离，按照检索规则确定与待检索图片的相似图片作为检索结果。因此，在面临大规模、高维度、分布稀疏的数据时，检索过程更加高效，检索性能提高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种视频图像检索方法的流程图；

图2是本发明实施例提供的另一种视频图像检索方法的流程图；

图3是本发明实施例中适用的一种降维示例中的降维前的数据集示意图；

图4是本发明实施例中适用的一种降维示例中处理过程中的数据集示意图；

图5是本发明实施例中适用的另一种降维示例中处理过程中的数据集示意图；

图6是本发明实施例提供的一种视频图像检索装置的结构示意图；

图7是本发明实施例中提供的一种设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

实施例

图1为本发明实施例提供的一种视频图像检索方法的流程图，该方法可以由本发明实施例提供的视频图像检索装置来执行，该装置可采用软件和/或硬件的方式实现。参考图1，该方法具体可以包括如下步骤：

S101、获取图片检索数据库和训练数据库。

具体的，图片检索数据库通常包括大量的图片，例如，100万张，这些图片可以是随机抓拍的某个城市中各个监控路口的图片，还可以是某个小区中在某段时间内的监控到的图片。另外，这里的图片可以是指直接抓拍的图片，还可以是从监控到的视频图像中提取的视频帧得到的多张图片。本申请实施例的应用场景可以是，从大量的图片检索数据库的图片中，找到与待检索图片相似的图片，这个过程可以称为检索过程。此外，还需要获取训练数据库，训练数据库中也包括大量的图片，这些图片和图片检索库中的图片可以相同，可以不同，也可以有部分相同，也即，没有必然的联系。通过训练数据库，可以将图片检索数据库进行整合处理，再进行视频图像数据的检索。

S102、将训练数据库中的特征数据进行聚类训练，生成预设数量的数据桶，并确定每个数据桶的聚类中心。

其中，数据桶，可以理解为数据库中的数据集中的一部分，一个数据集可以生成多个数据桶，而生成数据桶的方式通常是聚类处理。将物理或抽象对象的集合分成由类似的对象组成的多个类的过程被称为聚类，由聚类所生成的簇是一组数据对象的集合，这些对象与同一个簇中的对象彼此相似，与其他簇中的对象相异。在本申请实施例中，当集合中的对象为视频图像中的特征数据时，每个类称为一个数据桶。

具体的，应用预先设定的聚类算法对训练数据库中的特征数据进行聚类，聚类结果则是生成预设数量的数据桶，这个预设数量和应用的聚类算法相关，应用的聚类算法不同，生成的预设数据桶的数量就可能不同。每个数据桶中存储有数据集合中的部分数据，每个数据桶有一个聚类中心，聚类中心在这里可以是训练数据库中的一条特征数据。在实际的应用过程中，数据桶的个数即为聚类的类别数，也即，有几个数据桶，则把训练数据分成了几类。

S103、计算图片检索数据库中的每一条特征数据与各个聚类中心的距离，按照第一距离规则将图片检索数据库中的每一条特征数据添加到对应的数据桶中，以确定倒排索引表。

具体的，计算图片检索库中的每一条特征数据与各个聚类中心的距离，这里的距离指的是向量之间的距离。在实际的应用过程中，向量之间的距离可以有多种类型的距离，进而对应多种距离的计算方式。这里可以随机选取一种向量之间的距离计算或者距离表示方式即可。第一距离规则可以是距离最短、距离最长或者距离满足一定条件。在本申请实施例中，按照第一距离规则，将图片检索库中的每一条特征数据分别添加至各个数据桶中，这样，训练数据库中融合了图片检索数据库中的特征数据。此时，确定一个倒排索引表，该倒排索引表中存储有数据桶的编号以及各个数据桶中存储的特征数据的对应关系，最后将倒排索引表存储在RAM(Random Access Memory，随机存储存储器)。

S104、计算待检索图片的特征矩阵与各个聚类中心的距离，按照第二距离规则确定目标数据桶。

具体的，待检索图片可以是一张，可以是多张，当待检索图片为多张时，可以按照一张的处理方式进行多次处理，也即，批量处理。这里以一张待处理图片为例进行说明。每个待检索图片提取一个特征矩阵，该特征矩阵可以是一个128维的向量，计算待检索图片的特征矩阵与各个聚类中心的距离，这样，针对每一个数据桶，就可以得到一个距离；多个数据桶就可以得到多个距离。在一个具体的例子中，第二距离规则可以是距离最短规则，这样就可以通过距离的长短，在全部数据桶中确定满足第二距离规则的至少一个数据桶作为目标数据桶。

S105、基于倒排索引表，计算待检索图片的特征向量矩阵与目标数据桶的聚类中心的距离，按照检索规则确定与待检索图片的相似图片作为检索结果。

具体的，基于倒排索引表，在确定的至少一个目标数据桶中，计算待检索图片的特征向量矩阵目标数据桶的聚类中心的距离，其中，特征向量矩阵即为有多个特征向量组合成的矩阵。示例性的，检索规则可以是取相似图片中的相似度最高的M个作为检索结果，M为正整数，M的最大取值为相似图片的个数。

图2为本发明又一实施例提供的另一种视频图像检索方法的流程图，本实施例在上述实施例的基础上实现。参考图2，该方法具体可以包括如下步骤：

S201、获取原始图片检索数据库和原始训练数据库。

具体的，原始图片检索数据库中存储的是直接获取到的检索图片，原始训练库中存储的是直接获取到的训练图片，这里的获取可以是摄像头拍摄，摄像头监控摄像头；直接可以是指获取之后未经过任何处理。另外，摄像头拍摄的可以是图片，还可以是视频，如果是视频，则可以对视频进行图像提取，得到若干张图片，这里不进行限定。

S202、提取原始图片检索数据库中的图片的检索特征数据，以及，原始训练数据库中的图片的训练特征数据。

具体的，提取原始图片检索库中的图片的检索特征数据，例如，可以提取128维的特征向量；原始训练数据库中的图片的训练特征数据也可以是128维。

S203、对检索特征数据和训练特征数据进行降维和压缩处理，得到图片检索数据库和训练数据库。

其中，降维过程是指将高维度的特征数据处理成低维度的特征数据；压缩过程是指，将多个向量按照一定的规则当成一组向量进行处理。在一个具体的例子中，本申请实施例中可以应用PCA(Principal Component Analysis，主成分分析法)进行降维处理，应用PQ(Product Quantization，乘积量化)算法进行压缩，这样就可以得到图片检索数据库和训练数据库。

为了使本申请实施例的技术方案更容易理解，下面分别对PCA算法和PQ算法进行简单介绍。

PCA算法是将数据投射到一个低维子空间实现降维，例如，二维数据集降维就是把点投射成一条线，数据集的每个样本可以用一个值表示，不需要两个值；三维数据集可以降成二维，即把变量映射成一个平面。PCA降维原理解释如下：将高维数据集映射到低维空间的同时，尽可能的保留更多变量；PCA旋转数据集与其主成分对齐，将最多的变量保留到第一主成分中；数据集看起来像一个从原点到右上角延伸的细长扁平的椭圆。要降低整个数据集的维度，必须把点映射成一条线。

在一个具体的例子中，图3示出了一种降维示例中的降维前的数据集示意图；图4示出了一种降维示例中处理过程中的数据集示意图；图5示出了另一种降维示例中处理过程中的数据集示意图。参考图3、图4和图5，其中，图4和图5中的实线和虚线都是数据集可以映射的，可以看出，样本映射到虚线的变化比映射到实线的变化大。实际上，这条虚线就是第一主成分。第二主成分必须与第一主成分正交，也就是说第二主成分必须是在统计学上独立的，会出现在与第一主成分垂直的方向。

PQ算法的降维压缩原理如下：假设图片检索数据库有100万张图片，每张图片提取至少一个128维的特征向量，这里以提取一个128维向量为例，把这128维向量分成8个短向量，每个短向量是16维，也就是说图片检索数据库总共包含100万*8这么多向量，这里可以称为8堆短向量，每一堆有100万个短向量。把每一堆短向量都用K-Means聚类为256类。对于图片检索数据库里面的每一张图片都由多个128维的向量表示，把每个128维的向量分为8个16维的短向量，对于每一个短向量，找到其属于一堆短向量的256类中的哪一类。以此类推，8个短向量分别在8个堆中查找属于256类中的哪一类，这样一张图片8个短向量的每一个短向量都有256种选择，即一张图片总共有256的8次幂种选择，也即，2的64次幂，即相当于一幅图片的特征可以表示为64位二进制数，这样图片检索库的数量就可以很大了，而查找待检索图片时，先在图片检索数据库里对比待检索图片的第一个八分之一短向量，如果按照最近邻查找的方法，在第一个短向量的判断后就丢弃了库里面不符合的255/256张图片，即接下来只要搜索1/256库的图片即可，而在对比待检索图片的第二个八分之一短向量时又丢弃了255/256的图片，一共进行8次丢弃，这样以来查找的工作量极大减少，而不用把待检索图片和图片检索数据库里面的每一张图片都对比。需要说明的是，待检索图片是泛指的一个概念，是为了说明在PQ算法中的需要和图片检索库匹配的图片；另外，这里提取的是多个128维向量，在实际的应用过程中，一张图片通常提取一个128维向量。

可选的，图片检索数据库中的特征数据的维度和训练数据库中的特征数据的维度相同，图片检索数据库中的特征数据的压缩级别和训练数据库中的特征数据的压缩级别相同。

其中，为了保证检索过程的准确率，对检索特征数据和训练特征数据进行降维和压缩处理时应用的降维算法相同，例如，均为PCA算法；应用的压缩算法也相同，例如，均为PQ算法。另外，还要保证降维和压缩处理过程中，图片检索库中的特征数据的维度和训练数据库中的特征数据的维度相同，图片检索库中的特征数据的压缩级别和训练数据库中的压缩级别相同。

S204、获取图片检索数据库和训练数据库。

S205、应用K-Means聚类算法将训练数据库中的特征数据进行聚类训练，生成预设数量的数据桶。

其中，K-Means是无监督聚类算法中的一种，K表示类别数，Means表示均值。顾名思义是一种通过均值对数据点进行聚类的算法。算法通过预先设定的K值及每个类别的初始质心对相似的数据点进行划分。并通过划分后的均值迭代优化获得最优的聚类结果。具体的，针对图片检索数据库和训练数据库，均经过了降维和压缩处理。然后，应用K-Means聚类算法将训练数据库中的特征数据进行聚类。可选的，预设数量为K，K为正整数。也即，K的取值即为生成的数据桶的个数，也即，聚类的类别数。

S206、确定每个数据桶的聚类中心。

具体的，依据K-Means聚类过程，就可以确定每个数据桶的聚类中心，其中，聚类中心即为训练数据库中的一条符合聚类算法的规则的特征数据。

S207、计算图片检索数据库中的每一条特征数据与各个聚类中心的向量内积或者欧氏距离。

具体的，欧氏距离又可以称为L2距离，计算图片检索数据库中的每一条特征数据与各个聚类中心的向量内积或者欧氏距离。其中，这两种计算距离的方式均为现有技术中的方式，在本申请实施例中，可以任选其中的一种进行计算，还可以应用其他的计算向量之间的距离的方法进行运算，这里不形成具体的限定。

S208、按照向量内积最大或者欧氏距离最小的第一距离规则，将图片检索数据库中的每一条特征数据添加到对应的数据桶中。

其中，第一距离规则可以是向量内积最大或者欧式距离最小，若S207中计算距离的方式是向量内积，则确定第一距离规则是内积最大；若S207中确定距离的方式是欧式距离，则确定第一距离规则是欧式距离最小。具体的，以欧式距离为例，以图片检索库数据库中的一张图片的一条特征数据为例，这样计算这条特征数据与每个数据桶的聚类中心的距离，然后将该条数据添加到计算得到的欧式距离最小的那个聚类中心对应的数据桶中。

S209、构造局部敏感哈希函数，基于被添加了图片检索数据库中的特征数据的训练数据，应用局部敏感哈希函数构建倒排索引表。

具体的，倒排索引表中存储的是特征数据、数据桶编号以及二者的对应关系，也即，特征数据的归属关系，将该归属关系根据局部敏感哈希算法映射存储在K个节点的倒排索引中，索引存储在RAM中。

下面用一个具体的例子对本申请实施例中如何应用局部敏感哈希函数构建倒排索引表的过程进行说明。需要说明的是，这里说的原始高维特征空间的数据点即为添加了图片检索数据库中的特征数据的训练数据。

首先，通过选取的哈希函数的映射变换将原始高维特征空间的数据点集合划分为若干较小的子集，且每个子集中的元素个数较小且相邻。通过构造局部敏感哈希函数对原始特征数据做投影变换，使投影到新空间的图像数据特征的每一维比原始特征空间更具有局部敏感性，从而成功地克服了“维数灾难”。新的图像特征可以看作是一个比原始特征更紧致的低维表示。

在一个具体的例子中。假设x和y是两个原始高维特征空间的数据点，在局部敏感性哈希算法中，哈希函数通常满足如下条件：

式中：H是哈希函数簇；哈希函数h(j)是从H中随机选取的；sim是相似度函数；Pr表示高维数据点x和高维数据点y经过同一哈希函数h(j)变换后的相似度；j表示哈希函数的类别，j不同，表明哈希函数不同；x和y表示两个不同的高维数据点。

本申请实施例中，采用哈希函数{h:R^d→Z}的计算公式如下：

式中：x是高维数据点；w是投影的量化宽度；参数b服从区间为[0，w]的均匀分布。a表示正比系数，a的每个元素均服从p-稳定分布，i不同，表示a的不同元素；R表示实数，Z表示整数，d表示任意自然数；v表示哈希函数h(j)中的一个参数。p-稳定分布具有如下的性质：如果两个变量服从p-稳定分布，那么这两个变量的线性组合也服从p-稳定分布，符号[.]表示取整操作。哈希函数把一个高维矢量映射为一个整数。因为单个哈希函数的区分能力不强，所以构建如下第二级哈希函数：

g_i(x)＝{h_j.l(x),...,h_j.k(x)}

式中：g表示二级哈希函数；l表示在这个例子中的哈希分桶的个数；k表示哈希变换后哈希码的维度。

本申请实施例中，通过“投影”和“量化”操作，高维数据点x分别被索引到一个哈希表的某一个数据桶中，此处哈希表存储的不是特征向量本身，而是代表数据点x的识别符号及其在数据库中的位置。

将待查询的特征数据经过局部敏感哈希函数映射得到相应的哈希码，依据哈希码，取出相应数据桶中的数据，线性检索数据中与查询数据最接近的一个或多个数据，返回结果。

S210、计算待检索图片的特征矩阵与各个聚类中心的距离，按照第二距离规则确定预设数量的距离对应的数据桶为目标数据桶。

具体的，其中，第二距离规则可以是距离最短的N个，其中N小于或等于K，N为整数。计算待检索图片的特征矩阵与各个聚类中心的距离，然后按照距离最短的第二距离规则确定N个距离最短的聚类中心对应的数据桶为目标数据桶。这样，就从K个数据桶中找出N个数据桶进行后续处理。

可选的，在这个步骤中，首选，获取原始待检索图片，对原始待检索图片进行降维和压缩处理得到待检索图片；待检索图片的特征数据的维度与图片检索数据库中的特征数据的维度相同，待检索图片的特征数据的压缩级别与图片检索数据库中的特征数据的级别相同。

其中，为了保证检索的准确率，这里对原始待检索图片也进行降维和压缩处理，这样得到与图片检索数据库中的特征数据维度相同的待检索图片，以及，与图片检索数据库中的特征数据的压缩级别相同的待检索图片。在一个具体的例子中，降维算法可以应用PCA算法，压缩算法可以应用PQ算法。

S211、在倒排索引表中，根据数据桶的编号，查找目标数据桶的聚类中心。

具体的，在确定了目标数据桶之后，应用倒排索引表，根据各个数据桶的编号，以及，目标数据桶的编号，查找目标数据桶的聚类中心。这样，在查找到目标数据桶的聚类中心后，还可以根据查找到相应的数据桶中的特征数据。

S212、计算待检索图片的特征向量矩阵与目标数据桶的聚类中心的距离，根据距离确定与待检索图片匹配的相似特征。

具体的，将待检索图片的特征向量矩阵与目标数据桶的聚类中心进行举例计算，这里的距离可以是欧式距离，还可以是余弦距离，然后根据余弦距离大小确定与待检索图片匹配的相似特征。在一个具体的例子中，例如可以是将距离最小的前若干个特征作为相似特征集合。其中，相似特征集合中的特征数量和检索规则或者检索需求相关，这里不进行限定。

在一个具体的例子中，根据距离大小确定匹配程度时，例如，完全相同数据匹配程度为100％，依次递减；进而可以做出一个距离和匹配程度的关系表，然后再根据该关系表和倒排索引表查找出最佳匹配的相似特征。

S213、根据检索规则和相似特征确定检索结果。

具体的，根据检索规则和显示特征确定检索结果，例如，当检索要求比较严格时，可以只选取S212中距离最小的一个作为检索结果；当检索要求比较宽松且不遗漏的情况下，可以选取S212中距离最小的多个作为检索结果。另外，检索结果可以是相似特征的数据集合，还可以是与待检索图片相似的图片的编号或者识别号等，这里不进行限定。

本申请实施例中，对原始图片检索数据库和原始训练数据库，以及，原始待检索图片分别进行降维和压缩，得到维数和压缩级别分别相同的图片检索数据库、训练数据库和待检索图片，这样提高了检索的准确率；应用K-Means聚类算法进行聚类得到预设数量的数据桶以及各个数据桶的聚类中心；根据第一预设距离规则将图片检索数据库中的每一条特征数据添加到对应的数据桶中，这样实现了将高维数据散列到多个数据桶中；应用哈希分桶和倒排索引相结合的方式，更高的降低高维数据检索中的时间空间复杂度，使得检索过程更高效；另外，通过待检索图片的特征向量矩阵和目标数据桶的聚类中心的距离，确定与待检索图片匹配的相似特征作为检索结果。因此，在面临大规模、高维度、分布稀疏的数据时，检索过程更加高效，检索性能提高。

另外，相关技术中，有如下几种检索方法，例如：近似紧邻检索方法、特征检索模块提供的预基于预定排序的高维数据检索方法、基于树形存储结构的利用剪枝法进行检索的方法等，这些方法中，在面临大规模、高维度、分布稀疏的数据时，检索难度巨大，检索性能存在着巨大的压力，

综上，本申请提供的技术方案可以解决上述相关技术中存在的问题，具备如下有益效果：利用PCA降维算法和局部敏感性哈希算法对训练数据库中的所有特征数据集进行数据分桶，将图片检索数据库中的每一条特征数据添加到经过高效聚类后的数据桶中，成功地克服了“维数灾难”，减少了计算量；利用倒排索引的技术，在数据分桶的基础上给所有特征数据添加了高效的倒排索引表，使得检索过程更加高效。

另外，在聚类过程中，如果数据量超大时可以先将特征数据分为前后两部分，分别对前后两部分进行数据聚类处理，同样的索引也需要维护两部分索引。但是该方法所需要的内存空间是本申请实施例中的内存空间的将近二倍，因此，该方式适用于内存充足时。

图6是本发明是实施例提供的一种视频图像检索装置的结构示意图，该装置适用于执行本发明实施例提供给的一种视频图像检索方法。如图6所示，该装置具体可以包括：数据获取模块601、聚类模块602、索引表确定模块603、目标数据桶确定模块604和检索模块605。

其中，数据获取模块601，用于获取图片检索数据库和训练数据库；聚类模块602，用于将训练数据库中的特征数据进行聚类训练，生成预设数量的数据桶，并确定每个数据桶的聚类中心；索引表确定模块603，用于计算图片检索数据库中的每一条特征数据与各个聚类中心的距离，按照第一距离规则将图片检索数据库中的每一条特征数据添加到对应的数据桶中，以确定倒排索引表；目标数据桶确定模块604，用于计算待检索图片的特征矩阵与各个聚类中心的距离，按照第二距离规则确定目标数据桶；检索模块605，用于基于倒排索引表，计算待检索图片的特征向量矩阵与目标数据桶的聚类中心的距离，按照检索规则确定与待检索图片的相似图片作为检索结果。

进一步的，还包括第一预处理模块，用于获取图片检索数据库和训练数据库之前：

获取原始图片检索数据库和原始训练数据库；

提取原始图片检索数据库中的图片的检索特征数据，以及，原始训练数据库中的图片的训练特征数据；

对检索特征数据和训练特征数据进行降维和压缩处理，得到图片检索数据库和训练数据库；

其中，图片检索数据库中的特征数据的维度和训练数据库中的特征数据的维度相同，图片检索数据库中的特征数据的压缩级别和训练数据库中的特征数据的压缩级别相同。

进一步的，还包括第二预处理模块，用于计算待检索图片的特征矩阵与各个聚类中心的距离之前：

获取原始待检索图片，对原始待检索图片进行降维和压缩处理得到待检索图片，其中，待检索图片的特征数据的维度与图片检索数据库中的特征数据的维度相同，待检索图片的特征数据的压缩级别与图片检索数据库中的特征数据的级别相同。

进一步的，聚类模块602具体用于：

应用K-Means聚类算法将训练数据库中的特征数据进行聚类训练，生成预设数量的数据桶，其中，预设数量为K，K为正整数；

确定每个数据桶的聚类中心。

进一步的，索引表确定模块603包括：

距离计算子模块，用于计算图片检索数据库中的每一条特征数据与各个聚类中心的向量内积或者欧氏距离；

确定子模块，用于按照向量内积最大或者欧氏距离最小的第一距离规则，将图片检索数据库中的每一条特征数据添加到对应的数据桶中，以确定倒排索引表。

进一步的，确定子模块具体用于：

构造局部敏感哈希函数，基于被添加了图片检索数据库中的特征数据的训练数据，应用局部敏感哈希函数构建倒排索引表。

进一步的，目标数据桶确定模块604具体用于：

计算待检索图片的特征矩阵与各个聚类中心的距离，按照第二距离规则确定预设数量的距离对应的数据桶为目标数据桶。

进一步的，检索模块605具体用于：

在倒排索引表中，根据数据桶的编号，查找目标数据桶的聚类中心；

计算待检索图片的特征向量矩阵与目标数据桶的聚类中心的距离，根据距离确定与待检索图片匹配的相似特征；

根据检索规则和相似特征确定检索结果。

本发明实施例提供的视频图像数据检索装置可执行本发明任意实施例提供的视频图像数据检索方法，具备执行方法相应的功能模块和有益效果。

本发明实施例还提供一种设备，请参阅图7，图7为一种设备的结构示意图，如图7所示，该设备包括：处理器710，以及与处理器710相连接的存储器720；存储器720用于存储计算机程序，计算机程序至少用于执行本发明实施例中的视频图像数据检索方法；处理器710用于调用并执行存储器中的计算机程序；上述视频图像数据检索方法至少包括如下步骤：获取图片检索数据库和训练数据库；将训练数据库中的特征数据进行聚类训练，生成预设数量的数据桶，并确定每个数据桶的聚类中心；计算图片检索数据库中的每一条特征数据与各个聚类中心的距离，按照第一距离规则将图片检索数据库中的每一条特征数据添加到对应的数据桶中，以确定倒排索引表；计算待检索图片的特征矩阵与各个聚类中心的距离，按照第二距离规则确定目标数据桶；基于倒排索引表，计算待检索图片的特征向量矩阵与目标数据桶的聚类中心的距离，按照检索规则确定与待检索图片的相似图片作为检索结果。

本发明实施例还提供一种存储介质，存储介质存储有计算机程序，计算机程序被处理器执行时，实现如本发明实施例中的视频图像数据检索方法中各个步骤：获取图片检索数据库和训练数据库；将训练数据库中的特征数据进行聚类训练，生成预设数量的数据桶，并确定每个数据桶的聚类中心；计算图片检索数据库中的每一条特征数据与各个聚类中心的距离，按照第一距离规则将图片检索数据库中的每一条特征数据添加到对应的数据桶中，以确定倒排索引表；计算待检索图片的特征矩阵与各个聚类中心的距离，按照第二距离规则确定目标数据桶；基于倒排索引表，计算待检索图片的特征向量矩阵与目标数据桶的聚类中心的距离，按照检索规则确定与待检索图片的相似图片作为检索结果。

可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。

需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims

1.一种视频图像数据检索方法，其特征在于，包括：

获取图片检索数据库和训练数据库；

2.根据权利要求1所述的方法，其特征在于，获取图片检索数据库和训练数据库之前，还包括：

获取原始图片检索数据库和原始训练数据库；

提取所述原始图片检索数据库中的图片的检索特征数据，以及，所述原始训练数据库中的图片的训练特征数据；

对所述检索特征数据和所述训练特征数据进行降维和压缩处理，得到图片检索数据库和训练数据库；

其中，所述图片检索数据库中的特征数据的维度和所述训练数据库中的特征数据的维度相同，所述图片检索数据库中的特征数据的压缩级别和所述训练数据库中的特征数据的压缩级别相同。

3.根据权利要求2所述的方法，其特征在于，计算待检索图片的特征矩阵与各个所述聚类中心的距离之前，还包括：

获取原始待检索图片，对所述原始待检索图片进行降维和压缩处理得到待检索图片，其中，所述待检索图片的特征数据的维度与所述图片检索数据库中的特征数据的维度相同，所述待检索图片的特征数据的压缩级别与所述图片检索数据库中的特征数据的级别相同。

4.根据权利要求1所述的方法，其特征在于，所述将所述训练数据库中的特征数据进行聚类训练，生成预设数量的数据桶，并确定每个数据桶的聚类中心，包括：

应用K-Means聚类算法将所述训练数据库中的特征数据进行聚类训练，生成预设数量的数据桶，其中，所述预设数量为K，K为正整数；

确定每个数据桶的聚类中心。

5.根据权利要求1所述的方法，其特征在于，所述计算所述图片检索数据库中的每一条特征数据与各个所述聚类中心的距离，按照第一距离规则将所述图片检索数据库中的每一条特征数据添加到对应的数据桶中，以确定倒排索引表；

计算所述图片检索数据库中的每一条特征数据与各个所述聚类中心的向量内积或者欧氏距离；

按照向量内积最大或者欧氏距离最小的第一距离规则，将所述图片检索数据库中的每一条特征数据添加到对应的数据桶中，以确定倒排索引表。

6.根据权利要求5所述的方法，其特征在于，所述确定倒排索引表包括：

构造局部敏感哈希函数，基于被添加了图片检索数据库中的特征数据的训练数据，应用所述局部敏感哈希函数构建倒排索引表。

7.根据权利要求1所述的方法，其特征在于，所述计算待检索图片的特征矩阵与各个聚类中心的距离，按照第二距离规则确定目标数据桶包括：

计算所述待检索图片的特征矩阵与各个聚类中心的距离，按照第二距离规则确定预设数量的距离对应的数据桶为目标数据桶。

8.根据权利要求1所述的方法，其特征在于，所述基于所述倒排索引表，计算所述待检索图片的特征向量矩阵与所述目标数据桶的聚类中心的距离，按照检索规则确定与所述待检索图片的相似图片作为检索结果，包括：

在所述倒排索引表中，根据所述数据桶的编号，查找所述目标数据桶的聚类中心；

计算所述待检索图片的特征向量矩阵与所述目标数据桶的聚类中心的距离，根据所述距离确定与所述待检索图片匹配的相似特征；

根据所述检索规则和所述相似特征确定检索结果。

9.一种视频图像数据检索装置，其特征在于，包括：

数据获取模块，用于获取图片检索数据库和训练数据库；

10.一种设备，其特征在于，包括：

处理器，以及与所述处理器相连接的存储器；

所述存储器用于存储计算机程序，所述计算机程序至少用于执行权利要求1-8任一项所述的视频图像数据检索方法；

11.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1-8任一项所述的视频图像数据检索方法中各个步骤。