CN105205169A - 一种分布式图像索引与检索方法 - Google Patents

Abstract

本发明提出了一种分布式图像索引与检索方法，包括：搭建Hadoop分布式***集群，包括HDFS分布式文件***、YARN资源管理器、ZooKeeper分布式应用程序协调服务、Spark集群计算环境和HBase数据库；部署配置基于YARN资源管理器的Spark集群；启动图像索引流处理任务；启动图像检索流处理任务；图像索引流处理任务接收外部输入图像并建立索引；图像检索流处理任务接收待检索图像，输出检索到的相似图像。本发明采用了基于内存计算的Spark？Streaming技术，能够实现图像处理任务和特征提取任务的分布式快速计算，具有高度的实时性。

Description

一种分布式图像索引与检索方法

技术领域

本发明属于大规模图像处理与检索领域，特别是一种基于SparkStreaming的分布式图像索引与检索方法。

背景技术

现阶段，单机图像处理和检索技术，单机计算能力有限。随着图像数据量的增长，单机处理会造成很大的延时性。此外，传统的相似图像检索算法，计算复杂度高，且计算结果不可以复用，每次检索都花费很长的时间进行相似度计算。

发明内容

发明目的：本发明所要解决的技术问题是克服单机图像处理的计算能力差，时延性长,存储容量有限以及图像检索速度慢的问题。

技术方案：本发明提出了一种基于SparkStreaming分布式图像索引与检索方法。该方法包括以下步骤：

步骤1，搭建Hadoop分布式***集群，包括HDFS分布式文件***、YARN资源管理器、ZooKeeper分布式应用程序协调服务、Spark集群和HBase数据库；

步骤2，部署配置基于资源管理器YARN的Spark集群；

步骤3，启动图像索引流处理任务；

步骤4，启动图像检索流处理任务；

步骤5，图像索引流处理任务接收外部输入图像序列并建立索引；

步骤6，图像检索流处理任务接收待检索图像，输出检索到的相似图像。

其中，步骤1中，所述YARN资源管理器用于任务调度，负责集群计算资源的管理及为每个任务分配资源(包括内存资源、处理器资源等)，并在集群中节点出现故障时为任务重新分配计算资源(具体见步骤3与步骤4)，所述HBase数据库用于存储图像。

步骤2包括：在Hadoop分布式***集群上部署Spark集群，利用YARN资源管理器调度Spark集群的Spark任务容器，Hadoop分布式***集群中的工作节点包括索引节点、检索节点、以及输出节点；

其中，索引节点负责对输入的图像提取特征，并保存到指定的HBase数据库表中，供后续检索使用；

检索节点，负责对输入的待检索图像计算其与指定HBase数据库表中所存储图像的相似度，并进行排序和输出；

输出节点负责对所有检索节点返回的结果进行归并排序，并从HBase数据库中读取图像编码，然后生成原始图像，再将检索到的图像返回给用户。

步骤3包括：在ZooKeeper分布式应用程序协调服务中建立N个索引表T_i,i＝1,…,N，应用Spark流处理技术在Spark集群中建立N个索引节点S_i，并为每个索引节点分配一个空闲的索引表，当一个索引节点失效时，比如异常退出或网络故障，ZooKeeper分布式应用程序协调服务中对应的索引节点和索引表分配节点自动删除，由Spark流处理技术自动新建索引节点，并在ZooKeeper分布式应用程序协调服务中重新建立对应索引节点及索引表分配节点。

步骤4包括：Spark流处理技术在Spark集群中建立N个检索节点R_i,i＝1,…,N，并为每个检索节点分配一个空闲的索引表，当一个检索节点失效时，比如异常退出或网络故障，ZooKeeper分布式应用程序协调服务中对应的检索节点和索引表分配节点自动删除，由Spark流处理技术自动新建检索节点，并在ZooKeeper分布式应用程序协调服务中重新建立对应检索节点及索引表分配节点。

步骤5包括：对用户输入的图像序列，首先对每个图像I进行BASE64编码得到编码结果B，并将编码后的字符串作为输入分发到已启动的索引节点S_i，并从ZooKeeper分布式应用程序协调服务中获取该索引节点对应的索引表T_i，然后利用MD5编码对输入的图像编码计算图像的键值K，同时对编码结果B1进行解码，并对解码后的图像提取视觉特征向量X，然后将[K,X,B]保存到索引表T中。

步骤6包括：对用户输入的待检索图像，首先对该图像进行BASE64编码得到编码结果B2，并将编码后的字符串作为输入分发到已启动的检索节点R_i，i＝1,…,N，并从ZooKeeper分布式应用程序协调服务中获取该索引节点对应的索引表T_u,u∈[1,N]，然后对编码结果B2进行解码，并对解码后的图像提取视觉特征向量X，然后计算其与索引表T_u中保存的图像特征的颜色分布相似度σ(本发明实施例中使用颜色分布相似度，也可使用其他任意相似度计算方法)，并进行排序，将排序后的前M组结果W_i＝{<K,σ,T_u>_d|d＝1,…,M}发送到输出节点,其中d为排序的序号，输出节点对接收到的检索结果W_i进行归并排序，保留前M组结果，并根据键值K及其对应的索引表T_u读取图像编码结果B，解码生成图像文件并返回图像路径。

有益效果：本发明采用了基于内存计算的SparkStreaming技术，能够实现图像处理任务和特征提取任务的分布式快速计算，具有高度的实时性。其次，利用Spark技术使得整个***设计具有很好的扩展性和很高的吞吐量。最后，本发明利用ZooKeeper来维护多个索引表与索引节点、检索节点的分配关系，充分利用分布式***的可用性，在单节点失效的情况下，集群能够继续对输入的图像进行索引和检索。引入的SparkStreaming技术具有很好的横向扩展性和容错能力。SparkStreaming能够运行在100+节点上，能够提供强大的计算能力并达到秒级延迟。在建立图像索引之后，可以实现海量图像的秒级搜索。

本发明引入的SparkStreaming技术具有很好的横向扩展性和容错能力。SparkStreaming能够运行在100+节点上，能够提供强大的计算能力并达到秒级延迟。一次建立图像索引之后，可以实现海量图像的秒级搜索。

附图说明

图1是基于SparkStreaming的分布式图像检索与索引***流程图。

图2是ZooKeeper节点树状图。

图3是索引节点启动流程图。

图4是检索节点启动流程图。

图5是索引节点工作流程图。

图6是检索节点及输出节点工作流程图程图。

具体实施方式

下面结合附图对本发明作进一步详细描述。

现阶段，单机图像处理和检索技术，单机计算能力有限。随着图像数据量的增长，单机处理会造成很大的延时性。此外，传统的相似图像检索算法，计算复杂度高，且计算结果不可以复用，每次检索都花费很长的时间进行相似度计算。本发明引入的SparkStreaming技术具有很好的横向扩展性和容错能力。SparkStreaming能够运行在100+节点上，能够提供强大的计算能力并达到秒级延迟。一次建立图像索引之后，可以实现海量图像的秒级搜索。本发明包括以下处理步骤。

(1)通过搭建Hadoop集群来整合多台计算机的存储和计算能力，利用YARN来进行任务调度，利用HBase来作为数据库存储图像。

(2)在Hadoop集群上部署Spark，利用YARN调度Spark任务容器。如图1所示，本发明中的工作节点包括索引节点、检索节点、以及输出节点。其中索引节点负责对输入的图像提取特征，并保存到指定的HBase表中，供后续检索使用；检索节点则负责对输入的待检索图像计算其与指定HBase表中所存储图像的相似度，并进行排序和输出；输出节点则负责对所有检索节点返回的结果进行归并排序，并从HBase中读取图像编码，然后生成原始图像，再将检索到的图像返回给用户。

(3)启动图像索引流处理任务，在ZooKeeper中建立N个索引表T_i,(i＝1,…,N)，SparkStreaming在集群中建立N个索引节点S_i,(i＝1,…,N)，并为每个索引节点分配一个空闲的索引表。当某个索引节点失效(异常退出或网络故障)时，ZooKeeper中对应的索引节点和索引表分配节点自动删除，由SparkStreaming自动新建索引节点，并在ZooKeeper中重新建立对应索引节点及索引表分配节点。

如图2所示，ZooKeeper中存储了索引表、索引节点以及索引分配状况，利用ZooKeeper来保证分布式***的一致性，ZooKeeper在启动时首先新建索引表子树，并在其中添加N个索引表T_i,(i＝1,…,N)节点。如图3所示，每个索引节点S_i启动时，首先通过ZooKeeper加锁，然后在索引节点子树中添加自己，查找未分配的索引表T_u，并将<S_i,T_u>保存到索引分配子树中。完成上述操作后解锁。在索引节点及索引分配子树中添加的节点均为临时节点，当对应的索引节点失效时，临时节点会自动删除。同时Spark会检测到节点失效并重新分配和启动索引节点，该索引节点会按照图3所示重新在ZooKeeper添加自己并获取索引表，从而保证了***在节点失效的情况下能够迅速恢复。

(4)启动图像检索流处理任务，SparkStreaming在集群中建立N个检索节点R_i,(i＝1,…,N)，并为每个检索节点分配一个空闲的索引表。当某个检索节点失效(异常退出或网络故障)时，ZooKeeper中对应的检索节点和索引表分配节点自动删除，由SparkStreaming自动新建检索节点，并在ZooKeeper中重新建立对应检索节点及索引表分配节点，继续完成索引任务。

如图2所示，ZooKeeper中存储了索引表、检索节点以及检索分配状况，利用ZooKeeper来保证分布式***的一致性。如图4所示，每个检索节点R_i启动时，首先通过ZooKeeper加锁，然后在检索节点子树中添加自己，查找未分配的索引表T_u，并将<R_i,T_u>保存到检索分配子树中。完成上述操作后解锁。在检索节点及检索分配子树中添加的节点均为临时节点，当对应的检索节点失效时，临时节点会自动删除。同时Spark会检测到节点失效并重新分配和启动检索节点，该检索节点会按照图4所示重新在ZooKeeper添加自己并获取索引表，从而保证了***在节点失效的情况下能够迅速恢复，继续完成检索任务。

(5)如图5所示，对用户指定的图像序列，首先对每个图像I进行BASE64编码得到编码结果B，并将编码后的字符串作为输入分发到已启动的索引节点S，并从ZooKeeper中获取该索引节点对应的索引表T。然后利用MD5对输入的图像编码计算图像的键值K，同时对编码结果B进行解码，并对解码后的图像提取视觉特征向量X。首先将RGB空间图像分为8x8＝64块。从每一个分块中选择一种颜色作为该分块的显著颜色。可以使用任何一种显著颜色提取算法，通常本发明使用每一分块的平均颜色作为该分块的典型颜色，因为该方法简单并且其在通常情况下足够准确。并将每一分块用一像素显著颜色表示，生成8x8像素大小的小图像。再将图像从RGB空间转换到YCbCr空间。对YCbCr空间8x8小图像Y(亮度)、Cb(蓝色浓度偏移)、Cr(红色浓度偏移)通道分别做DCT变换(离散余弦变换)，可以得到3x64个DCT系数(DCTY，DCTCb，DCTCr)，分别表示亮度DCT系数、蓝色浓度偏移DCT系数和红色浓度偏移DCT系数。二维DCT变换如下式：

$B_{pq}={\mathrm{\&alpha;}}_p{\mathrm{\&alpha;}}_q\underset{g=0}{\overset{G-1}{\&Sigma;}}\underset{h=0}{\overset{H-1}{\&Sigma;}}{A}_{gh}cos\frac{\mathrm{\&pi;}(2g+1)p}{2G}cos\frac{\mathrm{\&pi;}(2h+1)q}{2H},0\&le;p\&le;G-1,0\&le;q\&le;H-1,$

${\mathrm{\&alpha;}}_p=\left\{\begin{array}{c}\frac{1}{\sqrt{G}},p=0\\ \sqrt{\frac{2}{G}},1\&le;p\&le;G-1\end{array}\right.,$

${\mathrm{\&alpha;}}_q=\left\{\begin{array}{c}\frac{1}{\sqrt{H}},q=0\\ \sqrt{\frac{2}{H}},1\&le;q\&le;H-1\end{array}\right.,$

其中，G,H分别为图像的宽度和高度，A_gh为图像像素点(g,h)处的值,B_pq为DCT变换结果B在坐标(p,q)处的值，α_p和α_q为中间变量。

然后对DCT系数(DCTY，DCTCb，DCTCr)分别进行Z字形方式扫描，得到Z字形扫描后的结果(DY，DCb，DCr)，即为图像特征X。最后将[K,X,B]保存到索引表T中。

(6)如图5所示，对用户指定的待检索图像，首先对该图像进行BASE64编码得到编码结果B，并将编码后的字符串作为输入分发到已启动的检索节点R_i，并从ZooKeeper中获取该索引节点对应的索引表T_u。然后对B进行解码，并对解码后的图像提取视觉特征向量X，然后计算其与索引表T_u中保存的图像特征的相似度σ，如果两个图像的描述符分别为(DY，DCb，DCr)和(DY'，DCb’，DCr')，则两个描述符的距离计算公式：

$\mathrm{\&sigma;}=\sqrt{\underset{i}{\&Sigma;}{w}_{yi}{\left({\mathrm{DY}}_i-{\mathrm{DY}}_i^{\&prime;}\right)}^2}+\sqrt{\underset{i}{\&Sigma;}{w}_{bi}{\left({\mathrm{DCb}}_i-{\mathrm{DCb}}_i^{\&prime;}\right)}^2}+\sqrt{\underset{i}{\&Sigma;}{w}_{ri}{\left({\mathrm{DCr}}_i-{\mathrm{DCr}}_i^{\&prime;}\right)}^2},$

其中，w_yi,w_bi,w_ri为权重系数，分别表示Y,Cb,Cr三个通道的第i个权重，取值范围为[0,1]。如果两幅图像相同，则σ＝0；如果两幅图像相似，则σ接近0。然后根据σ进行排序，将排序后的前索引表M组结果W_i＝{<K,σ,T_u>_d|d＝1,…,M}发送到输出节点，如图6所示，输出节点收到的检索结果W_i,i＝1,…,N进行归并排序，保留前M组结果，并根据键值K及其对应的索引表T_u读取图像编码B，解码生成图像文件并返回图像路径。

本发明提供了一种分布式图像索引与检索方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (7)

1.一种分布式图像索引与检索方法，其特征在于，包括以下步骤：

步骤1，搭建Hadoop分布式***集群，包括HDFS分布式文件***、YARN资源管理器、ZooKeeper分布式应用程序协调服务、Spark集群和HBase数据库；

步骤2，部署配置基于资源管理器YARN的Spark集群；

步骤3，启动图像索引流处理任务；

步骤4，启动图像检索流处理任务；

步骤5，图像索引流处理任务接收外部输入图像序列并建立索引；

步骤6，图像检索流处理任务接收待检索图像，输出检索到的相似图像。

2.根据权利要求1所述的一种分布式图像索引与检索方法，其特征在于，步骤1中，所述YARN资源管理器用于任务调度，负责集群计算资源的管理及为每个任务分配资源，所述HBase数据库用于存储图像。

3.根据权利要求2所述的一种分布式图像索引与检索方法，其特征在于，步骤2包括：在Hadoop分布式***集群上部署Spark集群，利用YARN资源管理器调度Spark集群的Spark任务容器，Hadoop分布式***集群中的工作节点包括索引节点、检索节点、以及输出节点；

其中，索引节点负责对输入的图像提取特征，并保存到指定的HBase数据库表中，供后续检索使用；

检索节点，负责对输入的待检索图像计算其与指定HBase数据库表中所存储图像的相似度，并进行排序和输出；

输出节点负责对所有检索节点返回的结果进行归并排序，并从HBase数据库中读取图像编码，然后生成原始图像，再将检索到的图像返回给用户。

4.根据权利要求3所述的一种分布式图像索引与检索方法，其特征在于，步骤3包括：在ZooKeeper分布式应用程序协调服务中建立N个索引表T_i,i＝1,…,N，应用Spark流处理技术在Spark集群中建立N个索引节点S_i，并为每个索引节点分配一个空闲的索引表，当一个索引节点失效时，ZooKeeper分布式应用程序协调服务中对应的索引节点和索引表分配节点自动删除，由Spark流处理技术自动新建索引节点，并在ZooKeeper分布式应用程序协调服务中重新建立对应索引节点及索引表分配节点。

5.根据权利要求4所述的一种分布式图像索引与检索方法，其特征在于，步骤4包括：Spark流处理技术在Spark集群中建立N个检索节点R_i,i＝1,…,N，并为每个检索节点分配一个空闲的索引表，当一个检索节点失效时，ZooKeeper分布式应用程序协调服务中对应的检索节点和索引表分配节点自动删除，由Spark流处理技术自动新建检索节点，并在ZooKeeper分布式应用程序协调服务中重新建立对应检索节点及索引表分配节点。

6.根据权利要求5所述的一种分布式图像索引与检索方法，其特征在于，步骤5包括：对用户输入的图像序列，首先对每个图像I进行BASE64编码得到编码结果B并将编码后的字符串作为输入分发到已启动的索引节点S_i，并从ZooKeeper分布式应用程序协调服务中获取该索引节点对应的索引表T_i，然后利用MD5编码对输入的图像编码计算图像的键值K，同时对编码结果B进行解码，并对解码后的图像提取视觉特征向量X，然后将[K,X,B]保存到索引表T中。

7.根据权利要求6所述的一种分布式图像索引与检索方法，其特征在于，步骤6包括：对用户输入的待检索图像，首先对该图像进行BASE64编码得到编码结果B，并将编码后的字符串作为输入分发到已启动的检索节点R_i，并从ZooKeeper分布式应用程序协调服务中获取该索引节点对应的索引表T_u，u∈[1,N]，然后对编码结果B进行解码，并对解码后的图像提取视觉特征向量X，然后计算其与索引表T_u中保存的图像特征的相似度σ，并进行排序，将排序后的前M组结果W_i＝{<K,σ,T_u>_d|d＝1,…,M}发送到输出节点，其中d为排序的序号，输出节点对接收到的检索结果W_i进行归并排序，保留前M组结果，并根据键值K及其对应的索引表T_u读取图像编码结果B，解码生成图像文件并返回图像路径。