CN102789489A - 基于手持终端的图像检索方法和*** - Google Patents

Abstract

本发明实现一个图像检索***。该***允许用户通过手持终端对感兴趣的物体或者场景进行拍照。照片上传服务器后，***使用数据库中的已有图片与用户所拍摄的图片进行匹配，以发现用户所拍摄的物体或者场景，从而确认用户的兴趣点或拍摄位置，然后将相关信息返回给用户的手持终端。本发明开发的图片匹配算法具有抗拍摄角度、尺度、旋转、光照变换的特点，匹配精度达95.34%以上，已经达到应用水平。

Description

基于手持终端的图像检索方法和***

技术领域

本发明涉及图像搜索技术领域，提供了一种基于手持终端的图像检索方法和***。

背景技术

目前的主流搜索引擎都是基于文字的，然而，普通用户在很多情况下都不能或者不方便用文字来描述自己查询的请求。本发明允许用户通过手持终端拍照的方式，用图片来表达自己的查询请求，直观而方便，满足了人民生活的实际需求。目前较成功的类似图像检索算法大都是基于局部兴趣点(LocalInteresting Points,LIPS)的。然而，由于提取所需LIPs的算法时间复杂度非常高，已有的算法很难用于实时的网络图片检索。本发明的算法在精度上大致趋近于基于LIPs的传统算法，但在时间复杂度上远远小于传统方法，满足了实时网络环境的图片检索需要。

发明内容

本发明的目的是克服现有技术的不足，提出一种抗拍摄角度、尺度、旋转、光照变换的图像匹配方法。

本发明为实现上述目的采用以下技术方案：

1、一种基于手持终端的图像检索方法，其特征在于包括以下步骤：

1）调用手持终端的摄像头程序接口进行照片采集；

2）调用手持终端的网路传输接口将图片传送至服务器；

3）最后将服务器返回的结果在用户界面中显示出来。

上述方案中，所述步骤2中服务器处理接收到图片后采用处理步骤包括：

21）接受客户端程序上传的图片；

22）将图片进行贴片分解；

23）将贴片映射到贴片空间中；

24）与库中已有图片进行匹配；

25）根据匹配结果预测用户的兴趣点或拍照位置；

26）将相关信息发送给客户端程序。

上述方案中，所述步骤22）中贴片分解方法包括以下步骤：

31）构建正交贴片空间模型：

a、将每幅图片建模成一组贴片的组合，在一幅图片所含的所有成员贴片上得出的统计特征用来代表该图片的特征；

b、通过搜集大规模的图片，并将所有图片的贴片汇总并进行聚类分析，找到一个最紧致的贴片集合

通过衡量

中所有贴片对的相似度，构造一个相似度矩阵R，对R进行谱分解之后得到一组特征向量，这组向量是

中贴片的向量表达，这组特征向量张成的空间即为所求贴片空间；

c、使用谱分解(Spectral Decomposition)对空间的正交性进行优化，过程如下：首先，计算

中所有贴片对(u_i,u_j)的余弦相似度并放入矩阵R=[r_ij]_m×m，其中

$r_{\mathrm{ij}}=\mathrm{Sim}({\stackrel{\→}{u}}_i,{\stackrel{\→}{u}}_j)=\cos ({\stackrel{\→}{u}}_i,{\stackrel{\→}{u}}_j)=\frac{{\stackrel{\→}{u}}_i{\stackrel{\→}{u}}_j}{\left|{\stackrel{\→}{u}}_i\right|\left|{\stackrel{\→}{u}}_j\right|}$

为贴片u_i和u_j对应的细节特征向量，然后，对R进行谱分解，R＝VΛV^T＝(VΛ^1/2V^T)(VΛ^1/2V^T)＝C^TC

其中Λ是包含了R特征值的对角矩阵，V是对应的特征向量矩阵，矩阵C包含了

中所有贴片对应的向量。此时得到的C实际包含了一组线性空间的基向量，所有基向量张成的空间即为所求的正交贴片空间。

32）独立于变换的特征表达技术：在31）所述贴片空间的基础上，任一非参考贴片

在贴片空间中表达为：

$C^T\stackrel{\→}{u}=R_u$

$\stackrel{\→}{u}={\left(C^T\right)}^{-1}{R}_u$

其中R_u是m维向量，表达了贴片u与中所有参考贴片的关系。此时任意图片T在贴片空间中能表达为该图片对应的所有贴片在贴片空间中形成的向量的向量和，即

$T=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\stackrel{\→}{u}}_k$

33）自适应匹配算法：将与源图片相似度超过一定阈值的图片视为候选的图片，使用隐马尔可夫模型(Hidden Markov Model)对贴片间的空间位置关系进行建模，来自动识别到图片中包含的模式，然后，在所有候选图片集合中搜索这些模式以发现最终的结果。

相对于传统的图像匹配技术，本发明提出的模型具有以下几项优势：

一、速度与精度的平衡：相对于全局特征的方法(如：分格提取的颜色矩)，本发明提出的特征表达具有一定的抗变换能力，因而精度更高；相对传统局部特征方法(如：SIFT，SURF等)，本发明提出的方法算法时间复杂度更低，检测速度更快，更适宜于大规模网络计算。

二、可扩展性：本发明构建的贴片空间里的向量可以互相计算，为进一步的挖掘算法留下了发展空间。加上空间的构建考虑了正交性(即各基向量都不线性相关)，可以保证在空间里的相关计算更趋近线性空间的数学模型，因而更加精确。

三、本发明的核心为基于贴片空间的图像匹配模型。该模型构建一个贴片空间来进行图像特征表达，改进了传统方法中对两幅目标图片中的所有贴片（或者特征点）进行一一比对的方式，从而降低了副本图片检测算法的时间复杂度。同时，对图片进行贴片分解的方法打破了图片中局部特征点间的空间位置强约束，减小了各种副本图片编辑方式对特征表达的影响，从而提高了算法的鲁棒性。

附图说明

图1为本发明的***方框图；

图2为本发明的图像贴片分解示意图；

图3为本发明的***流程示意图。

具体实施方式

本发明的实施方案由客户端算法和服务器端算法两部分构成。

本发明的目的是克服现有技术的不足，提出一种抗拍摄角度、尺度、旋转、光照变换的图像匹配方法。

本发明的技术方案是：

首先构建一个能表达图片的贴片空间模型，让图片在该空间的表达能尽量不受各种图片变换的影响，然后在此基础上产生在速度和精度上都能满足网络（主要为手机网络）图片匹配的算法。所以相关研究分为三个部分：正交贴片空间模型、独立于变换的特征表达技术，以及自适应匹配算法。以下分别做简要介绍：

正交贴片空间模型：本模型将每幅图片建模成一组贴片（一个小的图像块）的组合（如图2所示），因此在一幅图片所含的所有成员贴片上得出的统计特征可以用来代表该图片的特征。

通过搜集大规模的图片，并将所有图片的贴片汇总并进行聚类分析，可以找到一个最紧致的贴片集合

该集合包含最具有代表性一组贴片，反应了图片可能携带的各种细节特征。通过衡量

中所有贴片对的相似度，可以构造一个相似度矩阵R。对R进行谱分解之后可以得到一组特征向量。这组向量是

中贴片的向量表达。这组特征向量张成的空间即为所求贴片空间。由于

是最具有代表性的贴片组，因此任何贴片(即使不在

中)，都可以通过衡量与

中所有贴片的相似度来衡量它所携带的细节类别。例如，如果一个贴片X跟

中的两贴片u_i和u_j最为相似，则说明X所携带的细节是u_i和u_j所携带细节特征的组合。所以，每个图片与

中所有贴片的相似度构成的向量x表达了它所携带细节统计的分布。

但由于参考贴片(即

中所有贴片)之间也具有一定的相似度，理论上来说直接用贴片与它们的相似度来构建空间的方法得到的结果是非正交的。这种非正交性会影响最终结果的精确性。因此可以使用谱分解(Spectral Decomposition)对空间的正交性进行优化。过程如下：首先，计算

中所有贴片对(u_i,u_j)的余弦相似度并放入矩阵R=[r_ij]m×m，其中

$r_{\mathrm{ij}}=\mathrm{Sim}({\stackrel{\→}{u}}_i,{\stackrel{\→}{u}}_j)=\cos ({\stackrel{\→}{u}}_i,{\stackrel{\→}{u}}_j)=\frac{{\stackrel{\→}{u}}_i{\stackrel{\→}{u}}_j}{\left|{\stackrel{\→}{u}}_i\right|\left|{\stackrel{\→}{u}}_j\right|}---\left(1\right)$

为贴片u_i和u_j对应的细节特征向量(可使用颜色矩，小波纹理等)。然后，对矩阵R进行谱分解，

R＝VΛV^T＝(VΛ^1/2V^T)(VΛ^1/2V^T)＝C^TC  (2)

C^T为矩阵C的转置矩阵，其中Λ是包含了R特征值的对角矩阵，V是对应的特征向量矩阵。矩阵C包含了

中所有贴片对应的向量，可以表示为

C实际包含了一组线性空间的基向量。这些基向量所张开的空间就是我们要求的正交贴片空间。它的正交性可以保证贴片在空间中的表达具有全局一致性(Global Consistency)。最后任一非参考贴片

可以在贴片空间中表达为：

$C^T\stackrel{\→}{u}=R_u$

$\stackrel{\→}{u}={\left(C^T\right)}^{-1}{R}_u---\left(3\right)$

其中R_u是m维向量，表达了贴片u与中所有参考贴片的关系（即式1所示余弦相似度）。任意图片T在贴片空间中可表达为该图片对应的所有贴片在贴片空间中形成的向量的向量和，即

$T=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\stackrel{\→}{u}}_k---\left(4\right)$

通过上述模型，任意图片都可以映射到贴片空间中并表达成一个向量。图像间的相似度因此可以简单地通过计算它们对应向量的相似度（或距离）来判定。这种相似度计算方式避免了多点特征两两匹配的方式，算法的时间复杂度从O(N²)减低到O(cN)(其中c为一常数，代表贴片空间的维数)。

独立于变换的特征表达技术：贴片空间模型对图像进行的贴片分解将图片上各局部特征的强位置约束打散。因为局部细节受各种编辑特征改变带来的影响非常小，所以在贴片空间得到的向量表达鲁棒性较高，能更有效应付图像的旋转、位移、剪接及小规模缩放等编辑操作的影响。

自适应图像匹配算法：判断两幅图片是否包含统一对象或者场景，可以简单地根据它们的相似度进行衡量。但是，由于打散了局部特征的位置约束，使得某些物体的本身具有的模式(Pattern)也随之丢失。因此，研究中只把相似度作为一种选择候选副本的参考值，即：将与源图片相似度超过一定阈值的图片视为候选的图片。在进一步的匹配算法中，使用隐马尔可夫模型对贴片间的空间位置关系进行建模，这样可以自动识别到图片中包含的模式。然后，在所有候选图片集合中搜索这些模式以发现最终的结果。这些模式的发现不需要提前训练，是自适应的。

在贴片空间摸型的基础上所构建的图像匹配***运行流程如图3所示。***分为离线训练和在线匹配两个部分。离线部分中，首先搜集大量的图片作为训练集，再对训练集的所有贴片进行贴片提取后进行聚类分析，然后使用上述方法构造贴片空间。在线匹配部分中，当各测试图片到达时，首先进行贴片提取，再使用训练好的贴片空间对各测试图片进行贴片表达和图片级别的矢量化表达。然后根据矢量表达进行相似度计算，其结果作为副本（即包含同一物体或场景的图片对）判定的依据。

Claims (3)

1.一种基于手持终端的图像检索方法，其特征在于包括以下步骤：

1）调用手持终端的摄像头程序接口进行照片采集；

2）调用手持终端的网路传输接口将图片传送至服务器；

3）最后将服务器返回的结果在用户界面中显示出来。

2.根据权利要求1所述的一种基于手持终端的图像检索方法，其特征在于：所述步骤2中服务器处理接收到图片后采用处理步骤包括：

21）接受客户端程序上传的图片；

22）将图片进行贴片分解；

23）将贴片映射到贴片空间中；

24）与库中已有图片进行匹配；

25）根据匹配结果预测用户的兴趣点或拍照位置；

26）将相关信息发送给客户端程序。

3.根据权利要求2所述的一种基于手持终端的图像检索方法，其特征在于：所述步骤22）中贴片分解方法包括以下步骤：

31）构建正交贴片空间模型：

a、将每幅图片建模成一组贴片的组合，在一幅图片所含的所有成员贴片上得出的统计特征用来代表该图片的特征；

b、通过搜集大规模的图片，并将所有图片的贴片汇总并进行聚类分析，找到一个最紧致的贴片集合

通过衡量

中所有贴片对的相似度，构造一个相似度矩阵R，对R进行谱分解之后得到一组特征向量，这组向量是

中贴片的向量表达，这组特征向量张成的空间即为所求贴片空间；

c、使用谱分解(Spectral Decomposition)对空间的正交性进行优化，过程如下：首先，计算

中所有贴片对(u_i,u_j)的余弦相似度并放入矩阵R=[r_ij]_m×m，其中

$r_{\mathrm{ij}}=\mathrm{Sim}({\stackrel{\→}{u}}_i,{\stackrel{\→}{u}}_j)=\cos ({\stackrel{\→}{u}}_i,{\stackrel{\→}{u}}_j)=\frac{{\stackrel{\→}{u}}_i{\stackrel{\→}{u}}_j}{\left|{\stackrel{\→}{u}}_i\right|\left|{\stackrel{\→}{u}}_j\right|}$

为贴片u_i和u_j对应的细节特征向量，然后，对R进行谱分解，

R＝VΛV^T＝(VΛ^1/2V^T)(VΛ^1/2V^T)＝C^TC

其中Λ是包含了R特征值的对角矩阵，V是对应的特征向量矩阵，矩阵C包含了

中所有贴片对应的向量。此时得到的C实际包含了一组线性空间的基向量，所有基向量张成的空间即为所求的正交贴片空间。

32）独立于变换的特征表达技术：在31）所述贴片空间的基础上，任一非参考贴片

在贴片空间中表达为：

$C^T\stackrel{\→}{u}=R_u$

$\stackrel{\→}{u}={\left(C^T\right)}^{-1}{R}_u$

其中R_u是m维向量，表达了贴片u与

中所有参考贴片的关系。此时任意图片T在贴片空间中能表达为该图片对应的所有贴片在贴片空间中形成的向量的向量和，即

$T=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\stackrel{\→}{u}}_k$

33）自适应匹配算法：将与源图片相似度超过一定阈值的图片视为候选的图片，使用隐马尔可夫模型(Hidden Markov Model)对贴片间的空间位置关系进行建模，来自动识别到图片中包含的模式，然后，在所有候选图片集合中搜索这些模式以发现最终的结果。

Images