CN101639858A

CN101639858A - 基于目标区域匹配的图像检索方法

Info

Publication number: CN101639858A
Application number: CN200910109384A
Authority: CN
Inventors: 刘斌; 兰奎千
Original assignee: Shenzhen Skyworth Digital Technology Co Ltd
Current assignee: Shenzhen Skyworth Digital Technology Co Ltd
Priority date: 2009-08-21
Filing date: 2009-08-21
Publication date: 2010-02-03

Abstract

本发明公开一种基于目标区域匹配的图像检索方法，包括下列步骤：a.选择一幅待检索图像，利用边缘检测算法对待检索图像进行自动分割；b.判断分割效果，若用户对自动分割的目标区域满意，则确定检索的目标区域；若用户对自动分割的目标区域不满意，则用户自行在未分割图像中选择感兴趣的目标区域作为检索对象；c.提取目标区域的特征值；d.将用户确定的目标区域作为模板，使用模板匹配方式在图像库中进行模板匹配和相似度计算，当相似度达到预设的阈值时，则将此被搜索图像作为命中目标；否则，继续进行模板匹配和相似度计算，直至图像被完全覆盖为止；e.当数据库中的图像按要求检索完毕，则按照相似度顺序显示检索结果。

Description

基于目标区域匹配的图像检索方法

技术领域

本发明涉及图像处理技术，更具体地说，涉及一种基于目标区域匹配的图像检索方法。

背景技术

随着网络技术的迅猛发展，以及多媒体技术的推广应用，每天都有成千上万的图片产生，如何从如此海量的图像库中快速而准确地找到满足用户需求的图像，已成为图像检索领域迫切需要解决的关键问题。

传统的图像检索方式采用基于文本的图像检索技术。该技术在进行检索前，以人工处理的方式对每一幅图像进行文本标注，在一定限制的字数范围内描述图像内容，形成描述图像的标注数据库，以标注为关键字，与图像数据库关联起来。检索时，实际上只对图像标注数据库进行操作，进行文本匹配，从而达到对相应图像进行检索的目的。然而，这种基于文本的图像检索技术存在着严重的问题。首先，目前的计算机视觉和人工智能技术都无法自动对图像进行标注，而必须依赖于人工对图像做出标注。这项工作不但费时费力，而且手工的标注往往是不准确或不完整的，还不可避免地带有主观偏差。也就是说，不同的人对同一幅图像有不同的理解方法，这种主观理解的差异将导致图像检索中的失配错误。此外，图像中所包含的丰富的视觉特征(颜色或纹理等)往往无法用文本进行客观地描述。

为了克服这些问题，基于内容的图像检索技术(Content-Based Image Retrieval)应运而生。即根据图像所包含的颜色、纹理、形状以及它们的组合特征等特征信息建立索引并且通过图像特征向量间的近似度量来进行相似性检索。然而，现有的大部分图像检索算法均是侧重于考虑图像全局信息，未能有效利用图像的局部特征，虽然这些方法具有计算简单、对平移和旋转不敏感等优点，但它们无法描述图像内容在空间上的差异，故只能比较图像全局的统计相似性，不能在物体层次上比较图像的相似性，从而特征相似的图像表达的语义可能不一样，检索效率不高。同时，现有的基于局部信息的图像检索方法不仅目标选择方式不够灵活，而且具有特征指标过多引发的检索效率低的问题。

因此，如何解决现有图像检索中难以准确表达用户检索意图的缺陷，并提高检索效率和查准率是业内亟待解决的技术难题。

本发明提供了一种基于目标区域匹配的图像检索方法，有效提高了图像检索的查准率和查全率，增强了图像检索的灵活性。

发明内容

本发明的目的是提供一种基于目标区域匹配的图像检索方法，该方法在提高图像检索***性能的同时，增强图像检索的查准率和查全率，而且，使用简便。

本发明解决其技术问题所采用的技术方案是：提供一种基于目标区域匹配的图像检索方法，该方法包括下列步骤：

a、选择一幅待检索图像，利用边缘检测算法对待检索图像进行自动分割；

b、判断分割效果，若用户对自动分割的目标区域满意，则确定检索的目标区域；若用户对自动分割的目标区域不满意，则用户自行在未分割图像中选择感兴趣的目标区域作为检索对象；

c、提取目标区域的特征值；

d、将用户确定的目标区域作为模板，使用模板匹配方式在图像库中进行模板匹配和相似度计算，当相似度达到预设的阈值时，则将此被搜索图像作为命中目标；否则，继续进行模板匹配和相似度计算，直至图像被完全覆盖为止；

e、当数据库中的图像按要求检索完毕，则按照相似度顺序显示检索结果。

与现有技术相比，本发明提出的方法具有以下优点：

1、克服了全局统计方法不能在物体层次比较图像的相似性的缺陷，有效提高了图像检索的查准率和查全率；

2、不仅在目标区域的选取方式上能更加灵活更加准确地表达用户的检索意图，而且，对特征指标的选取进行了优化，使检索效率大大提高。

附图说明

下面结合较佳实施例和附图对本发明进行详细的说明，其中：

图1是本发明方法的流程图；

图2是本发明方法匹配的原理图。

具体实施方式

本发明提出的基于目标区域匹配的图像检索方法对待检索的图像进行自动分割，或人工分割，确定检索目标区域，然后提取图像目标区域的颜色、纹理和形状特征值，并对这些特征值指标进行优化选取，最后采用区域匹配技术进行图像检索。

本发明方法主要分为目标区域的选取、目标区域综合特征的提取和基于目标区域匹配的图像检索三个过程，下面分别对这些过程的具体实现进行描述。

图像自动区域分割和感兴趣区域的选取的具体实现：利用两个具有不同灰度值的相邻区域之间总存在边缘的特点，本发明使用经典的基于边界的图像分割方法，将图像中的目标与目标，或目标与背景的边界进行划分，用户可选择感兴趣区域作为目标区域进行检索。由于边缘是灰度值不连续的结果，这种不连续可利用导数方便的检测到。同时，考虑到分割方法得到的分割区域与人眼的视觉感知可能存在差异的情形，因此用户可根据自动分割效果的满意度决定是否自行在未分割图像中选择感兴趣的目标区域。

目标区域综合特征提取的具体实现：当用户确定下目标区域以后，提取区域的颜色、纹理、形状信息作为目标区域的特征值。

颜色特征相对于其它特征，非常稳定，对于旋转、平移、尺度变化，甚至各种形变都不敏感，表现出很强的鲁棒性，而且计算简单。本发明使用直方图来描述这种最直观而明显的图像特征。颜色直方图是表示图像中颜色分布的一种方法，它的横轴表示颜色等级，纵轴表示在某一个颜色等级上具有该颜色的像素在整幅图像中所占的比例，直方图颜色空间中的每一个刻度表示了颜色空间中的一种颜色。本发明选择符合人的视觉感应的HSV(Smith，1978)颜色模型，采用检索效率较高的累加直方图方法来表征图像的颜色特征。在颜色特征的提取中，对HSV模型中色度(Hue)采用非等间隔量化，即H在[0-7]之间，由于人对颜色的感觉主要由色度H决定，为了减少了计算的数据量和复杂度，我们只选取色度H的8个特征量作为这幅图像的颜色特征值，分别记为λ₁，λ₂，…，λ₈。虽然采用直方图计算图像间的相似性比较简单，但它不能反映图像中对象的空间特征。

纹理特征可用来对图像中的空间信息进行一定程度的定量描述。图像可以看成是不同纹理区域的组合，纹理通常定义为图像的某种局部性质，是相邻像素的灰度或颜色的空间相关性或是灰度和颜色空间位置变化的视觉表现。利用纹理特征进行图像检索是一种非常有效的手段。用来分析图像纹理的方法很多，但是分析纹理的方法大致可以分为以下三种：统计法、结构法以及频谱法。本发明使用统计法中的灰度共生矩阵法来提取目标区域的纹理特征，这些特征变量包括能量、惯性矩、逆差矩和熵，分别记为λ₉，λ₁₀，λ₁₁，λ₁₂。其中，能量是图像灰度均匀性的度量；惯性矩是度量图像中灰度变化的量；逆差矩又叫局部平稳性，它反映也图像的局部稳性；熵是图像所具有的信息量的度量。

形状特征作为刻画图像中物体和区域特点的重要特征，是描述高层视觉信息(如目标、对象等)的重要手段，而目标、对象对获取图像语义尤其重要，必须有好的形状特征描述与提取算法的支持。形状特征包括区域、主轴方向、矩、偏心率、圆形率、正切角等。另外，对于图形来说，形状是它唯一重要的特征。图像中某目标的边缘称为轮廓，而基于形状或轮廓的检索是图像内容检索的一个重要方面，它能从用户勾勒的图像的形状或轮廓入手，在图像库中检索出形状相似的图像。本发明使用基于边缘检测的形状特征描述方法来对形状特征进行提取，将矩、偏心率、圆形率、正切角作为形状特征值，分别记为λ₁₃，λ₁₄，λ₁₅，λ₁₆。

基于目标区域匹配的图像检索的具体实现：本发明使用模板匹配方法进行图像检索。即将用户确定的目标区域将为模板，在被搜索图像中上平移和相似度匹配，当相似度达到理想的阈值时，则将此被搜索图像作为命中目标返回。否则，继续进行平移和相似度匹配工作，直至图像被完全覆盖为止。在检索过程中，本发明使用距离度量方法进行区域之间相似度的匹配计算，区域b和b′的距离定义如下：

D (b, b^{'}) = w_{c} Σ_{i = 1}^{8} w_{ci} {(λ_{i}, λ_{i}^{'})}^{2} + w_{t} Σ_{j = 9}^{12} w_{tj} {(λ_{j}, λ_{j}^{'})}^{2} + w_{s} Σ_{k = 13}^{16} w_{sk} {(λ_{k}, λ_{k}^{'})}^{2}

其中，w_c，w_t和w_s分别代表颜色特征、纹理特征和形状特征的权重，且w_c+w_t+w_s＝1。

如图1所示，基于目标区域匹配的图像检索方法的具体实施方式如下：

步骤S100：检索***工作，用户打开或选择一副待检索图像；

步骤S101：利用边缘检测算法对图像进行自动分割，将图像中的目标与目标，或目标与背景的边界进行划分，用户可选择感兴趣区域作为目标区域进行检索。边缘检测的算法很多，这里采用简单而且效果比较好的Sobe1算子来完成边缘检测；

步骤S102：根据图像自动区域分割的满意度来确定需检索的目标区域；

步骤S103：若用户对自动分割的目标区域满意，则选取用户感兴趣的目标区域作为检索对象；

步骤S104：考虑到分割方法得到的分割区域与人眼的视觉感知可能存在差异的情形，若用户对自动分割的目标区域不满意，则用户可自行在未分割图像中选择感兴趣的目标区域作为检索对象；

步骤S105：提取目标区域的颜色、纹理、形状信息作为目标区域的特征值。具体为：选择符合人的视觉感应的HSV颜色模型，采用检索效率较高的累加直方图方法来表征图像的颜色特征。在颜色特征的提取中，对HSV模型中色度(Hue)采用非等间隔量化，即H在[0-7]之间，由于人对颜色的感觉主要由色度H决定，为了减少了计算的数据量和复杂度，我们只选取色度H的8个特征量作为这幅图像的颜色特征值，分别记为λ₁，λ₂，…，λ₈。同时，使用统计法中的灰度共生矩阵法来提取目标区域的纹理特征，这些特征变量包括能量、惯性矩、逆差矩和熵，分别记为λ₉，λ₁₀，λ₁₁，λ₁₂。最后，使用基于边缘检测的形状特征描述方法来对形状特征进行提取，将矩、偏心率、圆形率、正切角作为形状特征值，分别记为λ₁₃，λ₁₄，λ₁₅，λ₁₆；

步骤S106：使用模板匹配方式在图像库进行检索，并计算与目标区域的相似度，当相似度达到预设的阈值时，则将此被搜索图像作为命中目标；

步骤S107：当数据库中的图像按要求检索完毕，则按照相似度顺序，可以是降序，或升序的方式显示检索结果。

如图2所示，模板匹配原理图为：将用户确定的目标区域作为匹配模板T，在被搜索图像中，以从左至右、从上至下的顺序平移和相似度匹配，当相似度达到理想的阈值时，此将此被搜索图像作为命中目标返回。否则，继续进行平移和相似度匹配工作，直至图像被完全覆盖为止。以图2为例，此模板为M×L像素大小的矩形，模板T叠放在大小为N×N像素的搜索图S上平移，模板覆盖下的那块搜索图叫做子图S^ij，(i，j)为这块子图的左上角像点在S图中的坐标，且0≤i≤N-M+1，0≤j≤N-L+1。根据模板的16个综合特征值与子图S^ij的相应综合特征值进行相似程度计算，设b＝T，b′＝S^ij，按下列公式进行相似度计算，

D (b, b^{'}) = w_{c} Σ_{i = 1}^{8} w_{ci} {(λ_{i}, λ_{i}^{'})}^{2} + w_{t} Σ_{j = 9}^{12} w_{tj} {(λ_{j}, λ_{j}^{'})}^{2} + w_{s} Σ_{k = 13}^{16} w_{sk} {(λ_{k}, λ_{k}^{'})}^{2},

本发明利用图像自动区域分割和感兴趣区域相结合的选取目标区域的方式，在对目标区域综合特征提取的基础上，使用模板匹配方式进行图像搜索和相似度计算，实现了基于目标区域的图像检索，克服了全局统计方法不能在物体层次比较图像的相似性的缺陷，有效提高了图像检索的查准率和查全率。同时，综合的目标区域选择方式增强了图像检索的灵活性和便捷性。

Claims

1.一种基于目标区域匹配的图像检索方法，其特征在于，该方法包括下列步骤：

c、提取目标区域的特征值；

2.如权利要求1所述的方法，其特征在于：步骤a中边缘检测算法利用灰度值来计算。

3.如权利要求1所述的方法，其特征在于：步骤c中提取的目标区域的特征值包括颜色、和/或纹理、和/或形状信息。

4.如权利要求3所述的方法，其特征在于：采用颜色直方图提取目标区域的颜色特征值。

5.如权利要求3所述的方法，其特征在于：采用统计法、结构法、或频谱法提取目标区域的纹理特征值。

6.如权利要求3所述的方法，其特征在于：采用统计法中的灰度共生矩阵法来提取目标区域的纹理特征

7.如权利要求3所述的方法，其特征在于：采用基于边缘检测的形状特征描述方法来对形状特征进行提取，将矩、偏心率、圆形率、正切角作为形状特征值。

8、如权利要求1所述的方法，其特征在于：还包括对步骤c中提取的特征值指标进行优化选取的步骤。