CN103927511A - 基于差异特征描述的图像识别方法 - Google Patents

Abstract

一种基于差异特征描述的图像识别方法,该方法首先利用选定的隶属度函数将图像像素点的灰度值转换成隶属度；然后在定义差异值概念的基础上，将图像具有相同差异值的相邻像素点的集合作为一个区域并定义该区域的特征矢量；之后将每个区域用位于质心的特征矢量点表示；再将相邻区域的质心用三角形连接并用三角形内角作为相邻区域的关系角度，提取出目标图像的特征，最后将待识别的图像进行特征提取的处理，将处理后的图像进行目标特征匹配，从而确定其是否含有目标图像。本发明将图像区域特征点的差异值与方向相结合，提出一种新的图像识别算法，该方法简单方便、易于理解、特征较全面、应用范围较广，同传统方法相比具有较好的综合性能。

Description

基于差异特征描述的图像识别方法

技术领域

本发明涉及一种将图像差异作为特征描述并以此构造特征量来识别目标图像的方法，属数据处理技术领域。 

背景技术

图像识别是图像研究领域的热门课题，它是以图像的主要特征为基础，利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术。通常情况下，图像的目标识别，又称关于视觉图像的模式识别，旨在利用图像处理与模式识别领域的理论和方法，确定图像中是否存在感兴趣的目标，如果存在则为目标赋予合理的解释，必要时还要确定其位置。 

图像识别作为计算机视觉中的一个重要的研究领域，已广泛应用于军事与民用多个方面，如生物医学、卫星遥感、机器人视觉、货物检测、目标跟踪、自主车导航、公安、银行、交通、电子商务和多媒体网络通信等。在安全监控领域里对目标描述信息的分析处理，可以应用在工业生产的产品质量检验、集成电路设计和图形设计中，也可以用在天气预报、森林火灾及地质灾害监测、空气污染预报等领域。人脸检测技术可以将画面及时地锁定在讲话人身上，这样就很大程度地降低了远程电视会议的图像传输比率。在虚拟现实、计算机动画、视频评注等应用领域，图像的目标识别技术同样也发挥着不可替代的作用。 

目前，图像识别技术主要有：指纹识别、人脸识别、文字识别等等。针对图像领域中的各种具体问题，图像识别所采用的研究方法和技术方案都有所区别，需要对具体问题进行具体分析。 

图像识别的前提是图像描述，用数字或者符号表示图像或景物中各个目标的相关特征，甚至目标之间的关系，最终得到目标特征以及它们之间的关系的抽象表达。如何提取图像特征进而构造出合适的描述决定了图像匹配识别的成功与否。图像局部特征区域的描述是近年来计算机视觉和模式识别领域的研究热点之一，在图像配准、三维重建、图像检索、图像拼接、机器人定位、物体跟踪与识别等具体应用中均发挥着重要作用。 

在图像识别的发展过程中，有四类代表性的理论和方法：统计图像识别方法、结构图像识别方法、模糊图像识别方法和基于人工智能的识别方法。统计图像识别方法主要集中在数量的统计关系上而忽略了结构特征；结构图像识别方法则主要以图像的结构以及内部子部分之间的相互关系作为识别依据，但在解决一些复杂的图像识别问题时，同样具有局限性；模糊模式识别具有信息利用更充分、识别稳定性好、推理能力强的特点，但同时，如何在模糊模式识别方法中建立比较合理的隶属度函数是需要进一步解决的问题；人工智能识别方法在解决一些复杂的图像模式识别问题时有其独特的优势，但也存在计算复杂度大、物理意义难解释、算法不够稳定等问题。 

从实际具体实现方法来看，图像识别又可分为差分法、光流法、模板匹配法、特征匹配法、基于小波变换法和基于神经网络的方法等等。单独的一种方法往往优缺点并存，不能满足人们对图像识别的更高要求，目前人们更关注将多种方法相结合以达到更好的识别效果。 

基于图像灰度矩阵统计特征的识别是一种比较简单也比较常用的图像识别方法，这类方法针对灰度矩阵进行相应的处理计算，以获取关于图像的统计特征信息，通过特征选择并调整其加权系数来重构所需的各项特征数据，建立起每幅图像独有的特征信息索引项，再根据模糊聚类原理实现图像内容的动态分类识别检索。 

在图像处理过程中，通常会先将彩色图像转化为灰度图像，这样虽然简化了之后的处理过程，但也丢失了图像原本的一些信息，可能会造成误差。通常情况下，颜色信息也是图像识别的一个重要依据，通过统计图像的颜色特征，可以对不同颜色的物体进行识别，如一种基于颜色分量的混合编码方法将目标图像和参考图像的编码结果进行比较，寻找它们之间的线性关系完成多色模式识别。还有一些方法是将彩色图像从RGB空间转换到HSI空间，再分别对三个分量进行分析，基于形态学等算法进行识别与分类。 

此外，直方图表示方法将图像的像素矩阵简化，并可以得到概率分布情况，更具有统计的代表性。同样直方图可以分为灰度直方图与彩色直方图两种。通过不同类型的信息组成的复杂的图像描述解决了之前图像识别中存在的一些问题：识别以前混在背景中识别不出的物体；对前所未见的对象进行分类。从这项研究中得到的一个总的结论是，与以前使用的较低维数的直方图相比，使用更高维组成的复杂的线索直方图可以显示的多个线索的共同变化情况，并拥有更好的图像识别性能。 

灰度值和灰度直方图都只能表示图像像素的整体信息，而相邻像素点之间的关系无法描述。纹理特征是图像的灰度统计信息、空间分布信息和结构信息的综合反映。它是由像素组成的具有一定形状和大小的集合，是几乎所有图像表面都固有的特性。作为图像内容检索的研究热点之一，目前基于纹理特征的图像识别方法种类非常多。最常用的当属灰度共生矩阵方法，它运用统计学中的概率来反映图像灰度有关方向和间隔等整体信息。但是，灰度共生矩阵一般基于空域图像，对纹理特征的描述不够细致。 

不同形状的物体也有可能具有相同的颜色或灰度值，所以形状识别也是必不可少的。对于图像结构形状的识别主要分为基于边界轮廓和基于区域两大类方法，比较典型的手段有不变矩、变换域、几何参数模型等。 

作为经典的变换方法，各种不同的矩、Fourier描绘子，小波描绘子、形态描述子在过去的二十年中进行了大量的研究。不变矩是图像的统计特性，满足平移、伸缩、旋转均不变的不变性，目前广泛应用于目标识别、景物匹配、形状分析以及字符识别等许多方面。基于Radon和Fourier-Mellin变换的尺度和旋转不变性，提出了一种新的将模糊、伸缩、旋转、平移不变性相结合的矩函数用作图像识别。通过这种方式得到的矩函数和矩不变量对噪声存在鲁棒性，图像的全局信息以及在缩放、平移和旋转的条件下的不变信息，都可以通过这个单一的描述符表示出来。不变矩具有优越性，但对封闭和不封闭结构，由于不能直接计算矩的特征，因而还需要先构造区域，而且由于这种矩的计算涉及区域内部和边界的所有像素，因而耗费的时间较多。 

在很多计算机视觉应用中，为了改善准确率和提高对噪声的鲁棒性经常采用多分辨率分析方法。由于小波变换提供了多分辨率表示，故应用较广泛。 

YiTao和William I. Grosky将计算几何中三角剖分的方法引入形状匹配和检索问题中，首先对形状作关于其特征点的德洛内三角剖分，得到若干三角形；其次计算这些三角形序列的角度直方图作为形状特征进行相似性匹配，两个物体之间的差别用其角度直方图之间的欧氏距离来度量。该方法不足之处是随着特征点的增多剖分产生的三角形数目剧增，大大影响了算法的效率。其改进算法是首先对形状特征点进行排序，仅在特征点序列最小凸包范围内进行三角形剖分，从而节约了算法时间。 

基于形状拓扑结构的算法在一定程度上减弱了对图像照明的影响，集成形状信息、纹理信息出现了一种新的人脸识别方法称为biview人脸识别算法。使用子空间学习方法构建纹理模型和形状拓扑是由建立脸部图像的曲线图构成。将提出的biview人脸识别方法与仅仅基于纹理或形状信息的识别算法进行比较。实验在光照、表情和尺度的变化下进行，结果表明，biview人脸识别方法的性能优于基于纹理和形状的算法。 

上述图像识别的方法各有其优缺点，有的仅局限于一些特殊的应用领域，如车牌识别、人脸识别、文字识别等等。目前寻找一种简单方便、易于理解、特征较全面、应用范围较广的，也就是综合性能较好的图像识别方法，仍是人们努力的方向。 

发明内容

本发明的目的在于针对现有技术之弊端，提供一种简单方便、易于理解、特征全面、应用范围广的基于差异特征描述的图像识别方法。 

本发明所述问题是以下述技术方案实现的： 

一种基于差异特征描述的图像识别方法，所述方法首先利用选定的隶属度函数将图像像素点的灰度值转换成隶属度；然后在定义差异值概念的基础上，将图像具有相同差异值的相邻像素点的集合作为一个区域并定义该区域的特征矢量；之后将每个区域用位于质心的特征矢量点表示；再将相邻区域的质心用三角形连接并用三角形内角作为相邻区域的关系角度，提取出目标图像的特征，最后将待识别的图像进行特征提取的处理，将处理后的图像进行目标特征匹配，从而确定其是否含有目标图像。

上述基于差异特征描述的图像识别方法，具体按以下步骤进行： 

①.目标图像特征的提取和描述

a.选定一个隶属度函数 ，其中是目标图像f(x,y)像素点的灰度值，x,y是像素点的位置坐标，利用将目标图像像素点的灰度值转换为隶属度；

b.计算每一个像素点与周围像素点的差异值；

c.对图像进行区域分割：选定一个门限值q，将差异值小于门限q的所有相互紧邻的像素点归并为同一个区域，按此法将目标图像的所有不同区域都分割出来，再将各个区域的质心点作为该区域的中心点；

d.定义各个区域的形状系数k，形状系数k等于区域的面积除以区域周长的平方；

e.定义质心点的质心矢量r(D,B)，即确定出质心矢量r的模值D和角度B：计算各个区域内所有像素点的平均差异，其中N是同一区域内的像素点的总数，再把D₁与区域形状系数k的乘积作为质心矢量r的模，即D=kD₁；质心矢量r的角度为，其中B _i为像素点的角度值，它是每一个像素点（边界点除外）与其邻域的8个像素点的差异值进行比较所得到的该点向差异值最大点变化的方向角度； 

f.把各个相邻区域的质心点相连，构造出目标图像的三角形网格，用所有三角形的内角值构造特征矩阵M；

g.将目标图像的质心矢量r(D,B)和特征矩阵M组合在一起，作为目标图像的特征；

②待识别图像g(x,y)中目标图像的识别

按照步骤a-e对待识别图像g(x,y)进行同样的技术处理，得到待识别图像g(x,y)中的所有质心点的矢量，然后进行图像识别，识别步骤如下：

h.把目标图像f(x,y)的质心矢量与待识别图像g(x,y)的所有质心矢量进行逐个矢量匹配（在一定的误差范围内），找出所有匹配的矢量；

i.把待识别图像g(x,y)中已匹配的所有相邻矢量的质心连接，画出三角形，再由三角形内角构成特征矩阵E；

j.用目标图像的特征矩阵M与E矩阵对比，若E矩阵中的部分连续的元素与M矩阵相同（在一定的误差内)，则确定待识别图像g(x,y)中含有目标图像f(x,y)。

本发明将图像区域特征点的差异值与方向相结合，构成一种新的区域特征描述矢量，在此基础上提出一种新的图像识别算法，该方法简单方便、易于理解、特征较全面、应用范围较广，同传统方法相比具有较好的综合性能。 

本发明采用基于模糊隶属度的差异值概念，将图像的灰度值矩阵转变为差异值矩阵，扩展了低灰度区，压缩了高灰度区，能使低灰度区的图像较清晰地显示出来。如附图6所示，假设隶属度的值为U，比较和两函数的大小，即比较一个像素点与隶属度为1的假设点之间的关系，可以得到新定义的差异度量公式的放大、缩小点。由图6知：横坐标U在0和1之间，两线交点U=0.13712886，当U＜交点值，即与1差异大时，-lgU＞1-U，即新定义的公式将差异值进行了放大；当U＞交点值，差异小时，-lgU＜1-U，即新公式将差异值进行了缩小。可以看出本文提出的方法对较小的差异值进行缩小，对较大的差异值进行放大，更符合人们的感官认识。 

附图说明

下面结合附图对本发明作进一步详述。 

图1a、图1b均为单个目标识别的算例（图1a为目标图像，图1b为待识别图像）； 

图2为像素点的角度示意图；

图3a、图3b为多个区域组合的目标识别算例（图3a为目标图像，图3b为待识别图像）；

图4a~图4b为图3中的目标图像与待识别图像的三角网格（图4a为目标图像的三角网格，图4b为待识别图像的三角网格）；

图5为图像特征描述的不变性算例（图5a为目标图像，图5b为图5a旋转90度得到的图像，图5c为图5a扩展一倍得到的图像，图5d,e,f分别为图5a,b,c对应的特征三角形网格）。

图6为函数和的曲线比较图。 

文中各符号清单为：为隶属度函数，f(x,y)为目标图像，为目标图像像素点的灰度值，x,y是像素点的位置坐标，为差异值，q为差异值的门限值，r(D,B)为质心矢量，D为质心矢量r的模值，B为质心矢量r的角度，k为区域的形状系数，D₁为区域内所有像素点的平均差异，N为同一区域内的像素点的总数，M为目标图像的特征矩阵，g(x,y)为待识别图像，E为从待识别图像中获取的特征矩阵。 

具体实施方式

提取和描述目标图像的特征是识别的重要步骤，目标特征应具有唯一性，以便区别于其他目标。 

本发明提出一种新的图像识别方法，在建立差异概念的基础上，计算图像中不同区域的差异值，提出将图像差异作为特征描述，以此构造特征量来识别目标图像。 

设一幅图像f(x,y)是目标图像，另一幅待识别的图像g(x,y)中含有目标图像部分，如图1中，图1a为目标图像，图1b为含有目标图像的待识别图像。要从g(x,y)中找出目标图像可按两部分工作进行技术处理。第一歩是提取目标图像f(x,y)的特征，第二歩利用目标的特征与g(x,y)进行特征匹配，从而识别出目标。待识别图像g(x,y)中含有的目标可以是目标图像的平移、旋转和伸缩后的图像。本发明包含提取图像特征和实现图像识别两个部分： 

第一部分：提取并描述目标图像特征

提取并描述目标图像特征是实现图像识别时首先要完成的工作，本发明的方法是提取目标图像f(x,y)的质心矢量和特征矩阵作为目标图像的特征。具体步骤如下：

（1）选定一个隶属度函数，其中是目标图像像素点的灰度值，x,y是像素点的位置坐标，通过计算目标图像各像素点的隶属度并保存，也就是将目标图像像素点的灰度值经过隶属度函数转换为隶属度；

（2）再将目标图像像素点的隶属度用对数表示，并保存；

（3）计算每一个像素点与周围像素点的差异值，并保存。

（4）对图像进行区域分割。选定一个门限值q，将差异值小于门限q的所有相互紧邻的像素点归并为同一个区域，按此法将目标图像的所有不同区域都分割出来。同时，再将各个区域的质心点作为该区域的中心点； 

（5）定义各个区域的形状系数k，形状系数k等于区域的面积除以区域周长的平方；

（6）定义质心点的质心矢量r(D,B)，即确定出质心矢量r的模值D和角度B。对各个区域内所有像素点的进行平均，计算平均差异，其中N是同一区域内的像素点的总数，再把D₁与区域形状系数k的乘积作为质心矢量的模，即D=kD₁，再把同一区域内所有像素点的角度值进行平均值计算，作为质心矢量的角度，像素点的角度值B _i是指每一个像素点（边界点除外）与其邻域的8个像素点的差异值进行比较所得到的该点向差异值最大点变化的方向角度，如图2所示，质心矢量r的角度；

（7）把各个相邻区域的质心点相连，构造出目标图像的三角形网格，用所有三角形的内角值描述相邻区域之间的相对位置关系；

（8）确定目标图像的特征矩阵M。用各个三角形的内角值构造特征矩阵；

（9）最后找到的目标图像的质心矢量r(D,B)和特征矩阵M就是目标图像的特征。

第二部分：待识别图像g(x,y)中的目标图像识别方法 

按照第一部分的处理步骤（1）-（6）对待识别图像g(x,y)进行同样的技术处理，得到待识别图像g(x,y)中的所有质心点的质心矢量，然后进行图像识别，识别步骤如下：

（10）把目标图像f(x,y)的质心矢量与待识别图像g(x,y)的所有质心矢量进行逐个矢量匹配（在一定的误差范围内），找出所有匹配的矢量；

（11）把待识别图像g(x,y)中已匹配的所有相邻矢量的质心连接，画出三角形，再由三角形内角构成特征矩阵E；

（12）用目标图像的特征矩阵M与E矩阵对比，若E矩阵中的部分连续的元素与M矩阵相同（在一定的误差内，就确定为待识别图像g(x,y)中含有目标图像f(x,y)。

以上步骤描述的本发明的核心是：选定一个隶属度函数，利用隶属度函数将图像像素点的灰度值转换成隶属度；定义差异值的概念，可以进行差异计算，并将人眼对图像灰度差异敏感度的非线性关系转换为线性关系；确定图像具有相同（小于某个门限）差异值的相邻像素点的集合构成一个区域，定义该区域的特征矢量，即区域的平均差异值与区域形状系数的乘积作为模值，区域像素点角度的平均值作为矢量的角度值，计算出区域的质心，将每个区域用位于质心的特征矢量点表示；将相邻区域的质心用三角形连接，用三角形内角作为相邻区域的关系角度，从而提取出目标图像的特征。对于待识别图像，经过类似于特征提取的处理过程，将处理后的图像进行目标特征匹配，从而找出待识别图像中是否含有目标图像。 

本发明应用算例1： 

如图1所示，均不考虑背景的情况下，图1a为仅由一个区域构成的目标图像，图1b为待识别图像，b图可划分为5个区域（按从上到下、从左到右标号）。通过特征提取得到每个区域的特征描述矢量用矩阵表示，（D为质心矢量r的模值，B为质心矢量r的角度）。

选取适当的质心矢量模值和角度的误差阈值th1和th2，使得： ，同时 ，（本算例中th1=20,th2=1）。 

可以得到结论：目标图像与待测图像中的第4个区域匹配。 

a:，    b: ， 

本发明的应用计算实例2：

把图1中的b当做一个整体，它由5个小区域构成，如图3所示，其中图3a为目标图像，希望在复杂的待测图像图3b中识别出整个目标。

首先通过分别计算与目标图像每个区域模值、方向角的欧氏距离，在待测图像中找到与目标图像相匹配的各个区域（a1~b4,a2~b5,a3~b6,a4~b7,a5~b8）。 

a:               b:， 

将目标图像的各个区域用位于质心的特征点表示，连接相邻区域的特征点构造Delaunay三角形网格如图4a所示，并将每个三角形的边长与角度值记入特征矩阵（M_2a,M_3a）中。同理将待测图像中已经与目标图像匹配的5个区域也构造三角形网格，记录特征矩阵。（矩阵M_2a、M_2b中的行向量为三角形的三条边长，M_3a、M_3b中的行向量为三角形的三个角度值），

      ，

      ，

通过计算矩阵中对应行向量之间的欧氏距离，当阈值选定合适时，验证两幅图的三角网格也匹配。由此可证明在待测图像中识别出了目标。

该识别算法对目标图像的平移、旋转和缩放都可以识别： 

把图5 a当做一个目标图像，由5个区域构成，图5b为图5a旋转90度得到的图像，图5c为图5a扩展一倍得到的图像，通过本发明方法得到3幅图各自的特征矩阵，图5d、5e、5f分别为图5a、5b、5c各图分别对应的特征三角形网格。

   ， 

  ，

  ，

a和b比较，特征点的顺序发生变化，每个特征点的模值相差不大，角度都变化了大约90度，而特征点构造的每个三角形边长与角度几乎不变。a与c比较，特征点的模值与角度以及三角形的角度相差不大，仅是每个特征三角形的边长变为了原来的2倍。

特征点的模值具有旋转平移伸缩不变性，方向具有平移伸缩不变性，特征三角形边长具有旋转平移不变性，同时角度具有旋转平移伸缩不变性。综合这些结论，只要选定合适的判决标准就可以在待测图像中识别出平移缩放或旋转了的目标。 

Claims (2)

1.一种基于差异特征描述的图像识别方法，其特征是，所述方法首先利用选定的隶属度函数将图像像素点的灰度值转换成隶属度；然后在定义差异值概念的基础上，将图像具有相同差异值的相邻像素点的集合作为一个区域并定义该区域的特征矢量；之后将每个区域用位于质心的特征矢量点表示；再将相邻区域的质心用三角形连接并用三角形内角作为相邻区域的关系角度，提取出目标图像的特征，最后将待识别的图像进行特征提取的处理，将处理后的图像进行目标特征匹配，从而确定其是否含有目标图像。

2.根据权利要求1所述的基于差异特征描述的图像识别方法，其特征是，所述方法按以下步骤进行：

①.目标图像特征的提取和描述

a.选定一个隶属度函数                                                ，其中是目标图像f(x,y)像素点的灰度值，x,y是像素点的位置坐标，利用将目标图像像素点的灰度值转换为隶属度；

b.计算每一个像素点与周围像素点的差异值；

c.对图像进行区域分割：选定一个门限值q，将差异值小于门限q的所有相互紧邻的像素点归并为同一个区域，按此法将目标图像的所有不同区域都分割出来，再将各个区域的质心点作为该区域的中心点；

d.定义各个区域的形状系数k，形状系数k等于区域的面积除以区域周长的平方；

e.定义质心点的质心矢量r(D,B)，即确定出质心矢量r的模值D和角度B：计算各个区域内所有像素点的平均差异，其中N是同一区域内的像素点的总数，再把D₁与区域形状系数k的乘积作为质心矢量r的模，即D=kD₁；质心矢量r的角度为，其中B _i为像素点的角度值，它是每一个除边界点外的像素点与其邻域的8个像素点的差异值进行比较所得到的该点向差异值最大点变化的方向角度；

f.把各个相邻区域的质心点相连，构造出目标图像的三角形网格，用所有三角形的内角值构造特征矩阵M；

g.将目标图像的质心矢量r(D,B)和特征矩阵M组合在一起，作为目标图像的特征；

②待识别图像g(x,y)中目标图像的识别

按照步骤a-e对待识别图像g(x,y)进行同样的技术处理，得到待识别图像g(x,y)中的所有质心点的矢量，然后进行图像识别，识别步骤如下：

h.把目标图像f(x,y)的质心矢量与待识别图像g(x,y)的所有质心矢量进行逐个矢量匹配，找出所有匹配的矢量；

i.把待识别图像g(x,y)中已匹配的所有相邻矢量的质心连接，画出三角形，再由三角形内角构成特征矩阵E；

j.用目标图像的特征矩阵M与E矩阵对比，若E矩阵中的部分连续的元素与M矩阵相同，则确定待识别图像g(x,y)中含有目标图像f(x,y)。