CN101551864A - 基于频域方向特征相关性的图像分类方法 - Google Patents

Abstract

本发明公开了一种基于频域方向特征相关性的图像分类方法，主要解决现有方法计算复杂度高，分类精度低，对图像尺寸变化鲁棒性差的缺点。其实现过程包括：(1)选取纹理样本图像，并分为训练样本和测试样本两个图像数据集；(2)对训练样本图像进行2维快速傅立叶变换，并根据傅立叶平面的频率和方向划分频域方向子带，得到频域方向特征矩阵；(3)根据频域方向特征矩阵子带特征间的相关性，求得相关对序列；(4)应用一元线性回归模型计算各相关对的分类特征参数，构成分类器；(5)将测试样本图像的频域方向特征与分类器参数进行拟合，得到测试样本的类标；(6)重复步骤(5)，得到所有测试样本图像的类标。本发明可用于对Brodatz纹理图像和SAR图像的分类。

Description

基于频域方向特征相关性的图像分类方法

技术领域

本发明属于图像处理技术领域，特别是涉及一种图像分类方法，可用于对纹理图像和合成孔径雷达(SAR)图像的分类。

背景技术

图像分类是模式识别的一个重要分支，是根据不同类别的目标在图像信息中所反映的不同特征，把它们区分开来的图像处理方法。图像分类的主要研究内容是如何对图像进行适当的描述，提取能够有效表示图像属性的特征，提出有效的分类识别方法，并在此基础上对图像进行准确高效的分类。

图像分类的应用领域主要有以下几个方面：图像纹理分析、图像内容检索、目标检测和识别等。其中图像的纹理分析和分类问题是图像处理和模式识别中的一个重要研究方向，在图像分类、分割、计算机图形学和图像编码等领域都起着至关重要的作用。20世纪80年代产生了很多传统的分类方法，如灰度共生矩阵，二阶统计方法，高斯-马尔可夫随机场，局部线性变换等。随着对人类视觉***研究的深入，许多多分辨纹理分析模型开始发展起来，如小波变换，Gabor变换，Brushlet，轮廓波(Contourlet)等。研究者们结合多通道Gabor滤波、小波变换等方法，对纹理分析提出了大量创新和改进，很大程度上提高了纹理分析的精度。如Jasperetal采用适合纹理分析的小波基对纺织品纹理进行缺损检测，Ajay Kumar和Granthan K.H Pang等人将Gabor滤波用于有纹理现象的物体结构缺损检测，K.N.Bhanu Prakash等人利用灰度共生矩阵对母体内胎儿的肺部超生图像检测其是否已到成熟期。大量实验证明这种多分辨分析的方法能得到较好的分类效果，因此在图像分析和分类研究中得到了广泛的应用。

传统的图像分类方法一般是利用纹理特征的向量距离或统计差别来判断类别属性，而基于特征相关性的图像分类则是基于这一事实：图像是由特定频带和方向的纹理信息组合而成，这在视觉上反映为不同类别的图像在不同的特征通道上具有明显不同的相关性。因此，该相关性是区分不同类别纹理的一个显著特征。Zhi-Zhong Wang和Jun-Hai Yong等人对小波包各子带间的相关性进行了分析并提出相应的图像检索方法。该方法首先得到各子带的能量特征，然后分析各特征通道间的相关性求得到分类参数。测试时通过比较测试样本与训练样本相关性模型的拟合程度，依次排除直至获得正确的类标。与这一思路类似的方法包括利用小波、轮廓波等变换进行特征提取及相关性分析，但是这一类变换的共同缺点是框架固定而且变换后的子带在频率、方向等方面划分不够细致。这些缺点导致特征相关性不够明显，分类性能有限而且对图像的大小变化表现不够鲁棒，计算复杂度较高。

发明内容

本发明的目的在于克服上述已有技术的不足，提出一种不受限于小波、小波包等变换以及多尺度几何分析工具框架的基于频域方向特征相关性的图像分类方法，以提高对图像尺寸变化的鲁棒性和分类的正确率，降低计算复杂度。

本发明的技术方案是，对训练样本集合中的子图分别进行2维快速傅立叶变换，然后根据频率和方向将傅立叶平面划分为不同频域方向子带，计算各子带能量特征，分析特征间的相关性，并利用一元线性回归获得分类参数，最后通过比较测试子图的特征与各类图像的分类参数模型的拟合程度，得到分类结果。具体实现过程如下：

(1)选取各类纹理的样本图像，并将这些样本图像分为训练样本图像和测试样本图像两个数据集；

(2)对训练样本图像数据集分别进行2维快速傅立叶变换，根据傅立叶平面的频率和方向将傅立叶平面划分为不同的频域方向子带；

(3)计算各子带的能量特征，得到图像的频域方向特征矩阵M；

(4)计算频域方向特征矩阵M各子带特征间的相关系数，根据各子带对的相关系数进行降序排列，得到相关对序列；

(5)应用一元线性回归模型求得相关对序列中各特征相关对的分类特征参数，构成分类器；

(6)将测试样本图像的频域方向特征与分类器中所有参数的拟合程度进行比较，计算该测试样本属于每一类图像的概率，取概率最大值对应的类标作为该样本的类标；

(7)重复步骤(6)，得到测试样本图像数据集中所有样本图像的类标。

本发明与现有的技术相比具有以下优点：

1.由于本发明对傅立叶平面的直接操作和扇区调整，克服了小波、小波包等变换的框架限制，使得特征在多频带、多方向等方面划分更细致，基于相关性的分类性能得到显著提高；

2.由于本发明的频域方向特征提取方法子带参数可调，使得该发明对图像的最小尺寸没有限制，而且对不同大小的图像具有更好的鲁棒性；

3.由于本发明采用快速傅立叶变换，使得计算复杂度大大降低，特征提取时间明显低于其他几种变换。

附图说明

图1是本发明的实现流程示意图；

图2是本发明中频域方向子带划分示意图；

图3是本发明中当α取不同值时，对应的子带中心位置r(n)的示意图；

图4是Brodatz纹理图像D6的子带相关对28和29的特征分布示意图；

图5是仿真实验所使用的SAR纹理数据图。

具体实施方式

参照图1，本发明的具体实施过程如下：

步骤1，选取各类纹理的样本图像，并将这些样本图像分为训练样本图像和测试样本图像两个数据集。

本发明应用两个图像数据集进行性能测试：Brodatz纹理图像和SAR纹理图像。

1a)Brodatz纹理图像样本数据集的选取方法说明如下：

选取标准Brodatz纹理库中的77类均匀纹理图像作为测试数据，这77类纹理是：D1，D3，D4，D5，D6，D8，D9，D11，D14，D16，D17，D18，D19，D20，D21，D22，D23，D24，D25，D26，D27，D28，D29，D32，D33，D34，D35，D36，D37，D38，D46，D47，D48，D49，D50，D51，D52，D53，D54，D55，D56，D57，D64，D65，D66，D68，D74，D75，D76，D77，D78，D79，D80，D81，D82，D83，D84，D85，D87，D88，D92，D93，D94，D95，D96，D98，D100，D101，D102，D103，D104，D105，D106，D109，D110，D111，D112。

上述每幅纹理图像大小为640×640，根据以下两种子图选取方式，将77类均匀纹理图像分别建立两个数据库，如表1所示：

表1Brodatz纹理数据集设置

测试数据库	纹理类数	子图大小	每类样本个数	总样本个数	每类测试/训练样本个数
						纹理库128	77	128×128	25	1925	10/15
纹理库64	77	64×64	100	7700	40/60

表1中，纹理库128是将所述77类图像均匀的切分为不重叠的25幅子图，每幅子图的大小为128×128，其子图总数为1925幅，25幅子图中，10幅作为训练样本，15幅作为测试样本，即训练样本图像数据集内子图总数为770幅，测试样本图像数据集内子图总数为1155幅；纹理库64是将所述77类图像均匀的切分为不重叠的100幅子图，每幅子图的大小为64×64，其子图总数为7700幅，100幅子图中，40幅作为训练样本，60幅作为测试样本，即训练样本图像数据集包含子图3080幅，测试样本图像数据集包含子图4620幅。

1b)SAR图像样本数据集的选取方法说明如下：

SAR图像分类数据库取自3幅真实SAR图像的不同纹理区域，其中包括5类纹理，图5显示了实验中所用的这5类SAR纹理数据图，从上到下从左到右分别是山脉、水域、农田以及高、低分辨率下的城区。分别在这5类均匀的SAR纹理区域中随机的取2000个点，进行滑窗提取子图的操作，子图大小为128×128的数据库记为SAR128，子图大小为64×64的数据库记为SAR64，每类纹理都包含2000个子图，500幅作为训练样本，1500幅作为测试样本，因此SAR128和SAR64中子图总数均为10000幅，其中训练样本图像数据集包含2500幅子图，测试样本图像数据集包含7500幅子图，如表2所示：

表2SAR图像数据集设置

测试数据库	纹理类数	子图大小	每类样本个数	总样本个数	每类测试/训练样本个数
						SAR128	5	128×128	2000	10000	500/1500
SAR64	5	64×64	2000	10000	500/1500

步骤2，对给定训练样本图像进行2维快速傅立叶变换，并根据傅立叶平面的频率和方向对傅立叶平面进行频域方向子带划分。

将图像进行2维快速傅立叶变换后，得到傅立叶平面，以傅立叶平面的直流分量为中心，将傅立叶上半平面按照频域方向子带划分的方法得到K个频域方向子带，其具体实现过程如下：

2a)将傅立叶平面上半部分按极坐标划分为N个频带，D个方向，得到K＝N×D+2个扇区，每个扇区表示从低频到高频的不同频带和方向信息，构成不同的子带，如图2所示。图2中D＝8，图2中扇区13和26所在的位置，由于包含的信息不多，作为一个子带进行处理，D一般取16，N一般取6；

2b)按照下式计算每个子带中心点(r_n，θ_d)的位置：

$r_n={\left(\frac{n}{N}\right)}^{\mathrm{\α}}(R-1)+1,n=1,\·\·\·,N$

${\mathrm{\θ}}_d=\frac{\mathrm{\π}}{D}\·d,d=1,\·\·\·,D$

其中n表示频带，N为频带的总个数，d表示傅立叶上半平面的极坐标方向，D为总的方向数，R表示傅立叶平面的最大半径，α为可调的参数。图3表示α取不同值时，对应的半径r_n值，当α＝1时，r_n为线性函数，表示在半径上均匀取点，当α增大时，r_n转为非线性函数，使得低频位置取点更为密集，而高频部分取点稀疏，符合多尺度几何分析中的子带划分的思想。多次实验结果表明，取α＝1.5，D＝16，N＝6时结果较为稳健；

2c)根据下式计算每个子带的大小Δr_n：

Δr_n＝r_n-r_n-1，n＝1，…，N

其中，同一频带不同方向上的子带大小相同。

步骤3，按照下式计算K个子带的能量特征，得到特征向量V＝{v_k，k＝1，...，K}：

$v_k=\frac{1}{\left|A_k\right|}\underset{j\∈A_k}{\mathrm{\Σ}}\left|c_j\right|$

其中|c_j|表示子带系数的绝对值，A_k为第k个子带的系数坐标集合，|·|表示集合大小。

步骤4，重复步骤2～3，对每一类纹理，计算所有训练样本的特征向量，以特征向量为列向量构成特征矩阵M。

步骤5，计算每一类图像的相关对序列。

5a)计算某类特征矩阵M的协方差矩阵C，矩阵C中的系数c_ij为子带i和子带j的相关系数，子带i、j构成子带对；

5b)将各子带对按相关系数ρ进行降序排列，选择其中ρ＞T_α即相关性显著的相关对放入相关对序列中，输出相关对序列，这里，考虑到速度和精度的要求，一般取T_α＝0.4；

5c)重复步骤5a)～5b)，计算每一类图像的相关对序列。

步骤6，求分类参数矩阵X，构成分类器。

6a)应用一元线性回归模型，计算每一类纹理的相关对序列中各相关对的分类模型参数，设第i个相关对的参数为a_i，b_i，μ_i，σ_i，计算公式如下：

$a_i=\frac{m{\mathrm{\Σ}}_{h=1}^m{x}_{\mathrm{ih}}{y}_{\mathrm{ih}}-{\mathrm{\Σ}}_{h=1}^m{x}_{\mathrm{ih}}{\mathrm{\Σ}}_{h=1}^m{y}_{\mathrm{ih}}}{m{\mathrm{\Σ}}_{h=1}^m{x_{\mathrm{ih}}}^2-{\left({\mathrm{\Σ}}_{h=1}^m{x}_{\mathrm{ih}}\right)}^2}$ $b_i=\frac{1}{m}\underset{h=1}{\overset{m}{\mathrm{\Σ}}}{y}_{\mathrm{ih}}-\frac{a}{m}\underset{h=1}{\overset{m}{\mathrm{\Σ}}}{x}_{\mathrm{ih}}$

${\mathrm{\μ}}_i=\frac{{\mathrm{\Σ}}_{h=1}^m(y_{\mathrm{ih}}-{\hat{y}}_{\mathrm{ih}})}{m}$ ${\mathrm{\σ}}_i=\sqrt{\frac{{\mathrm{\Σ}}_{h=1}^m{(y_{\mathrm{ih}}-{\hat{y}}_{\mathrm{ih}})}^2}{m-2}}$

其中，x_ih，y_ih分别代表某类图像第h个样本的第i个相关对两个子带能量，

是由线性回归方程 ${\hat{y}}_i=a_i\×x_i+b_i$ 得到的该相关对对应子带能量y_ih的估计值，m为样本大小，当两个子带相关性较高时，线性回归方程可以很好的拟合两个子带间的关系，图4是纹理图像D6的相关对28和29的能量分布图，其相关系数为0.9952，图4中直线是线性回归方程得到的，可以看到，该直线可以很好的拟合子带相关对间的关系；

6b)按照相关系数的降序，将每一类纹理各相关对的参数a，b，μ，σ，相关对标号及相关系数ρ这些参数放入分类参数矩阵X中，作为各类纹理的分类特征参数，构成分类器。

步骤7，对给定测试样本图像进行2维快速傅立叶变换，然后按前述步骤2～3所述的频域方向特征提取的方法，计算其频域方向特征向量V；

步骤8，将给定测试样本的特征向量V与分类器中所有参数的拟合程度进行比较，得到该测试样本的类标。

8a)取出第j类图像第i个相关对的一元线性回归模型分类参数a_i，b_i，μ_i，σ_i及测试样本特征中该相关对对应的子带特征(x_i，y_i)；

8b)按照一元线性回归方程 $\hat{y}=a\×x+b$ 求得子带特征y_i的估计值计算误差

8c)按照下式得到测试样本符合第j类图像每一个相关对分类参数模型的概率p_ij：

$p_{\mathrm{ij}}=\left\{\begin{array}{c}1,\mathrm{if}|y_i-{\hat{y}}_i-{\mathrm{\&mu;}}_i|<{3\mathrm{\&sigma;}}_i\\ 0,\mathrm{if}|y_i-{\hat{y}}_i-{\mathrm{\&mu;}}_i|>3{\mathrm{\&sigma;}}_i\end{array}\right.,i=1,\&CenterDot;\&CenterDot;\&CenterDot;,L,$

其中L是第j类图像相关对序列中相关对的总个数；

8d)计算测试样本属于第j类图像的概率P_j：

$P_j=\frac{1}{L}\underset{i=1}{\overset{L}{\mathrm{\&Sigma;}}}{p}_{\mathrm{ij}};$

8e)重复步骤8a)～8d)，计算出该测试样本属于每一类图像的概率，得到概率集P＝{P_j，j＝1，…，S}，其中S为图像集的总类别数；

8f)将步骤8e)得到的概率集P按降序排列，若最大概率值P_max唯一，则将测试样本归为最大概率对应的类；若P_max不唯一，则将该测试样本归入拒绝域，表明该样本的类标不确定。

步骤9，重复步骤8，求测试样本图像数据集中所有测试样本图像的类标并输出。

本发明的效果可通过以下仿真实验进一步说明。

1.仿真内容：本发明以及小波、小波包、轮廓波的Brodatz纹理图像及SAR图像分类实验。

2.仿真条件：Intel(R)Pentium(R)4CPU，3.00GHz，Windows XP***，Matlab7.4.0运行平台。

3.仿真实验结果：

实验中分别对纹理图像和SAR图像进行分类。

A.Brodatz纹理图像分类

实验参数设置如表3所示。考虑到小波、小波包变换的鲁棒性，其子带最小尺寸为16×16，因此数据库128和数据库64的分解层数不同，分别取3层和2层变换。轮廓波分解的方向数和层数根据实验结果，取的是最优参数。对于本发明的频域方向分解，多个数据库的多次实验表明，取参数α＝1.5，D＝16，N＝6时分类结果比较稳健。

表3Brodatz纹理分类实验参数设置

随机选取10组训练、测试样本进行实验，求10次分类的平均结果，有如下实验结果：

1)应用相关性分类的方法对Brodatz纹理库128和纹理库64进行分类，得到如下表4、5所示的实验结果。

表4Brodatz纹理库128的相关性分类结果

特征	正确	拒绝	错误	标准差
					小波3层分解	85.82	5.95	8.23	1.74
小波包3层分解	87.64	0	12.36	2.00
					轮廓波2层分解，方向数4，8	83.51	5.31	11.19	3.15
本发明(α＝1.5，D＝16，N＝6)	96.04	0	3.96	0.87

表5Brodatz纹理库64的相关性分类结果

特征	正确	拒绝	错误	标准差
					小波2层分解	23.95	73.79	2.26	5.04
小波包2层分解	52.72	38.72	8.56	1.26
					轮廓波2层分解，方向数4，8	46.00	48.68	5.32	1.45
本发明(α＝1.5，D＝16，N＝6)	83.43	0	16.57	0.74

从表4、表5可知，将本发明的频域方向特征应用到相关性分类方法中，能得到很好的分类效果。同应用广泛的基于小波变换的分类方法及多尺度几何分析方***廓波比较，本发明得到的分类正确率提高显著，对于纹理库128，本发明的分类正确率至少提高近9个百分点，对于纹理库64，优势更加明显，正确率至少提高24％，这一结果充分验证了本发明的特征在频率和方向上划分更细致，分类性能好的优点。

通过比较纹理库128和纹理库64的分类结果，我们发现，随着子图尺寸的减小，本发明的分类性能下降远远低于其他几种变换。究其原因，是由于频域方向特征提取方法在频域直接操作，且参数可调，子带大小可变，因此图像尺寸的变化对该方法影响不大，而其他几种变换受到变换框架的影响，考虑到鲁棒性，一般对子带尺寸要求较高，因此对图像的最小尺寸有限制。实验结果充分说明了本发明的分类性能优于其他几种方法，而且对图像尺寸具有较好的稳健性。

2)特征提取时间，本发明的频域方向特征提取的时间明显低于其他几种变换，其计算复杂度低。下表是对一幅1024×1024大小的纹理图像进行变换，提取其能量特征所用的时间。

表6各种变换的特征提取时间，图像大小为1024*1024

变换	小波3层分解	小波包3层分解	轮廓波2层分解，方向数4，8	本发明(α＝1.5，D＝16，N＝6)
					特征提取时间	1.07s	4.38s	5.76s	0.73s

表5所示是几种变换的特征提取时间，实验结果充分说明，由于本发明应用快速傅立叶变换来实现，因此特征提取时间明显低于其他几种变换，计算复杂度大大的降低。

B.SAR图像分类

实验参数设置如表7所示。SAR图像分类实验的参数设置和Brodatz纹理图像类似。

表7SAR分类实验参数设置

对SAR图像的两个数据库SAR128和SAR64进行分类，得到如表8、表9所示为10次平均的分类结果。

表8数据库SAR128的相关性分类结果

特征	正确	拒绝	错误	标准差
					小波3层分解	95.3	2.94	1.76	0.41
小波包3层分解	79.18	8.32	12.5	4.50
					轮廓波2层分解，方向数4，8	84.00	12.66	3.34	8.60
本发明(α＝1.5，D＝16，N＝6)	96.43	0	3.57	0.34

表9数据库SAR64的相关性分类结果

特征	正确	拒绝	错误	标准差
					小波2层分解	58.87	38.20	2.93	7.81
小波包2层分解	55.48	39.57	4.95	1.24
					轮廓波2层分解，方向数4，8	58.02	36.64	5.34	1.50
本发明(α＝1.5，D＝16，N＝6)	92.49	0	7.51	0.70

表8、表9所示的结果表明，本发明的频域方向分解的分类效果是最好的。对于数据库SAR128，本发明的分类正确率比小波变换高1.13％，比轮廓波变换高12.43％，比小波包变换高17.25％；数据库SAR64，本发明分类结果优势更显著，比其他三种变换高出30多个百分点，充分验证了本发明的有效性。

此外，由于64×64大小的子图包含的纹理信息不如128×128子图丰富，相对更难于区分纹理的类别，因此分类正确率将下降。但本发明仅下降了4％，而其他方法下降显著，至少降低24％。这一实验结果进一步验证了，本发明对于图像尺寸的变化有较好的鲁棒性。

Claims (4)

1、基于频域方向特征相关性的图像分类方法，具体实现过程如下：

(1)选取各类纹理的样本图像，并将这些样本图像分为训练样本图像和测试样本图像两个数据集；

(2)对训练样本图像数据集分别进行2维快速傅立叶变换，根据傅立叶平面的频率和方向将傅立叶平面划分为不同的频域方向子带；

(3)计算各子带的能量特征，得到图像的频域方向特征矩阵M；

(4)计算频域方向特征矩阵M各子带特征间的相关系数，根据各子带对的相关系数进行降序排列，得到相关对序列；

(5)应用一元线性回归模型求得相关对序列中各特征相关对的分类特征参数，构成分类器；

(6)将测试样本图像的频域方向特征与分类器中所有参数的拟合程度进行比较，计算该测试样本属于每一类图像的概率，取概率最大值对应的类标作为该样本的类标；

(7)重复步骤(6)，得到测试样本图像数据集中所有样本图像的类标。

2、根据权利要求1所述的图像分类方法，其中步骤(2)所述的根据傅立叶平面的频率和方向将傅立叶平面划分为不同的频域方向子带，按如下步骤进行：

2a)以傅立叶平面的直流分量为中心，将傅立叶上半平面按极坐标的半径和方向划分为N个频带和D个方向，得到K＝N×D+2个扇区，每个扇区表示从低频到高频的不同频带和方向信息，构成不同的子带；

2b)利用下式计算每个子带中心点(r_n，θ_d)的位置：

$r_n={\left(\frac{n}{N}\right)}^{\mathrm{\&alpha;}}(R-1)+1,$ n＝1，…，N

${\mathrm{\&theta;}}_d=\frac{\mathrm{\&pi;}}{D}\&CenterDot;d,$ d＝1，…，D

其中n表示频带，N为频带的总个数，d表示傅立叶上半平面的极坐标方向，D为总的方向数，R表示傅立叶平面的最大半径，α为可调的参数，D一般取16，N一般取6，α一般取1.5；

2c)根据下式计算每个频带上的子带大小Δr_n：

Δr_n＝r_n-r_n-1，n＝1，…，N，

其中，同一频带不同方向上的子带大小相同；

2d)以(r_n，θ_d)为子带中心，Δr_n为子带大小进行划窗，得到K个频域方向子带。

3、根据权利要求1所述的图像分类方法，其中的步骤(6)所述的计算该测试样本属于每一类图像的概率，按如下过程进行：

3a)取出某类图像第i个相关对的一元线性回归模型分类参数a_i，b_i，μ_i，σ_i及测试样本特征中该相关对对应的子带特征(x_i，y_i)；

3b)按照一元线性回归方程 $\hat{y}=a\&times;x+b$ 求得子带特征y_i的估计值计算误差

3c)按照下式得到测试样本符合该类每一个相关对分类参数模型的概率P_i：

$P_i=\left\{\begin{array}{c}1,\mathrm{if}|y_i-{\hat{y}}_i-{\mathrm{\&mu;}}_i|<{3\mathrm{\&sigma;}}_i\\ 0,\mathrm{if}|y_i-{\hat{y}}_i-{\mathrm{\&mu;}}_i|>{3\mathrm{\&sigma;}}_i\end{array}\right.,$ i＝1，…，L，

其中L是第j类图像相关对序列中相关对的总个数；

3d)计算测试样本属于该类图像的概率P：

$P=\frac{1}{L}\underset{i=1}{\overset{L}{\mathrm{\&Sigma;}}}{P}_i;$

3e)重复步骤3a)～3d)，计算出该测试样本属于每一类图像的概率。

4、根据权利要求1所述的图像分类方法，其中步骤(6)所述的取概率最大值对应的类标作为样本的类标，是将所有得到的概率按降序排列，若最大概率值P_max唯一，则将测试样本归为P_max对应的类；若P_max不唯一，则将该测试样本归入拒绝域。

Images