CN106485279A - 一种基于Zernike矩网络的图像分类方法 - Google Patents

Abstract

本发明公开了一种基于Zernike矩网络的图像分类方法，包括以下步骤：(1)输入并预处理训练图像和测试图像，得到输入图像的局部特征矩阵，建立一个两层的基于Zernike矩的网络，得到训练图像和测试图像的主特征向量；(2)用获得的训练图像的主特征向量训练分类器，将测试图像的主特征向量输入已经训练好的分类器中进行分类，计算出分类正确率。本发明通过构造一个两层的基于Zernike矩的网络，利用Zernike矩的旋转不变性，能够获得图像的旋转不变的特征和图像的非线性特征，使得对图像特征的描述更精准，分类也更为准确。对于图像分类问题，尤其是对于具有旋转特征的图像的分类问题有着更高的分类正确率。

Description

一种基于Zernike矩网络的图像分类方法

技术领域

本发明涉及数字图像领域，具体涉及一种基于Zernike矩网络的图像分类方法。

背景技术

Zernike矩是一种单位圆上的正交矩。Zernike矩具有旋转不变性，因此在图像分类中可以用Zernike矩作为旋转不变的特征，并且可以用任意阶的Zernike矩作为分类特征。

求Zernike矩包括三个步骤：计算Zernike径向多项式，通过径向多项式计算Zernike基函数，将图像映射到基函数上计算Zernike矩。

算法具体如下：

(a)实值的一维径向多项式R_nl(r)定义为：

其中，n和l分别表示矩的阶数和矩的重数。阶数n为非负整数，重数l为满足n-|l|为偶数且|l|≤n的整数。

径向多项式对于相同的重数满足正交性质，即：

(b)二维Zernike基函数定义在单位圆上，用径向多项式表示如下：

其中，Zernike基函数是正交的，满足：

正交关系意味着不同阶数和重数的矩之间没有冗余或者重复的信息。

(c)为了计算数字图像的Zernike矩，必须先将原图像映射到单位圆上。一个常用的方法如下图3所示。该方案中，处于圆之外的矩不参与Zernike矩的计算。也就是说，求得的Zernike矩不描述超出单位圆范围的图像的性质。

n阶l重的Zernike矩定义为：

其中，f(x,y)是图像函数，且有x²+y²≤1，运算符号*表示复共轭。

假设原图像像素大小为N×N，则求该图像Zernike矩的离散形式为：

其中0≤r_xy≤1，λ_N是一个标准化因子，在Zernike矩的离散应用中，λ_N的值是位于映射后的单位圆内的像素数，即为单位圆的面积π。r_xy和分别定义为：

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供一种基于Zernike矩网络的图像分类方法，利用Zernike矩表示图像具有旋转不变的性质，提取出原始图像中的Zernike矩特征，并对特征进行池化。接着采用支持向量机(SVM)分类方法根据提取出的特征对图像进行分类。该发明最大限度地提取出了图像的旋转不变的特征向量，从而提高了分类的准确率。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种基于Zernike矩网络的图像分类方法，包括以下步骤：

步骤1，建立基于Zernike矩网络的第一层。

步骤1-1，输入图像数据库中的N幅图像，并对其进行预处理，分别得到N幅图像中的每一幅图像的局部特征矩阵I_i，i＝1,2,...,N。其中，输入的N幅图像中包括N₁幅训练图像和N-N₁幅测试图像。

步骤1-2，对于局部特征矩阵I_i，i＝1,2,...,N，将局部特征矩阵I_i的每一列重新排为滑块大小的矩阵，求所有滑块矩阵的n阶Zernike矩后，得到第一层的输出图像。

步骤2，建立基于Zernike矩网络的第二层。

用Zernike矩网络的第一层输出图像替代步骤1输入的N幅图像。重复步骤1-1至步骤1-2的过程，得到第二层Zernike矩网络的输出图像。

步骤3，建立基于Zernike矩网络的输出层。

步骤3-1，设定一个阈值，将Zernike网络的第二层输出图像中的每幅图像二值化。

所述步骤3-1中将Zernike网络的第二层输出图像中的每幅图像二值化的方法：

先设定一个阈值t，中的元素如果大于t，则将该元素置为1。如果小于或者等于t，则将该元素置为0。二值化后的图像表示为：

步骤3-2，对二值化后的图像分块以进行直方图统计，从而得到N幅图像中每幅图像的特征向量f_i，i＝1,2,...,N。

步骤4，训练和测试：

将N₁幅训练图像得到的特征向量训练分类器，用训练好的分类器对其余N-N₁幅测试图像进行分类。统计正确分类的个数，从而计算得到分类正确率。

所述步骤1-1中对N幅训练和测试图像的预处理具体为：

对于每幅m×n的图像i＝1,2,...,N，用一个大小为k₁×k₂的滑块遍历。其中为实数集，k₁和k₂均为奇数，并且0<k₁≤m，0<k₂≤n，每一幅图像总共有mn个像素。对于每一个像素将滑块范围内的k₁k₂个像素值保存成一个列向量，得到mn个长度为k₁k₂的列向量，记为：

对列向量去均值，得到：

其中，

将去均值后的向量组合，从而得到每幅训练图像X_i的局部特征矩阵I_i：

所述步骤1-2中得到第一层的输出图像的方法具体包括以下步骤：

步骤1-2-1，对于局部特征矩阵I_i,i＝1,2,...,N中的每一列的向量j＝1,2,...,mn，将向量重排为矩阵

步骤1-2-2，求M_i,j的0阶，1阶，……，k阶的Zernike矩，得到L_k个矩值。

矩值的计算方法如下：

将该数字图像M_i,j映射到单位圆上，记为f(x,y),x²+y²≤1，再进行求矩运算。

f(x,y)的n阶l重Zernike矩定义为：

其中，n＝0,1,...,k；0≤l≤n且n-|l|是偶数，符号*表示复共轭，r表示从原点到(x,y)像素点的向量的长度，表示逆时针方向上原点到(x,y)像素点的向量与x轴之间的角度。

Zernike多项式V_nl定义为乘积的形式：

其中径向部分是：

将求得的M_i,j的所有L_k个矩值A_nl排成一列矩特征的向量，从而得到I_i中的所有向量元素值对应的矩特征的向量，将所有向量组合为

步骤1-2-3，取A_i,i＝1,2,...,N的第j行的向量i＝1,2,...,N；j＝1,2,...,L₁，其中L₁为第一层Zernike网络的滤波器个数，且有L₁≤L_k。将重排，则得到NL₁幅第一层基于Zernike矩网络的输出图像：

所述步骤2中建立基于Zernike矩网络的第二层具体包括以下步骤：

将第一层Zernike矩网络的输出图像I_i,j,i＝1,2,...,N；j＝1,2,...,L₁替代步骤1中输入的N幅图像，重复步骤1-1至步骤1-2的过程，得到NL₁L₂幅Zernike矩网络的第二层输出图像：

其中，L₂为第二层Zernike矩网络的滤波器个数。

所述步骤3-2得到N幅图像中每幅图像的特征向量的方法：

步骤3-2-1，将二值化后的图像进行重新分组，每L₂幅图像分为一组，得到NL₁个图像组，每个图像组包括了L₂幅图像。对每个图像组中的L₂幅图像进行加权求和得到加权图像，从而获得NL₁个图像组的加权图像T_i,j。

加权图像T_i,j对应着NL₁张像素值介于的图像。

步骤3-2-2，将i＝1,2,...,N；j＝1,2,...,L₁中的所有NL₁幅加权图像分成B块，0<B<mn。分别统计各个块的直方图，并将这B个块的直方图连接成一个向量：

Bhist(T_i,j),i＝1,2,...,N；j＝1,2,...,L₁。

进而得到N幅图像中的每幅图像的主特征向量f_i：

有益效果：本发明相比现有技术，具有以下有益效果：

本方法构造了基于Zernike矩的两层网络，通过取得原始图像的Zernike矩特征，最大限度地保留图像的旋转不变的特征，有效地提高了分类的正确率。

附图说明

图1为本发明基于Zernike矩网络的图像分类方法的示意图。

图2为本发明基于Zernike矩网络的图像分类方法的整体流程图。

图3为图像的Zernike矩将原图像映射到单位圆的示意图。

图4为示例图像样本。

图5为图1中的第一层Zernike矩网络放大示意图。

图6为图1中的第二层Zernike矩网络放大示意图。

图7为图1中的二值化和池化以及直方图放大示意图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

一种基于Zernike矩网络的图像分类方法，如图1、2所示，本发明中基于Zernike矩的图像分类方法通过级联两层的网络构建了一种新的图像特征提取的结构，称为Zernike矩网络。具体包括以下步骤：

步骤1，建立基于Zernike矩网络的第一层。

步骤1-1，输入图像数据库中的N幅图像，并对其进行预处理，分别得到N幅图像中的每一幅图像的局部特征矩阵I_i，i＝1,2,...,N。其中，输入的N幅图像中包括N₁幅训练图像和N-N₁幅测试图像。

所述步骤1-1中对N幅训练和测试图像的预处理具体为：

对于每幅m×n的图像i＝1,2,...,N，用一个大小为k₁×k₂的滑块遍历。其中为实数集，k₁和k₂均为奇数，并且0<k₁≤m，0<k₂≤n，每一幅图像总共有mn个像素。对于每一个像素将滑块范围内的k₁k₂个像素值保存成一个列向量，得到mn个长度为k₁k₂的列向量，记为：

对式(1)中的列向量去均值，得到：

式(2)中，

将去均值后的向量组合，从而得到每幅训练图像X_i的局部特征矩阵I_i：

步骤1-2，对于局部特征矩阵I_i，i＝1,2,...,N，将局部特征矩阵I_i的每一列重新排为滑块大小的矩阵，求所有滑块矩阵的n阶Zernike矩后，得到第一层的输出图像。

步骤1-2中得到第一层的输出图像的方法具体包括以下步骤：

步骤1-2-1，对于局部特征矩阵I_i,i＝1,2,...,N中的每一列的向量j＝1,2,...,mn，将向量重排为矩阵

步骤1-2-2，求M_i,j的0阶，1阶，……，k阶的Zernike矩，得到L_k个矩值。

矩值的计算方法如下：

将该数字图像M_i,j映射到单位圆上，记为f(x,y),x²+y²≤1，再进行求矩运算。

f(x,y)的n阶l重Zernike矩定义为：

其中，n＝0,1,...,k；0≤l≤n且n-|l|是偶数，符号*表示复共轭，r表示从原点到(x,y)像素点的向量的长度，表示逆时针方向上原点到(x,y)像素点的向量与x轴之间的角度。

Zernike多项式V_nl定义为乘积的形式：

其中径向部分是：

将求得的M_i,j的所有L_k个矩值A_nl(n＝0,1,...,k；0≤l≤n且n-|l|是偶数)排成一列矩特征的向量，从而得到I_i中的所有向量元素值对应的矩特征的向量，将所有向量组合为

步骤1-2-3，取A_i,i＝1,2,...,N的第j行的向量i＝1,2,...,N；j＝1,2,...,L₁，其中L₁为第一层Zernike网络的滤波器个数，且有L₁≤L_k。将重排，则得到NL₁幅第一层基于Zernike矩网络的输出图像：

步骤2，建立基于Zernike矩网络的第二层。

用Zernike矩网络的第一层输出图像替代步骤1输入的N幅图像。重复步骤1-1至步骤1-2的过程，得到NL₁L₂幅Zernike矩网络的第二层Zernike矩网络的输出图像。

将第一层Zernike矩网络的输出图像I_i,j,i＝1,2,...,N；j＝1,2,...,L₁替代步骤1中输入的N幅图像，重复步骤1-1至步骤1-2的过程，得到NL₁L₂幅Zernike矩网络的第二层输出图像：

其中，L₂为第二层Zernike矩网络的滤波器个数。

步骤3，建立基于Zernike矩网络的输出层。

步骤3-1，设定一个阈值，将Zernike网络的第二层输出图像中的每幅图像二值化，得到二值化后的图像。二值化操作的具体方法为：先设定一个阈值t，中的元素如果大于t，则将该元素置为1。如果小于或者等于t，则将该元素置为0。二值化后的图像表示为：

步骤3-2，对二值化后的图像分块以进行直方图统计，从而得到N幅图像中每幅图像的特征向量f_i，i＝1,2,...,N。

a)将二值化后的图像进行重新分组，每L₂幅图像分为一组，得到NL₁个图像组，每个图像组包括了L₂幅图像。对每个图像组中的L₂幅图像进行加权求和得到加权图像，从而获得NL₁个图像组的加权图像T_i,j：

式(8)对应着NL₁张像素值介于的图像。

(b)将i＝1,2,...,N；j＝1,2,...,L₁中的所有NL₁幅加权图像分成B块，0<B<mn。分别统计各个块的直方图，并将这B个块的直方图连接成一个向量：

Bhist(T_i,j),i＝1,2,...,N；j＝1,2,...,L₁ (9)

由式(9)得到N幅图像中的每幅图像的主特征向量f_i：

步骤4，训练和测试：

将N₁幅训练图像得到的特征向量f_i ^(train),i＝1,2,...,N₁输入到分类器中，训练分类器，获得能对图像进行分类的分类器，用训练好的分类器对其余N-N₁幅测试图像进行分类。统计正确分类的个数，从而计算得到分类正确率。

即将余下的N-N1幅测试图像得到的特征向量：i＝N₁+1：N₁+2,...,N，分别输入到分类器中进行分类，获得每幅测试图像的所属标记，并将该标记与测试图像对应的原始标记进行对比，统计分类结果，计算出分类的正确率。

在图1中，由于本发明中引入了Zernike求矩，并对得到的Zernike矩特征进行池化，通过统计直方图之后得到的特征能够有效地保留原图中的旋转不变量，进而有效地提高分类正确率。

本发明通过构造一个两层的基于Zernike矩的网络，利用Zernike矩的旋转不变性，能够获得图像的旋转不变的特征和图像的非线性特征，使得对图像特征的描述更精准，分类也更为准确。对于图像分类问题，尤其是对于具有旋转特征的图像的分类问题有着更高的分类正确率。

实验

实验条件：现选取一台计算机进行灰度图像纹理分类，该计算机的配置有Intel(R)处理器(3.10GHz)和12GB随机存取存储器(RAM)，64位操作***，编程语言用的是Matlab(R2014a版本)。

实验对象：实验所用数字图像数据库包含9类的简易静物图，分别是Bird，Camel，Children，Elephant，Fork，Hammer，Key，Ray和Turtle。这9个类别都包含144幅图像，包含了12种旋转不同角度的图，旋转角度分别是0度，30度，60度，90度，120度，150度，180度，210度，240度，270度，300度，330度。在每一类中随机选取72幅图像作为训练图像，剩下的72幅作为测试图像。则有648幅训练图像和648幅测试图像。示例图像样本如图4：

实验步骤：

步骤1、分别用大小为11×11的滑块遍历所有输入图像，将所有滑块展开，并去均值，得到1296个121×1024的矩阵I_i,i＝1,2,...,1296。

步骤2、将I_i,i＝1,2,...,1296的所有列各自还原为11×11的滑块矩阵M_i,j，i＝1,2,...,1296，j＝1,2,...,1024，求矩阵M_i,j的4阶Zernike矩，得到9个矩值，存放在向量中。将所有向量组合为矩阵i＝1,2,...,1296。

步骤3、分别取A_i的第j行，j＝1,2,...,9，将该行重排为32×32的图像i＝1,2,...1296，j＝1,2,...,9。

步骤4、将步骤3得到的1296×9张图像作为第二层网络的输入图像，重复步骤1到步骤3的操作，得到第二层网络的输出图像i＝1,2,...1296，j＝1,2,...,9，h＝1,2,...,9。

步骤5、将I_i,j,h中，每9幅图像h＝1,2,...,9进行二值化。先设置阈值为0.1100，图像中大于0.1100的值置为1，否则置为0，从而得到二值化后的图像h＝1,2,...,9。对h＝1,2,...,9进行加权处理，即按照i＝1,2,...1296，j＝1,2,...,9进行离散化处理，得到离散化后的图像T_i,j，i＝1,2,...1296，j＝1,2,...,9。将T_i,j中的每张图像分块，每块大小为8×8，块重叠率为0.5。统计所有块的直方图并向量化，保存为该图像的主特征向量i＝1,2,...1296。

步骤6、将648幅训练图像得到的特征向量f_i ^(train),i＝1,2,...,648输入到分类器中，训练分类器，获得能对图像进行分类的分类器。

将余下的648幅测试图像得到的特征向量f_i ^(test),i＝649,650,...,1296分别输入到分类器中进行分类，获得每幅测试图像的所属标记，并将该标记与测试图像对应的原始标记进行对比，统计分类结果，计算出分类的正确率。

表1给出了基于Zernike矩的网络对图像数据库的分类结果。并给出了用PCANet网络进行分类的结果作为比较。

表1

从表1的结果可以看到，提出的基于Zernike矩的网络在处理具有旋转特征的数据库时非常有效。基于Zernike矩的单层网络已经能够对图像进行很好的分类，有比较高的分类正确率。因此验证了本发明方法的有效性。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于Zernike矩网络的图像分类方法，其特征在于，包括以下步骤：

步骤1，建立基于Zernike矩网络的第一层；

步骤1-1，输入图像数据库中的N幅图像，并对其进行预处理，分别得到N幅图像中的每一幅图像的局部特征矩阵I_i，i＝1,2,...,N；其中，输入的N幅图像中包括N₁幅训练图像和N-N₁幅测试图像；

步骤1-2，对于局部特征矩阵I_i，i＝1,2,...,N，将局部特征矩阵I_i的每一列重新排为滑块大小的矩阵，求所有滑块矩阵的n阶Zernike矩后，得到第一层的输出图像；

步骤2，建立基于Zernike矩网络的第二层；

用Zernike矩网络的第一层输出图像替代步骤1输入的N幅图像；重复步骤1-1至步骤1-2的过程，得到第二层Zernike矩网络的输出图像；

步骤3，建立基于Zernike矩网络的输出层；

步骤3-1，设定一个阈值，将Zernike网络的第二层输出图像中的每幅图像二值化；

步骤3-2，对二值化后的图像分块以进行直方图统计，从而得到N幅图像中每幅图像的特征向量f_i，i＝1,2,...,N；

步骤4，训练和测试：

将N₁幅训练图像得到的特征向量训练分类器，用训练好的分类器对其余N-N₁幅测试图像进行分类；统计正确分类的个数，从而计算得到分类正确率。

2.根据权利要求1所述的基于Zernike矩网络的图像分类方法，其特征在于：所述步骤1-1中对N幅训练和测试图像的预处理具体为：

对于每幅m×n的图像i＝1,2,...,N，用一个大小为k₁×k₂的滑块遍历；其中为实数集，k₁和k₂均为奇数，并且0<k₁≤m，0<k₂≤n，每一幅图像总共有mn个像素；对于每一个像素将滑块范围内的k₁k₂个像素值保存成一个列向量，得到mn个长度为k₁k₂的列向量，记为：

对列向量去均值，得到：

其中，

将去均值后的向量组合，从而得到每幅训练图像X_i的局部特征矩阵I_i：

3.根据权利要求1所述的基于Zernike矩网络的图像分类方法，其特征在于：所述步骤1-2中得到第一层的输出图像的方法具体包括以下步骤：

步骤1-2-1，对于局部特征矩阵I_i,i＝1,2,...,N中的每一列的向量j＝1,2,...,mn，将向量重排为矩阵

步骤1-2-2，求M_i,j的0阶，1阶，……，k阶的Zernike矩，得到L_k个矩值；

矩值的计算方法如下：

将该数字图像M_i,j映射到单位圆上，记为f(x,y),x²+y²≤1，再进行求矩运算；

f(x,y)的n阶l重Zernike矩定义为：

其中，n＝0,1,...,k；0≤l≤n且n-|l|是偶数，符号*表示复共轭，r表示从原点到(x,y)像素点的向量的长度，表示逆时针方向上原点到(x,y)像素点的向量与x轴之间的角度；

Zernike多项式V_nl定义为乘积的形式：

其中径向部分是：

$R_{nl}\left(r\right)=\underset{s=0}{\overset{(n-|l\left|\right)/2}{\&Sigma;}}{(-1)}^s\frac{(n-s)!}{s!\&lsqb;(n+|l\left|\right)/2-s\&rsqb;!\&lsqb;(n-|l\left|\right)/2-s\&rsqb;!}{r}^{n-2s}$

将求得的M_i,j的所有L_k个矩值A_nl排成一列矩特征的向量，从而得到I_i中的所有向量元素值对应的矩特征的向量，将所有向量组合为

步骤1-2-3，取A_i,i＝1,2,...,N的第j行的向量i＝1,2,...,N；j＝1,2,...,L₁，其中L₁为第一层Zernike网络的滤波器个数，且有L₁≤L_k；将重排，则得到NL₁幅第一层基于Zernike矩网络的输出图像：

4.根据权利要求1所述的基于Zernike矩网络的图像分类方法，其特征在于：所述步骤2中建立基于Zernike矩网络的第二层具体包括以下步骤：

将第一层Zernike矩网络的输出图像I_i,j,i＝1,2,...,N；j＝1,2,...,L₁替代步骤1中输入的N幅图像，重复步骤1-1至步骤1-2的过程，得到NL₁L₂幅Zernike矩网络的第二层输出图像：

其中，L₂为第二层Zernike矩网络的滤波器个数。

5.根据权利要求1所述的基于Zernike矩网络的图像分类方法，其特征在于：所述步骤3-1中将Zernike网络的第二层输出图像中的每幅图像二值化的方法：

先设定一个阈值t，中的元素如果大于t，则将该元素置为1；如果小于或者等于t，则将该元素置为0；二值化后的图像表示为：

6.根据权利要求1所述的基于Zernike矩网络的图像分类方法，其特征在于：所述步骤3-2得到N幅图像中每幅图像的特征向量的方法：

步骤3-2-1，将二值化后的图像进行重新分组，每L₂幅图像分为一组，得到NL₁个图像组，每个图像组包括了L₂幅图像；对每个图像组中的L₂幅图像进行加权求和得到加权图像，从而获得NL₁个图像组的加权图像T_i,j；

$T_{i,j}=\underset{k=1}{\overset{L_2}{\&Sigma;}}{2}^{k-1}{J}_{i,j,k},i=1,2,...,N;j=1,2,...,L_1$

加权图像T_i,j对应着NL₁张像素值介于的图像；

步骤3-2-2，将i＝1,2,...,N；j＝1,2,...,L₁中的所有NL₁幅加权图像分成B块，0<B<mn；分别统计各个块的直方图，并将这B个块的直方图连接成一个向量：

Bhist(T_i,j),i＝1,2,...,N；j＝1,2,...,L₁；

进而得到N幅图像中的每幅图像的主特征向量f_i：