CN104573729B - 一种基于核主成分分析网络的图像分类方法 - Google Patents
一种基于核主成分分析网络的图像分类方法 Download PDFInfo
- Publication number
- CN104573729B CN104573729B CN201510037296.9A CN201510037296A CN104573729B CN 104573729 B CN104573729 B CN 104573729B CN 201510037296 A CN201510037296 A CN 201510037296A CN 104573729 B CN104573729 B CN 104573729B
- Authority
- CN
- China
- Prior art keywords
- image
- msub
- component analysis
- principal component
- mrow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 84
- 239000013598 vector Substances 0.000 claims abstract description 75
- 238000012360 testing method Methods 0.000 claims abstract description 58
- 239000011159 matrix material Substances 0.000 claims abstract description 57
- 230000008569 process Effects 0.000 claims abstract description 7
- 238000000513 principal component analysis Methods 0.000 claims description 97
- 238000012935 Averaging Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 10
- 238000000354 decomposition reaction Methods 0.000 claims description 7
- 239000011541 reaction mixture Substances 0.000 claims description 6
- 230000000903 blocking effect Effects 0.000 claims description 3
- 101150117787 outL gene Proteins 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 41
- 238000012847 principal component analysis method Methods 0.000 description 12
- 238000012706 support-vector machine Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000006386 neutralization reaction Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种基于核主成分分析网络的图像分类方法,包括以下步骤:(1)输入并预处理训练图像,得到训练图像的局部特征矩阵,(2)建立一个两层的核主成分分析网络,获得训练图像的主特征向量,(3)并用获得的主特征向量训练分类器;为了验证分类的正确性,建立测试核主成分分析网络对测试图像进行测试。本发明通过构造一个两层的核主成分分析网络,能够获得图像的非线性特征,使得图像特征的描述更精确,分类也更为准确,对于图像分类问题有着更高的正确率。
Description
技术领域
本发明涉及数字图像领域,具体涉及一种基于核主成分分析网络的图像分类方法。
背景技术
对图像进行分类之前,通常需要对图像矩阵进行降维。常用的降维方法主要有两种:1、主成分分析法;2、核主成分分析法。前者主要是针对线性可分的数据,而后者则可以处理线性不可分的数据。两者的分类正确率都不是很高。
1、主成分分析法
主成分分析法是最常用的线性降维方法,其目标是通过线性映射将高维的数据映射到低维的空间中进行表达,并期望在所投影的维度上数据的方差最大,从而使用较少的数据维度保留住较多的原始数据的特点。
其具体算法如下:
假设输入m个n维的样本Xi,i=1,2,...,m,其中将每个样本中的n维数据排成列向量,则输入样本表示为:
Xi=[xi,1 xi,2 ... xi,n]T,i=1,2,...,m (1)
首先对样本中每个维度的数据中心化:
每个样本减去平均值使得样本的每个维度均值都为0,:
其中
x1,j+x2,j+...+xm,j=0,j=1,2,...,n.(xi,j,i=1,2,...,m;j=1,2,...,n表示第i个样本中第j维的元素)。
接着求Xi,i=1,2,...,m的协方差矩阵C:
最后对C进行奇异值分解,求得C的特征值与特征向量,选取前L个最大的特征值所对应的特征向量作为映射的基向量,其中0<L≤min(m,n)。
2、核主成分分析法
核主成分分析法是对主成分分析法的扩展,当核函数是线性核的时候,核主成分分析法就相当于主成分分析法;当核函数是非线性核的时候,核函数能够将线性不可分的数据映射到高维空间里,使得数据线性可分。
2.1常用的核函数
常用的核函数包括:线性核(Linear Kernel)、多项式核(Polynomial Kernel)、高斯核(Gaussian Kernel)、指数核(Exponential Kernel)、拉普拉斯核(LaplacianKernel)、双曲正切核(Hyperbolic Tangent(Sigmoid)Kernel)、有理二次核(RationalQuadratic Kernel)、逆多元二次核(Inverse Multiquadric Kernel)、圆核(CircularKernel)等。
线性核(Linear Kernel)是最简单的核函数,使用线性核函数的KPCA相当于PCA。两个列向量x,y的线性核函数定义为:
k(x,y)=xTy+c (4)
其中c为任意的常数。
多项式核(Polynomial Kernel)是一种非静态核,适用于所有的训练数据都已经归一化的问题。多项式核的定义为:
k(x,y)=(αxTy+c)d (5)
其中x,y为两个维度相同的列向量,α为坡度系数,c为任意常数,d为大于0的常数。
高斯核(Gaussian Kernel)属于径向基函数核,其表达式为:
或者也可以表示为:
k(x,y)=exp(-γ||x-y||2) (7)
其中x,y为两个维度相同的列向量,是可调节的系数,对高斯核的性能会有很大的影响,因此必须根据不同的情况选取合适的γ值。如果γ估计得过高,则指数将几乎为线性,高维的投影会失去其非线性的能量。反之,如果γ估计的过低,函数将缺少正规化,使得决策边界过高,对训练数据中的噪声将非常敏感。
指数核(Exponential Kernel)与高斯核关系密切,唯一的差别是范数的平方变成了范数,其表达式为:
其中x,y为两个维度相同的列向量,σ为任意非零参数。指数核也是一种径向基函数核。
拉普拉斯核(Laplacian Kernel)几乎与指数核相等,但是拉普拉斯核对于σ的取值不怎么敏感,同时它也是一种径向基函数核。表达式为:
其中x,y为两个维度相同的列向量,σ为任意非零参数。
双曲正切核(Hyperbolic Tangent(Sigmoid)Kernel)又叫多层感知器核(Multilayer Perceptron Kernel)与S核(Sigmoid Kernel),其中S核来源于神经网络领域,双极的S核被用来作为人工神经元的激活函数。其表达式为:
k(x,y)=tanh(αxTy+c) (10)
其中x,y为两个维度相同的列向量,坡度系数α与截距常数c是可以根据具体问题调节的,α>0且c<0是比较好的参数选择。
有理二次核(Rational Quadratic Kernel)相对于高斯核而言,计算密集性更低,因此如果希望获得高斯核的计算效果但是又希望避免计算密集性的话,可以采用有理二次核函数。有理二次核是一种非正定核,其表达式为:
其中x,y为两个维度相同的列向量,c为任意实数。
逆多元二次核(Inverse Multiquadric Kernel)得到的核矩阵是一个满秩矩阵,因此在使用逆多元二次核将原始数据映射的到核空间时将会形成一个无限维的特征空间。其表达式为:
其中x,y为两个维度相同的列向量,σ为任意非零参数。
圆核(Circular Kernel)来源于统计学的观点,是一种各向异性的正定静态核。其定义为:
其中x,y为两个维度相同的列向量,σ为任意非零参数。
此外,还有各种类型的核函数以及核函数之间的线性变换也可以得到一个新的核函数,例如两个不同类型的核函数相加能够得到一个新的核函数。
2.2核主成分分析算法如下:
假设输入m个n维的样本Xi,i=1,2,...,m,其中Xi∈Rn且Xi为n维的列向量。
首先将数据映射到特征空间里面得到:
Φ(X1),Φ(X2),...,Φ(Xm) (14)
其中Φ为将数据映射到高维空间的映射函数。
接着中心化Φ(Xi),i=1,2,...,m:
1)假设Xi,i=1,2,...,m被映射到中后变为l(0<l≤+∞)维的列向量:
Yi=[yi,1 yi,2 … yi,l]T,i=1,2,...,m (15)
其中l≥n且l有可能是一个无穷大的正数。
2)求Yi,i=1,2,...,m的平均值
3)对Yi,i=1,2,...,m分别去均值:使得这等价于使得
核主成分分析法的主要目的是找出所有样本在特征空间中的协方差矩阵中的特征值λ≥0以及其对应的特征向量(表示V为空间里的非零向量),其中为:
由于所有的解都在Φ(X1),Φ(X2),...,Φ(Xm)所生成的空间里面,也就是我们可以考虑以下的等价***:
同时,存在系数α1,α2,...,αm,使得
将(17),(19)代入(18),同时定义一个m×m的矩阵K,其元素表示为:
Kij:=(Φ(Xi)Φ(Xj)),i=1,2,...,m;j=1,2,...,m (20)
可以得到:
mλKα=K2α (21)
化简之后,有:
mλα=Kα (22)
其中λ=diag[λ1 λ2 … λm],α=[α1 α2 … αm]T。
假设(1)中非零特征值对应的特征向量在特征空间中都是单位向量,也就是V·V=I,其中表示单位矩阵,因此归一化α系数向量:
至此,便可以得到特征向量V了。
将映射到特征空间的测试数据投影到特征向量中,得到新数据X的主成分:
由于在实际操作过程中Φ(Xi),i=1,2,...,m通常是未知的,而且通常对Φ(Xi),i=1,2,...,m进行点积操作,因此,通常采用核函数来计算点积而不需要具体地知道Φ(Xi)。对于不同的核函数,都有相应的Φ(Xi)将数据映射到高维特征空间中。因此,我们可以计算(4)中的点积如下:
Kij:=(k(Xi,Xj))i,j,i=1,2,...,m;j=1,2,...,m (25)
其中,k为相应的核函数。
同时,为了实现数据被映射到高维空间中后的中心化,我们转而求的特征值与特征向量,其中为:
其中,
发明内容
针对现有技术的不足,本发明提出了一种基于核主成分分析网络的图像分类方法,利用核主成分分析法将数据映射到核空间里面,将线性不可分的数据线性化;接着提取数据中的特征,同时采用支持向量机(SVM)分类方法根据提取出的特征对数据进行分类;最大限度的提取出了图像的特征向量,同时提高分类的准确率。
为了实现上述目的,本发明的技术方案是:
本发明基于核主成分分析网络的图像分类方法,包括以下步骤:
步骤1:建立核主成分分析网络第一层:
步骤1.1:输入图像数据库中的N1幅训练图像,并对其进行预处理,分别得到N1幅训练图像中每一幅图像的局部特征矩阵Ii,i=1,2,...,N1;其中图像数据库包含N幅大小为m×n已经人工分类并作标记的图像,N1<N;
步骤1.2:求局部特征矩阵Ii的协方差矩阵均值选择任意一个核函数,将协方差矩阵均值映射到高维空间的核子空间当中,得到核子空间当中的协方差矩阵K,并对K去均值得到通过对进行奇异值分解,得到的主成分,从而获得第一层核主成分分析网络的滤波器V(1);分别将Ii与V(1)卷积,得到第一层核主成分分析网络的训练输出图像;
步骤2:建立核主成分分析网络第二层:
将核主成分分析网络的第一层训练输出图像替代步骤1.1的N1幅训练图像,重复步骤1.1至步骤1.2的过程,得到第二层核主成分分析网络的滤波器V(2)以及第二层核主成分分析网络的训练输出图像;
步骤3:建立核主成分分析网络的输出层:
步骤3.1:将第二层核主成分分析网络的训练输出图像中的每幅图像二值化,并对二值化后的图像分块以统计直方图,得到N1幅训练图像中每幅图像的主特征向量
步骤3.2:将每幅图像的主特征向量串联起来,得到所有训练图像的主特征矩阵F(train);
步骤4:训练分类器:
将F(train)以及每幅图像对应的标记输入到分类器当中,训练分类器,获得能够对图像进行分类的分类器;
步骤5:测试核主成分分析网络:
步骤5.1:分别输入图像数据库中剩余的N-N1幅图像作为测试图像,并对其进行预处理,得到N-N1幅测试图像中每幅图像的局部特征矩阵Il,l=N1+1,N1+2,...,N;
步骤5.2:将Il与步骤1.2中得到的V(1)卷积,将卷积后所获得的第一层核主成分分析网络的测试输出图像与步骤2中得到的V(2)进行卷积,将卷积后获得的第二层核主成分分析网络的测试输出图像替代步骤3.1中第二层核主成分分析网络的训练输出图像并重复步骤3.1,获得每幅测试图像的主特征向量
步骤5.3:将输入到步骤4中训练好的分类器中进行分类,获得每幅测试图像的所属标记,并将该标记与测试图像对应的原始标记进行对比,统计分类结果,计算出分类的正确率。
进一步的,所述步骤1.1具体包括以下内容:
在N幅大小为m×n的图像数据库中随机选取N1幅作为训练图像数据库;用一个大小为k1×k2的滑块遍历训练图像数据库中的每幅训练图像的每一个像素,其中为实数集,k1和k2均为奇数,并且0<k1≤m,0<k2≤n,每一幅图像总共有mn个像素;对于每一个像素将滑块范围内的k1k2个像素值保存成一个列向量,得到mn个长度为k1k2的列向量,记为:
对式(1)中的列向量去均值得到:
式(2)中:
将去均值后的向量组合,从而得到每幅训练图像Xi的局部特征矩阵Ii:
进一步的,所述步骤1.2具体包括以下内容:
(a)分别求局部特征矩阵的协方差矩阵:
对得到的N1个协方差矩阵进行平均,得到:
(b)选择线性核函数、多项式核函数、高斯核函数、指数核函数、拉普拉斯核函数、双曲正切核函数、有理二次核函数、逆多元二次核函数、圆核函数中的任意一个核函数将映射到高维空间中的核子空间,得到大小为k1k2×k1k2的协方差矩阵并对矩阵K进行去均值得到:
其中为一个k1k2×k1k2的矩阵,每一个元素都是1/(k1k2);
(c)对进行奇异值分解,找出的L1个主成分,并将的L1个主成分作为第一层核主成分分析网络的滤波器V(1):
式(7)中,为的第j个主成分,L1为第一层核主成分分析网络中滤波器的个数,0<L1≤k1k2;
为使得卷积后的图像大小与原始图像大小一样,将局部特征矩阵Ii,i=1,2,...,N1分别与进行卷积,得到第一层核主成分分析网络的训练输出图像:
进一步,步骤2具体包括以下内容:
将第一层核主成分分析网络的训练输出图像替代步骤1.1中N1幅训练图像,重复步骤1至步骤1.2过程,得到核主成分分析网络的第二层滤波器:
式(9)中,为第二层核主成分分析网络的第h个滤波器,L2为第二层核主成分分析网络的滤波器个数,0<L2≤k1k2;
以及得到L1L2个第二层核主成分分析网络的训练输出图像:
进一步,步骤3.1具体包括以下内容:
(a)将第二层核主成分分析网络的训练输出图像中的每幅图像进行二值化操作,得到二值化后的图像,二值化操作具体为:中的元素如果大于0,则将该元素置为1;如果小于或者等于0,则将该元素置为0;二值化后的图像表示为:
将式(11)中的图像进行重新分组,每L2张图像分为一组,得到N1L1个图像组,每个图像组包括L2张图像,对每个图像组中的L2张进行加权求和得到一张加权图像,从而获得N1L1个图像组的加权图像
式(12)对应着N1L1张像素值介于的图像;
(b)将中的每张加权图像分成B块,0<B<mn;分别统计各个块的直方图并将这B个块的直方图连接成一个向量:
由式(13)得到N1幅训练图像中每幅图像的主特征向量
i=1,2,...,N1 (14)
进一步,步骤3.2具体包括以下内容:
按照原始输入的训练图像的标记,N1幅训练图像中每幅图像的主特征向量串联起来,得到所有训练图像的主特征矩阵:
进一步,步骤4具体包括以下内容:
将F(train)以及每幅训练图像Xi对应的原始标记输入到分类器中,训练出分类需要的参数,获得能够对图像进行分类的分类器。
进一步,步骤5.1具体包括以下内容:
(a)在N幅m×n的图像数据库中用剩下的N-N1幅作为测试图像;同样用一个大小为k1×k2的滑块遍历每一幅测试图像的每一个像素;对于每一个像素,将滑块范围内的k1k2个像素值保存成一个列向量,这样可以得到mn个长度为k1k2的列向量,记为:
对式(16)中的向量进行去均值操作得到:
式(17)中
将去均值后的向量组合成测试图像的局部特征矩阵:
进一步,步骤5.2具体包括以下内容:
分别将每幅测试图像的局部特征矩阵Il,l=N1+1,N1+2,...,N与步骤1.2中得到的滤波器进行卷积,获得第一层核主成分分析网络的测试输出图像将分别与步骤2得到的滤波器进行卷积,获得第二层核主成分分析网络的测试输出图像
将替代步骤3.1中第二层核主成分分析网络的训练输出图像重复步骤3.1,获得每幅测试图像的主特征向量:
进一步,步骤5.3具体包括以下内容:
将每幅测试图像对应的主特征向量输入步骤4中已经训练好的分类器中进行分类,获得每幅测试图像的所属标记,然后将该标记与对应的测试图像原始标记进行对比,统计正确的分类个数,计算出分类正确率。
与现有技术相比,本发明的有益效果是:
1)本方法通过使用核主成分分析法,将原始数据空间映射到核空间,使得在原始数据空间线性不可分的数据在核空间变得线性可分。
2)本方法构造一个两层的核主成分分析网络,在去噪的同时能够非常有效的提取图像的特征信息。
3)本方法对于图像的光照变化有着不变性,同时对微小的形变稳定,对于有遮挡的人脸识别能力显著。
4)通过将核主成分分析法构造成一个两层的网络,使得分类更为精确,提高了分类的准确率。
附图说明
图1为本发明基于核主成分分析网络的图像分类方法分类示意图;
图2为本发明基于核主成分分析网络的图像分类方法的整体流程图;
图3为本发明基于核主成分分析网络的图像分类方法网络训练流程图;
图4为本发明基于核主成分分析网络的图像分类方法网络测试流程图;
具体实施方式
下面对本发明技术方案结合附图和实施例进行详细说明。
如图1-4所示,本发明中基于核主成分分析网络的图像分类方法通过级联两层核主成分分析滤波器构建了一种新的图像特征提取结构,称为核主成分分析网络,并对所构建的核主成分分析网络进行了测试,具体包括以下步骤。
步骤1:建立核主成分分析网络第一层
步骤1.1:在N幅大小为m×n的图像数据库中随机选取N1幅作为训练图像数据库;用一个大小为k1×k2的滑块遍历训练图像数据库中的每幅训练图像的每一个像素,其中为实数集,k1和k2均为奇数,并且0<k1≤m,0<k2≤n,每一幅图像总共有mn个像素;对于每一个像素将滑块范围内的k1k2个像素值保存成一个列向量,得到mn个长度为k1k2的列向量,记为:
对式(1)中的列向量去均值得到:
式(2)中:
将去均值后的向量组合,从而得到每幅训练图像Xi的局部特征矩阵Ii:
步骤1.2:
(a)分别求局部特征矩阵的协方差矩阵:
对得到的N1个协方差矩阵进行平均,得到:
(b)选择线性核函数、多项式核函数、高斯核函数、指数核函数、拉普拉斯核函数、双曲正切核函数、有理二次核函数、逆多元二次核函数、圆核函数中的任意一个核函数将映射到高维空间中的核子空间,得到大小为k1k2×k1k2的协方差矩阵并对矩阵K进行去均值得到:
其中为一个k1k2×k1k2的矩阵,每一个元素都是1/(k1k2);
(c)对进行奇异值分解,找出的L1个主成分,并将的L1个主成分作为第一层核主成分分析网络的滤波器V(1):
式(7)中,为的第j个主成分,L1为第一层核主成分分析网络中滤波器的个数,0<L1≤k1k2;
为使得卷积后的图像大小与原始图像大小一样,将局部特征矩阵Ii,i=1,2,...,N1分别与进行卷积,得到第一层核主成分分析网络的训练输出图像:
步骤2:建立核主成分分析网络第二层
将第一层核主成分分析网络的训练输出图像替代步骤1.1中N1幅训练图像,重复步骤1.1至步骤1.2过程,得到核主成分分析网络的第二层滤波器:
式(9)中,为第二层核主成分分析网络的第h个滤波器,L2为第二层核主成分分析网络的滤波器个数,0<L2≤k1k2;
以及得到L1L2个第二层核主成分分析网络的训练输出图像:
步骤3:建立核主成分分析网络的输出层
步骤3.1:
(a)将第二层核主成分分析网络的训练输出图像中的每幅图像进行二值化操作,得到二值化后的图像,二值化操作具体为:中的元素如果大于0,则将该元素置为1;如果小于或者等于0,则将该元素置为0;二值化后的图像表示为:
将式(11)中的图像进行重新分组,每L2张图像分为一组,得到N1L1个图像组,每个图像组包括L2张图像,对每个图像组中的L2张进行加权求和得到一张加权图像,从而获得N1L1个图像组的加权图像
式(12)对应着N1L1张像素值介于的图像;
(b)将中的每张加权图像分成B块,0<B<mn;分别统计各个块的直方图并将这B个块的直方图连接成一个向量:
由式(13)得到N1幅训练图像中每幅图像的主特征向量
i=1,2,...,N1 (14)
步骤3.2:
按照原始输入的训练图像的标记,N1幅训练图像中每幅图像的主特征向量串联起来,得到所有训练图像的主特征矩阵:
步骤4:训练分类器
将F(train)以及每幅训练图像Xi对应的原始标记输入到分类器中,训练出分类需要的参数,获得能够对图像进行分类的分类器。
步骤5:测试核主成分分析网络
步骤5.1:
(a)在N幅m×n的图像数据库中用剩下的N-N1幅作为测试图像;同样用一个大小为k1×k2的滑块遍历每幅测试图像的每一个像素;对于每一个像素,将滑块范围内的k1k2个像素值保存成一个列向量,这样可以得到mn个长度为k1k2的列向量,记为:
对式(16)中的向量进行去均值操作得到:
式(17)中
将去均值后的向量组合,从而得到每幅测试图像的局部特征矩阵Il:
步骤5.2:分别将每幅测试图像的局部特征矩阵Il,l=N1+1,N1+2,...,N与步骤1.2中得到的滤波器进行卷积,获得第一层核主成分分析网络的测试输出图像将分别与步骤2得到的滤波器进行卷积,获得第二层核主成分分析网络的测试输出图像
将替代步骤3.1中第二层核主成分分析网络的训练输出图像重复步骤3.1,获得每幅测试图像的主特征向量:
步骤5.3:将每幅测试图像对应的主特征向量输入步骤4中已经训练好的分类器中进行分类,获得每幅测试图像的所属标记,然后将该标记与对应的测试图像原始标记进行对比,统计正确的分类个数,计算出分类正确率。
在图1中,由于本发明中核主成分分析法的引入,使得图像的非线性特征能够很好的被映射到核空间中,进而用线性分类算法就能很好的将其分类。同时,由于引入了二值化与分块的过程,图像的特征能够被很好的提取出来。由此取得更好的图像描述效果。
下面以MNIST数据库采用高斯核函数以及支持向量机分类器为例来详细说明。
现选取一台计算机进行图像分类,该计算机的配置有Intel(R)处理器(3.10GHz)和12GB随机存取存储器(RAM),64位操作***,编程语言用的是Matlab(R2013a版本)。
手写数字图像数据库MNIST包含10类图像,分别是数字0到9。选取MNIST中的训练图像作为核主成分分析网络的训练图像,其中MNIST中的训练图像一共60000幅28×28的图像,以mat格式存储在一个785×60000的矩阵里面,最后一列为图像的标记;选取MNIST中的测试图像作为核主成分分析网络的测试图像,其中MNIST中的测试图像一共10000幅28×28的图像,以mat格式存储在一个785×10000的矩阵里面,最后一列为图像的标记。
步骤1.1:将训练图像矩阵中的图像数据与图像标记分别保存,并将图像数据保存到一个28×28×60000的元胞中并用大小为7×7的滑块遍历元胞中的每幅图像Xi,i=1,2,...,60000,对每次滑块中的元素去均值之后向量化,将每幅图像所有向量化的滑块按行排列,得到一个49×484的局部特征矩阵Ii,i=1,2,...,60000
步骤1.2:(a)求Ii,i=1,2,...,60000的协方差矩阵并对Ci进行平均,得到协方差平均矩阵
(b)将输入到所选择的核函数里面,例如高斯核函数得到非线性映射之后的协方差矩阵其中cp与cq分别表示的第p行与第q行向量,||cp-cq||2为cp-cq的二范数;接着按照对K去均值,其中149为每个元素都为1/49,大小为49×49的方阵;
(c)设置第一层滤波器个数为8,对进行奇异值分解,求取的前8个最大特征值所对应的特征向量作为第一层核主成分分析网络的滤波器接着将Ii,i=1,2,...,60000分别与卷积。对于图像Xi,将输出8幅图像最后一共输出480000幅大小为28×28的图像
步骤2:将所有480000幅图像重复步骤1.1到步骤1.2的操作,得到第二层核主成分分析网络的8个滤波器并将与分别卷积,将得到3840000幅图像
步骤3.1:将中每8幅图像二值化,得到将离散化,得到一幅离散化后的图像将中的每张图像分块,每块大小为7×7,块重叠率为0.5,统计所有块的直方图并向量化,保存为该图像的主特征向量
步骤3.2:将每幅图像的主特征向量串联起来,得到所有训练图像的主特征矩阵
步骤4:将步骤3.2得到的图像主特征向量F(train)以及每幅图像Xi对应的原始标记输入支持向量机分类器当中,获得支持向量机中每个特征的权值参数。
步骤5.1:将测试图像的图像数据Xl,l=1,2,...,10000与图像标记分别保存,并用大小为7×7的滑块遍历Xl,对每次滑块中的元素去均值之后向量化,将每幅图像所有向量化的滑块按行排列,得到Xl的局部特征矩阵并求Il的协方差矩阵将Il分别与卷积,输出8幅图像最后一共输出80000幅图像
步骤5.2:将分别与卷积,得到64幅图像 最后一共得到将得到640000幅图像对每8幅图像二值化,得到将离散化,得到一幅离散化后的图像将离散化后的图像分块,块大小为7×7,块重叠率为0.5,统计所有块的直方图并向量化,保存为该图像的主特征向量
步骤5.3:将步骤5.2的图像主特征向量输入步骤4中训练好的支持向量机中进行分类,获得图像的标记,并与该图像的原始标记进行对比,统计分类结果,计算出分类正确率。
表1给出了提出的核主成分分析网络在手写数字数据库MNIST在每层滤波器个数分别为6到14时,应用各种不同的核得到的分类结果。
表1
从表1的结果可以看到,提出的核主成分分析网络在处理手写数据分类时非常有效,特别是当每层的滤波器个数大于8时,分类正确率基本上在99%以上。因此也验证了本发明方法的有效性。
Claims (10)
1.一种基于核主成分分析网络的图像分类方法,其特征在于,包括以下步骤:
步骤1:建立核主成分分析网络第一层:
步骤1.1:输入图像数据库中的N1幅训练图像,并对其进行预处理,分别得到N1幅训练图像中每一幅图像的局部特征矩阵Ii,i=1,2,...,N1;其中图像数据库包含N幅大小为m×n已经人工分类并作标记的图像,N1<N;
步骤1.2:求局部特征矩阵Ii的协方差矩阵均值选择任意一个核函数,将协方差矩阵均值映射到高维空间的核子空间当中,得到核子空间当中的协方差矩阵K,并对K去均值得到通过对进行奇异值分解,得到的主成分,从而获得第一层核主成分分析网络的滤波器V(1);分别将Ii与V(1)卷积,得到第一层核主成分分析网络的训练输出图像;
步骤2:建立核主成分分析网络第二层:
将核主成分分析网络的第一层训练输出图像替代步骤1.1的N1幅训练图像,重复步骤1.1至步骤1.2的过程,得到第二层核主成分分析网络的滤波器V(2)以及第二层核主成分分析网络的训练输出图像;
步骤3:建立核主成分分析网络的输出层:
步骤3.1:将第二层核主成分分析网络的训练输出图像中的每幅图像二值化,并对二值化后的图像分块以统计直方图,得到N1幅训练图像中每幅图像的主特征向量i=1,2,...,N1;
步骤3.2:将每幅图像的主特征向量串联起来,得到所有训练图像的主特征矩阵F(train);
步骤4:训练分类器:
将F(train)以及每幅图像对应的标记输入到分类器当中,训练分类器,获得能够对图像进行分类的分类器;
步骤5:测试核主成分分析网络:
步骤5.1:分别输入图像数据库中剩余的N-N1幅图像作为测试图像,并对其进行预处理,得到N-N1幅测试图像中每幅图像的局部特征矩阵Il,l=N1+1,N1+2,...,N;
步骤5.2:将Il与步骤1.2中得到的V(1)卷积,将卷积后所获得的第一层核主成分分析网络的测试输出图像与步骤2中得到的V(2)进行卷积,将卷积后获得的第二层核主成分分析网络的测试输出图像替代步骤3.1中第二层核主成分分析网络的训练输出图像并重复步骤3.1,获得每幅测试图像的主特征向量l=N1+1,N1+2,...,N;
步骤5.3:将输入到步骤4中训练好的分类器中进行分类,获得每幅测试图像的所属标记,并将该标记与测试图像对应的原始标记进行对比,统计分类结果,计算出分类的正确率。
2.根据权利要求1所述的基于核主成分分析网络的图像分类方法,其特征在于,所述步骤1.1对N1幅训练图像的预处理具体为:
在N幅大小为m×n的图像数据库中随机选取N1幅作为训练图像数据库;用一个大小为k1×k2的滑块遍历训练图像数据库中的每幅训练图像i=1,2,...,N1的每一个像素,其中为实数集,k1和k2均为奇数,并且0<k1≤m,0<k2≤n,每一幅图像总共有mn个像素;对于每一个像素将滑块范围内的k1k2个像素值保存成一个列向量,得到mn个长度为k1k2的列向量,记为:
对式(1)中的列向量去均值得到:
式(2)中:
将去均值后的向量组合,从而得到每幅训练图像Xi的局部特征矩阵Ii:
3.根据权利要求2所述的基于核主成分分析网络的图像分类方法,其特征在于,所述步骤1.2具体包括以下步骤:
(a)分别求局部特征矩阵i=1,2,...,N1的协方差矩阵:
对得到的N1个协方差矩阵进行平均,得到:
(b)选择线性核函数、多项式核函数、高斯核函数、指数核函数、拉普拉斯核函数、双曲正切核函数、有理二次核函数、逆多元二次核函数、圆核函数中的任意一个核函数将映射到高维空间中的核子空间,得到大小为k1k2×k1k2的协方差矩阵并对矩阵K进行去均值得到:
<mrow>
<mover>
<mi>K</mi>
<mo>&OverBar;</mo>
</mover>
<mo>=</mo>
<mi>K</mi>
<mo>-</mo>
<msub>
<mn>1</mn>
<mrow>
<msub>
<mi>k</mi>
<mn>1</mn>
</msub>
<msub>
<mi>k</mi>
<mn>2</mn>
</msub>
<mo>&times;</mo>
<msub>
<mi>k</mi>
<mn>1</mn>
</msub>
<msub>
<mi>k</mi>
<mn>2</mn>
</msub>
</mrow>
</msub>
<mi>K</mi>
<mo>-</mo>
<mi>K</mi>
<msub>
<mn>1</mn>
<mrow>
<msub>
<mi>k</mi>
<mn>1</mn>
</msub>
<msub>
<mi>k</mi>
<mn>2</mn>
</msub>
<mo>&times;</mo>
<msub>
<mi>k</mi>
<mn>1</mn>
</msub>
<msub>
<mi>k</mi>
<mn>2</mn>
</msub>
</mrow>
</msub>
<mo>+</mo>
<msub>
<mn>1</mn>
<mrow>
<msub>
<mi>k</mi>
<mn>1</mn>
</msub>
<msub>
<mi>k</mi>
<mn>2</mn>
</msub>
<mo>&times;</mo>
<msub>
<mi>k</mi>
<mn>1</mn>
</msub>
<msub>
<mi>k</mi>
<mn>2</mn>
</msub>
</mrow>
</msub>
<mi>K</mi>
<msub>
<mn>1</mn>
<mrow>
<msub>
<mi>k</mi>
<mn>1</mn>
</msub>
<msub>
<mi>k</mi>
<mn>2</mn>
</msub>
<mo>&times;</mo>
<msub>
<mi>k</mi>
<mn>1</mn>
</msub>
<msub>
<mi>k</mi>
<mn>2</mn>
</msub>
</mrow>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
其中为一个k1k2×k1k2的矩阵,每一个元素都是1/(k1k2);
(c)对进行奇异值分解,找出的L1个主成分,并将的L1个主成分作为第一层核主成分分析网络的滤波器V(1):
式(7)中,为的第j个主成分,L1为第一层核主成分分析网络中滤波器的个数,0<L1≤k1k2;
将局部特征矩阵Ii,i=1,2,...,N1分别与j=1,2,...,L1进行卷积,得到第一层核主成分分析网络的训练输出图像:
4.根据权利要求1所述的基于核主成分分析网络的图像分类方法,其特征在于,所述步骤2具体包括以下步骤:
将第一层核主成分分析网络的训练输出图像替代步骤1.1中N1幅训练图像,重复步骤1.1至步骤1.2过程,得到核主成分分析网络的第二层滤波器:
式(9)中,为第二层核主成分分析网络的第h个滤波器,L2为第二层核主成分分析网络的滤波器个数,0<L2≤k1k2;
以及得到L1L2幅第二层核主成分分析网络的训练输出图像:
5.根据权利要求4所述的基于核主成分分析网络的图像分类方法,其特征在于,所述步骤3.1具体包括以下步骤:
(a)将第二层核主成分分析网络的训练输出图像中的每幅图像进行二值化操作,得到二值化后的图像,二值化操作具体为:中的元素如果大于0,则将该元素置为1;如果小于或者等于0,则将该元素置为0;二值化后的图像表示为:
将式(11)中的图像进行重新分组,每L2幅图像分为一组,得到N1L1个图像组,每个图像组包括L2幅图像,对每个图像组中的L2张进行加权求和得到一幅加权图像,从而获得N1L1个图像组的加权图像
<mrow>
<msubsup>
<mi>T</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mi>r</mi>
<mi>a</mi>
<mi>i</mi>
<mi>n</mi>
<mo>)</mo>
</mrow>
</msubsup>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>h</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>L</mi>
<mn>2</mn>
</msub>
</munderover>
<msup>
<mn>2</mn>
<mrow>
<mi>h</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<msubsup>
<mi>J</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>,</mo>
<mi>h</mi>
</mrow>
<mrow>
<mo>(</mo>
<mrow>
<mi>t</mi>
<mi>r</mi>
<mi>a</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
<mo>)</mo>
</mrow>
</msubsup>
<mo>,</mo>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<msub>
<mi>N</mi>
<mn>1</mn>
</msub>
<mo>;</mo>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<msub>
<mi>L</mi>
<mn>1</mn>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>12</mn>
<mo>)</mo>
</mrow>
</mrow>
式(12)对应着N1L1张像素值介于的图像;
(b)将i=1,2,...,N1;j=1,2,...,L1中的每幅加权图像分成B块,0<B<mn;分别统计各个块的直方图并将这B个块的直方图连接成一个向量:
<mrow>
<mi>B</mi>
<mi>h</mi>
<mi>i</mi>
<mi>s</mi>
<mi>t</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>T</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mi>r</mi>
<mi>a</mi>
<mi>i</mi>
<mi>n</mi>
<mo>)</mo>
</mrow>
</msubsup>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<msub>
<mi>N</mi>
<mn>1</mn>
</msub>
<mo>;</mo>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<msub>
<mi>L</mi>
<mn>1</mn>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>13</mn>
<mo>)</mo>
</mrow>
</mrow>
由式(13)得到N1幅训练图像中每幅图像的主特征向量
6.根据权利要求5所述的基于核主成分分析网络的图像分类方法,其特征在于,所述步骤3.2具体包括以下步骤:
按照原始输入的训练图像的标记,N1幅训练图像中每幅图像的主特征向量串联起来,得到所有训练图像的主特征矩阵:
7.根据权利要求6所述的基于核主成分分析网络的图像分类方法,其特征在于,所述步骤4具体包括以下步骤:
将F(train)以及每幅训练图像对应的原始标记输入到分类器中,训练出分类需要的参数,获得能够对图像进行分类的分类器。
8.根据权利要求1所述的基于核主成分分析网络的图像分类方法,其特征在于,所述的步骤5.1具体包括以下步骤:
(a)在N幅m×n的图像数据库中用剩下的N-N1幅作为测试图像;同样用一个大小为k1×k2的滑块遍历每幅测试图像l=N1+1,N1+2,...,N的每一个像素;对于每一个像素,将滑块范围内的k1k2个像素值保存成一个列向量,这样可以得到mn个长度为k1k2的列向量,记为:
对式(16)中的向量进行去均值操作得到:
式(17)中
将去均值后的向量组合,从而得到每幅测试图像的局部特征矩阵Il:
9.根据权利要求8所述的基于核主成分分析网络的图像分类方法,其特征在于,所述的步骤5.2具体包括以下步骤:
分别将每幅测试图像的局部特征矩阵Il,l=N1+1,N1+2,...,N与步骤1.2中得到的滤波器进行卷积,获得第一层核主成分分析网络的测试输出图像l=N1+1,N1+2,...,N;j=1,2,...,L1,将分别与步骤2得到的滤波器进行卷积,获得第二层核主成分分析网络的测试输出图像l=N1+1,N1+2,...,N;j=1,2,...,L1;h=1,2,...,L2;
将替代步骤3.1中第二层核主成分分析网络的训练输出图像重复步骤3.1,获得每幅测试图像l=N1+1,N1+2,...,N的主特征向量:
10.根据权利要求9所述的基于核主成分分析网络的图像分类方法,其特征在于,所述的步骤5.3具体包括以下步骤:
将每幅测试图像对应的主特征向量输入步骤4中已经训练好的分类器中进行分类,获得每幅测试图像的所属标记,然后将该标记与对应的测试图像原始标记进行对比,统计正确的分类个数,计算出分类正确率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510037296.9A CN104573729B (zh) | 2015-01-23 | 2015-01-23 | 一种基于核主成分分析网络的图像分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510037296.9A CN104573729B (zh) | 2015-01-23 | 2015-01-23 | 一种基于核主成分分析网络的图像分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104573729A CN104573729A (zh) | 2015-04-29 |
CN104573729B true CN104573729B (zh) | 2017-10-31 |
Family
ID=53089749
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510037296.9A Active CN104573729B (zh) | 2015-01-23 | 2015-01-23 | 一种基于核主成分分析网络的图像分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104573729B (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104881682B (zh) * | 2015-05-26 | 2019-03-05 | 东南大学 | 一种基于保局映射与主成分分析的图像分类方法 |
JP2018532441A (ja) * | 2015-08-04 | 2018-11-08 | シーメンス アクティエンゲゼルシャフト | 脳腫瘍を分類するための視覚表現学習 |
CN105787488B (zh) * | 2016-03-02 | 2019-04-30 | 浙江宇视科技有限公司 | 由全局向局部传递的图像特征提取方法及装置 |
CN105868760A (zh) * | 2016-03-11 | 2016-08-17 | 信阳农林学院 | 模式识别方法及*** |
CN106096660B (zh) * | 2016-06-22 | 2019-04-30 | 东南大学 | 基于独立成分分析算法的卷积神经网络 |
CN106650574A (zh) * | 2016-09-19 | 2017-05-10 | 电子科技大学 | 基于PCANet的人脸识别方法 |
CN106485279A (zh) * | 2016-10-13 | 2017-03-08 | 东南大学 | 一种基于Zernike矩网络的图像分类方法 |
CN106778554A (zh) * | 2016-12-01 | 2017-05-31 | 广西师范大学 | 基于联合特征PCANet的宫颈细胞图像识别方法 |
CN106650696B (zh) * | 2016-12-30 | 2019-12-10 | 山东大学 | 一种基于奇异值分解的手写电气元件符号识别方法 |
US10713563B2 (en) * | 2017-11-27 | 2020-07-14 | Technische Universiteit Eindhoven | Object recognition using a convolutional neural network trained by principal component analysis and repeated spectral clustering |
CN109165160A (zh) * | 2018-08-28 | 2019-01-08 | 北京理工大学 | 基于核主成分分析算法的软件缺陷预测模型设计方法 |
CN110503149B (zh) * | 2019-08-26 | 2022-06-14 | 咪咕文化科技有限公司 | 一种图像中局部特征分类方法及*** |
CN111222559B (zh) * | 2019-12-31 | 2023-03-31 | 深圳大学 | 对小样本图像进行分类的主成分分析网络的训练方法 |
CN111488905B (zh) * | 2020-03-05 | 2023-07-14 | 浙江工业大学 | 基于高维PCANet的鲁棒图像识别方法 |
CN112488205B (zh) * | 2020-11-30 | 2023-04-07 | 桂林电子科技大学 | 基于优化kpca算法的神经网络图像分类识别方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102208034A (zh) * | 2011-07-16 | 2011-10-05 | 西安电子科技大学 | 基于半监督维数约减的高光谱图像分类方法 |
CN104268593A (zh) * | 2014-09-22 | 2015-01-07 | 华东交通大学 | 一种小样本情况下多稀疏表示的人脸识别方法 |
-
2015
- 2015-01-23 CN CN201510037296.9A patent/CN104573729B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102208034A (zh) * | 2011-07-16 | 2011-10-05 | 西安电子科技大学 | 基于半监督维数约减的高光谱图像分类方法 |
CN104268593A (zh) * | 2014-09-22 | 2015-01-07 | 华东交通大学 | 一种小样本情况下多稀疏表示的人脸识别方法 |
Non-Patent Citations (5)
Title |
---|
Face Recognition Using Kernel Principal Component Analysis;Kwang In Kim等;《IEEE SIGNAL PROCESSING LETTERS》;20020228;第9卷(第2期);第40-42页 * |
Kernel Principal Component Analysis and Support Vector Machines for Stock Price Prediction;Huseyin Ince等;《ResearchGate》;20070331;第2053-2058页 * |
Penalized Preimage Learning in Kernel Principal Component Analysis;Wei-Shi Zheng等;《IEEE TRANSACTIONS ON NEURAL NETWORK》;20100430;第21卷(第4期);第551-570页 * |
基于局部特征核主成分分析的SAR图像识别方法;张静等;《宇航学报》;20080531;第29卷(第3期);第995-1001页 * |
基于核主成分分析的图像去噪;贾亚琼;《科学技术与工程》;20091031;第9卷(第19期);第5667-5671页 * |
Also Published As
Publication number | Publication date |
---|---|
CN104573729A (zh) | 2015-04-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104573729B (zh) | 一种基于核主成分分析网络的图像分类方法 | |
Yang et al. | A feature-reduction multi-view k-means clustering algorithm | |
Makantasis et al. | Tensor-based classification models for hyperspectral data analysis | |
CN105354595B (zh) | 一种鲁棒视觉图像分类方法及*** | |
CN103093235B (zh) | 一种基于改进距离核主成分分析的手写体数字识别方法 | |
Metre et al. | An overview of the research on texture based plant leaf classification | |
CN104123560B (zh) | 基于相位编码特征和多度量学习的模糊人脸图像验证方法 | |
CN111090764B (zh) | 基于多任务学习和图卷积神经网络的影像分类方法及装置 | |
CN104281835B (zh) | 基于局部敏感的核稀疏表示的人脸识别方法 | |
CN107977651B (zh) | 基于量化最小误差熵的共用空间模式空域特征提取方法 | |
CN107292225B (zh) | 一种人脸识别方法 | |
Keivani et al. | Automated analysis of leaf shape, texture, and color features for plant classification. | |
CN107194437B (zh) | 基于Gist特征提取与概念机递归神经网络的图像分类方法 | |
Puthenputhussery et al. | A sparse representation model using the complete marginal fisher analysis framework and its applications to visual recognition | |
CN108985161B (zh) | 一种基于拉普拉斯正则化的低秩稀疏表征图像特征学习方法 | |
CN109063555B (zh) | 基于低秩分解和稀疏表示残差对比的多姿态人脸识别方法 | |
Lin et al. | Determination of the varieties of rice kernels based on machine vision and deep learning technology | |
Zhang et al. | Robust tensor decomposition for image representation based on generalized correntropy | |
Couto et al. | Texture characterization via deterministic walks’ direction histogram applied to a complex network-based image transformation | |
Raj et al. | Object detection in live streaming video using deep learning approach | |
Khunratchasana et al. | Thai digit handwriting image classification with convolutional neural networks | |
Chen et al. | Spectral-spatial classification based on affinity scoring for hyperspectral imagery | |
CN103745232B (zh) | 基于波段迁移的高光谱图像聚类方法 | |
CN107563287B (zh) | 人脸识别方法和装置 | |
Khavalko et al. | Classification and Recognition of Medical Images Based on the SGTM Neuroparadigm. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |