CN105550712B - 基于优化卷积自动编码网络的极光图像分类方法 - Google Patents

Abstract

本发明公开了基于优化卷积自动编码网络的极光图像分类方法，主要解决现有技术对极光图像分类准确率较低的问题。其实现步骤为：1.求极光图像显著图并基于其显著图提取训练样本；2.对训练样本进行白化预处理；3.训练自动编码网络AE；4.利用训练好的自动编码网络求极光图像的卷积自编码特征；5.将极光图像的卷积自编码特征进行平均池化；6.将池化后的卷积自编码特征输入到softmax分类器，实现对极光图像的分类。本发明能实现对四类极光图像的计算机自动分类，且具有分类准确率高的优点。可用于图像的场景分类与目标识别。

Description

基于优化卷积自动编码网络的极光图像分类方法

技术领域

本发明属于图像处理技术领域，更进一步涉及极光图像的分类方法，可用于图像的场景分类与目标识别。

背景技术

极光是各种磁层动力学过程最为直观的电离层踪迹，中国北极黄河站的全天空成像***All-sky Camera同时对极光的三个典型谱段427.8nm，557.7nm和630.0nm进行连续观测，产生数以万计的极光图像，数据量巨大。合理有效的极光图像分类对研究各类极光现象及其与磁层动力学过程之间的关系尤为重要。

早期的极光分类研究以肉眼观察为基础，手工实现标记和分类工作，然而极光图像每年数以百万计，人工进行分类标记的方式已经不再满足对大规模数据进行客观分类的要求。直到2004年在文献“M.T.,and Donovan E.F.,Diurnal auroraloccurrence statistics obtained via machine vision.Annales Geophysicae,22(4):1103-1113,2004.”中才将图像处理技术引入到极光图像自动分类。Wang等人于2007年在文章“Wang Qian,Liang Jimin,Hu ZeJun,Hu HaiHong,Zhao Heng,Hu HongQiao,Gao Xinbo,Yang Huigen.Spatial texture based automatic classification of dayside aurorain all-sky images.Journal of Atmospheric and Solar-Terrestrial Physics,2010,72(5):498–508.”中使用主成分分析法PCA对极光图像的灰度特征进行提取，提出了一种基于表象的极光分类方法，在冕状极光分类研究方向取得了一定进展；2008年，Gao等人发表文章“L.Gao,X.B.Gao,and J.M.Liang.Dayside corona autora detection based onsample selection and adaBoost algorithm.J.I mage Graph,2010,15(1):116-121.”，提出基于Gabor变换的极光图像分类方法，采用了局部Gabor滤波器提取图像特征，在确保计算精度的情况下降低了特征冗余信息，取得了较好的分类效果；2009年，Fu等人在文章“Fu Ru,Jie Li and X.B.Gao..Automatic aurora images classification algorithmbased on separated texture.Proc.Int.Conf.Robotics and Biomimetics,2009:1331-1335.”中将形态学成分分析(MCA)与极光图像处理相结合，从经过MCA分离后所得到的极光纹理子图中提取特征，用于弧冕两类极光图像的分类，提高了弧冕极光分类的正确率。后续的相关研究还有：Han等人在文章“Bing Han,Xiaojing Zhao,Dacheng Tao,et al.Daysideaurora classification via BIFs-based sparse representation using manifoldlearning.International Journal of Computer Mathematics.Published online:12Nov2013.”中又提出基于BIFs特征和C均值分类的极光分类法；Yang等人在文章“Yang Xi,LiJie,Han Bing,Gao Xinbo.Wavelet hierarchical model for aurora imagesclassification.Journal of Xidian University,2013,40(2):18-24.”中提出多层小波变换来表示极光图像特征，取得了较高的分类准确率；2013年，Han等人在文章“Han B,YangC,Gao XB.Aurora image classification based on LDA combining with saliencyinformation.RuanJian Xue Bao/Journal of Software,2013,24(11):2758-2766.”中引入隐含狄利克雷分布模型LDA，并结合图像显著性信息，又进一步提高了极光图像的分类准确率。

但是，现有的极光图像处理算法都是基于浅层特征的，特征表征能力和分类准确率都受到了极大的限制。文章“A.Krizhevsky,I.Sutskever,and G.Hinton.ImageNetclassification with deep convolutional neural networks.In NIPS,2012.”提出卷积神经网络，其出色的图像特征提取能力在学术界持续升温，其应用在极光图像特征提取上的巨大潜力值得深入研究。

但是，将深度卷积网络直接用于极光图像的特征提取仍存在以下几个问题：首先是由于极光图像中存在许多完全没有任何信息的全黑部分，现有深度学习算法对于这部分冗余没有处理方法；其次由于训练样本数限制，现有深度卷积网络技术对极光图像的分类准确率不高；第三，深度卷积网络训练耗时严重。

发明内容

本发明的目的在于针对上述现有技术存在的不足，提出一种基于优化卷积自动编码网络的极光图像分类方法，以快速完成网络训练，提高分类正确率。

实现本发明上述目的的技术方案是：对极光图像进行显著性分析，基于极光显著图提取用于训练自动编码网络AE的训练样本，然后用训练好的自动编码网络特征提取极光图像的卷积自编码特征，并利用平均池化对卷积自编码特征进行约减，最后通过softmax分类器实现对极光图像的分类。其实现步骤包括如下：

(1)输入极光图像，根据极光图像显著图提取共100000个训练像素块，组成训练像素块集P_8×8×100000；

(2)对训练像素块集P_8×8×100000进行白化预处理，得到白化后的训练样本集x_PCAwhite；

(3)利用白化后的训练样本集x_PCAwhite，训练自动编码网络AE：

3a)将训练样本集表示为x_PCAwhite＝{xp⁽¹⁾,xp⁽²⁾,xp⁽³⁾,...,xp⁽ⁱ⁾,...,xp^(m)}，其中xp⁽ⁱ⁾表示第i个训练样本，xp⁽ⁱ⁾∈R⁶⁴，i＝1,2,...,m，m表示训练样本数；根据训练样本xp⁽ⁱ⁾求自动编码网络AE隐含层第j个神经元的平均活跃度：

其中，j＝1,2,...,n，n表示隐含层节点数，a_W,b(xp⁽ⁱ⁾)表示当输入为xp⁽ⁱ⁾时自动编码网络AE隐含层第j个神经元的激活度，(W,b)＝(W⁽¹⁾,b⁽¹⁾,W⁽²⁾,b⁽²⁾)表示自动编码网络AE的参数，其中，W⁽¹⁾表示输入层节点到隐含层节点的权重，W⁽²⁾表示隐含层节点到输出层节点的权重，b⁽¹⁾表示输入层节点到隐含层节点的偏置，b⁽²⁾表示隐含层节点到输出层节点的偏置；

3b)根据反向传播BP训练法原理，用自动编码网络AE的参数(W,b)和隐含层平均活跃度构造一个稀疏的代价函数J_sparse(W,b)：

式中，h_W,b(·)表示非线性的自动编码网络AE函数，表示以ρ为均值和以为均值的两个伯努利随机变量之间的相对熵，λ₁和λ₂分别表示隐含层和输出层的权重衰减参数，ρ表示稀疏度系数，其取值为一个小于0.1的常数；

3c)通过最小化代价函数J_sparse(W,b)得到优化后的自动编码网络AE的参数(W_opt,b_opt)：

其中，表示优化后输入层的第q个节点到隐含层的第j个节点的权重，表示优化后隐含层第j个节点到隐含层到输出层第k个节点的权重，表示优化后输入层节点到隐含层第j个节点的偏置，表示优化后隐含层节点到第k个节点的偏置，q＝k＝1,2,...,64，64表示输入层节点数，且输出层节点数等于输入层节点数，j＝1,2,...,n，n表示隐含层节点数；

(4)用优化后输入层的第q个节点到隐含层的第j个节点的权重求极光图像I的卷积自编码特征Fr；

(5)将极光图像I的卷积自编码特征Fr进行平均池化操作，即将卷积自编码特征Fr平均划分为11×11大小的块，将每块都合并为一个平均值，然后将这些平均值重新组合得到池化特征F∈R^11×11×n；

(6)将极光图像的池化特征F输入到softmax分类器，得到一个类别标签，即为该极光图像的类别。

本发明与现有技术相比具有如下优点：

第一，本发明利用图像显著图进行训练样本的优选，有效去除了无效训练样本，提高了网络训练效率，同时提高了模型对极光图像的分类准确率；

第二，发明选用自动编码网络AE预训练卷积滤波器，构建卷积网络，有效克服了极光图像训练样本不足导致的分类准确率较低问题。

附图说明

图1是本发明的实现流程图；

图2是本发明对极光图像显著图、显著图二值化和提取训练片段结果图；

图3是本发明通过训练自动编码网络AE得到的部分卷积滤波器；

图4是本发明中自动编码网络AE隐含层节点数不同时对应的分类准确率和分类时间对比图；

图5是本发明自动编码网络AE隐含层稀疏度对分类准确率的影响图。

具体实施方式

下面结合附图对本发明的实现步骤和技术效果做进一步的详细描述。

参照图1，本发明的实现步骤如下：

步骤1，输入极光图像，提取训练像素块集P_8×8×100000。

1.1)输入一幅如图2(a)所示的极光图像，获取该图像中的每一个像素点I(x,y),的亮度特征L(x,y)、梯度特征H(x,y)以及边缘二值化特征B(x,y)，并将这三种特征融合，得到极光图像像素点I(x,y)的显著性信息值S(x,y)：

S(x,y)＝L(x,y)+H(x,y)+B(x,y)；

将极光图像所有点的显著性信息值S(x,y)组成如图2(b)所示的极光图像显著图S；

1.2)对图像显著图S进行二值化操作，得到如图2(c)的二值化显著图S₁；

1.3)随机在二值化显著图S₁上提取8×8大小的训练像素块ps_8×8，判断该像素块的值：如果像素块ps_8×8中的1值所占比例大于0.8，则提取原图像I在该位置的像素块p_8×8；如果像素块ps_8×8中1值所占比例小于等于0.8，则不作处理；

1.4)按照1.3)的方法，提取极光图像共100000个训练像素块，组成训练像素块集P_8×8×100000。

步骤2，对训练像素块集P_8×8×100000进行白化预处理，求取白化后的训练样本集x_PCAwhite。

白化预处理技术包括：PCA白化、ZCA白化和谱白化等。本实例采用的是ZCA白化方法，其具体操作步骤描述如下：

2.1)将训练像素块集P_8×8×100000进行矩阵形变，得到形变矩阵：x∈R^64×100000；

2.2)求x的协方差矩阵：

其中，m＝100000表示训练样本数，x⁽ⁱ⁾表示矩阵x的第i列；

2.3)对形变矩阵x进行SVD分解：x＝UφV，得到左基矩阵U和右基矩阵V，并将x在左基矩阵U方向表示为：x_rot＝U^Tx；

2.4)根据2.2)和2.3)得到训练样本集x_Pw:

其中，ε表示一个不为0的极小数，其取值为10^-5。

步骤3，利用训练样本集x_Pw，训练自动编码器。

3.1)将训练样本集表示为x_Pw＝{xp⁽¹⁾,xp⁽²⁾,xp⁽³⁾,...,xp⁽ⁱ⁾,...,xp^(m)}，其中xp⁽ⁱ⁾表示第i个训练样本，xp⁽ⁱ⁾∈R⁶⁴，m表示训练样本数；根据训练样本xp⁽ⁱ⁾求自动编码网络AE隐含层第j个神经元的平均活跃度

其中，j＝1,2,...,n，n表示隐含层节点数，a_W,b(xp⁽ⁱ⁾)表示当输入为xp⁽ⁱ⁾时自动编码网络AE隐含层第j个神经元的激活度，(W,b)＝(W⁽¹⁾,b⁽¹⁾,W⁽²⁾,b⁽²⁾)表示自动编码网络AE的参数，其中，W⁽¹⁾表示输入层节点到隐含层节点的权重，W⁽²⁾表示隐含层节点到输出层节点的权重，b⁽¹⁾表示输入层节点到隐含层节点的偏置，b⁽²⁾表示隐含层节点到输出层节点的偏置；

3.2)根据反向传播BP训练法原理，用自动编码网络AE的参数(W,b)和隐含层平均活跃度构造一个稀疏的代价函数J_sparse(W,b)：

式中，h_W,b(·)表示非线性的自动编码网络AE函数，表示以ρ为均值和以为均值的两个伯努利随机变量之间的相对熵，λ₁和λ₂分别表示隐含层和输出层的权重衰减参数，ρ表示稀疏度系数，其取值为一个小于0.1的常数；

3.3)通过最小化代价函数J_sparse(W,b)得到优化后的自动编码网络AE的网络参数(W_opt,b_opt)：

其中，表示优化后输入层的第q个节点到隐含层的第j个节点的权重，表示优化后隐含层第j个节点到隐含层到输出层第k个节点的权重，表示优化后输入层节点到隐含层第j个节点的偏置，表示优化后隐含层节点到第k个节点的偏置，q＝k＝1,2,...,64，64表示输入层节点数，且输出层节点数等于输入层节点数，j＝1,2,...,n，n表示隐含层节点数。

步骤4，求极光图像I的卷积自编码特征Fr。

4.1)用优化后输入层的第q个节点到隐含层的第j个节点的权重求隐含层第j个节点对应的训练像素块特征pf_j：

4.2)将训练像素块特征pf_j进行矩阵形变，得到训练像素块特征矩阵：f_j∈R^8×8；

4.3)将极光图像I与训练像素块特征矩阵f_j卷积，得到极光图像I的第j个卷积自编码特征Fr_j：

Fr_j＝I*f_j，

其中，I∈R^128×128，Fr_j∈R^121×121；

4.4)将n个卷积自编码特征Fr_j串联，得到极光图像I的卷积自编码特征：

Fr∈R^121×121×n。

步骤5，将极光图像I的卷积自编码特征Fr进行平均池化操作，即将卷积自编码特征Fr平均划分为11×11大小的块，将每块都合并为一个平均值，然后将这些平均值重新组合得到池化特征F∈R^11×11×n。

步骤6，将极光图像I的池化特征F输入到softmax分类器，得到一个类别标签，即为该极光图像I的类别。

本发明的效果可通过以下仿真实验进一步描述。

实验1：SCAE模型参数设置实验

实验条件：本发明用于实验的3200幅极光数据来自于中国北极黄河站，该数据库包含多弧状、辐射冕状、热点冕状和帷幔冕状极光图像各800幅。

实验内容1：设置不同的自动编码网络AE隐含层节点数n，使用本发明进行极光图像分类，结果如图3，其中图3(a)为分类准确率，图3(b)为训练耗时；

实验内容2：设置不同的自动编码网络AE隐含层稀疏度ρ，使用本发明进行极光图像分类，分类准确率结果如图4。

由图3可以看出，当隐含层节点数n＝400时，极光图像的分类准确率最高；隐含层节点数n越大，训练耗时越长。

由图4可以看出，当自动编码网络AE的隐含层稀疏度为0.03时，极光图像的分类准确率最高。

实验2：用不同模型对极光图像的分类准确率进行对比。

实验条件：本实验用到了实验1中的3200幅极光图像。

实验内容：分别使用现有的Le-net5方法、CAE方法，以及本发明所提出的S-CAE方法对极光图像进行分类，分类准确率结果如图5。

由图5可以看出，采用本发明所提出的S-CAE方法有效提高了极光图像的分类准确率。

Claims (4)

1.一种基于优化的卷积自编码网络的极光图像分类方法，包括如下步骤：

(1)输入极光图像I，求极光图像显著图并基于其显著图提取训练像素块ps_8×8，组成训练像素块集P_8×8×100000；

(2)对训练像素块集P_8×8×100000进行白化预处理，得到白化后的训练样本集

(3)利用白化后的训练样本集训练自动编码网络AE：

3a)将训练样本集表示为其中xp⁽ⁱ⁾表示第i个训练样本，xp⁽ⁱ⁾∈R⁶⁴，i＝1,2,...,m，m表示训练样本数；根据训练样本xp⁽ⁱ⁾求自动编码网络AE隐含层第j个神经元的平均活跃度：

其中，j＝1,2,...,n，n表示隐含层节点数，a_W,b(xp⁽ⁱ⁾)表示当输入为xp⁽ⁱ⁾时自动编码网络AE隐含层第j个神经元的激活度，(W,b)＝(W⁽¹⁾,b⁽¹⁾,W⁽²⁾,b⁽²⁾)表示自动编码网络AE的参数，其中，W⁽¹⁾表示输入层节点到隐含层节点的权重，W⁽²⁾表示隐含层节点到输出层节点的权重，b⁽¹⁾表示输入层节点到隐含层节点的偏置，b⁽²⁾表示隐含层节点到输出层节点的偏置；

3b)根据反向传播BP训练法原理，用自动编码网络AE的参数(W,b)和隐含层平均活跃度构造一个稀疏的代价函数J_sparse(W,b)：

式中，h_W,b(·)表示非线性的自动编码网络AE函数，表示以ρ为均值和以为均值的两个伯努利随机变量之间的相对熵，λ₁和λ₂分别表示隐含层和输出层的权重衰减参数，ρ表示稀疏度系数，其取值为一个小于0.1的常数；

3c)通过最小化代价函数J_sparse(W,b)得到优化后的自动编码网络AE的参数(W_opt,b_opt)：

其中，表示优化后输入层的第q个节点到隐含层的第j个节点的权重，表示优化后隐含层第j个节点到输出层第k个节点的权重，表示优化后输入层节点到隐含层第j个节点的偏置，表示优化后隐含层节点到输出层第k个节点的偏置，q＝k＝1,2,...,64，q和k分别表示输入层和输出层的节点数，且输出层节点数等于输入层节点数，均为64，j＝1,2,...,n，n表示隐含层节点数；

(4)用优化后输入层的第q个节点到隐含层的第j个节点的权重求极光图像I的卷积自编码特征Fr；

(5)将极光图像I的卷积自编码特征Fr进行平均池化操作，即将卷积自编码特征Fr平均划分为11×11大小的块，将每块都合并为一个平均值，然后将这些平均值重新组合得到池化特征F∈R^11×11×n；

(6)将极光图像I的池化特征F输入到softmax分类器，得到一个类别标签，即为该极光图像的类别。

2.根据权利要求1所述的方法，其中步骤(1)中求极光图像显著图并基于其显著图提取训练像素块ps_8×8，按如下步骤进行：

1a)对于任意一幅输入极光图像I的每一个像素点I(x,y),获取其亮度特征L(x,y)、梯度特征H(x,y)以及边缘二值化特征B(x,y)，并将这三种特征融合，得到极光图像像素点I(x,y)的显著性信息值：S(x,y)＝L(x,y)+H(x,y)+B(x,y)，再将极光图像所有点的显著性信息值S(x,y)组成极光图像显著图S；

1b)对图像显著图S进行二值化操作，得到二值化显著图S₁；

1c)随机在二值化显著图S₁上提取8×8大小的训练像素块ps_8×8，判断该像素块的值：如果像素块ps_8×8中的1值所占比例大于0.8，则提取极光图像I在该位置的像素块p_8×8；如果像素块ps_8×8中1值所占比例小于等于0.8，则不作处理。

3.根据权利要求1所述的方法，其中步骤(2)对训练像素块集P_8×8×100000进行白化预处理，按如下步骤进行：

2a)将训练像素块集P_8×8×100000进行矩阵形变，得到形变矩阵：x∈R^64×100000；

2b)求x的协方差矩阵：

其中，i＝1,2,...,m，m＝100000表示训练样本数，x⁽ⁱ⁾表示矩阵x的第i列；

2c)对形变矩阵x进行SVD分解：x＝UφV，得到左基矩阵U和右基矩阵V，并将x在左基矩阵U方向表示为：x_rot＝U^Tx；

2d)根据2b)和2c)得到训练样本集

其中，ε表示一个不为0的极小数，其取值为10^-5。

4.根据权利要求1所述的方法，其中步骤(4)求极光图像I的卷积自编码特征Fr，按如下步骤进行：

4a)用优化后输入层的第q个节点到隐含层的第j个节点的权重求隐含层第j个节点对应的训练像素块特征pf_j：

4b)将训练像素块特征pf_j进行矩阵形变，得到训练像素块特征矩阵：f_j∈R^8×8；

4c)将极光图像I与训练像素块特征矩阵f_j卷积，得到极光图像I的第j个卷积自编码特征Fr_j：

Fr_j＝I*f_j，

其中，I∈R^128×128，Fr_j∈R^121×121；

4d)将n个卷积自编码特征Fr_j串联，得到极光图像I的卷积自编码特征：

Fr∈R^121×121×n。