CN110738249A - 一种基于深度神经网络的极光图像聚类方法 - Google Patents

Abstract

本发明公开了一种基于深度神经网络的极光图像聚类方法，主要解决现有极光图像自动分类基本都是监督分类的问题。其实现步骤为：首先使用全部待聚类的极光图像预训练基于VGGNet16的深度卷积自编码器DCAE_VGG；然后使用训练好的DCAE_VGG提取极光图像的特征向量；最后使用由Siamese、SpectralNet和k均值聚类组成的聚类网络对特征向量进行聚类。本发明避免了现有极光图像分类方法需事先确定分类机制并人工标记部分样本的问题，具有效率高和适用性强的优点，可用于极光图像特征提取和海量极光图像聚类。

Description

一种基于深度神经网络的极光图像聚类方法

技术领域

本发明属于图像处理技术领域，涉及深度学习算法和图像的聚类方法，具体涉及一种基于深度神经网络的极光图像聚类方法，可用于大规模极光图像的聚类。

背景技术

极光是出现在地球南北极高纬地区的唯一肉眼可见的高空大气现象。它能直接反映出地球磁场变化和太阳活动之间的联系。因此，对极光图像进行有效分类，研究不同类型极光的发生规律，有助于深入挖掘地球磁层结构和了解太阳对地球的影响方式与程度。

早期的极光图像分类工作由科学家们肉眼观察，根据一定的分类机制标准进行手工标记。然而每年仅北极黄河站的极光图像数量就高达数百万级，传统的人工分类方法已无法满足对大量极光数据分析的需求。随着计算机技术的发展，图像处理和机器学习技术开始应用于极光图像分类的研究。2004年

等人在文献“

M T,Donovan EF.Diurnal auroral occurrence statistics obtained via machinevision.Ann.Geophys.,2004,22(4):1103-1113.”中将图像处理技术应用于极光图像自动分类中。2010年，Wang等人在文献“Wang Q,Liang J,Hu Z J,et al.Spatial texturebased automatic classification of dayside aurora in all-skyimages.J.Atmos.Sol.-Terr.Phys.,2010,72:498-508.”中提出基于空间纹理的表征方法表征极光图像的全局形状和局部纹理，对黄河站越冬观测的日侧极光图像进行分类。

2006年加拿大多伦多大学的Hinton教授在文献“Hinton G E,Osindero S,Teh YW.A fast learning algorithm for deep belief nets.Neural Comput.,2006,18:1527-1554.”提出“深度学习”的概念。直到2012年AlexNet在ImageNet的大规模视觉识别挑战赛(Large-Scale Visual Recognition Challenge)上取得冠军，从此深度卷积神经网络(DCNN)逐渐替代传统的机器学习方法。2018年，Clausen和Nickisch使用Inception-V4深度神经网络将极光图像分为无极光、云、月亮、弧状极光、弥散状极光和分立状极光6大类。近年来，虽然基于手工特征的极光研究方法仍在继续，但经典的手工特征已逐渐被深度卷积神经网络的中间特征层取代，并取得了比传统手工特征更优异的性能。

现有的基于深度学习技术的极光图像分类均为监督分类，需确定极光图像的分类机制并人工标记部分数据用于模型训练。然而，极光图像分类机制不统一，标记数据的工作量大且繁琐，人工标记难以保证标签的准确性和客观性。

发明内容

本发明针对上述基于深度学习技术的极光图像监督分类方法的不足，提出一种极光图像无监督聚类网络，该网络无需人工指定分类机制与数据标记，能自动对极光图像进行分类，大大提升了极光分类的效率。

为达到上述目的，本发明采用如下技术方案：

一种基于深度神经网络的极光图像聚类方法，包括以下步骤：

步骤1：使用全部待聚类的极光图像预训练基于VGGNet16的深度卷积自编码器DCAE_VGG；

步骤2：使用训练好的DCAE_VGG提取每幅极光图像的特征向量；

步骤3：使用由Siamese、SpectralNet和k均值聚类组成的聚类网络对特征向量进行聚类。

进一步地，步骤1具体包括：

步骤1.1：将VGGNet16与自编码器相结合搭建深度卷积自编码器DCAE_VGG模型结构；

步骤1.2：将待聚类的极光图像的尺寸调整为64*64并输入DCAE_VGG中，训练DCAE_VGG直至损失函数收敛，其中DCAE_VGG使用随机梯度下降法优化参数值，选用均方误差作为损失函数；

步骤1.3：保存DCAE_VGG的模型结构与模型参数。

进一步地，步骤1.1中DCAE_VGG模型结构由编码部分、隐藏层和解码部分构成，编码部分中保留VGGNet16的前五组神经网络及对应的池化层，用一个长度为512的全连接层替换原有的三个全连接层和softmax层；隐藏层为一个长度为10的全连接层，用于表征极光图像的低维特征向量；解码部分由一个长度为512的全连接层和四个反卷积层组成。

进一步地，步骤2具体为：调用保存好的DCAE_VGG的模型结构与模型参数，仅使用DCAE_VGG的编码部分与隐藏层部分的模型结构与参数，将待聚类的n幅极光图像输入DCAE_VGG的编码部分，通过DCAE_VGG的隐藏层获得这些图像的特征向量{x₁，x₂，...，x_n}。

进一步地，步骤3具体包括：

步骤3.1：通过构建正/负相似对训练集来训练Siamese网络，训练好的Siamese网络在步骤3.2中用于计算SpectralNet中的相似度矩阵W；

步骤3.2：训练SpectralNet，获得输入{x₁，x₂，...，x_n}对应的映射输出{y₁，y₂，...，y_n}，即y＝F_θ(x)，θ为SpectralNet的参数；

步骤3.3：对{y₁，y₂，...，y_n}使用k均值聚类法进行聚类，得到聚类结果。

进一步地，步骤3.1具体包括：

步骤3.1.1：通过计算两个特征向量的欧氏距离，为Siamese网络构建正/负相似对训练集，Siamese网络将每个点的k个最近邻点标记为正相似对，随机选择等量的非近邻点标记为负相似对，k的数值通过设置Siamese网络相似对的个数确定；

步骤3.1.2：训练Siamese网络，获得映射关系

其中θ_Siamese表示Siamese网络的参数。Siamese网络将每一个特征向量x_i映射为另一个空间中的z_i，在训练过程中通过最小化损失函数确定映射关系，Siamese网络的损失函数L_siamese定义为：

其中c为常数，Siamese网络训练完成后，在步骤3.2中使用||z_i-z_j||代替欧氏距离||x_i-x_j||来计算SpextralNet中的相似度矩阵W。

进一步地，步骤3.2具体包括：

步骤3.2.1：从全部极光图像的特征向量{x₁，x₂，...，x_n}中随机抽取一组数量为m的小批量特征样本{x₁，x₂，...，x_m}，这m个极光图像的特征样本通过SpectralNet的正交层后获得其对应的映射输出

步骤3.2.2：计算Cholesky分解因式

步骤3.2.3：设置SpectralNet正交层的权重为

步骤3.2.4：从全部极光图像的特征向量{x₁，x₂，...，x_n}中随机抽取一组数量为m的小批量特征样本{x₁，x₂，...，x_m}，将这m个极光图像的特征样本输入训练好的Siamese网络，得到输出为m×m的相似度矩阵W；

步骤3.2.5：将极光图像特征样本{x₁，x₂，...，x_m}输入SpectralNet，计算SpectralNet的损失函数L_SpectralNet(θ)，用其梯度来调整SpectralNet除正交层以外的其它层的权重，L_SpectralNet(θ)定义为：

步骤3.2.6：重复步骤3.2.1-步骤3.2.5，当损失函数L_SpectralNet(θ)收敛时，SpectralNet的参数及权重确定，SpectralNet训练完成；

步骤3.2.7：将待聚类的极光图像的特征向量{x₁，x₂，...，x_n}输入训练好的SpectralNet，即获得对应的映射输出{y₁，y₂，...，y_n}。

与现有技术相比，本发明具有以下有益的技术效果：

第一、学科交叉，本发明利用北极黄河站的日侧极光观测数据，借助计算机图像处理技术和深度学习技术对极光图像进行自动分类，首次将深度学习技术应用于极光图像聚类中，有助于进一步研究各类极光的产生机制。

第二、不依赖任何先验分类机制也无需人工标记数据，目前基于深度学习技术的极光图像分类均为监督分类，需根据先验分类机制人工标记部分数据用于模型训练。标记数据的工作量大且繁琐，且人工标记难以保证标签的客观性和准确性。本发明通过DCAE_VGG自主提取极光图像特征，使用由Siamese、SpectralNet和k均值聚类组成的聚类网络对极光图像进行无监督分类，解决了目前极光图像监督分类存在的问题，大大提高了极光图像分类的效率。

第三、探索极光图像的最优分类，目前并没有统一的极光分类机制，本发明通过深度神经网络提取极光图像的潜在特征，对极光图像进行无监督聚类，将形态相似度高的极光图像自动划分为一类。

附图说明

图1是本发明的实现流程图；

图2是本发明中基于VGGNet16的深度卷积自编码器DCAE_VGG网络结构示意图；

图3是DCAE_VGG提取的特征向量的可视化示意图；

图4是基于2类标记标签的极光发生时间分布图；

图5是基于2类聚类结果的极光发生时间分布图；

图6是聚类结果示例图。

具体实施方式

下面结合附图对本发明的实现步骤和技术效果做进一步的详细描述。

参照图1，本发明的实现步骤如下：

步骤1：使用全部待聚类的极光图像预训练基于VGGNet16的深度卷积自编码器DCAE_VGG。

1.1)将VGGNet16与自编码器相结合，搭建一个网络结构如图2所示的深度卷积自编码器DCAE_VGG。DCAE_VGG由编码部分、隐藏层(特征向量)和解码部分构成。编码部分中保留VGGNet16的前五组神经网络及对应的池化层，用一个长度为512的全连接层替换原有的三个全连接层和softmax层。隐藏层为一个长度为10的全连接层，用于表征极光图像的低维特征向量。解码部分由一个长度为512的全连接层和四个反卷积层组成。

1.2)将全部待聚类的极光图像的尺寸调整为64*64并输入DCAE_VGG中，训练DCAE_VGG直至损失函数收敛。DCAE_VGG使用随机梯度下降法优化参数值，选用均方误差作为损失函数。

1.3)保存DCAE_VGG的模型结构与模型参数。

步骤2：使用训练好的DCAE_VGG提取每幅极光图像的特征向量。调用保存好的DCAE_VGG的模型结构与模型参数，在提取特征向量时仅使用DCAE_VGG的编码部分与隐藏层部分的模型结构与模型参数。将全部待聚类的n幅极光图像输入DCAE_VGG的编码部分，通过DCAE_VGG的隐藏层获得这些图像的特征向量{x₁，x₂，...，x_n}。

步骤3：使用由Siamese、SpectralNet和k均值聚类组成的聚类网络对特征向量进行聚类。

3.1)通过构建正/负相似对训练集来训练Siamese网络，训练好的Siamese网络在步骤3.2中将用于计算SpectralNet中的相似度矩阵W：

3.1.1)通过计算两个特征向量的欧氏距离，为Siamese网络构建正/负相似对训练集，Siamese网络将每个点的k个最近邻点标记为正相似对，随机选择等量的非近邻点标记为负相似对，k的数值通过设置Siamese网络相似对的个数确定，实验中相似对的个数设置为3200。

3.1.2)训练Siamese网络，Siamese网络将每一个特征向量x_i映射为另一个空间中的z_i，映射关系为

θ_Siamese表示Siamese网络的参数。Siamese网络的网络结构大小为512-512-4，在训练过程中通过最小化损失函数来确定映射关系，Siamese网络的损失函数L_siamese定义为：

其中常数c设置为1。Siamese网络训练完成后，在步骤3.2中计算SpextralNet中的相似度矩阵W时，使用||z_i-z_j||代替欧氏距离||x_i-x_j||，其中

σ设置为25。

3.2)训练SpectralNet：

SpectralNet的网络结构大小为512-512-4，聚类簇的数目设置为2。通过SpectralNet得到输入{x₁，x₂，...，x_n}对应的映射输出{y₁，y₂，...，y_n}，即y＝F_θ(x)，θ为SpectralNet的参数。

3.2.1)从全部极光图像的特征向量{x₁，x₂，...，x_n}中随机抽取一组数量为m的小批量特征样本{x₁，x₂，...，x_m}，这m个极光图像的特征样本通过SpectralNet的正交层后将获得其对应的映射输出

3.2.2)计算Cholesky分解因式

3.2.3)设置SpectralNet正交层的权重为

3.2.4)从全部极光图像的特征向量{x₁，x₂，...，x_n}中随机抽取一组数量为m的小批量特征样本{x₁，x₂，...，x_m}，将这m个极光图像的特征样本输入训练好的Siamese网络，计算相似度矩阵W；

3.2.5)将极光图像特征样本{x₁，x₂，...，x_m}输入SpectralNet，计算SpectralNet的损失函数L_SpectralNet(θ)，用其梯度来调整SpectralNet除正交层以外的其它层的权重，L_SpectralNet(θ)定义为：

3.2.6)重复步骤3.2.1-3.2.5，当损失函数L_SpectralNet(θ)收敛时，SpectralNet的参数及权重确定，SpectralNet训练完成；

3.2.7)将待聚类的极光图像的特征向量{x₁，x₂，...，x_n}输入训练好的SpectralNet，即可获得对应的映射输出{y₁，y₂，...，y_n}。

3.3)对{y₁，y₂，...，y_n}使用k均值聚类法进行聚类，得到聚类结果。

本发明的效果可通过以下仿真实验进一步描述。

实验1：DCAE_VGG模型提取极光图像的特征向量。

实验条件：本发明将北极黄河站2003-2008年越冬观测采集的4000幅极光图像用于实验。

实验内容：使用4000幅极光图像训练本发明中的DCAE_VGG模型，训练完成后保存DCAE_VGG模型结构与模型参数。使用训练好的DCAE_VGG模型提取极光图像的特征向量，并通过t-SNE算法可视化特征向量，可视化结果如图3。

由图3可以看出，特征向量呈两个团簇分布，说明极光图像的潜在特征呈2类分布；此外，两组特征分离性好，说明DCAE_VGG提取到了极光图像的一种高区分性的表示。

实验2：用本发明将极光图像聚为2类。

实验条件：本实验用到了实验1获得的4000幅极光图像的特征向量。基于Hu等人在文献“Hu Z J,Yang H,Huang D,et al.Synoptic distribution of dayside aurora:Multiple-wavelength all-sky observation at Yellow River Station in Ny-

Svalbard.J.Atmos.Sol.-Terr.Phys.,2009,71:794-804.”中提出的北极黄河站日侧极光分类机制，该4000幅图像中包含了弧状、帷幔冕状、热点状、辐射冕状各1000幅。我们根据极光图像的形态特征，将这四类极光进一步两两合并为2类：将弧状极光图像与热点状极光图像混合标记为第一大类，帷幔冕状极光图像和辐射冕状极光图像混合标记为第二大类，分别记为类1和类2，并绘制基于2类标记标签的极光发生时间分布图，详见图4。

实验内容：参考实验1中特征向量的可视化结果，将4000幅极光图像使用本发明所提出的方法聚为2类。绘制基于2类聚类结果的极光发生时间分布图，详见图5。从聚类结果中每类随机挑选20幅极光图像进行逐帧对比，如图6所示。

对比图4与图5可以看到，极光发生时间分布的曲线走势基本一致。由聚类结果图5可见，聚类结果中第一类极光在午前午后呈现“双峰”分布，在正午附近发生很少；第二类极光则主要发生在午前及正午附近，在昏侧发生很少。由图6可见，聚为第一类的极光图像形态具有单弧、多弧状结构和亮斑状结构等特点，聚为第二类的极光图像形态则整体较灰暗，具有极光强度弱且均匀的特点。聚类结果中两类极光形态呈现出的低类间差异性和高类内相似性证明了本发明聚类方法的有效性。

Claims (7)

1.一种基于深度神经网络的极光图像聚类方法，其特征在于，包括以下步骤：

步骤1：使用全部待聚类的极光图像预训练基于VGGNet16的深度卷积自编码器DCAE_VGG；

步骤2：使用训练好的DCAE_VGG提取每幅极光图像的特征向量；

步骤3：使用由Siamese、SpectralNet和k均值聚类组成的聚类网络对特征向量进行聚类。

2.根据权利要求1所述的一种基于深度神经网络的极光图像聚类方法，其特征在于，步骤1具体包括：

步骤1.1：将VGGNet16与自编码器相结合搭建深度卷积自编码器DCAE_VGG模型结构；

步骤1.2：将待聚类的极光图像的尺寸调整为64*64并输入DCAE_VGG中，训练DCAE_VGG直至损失函数收敛，其中DCAE_VGG使用随机梯度下降法优化参数值，选用均方误差作为损失函数；

步骤1.3：保存DCAE_VGG的模型结构与模型参数。

3.根据权利要求2所述的一种基于深度神经网络的极光图像聚类方法，其特征在于，步骤1.1中DCAE_VGG模型结构由编码部分、隐藏层和解码部分构成，编码部分中保留VGGNet16的前五组神经网络及对应的池化层，用一个长度为512的全连接层替换原有的三个全连接层和softmax层；隐藏层为一个长度为10的全连接层，用于表征极光图像的低维特征向量；解码部分由一个长度为512的全连接层和四个反卷积层组成。

4.根据权利要求3所述的一种基于深度神经网络的极光图像聚类方法，其特征在于，步骤2具体为：调用保存好的DCAE_VGG的模型结构与模型参数，仅使用DCAE_VGG的编码部分与隐藏层部分的模型结构与参数，将待聚类的n幅极光图像输入DCAE_VGG的编码部分，通过DCAE_VGG的隐藏层获得这些图像的特征向量{x₁，x₂，...，x_n}。

5.根据权利要求4所述的一种基于深度神经网络的极光图像聚类方法，其特征在于，步骤3具体包括：

步骤3.1：通过构建正/负相似对训练集来训练Siamese网络，训练好的Siamese网络在步骤3.2中用于计算SpectralNet中的相似度矩阵W；

步骤3.2：训练SpectralNet，获得输入{x₁，x₂，...，x_n}对应的映射输出{y₁，y₂，...，y_n}，即y＝F_θ(x)，θ为SpectralNet的参数；

步骤3.3：对{y₁，y₂，...，y_n}使用k均值聚类法进行聚类，得到聚类结果。

6.根据权利要求5所述的一种基于深度神经网络的极光图像聚类方法，其特征在于，步骤3.1具体包括：

步骤3.1.1：通过计算两个特征向量的欧氏距离，为Siamese网络构建正/负相似对训练集，Siamese网络将每个点的k个最近邻点标记为正相似对，随机选择等量的非近邻点标记为负相似对，k的数值通过设置Siamese网络相似对的个数确定；

步骤3.1.2：训练Siamese网络，获得映射关系

其中θ_Siamese表示Siamese网络的参数，Siamese网络将每一个特征向量x_i映射为另一个空间中的z_i，在训练过程中通过最小化损失函数确定映射关系，Siamese网络的损失函数L_siamese定义为：

其中c为常数，Siamese网络训练完成后，在步骤3.2中使用||z_i-z_j||代替欧氏距离||x_i-x_j||来计算SpextralNet中的相似度矩阵W。

7.根据权利要求6所述的一种基于深度神经网络的极光图像聚类方法，其特征在于，步骤3.2具体包括：

步骤3.2.1：从全部极光图像的特征向量{x₁，x₂，...，x_n}中随机抽取一组数量为m的小批量特征样本{x₁，x₂，...，x_m}，这m个极光图像的特征样本通过SpectralNet的正交层后获得其对应的映射输出

步骤3.2.2：计算Cholesky分解因式

步骤3.2.3：设置SpectralNet正交层的权重为

步骤3.2.4：从全部极光图像的特征向量{x₁，x₂，...，x_n}中随机抽取一组数量为m的小批量特征样本{x₁，x₂，...，x_m}，将这m个极光图像的特征样本输入训练好的Siamese网络，得到输出为m×m的相似度矩阵W；

步骤3.2.5：将极光图像特征样本{x₁，x₂，...，x_m}输入SpectralNet，计算SpectralNet的损失函数L_SpectralNet(θ)，用其梯度来调整SpectralNet除正交层以外的其它层的权重，L_SpectralNet(θ)定义为：

步骤3.2.6：重复步骤3.2.1-步骤3.2.5，当损失函数L_SpectralNet(θ)收敛时，SpectralNet的参数及权重确定，SpectralNet训练完成；

步骤3.2.7：将待聚类的极光图像的特征向量{x₁，x₂，...，x_n}输入训练好的SpectralNet，即获得对应的映射输出{y₁，y₂，...，y_n}。

Images