CN110675382A - 基于CNN-LapsELM的铝电解过热度识别方法 - Google Patents

Abstract

本发明公开了一种基于CNN特征融合与半监督拉普拉斯极限学习机的铝电解过热度识别方法，所述方法包括：步骤1，收集铝电解实时生产数据，对收集到的数据进行归一化处理和标准化处理；步骤2，利用卷积神经网络(CNN)提取铝电解工业过程中火眼图像的深度特征；步骤3，将所述步骤2提取的火眼图像的深度特征与火眼图像的其他特征进行融合；步骤4，使用拉普拉斯正则化构造半监督极限学习机(LapsELM)作为分类器，根据火眼图像判断当前电解槽过热度的状态。

Description

基于CNN-LapsELM的铝电解过热度识别方法

技术领域

本发明涉及工业控制领域，尤其涉及一种基于CNN特征融合与半监督拉普拉斯极限学习机(CNN-LapsELM)的铝电解过热度识别方法。

背景技术

在铝电解工业过程中，过热度是评价电解槽性能的重要指标之一，它能反应电解槽当前的工作情况。然而，如何准确测量过热度是一个尚未解决的挑战。传统的人工测量方法容易受到多种因素的影响，如人工读数误差，测量仪器的精度。铝电解工业现场是一个高温，高湿，含有高浓度腐蚀性气体的环境，这种恶劣的环境也会影响手工测量的精度，造成测量仪器的损坏。

近些年来，随着深度学习的发展，卷积神经网络开始广泛应用于各个领域，如目标检测，图像识别，语音识别等。卷积神经网络能够自主提取图像的深度特征，由于深度特征不能全面反映图像包含的所有信息，仅仅根据深度特征对图像进行识别精度很低。极限学习机(ELM)是由黄广斌提出来的一种单隐层前馈神经网络，具有典型三层的神经网络结构：输入层、隐含层、输出层，与传统方法比较，极限学习机的训练过程耗时很短，根据人工经验随机设定输入权值和隐含层的偏置，只需求解一个最小二乘问题即可得到合适的输出权值。许多研究结果表明，极限学习机在分类问题上的效果比其他传统的分类器，如：支持向量机(SVM)，随机森林(Random forest)，决策树(Decision tree)。

为了改善传统手工测量过热度存在的准确率低，仪器损坏严重的缺点，可以提取铝电解工业现场采集到的火眼孔图像特征，根据特征判断过热度的状态，这样不仅节省了时间，同时也提高了过热度判断的准确率。但是，采集到的火眼孔图像大部分是无标签的，而利用人工对所有的火眼图像打标签时，不仅会造成人力物力的浪费，而且会存在人为误差。因此，根据半监督学***滑假设，引入拉普拉斯正则化项，构造拉普拉斯极限学习机(LapsELM)，LapsELM模型能充分利用采集的所有火眼图像。

发明内容

本专利的目的是为了充分利用铝电解工业过程中的无标签火眼图像，提出的一种新的基于CNN特征融合与半监督拉普拉斯极限学习机的过热度识别方法(CNN-LapsELM)。主要是通过CNN提取火眼图像的深度特征，同时，将图像的纹理特征，颜色特征和灰度特诊征进行融合，充分提取图像信息，然后利用LapsELM模型预测电解槽过热度的状态。

本发明旨在解决现有技术中存在的技术问题。为此，本发明公开了一种基于CNN特征融合与半监督拉普拉斯极限学习机的铝电解过热度识别方法，所述方法包括：

步骤1，收集铝电解实时生产数据，对收集到的数据进行归一化处理和标准化处理；

步骤2，利用卷积神经网络(CNN)提取铝电解工业过程中火眼图像的深度特征；

步骤3，将所述步骤2提取的火眼图像的深度特征与火眼图像的其他特征进行融合；

步骤4，使用拉普拉斯正则化构造半监督极限学习机(LapsELM)作为分类器，根据火眼图像判断当前电解槽过热度的状态。

更进一步地，所述其他特征包括：颜色特征，灰度特征，纹理特征。

更进一步地，所述使用拉普拉斯正则化的方法进一步包括：给定一个有标签的数据集和无标签的数据集

得到目标正则化函数：

其中，u_ij表示两个样本x_i和x_j之间的成对相似性；u_ij为高斯核函数计算：

u_ij＝exp(-||x_i-x_j||²/2σ²)或者固定为1；

公式(1)进一步转换成以下矩阵形式：

其中，tr(·)代表矩阵的行驶轨迹，L＝D-U是图拉普拉斯矩阵，D是一个对角矩阵，它的对角线元素为：

表示样本x的预测输出值。

更进一步地，所述极限学习机进一步包括：

映射函数为：

约束方程为：

其中，g(·)为一连续的激活函数，a为输入层到隐含层的输入权值，b为隐含层的偏置，β为隐含层到输出层的输出权值。

更进一步地，所述的激活函数通常使用高斯激活函数，sigmoid激活函数或者Tanh激活函数中的一种。

更进一步地，目标函数为一个二阶函数，表达式为：

其中，

是激活函数矩阵；在公式(5)中，第一项为防止过拟合的正则化项，第二项是误差函数项，C称为惩罚系数，对目标函数(5)求导寻找最小值以得到输出权值；

求导后的公式(5)为：

其中，输出权值存在两种情况：当训练样本的个数大于隐含层神经元结点时，即隐含矩阵是列满秩，

当训练样本个数小于隐含层神经元节点数时，即隐含层矩阵是行满秩，

更进一步地，用LapsELM进行过热度的分类，通过将拉普拉斯正则化约束带入所述目标函数，等式(5)可以重写成矩阵形式：

其中，

是一个增强的训练目标，它的前l行与Y_l相同，剩下的几行元素设置为0；C是一个(l+u)×(l+u)的对角矩阵，其的前l行的对角线元素为：[C]_ii＝C_i，剩余的对角线元素为0；通过将等式(7)的梯度设置为0，CNN-LapsELM模型的输出权值可以通过计算得到：

是一个n_n×n_h维的单位矩阵，当有标签的样本数据数量比隐含层节点数的数量少的时候，CNN-LapsELM模型的输出权值表达式为：

其中，I_l+u是一个(l+u)×(l+u)维的单位矩阵，

和是增强矩阵，它们分别与g和Y两个矩阵的前l行相等，剩余的u行元素都设置为0；λ为权衡参数，当它设置为0时，CNN-LapsELM模型的输出权值表达式就装换成传统的ELM模型的输出权值，权衡参数的选择是根据验证数据集的误差，从{e^x|x＝-7,-6,…,2,3}的指数序列中选择最合适的数值。

更进一步地，所述步骤1进一步包括：对火眼图像进行预处理,使用自适应均值滤波算法去除原始火眼图像上的噪声点，并从整个图像中提取火眼孔区域的边缘。

更进一步地，所述火眼图像的预处理进一步包括：将火眼图像分割成了多个非重叠的子区域，并计算图像的三种表观特征：纹理特征、颜色特征、灰度特征，其中，纹理特征包括图像的熵、能量；颜色特征主要是火眼图像彩色直方图的平均值，标准偏差，像素峰值；灰度特征是火眼图像的平均灰度值，角点特征，直方图灰度峰值。更进一步地，利用CNN提取深度特征，并从火眼图像中提取颜色特征和灰度特征，通过LapsELM对所述火眼图像其进行过热度的分类，融合后的特征构成一个融合特征矩阵：

M_fusion＝[M_deep,M_texture，M_color，M_gray]

其中，M_deep表示CNN提取的深度特征，M_color表示颜色特征矩阵，M_texture表示纹理特征矩阵，M_gray表示从火眼图像提取的灰度矩阵。

附图说明

从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在图中，在不同的视图中，相同的附图标记指定对应的部分。

图1为本发明对火眼图像处理的过程中的火眼图像示意图，其中(a)是原始火眼图像，(b)是子区域分割图像，(c)是灰度化的火眼图像；

图2为本发明一种基于CNN特征融合与半监督拉普拉斯极限学习机的铝电解过热度识别方法中的CNN-LapsELM算法的流程图；

图3为本发明中有标记的和无标记的火眼图像性能比较图，其中，M₁表示颜色特特征，M₂表示纹理特征，M₃代表灰度特征；

图4为本发明对不同算法的评价指标比较直方图。

具体实施方式

为了让本发明的内容和目的更加明确、清晰。下面将对基于CNN特征融合与半监督拉普拉斯极限学习机的铝电解过热度识别方法的具体实施方式做一个详细的介绍。

实施例一

1.数据集的描述和预处理

在铝电解工业过程中，火眼图像是由操作员利用工业相机设备收集到的。受到工业环境和物理设备的影响，采集到的火眼图像中存在一些噪声和干扰。因此，对火眼图像进行预处理是至关重要的。在这里，使用自适应均值滤波算法去除原始火眼图像上的噪声点，以排除噪声对过热度状态分类产生的影响。此外，由于采集的火眼图像中，并不全都是火眼部分，为了避免其他部分对识别结果产生干扰，提高火眼图像处理效率，减少CNN提取特征时的内存负担，需要对火眼图像进行预处理，从整个图像中提取火眼孔的边缘。

实验使用1200张图像，其中，200个是有标签的数据，剩余的是无标签的数据。所有有标签的数据都是由经验丰富的专家或者专业的操作员进行标记，已确保标签的正确性。随机选取100个有标签的数据和1000个无标签的火眼图像用作训练数据集，剩余的100个有标签的数据作为测试数据集，采用四折交叉验证法进行CNN-LapsELM实验。

2.特征计算

火眼图像经过预处理能够得到更加清晰的增强灰度图像，从而减少模型训练过程中特征提取的计算负担，这里将火眼图像分割成了多个非重叠的子区域，更利于图像特征的提取，计算图像的三种表观特征：纹理特征、颜色特征、灰度特征。纹理特征包括图像的熵、能量；颜色特征主要是火眼图像彩色直方图的平均值，标准偏差，像素峰值；灰度特征是火眼图像的平均灰度值，角点特征，直方图灰度峰值，具体的细节如表1所示。

CNN用来提取图像的深度特征，其是归一化后的48×48维的火眼图像，最后从火眼图像提取256维的深度特征矩阵。

表1火眼图像提取的特征类型

3.特征融合

基于CNN-LapsELM的过热度识别方法，它的主要思想是利用CNN提取深度特征，并从火眼图像中提取颜色特征和灰度特征，然后利用LapsELM对其进行过热度的分类。融合后的特征构成一个融合特征矩阵：

M_fusion＝[M_deep,M_texture，M_color，M_gray]

其中，M_deep表示CNN提取的深度特征，M_color表示颜色特征矩阵，M_texture表示纹理特征矩阵，M_gray表示从火眼图像提取的灰度矩阵。

实施例二

1.拉普拉斯正则化：

通常，用少量有标签的训练样本集训练出来的模型识别准确率达不到期望值。为了解决有标签训练样本少问题，提高模型性能而提出了半监督的学习方法，给定一个有标签的数据集

和无标签的数据集

则基于拉普拉斯半监督学习的方法能充分提取所有可用数据中包含的几何信息分布，半监督的学习方法基于以下两个基本假设：

(1)所有有标签X_l和无标签的数据X_u都是从相同的边缘分布提取出来的。

(2)如果两个样本点x₁和x₂，分布彼此很接近，那么对应的条件概率P(y|x₁)和P(y|x₂)应该是很相似的。

利用这两个假设，可以得到目标正则化函数：

这里u_ij表示两个样本x_i和x_j之间的成对相似性。通常，u_ij由高斯核函数计算：u_ij＝exp(-||x_i-x_j||²/2σ²)或者直接固定为1。根据相关研究，(1)可以转换成以下矩阵形式：

tr(·)代表矩阵的行驶轨迹。L＝D-U是图拉普拉斯矩阵，D是一个对角矩阵，它的对角线元素为：

表示样本x的预测输出值。

2.极限学习机

极限学习机是由黄广斌提出来一种高效的计算单隐层前馈神经网络的方法，通常极限学习机的映射函数为：

它的约束方程为：

可以用一个连续激活函数g(·)保证它的全局逼近能力。

通常，极限学习机的训练过程包括两个阶段，第一个阶段是给出一个连续的激活函数g(·)和输入层到隐含层的输入权值a，隐含层的偏置b，其中最常用的激活函数是高斯激活函数，sigmoid激活函数，Tanh激活函数。第二个阶段是求解隐含层到输出层的输出权值β。在ELM理论中，其目标函数通常是一个二阶函数，表达式为：

其中，

是激活函数矩阵。在等式(5)中，第一项是正则化项，主要作用是防止过拟合，第二项是误差函数项，C称为惩罚系数。通过对目标函数(5)求导寻找最小值，可以得到输出权值。求导后的等式(5)为：

输出权值存在两种情况：当训练样本的个数大于隐含层神经元结点时，即隐含矩阵是列满秩，当训练样本个数小于隐含层神经元节点数时，即隐含层矩阵是行满秩，

3.CNN-LapsELM

基于卷积神经网络特征融合与半监督拉普拉斯极限学习机的铝电解过热度识别方法，其思想主要是使用CNN提取图像的深度特征，将深度特征与其他表观特征相融合，然后用LapsELM进行过热度的分类，。通过将拉普拉斯正则化约束带入目标函数，等式(5)可以重写成矩阵形式：

其中，是一个增强的训练目标，它的前l行与Y_l相同，剩下的几行元素设置为0。C是一个(l+u)×(l+u)的对角矩阵，其的前l行的对角线元素为：[C]_ii＝C_i，剩余的对角线元素为0。通过将等式(7)的梯度设置为0，CNN-LapsELM模型的输出权值可以通过计算得到：

是一个n_n×n_h维的单位矩阵，当有标签的样本数据数量比隐含层节点数的数量少的时候，CNN-LapsELM模型的输出权值表达式为：

其中，I_l+u是一个(l+u)×(l+u)维的单位矩阵，

和

是增强矩阵，它们分别与g和Y两个矩阵的前l行相等，剩余的u行元素都设置为0。λ称为权衡参数，当它设置为0时，CNN-LapsELM模型的输出权值表达式就装换成传统的ELM模型的输出权值。权衡参数的选择是根据验证数据集的误差，从{e^x|x＝-7,-6,…,2,3}的指数序列中选择最合适的参数。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

虽然上面已经参考各种实施例描述了本发明，但是应当理解，在不脱离本发明的范围的情况下，可以进行许多改变和修改。因此，其旨在上述详细描述被认为是例示性的而非限制性的，并且应当理解，以下权利要求(包括所有等同物)旨在限定本发明的精神和范围。以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (10)

1.一种基于CNN特征融合与半监督拉普拉斯极限学习机的铝电解过热度识别方法，其特征在于，所述方法包括：

步骤1，收集铝电解实时生产数据，对收集到的数据进行归一化处理和标准化处理；

步骤2，利用卷积神经网络(CNN)提取铝电解工业过程中火眼图像的深度特征；

步骤3，将所述步骤2提取的火眼图像的深度特征与火眼图像的其他特征进行融合；

步骤4，使用拉普拉斯正则化构造半监督极限学习机(LapsELM)作为分类器，根据火眼图像判断当前电解槽过热度的状态。

2.如权利要求1所述的方法，其特征在于，所述其他特征包括：颜色特征，灰度特征，纹理特征。

3.如权利要求1所述的方法，其特征在于，所述使用拉普拉斯正则化的方法进一步包括：给定一个有标签的数据集

和无标签的数据集

得到目标正则化函数：

其中，u_ij表示两个样本x_i和x_j之间的成对相似性；u_ij为高斯核函数计算：u_ij＝exp(-||x_i-x_j||²/2σ²)或者固定为1；

公式(1)进一步转换成以下矩阵形式：

其中，tr(·)代表矩阵的行驶轨迹，L＝D-U是图拉普拉斯矩阵，D是一个对角矩阵，它的对角线元素为：

表示样本x的预测输出值。

4.如权利要求1所述的方法，其特征在于，所述极限学习机进一步包括：

映射函数为：

约束方程为：

其中，g(·)为一连续的激活函数，a为输入层到隐含层的输入权值，b为隐含层的偏置，β为隐含层到输出层的输出权值。

5.如权利要求4所述的方法，其特征在于，所述激活函数为高斯激活函数，sigmoid激活函数，或者Tanh激活函数中的一种。

6.如权利要求4所述的方法，其特征在于，目标函数为一个二阶函数，表达式为：

其中，

是激活函数矩阵；在公式(5)中，第一项为防止过拟合的正则化项，第二项是误差函数项，C称为惩罚系数，对目标函数(5)求导寻找最小值以得到输出权值；

求导后的公式(5)为：

▽Γ_ELM＝β+Cg^T(Y-gβ)＝0 (6)

其中，输出权值存在两种情况：当训练样本的个数大于隐含层神经元结点时，即隐含矩阵是列满秩，

当训练样本个数小于隐含层神经元节点数时，即隐含层矩阵是行满秩，

7.如权利要求1所述的方法，其特征在于，用LapsELM进行过热度的分类，通过将拉普拉斯正则化约束带入所述目标函数，等式(5)可以重写成矩阵形式：

其中，

是一个增强的训练目标，它的前l行与Y_l相同，剩下的几行元素设置为0；C是一个(l+u)×(l+u)的对角矩阵，其的前l行的对角线元素为：[C]_ii＝C_i，剩余的对角线元素为0；通过将等式(7)的梯度设置为0，CNN-LapsELM模型的输出权值可以通过计算得到：

是一个n_n×n_h维的单位矩阵，当有标签的样本数据数量比隐含层节点数的数量少的时候，CNN-LapsELM模型的输出权值表达式为：

其中，I_l+u是一个(l+u)×(l+u)维的单位矩阵，

和

是增强矩阵，它们分别与g和Y两个矩阵的前l行相等，剩余的u行元素都设置为0；λ为权衡参数，当它设置为0时，CNN-LapsELM模型的输出权值表达式就装换成传统的ELM模型的输出权值，权衡参数的选择是根据验证数据集的误差，从{e^x|x＝-7,-6,…,2,3}的指数序列中选择最合适的参数。

8.如权利要求1所述的方法，其特征在于，所述步骤1进一步包括：对火眼图像进行预处理,使用自适应均值滤波算法去除原始火眼图像上的噪声点，并从整个图像中提取火眼孔的边缘。

9.如权利要求8所述的方法，其特征在于，所述火眼图像的预处理进一步包括：将火眼图像分割成了多个非重叠的子区域，并计算图像的三种表观特征：纹理特征、颜色特征、灰度特征，其中，纹理特征包括图像的熵、能量；颜色特征主要是火眼图像彩色直方图的平均值，标准偏差，像素峰值；灰度特征是火眼图像的平均灰度值，角点特征，直方图灰度峰值。

10.如权利要求1-9中任一项所述的方法，其特征在于，所述步骤3进一步包括：利用CNN提取深度特征，并从火眼图像中提取颜色特征、灰度特征以及纹理特征，通过LapsELM对所述火眼图像其进行过热度的分类，融合后的特征构成一个融合特征矩阵：

M_fusion＝[M_deep,M_texture，M_color，M_gray]

其中，M_deep表示CNN提取的深度特征，M_color表示颜色特征矩阵，M_texture表示纹理特征矩阵，M_gray表示从火眼图像提取的灰度矩阵。

Images