CN110837886A - 一种基于elm-sl0神经网络的出水nh4-n软测量方法 - Google Patents

一种基于elm-sl0神经网络的出水nh4-n软测量方法 Download PDF

Info

Publication number
CN110837886A
CN110837886A CN201911030774.8A CN201911030774A CN110837886A CN 110837886 A CN110837886 A CN 110837886A CN 201911030774 A CN201911030774 A CN 201911030774A CN 110837886 A CN110837886 A CN 110837886A
Authority
CN
China
Prior art keywords
network
output
weight
input
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911030774.8A
Other languages
English (en)
Inventor
杨翠丽
聂凯哲
乔俊飞
武战红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201911030774.8A priority Critical patent/CN110837886A/zh
Publication of CN110837886A publication Critical patent/CN110837886A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)

Abstract

本发明公开了一种基于ELM‑SL0神经网络的出水NH4‑N软测量方法，属于水处理和智能信息控制领域。本方法主要操作流程如下：首先将L0正则化惩罚项添加到传统误差函数使不重要权值逼近于0，然后利用批量梯度下降算法对改进的误差函数进行更新以实现网络的训练和修剪。以上步骤构成的基于神经网络的出水NH4‑N软测量方法，属于本发明的保护范围。本发明将正则化技术与批量梯度算法相结合来优化ELM网络结构，进而减少网络计算复杂度，提高预测准确率，增加其泛化性能。

Description

一种基于ELM-SL0神经网络的出水NH4-N软测量方法
技术领域
本发明针对污水处理过程中氨氮浓度难以测量的问题，将批量梯度下降算法与L0正则化结合应用于神经网络，对污水处理过程中氨氮浓度进行预测。神经网络是智能信息处理技术的主要分支之一，基于神经网络的污水氨氮浓度预测技术不但属于水处理领域，还属于智能信息领域。
背景技术
随着当今社会城市化和工业化的快速发展，我国水环境已受到严重破坏。污水排放不仅严重影响居民的日常生活，而且破坏了大自然的生态平衡。为了降低污水的排放量，实现水的循环利用，全国各地纷纷建立了污水处理厂。在污水处理过程中，NH4-N浓度是衡量污水处理工艺(WWTP)性能的一个重要参数，然而由于污水处理过程是一个具有高度非线性、大滞后、大时变、多变量耦合等特点的复杂***，而且维护成本较高，因此对其进行预测仍然是一个悬而未决的问题。因此，如何低成本、高效率地对出水NH4-N的浓度进行预测对于出水水质的达标考核以及污水处理厂的稳定运行是非常有必要的。
软测量方法利用易测变量，通过构建模型对难测变量进行实时预测，为污水处理过程中关键水质参数的测量提供了一种高效快速的解决方案。神经网络因其良好的学习能力、信息处理能力和自适应特性，能对非线性***进行高精度逼近。本发明设计了一种基于ELM-SL0神经网络的出水NH4-N软测量方法，实现出水NH4-N浓度的在线预测。
发明内容
一种基于ELM-SL0神经网络的出水NH4-N软测量方法，主要操作流程如下：首先将L0正则化惩罚项添加到传统误差函数使不重要权值逼近于0，然后利用批量梯度下降算法对改进的误差函数进行更新以实现网络的训练和修剪。本方法利用神经网络的学习能力，根据训练误差对输出权值进行优化，消除不重要输出权值，然后对污水处理过程中的氨氮浓度进行预测，使其误差最小化，提高了网络结构稀疏性。其特征在于，包括以下步骤：
步骤1：初始化网络结构及参数
步骤1.1：初始化网络结构
将温度、溶氧量、总悬浮物含量、pH值以及出水氧化还原电位作为输入变量，氨氮浓度作为输出变量，确定回声状态网络结构为5-N-1，其中N表示储备池节点个数。典型回声状态网络的储备池节点个数N取值为50≤N≤1000，为了更好观察所提算法的修剪效果，N的取值不宜太小。该网络中N取500，即该网络含有5个输入节点，500个储备池节点，1个输出节点。
步骤1.2：初始化网络参数
将sigmoid函数作为网络激活函数G(·)，确定初始迭代次数i＝0，最大迭代次数imax≥5000，训练样本
Figure BDA0002250087240000021
uk表示第k组输入样本，tk表示第k组实际输出值，表示输入样本维度为n，L为样本总数；随机初始化网络输入权值W和阈值向量b在(0,1)之间，设置初始输出权值W＝0。
步骤2：采用网格搜索法确定学习率η及正则化参数λ
(1)首先，将正则化参数置0，即λ＝0，然后以0.0005步长将学习率的搜索范围设定为[0.0005,0.01]，运行程序，选取训练误差最小的最优学习率η。
(2)在最优学习率η情况下，以0.0025步长将正则化参数的搜索范围设定为[0.0025,0.05]，保证不影响训练误差情况下选取稀疏效果最佳的最优正则化参数λ。
步骤3：计算输入第k组样本的网络输出yk及预测误差dk
对于给定的激活函数G(·)、输入样本uk、输入权值W以及阈值向量b，得到隐含层输出为：
Figure BDA0002250087240000023
其中，gj,1＜j＜N表示储备池第j个神经元的激活函数，Wj·uk,1＜j＜N表示储备池第j个神经元与输入层之间的输入权值向量Wj与输入向量uk的内积，bj,1＜j＜N表示储备池中第j个神经元的阈值。
输入第k组样本，网络输出yk由如下公式得到：
yk＝W·G(Wuk+b) (2)
网络期望输出tk与实际输出yk之间的训练误差dk定义为：
dk＝tk-yk (3)
步骤4：计算输出权值梯度，更新输出权值
定义标准均方误差函数为：
Figure BDA0002250087240000031
其中，
Figure BDA0002250087240000032
在误差函数上添加L0正则化项，改进的误差函数为：
Figure BDA0002250087240000033
其中，
Figure BDA0002250087240000034
为W的L0范数，被定义如下：
Figure BDA0002250087240000035
其中，Wj(1＜j＜N)是第j个输出权值。
然而，L0范数是非凸函数，因此公式(5)是一个NP-hard极小化组合问题。为了解决这个问题，我们采用一个连续可微的函数f(·)对L0范数进行逼近，关于W的函数f(γ,Wj)被定义如下：
Figure BDA0002250087240000036
Figure BDA0002250087240000037
其中，γ为正数，其控制f(γ,Wj)逼近
Figure BDA0002250087240000038
的程度，γ较大时，函数f(γ,Wj)对权值向量的修剪程度较低，γ接近0时,函数f(γ,Wj)能够更好修剪权值向量W的非零元素，本专利中γ取0.05。由此可得，f(γ,Wj)的一阶导数为：
Figure BDA0002250087240000041
因此公式(5)更新为：
Figure BDA0002250087240000042
引入批量梯度下降算法，在初始权值W＝W0的情况下，E(W)的梯度公式为：
Figure BDA0002250087240000043
其中，为第i次E(W)的梯度，
Figure BDA0002250087240000045
为第i次
Figure BDA0002250087240000046
的梯度。
由此得到，输出权值的更新公式为：
Figure BDA0002250087240000047
其中，Wi+1为第i+1次迭代的输出权值，Wi为第i次迭代的输出权值。输出权值每更新一次，i累加1，即i＝i+1。
步骤5：判断训练是否结束
若满足i≥imax，则执行步骤6，否则返回步骤3。
步骤6：测试网络
利用以上步骤得到的输出权值W，输入测试样本，对网络进行测试。
本发明的创造性主要体现在:
(1)针对污水处理过程中氨氮浓度难以测量的问题，本发明根据极限学习机非线性映射能力强的特点，设计了一种基于ELM-SL0神经网络的出水NH4-N软测量方法，该方法具有预测精度高、稳定性强、维护成本低等优点。
(2)本发明结合了L0正则化方法和批量梯度下降法，对神经网络进行训练，有效的修剪了网络中贡献度较低的神经元，减少了网络的计算时间，提高了网络结构的稀疏性。
附图说明
图1.本发明的神经网络拓扑结构图；
图2.本发明的出水NH4-N浓度预测方法训练均方根误差(RMSE)变化图；
图3.训练过程中绝对值小于0.005的输出权重个数m变化图；
图4.本发明的出水NH4-N浓度预测结果图；
图5.本发明的出水NH4-N浓度预测误差图。
具体实施方式
一种基于ELM-SL0神经网络的出水NH4-N软测量方法，主要操作流程如下：首先将L0正则化惩罚项添加到传统误差函数使不重要权值逼近于0，然后利用批量梯度下降算法对改进的误差函数进行更新以实现网络的训练和修剪。本方法利用神经网络的学习能力，根据训练误差对输出权值进行优化，消除不重要输出权值，然后对污水处理过程中的氨氮浓度进行预测，使其误差最小化，提高了网络结构稀疏性。其特征在于，包括以下步骤：
步骤1：初始化网络结构及参数
步骤1.1：初始化网络结构
将温度、溶氧量、总悬浮物含量、pH值以及出水氧化还原电位作为输入变量，氨氮浓度作为输出变量，确定回声状态网络结构为5-N-1，其中N表示储备池神经元个数。该网络中N取500，即该网络含有5个输入节点，500个储备池节点，1个输出节点。
步骤1.2：初始化网络参数
将sigmoid函数作为网络激活函数G(·)，初始迭代次数i＝0，最大迭代次数imax≥5000，训练样本
Figure BDA0002250087240000051
uk表示第k组输入样本，tk表示第k组实际输出值，
Figure BDA0002250087240000052
表示输入样本维度为n，L为样本总数；随机初始化网络输入权值W和阈值向量b在(0,1)之间，设置初始输出权值W＝0。
步骤2：采用网格搜索法确定学习率η及正则化参数λ
(1)首先，将正则化参数置0，即λ＝0，然后以0.0005的步长将学习率的搜索范围设定为[0.0005,0.01]，运行程序，选取训练误差最小的最优学习率η＝0.01。
(2)在最优学习率η＝0.01的情况下，以0.0025的步长将正则化参数的搜索范围设定为[0.0025,0.05]，保证不影响训练误差情况下选取稀疏效果最佳的最优正则化参数λ＝0.05。
步骤3：计算输入第k组样本的网络输出yk及预测误差dk
对于给定的激活函数G(·)、输入样本uk、输入权值W以及阈值向量b，得到隐含层输出为：
Figure BDA0002250087240000061
其中，gj,1＜j＜N表示储备池第j个神经元的激活函数，Wj·uk,1＜j＜N表示储备池第j个神经元与输入层之间的输入权值向量Wj与输入向量uk的内积，bj,1＜j＜N表示储备池中第j个神经元的阈值。
输入第k组样本，网络输出yk由如下公式得到：
yk＝W·G(Wuk+b) (2)
网络期望输出tk与实际输出yk之间的训练误差dk定义为：
dk＝tk-yk (3)
步骤4：计算输出权值梯度，更新输出权值
定义标准均方误差函数为：
Figure BDA0002250087240000062
其中，
Figure BDA0002250087240000063
在误差函数上添加L0正则化项，改进的误差函数为：
Figure BDA0002250087240000064
其中，
Figure BDA0002250087240000065
为W的L0范数，被定义如下：
Figure BDA0002250087240000066
其中，Wj(1＜j＜N)是第j个输出权值。
然而，L0范数是非凸函数，因此公式(5)是一个NP-hard极小化组合问题。为了解决这个问题，我们采用一个连续可微的函数f(·)对L0范数进行逼近，关于W的函数f(γ,Wj)被定义如下：
Figure BDA0002250087240000071
Figure BDA0002250087240000072
其中，γ为正数，其控制f(γ,Wj)逼近
Figure BDA0002250087240000073
的程度，γ较大时，函数f(γ,Wj)对权值向量的修剪程度较低，γ接近0时,函数f(γ,Wj)能够更好修剪权值向量W的非零元素，本专利中γ取0.05。
由此得到，f(γ,Wj)的一阶导数为：
Figure BDA0002250087240000074
因此公式(5)更新为：
Figure BDA0002250087240000075
引入批量梯度下降算法，在初始权值W＝W0的情况下，E(W)的梯度公式为：
Figure BDA0002250087240000076
其中，
Figure BDA0002250087240000077
为第i次E(W)的梯度，
Figure BDA0002250087240000078
为第i次
Figure BDA0002250087240000079
的梯度。
由此得到，输出权值的更新公式为：
其中，Wi+1为第i+1次迭代的输出权值，Wi为第i次迭代的输出权值。输出权值每更新一次，i累加1，即i＝i+1。
步骤5：判断训练是否结束
若满足i≥imax，则执行步骤6，否则返回步骤3。
步骤6：测试网络
利用以上步骤得到的输出权值W，输入测试样本，对网络进行测试。
数据样本
表1-12是本发明实验数据。表1-5为训练输入样本：进水温度、好氧末段溶解氧、好氧末端总固体悬浮物、出水酸碱度pH、出水氧化还原电位，表6为训练样本出水氨氮的浓度，表7-11为测试输入样本：进水温度、好氧末段溶解氧、好氧末端总固体悬浮物、出水酸碱度pH、出水氧化还原电位，表12为测试样本出水氨氮的浓度。
训练样本：
表1.辅助变量进水温度(℃)
Figure BDA0002250087240000081
Figure BDA0002250087240000091
表2.辅助变量溶解氧(mg/L)
0.0851 0.2667 0.0428 0.0336 0.0313 0.3165 0.0441 5.5228 0.2654 0.0451
0.0328 0.0399 0.0355 0.0341 0.0655 0.0314 5.7940 0.0317 5.7143 0.3624
0.0474 0.0441 1.2213 0.0743 0.0545 0.4207 5.1883 0.4694 0.0453 0.1624
0.0612 0.0345 6.1271 0.0965 0.0363 0.0312 0.0518 0.0319 0.0664 0.0309
0.5400 0.2701 1.1610 0.6857 0.0768 0.0329 0.0313 0.0467 0.3987 0.0339
0.0715 0.0338 0.9670 3.6627 0.0311 0.4564 0.3942 0.4684 0.5487 0.2066
0.0410 2.5088 0.2566 0.0464 6.1833 0.2890 0.5426 0.3782 0.0302 0.0309
0.0555 0.0373 0.2557 0.4711 0.0615 0.0312 0.0390 0.0416 0.0591 0.0451
0.0345 0.0540 0.4478 0.0637 6.1654 0.0308 0.4508 0.5192 0.1481 0.0396
0.0318 0.0489 2.9631 0.0357 0.0530 0.2282 0.5539 0.0384 0.2232 0.4448
0.0691 0.1172 0.0683 3.0178 0.5287 0.2558 0.0561 0.0309 0.0936 0.0311
0.0356 0.0412 0.0510 0.0448 0.0318 0.0387 5.5628 0.0350 0.0907 0.0363
5.3787 0.0472 0.0364 0.1396 0.8063 0.0686 0.0340 0.4833 0.2687 0.2740
0.2546 0.4329 0.0300 0.0312 0.0411 0.4291 0.0382 0.5351 0.0532 0.0302
0.3301 0.0909 0.0297 0.0346 0.0592 0.0461 0.0492 0.2079 0.0706 0.0334
0.0375 1.6391 0.0683 0.0406 0.0398 0.0562 0.4340 0.0291 0.0337 0.4621
0.2489 0.3703 0.3096 0.2646 0.0706 6.0993 0.4649 0.2659 0.0327 0.1247
1.2662 0.0308 2.1216 0.5378 5.3780 0.0338 0.0397 0.0411 0.0336 0.0870
0.0427 0.0956 0.0505 0.4026 0.0350 0.0286 0.0488 0.0559 0.0318 0.3640
0.0352 0.0455 0.0412 0.4273 0.0640 0.0792 0.0308 1.0497 0.0483 0.0309
0.0582 0.0971 0.0571 0.0478 0.0582 0.0494 0.0317 0.3930 0.0378 0.0410
0.0361 0.0529 0.0565 0.0447 0.7617 0.0963 0.0353 0.3812 0.1343 0.0535
0.0441 0.0692 0.0668 5.7520 0.0403 0.0442 0.0408 0.0799 0.3272 0.0307
0.2365 0.0464 5.4811 0.0769 0.4512 0.5309 0.0657 2.7794 0.0784 0.0617
0.3554 0.0422 0.0582 0.2470 0.4073 5.9548 0.0379 0.0796 0.2997 0.5858
0.0316 2.6852 0.4316 0.4455 0.0421 0.0548 0.0356 5.8531 2.0604 0.1009
0.0310 0.4379 0.0370 0.0432 0.5815 0.0480 0.0787 0.0567 0.2380 0.0486
0.0339 0.0415 0.4889 2.5040 0.0673 0.3274 0.5043 0.1995 0.0365 0.0297
0.0711 0.2404 0.0946 1.5057 0.5498 0.0696 0.0522 0.2974 0.0361 0.1865
0.0309 0.0831 0.0346 0.0683 5.9711 3.4109 0.0823 0.0561 0.1978 1.6931
表3.辅助变量总固体悬浮物(mg/L)
Figure BDA0002250087240000092
表4.辅助变量pH值
表5.辅助变量氧化还原电位
Figure BDA0002250087240000112
Figure BDA0002250087240000121
表6.实测出水NH4-N浓度(mg/L)
Figure BDA0002250087240000131
测试样本：
表7.辅助变量进水温度(℃)
26.6664 25.5925 26.0751 26.8655 24.9307 24.9436 25.2516 25.8255 24.9177 25.4691
25.6463 23.6239 26.7961 23.3835 25.5664 25.6231 23.6806 24.1833 25.5388 25.7410
25.9991 25.5576 24.9465 24.9725 24.7418 27.2087 25.8663 26.7136 24.9061 25.6696
24.6813 23.2770 23.8631 24.9667 26.8065 24.4801 24.8874 25.4850 22.9625 25.2472
25.9962 27.1094 25.6289 25.4081 24.2291 25.4720 27.2028 25.3994 25.5649 24.6698
24.9018 24.5476 25.3617 23.7378 24.3022 24.9840 22.8098 25.0100 25.2979 25.0303
27.0784 24.2721 24.4198 24.9826 25.6667 23.0559 23.7307 25.4778 25.3893 25.5126
25.6725 25.4067 25.0534 23.1565 25.0881 24.9119 24.9667 24.9480 24.8686 26.9098
25.9305 23.2841 25.3486 25.2993 24.5188 25.4371 24.9480 27.2933 25.9845 25.4618
25.2212 27.0562 23.1027 24.8614 25.0852 24.5591 25.4153 25.6260 26.9349 25.3501
25.3486 24.3796 25.2936 23.6253 24.5404 24.2047 26.7917 24.6051 25.6158 24.6368
22.9115 24.9047 25.2559 26.5046 27.1331 25.9641 24.9999 26.0429 23.6295 24.6698
24.7908 24.7490 26.0283 23.0630 25.4952 25.1589 23.2032 23.5598 25.6522 23.3310
25.5402 23.1551 23.8745 24.6152 26.7858 25.1633 25.9436 23.6295 25.1532 25.8255
24.8052 25.2950 25.1778 23.9902 27.3334 27.1880 23.4745 26.9556 25.3399 23.4048
25.9539 26.8153 25.6740 25.4458 26.0400 25.1315 24.8225 24.9494 23.4318 25.5053
26.6723 26.8212 23.0956 25.4981 25.2299 23.5769 23.6096 23.1381 23.7006 25.5068
23.5114 25.6405 25.1488 23.8717 26.9763 27.2147 26.9526 25.1040 23.6422 25.1285
25.1300 23.8477 23.4190 23.0191 24.9595 24.1218 23.6338 25.2849 23.6295 26.7652
表8.辅助变量溶解氧(mg/L)
Figure BDA0002250087240000141
表9.辅助变量总固体悬浮物(mg/L)
2.8203 2.9460 2.8678 2.8202 2.5611 2.5829 2.8432 2.8892 2.5314 3.0358
2.9424 2.5450 2.7539 2.3089 2.9585 2.9651 2.6572 2.4949 2.9497 2.8061
2.8056 2.9405 3.1266 2.5765 3.0128 2.8251 2.7974 2.7827 3.0233 2.8753
2.8377 2.2740 2.4693 2.8942 2.8151 2.4982 3.2238 3.0289 2.2692 2.7131
2.7684 3.1727 2.9420 3.0138 2.4700 2.9379 2.8182 2.9699 2.9699 2.9696
2.5363 2.4573 2.9005 2.4428 2.4121 2.4505 2.3100 2.8173 2.8868 3.0912
2.8053 2.5025 3.1527 2.9324 2.9416 2.3157 2.3829 2.8973 3.0728 3.1456
2.8617 3.0857 3.0329 2.2105 2.8024 2.4376 2.6005 2.9275 2.4709 2.7997
2.8238 2.4789 2.9423 2.9435 3.1618 2.9997 2.8217 2.7176 2.7800 3.0250
2.7410 2.8029 2.2935 2.3933 2.4443 3.0369 3.0349 2.9285 2.7858 2.9329
3.0151 2.3839 2.7219 2.5113 3.0535 2.4245 2.7999 2.9979 2.9201 2.4916
2.3119 2.5664 2.7491 2.8509 2.8060 2.7973 2.9019 2.8119 2.5754 3.1621
2.4192 2.7953 2.8213 2.3439 2.9265 2.4068 2.2200 2.3514 2.8738 2.2805
2.8895 2.4196 2.5045 2.4345 2.7979 2.8979 2.8572 2.4255 2.6941 2.8306
2.8052 2.7744 2.7306 2.4820 2.8343 2.8523 2.3883 2.8536 2.9709 2.5321
2.8260 2.7556 2.8632 3.1004 2.8337 3.0059 2.4971 2.7832 2.3155 3.0640
2.8295 2.8165 2.4155 3.0494 2.9023 2.3655 2.4784 2.4161 2.4331 3.0726
2.4347 2.9480 2.7790 2.5286 2.7725 2.8985 2.7998 2.9557 2.5519 2.8087
2.4082 2.2835 2.4440 2.2668 2.5590 2.6305 2.3938 2.7067 2.4866 2.9067
表10.辅助变量pH值
Figure BDA0002250087240000142
Figure BDA0002250087240000151
表11.辅助变量氧化还原电位
-5.3838 38.3272 -45.9542 -122.6730 -196.9560 -196.1870 -126.8390 -40.0577
-194.4560 16.3435 35.3790 -170.4860 -87.8065 -163.3710 33.1357 32.1744
-168.6270 -190.8670 0.0641 -66.2715 -21.5991 29.9952 19.7404 -194.4560
48.0052 -17.4331 -41.2755 -97.8049 46.8515 36.0199 -88.8961 -165.2940
-163.0510 27.6238 -5.7042 -200.9940 18.2663 19.3559 -199.9040 -170.1650
-46.2106 -115.4940 33.8408 7.9475 -161.0000 34.9303 -67.2329 45.9542
-3.0764 41.2114 -196.8920 -205.3520 36.6608 -154.1420 -158.5640 -202.5960
-170.1650 -146.5150 30.4439 21.3427 -16.7281 -161.0640 18.6509 30.7643
35.3149 -194.8410 -155.1680 29.9952 8.1397 17.8177 -15.5103 19.4200
45.3133 -169.7810 -142.6700 -205.0960 -187.0860 26.4701 -196.5710 -5.7683
-45.6337 -172.3440 15.8949 30.4439 19.5482 6.8579 -27.8161 -16.5358
-10.2548 4.8069 -172.7930 -117.9940 -161.3850 -205.9290 -202.7240 30.3798
28.7775 34.0971 -13.5876 21.0223 9.0370 -190.8030 -163.2430 -170.6140
20.7018 -161.3200 -15.5103 36.0199 34.5458 -201.8910 -165.9990 -197.0200
-155.4880 -8.7807 -112.1620 -13.3312 33.3280 -12.4980 -171.9600 18.9713
-196.6990 -63.9001 -12.8185 -158.5000 31.3412 -202.3400 -174.0750 -157.7950
-61.3364 -164.5250 37.6863 -164.0120 -163.4350 -206.2490 -76.3340 -138.9520
-18.4586 -152.8600 -178.4330 -38.0068 -55.9526 -160.8720 -176.7030 -162.3460
-16.7922 -73.8344 -162.6020 -121.6470 46.0183 -157.5390 -39.7373 -89.2806
39.5450 19.4200 -6.0888 44.9287 -196.6990 -102.4200 -163.0510 18.0740
-20.3814 -99.7277 -161.7690 17.5613 -135.4270 -159.9750 -151.5140 -173.4980
-177.4080 18.6509 -161.9610 35.0585 -108.6370 -186.5730 -5.2556 -71.1425
-76.8467 37.4940 -172.8570 -150.6170 -202.7880 -145.4900 -157.8590 -201.2500
-194.5840 -161.6410 -160.5510 -157.2830 -174.7800 -120.7500
表12.实测出水NH4-N浓度(mg/L)
Figure BDA0002250087240000152
Figure BDA0002250087240000161

Claims (1)

1.一种基于ELM-SL0神经网络的出水NH4-N软测量方法，其特征在于，包括以下步骤：
步骤1：初始化网络结构及参数
步骤1.1：初始化网络结构
将温度、溶氧量、总悬浮物含量、pH值以及出水氧化还原电位作为输入变量，氨氮浓度作为输出变量，确定回声状态网络结构为5-N-1，其中N表示储备池节点个数；典型回声状态网络的储备池节点个数N取值为50≤N≤1000；
步骤1.2：初始化网络参数
将sigmoid函数作为网络激活函数G(·)，确定初始迭代次数i＝0，最大迭代次数imax≥5000，训练样本
Figure FDA0002250087230000011
uk表示第k组输入样本，tk表示第k组实际输出值，
Figure FDA0002250087230000012
表示输入样本维度为n，L为样本总数；随机初始化网络输入权值W和阈值向量b在(0,1)之间，设置初始输出权值W＝0；
步骤2：采用网格搜索法确定学习率η及正则化参数λ
(1)首先，将正则化参数置0，即λ＝0，然后以0.0005步长将学习率的搜索范围设定为[0.0005,0.01]，运行程序，选取训练误差最小的最优学习率η；
(2)在最优学习率η情况下，以0.0025步长将正则化参数的搜索范围设定为[0.0025,0.05]，保证不影响训练误差情况下选取稀疏效果最佳的最优正则化参数λ；
步骤3：计算输入第k组样本的网络输出yk及预测误差dk
对于给定的激活函数G(·)、输入样本uk、输入权值W以及阈值向量b，得到隐含层输出为：
Figure FDA0002250087230000013
其中，gj,1＜j＜N表示储备池第j个神经元的激活函数，Wj·uk,1＜j＜N表示储备池第j个神经元与输入层之间的输入权值向量Wj与输入向量uk的内积，bj,1＜j＜N表示储备池中第j个神经元的阈值；
输入第k组样本，网络输出yk由如下公式得到：
yk＝W·G(Wuk+b) (2)
网络期望输出tk与实际输出yk之间的训练误差dk定义为：
dk＝tk-yk (3)
步骤4：计算输出权值梯度，更新输出权值
定义标准均方误差函数为：
Figure FDA0002250087230000021
其中，
Figure FDA0002250087230000022
在误差函数上添加L0正则化项，改进的误差函数为：
Figure FDA0002250087230000023
其中，
Figure FDA0002250087230000024
为W的L0范数，被定义如下：
Figure FDA0002250087230000025
其中，Wj,1＜j＜N是第j个输出权值；
然而，L0范数是非凸函数，因此公式(5)是一个NP-hard极小化组合问题；采用一个连续可微的函数f(·)对L0范数进行逼近，关于W的函数f(γ,Wj)被定义如下：
Figure FDA0002250087230000026
Figure FDA0002250087230000027
其中，γ为正数，γ取0.05；由此得到，f(γ,Wj)的一阶导数为：
Figure FDA0002250087230000031
因此公式(5)更新为：
Figure FDA0002250087230000032
引入批量梯度下降算法，在初始权值W＝W0的情况下，E(W)的梯度公式为：
Figure FDA0002250087230000033
其中，
Figure FDA0002250087230000034
为第i次E(W)的梯度，
Figure FDA0002250087230000035
为第i次
Figure FDA0002250087230000036
的梯度；
由此得到，输出权值的更新公式为：
Figure FDA0002250087230000037
其中，Wi+1为第i+1次迭代的输出权值，Wi为第i次迭代的输出权值；输出权值每更新一次，i累加1，即i＝i+1；
步骤5：判断训练是否结束
若满足i≥imax，则执行步骤6，否则返回步骤3；
步骤6：测试网络
利用以上步骤得到的输出权值W，输入测试样本，对网络进行测试。
CN201911030774.8A 2019-10-28 2019-10-28 一种基于elm-sl0神经网络的出水nh4-n软测量方法 Pending CN110837886A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911030774.8A CN110837886A (zh) 2019-10-28 2019-10-28 一种基于elm-sl0神经网络的出水nh4-n软测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911030774.8A CN110837886A (zh) 2019-10-28 2019-10-28 一种基于elm-sl0神经网络的出水nh4-n软测量方法

Publications (1)

Publication Number Publication Date
CN110837886A true CN110837886A (zh) 2020-02-25

Family

ID=69575622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911030774.8A Pending CN110837886A (zh) 2019-10-28 2019-10-28 一种基于elm-sl0神经网络的出水nh4-n软测量方法

Country Status (1)

Country Link
CN (1) CN110837886A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116151121A (zh) * 2023-02-21 2023-05-23 北京工业大学 一种基于神经网络的出水nh4-n软测量方法
CN116451763A (zh) * 2023-03-17 2023-07-18 北京工业大学 一种基于eddesn的出水nh4-n预测方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR8200467U (pt) * 2002-03-18 2003-12-09 Volnei Jaco Knorst Pia em mármore sintético com cuba em material diferenciado
CN104616030A (zh) * 2015-01-21 2015-05-13 北京工业大学 一种基于极限学习机算法的识别方法
CN104965971A (zh) * 2015-05-24 2015-10-07 北京工业大学 一种基于模糊神经网络的氨氮浓度软测量方法
CN106503730A (zh) * 2016-09-30 2017-03-15 暨南大学 一种基于级联字典与稀疏正则化的桥梁移动荷载识别方法
CN106803237A (zh) * 2016-12-14 2017-06-06 银江股份有限公司 一种基于极限学***均图像去噪方法
US20180093092A1 (en) * 2016-04-22 2018-04-05 Newton Howard Biological co-processor (bcp)
CN108469507A (zh) * 2018-03-13 2018-08-31 北京工业大学 一种基于自组织rbf神经网络的出水bod软测量方法
CN109242194A (zh) * 2018-09-25 2019-01-18 东北大学 一种基于混合模型的浓密机底流浓度预测方法
JP2019040414A (ja) * 2017-08-25 2019-03-14 日本電信電話株式会社 学習装置及び学習方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR8200467U (pt) * 2002-03-18 2003-12-09 Volnei Jaco Knorst Pia em mármore sintético com cuba em material diferenciado
CN104616030A (zh) * 2015-01-21 2015-05-13 北京工业大学 一种基于极限学习机算法的识别方法
CN104965971A (zh) * 2015-05-24 2015-10-07 北京工业大学 一种基于模糊神经网络的氨氮浓度软测量方法
US20180093092A1 (en) * 2016-04-22 2018-04-05 Newton Howard Biological co-processor (bcp)
CN106503730A (zh) * 2016-09-30 2017-03-15 暨南大学 一种基于级联字典与稀疏正则化的桥梁移动荷载识别方法
CN106803237A (zh) * 2016-12-14 2017-06-06 银江股份有限公司 一种基于极限学***均图像去噪方法
JP2019040414A (ja) * 2017-08-25 2019-03-14 日本電信電話株式会社 学習装置及び学習方法
CN108469507A (zh) * 2018-03-13 2018-08-31 北京工业大学 一种基于自组织rbf神经网络的出水bod软测量方法
CN109242194A (zh) * 2018-09-25 2019-01-18 东北大学 一种基于混合模型的浓密机底流浓度预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YU YL ET AL: "A Homotopy Iterative Hard Thresholding Algorithm With Extreme Learning Machine for scene Recognition" *
慈能达: "车载毫米波雷达通信一体化***中的压缩感知DOA估计" *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116151121A (zh) * 2023-02-21 2023-05-23 北京工业大学 一种基于神经网络的出水nh4-n软测量方法
CN116151121B (zh) * 2023-02-21 2024-03-26 北京工业大学 一种基于神经网络的出水nh4-n软测量方法
CN116451763A (zh) * 2023-03-17 2023-07-18 北京工业大学 一种基于eddesn的出水nh4-n预测方法
CN116451763B (zh) * 2023-03-17 2024-04-12 北京工业大学 一种基于eddesn的出水nh4-n预测方法

Similar Documents

Publication Publication Date Title
CN108469507B (zh) 一种基于自组织rbf神经网络的出水bod软测量方法
CN111354423B (zh) 一种基于多元时间序列分析的自组织递归模糊神经网络的出水氨氮浓度预测方法
CN111291937A (zh) 基于支持向量分类与gru神经网络联合的处理污水水质预测方法
CN109828089B (zh) 一种基于dbn-bp的水质参数亚硝酸氮的在线预测方法
CN109657790B (zh) 一种基于pso的递归rbf神经网络出水bod预测方法
CN106022954B (zh) 基于灰色关联度的多重bp神经网络负荷预测方法
CN109344971B (zh) 一种基于自适应递归模糊神经网络的出水氨氮浓度预测方法
CN112949894B (zh) 一种基于简化型长短期记忆神经网络的出水bod预测方法
CN114037163A (zh) 一种基于动态权重pso优化bp神经网络的污水处理出水质量预警方法
CN104680015A (zh) 一种基于快速相关向量机的污水处理在线软测量方法
CN111242380A (zh) 一种基于人工智能算法的湖（库）富营养化预测方法
CN110837886A (zh) 一种基于elm-sl0神经网络的出水nh4-n软测量方法
CN112989704A (zh) 一种基于de算法的irfm-cmnn出水bod浓度预测方法
CN115660165A (zh) 一种基于双层pso的模块化神经网络出水氨氮浓度多步预测方法
CN109408896B (zh) 一种污水厌氧处理产气量多元智能实时监控方法
CN110991616B (zh) 一种基于删减型前馈小世界神经网络出水bod预测方法
Pisa et al. Transfer learning approach for the design of basic control loops in wastewater treatment plants
CN114330815A (zh) 一种基于改进goa优化lstm的超短期风电功率预测方法与***
CN113111576A (zh) 一种基于混合编码粒子群-长短期记忆神经网络出水氨氮软测量方法
CN116306803A (zh) 一种基于wsfa-afe的ilstm神经网络的出水bod浓度预测方法
CN116432832A (zh) 基于XGBoost-LSTM预测模型的水质预测方法
CN115905821A (zh) 基于多阶段动态模糊宽度学习的城市污水处理过程状态监测方法
CN110542748B (zh) 一种基于知识的鲁棒型出水氨氮软测量方法
CN112924646B (zh) 一种基于自适应剪枝前馈小世界神经网络的出水bod软测量方法
CN116151121B (zh) 一种基于神经网络的出水nh4-n软测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination