CN107563567A - 基于稀疏自编码的核极限学习机洪水预报方法 - Google Patents
基于稀疏自编码的核极限学习机洪水预报方法 Download PDFInfo
- Publication number
- CN107563567A CN107563567A CN201710841563.7A CN201710841563A CN107563567A CN 107563567 A CN107563567 A CN 107563567A CN 201710841563 A CN201710841563 A CN 201710841563A CN 107563567 A CN107563567 A CN 107563567A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- msup
- mfrac
- mover
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
- Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于稀疏自编码的核极限学习机洪水预报方法，包括如下步骤：(1)选取中小河流洪水数据，对数据进行整理与清洗；(2)选取合适的预报因子并整理样本，对样本数据进行预处理；(3)将原始样本数据经过多层稀疏自编码器进行无监督学习，分别训练最优网络层参数；(4)经过多层稀疏自编码学习后的样本数据作为KELM模型的输入，构建SAE_KELM模型，预测并评价相应结果。本发明在KELM模型基础上融合SAE方法，构建深层网络模型，通过增加模型的层数来学习复杂数据之间丰富的内在信息，SAE_KELM模型不仅可以学习到原始水文数据中的“本质”特征，而且学习到的特征对数据有更本质的刻画，KELM模型能够更好地拟合特征值与目标值之间的映射关系。
Description
技术领域
本发明涉及水文预报技术领域，尤其是一种基于稀疏自编码的核极限学习机洪水预报方法。
背景技术
洪水预报工作是防灾减灾最重要的非工程措施，在历年的防汛抗旱、水资源管理与保护、水工程运行管理等工作中发挥了重要的作用，取得了显著的经济效益和社会效益。但洪水过程受流域自然地理、水文、气象、人类活动等诸多因素的影响，具有高度的复杂性和不确定性，因此准确地预报水雨情以便生成调度方案是一个急需要解决的难题。
深度学习近几年得到了广泛的研究，并应用到了各个领域，但是深度学习在水文预报中的应用较少，因此将其应用于水文预测中前景乐观。与常用的单隐层神经网络相比，深度学习更加强调了模型结构的深度，它具有更多的层数，通常有五层、六层甚至十几层的隐含层节点。深度学习通过学习一种深层非线性网络结构，实现更为复杂的函数逼近，能够更好的进行特征学习。
基于深层网络的特征学习能够更好地挖掘洪水数据中所蕴含的关系，对洪水预报起到更好的帮助。本发明将多层稀疏自编码的编码层融合到KELM中，提出了基于稀疏自编码的核极限学习机(SAE_KELM)的方法，也称为深层网络学习模型，它实现了无监督学习和有监督学习的有机融合，提高了非线性数据分类或预测效果，而且可以得到稳定的输出。对于洪水数据经过多层的特征学习能够更好地刻画数据内在的规律，通过实验也证明了本发明能有效提高洪水预报的准确率。
发明内容
本发明所要解决的技术问题在于，提供一种基于稀疏自编码的核极限学习机洪水预报方法，能够很好的处理了非线性数据的问题，预报效果得到明显提升。
为解决上述技术问题，本发明提供一种基于稀疏自编码的核极限学习机洪水预报方法，包括如下步骤：
(1)选取中小河流洪水数据，对数据进行整理与清洗；
(2)选取合适的预报因子并整理样本，对样本数据进行预处理；
(3)将原始样本数据经过多层稀疏自编码器进行无监督学习，分别训练最优网络层参数；
(4)经过多层稀疏自编码学习后的样本数据作为KELM模型的输入，构建SAE_KELM模型，预测并评价相应结果。
优选的，步骤(1)中，对数据进行整理与清洗具体包括如下步骤：
(11)选取流域历年夏季场次洪水数据作为研究对象，其中每隔1小时记录一个数据；
(12)数据元素包括流量和降雨量、其上游各测站降雨量；
(13)构建训练样本和测试样本；由于样本数据是有时间先后关系的，按顺序取，其中训练集取总样本的70％到90％之间，测试集取剩下的部分。
优选的，步骤(2)中，对样本数据进行预处理具体包括如下步骤：
(21)选择下游水文站的某一时刻的流量作为目标值，能够对下游水文站流量造成影响的因素包括上游的区间面降雨、上游支流的流量、土壤含水量和温度等。
(22)中小河流由于水文监测站的落后导致一些数据很难获取，因此没有选择土壤含水量和温度作为预报因子，选择待测水文站的前期流量和降雨量以及上游雨量站的降雨量作为预报因子，利用相关系数法计算上游降雨对下游流量影响的时间间隔，也就是上游前期多少时刻内的数据对下游当前时刻流量影响最大。计算公式如下：
其中，p为预报时刻的流量值，a为预报时刻前特征值。
优选的，步骤(3)中，将原始样本数据经过多层稀疏自编码器进行无监督学习具体包括如下步骤：
(31)对于输入样本集合xn为输入变量，d为特征维度，tn为目标值，N为样本个数，定义为给定输入x情况下节点j的激活值，得到公式：
其中为隐含节点j的平均激活值；
(32)神经网络后项传播损失函数为：
设定权值向量和偏置每个元素初始化为接近于0的随机数，通过前向传播得到每个神经元的激活值和输出；
(33)增加一个惩罚项公式来最优化目标函数：
采用相对熵衡量二者之间的差别，相对熵是描述两个概率分布差异的方法，KL散度公式为：当时，而且随着和ρ之间的差异增大而增大，使得逐渐接近ρ；
(34)稀疏自编码加入惩罚项后损失函数表示为：
其中β控制着稀疏惩罚项的权重大小，J(w，b)为均方差项；
(35)通过梯度下降和后项传播方法对稀疏自编码进行训练，隐含层误差项公式为：
优选的，步骤(31)中，通常取值接近于0。
优选的，步骤(4)中，构建KELM模型具体包括如下步骤：
(41)对于输入N个时间序列样本数据(xi，yi)，其中xi＝[xi1，xi2，…xin]T，i＝1，2，…，N，n为样本的特征维度数，yi为样本数据的目标值；设隐藏层神经元数量为L，利用训练样本集建立预测模型为：
s.t.：f(xi)＝h(xi)β＝yi-ξi
其中β＝[β1，…，βL]T为隐藏层输出权重，C为正则化参数，ξi为理论输出yi与实际输出f(xi)的误差，h(xi)为隐藏层关于样本xi的输出向量；
(42)根据KTT最优化条件解得：
其中H＝[hT(x1)，…，hT(xN)]T为网络的隐藏层输出矩阵，Y＝[y1，…yN]T为目标值矩阵；
(43)考虑到Mercer条件，定义KELM的核函数矩阵为：
Ω＝HHT：Ωij＝h(xi)·h(xj)＝K(xi，xj)
其中K(xi,xj)为核矩阵，是核矩阵Ω位于第i行、第j列的数值；
(44)通常情况下选择径向基函数作为KELM模型的核函数，公式为：
K(x，y)＝exp(-γ||x-y||2)，γ＞0；
(45)得到KELM模型的实际输出：
其中α为KELM网络的输出层权值。
本发明的有益效果为：KELM在原始ELM的基础上加入了核函数，核函数可以对原始的水文输入数据进行处理，将原始低维空间的水文数据映射到新的特征空间，利用稳定的映射到高维特征空间的核矩阵代替ELM中随机权重得到的不稳定的隐含层输出，这样不但能得到稳定的输出，而且核函数很好的处理了非线性数据的问题，预报效果得到明显提升；在KELM模型基础上融合SAE方法，构建深层网络模型，通过增加模型的层数来学习复杂数据之间丰富的内在信息，SAE_KELM模型不仅可以学习到原始水文数据中的“本质”特征，而且学习到的特征对数据有更本质的刻画，KELM模型能够更好地拟合特征值与目标值之间的映射关系。
附图说明
图1为本发明的方法流程示意图。
图2为本发明的KELM预测结果示意图。
图3为本发明的SAE_KELM预测结果示意图。
具体实施方式
如图1所示，一种基于稀疏自编码的核极限学习机洪水预报方法，包括如下步骤：
(1)选取中小河流洪水数据，对数据进行整理与清洗；
(2)选取合适的预报因子并整理样本，对样本数据进行预处理；
(3)将原始样本数据经过多层稀疏自编码器进行无监督学习，分别训练最优网络层参数；
(4)经过多层稀疏自编码学习后的样本数据作为KELM模型的输入，构建SAE_KELM模型，预测并评价相应结果。
为了提高中小河流洪水预报准确率，本文将稀疏自编码技术和核极限学习机模型进行融合，构建了深层网络洪水预报模型。该方案提出了SAE_KELM模型，即利用稀疏自编码技术寻找一组“超完备”基向量来更高效地表示样本数据。“超完备”基向量的好处是它们能更有效地找出隐含在水文特征数据内部的结构与模式，它属于一种无信息损失的非线性特征提取方法。经过多层特征学习之后的样本通过KELM模型进行有监督学习，得到预测结果。
稀疏自编码(Sparse Autoencoder，SAE)对原始训练样本应用梯度下降和反向传播来学习权值向量和偏置的三层反馈神经网络，是提前对训练样本进行预学习。它是在自编码的基础上加入一个稀疏项限制，稀疏项可以将非激活的神经元进行抑制，这样经过稀疏化处理的神经元具有更好特征学习的能力。
对于输入样本集合xn为输入变量，d为特征维度，tn为目标值，N为样本个数。
Step 1.定义为给定输入x情况下节点j的激活值。得到公式：
其中为隐含节点j的平均激活值，通常取值接近于0，比如0.05，即所有隐含节点j的平均激活值趋向于0.05。
Step 2.神经网络后项传播损失函数为：
设定权值向量和偏置每个元素初始化为接近于0的随机数，通过前向传播得到每个神经元的激活值和输出。
Step 3.增加一个惩罚项公式来最优化目标函数：
采用相对熵衡量二者之间的差别，相对熵是描述两个概率分布差异的方法，KL散度公式为：当时，而且随着和ρ之间的差异增大而增大。将相对熵作为惩罚项加入到自编码损失函数中，可以通过减少相对熵的值来减少整个损失函数的值，因此要使得逐渐接近ρ。
Step 4.稀疏自编码加入惩罚项后损失函数可以表示为：
其中β控制着稀疏惩罚项的权重大小，J(w,b)为均方差项。
Step 5.通过梯度下降和后项传播方法对稀疏自编码进行训练，隐含层误差项公式为：
极限学习机(Extreme learning machine)属于一种具有三层的前向神经网络。在极限学习机训练过程中，隐含层权重和偏置是随机生成的，由于每次随机生成的权重和偏置存在差别，因此导致每次ELM预测结果不稳定，所以研究人员将核函数加入到ELM中。KELM通过核函数将样本的输入值通过核函数映射到高维空间，利用稳定的映射到高维特征空间的核矩阵代替不稳定的随机隐含层输出矩阵，最后得到稳定的输出结果。
对于输入N个时间序列样本数据(xi，yi)，其中xi＝[xi1,xi2,…xin]T，i＝1,2,…,N，n为样本的特征维度数，yi为样本数据的目标值。
Step 1.设隐藏层神经元数量为L，利用训练样本集建立预测模型为：
s.t.:f(xi)＝h(xi)β＝yi-ξi
其中β＝[β1,…,βL]T为隐藏层输出权重，C为正则化参数，ξi为理论输出yi与实际输出f(xi)的误差，h(xi)为隐藏层关于样本xi的输出向量。
Step 2.根据KTT最优化条件解得：
其中H＝[hT(x1),…,hT(xN)]T为网络的隐藏层输出矩阵，Y＝[y1,…yN]T为目标值矩阵。
Step 3.考虑到Mercer条件，定义KELM的核函数矩阵为：
Ω＝HHT:Ωij＝h(xi)·h(xj)＝K(xi，xj)
其中K(xi,xj)为核矩阵，是核矩阵Ω位于第i行、第j列的数值。
Step 4.通常情况下选择径向基函数作为KELM模型的核函数，公式为：
K(x，y)＝exp(-γ||x-y||2)，γ＞0
Step 5.得到KELM模型的实际输出：
其中α为KELM网络的输出层权值。
为了验证本发明的效果，选取分水江上游昌化溪作为研究对象，流域地势西北高，东南低，属浙西山丘区，具有典型中小河流水系的特点。上游设有6个雨量站可以提供雨量信息，分别为岛石坞、桃花村、龙门寺、双石、岭下、昱岭关。下游昌化水文站是青山殿水库的一个重要入库支流，所以对昌化站做流量预测对于青山殿水库的防洪调度具有很重要的意义。选取昌化流域1998-2010年每年汛期场次洪水数据作为研究对象，数据时间间隔为1小时，其中1998-2008年共6552个样本作为训练样本，2009-2010年共1688个样本作为测试样本。本文将KELM模型和SAE_KELM模型进行对比。
如图2和图3所示，KELM模型核函数采用RBF函数，正则化参数C取值为40，核函数参数γ取值为1.8，样本采用(0,1)归一化。SAE_KELM方法在单个KELM的基础上融合了稀疏自编码方法。其中稀疏自编码激活函数采用Sigmoid函数，隐含层层数为2，隐含层节点数为20，权重衰减参数λ取值为0.001，稀疏惩罚项参数β取值为3，稀疏性参数ρ取值为0.01，学习率取值为0.05。
表一两种不同方法预测结果比较
| 实验类别 | 均方误差(MSE) | DC系数 | 洪峰误差 |
| KELM | 4777 | 0.79 | 340 |
| SAE_KELM | 3821 | 0.83 | 240 |
实验结果表明：KELM在原始ELM的基础上加入了核函数，核函数可以对原始的水文输入数据进行处理，将原始低维空间的水文数据映射到新的特征空间。利用稳定的映射到高维特征空间的核矩阵代替ELM中随机权重得到的不稳定的隐含层输出，这样不但能得到稳定的输出，而且核函数很好的处理了非线性数据的问题。预报效果得到明显提升。在KELM模型基础上融合SAE方法，构建深层网络模型，通过增加模型的层数来学习复杂数据之间丰富的内在信息。SAE_KELM模型不仅可以学习到原始水文数据中的“本质”特征，而且学习到的特征对数据有更本质的刻画，而且KELM模型能够更好地拟合特征值与目标值之间的映射关系。
尽管本发明就优选实施方式进行了示意和描述，但本领域的技术人员应当理解，只要不超出本发明的权利要求所限定的范围，可以对本发明进行各种变化和修改。
Claims (6)
1.一种基于稀疏自编码的核极限学习机洪水预报方法，其特征在于，包括如下步骤：
(1)选取中小河流洪水数据，对数据进行整理与清洗；
(2)选取合适的预报因子并整理样本，对样本数据进行预处理；
(3)将原始样本数据经过多层稀疏自编码器进行无监督学习，分别训练最优网络层参数；
(4)经过多层稀疏自编码学习后的样本数据作为KELM模型的输入，构建SAE_KELM模型，预测并评价相应结果。
2.如权利要求1所述的基于稀疏自编码的核极限学习机洪水预报方法，其特征在于，步骤(1)中，对数据进行整理与清洗具体包括如下步骤：
(11)选取流域历年夏季场次洪水数据作为研究对象，其中每隔1小时记录一个数据；
(12)数据元素包括流量和降雨量、其上游各测站降雨量；
(13)构建训练样本和测试样本；由于样本数据是有时间先后关系的，按顺序取，其中训练集取总样本的70％到90％之间，测试集取剩下的部分。
3.如权利要求1所述的基于稀疏自编码的核极限学习机洪水预报方法，其特征在于，步骤(2)中，对样本数据进行预处理具体包括如下步骤：
(21)选择下游水文站的某一时刻的流量作为目标值，能够对下游水文站流量造成影响的因素包括上游的区间面降雨、上游支流的流量、土壤含水量和温度；
(22)选择待测水文站的前期流量和降雨量以及上游雨量站的降雨量作为预报因子，利用相关系数法计算上游降雨对下游流量影响的时间间隔，也就是上游前期多少时刻内的数据对下游当前时刻流量影响最大，计算公式如下：
<mrow>
<mi>R</mi>
<mo>=</mo>
<mfrac>
<mrow>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</msubsup>
<mrow>
<mo>(</mo>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mover>
<mi>p</mi>
<mo>&OverBar;</mo>
</mover>
<mo>)</mo>
</mrow>
<mrow>
<mo>(</mo>
<msub>
<mi>a</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mover>
<mi>a</mi>
<mo>&OverBar;</mo>
</mover>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msqrt>
<mrow>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</msubsup>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mover>
<mi>p</mi>
<mo>&OverBar;</mo>
</mover>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
<msqrt>
<mrow>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</msubsup>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>a</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mover>
<mi>a</mi>
<mo>&OverBar;</mo>
</mover>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
</mrow>
</mfrac>
</mrow>
其中，p为预报时刻的流量值，a为预报时刻前特征值。
4.如权利要求1所述的基于稀疏自编码的核极限学习机洪水预报方法，其特征在于，步骤(3)中，将原始样本数据经过多层稀疏自编码器进行无监督学习具体包括如下步骤：
(31)对于输入样本集合xn∈Rd,tn∈R，xn为输入变量，d为特征维度，tn为目标值，N为样本个数，定义为给定输入x情况下节点j的激活值，得到公式：
<mrow>
<msub>
<mover>
<mi>&rho;</mi>
<mo>^</mo>
</mover>
<mi>j</mi>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>N</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<mo>&lsqb;</mo>
<msubsup>
<mi>a</mi>
<mi>j</mi>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</msubsup>
<mrow>
<mo>(</mo>
<msup>
<mi>x</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</msup>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
</mrow>
其中为隐含节点j的平均激活值；
(32)神经网络后项传播损失函数为：
<mrow>
<mi>J</mi>
<mrow>
<mo>(</mo>
<mi>w</mi>
<mo>,</mo>
<mi>b</mi>
<mo>;</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>h</mi>
<mrow>
<mi>w</mi>
<mo>,</mo>
<mi>b</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>y</mi>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
</mrow>
设定权值向量和偏置每个元素初始化为接近于0的随机数，通过前向传播得到每个神经元的激活值和输出；
(33)增加一个惩罚项公式来最优化目标函数：
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>s</mi>
<mn>2</mn>
</msub>
</munderover>
<mi>K</mi>
<mi>L</mi>
<mrow>
<mo>(</mo>
<mi>&rho;</mi>
<mo>|</mo>
<mo>|</mo>
<msub>
<mover>
<mi>&rho;</mi>
<mo>^</mo>
</mover>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>s</mi>
<mn>2</mn>
</msub>
</munderover>
<mi>&rho;</mi>
<mi>log</mi>
<mfrac>
<mi>&rho;</mi>
<msub>
<mover>
<mi>&rho;</mi>
<mo>^</mo>
</mover>
<mi>j</mi>
</msub>
</mfrac>
<mo>+</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<mi>&rho;</mi>
<mo>)</mo>
</mrow>
<mi>log</mi>
<mfrac>
<mrow>
<mn>1</mn>
<mo>-</mo>
<mi>&rho;</mi>
</mrow>
<mrow>
<mn>1</mn>
<mo>-</mo>
<msub>
<mover>
<mi>&rho;</mi>
<mo>^</mo>
</mover>
<mi>j</mi>
</msub>
</mrow>
</mfrac>
</mrow>
采用相对熵衡量二者之间的差别，相对熵是描述两个概率分布差异的方法，KL散度公式为：当时，而且随着和ρ之间的差异增大而增大，使得逐渐接近ρ；
(34)稀疏自编码加入惩罚项后损失函数表示为：
<mrow>
<msub>
<mi>J</mi>
<mrow>
<mi>s</mi>
<mi>p</mi>
<mi>a</mi>
<mi>r</mi>
<mi>s</mi>
<mi>e</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>w</mi>
<mo>,</mo>
<mi>b</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>J</mi>
<mrow>
<mo>(</mo>
<mi>w</mi>
<mo>,</mo>
<mi>b</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mi>&beta;</mi>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>s</mi>
<mn>2</mn>
</msub>
</munderover>
<mi>K</mi>
<mi>L</mi>
<mrow>
<mo>(</mo>
<mi>&rho;</mi>
<mo>|</mo>
<mo>|</mo>
<msub>
<mover>
<mi>&rho;</mi>
<mo>^</mo>
</mover>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
其中β控制着稀疏惩罚项的权重大小，J(w,b)为均方差项；
(35)通过梯度下降和后项传播方法对稀疏自编码进行训练，隐含层误差项公式为：
<mrow>
<msub>
<mi>&delta;</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mrow>
<mo>(</mo>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>s</mi>
<mn>2</mn>
</msub>
</msubsup>
<msub>
<mi>w</mi>
<mrow>
<mi>j</mi>
<mi>i</mi>
</mrow>
</msub>
<msub>
<mi>&delta;</mi>
<mi>j</mi>
</msub>
<mo>+</mo>
<mi>&beta;</mi>
<mo>(</mo>
<mrow>
<mo>-</mo>
<mfrac>
<mi>&rho;</mi>
<msub>
<mover>
<mi>&rho;</mi>
<mo>^</mo>
</mover>
<mi>i</mi>
</msub>
</mfrac>
<mo>+</mo>
<mfrac>
<mrow>
<mn>1</mn>
<mo>-</mo>
<mi>&rho;</mi>
</mrow>
<mrow>
<mn>1</mn>
<mo>-</mo>
<msub>
<mover>
<mi>&rho;</mi>
<mo>^</mo>
</mover>
<mi>i</mi>
</msub>
</mrow>
</mfrac>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<msup>
<mi>f</mi>
<mo>&prime;</mo>
</msup>
<mrow>
<mo>(</mo>
<msub>
<mi>z</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>.</mo>
</mrow>
5.如权利要求4所述的基于稀疏自编码的核极限学习机洪水预报方法，其特征在于，步骤(31)中，通常取值接近于0。
6.如权利要求1所述的基于稀疏自编码的核极限学习机洪水预报方法，其特征在于，步骤(4)中，构建KELM模型具体包括如下步骤：
(41)对于输入N个时间序列样本数据(xi，yi)，其中xi＝[xi1,xi2,…xin]T，i＝1,2,…,N，n为样本的特征维度数，yi为样本数据的目标值；设隐藏层神经元数量为L，利用训练样本集建立预测模型为：
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
<mo>:</mo>
<msub>
<mi>L</mi>
<mrow>
<mi>E</mi>
<mi>L</mi>
<mi>M</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mo>|</mo>
<mo>|</mo>
<mi>&beta;</mi>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>+</mo>
<mfrac>
<mi>C</mi>
<mn>2</mn>
</mfrac>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</msubsup>
<msubsup>
<mi>&xi;</mi>
<mi>i</mi>
<mn>2</mn>
</msubsup>
</mrow>
s.t.：f(xi)＝h(xi)β＝yi-ξi
其中β＝[β1,…，βL]T为隐藏层输出权重，C为正则化参数，ξi为理论输出yi与实际输出f(xi)的误差，h(xi)为隐藏层关于样本xi的输出向量；
(42)根据KTT最优化条件解得：
<mrow>
<mi>&beta;</mi>
<mo>=</mo>
<msup>
<mi>H</mi>
<mi>T</mi>
</msup>
<msup>
<mrow>
<mo>(</mo>
<mfrac>
<mi>I</mi>
<mi>C</mi>
</mfrac>
<mo>+</mo>
<msup>
<mi>HH</mi>
<mi>T</mi>
</msup>
<mo>)</mo>
</mrow>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<mi>Y</mi>
</mrow>
其中H＝[hT(x1),…,hT(xN)]T为网络的隐藏层输出矩阵，Y＝[y1,…yN]T为目标值矩阵；(43)考虑到Mercer条件，定义KELM的核函数矩阵为：
Ω＝HHT：Ωij＝h(xi)·h(xj)＝K(xi,xj)
其中K(xi,xj)为核矩阵，是核矩阵Ω位于第i行、第j列的数值；
(44)通常情况下选择径向基函数作为KELM模型的核函数，公式为：
K(x,y)＝exp(-γ||x-y||2),γ＞0；
(45)得到KELM模型的实际输出：
<mrow>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msup>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>K</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>x</mi>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>K</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>x</mi>
<mi>N</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mi>T</mi>
</msup>
<mi>&alpha;</mi>
</mrow>
<mrow>
<mi>&alpha;</mi>
<mo>=</mo>
<msup>
<mrow>
<mo>(</mo>
<mfrac>
<mi>I</mi>
<mi>C</mi>
</mfrac>
<mo>+</mo>
<mi>&Omega;</mi>
<mo>)</mo>
</mrow>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<mi>y</mi>
</mrow>
其中α为KELM网络的输出层权值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710841563.7A CN107563567A (zh) | 2017-09-18 | 2017-09-18 | 基于稀疏自编码的核极限学习机洪水预报方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710841563.7A CN107563567A (zh) | 2017-09-18 | 2017-09-18 | 基于稀疏自编码的核极限学习机洪水预报方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107563567A true CN107563567A (zh) | 2018-01-09 |
Family
ID=60980254
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710841563.7A Pending CN107563567A (zh) | 2017-09-18 | 2017-09-18 | 基于稀疏自编码的核极限学习机洪水预报方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107563567A (zh) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108460152A (zh) * | 2018-03-26 | 2018-08-28 | 王智华 | 一种数据的多维映射方法、装置及计算机可读存储介质 |
| CN108875933A (zh) * | 2018-05-08 | 2018-11-23 | 中国地质大学（武汉） | 一种无监督稀疏参数学习的超限学习机分类方法及*** |
| CN109255469A (zh) * | 2018-08-07 | 2019-01-22 | 河海大学 | 融合栈式自编码器和支持向量回归的洪水预测方法 |
| CN109521176A (zh) * | 2019-01-30 | 2019-03-26 | 杭州电子科技大学 | 一种基于改进深度极限学习机的虚拟水质监测方法 |
| CN109613178A (zh) * | 2018-11-05 | 2019-04-12 | 广东奥博信息产业股份有限公司 | 一种基于递归神经网络预测空气污染的方法及*** |
| CN109886350A (zh) * | 2019-02-25 | 2019-06-14 | 东北农业大学 | 一种基于核极限学习机奶牛日粮消化能预测方法 |
| CN109902801A (zh) * | 2019-01-22 | 2019-06-18 | 华中科技大学 | 一种基于变分推理贝叶斯神经网络的洪水集合预报方法 |
| CN110210518A (zh) * | 2019-05-08 | 2019-09-06 | 北京互金新融科技有限公司 | 提取降维特征的方法和装置 |
| CN110276477A (zh) * | 2019-05-29 | 2019-09-24 | 河海大学 | 一种基于分层贝叶斯网络和增量学习的洪水预报方法 |
| CN110414545A (zh) * | 2019-01-17 | 2019-11-05 | 湘潭大学 | 基于改进的核极限学习机和gan的自适应学习方法 |
| CN111445087A (zh) * | 2020-04-17 | 2020-07-24 | 华北水利水电大学 | 基于极限学习机的洪水预测方法 |
| CN111598724A (zh) * | 2020-05-19 | 2020-08-28 | 四川革什扎水电开发有限责任公司 | 一种中小水库入库流量日前预测的分时段集成方法 |
| CN111814962A (zh) * | 2020-07-09 | 2020-10-23 | 平安科技（深圳）有限公司 | 识别模型的参数获取方法、装置、电子设备及存储介质 |
| CN111950465A (zh) * | 2020-08-13 | 2020-11-17 | 金陵科技学院 | 基于sae-cnn的sar图像洪水检测和预防方法 |
| CN111985103A (zh) * | 2020-08-20 | 2020-11-24 | 江南大学 | 基于核极限学习机的样本处理方法及*** |
| CN112393934A (zh) * | 2020-11-20 | 2021-02-23 | 湖南工业大学 | 基于稀疏自编码与极限学习机的风电机组故障诊断方法 |
| CN112485394A (zh) * | 2020-11-10 | 2021-03-12 | 浙江大学 | 一种基于稀疏自编码和极限学习机的水质软测量方法 |
| CN112861594A (zh) * | 2020-07-17 | 2021-05-28 | 宁夏大学 | 基于增量半监督核极限学习机的在线手写体数字识别方法 |
| CN113139622A (zh) * | 2021-05-14 | 2021-07-20 | 广西大学 | 一种基于大数据驱动的mf-ef-if制造***特征提取方法 |
| CN113342474A (zh) * | 2021-06-29 | 2021-09-03 | 中国农业银行股份有限公司 | 客户流量的预测、模型训练的方法、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104156560A (zh) * | 2014-07-12 | 2014-11-19 | 中国矿业大学 | 一种基于SaE-ELM的煤矿多等级突水预测方法 |
| CN105205449A (zh) * | 2015-08-24 | 2015-12-30 | 西安电子科技大学 | 基于深度学习的手语识别方法 |
| CN105241524A (zh) * | 2015-10-26 | 2016-01-13 | 河海大学常州校区 | 一种基于径向基函数神经网络模型的城市洪水预警***及其方法 |
| CN106599461A (zh) * | 2016-12-13 | 2017-04-26 | 中国水利水电科学研究院 | 一种洪水预报方法及装置 |
-
2017
- 2017-09-18 CN CN201710841563.7A patent/CN107563567A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104156560A (zh) * | 2014-07-12 | 2014-11-19 | 中国矿业大学 | 一种基于SaE-ELM的煤矿多等级突水预测方法 |
| CN105205449A (zh) * | 2015-08-24 | 2015-12-30 | 西安电子科技大学 | 基于深度学习的手语识别方法 |
| CN105241524A (zh) * | 2015-10-26 | 2016-01-13 | 河海大学常州校区 | 一种基于径向基函数神经网络模型的城市洪水预警***及其方法 |
| CN106599461A (zh) * | 2016-12-13 | 2017-04-26 | 中国水利水电科学研究院 | 一种洪水预报方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 林雨: "《极限学习机与自动编码器的融合算法研究》", 《中国优秀硕士学位论文全文数据库》 * |
| 马凯凯 等: "《数据驱动的中小河流智能洪水预报方法对比研究》", 《中国科学技术大学学报》 * |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108460152A (zh) * | 2018-03-26 | 2018-08-28 | 王智华 | 一种数据的多维映射方法、装置及计算机可读存储介质 |
| CN108875933A (zh) * | 2018-05-08 | 2018-11-23 | 中国地质大学（武汉） | 一种无监督稀疏参数学习的超限学习机分类方法及*** |
| CN109255469A (zh) * | 2018-08-07 | 2019-01-22 | 河海大学 | 融合栈式自编码器和支持向量回归的洪水预测方法 |
| CN109613178A (zh) * | 2018-11-05 | 2019-04-12 | 广东奥博信息产业股份有限公司 | 一种基于递归神经网络预测空气污染的方法及*** |
| CN110414545B (zh) * | 2019-01-17 | 2024-05-10 | 湘潭大学 | 基于改进的核极限学习机和gan的自适应学习方法 |
| CN110414545A (zh) * | 2019-01-17 | 2019-11-05 | 湘潭大学 | 基于改进的核极限学习机和gan的自适应学习方法 |
| CN109902801B (zh) * | 2019-01-22 | 2020-11-17 | 华中科技大学 | 一种基于变分推理贝叶斯神经网络的洪水集合预报方法 |
| CN109902801A (zh) * | 2019-01-22 | 2019-06-18 | 华中科技大学 | 一种基于变分推理贝叶斯神经网络的洪水集合预报方法 |
| CN109521176A (zh) * | 2019-01-30 | 2019-03-26 | 杭州电子科技大学 | 一种基于改进深度极限学习机的虚拟水质监测方法 |
| CN109521176B (zh) * | 2019-01-30 | 2021-08-31 | 杭州电子科技大学 | 一种基于改进深度极限学习机的虚拟水质监测方法 |
| CN109886350A (zh) * | 2019-02-25 | 2019-06-14 | 东北农业大学 | 一种基于核极限学习机奶牛日粮消化能预测方法 |
| CN110210518A (zh) * | 2019-05-08 | 2019-09-06 | 北京互金新融科技有限公司 | 提取降维特征的方法和装置 |
| CN110210518B (zh) * | 2019-05-08 | 2021-05-28 | 北京互金新融科技有限公司 | 提取降维特征的方法和装置 |
| CN110276477B (zh) * | 2019-05-29 | 2022-08-16 | 河海大学 | 一种基于分层贝叶斯网络和增量学习的洪水预报方法 |
| CN110276477A (zh) * | 2019-05-29 | 2019-09-24 | 河海大学 | 一种基于分层贝叶斯网络和增量学习的洪水预报方法 |
| CN111445087A (zh) * | 2020-04-17 | 2020-07-24 | 华北水利水电大学 | 基于极限学习机的洪水预测方法 |
| CN111598724A (zh) * | 2020-05-19 | 2020-08-28 | 四川革什扎水电开发有限责任公司 | 一种中小水库入库流量日前预测的分时段集成方法 |
| CN111598724B (zh) * | 2020-05-19 | 2022-07-22 | 四川革什扎水电开发有限责任公司 | 一种中小水库入库流量日前预测的分时段集成方法 |
| CN111814962B (zh) * | 2020-07-09 | 2024-05-10 | 平安科技（深圳）有限公司 | 识别模型的参数获取方法、装置、电子设备及存储介质 |
| CN111814962A (zh) * | 2020-07-09 | 2020-10-23 | 平安科技（深圳）有限公司 | 识别模型的参数获取方法、装置、电子设备及存储介质 |
| CN112861594A (zh) * | 2020-07-17 | 2021-05-28 | 宁夏大学 | 基于增量半监督核极限学习机的在线手写体数字识别方法 |
| CN112861594B (zh) * | 2020-07-17 | 2023-07-28 | 宁夏大学 | 基于增量半监督核极限学习机的在线手写体数字识别方法 |
| CN111950465A (zh) * | 2020-08-13 | 2020-11-17 | 金陵科技学院 | 基于sae-cnn的sar图像洪水检测和预防方法 |
| CN111985103A (zh) * | 2020-08-20 | 2020-11-24 | 江南大学 | 基于核极限学习机的样本处理方法及*** |
| CN111985103B (zh) * | 2020-08-20 | 2024-05-07 | 江南大学 | 基于核极限学习机的样本处理方法及*** |
| CN112485394A (zh) * | 2020-11-10 | 2021-03-12 | 浙江大学 | 一种基于稀疏自编码和极限学习机的水质软测量方法 |
| CN112393934A (zh) * | 2020-11-20 | 2021-02-23 | 湖南工业大学 | 基于稀疏自编码与极限学习机的风电机组故障诊断方法 |
| CN113139622B (zh) * | 2021-05-14 | 2022-09-30 | 广西大学 | 一种基于大数据驱动的mf-ef-if制造***特征提取方法 |
| CN113139622A (zh) * | 2021-05-14 | 2021-07-20 | 广西大学 | 一种基于大数据驱动的mf-ef-if制造***特征提取方法 |
| CN113342474B (zh) * | 2021-06-29 | 2024-04-30 | 中国农业银行股份有限公司 | 客户流量的预测、模型训练的方法、设备及存储介质 |
| CN113342474A (zh) * | 2021-06-29 | 2021-09-03 | 中国农业银行股份有限公司 | 客户流量的预测、模型训练的方法、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107563567A (zh) | 基于稀疏自编码的核极限学习机洪水预报方法 | |
| Kisi et al. | River suspended sediment estimation by climatic variables implication: Comparative study among soft computing techniques | |
| Orouji et al. | Modeling of water quality parameters using data-driven models | |
| CN108009674A (zh) | 基于cnn和lstm融合神经网络的空气pm2.5浓度预测方法 | |
| Shiri et al. | Predicting groundwater level fluctuations with meteorological effect implications—A comparative study among soft computing techniques | |
| Mukerji et al. | Flood forecasting using ANN, neuro-fuzzy, and neuro-GA models | |
| Safavi et al. | Conjunctive use of surface and ground water resources using the ant system optimization | |
| Lv et al. | A long Short-Term memory cyclic model with mutual information for hydrology forecasting: A Case study in the xixian basin | |
| CN106650767A (zh) | 基于聚类分析和实时校正的洪水预报方法 | |
| El-Shafie et al. | Enhancing inflow forecasting model at Aswan high dam utilizing radial basis neural network and upstream monitoring stations measurements | |
| Shiri et al. | Estimation of daily suspended sediment load by using wavelet conjunction models | |
| Jalalkamali | Using of hybrid fuzzy models to predict spatiotemporal groundwater quality parameters | |
| CN111915058B (zh) | 基于长短时记忆网络和迁移学习的洪水预测方法与装置 | |
| Huangpeng et al. | Forecast of the hydropower generation under influence of climate change based on RCPs and Developed Crow Search Optimization Algorithm | |
| Kişi | Evolutionary neural networks for monthly pan evaporation modeling | |
| CN110164129B (zh) | 基于gernn的单交叉口多车道交通流量预测方法 | |
| El-Shafie et al. | Optimized neural network prediction model for potential evapotranspiration utilizing ensemble procedure | |
| Roy et al. | Influence of sea level rise on multiobjective management of saltwater intrusion in coastal aquifers | |
| CN113947182B (zh) | 基于双阶段堆叠图卷积网络的交通流预测模型构建方法 | |
| CN109034228A (zh) | 一种基于差分隐私和层级相关性传播的图像分类方法 | |
| CN104951847A (zh) | 一种基于核主成分分析和基因表达式编程的降水预报方法 | |
| CN112307536B (zh) | 一种大坝渗流参数反演方法 | |
| CN107766694A (zh) | 基于fcm‑nsga‑ii的水文模型参数估计方法 | |
| Li et al. | A stepwise clustered hydrological model for addressing the temporal autocorrelation of daily streamflows in irrigated watersheds | |
| Shiri et al. | Forecasting daily stream flows using artificial intelligence approaches |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180109 |
|
| RJ01 | Rejection of invention patent application after publication |