CN101782743A - 神经网络建模方法及*** - Google Patents

Abstract

本发明公开了一种神经网络建模方法及***，其中的方法包括：数据预处理的步骤：采集实际过程的历史数据，并筛选出样本数据；神经网络初始化的步骤：初始化神经网络模型参数；输出计算的步骤：根据所述模型以及样本输入计算神经网络模型的输出；增益计算的步骤：根据所述模型参数以及样本数据计算模型输出相对于输入的增益；模型训练的步骤：根据模型输出与样本数据之间的误差以及模型的输入输出增益指导神经网络模型进行参数的迭代学习，直到得到满足精度要求以及增益约束的模型。本发明可明确表征神经网络模型的输入输出增益关系，并可进一步通过增益约束使建立的模型更加符合实际情况。

Description

神经网络建模方法及***

技术领域

本发明涉及智能控制技术领域，尤其涉及一种神经网络建模方法及***。

背景技术

随着现代流程工业生产向复杂化、大型化发展，简单的基于反馈的常规控制方法已不能满足现代企业的生产要求，基于过程模型对***进行各种高级控制算法的设计逐渐成为通用有效的方法。其中，获取被控对象精确的数学模型已成为当前控制***设计以及先进控制项目实施的首要任务。

***建模主要有两类方法，一类是机理建模，即根据过程本身的内在机理来建立***的模型，然而大多数实际的工业生产过程机理非常复杂，干扰因素很多，通过理论分析建立***的机理模型往往非常困难；另一类是***辨识方法，也就是根据待辨识过程的输入、输出数据建立数学模型。随着控制过程复杂性的增加以及对控制精度要求的不断提高，近年来，一系列的非线性辨识方法相继出现，如人工神经网络、模糊理论、小波分析、支持向量机等建模方法，在一定程度上有效地降低了非线性过程建模的难度。

人工神经网络(Artificial Neural Network)是在人类对自身大脑神经网络认识理解的基础上人工构造的能够实现某种功能的模型，不需要建模者对建模对象的内在机理有精确了解，通过输入、输出数据训练神经网络的参数(包含连接权值和偏置系数)，就能使神经网络模型准确地反映实际的过程，它具有以下一些优点：

①通过非线性映射，学习***的特性具有近似地表示任意非线性函数及其逆的能力；

②人工神经网络是由许多相同的简单处理单元采用并行分布处理结构组合而成，具有强大的信息处理能力。

③网络自身具有很强的容错性和联想功能。

然而，传统的神经网络模型仍然存在一些明显的缺陷，采用记忆的方式进行学习和预测，当学习数据不充分的时候，模型就无法正常工作。另外，神经网络是一种黑箱方法，即无法以明确的方式表达它所包含的知识(输入输出关系，即模型增益)，以及向使用者解释怎样导出它的运算结果，难以帮助使用者提高认识能力和验证模型的正确性以及合理性。例如，在实际的生产中，操作人员关心的往往是输入对输出的影响关系，然而，传统的神经网络模型缺少反映这种输入输出关系的指标，并且在模型的训练中只考虑模型的输出误差，没有考虑到正确的模型输入输出关系(即增益)对指导实际生产的重要性，这样虽然可以得到精度比较高的模型，然而在利用所建立的模型对实际的生产过程进行控制时，往往会由于不正确的输入输出关系导致不可预知的结果。所以，研究神经网络的知识获取与行为解释方式，获取输入输出关系(即增益)与实际生产经验相符合的神经网络模型，对提高神经网络预测模型的可靠性，推广神经网络在实际工业生产中的应用具有重要意义。

学习算法的效率和有效性极大地影响神经网络模型预测的精确性和正确性。D.E.Rumelhart等在1986年提出的多层神经网络权值修正算法——误差反向传播法(Error Back-Propagation)因其简单、易行、计算量小、并行性强等优点，成为目前神经网络训练采用最多也是最为成熟的训练算法。然而，BP算法存在着训练时间长、收敛速度慢、易陷入局部最小点等缺陷。Hush已经严格证明了一个多层神经网络的参数学习是一类NP-hard问题，一系列的研究表明，在神经网络的训练过程中，存在着相变和临界点，在临界点处，优化问题的计算复杂性会大大增加，优化过程会变得非常困难。

综上所述，对于目前的工业生产中存在非线性***建模困难的问题，设计一种与实际生产经验符合的能够合理反映***输入输出关系(即增益)的非线性神经网络模型以及稳定高效的神经网络学习方法，具有非常重要的意义。

发明内容

有鉴于此，本发明提供一种神经网络建模方法及***，可明确表征输入输出关系，并可进一步通过极值优化算法进行增益约束使建模更加符合实际情况。

为此，本发明实施例采用如下技术方案：

一种神经网络建模方法，其特征在于，包括：数据预处理的步骤：采集实际生产过程的历史数据，并筛选出样本数据；神经网络初始化的步骤：初始化神经网络模型参数；输出计算的步骤：根据所述模型以及样本输入计算神经网络模型的输出；增益计算的步骤：根据所述模型参数以及样本数据计算模型输出相对于输入的增益。

优选地，上述方法还包括：模型训练的步骤：根据模型输出与样本数据之间的误差以及模型的输入输出增益通过极值优化算法指导神经网络模型进行参数的迭代学习，直到得到满足精度要求以及增益约束的模型。

其中，所述通过极值优化算法指导神经网络模型进行参数的迭代学习包括：S1：***初始化，随机产生神经网络的连接权值和偏置系数，将初始化的第一代染色体置为当前最优解；S2：对染色体进行标准极值优化算法变异操作，确定变异之后的新解；S3：计算模型的输出，根据所述模型以及样本输入计算神经网络模型的输出；S4：计算增益惩罚值，对每个样本数据，判断其增益是否在预置的增益区间内：若是，增益惩罚值为0；否则，根据违背增益的严重程度确定增益惩罚值的大小；S5：根据模型误差与增益惩罚值，计算出所述新解的全局适应度函数值；S6：判断所述新解的全局适应度函数值是否优于所述当前最优解：若是，将所述新解的全局适应度函数值更新为最优解；否则，保持当前最优解不变；S7：判断模型是否符合精度和增益约束要求：若是，终止；否则，重复上述步骤S2-S7直到满足误差要求。

其中，所述增益惩罚值为预置的固定数值或者为根据增益违背情况设置的线性或非线性函数。

其中，所述极值优化算法是基于实数编码实现的。

其中，基于实数编码实现的极值优化算法包括：在对模型的参数进行优化时，通过预置的对应关系将神经网络的参数矩阵编码成为极值优化算法中所用的由实数串表示的染色体格式；在计算模型误差以及增益惩罚值时，将极值优化算法中使用的实数串表示的染色体解码后组装成为神经网络中的参数矩阵。

其中，根据训练样本通过分步求导的方式计算出所述增益。

一种神经网络模型***，包括：数据预处理模块，用于采集实际过程的历史数据，并筛选出样本数据；神经网络初始化模块，用于初始化神经网络模型参数；输出计算模块，用于根据所述模型以及样本输入计算神经网络模型的输出；增益计算模块，根据所述模型参数以及样本数据计算模型输出相对于输入的增益。

上述***还包括：模型训练模块，根据模型输出与样本数据之间的误差以及模型的输入输出增益通过极值优化算法指导神经网络模型进行参数的迭代学习。

其中，所述增益计算模块，用于判断每个样本数据的增益是否在预置的增益区间内：若是，增益惩罚值为0；否则，根据违背增益的严重程度确定增益惩罚值的大小；所述模型训练模块，根据所述增益计算模块提供的增益惩罚值以及获取到的模型误差，对所述模型的参数进行优化。

其中，所述模型训练模块是基于实数编码实现的。所述增益计算模块通过分步求导的方式计算出所述增益。

对于上述技术方案的技术效果分析如下：

(1)采用在训练样本上计算的输出到输入的增益作为训练过程中的约束，确保得到的神经网络模型能够符合原理和实际的操作经验，增强了模型的可靠性。

(2)采用极值优化算法对神经网络的参数进行优化，可以有效的克服传统BP训练算法陷入局部最小值的缺陷，增强了模型的学习能力和泛化能力。

(3)采用实数编码的极值优化算法，避免了常用的二进制编码极值优化算法带来的精度损失问题。

附图说明

图1为神经网络建模方法流程图；

图2为本发明前向多层神经网络模型示意图；

图3为本发明网络建模***示意图；

图4为本发明神经网络参数矩阵与极值优化算法中染色体的转化以及增益约束示意图；

图5为本发明使用极值优化算法优化神经网络参数的流程图。

具体实施方式

如前所述，获取输入输出关系(即增益)与实际生产经验相符合的神经网络模型，对提高神经网络预测模型的可靠性，推广神经网络在实际工业生产中的应用具有重要意义。

本发明提出一种表征输入输出关系的神经网络建模方法，参见图1，为本发明方法流程图，包括：

S101：数据预处理的步骤：采集实际过程的历史数据，并筛选出样本数据；

S102：神经网络初始化的步骤：初始化神经网络模型参数；

S103：输出计算的步骤：根据所述模型以及样本输入计算神经网络模型的输出；

S104：增益计算的步骤：根据所述模型参数以及样本数据计算模型输出相对于输入的增益；

S105：模型训练的步骤：根据模型输出与样本数据之间的误差以及模型的输入输出增益通过极值优化算法指导神经网络模型进行参数的迭代学习，直到得到满足精度要求以及增益约束的模型。

其中，通过S101-S104可实现表征输入输出关系的神经网络模型，进一步，通过执行S105，可采用极值优化算法(Extremal Optimization，EO)根据模型误差与增益惩罚值对所述模型的参数进行优化。

可见，采用在训练样本上计算的输出到输入的增益作为训练过程中的约束，确保得到的神经网络模型能够符合原理和实际的操作经验，增强了模型的可靠性。而且本发明中的增益计算基于实际过程采集的历史数据，与已有脱离学习样本计算增益理论上下界的方法相比，本发明能够约束生产操作范围(即学习样本)上的模型增益在合理区间内，确保建立的模型更加符合实际的生产情况。

采用具有全局搜索能力的EO算法对神经网络进行参数寻优，可以避免传统的基于BP算法的训练方法陷入局部最小值的缺点并能够克服训练过程中相变边界点计算复杂性增加导致的学习过程缓慢的问题，具有良好的应用前景。

下面对本发明较优实施例进行详细介绍。

如图2所示，为前向多层神经网络模型示意图。前向多层神经网络模型学***衡态理论的极值优化算法能够更好的处理神经网络学习中临界点的存在导致的参数优化困难。

本发明提供的神经网络模型***如图3所示，采用一个前馈的神经网络结构作为非线性模型的基本形式，结合极值优化算法根据学习样本(待建模对象的输入输出数据)对模型的参数(包括连接权值和偏置系数)进行优化和调整。同时，对每一组训练样本求取在该工况下的前馈神经网络模型输出对输入的偏导数(即输出相对于输入的增益)，并在EO的优化过程中检查模型在训练样本上的增益是否违背实际给定的约束(该约束通过过程机理的先验知识或者实际过程的操作经验获取)，若违背增益约束，则在基于模型误差的目标函数上增加惩罚函数。经过进化，具有全局搜索能力的启发式算法EO会在搜索空间上找到一组经过优化的参数(连接权值和偏置系数)，使其既符合实际的操作经验，又具有很好的模型精度。

所述的基于极值优化算法的增益约束神经网络建模方法包含以下基本功能模块：

I.数据预处理模块，用于采集实际过程的历史数据，并筛选合理的数据进行建模的准备工作，包含确定模型输入输出，采集历史数据，去除含有坏点以及不正常工况的数据，归一化正则化处理以及采用聚类方法去除冗余信息。

II.初始化模块，初始化神经网络模型(结构，参数寻优范围)，输入输出增益的范围。

III.输出计算模块，根据当前的模型参数(连接权值和偏置系数)和样本输入计算神经网络的输出，在优化过程中，该模块用于计算当前参数下的模型误差。

IV.增益计算模块，根据当前的神经网络模型参数，对于每一对输入输出数据，计算每一维输出到输入的增益，并且检查其是否落入事先给定的增益范围内，如果违背约束，则在训练误差上增加惩罚函数。

V.模型优化模块：采用EO算法对神经网络的参数进行优化。

1)在搜索空间上随机产生神经网络的初始权值和偏置系数。

2)按照实数编码的格式，将神经网络的参数编码成为一个实数向量表达的染色体，供EO进行优化。

3)进入EO优化程序，在优化过程中，进化得到的染色体需要被解码成为神经网络的连接权值和偏置系数，并通过神经网络结构根据每一组学习样本调用模型增益计算模块计算增益约束惩罚值，同时调用输出计算模块计算模型输出和误差，将模型误差和增益约束惩罚值的加和作为参数优化的目标函数值，然后重新编码为染色体进行进化。

4)检查模型是否符合模型精度和增益约束要求，若否，则返回步骤3继续进行优化，若是，则停止训练，返回优化后的参数值。

下面从神经网络模型的建立及优化角度对本发明步骤进行详细介绍。

一、采集数据并经过预处理得到合理的训练样本

1)对于待建模的过程对象，根据工艺分析和操作特点，确立***边界和模型输出，选择操作变量和其他对输出有影响的可测量重要过程变量作为模型的输入，采集待建模***的历史数据，对于具有动态特性的***，还要特别注意由于***动态导致的输入输出数据在时间上的对应问题。

2)对样本数据进行坏点去除，首先去除含有缺失信息的输入输出数据(样本数据)，然后根据正常生产工况的变化范围确立每个变量的上下限，通过上下限去除非正常工况的数据，即在上下限之间的数据得以保留，超过上限或者低于下限的数据均被删除。

3)根据公式(1)，对经过坏点去除的数据进行预处理，对输入变量和输出变量进行正则化(归一化)处理，确保建模数据在同一标度下：

$u_i=\frac{u_i-\mathrm{Mean}\_u_i}{\mathrm{Std}\_u_i},i=1,...m---\left(1\right)$

$y_j=\frac{y_j-\mathrm{Mean}\_y_j}{\mathrm{Std}\_y_j},j=1,...n---\left(2\right)$

其中，Mean_u_i代表第i个输入变量u_i的平均值，Std_u_i代表标准差。Mean_y_j和Std_y_j同理可得。

4)对预处理过的数据进行聚类，从海量的历史数据中得到有效的不含冗余信息的样本数据。聚类的方法很多，在此不一一赘述。

二、神经网络模型的初始化

1)根据实际建模对象特点，设置模型结构，确定输入输出节点个数，隐节点个数。

2)基于模型输入、输出数据建立初始神经网络模型。

3)根据实际建模对象的特点，设定三层前向神经网络模型参数的寻优范围。

4)根据实际对象的机理和操作经验，设定输入到输出的增益约束范围。该约束通过机理或者实际过程的操作经验获取，可以是定值、确定的区间范围、或者仅仅是一个符号，即正或负；也可以是正无穷到负无穷，即不做约束。

三、采用EO算法对神经网络的参数进行优化(涉及到输出计算模块和模型增益计算模块的调用，以及全局适应度和局部适应度函数的定义)

1)使用实数编码的染色体表征神经网络中的参数矩阵。

本发明中使用了实数编码的极值优化算法，以避免二进制编码带来的寻优精度损失问题，在使用极值优化算法对神经网络的参数(连接权值以及偏置系数)进行优化时，神经网络参数是以单个一维数组的形式存在的，数组(染色体)中每一元素(基因)对应神经网络的一个参数(连接权值或偏置系数)，如图4所示；而在以神经网络形式表征的空间中，模型的参数是以多个二维数组的形式存在的，如图2所示。本发明中，神经网络参数的优化需要在极值优化算法表征的优化空间、神经网络表征的模型误差以及增益约束计算空间之间交替进行。因此，在使用极值优化算法对神经网络进行优化时，要通过固定的对应关系将神经网络的参数矩阵编码成为极值优化算法中所用的实数串表示的染色体格式；而当计算模型误差和增益约束时，则要将极值优化算法中使用的实数串表示的染色体解码后组装成为神经网络中的参数矩阵。

2)使用极值优化算法对编码后的神经网络参数进行寻优。

必须指出的是，在EO算法的寻优过程中，只存在单一个体，该个体的每个组成部分(又称决策变量)被称为“组元”。EO每次只对当前个体中的一个组元进行变异，其它组元保持不变，就可以得到一个子个体。EO算法中适应度函数的定义对于加快收敛速度和找到全局最优解起着至关重要的作用；但是，对于不同的问题，其适应度函数的定义都有所不同。一般地，EO算法根据各个内部组元对个体目标函数值的贡献大小来为每个组元赋予适应度(局部适应度)，适应度最小的组元就是最差组元。在每次迭代中，EO总是选择适应度最差的组元及其邻居来进行变异，从而使得所有组元都能协同进化(Co-evolution)，个体的构造不断地得到改善，最终可以找到近似最优解或最优解。在本发明采用EO对神经网络的参数进行寻优时，使用了几个最基本的计算模块，分别用来计算神经网络的输出，全局适应度函数，局部适应度函数，以及增益约束惩罚。下面详细介绍这几个重要的计算模块。

输出计算模块：

以如图3中所示的采用三层(带有一个隐层)的神经网络为例，隐层节点的转换函数采用Sigmoid函数(用f(x)表示)，输出节点的转换函数采用线性函数。设神经网络的三层节点表示为：u_i(i＝1，2，L，m)表示第i个输入变量，o_j(j＝1，2，L k)表示第j个隐节点的输出，y_l(l＝1，2，L，n)表示第1个输出变量。输入节点u_i与隐节点o_j间的连接权值为w_ij，偏置系数为q_j，隐节点输出o_j与输出节点y_l(l＝1，2，L，n)间的连接权值为v_jl，偏置系数为r_l，则模型输出的计算公式为：

其中， $f\left(x\right)=\frac{1}{1+e^{-x/a_0}},$ a₀为常数。

全局适应度函数：

全局适应度函数(Global fitness function)基于集中控制的思想，使用全局信息来评价整体解的优化状态。这是较为传统、直观的方法，广泛应用于各种组合优化问题。在本发明中，全局适应度函数由两部分组成，模型误差项以及违背增益约束的惩罚项。

Fitness_global(S)＝Error(S)+Penalty(S)     (5)

模型误差项Error(S)可以由公式(6)进行计算：

公式(6)中，模型误差由在学***方和计算。

局部适应度函数：

局部适应度函数(Local fitness function)基于分散控制的思想，使用局部的、有限的信息来评价组成整体解中单个决策变量的优化状态，并指导整体解的进化。在EO中，局部适应度一般定义为对全局适应度的改善，如公式(7)所示。

$l_i={\mathrm{Fitness}}_{\mathrm{local}}\left(i\right)={\mathrm{DFitness}}_{\mathrm{global}}\left(i\right)$

                     (7)

增益计算以及增益约束的惩罚项计算：

以图4为例，采用单个隐层，隐层节点采用Sigmoid函数，输出节点采用线性输出函数进行计算神经网络进行训练时，通过分步求导，可以获得从输出到输入的导数为：

o_j为第j个隐节点的输出，由公式(8)可得，输出对输入的偏导数(增益)与训练数据的分布以及网络的连接权值均有关系，通过调节网络的权值，可以保证神经网络模型在样本点(即操作工况)上的增益符合实际的生产经验。

根据公式(8)，可以计算在每一个训练样本上每一维输出对输入的增益，通过检验这些增益是否符合事先给定的经验(机理)增益区间，当有增益不符合时，对该神经网络模型通过Penalty(S)进行惩罚，Penalty(S)可以是事先设定的一个固定的惩罚值，也可以根据增益违背严重的情况设置线性或者非线性的惩罚函数。

参见图5，采用EO优化神经网络参数的流程如下：

S501：***初始化，随机产生神经网络的连接权值和偏置系数，将初始化的第一代染色体置为当前最优解；

***初始化，随机产生神经网络的连接权值和偏置系数，按照图4中的编码方式将神经网络中的参数矩阵采用实数编码的染色体进行表征。并通过公式(5)计算当代染色体S的全局适应度函数值，并将初始的第一代染色体S设置为最优解S_best。

S502：对染色体进行标准极值优化算法变异操作，确定变异之后的新解；

标准EO变异，根据公式(9)依次改变染色体中的每个决策变量(在寻优范围内随机的产生一个数值替代原有的x_i)：

通过公式(9)在S的邻域空间得到一系列新的解集

并通过公式(7)计算解集中每个新解

的局部适应度l_i，然后根据局部适应度函数寻找j，使得λ_j≥λ_k(k＝1，2，...，n)，也就是说，变量x_j具有“最差”的局部适应度，选择具有最差局部适应度的决策变量进行变异，得到变异之后的新解

S503：增益惩罚值计算：对每个样本数据，判断其增益是否在预置的增益区间内，若是，增益惩罚值为0，否则，根据违背增益的严重程度确定增益惩罚值的大小；

具体地，根据公式(8)，计算在每一个训练样本上每一维输出对输入的增益，检验这些增益是否符合事先给定的经验(机理)增益区间，当增益符合约束时，惩罚值为零，当有增益不符合时约束时，根据违背增益的严重程度计算惩罚值的大小。

S504：根据模型误差与增益惩罚值，计算出所述新解的全局适应度函数值；

具体地，根据公式(5)计算新解

的全局适应度函数值。

S505：判断所述新解的全局适应度函数值是否优于所述当前最优解，若是，执行S506将所述新解的全局适应度函数值更新为最优解，否则，保持当前最优解不变；

具体地，根据全局适应度函数值的大小判断当前新解

是否好于最优解S_best，若是，则令

若否，则保持S_best不变。

S507：判断模型的增益是否符合约束要求以及误差是否在预置的误差范围内，若是，执行S508终止，否则，重复上述步骤S502-S507直到满足误差要求。

具体地，判断是否满足终止条件，若是，终止优化并返回最优解S_best，若否，重复S502至S507直到满足终止条件，其中，终止条件为满足所有预先设定增益约束的情况下，***的预测误差小于事先给定的精度条件。

可见，通过EO算法对模型参数的优化，S_best为优化过的包含神经网络参数(连接权值和偏置系数)的染色体，将解码后的染色体组装成神经网络中的参数矩阵，即可得到满足增益约束的神经网络模型，该模型能够在精确预测***输出的同时，确保模型在操作工况(即训练数据)上的增益也符合实际的生产经验，对于开发可靠的基于模型的高级过程控制算法有着重要的实际意义。

综上，为了克服传统的神经网络模型无法明确的表征输入输出关系(即增益)的缺点，以及通用的BP学习算法速度慢、容易陷入局部极小点的不足，在计算神经网络输入输出增益的基础上，本发明提供一种可以在训练样本的分布范围内明确表征输入输出增益的神经网络模型，以及基于极值优化算法的神经网络训练方法，并在模型的训练过程中，将先验知识(实际生产的经验)作为神经网络模型的增益约束，从而在减少模型误差的同时，得到符合实际生产经验的能够正确反映输入输出关系的非线性神经网络模型。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (12)

1.一种神经网络建模方法，其特征在于，包括：

数据预处理的步骤：采集实际生产过程的历史数据，并筛选出样本数据；

神经网络初始化的步骤：初始化神经网络模型参数；

输出计算的步骤：根据所述模型以及样本输入计算神经网络模型的输出；

增益计算的步骤：根据所述模型参数以及样本数据计算模型输出相对于输入的增益。

2.根据权利要求1所述方法，其特征在于，还包括：

模型训练的步骤：根据模型输出与样本数据之间的误差以及模型的输入输出增益通过极值优化算法指导神经网络模型进行参数的迭代学习，直到得到满足精度要求以及增益约束的模型。

3.根据权利要求2所述方法，其特征在于，所述通过极值优化算法指导神经网络模型进行参数的迭代学习包括：

S1：***初始化，随机产生神经网络的连接权值和偏置系数，将初始化的第一代染色体置为当前最优解；

S2：对染色体进行标准极值优化算法变异操作，确定变异之后的新解；

S3：计算模型的输出，根据所述模型以及样本输入计算神经网络模型的输出；

S4：计算增益惩罚值，对每个样本数据，判断其增益是否在预置的增益区间内：若是，增益惩罚值为0；否则，根据违背增益的严重程度确定增益惩罚值的大小；

S5：根据模型误差与增益惩罚值，计算出所述新解的全局适应度函数值；

S6：判断所述新解的全局适应度函数值是否优于所述当前最优解：若是，将所述新解的全局适应度函数值更新为最优解；否则，保持当前最优解不变；

S7：判断模型是否符合精度和增益约束要求：若是，终止；否则，重复上述步骤S2-S7直到满足误差要求。

4.根据权利要求3所述方法，其特征在于，所述增益惩罚值为预置的固定数值或者为根据增益违背情况设置的线性或非线性函数。

5.根据权利要求2、3或4所述方法，其特征在于，所述极值优化算法是基于实数编码实现的。

6.根据权利要求5所述方法，其特征在于，基于实数编码实现的极值优化算法包括：

在对模型的参数进行优化时，通过预置的对应关系将神经网络的参数矩阵编码成为极值优化算法中所用的由实数串表示的染色体格式；

在计算模型误差以及增益惩罚值时，将极值优化算法中使用的实数串表示的染色体解码后组装成为神经网络中的参数矩阵。

7.根据权利要求1、2、3或4所述方法，其特征在于，根据训练样本通过分步求导的方式计算出所述增益。

8.一种神经网络模型***，其特征在于，包括：

数据预处理模块，用于采集实际过程的历史数据，并筛选出样本数据；

神经网络初始化模块，用于初始化神经网络模型参数；

输出计算模块，用于根据所述模型以及样本输入计算神经网络模型的输出；

增益计算模块，根据所述模型参数以及样本数据计算模型输出相对于输入的增益。

9.根据权利要求8所述***，其特征在于，还包括：

模型训练模块，根据模型输出与样本数据之间的误差以及模型的输入输出增益通过极值优化算法指导神经网络模型进行参数的迭代学习。

10.根据权利要求9所述***，其特征在于，

所述增益计算模块，用于判断每个样本数据的增益是否在预置的增益区间内：若是，增益惩罚值为0；否则，根据违背增益的严重程度确定增益惩罚值的大小；

所述模型训练模块，根据所述增益计算模块提供的增益惩罚值以及获取到的模型误差，对所述模型的参数进行优化。

11.根据权利要求9或10所述***，其特征在于，所述模型训练模块是基于实数编码实现的。

12.根据权利要求9或10所述***，其特征在于，所述增益计算模块通过分步求导的方式计算出所述增益。

Images