CN106295874B - 基于深信度网络的交通流参数预测方法 - Google Patents

Abstract

本发明提供了一种基于深信度网络的交通流参数预测方法，包括以下步骤：根据交通流的预测时间间隔，采集交通流参数，在参数聚合的基础上，用归一化方法，对采集的交通流参数进行预处理；建立基于深信度网络的交通流参数预测方法，将归一化的交通流参数划分为训练数据集合测试数据集，并利用测试数据集训练DBN模型；利用深信度网络预测模型进行交通流参数预测；对比测试数据集和预测数据，进行误差分析。本发明通过分析并选取最佳神经网络结构，提高了参数预测的准确度。

Description

基于深信度网络的交通流参数预测方法

技术领域

本发明涉及智能交通***领域，具体地，涉及一种基于深信度网络的交通流参数预测方法。

背景技术

作为智能交通***(Intelligent Transportation System，ITS)的核心内容之一，智能交通控制与诱导***一直是智能交通***研究的热门课题。智能控制与诱导的实现能有效地缓解交通堵塞、减轻环境污染，提供高效安全的道路通行状况。这些实现的前提和关键是能够对短时交通流量进行准确的预测，预测的准确度直接决定了控制和诱导的有效性。

经对现有技术的文献检索发现，已有的预测模型大致可以分为参数化和非参数化模型两类。早期的研究者们使用基于时间序列分析的参数化模型来预测交通流。Levin等使用Box–Jenkins时间序列分析来预测高速公路交通流，发现差分自回归移动平均(Autoregressive Integrated Moving Average，ARIMA)模型在统计上最有效。由于交通流参数很难用参数化模型解析的数学公式描述，导致预测准确率不够理想。目前研究集中在基于机器学习的非参数模型来预测短时交通流。由于人工神经网络(Artificial NeuralNetwork，ANN)在处理较为复杂的非线性问题上的优势，研究者们提出了各种基于人工神经网络的模型和算法，近几年随着深度学习的提出，也有研究者将深度学习的引入该领域。LvY等使用栈式自动编码器(Stacked Autoencoder，SAE)深度学习模型来对交通流进行建模和预测。但这些模型结构简单，且在模型使用过程中需要进行人工筛选，预测精度较差。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于深信度网络的交通流参数预测方法。

根据本发明提供的基于深信度网络的交通流参数预测方法，包括如下步骤：

步骤1：采集历史交通流参数，并利用归一化方法对交通流参数进行预处理，得到归一化后的数据集；

步骤2：建立基于深信度网络的交通流参数预测模型，将归一化后的数据集划分为训练数据集和测试数据集，用测试数据集训练交通流参数预测模型；

步骤3：利用训练后的基于深信度网络的交通路流参数预测模型预测未来交通流参数，得到预测数据；

步骤4：将测试数据集和预测数据进行比较，分析误差。

优选地，所述步骤1中的历史交通流参数是指：在指定的特定观测点所得到的在指定时间间隔内的车辆数。

优选地，所述步骤1中采用归一化方法对交通流参数进行预处理的具体过程如下：

分别计算历史交通流参数某一样本中的最小值min和最大值max，使用min-max方法对数据进行归一化预处理，使归一化预处理后的历史交通流参数值域为区间[0,1]，其中：min-max方法对数据进行归一化的公式如下：

式中：x^*表示归一化预处理后数据，min表示样本数据最小值，max表示样本数据最大值，x表示待归一化预处理的历史交通流参数。

优选地，所述步骤2中的基于深信度网络的交通流参数预测方法通过多层限制玻尔兹曼机的堆叠来降低数据维度，并提取特征，在特征提取后加入反向传播算法(ErrorBack Propagation，BP算法)，进行预测值输出。

优选地，所述基于深信度网络的交通流参数预测模型的建立步骤如下：

步骤A1：将归一化后的训练数据集作为第一个限制波尔兹曼机的可见层；

步骤A2：进行多层限制波尔兹曼机的堆叠，即每个波尔兹曼机的隐藏层都作为下一个限制波尔兹曼机的可见层；

步骤A3：使用对比散度算法，从第一个限制波尔兹曼机开始，按次序逐个对限制波尔兹曼机进行训练；

步骤A4：在多层限制波尔兹曼机器的堆叠后，再添加2～3层神经元，作为BP算法运用的层，且最后一层只包含一个神经元作为预测值，即归一化的输出值；

步骤A5：训练BP层，直到人工神经网络的输出值与实际值，即与归一化的值之间的误差小于设定阈值；

步骤A6：输入测试集中的交通流参数，逐个训练限制波尔兹曼机，并利用步骤A5中BP层权重，计算得到人工神经网络的输出值；

步骤A7：将人工神经网络的输出值反归一化，得到交通流参数预测值。

优选地，所述步骤4包括：通过平均绝对百分比误差MAPE和均方根误差RMSE来对预测数据进行误差分析，计算公式如下：

式中：

表示测试数据集与预测数据的平均绝对百分比误差，

表示测试数据集与预测数据的均方根误差，f表示交通流的观测值，

表示交通流的预测值，n表示交通流预测值的数量，f_i表示测试数据集中的第i个交通流参数，

表示预测数据集中的第i个预测交通流参数，i的取值范围为1，2…N，其中N为测试数据集的数据量。

与现有技术相比，本发明具有如下的有益效果：

1、本发明使用深信度网络预测交通流参数，具有深层次记忆历史数据的优点。

2、本发明使用深信度网络预测交通流参数，减少了传统模型中人为判定的环节，提高了实用性，降低了主观判定对预测结果的影响。

3、本发明基于深信度网络的交通流参数方法，结合了限制限制玻尔兹曼机和BP算法，降低了数据维度，提高了预测精度。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明提供的基于深信度网络的交通流参数预测方法的流程图。

图2为本发明采用的深信度网络中限制玻尔兹曼机的架构示意图。

图3为本发明中模型计算所得的短时交流预测值与观测值对比图。

图4为本发明对50个不同观测点测试数据集与预测数据的平均绝对百分比误差对比图。

图5为本发明与多个已有方法之间的百分比误差和均方根误差对比图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

根据本发明提供的基于深信度网络的交通流参数预测方法，包括如下步骤：

步骤S1、采集历史交通流参数，在数据聚合的基础上，利用归一化方法对交通流参数进行预处理；

步骤S2、建立基于深信度网络的交通流参数预测方法。将归一化后的数据集划分为训练数据集和测试数据集，用测试数据集训练深信度网络模型；

步骤S3、利用训练后的深信度网络模型预测未来交通流参数；

步骤S4、比照测试数据集和预测数据，进行误差分析；

下面结合具体实施例对本发明中的技术方案进行详细说明。

实施例

本实施例提供了一种基于深信度网络的交通流参数预测方法，该方法包括如下步骤：

步骤S1、根据预测的时间间隔对历史交通流参数进行聚合，并对聚合后的交通数据进行归一化；

所述历史交通流参数来源于交通数据采集***，可以通过线圈检测、微波传感器、视频监测等方法获得。

获取的历史交通流量数据为特定观测点或路段在一定时间间隔内经过的车辆数。所述指定的时间间隔可以根据预测需求进行指定(例如5分钟)。

将各观测点或路段的指定时间间隔内的若干个交通流量数据分别进行累加，得到各观测点指定时间间隔的交通流量数据。下述某时刻的交通流参数指的是从此时刻开始经过指定时间间隔(例如5分钟)的交通流参数。

历史观测数据集合可表示为F＝{f_t|t＝1,2,...,T}，其中f_t表示路网特定观测点获得的第t个历史交通流参数。T时刻和T+1时刻之间的差值为预测时间间隔Δt(如5分钟)。

对合并后的历史交通流参数进行预处理，主要是使用min-max方法对数据进行归一化；

在交通流参数中计算样本数据的最小值min和最大值max，使用min-max方法对数据进行归一化，使其值域为区间[0,1]。

具体地，根据历史观测数据集合F＝{f_t|t＝1,2,...,T}求得集合中的最大值max和最小值min，对集合中的每个数据计算：

从而获得归一化后的历史观测数据集合，其中x*为归一化预处理后数据，min为样本数据最小值，max为样本数据最大值，x为待归一化预处理的历史交通流参数。

步骤S2、建立了基于深信度网络的交通流参数预测方法，该模型通过多层限制限制玻尔兹曼机的堆叠降低数据维度并提取特征，在特征提取后加入BP算法，进行预测值输出。将经过归一化后的历史交通流参数划分为训练数据集和测试数据集，利用训练数据集，在已设定的深信度网络上使用历史数据进行模型训练。

图2是深信度网络中，玻尔兹曼机的架构图。如图2所示：所述模型中波尔兹曼机包含两层的结构，其中一层叫做可见层，即输入数据层；另一层叫做隐藏层，即数据输出层。波尔兹曼机中，全概率分布P(v,h)满足波尔兹曼分布，其中v表示可见层的开闭状态，h表示隐藏层的开闭状态，v、h的开闭状态集合构成了全概率事件，并满足玻尔兹曼分布。

限制波尔兹曼机(RBM)同样包含两层：可见层和隐藏层。相比于波尔兹曼机，在RBM的可见层(和隐藏层)内，各节点是互相独立无连接的，而层间则是全连接的。所有节点v_i和H_i的状态为0(关闭)或1(打开)。信息由可见层流向隐藏层，由可见层的状态计算隐藏层各节点状态，隐藏节点的打开概率为

其中，P_j为隐藏节点打开的概率，b_j为隐藏节点偏置，v_i为可见节点状态，w_ij为连接隐藏层和可见层的权重矩阵分量，i和j分别代表可见层和隐藏层的节点编号,即i代表靠近输出的一层，j代表靠近输出的一层；σ为sigmoid函数σ(x)，其表达形式如下：

通过随机采样后，我们可以确定隐藏节点的状态，即打开(数字1代表)或关闭(数字0代表)。对于给定的RBM状态(v，h)，定义能量函数E(v,h)为：

其中a_i和b_j分别代表可见层节点和隐藏层节点的偏置，v_i和b_j分别代表可见层节点和隐藏层节点的状态，w_ij为可见节点和隐藏节点间权重，i和j分别代表可见节点和隐藏节点编号。利用定义的能量函数，可以得到RBM状态(v,h)的联合概率分布P(v,h)：

其中，

为归一化因子，也被称为分布函数。在可见层v给定的情况下，条件概率P(h)为：

同样地，在隐藏层h给定的情况下，条件概率P(v)为：

记除h_j外所有隐藏节点的集合为

h_≠j＝(h₁,h₂,...,h_j-1,h_j+1,...,h_n(hidden)) (8)

各隐藏节点h_j间是相互独立且地位平等的，因此隐藏节点h_j的打开概率P(h_j＝1|v)为：

根据v和h间、a和b间的对称性，同样地：

在所有可见节点均为已知的情况下，因为限制波尔兹曼机中隐藏节点间不存在连接，因此所有隐藏节点间是条件独立的，即P(h|v)＝P(h1|v)·P(h2|v)·P(h3|v)·P(h4|v)。同理，在所有隐藏节点均为已知的情况下，所有可见节点均间是条件独立的。训练好的RBM中状态(v,h)概率分布P(v,h)满足波尔兹曼分布，此时RBM***的能量函数达到最小。所以当向RBM输入可见层v时，通过P(h|v)可以得到隐藏层h；得到隐藏层h之后，通过P(v|h)可以得到可见层v1。如果v1与输入的可见层v完全相同，那么得到的隐藏层h就是可见层v的另外一种表达方式，即得到的隐藏层h已经包含可见层v的所有特征。使用对比散度算法对RBM进行训练。散度算法步骤如下：

第一步：初始化权重矩阵w、可见层偏置a和隐藏层偏置b；

第二步：重构，根据式(9)和(10)依次计算并采样，依次得到隐藏层h和重构的可见层v；

第三步：权重和偏置更新，计算式:

其中，size(v)和size(h)分别代表可见层和隐藏层的节点数，系数η为RBM的学习率(learning rate)，脚标recon代表第二步后的隐藏层或可见层，Δw_ij、Δa_i、Δb_j分别表示权重、可见节点偏置、隐藏节点偏置的更新量(改变量)。

第四步：监控权重变化，重复第二第三步，直到权重变化足够小为止。

多层RBM的训练，一般采用非监督逐层贪婪方法，逐层训练RBM并获得生成模型的权值。经处理后的数据集直接进入第一层RBM(RBM1)，作为RBM1的输入；使用CD算法将RBM1训练好后，将RBM1的隐藏层输入下一层RMB(RBM2)，作为后者的可见层；如此递推，RBM(i)训练完成后，其隐藏层输入RBM(i+1)作为后者的可见层。通过逐层层叠，我们可以得到一个多层RBM结构。

反向传播算法(BP算法)将误差反向传播，采用梯度下降的方法，缩小误差函数，从而使整个神经网络的输出逐步向输出目标值靠近。其误差函数一般由以下公式定义

其中，t_k为输出目标集合中的第k个输出目标值，O_k为输出集合中的第k个输出值，误差函数E定义为输出值与目标值差的平方和。误差函数也有其它定义方法，视网络输出节点的类型和数量而改变。假设一个多层网络，从输出层起，按接近输出层的程度，分别为L₀，L₁，L₂，...，L_p，所有节点均为sigmoid单元。考虑E对L₁层的节点求偏导：

其中，O_k,L₀和O_k,L₁分别代表L₀和L₁的节点输出。进一步地，考虑E对L2层的节点输出求偏导:

再进一步，考虑E对L₃层、L₄层、L₅层等层节点输出的偏导，同理。BP算法的目的是修改权重，因此，考虑E对L₀和L₁层间权重w_ij偏导

结合梯度法则(Delta Rule)

可以得到权重修改公式

Δw_ij＝η(t_j-o_j)o_j(1-o_j)o_i (18)

其中，η为BP过程的学习率，取值在(0,1]区间内，0_i和0_j为节点值。至此，BP过程可概括为：

第一步：按照L₁，L₂...的顺序，向后逐层计算

第二步：按照...，L₂，L₁，L₀的顺序，向前逐层更新权重:

Δw_ij＝η(t_j-o_j)o_j(1-o_j)o_i (20)

第三步：按照...，L₂，L₁，L₀的顺序，向前逐层更新神经网络各节点输出

第四步：重新计算神经网络输出误差bperr，ok为神经网络输出端值

第五步：重复以上四步，直到神经网络输出误差小于预设误差值，跳出循环。

步骤S3、利用训练好的模型进行未来交通流参数预测；

步骤S4，对测试数据集和预测数据比较，进行误差分析。具体地，误差可通过两个指标来评估，即平均绝对百分比误差(Mean Absolute Percentage Error，MAPE)和均方根误差(Root Mean Square Error，RMSE)，它们的定义如式(23)和式(24)所示，其中f为交通流的观测值，

为交通流的预测值。

其中，n表示交通流预测值的数量；

本实施例的有效性可以通过下面的仿真实验来进一步说明。需要说明的是，实验中应用的参数不影响本发明的一般性。

1)仿真条件：

CPU:

Core^TMi5 2.80GHz，RAM 6.00GB，操作***Window 10，仿真软件Matlab2012b。

2)仿真内容：

使用美国加州交通局性能测量***(PeMS)获得的数据进行分析建模。随机选取了50条高速公路(同名公路的不同方向视为不同的公路)，每条公路随机选取了主线上1个观测点传感器获得的2014年总计11天的交通流参数。实验预测的时间间隔为5分钟，因此，首先将***原始数据的5分钟采样间隔的数据聚合成相应的时间间隔。并使用所述min-max方法对数进行归一化。实验使用前11天的数据作为训练数据集，后1天的数据作为测试数据集。

实验选取了过去已有工作中几个经典的预测模型作为对比：ARMA模型和BP神经网络模型(BPNN)，并使用和相关文献一致的调参方法。ARMA模型是最简单的预测模型，它使用当前时间的交通流作为下一时间间隔的预测值，该模型作为预测的基准线。BP神经网络是重要的一类预测模型，实验选择了经典的BP神经对比模型。

对美国加州I405-S高速公路一观测点进行预测实验得到的某工作日5分钟时间间隔交通流观测值和预测值对比如图2所示，可以直观地看出DBN预测模型具有良好的预测准确性。此外，对该高速公路上任意50个观测点进行预测，并进行误差分析，结果如图4所示。由图4可知，DBN的预测误差百分比维持在10％左右，对于波动性较高的交通流参数而言，该预测方案具有较高的准确性。此外，对比ARMA模型和BPNN模型的预测精度，如图5所示，ARMA模型的误差百分比和预测均方误差均较高，SVM模型预测的精度较低，但均方误差较好。而DBN模型的预测精度最高，当期均方误差较低，表明DBN模型的基本预测效果较好，但对于一些非常规的扰动，预测效果不够理想。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (1)

1.一种基于深信度网络的交通流参数预测方法，其特征在于，包括如下步骤：

步骤1：采集历史交通流参数，并利用归一化方法对交通流参数进行预处理，得到归一化后的数据集；

步骤2：建立基于深信度网络的交通流参数预测模型，将归一化后的数据集划分为训练数据集和测试数据集，用测试数据集训练交通流参数预测模型；

步骤3：利用训练后的基于深信度网络的交通路流参数预测模型预测未来交通流参数，得到预测数据；

步骤4：将测试数据集和预测数据进行比较，分析误差；

所述步骤1中的历史交通流参数是指：在指定的特定观测点所得到的在指定时间间隔内的车辆数；

所述步骤1中采用归一化方法对交通流参数进行预处理的具体过程如下：

分别计算历史交通流参数某一样本中的最小值min和最大值max，使用min-max方法对数据进行归一化预处理，使归一化预处理后的历史交通流参数值域为区间[0,1]，其中：min-max方法对数据进行归一化的公式如下：

式中：x^*表示归一化预处理后数据，min表示样本数据最小值，max表示样本数据最大值，x表示待归一化预处理的历史交通流参数；

所述步骤2中的基于深信度网络的交通流参数预测方法通过多层限制玻尔兹曼机的堆叠来降低数据维度，并提取特征，在特征提取后加入反向传播算法，进行预测值输出；

所述基于深信度网络的交通流参数预测模型的建立步骤如下：

步骤A1：将归一化后的训练数据集作为第一个限制波尔兹曼机的可见层；

步骤A2：进行多层限制波尔兹曼机的堆叠，即每个波尔兹曼机的隐藏层都作为下一个限制波尔兹曼机的可见层；

步骤A3：使用对比散度算法，从第一个限制波尔兹曼机开始，按次序逐个对限制波尔兹曼机进行训练；

步骤A4：在多层限制波尔兹曼机器的堆叠后，再添加2～3层神经元，作为BP算法运用的层，且最后一层只包含一个神经元作为预测值，即归一化的输出值；

步骤A5：训练BP层，直到人工神经网络的输出值与实际值，即与归一化的值之间的误差小于设定阈值；

步骤A6：输入测试集中的交通流参数，逐个训练限制波尔兹曼机，并利用步骤A5中BP层权重，计算得到人工神经网络的输出值；

步骤A7：将人工神经网络的输出值反归一化，得到交通流参数预测值；

所述步骤4包括：通过平均绝对百分比误差MAPE和均方根误差RMSE来对预测数据进行误差分析，计算公式如下：

式中：

表示测试数据集与预测数据的平均绝对百分比误差，

表示测试数据集与预测数据的均方根误差，f表示交通流的观测值，

表示交通流的预测值，n表示交通流预测值的数量，f_i表示测试数据集中的第i个交通流参数，i的取值范围为1，2…N，其中N为测试数据集的数据量；

限制波尔兹曼机RBM包含可见层和隐藏层，在RBM的可见层和隐藏层内，各节点互相独立无连接，层间全连接，所有节点v_i和H_i的状态为关闭0或打开1，信息由可见层流向隐藏层，由可见层的状态计算隐藏层各节点状态，隐藏节点的打开概率为：

其中，P_j为隐藏节点打开的概率，b_j为隐藏节点偏置，v_i为可见节点状态，w_ij为连接隐藏层和可见层的权重矩阵分量，i和j分别代表可见层和隐藏层的节点编号，i代表靠近输出的一层，j代表靠近输出的一层；σ为sigmoid函数σ(x)，其表达形式如下：

通过随机采样确定隐藏节点的状态，对于给定的RBM状态(v，h)，定义能量函数E(v,h)为：

其中a_i和b_j分别代表可见层节点和隐藏层节点的偏置，v_i和h_j分别代表可见层节点和隐藏层节点的状态，w_ij为可见节点和隐藏节点间权重，i和j分别代表可见节点和隐藏节点编号，利用定义的能量函数，得到RBM状态(v,h)的联合概率分布P(v,h)：

其中，

为归一化因子，在可见层v给定的情况下，条件概率P(h)为：

在隐藏层h给定的情况下，条件概率P(v)为：

记除h_j外所有隐藏节点的集合为：

h_≠j＝(h₁,h₂,...,h_j-1,h_j+1,...,h_n(hidden)) (8)

各隐藏节点h_j间相互独立且地位平等，因此隐藏节点h_j的打开概率P(h_j＝1|v)为：

根据v和h间、a和b间的对称性，得到：

在所有可见节点均为已知的情况下，P(h|v)＝P(h1|v)·P(h2|v)·P(h3|v)·P(h4|v)，在所有隐藏节点均为已知的情况下，所有可见节点均间是条件独立的，训练好的RBM中状态(v,h)概率分布P(v,h)满足波尔兹曼分布，此时RBM***的能量函数达到最小；当向RBM输入可见层v时，通过P(h|v)得到隐藏层h；得到隐藏层h之后，通过P(v|h)得到可见层v1；如果v1与输入的可见层v完全相同，则得到的隐藏层h是可见层v的另外一种表达方式，得到的隐藏层h已经包含可见层v的所有特征，使用对比散度算法对RBM进行训练；

散度算法步骤如下：

第一步：初始化权重矩阵w、可见层偏置a和隐藏层偏置b；

第二步：重构，根据式(9)和(10)依次计算并采样，依次得到隐藏层h和重构的可见层v；

第三步：权重和偏置更新，计算式：

其中，size(v)和size(h)分别代表可见层和隐藏层的节点数，系数η为RBM的学习率，脚标recon代表第二步后的隐藏层或可见层，Δw_ij、Δa_i、Δb_j分别表示权重、可见节点偏置、隐藏节点偏置的更新量；

第四步：监控权重变化，重复第二第三步，直到权重变化符合预设条件为止；

多层RBM的训练，采用非监督逐层贪婪方法，逐层训练RBM并获得生成模型的权值，经处理后的数据集直接进入第一层RBM，记为RBM1，作为RBM1的输入；使用CD算法将RBM1训练好后，将RBM1的隐藏层输入下一层RMB，记为RBM2，作为后者的可见层；依次递推，RBM(i)训练完成后，其隐藏层输入RBM(i+1)作为后者的可见层，通过逐层层叠，得到一个多层RBM结构；

反向传播BP算法将误差反向传播，采用梯度下降的方法，缩小误差函数，从而使整个神经网络的输出逐步向输出目标值靠近，其误差函数一般由以下公式定义：

其中，t_k为输出目标集合中的第k个输出目标值，O_k为输出集合中的第k个输出值，误差函数E定义为输出值与目标值差的平方和；

设一个多层网络，从输出层起，按接近输出层的程度，分别为L₀，L₁，L₂，...，L_p，所有节点均为sigmoid单元，考虑E对L₁层的节点求偏导：

其中，O_k,L₀和O_k,L₁分别代表L₀和L₁的节点输出，考虑E对L2层的节点输出求偏导：

考虑E对L₀和L₁层间权重w_ij偏导：

结合梯度法则：

得到权重修改公式：

Δw_ij＝η(t_j-o_j)o_j(1-o_j)o_i (19)

其中，η为BP过程的学习率，取值在(0,1]区间内，o_i和o_j为节点值；

BP过程概括为：

第一步：按照L₁，L₂...的顺序，向后逐层计算：

第二步：按照...，L₂，L₁，L₀的顺序，向前逐层更新权重：

Δw_ij＝η(t_j-o_j)o_j(1-o_j)o_i (21)

第三步：按照...，L₂，L₁，L₀的顺序，向前逐层更新神经网络各节点输出：

第四步：重新计算神经网络输出误差bperr，o_k为神经网络输出端值：

第五步：重复以上四步，直到神经网络输出误差小于预设误差值，跳出循环。

Images