CN102622418B - 一种基于bp神经网络的预测装置及设备 - Google Patents

Abstract

本发明公开了一种基于BP神经网络的预测装置，所述装置包括数据接收单元、数据预处理单元、初始化单元、学习单元、迭代预测单元和数据恢复单元，使用的改进算法可自动判别原始训练数据模式，并对其进行样本建立和归一化。该装置可适用于多种复杂情境，灵活性高，不需要提供辅助数据完成预测，预测结果可恢复至与原始训练数据相对应的数值范围。

Description

一种基于BP神经网络的预测装置及设备

技术领域

本发明主要涉及数据挖掘技术领域。

背景技术

一、数据挖掘技术：

随着存储设备和数据库技术的发展，数据的存储已经不是问题，相反，人们已经开始感到被大量的数据淹没，因此，急需一种科学的方法将海量的数据转化成对人们有实际意义的知识和规律，数据挖掘就是在这个背景下产生的技术。

20世纪80年代末，数据挖掘作为新兴的研究领域悄然出现。数据挖掘的研究目的是在大型数据集中发现那些隐藏的、人们感兴趣的具有特定规律的信息。随着数据挖掘的发展，这种技术被应用在商业管理、政府办公、科学研究和工程开发等众多的领域中。

一般来说，基本的数据挖掘流程如下所示：

⑴定义问题：清晰地定义出业务问题，确定数据挖掘的目的。

⑵数据准备：数据准备包括：选择数据--在大型数据库和数据仓库目标中提取数据挖掘的目标数据集；数据预处理--进行数据再加工，包括检查数据的完整性及数据的一致性、去噪声，填补丢失的域，删除无效数据等。

⑶数据挖掘：根据数据功能的类型和数据的特点选择相应的算法，在净化和转换过的数据集上进行数据挖掘。

⑷结果分析：对数据挖掘的结果进行解释和评价，转换成为能够最终被用户理解的知识。

⑸知识的运用：将分析所得到的知识集成到业务信息***的组织结构中去。

二、神经网络算法：

近年来，神经网络被广泛运用于时间序列分析和金融预报，这是因为神经网络具有非常强的非线性函数逼近能力，克服了传统处理方法对于数据方面的缺陷，使之在预测领域得到成功的应用。

神经网络是一种类似于大脑神经突触结构并可以进行信息处理的数学模型，它是对人脑的抽象、简化和模拟，反映了人脑的基本特性。

神经网络（图1）同时也是一种运算模型，由大量的节点（也称为神经元）和相互之间的加权连接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称为权重（weight），这相当于神经网络的记忆。网络的输出则根据网络的连接方式、权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。

神经网络主要解决数据挖掘的分类和回归任务，它可以找出输入属性和可预测属性之间平滑连续的非线性关系。

三、BP神经网络：

BP（Back Propagation）网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学***方和最小。BP神经网络模型拓扑结构包括输入层（input）、隐藏层(hide layer)和输出层(output layer)。

神经网络可以用作分类、聚类、预测等。神经网络需要有一定量的历史数据，通过历史数据的训练，网络可以学***面的全局最小值，这是因为采用梯度下降法可能产生一个局部最小值。对于这个问题，可以采用附加动量法来解决。再次，网络隐含层的层数和单元数的选择尚无理论上的指导，一般是根据经验或者通过反复实验确定。因此，网络往往存在很大的冗余性，在一定程度上也增加了网络学习的负担。最后，网络的学习和记忆具有不稳定性。也就是说，如果增加了学习样本，训练好的网络就需要从头开始训练，对于以前的权值和阈值是没有记忆的。但是可以将预测、分类或聚类做的比较好的权值保存。

回顾各种数据挖掘预测算法的发展，我们可以看到其推广的瓶颈在于不同的算法需要不同的训练数据格式和特殊化的参数设置，而且其预测过程往往需要人为干预和设定，预测时需要提供大量的辅佐数据，预测结果也不够直观，这对于算法的推广和使用均十分不利。

发明内容

本发明的目的在于，提供一类全新的、可自适应的基于BP神经网络的预测装置，其改进了BP神经网络算法，用以适应各种常见的预测模式，如天气和交通情况的预测等。作为本发明的实施方式，提供一种可自适应的基于BP神经网络的预测装置，所述装置包括数据接收单元、数据预处理单元、初始化单元、学习单元、迭代预测单元和数据恢复单元，上述单元依次串行排列，其中，数据接收单元、数据预处理单元和初始化单元用于准备基础数据和参数，以便装置顺利执行；学习单元对原始数据进行训练和学习，找出权值矩阵；迭代预测单元根据权值矩阵来推导预测结果；数据恢复单元将归一化的预测结果恢复到原始值。

更进一步，所述数据接收单元接收该预测装置所必需的原始训练数据和预测时长参数，所述原始训练数据为N*N行列式。

所述数据预处理单元数据接收单元接收到的原始训练数据进行自动的归一化处理，并建立训练样本的输入输出矩阵。

所述初始化单元初始化BP神经网络的各项参数，所述参数包括学习速率、期望误差最小值、惯性系数、最大训练次数、隐藏单元和输出单元各神经元初值等。

在一个可选的实施方式中，所述学习单元对训练样本进行学习，通过学习的过程不断调整隐藏单元和输出单元的加权系数，当误差小于最小期望误差或达到最大训练次数时，学习过程结束，其目的是得到权值矩阵。

所述迭代预测单元进行迭代预测，将学习单元最后的训练样本作为已知，通过学习到的各单元加权系数进行运算得出第一个预测结果，再以此预测结果作为已知并推算出下一个预测结果，以此类推，迭代完成所有预测，获得预测结果。

所述数据恢复单元将归一形式的预测结果恢复成与原始训练数据一致的数值范围。

一个具体的，非限制性的实施方式中，所述误差计算函数为：

若为输出神经元，则误差Err_i＝O_i(1－O_i)(T_i－O_i)，

O_i是输出神经元i的输出，T_i是该输出神经元的实际值；

若为隐藏神经元，则误差Err_i＝O_i(1－O_i)∑_jErr_jw_ij，

O_i是隐藏神经元i的输出，该神经元有j个到下层的输出，所述Err _j 是神经元j的误差，w_ij是这两个神经元之间的权值。

所述调整权值函数为：w_ij＝w_ij＋l* Err_j * O_i，l为学习速度。

作为本发明的较优选的实施方式中，所述数据接收单元接收的是天气数据，或者交通状况数据。

本发明还提供一种天气预测设备，包括上述基于BP神经网络的预测装置。

本发明提供的方法使用相对灵活的训练数据格式，算法可自动进行归一化、样本建立等工作，避免了因数据格式混乱而导致的算法失效等问题；另外，预测不需要提供任何辅佐数据，仅仅根据原始训练数据即可进行多属性的连续预测。且BP神经网络算法本身可适用于多种复杂情境，灵活性高。

该装置可自动判别原始训练数据模式，并对其进行样本建立和归一化。预测方法使用迭代预测，不需要提供辅助数据完成预测。预测结果可恢复至与原始训练数据相对应的数值范围。BP神经网络算法可适用于各种复杂的情况，但其受数据形式的影响较大，且解释结果较为困难，这种基于改进策略的BP神经网络预测装置构建方法可在很大程度上削弱人对数据的控制力，并将其用于多种环境下。

附图说明

图1为神经网络基本算法示意图。

图2为本发明提供的基于BP神经网络的预测装置的功能流程图。

具体实施方式

以下结合具体的实施方式来描述本发明。

在一个非限制性的实施方式中，在天气预报方面，利用本发明的方法，只需提供一段时间内的最高温度、最低温度等数字化的历史数据，就可以预测出未来的最高温度和最低温度等信息，而且在此过程中无需提供其它额外数据辅助，预测结果也能直观体现。

以温度预测举例，提供N行2列的气温信息，列属性分别为最高温度和最低温度。装置接收到此原始数据后开始进行预处理，即将N行2列的原始温度数据归一化为0到1之间的数值；然后自动建立训练样本的输入输出矩阵，即将第1到N-1条数据作为输入矩阵，第2到N条数据作为输出矩阵，至此数据的预处理阶段完成。

此后装置进入算法学习阶段，首先随机初始化输入层到隐藏层、隐藏层到输出层的权值矩阵，然后计算隐藏层各神经元、输出层各神经元的输出，计算每个输出神经元和隐藏神经元输出的误差（与实际数据比较），并反向传播更新网络中的权值，当误差小于既定的期望误差或训练次数超过既定的最大训练次数时完成算法学习阶段的工作，记录权值矩阵进入下一阶段。

装置进入迭代预测阶段，首先，将训练样本的最后一条记录作为已知条件，利用上一步得到的权值矩阵计算输出，并将结果作为已知；然后利用已知数据迭代进行预测，得到从最后一条训练数据开始到预测时长前一单位阶段的预测结果，此时1条实际数据与n-1条预测数据在同一临时结果集中；最后，利用上述临时结果集中的数据和权值矩阵作为已知，计算得到所有的预测结果矩阵。

得到预测结果矩阵之后，装置进入最后反归一化的阶段，即将归一化后的结果数据恢复成正常的温度值。

此装置可以处理的数据需要满足条件：

1）所有属性均可数值化；

2）历史数据具有一定的时序性。

为了更进一步公开本发明的技术方案，以下介绍本发明所提出的方法的理论基础：

定义1：归一化函数为：R(i,j) = (r(i,j) - minv(j))/(maxv(j) - minv(j))；

其中R(i,j)为i行j列的归一结果，r(i,j)为第i行j列的历史数据，minv(j)为第j列的最小值，maxv(j)为第j列的最大值。

定义2：算法可根据神经元类型的不同计算神经元的输出值：

如果当前是隐藏神经元， 则采用tanh函数：O＝(e^a－e^-a)／(e^a＋e^-a)；

如果当前是输出神经元，则采用sigmoid函数：O＝1／(1＋e^a)；

其中a是输入值，O是输出值。

定义3：误差计算函数为：

如果当前是输出神经元：Err_i＝O_i(1－O_i)(T_i－O_i)

（O_i是输出神经元i的输出，T_i是该输出神经元的实际值。）

如果当前是隐藏神经元：Err_i＝O_i(1－O_i)∑_jErr_jw_ij

（O_i是隐藏神经元i的输出，该神经元有j个到下层的输出。Err _j 是神经元j的误差，w _ij 是这两个神经元之间的权值。）

    神经网络算法示意图如图2所示。

定义4：算法的调整权值函数为：w_ij＝w_ij＋l* Err_j * O_i（l为学习速度。）

根据上述理论，另一个更为一般性的实施方式中，一种基于改进策略的BP神经网络预测装置构建方法被提出，该装置分为六个层次，分别是数据接收层、数据预处理层、算法初始化层、算法学习层、迭代预测层和数据恢复层。

在一个非限制性的实施方式中，上述各层均使用相应的硬件或软件单元来实现，因此其也被称为数据接收单元、数据预处理单元、初始化单元、学习单元、迭代预测单元和数据恢复单元。

其中数据接收层是算法外界参数的接受层；数据预处理层和算法初始化层用于准备基础数据和参数，以便算法顺利执行；算法学习层对原始数据进行训练和学习，目的是找出权值矩阵；迭代预测层会根据训练数据来推导预测结果；数据恢复层可将归一化的预测结果恢复到原始值。

更为详细的实施方式中，对上述六个层次进行了如下非限制性的描述。

数据接收层：本层的主要功能是接收该预测装置所必需的原始训练数据和预测时长参数。其中原始训练数据要以N*N（列为属性，行与行之间存在时间关系）行列式的原始形式输入到该装置中作为原始训练数据，该数据不需要经过任何特殊处理；预测时长的单位应与原始训练数据采集时的时间单位基本保持一致，如天、小时、分钟等等。

数据预处理层：本层的主要功能是将上层接收到的原始训练数据进行自动的归一化处理，并建立训练样本的输入输出矩阵，整个过程无需人为干预和设定，由装置自动判断和处理。装置会先获得原始训练数据的行数列数，然后通过双重循环来完成归一化工作，之后再次利用双重循环来建立样本的输入输出矩阵。

算法初始化层：本层的主要功能是初始化BP神经网络算法的各项参数，如学习速率、期望误差最小值、惯性系数、最大训练次数、隐藏层和输出层各神经元初值等。

算法学习层：本层的主要功能是利用算法对训练样本进行学习，通过学习的过程不断调整隐藏层和输出层的加权系数，当误差小于最小期望误差或达到最大训练次数时，学习过程结束。本层的最终目的是得到权值矩阵。

迭代预测层：本层的主要功能是根据算法学习的成果和训练样本进行迭代预测，该层的特点是将最后的训练样本作为已知，通过学习到的各层加权系数进行运算得出第一个预测结果，再以此预测结果作为已知并推算出下一个预测结果，以此类推，迭代完成所有预测。

数据恢复层：本层的主要功能是将归一形式的预测结果恢复成与原始训练数据一致的数值范围，使预测结果具有实际意义。

下面论述该装置的实现方案：

BP神经网络是一种按误差逆传播算法训练的多层前馈网络，BP神经网络能学***方和最小。BP神经网络装置拓扑结构包括输入层、隐藏层和输出层。

每个神经元有一个或多个输入但只有一个输出，神经网络算法使用加权和（每个输入值乘以与它关联的权值，然后对乘积求和）的方法组合多个输入值，然后根据神经元类型的不同计算神经元的输出值（激活）：

若是隐藏神经元， 则采用tanh函数：O＝(e^a－e^-a)／(e^a＋e^-a)；

若是输出神经元，则采用sigmoid函数：O＝1／(1＋e^a)；

其中a是输入值，O是输出值。

图1显示了神经元内部进行组合和输出的计算过程，即首先使用加权和的方法组合输入值1、2和3，然后根据神经元类型的不同选择tanh或sigmoid函数得到输出结果。最后计算每个输出和隐藏神经元计算输出的误差（与实际数据比较），反向传播更新网络中的权值，直到满足算法的终止条件。

其中，误差计算函数为：

若为输出神经元：Err_i＝O_i(1－O_i)(T_i－O_i)

（O_i是输出神经元i的输出，T_i是该输出神经元的实际值。）

若为隐藏神经元：Err_i＝O_i(1－O_i)∑_jErr_jw_ij

（O _i 是隐藏神经元i的输出，该神经元有j个到下层的输出。Err _j 是神经元j的误差，w _ij 是这两个神经元之间的权值。）

调整权值函数为：w_ij＝w_ij＋l* Err_j * O_i

（l为学习速度。）

在改进的BP神经网络算法中，实现步骤如下：

步骤1、接收原始训练数据矩阵和训练时长参数，以天气预测为例，原始数据可为连续几日的最高温度和最低温度，预测时长为7天。

步骤2、初始化数据，包括设定学习速率、期望误差、训练的最大次数、惯性系数、隐含层和输出层各神经元输出初值，根据原始数据动态得到矩阵行列数据p0。

步骤3、获取每列训练数据的最大值maxv(j)与最小值minv(j)后对数据进行归一化处理，使原始数据规范到0到1之间，归一使用p(i,j) = (p0(i,j) - minv(j))/(maxv(j) - minv(j));。其中p(i,j)为i行j列的归一结果，p0(i,j)为第i行j列的历史数据，minv(j)为第j列的最小值，maxv(j)为第j列的最大值。

步骤4、根据原始训练数据得到训练样本的输入矩阵和输出矩阵。

for i=1:count_sumC

for j = 1:count_sumL-1

        X(i,j)= p(j,i);

        T(i,j) = p(j+1,i); 

    end 

end

其中，count_sumC表示矩阵列的数量，count_sumL表示矩阵行的数量，X为输入样本，T为输出样本，p为归一化后的训练样本。

步骤5、随机初始化权值矩阵wki和wij。其中，wki表示隐藏层到输入层的权值矩阵，wij表示输入层到隐藏层的权值矩阵。

步骤6、计算隐藏层各神经元、输出层各神经元的输出，隐藏层输出计算公式为：O＝(e^a－e^-a)／(e^a＋e^-a)，输出层的输出计算公式为：O＝1／(1＋e^-a)。其中a表示神经元的输入值。

步骤7、计算每个输出和隐藏神经元计算输出的误差（与实际数据比较），反向传播更新网络中的权值。

其中，误差计算函数为：

若为输出神经元：Err_i＝O_i(1－O_i)(T_i－O_i)

（O_i是输出神经元i的输出，T_i是该输出神经元的实际值。）

若为隐藏神经元：Err_i＝O_i(1－O_i)∑_jErr_jw_ij

（O_i是隐藏神经元i的输出，该神经元有j个到下层的输出。Err_j是神经元j的误差，w_ij是这两个神经元之间的权值。）

调整权值函数为：w_ij＝w_ij＋l* Err_j * O_i

（l为学习速度。）

步骤8、重复步骤6，直到满足终止条件为止，该算法的终止条件为误差小于期望误差或训练次数大于最大设定值。

步骤9、根据训练后得到的权值矩阵和训练时的参数，以最后一条实际数据作为初始输入进行预测，再将预测结果作为下一天的实际数据再次进行预测，直到满足预测天数参数。预测过程同步骤6。

步骤10、将得到的预测结果矩阵进行恢复，即将归一化后的值恢复到实际数值：Res(i,j)=PredictRes(j,i)*(maxv(j)-minv(j))+minv(j)。 其中，PredictRes(j,i)表示未还原的预测结果，Res(i,j)表示已还原的预测结果。

现以温度预测举例，提供N行2列的气温信息，列属性分别为最高温度和最低温度。

装置接收到此原始数据后开始进行预处理工作，即将N行2列的原始温度数据利用公式p(i,j) = (p0(i,j) - minv(j))/(maxv(j) - minv(j))归一化为0到1之间的数值；然后自动建立训练样本的输入输出矩阵，即将第1到N-1条数据作为输入矩阵，第2到N条数据作为输出矩阵，至此数据的预处理阶段完成。

装置进入算法学习阶段，首先随机初始化输入层到隐藏层、隐藏层到输出层的权值矩阵，然后利用公式O＝(e^a－e^-a)／(e^a＋e^-a)计算隐藏层各神经元输出，利用公式O＝1／(1＋e^-a)计算输出层各神经元的输出，之后再计算每个输出神经元和隐藏神经元输出的误差（与实际数据比较），并反向传播更新网络中的权值，当误差小于既定的期望误差或训练次数超过既定的最大训练次数时完成算法学习阶段的工作，记录权值矩阵进入下一阶段。

装置进入迭代预测阶段，首先，将训练样本的最后一条记录作为已知条件，利用上一步得到的权值矩阵用公式O＝(e^a－e^-a)／(e^a＋e^-a)或O＝1／(1＋e^-a)计算输出，并将结果作为已知；然后利用已知数据迭代进行预测，得到从最后一条训练数据开始到预测时长前一单位阶段的预测结果，此时1条实际数据与n-1条预测数据在同一临时结果集中；最后，利用上述临时结果集中的数据和权值矩阵作为已知，计算得到所有的预测结果矩阵。

得到预测结果矩阵之后，装置进入最后反归一化的阶段，即将归一化后的结果数据利用公式Res(i,j)=PredictRes(j,i)*(maxv(j)-minv(j))+minv(j)恢复成正常的温度值。

改进的BP神经网络的算法流程图如图2所示。

本发明技术方案具有以下优势：

BP神经网络算法本身可适用于多种复杂情境，灵活性高。

该装置使用的改进算法可自动判别原始训练数据模式，并对其进行样本建立和归一化。

预测方法使用迭代预测，不需要提供辅助数据完成预测。

预测结果可恢复至与原始训练数据相对应的数值范围。

BP神经网络算法可适用于各种复杂的情况，但其受数据形式的影响较大，且解释结果较为困难，这种基于改进策略的BP神经网络预测装置构建方法可在很大程度上削弱人对数据的控制力，并将其用于多种环境下。

经过恢复的预测结果通过不同的工具和技术可衍生出多种结果形式，如折线图、饼状图、柱状图等，甚至特殊领域的相关图形，如交通流量图、气温变化图等。

Claims (3)

1.一种基于BP神经网络的天气预测装置，所述装置包括数据接收单元、数据预处理单元、初始化单元、学习单元、迭代预测单元和数据恢复单元，其特征在于：

上述单元依次串行排列，

其中，数据接收单元、数据预处理单元和初始化单元用于准备基础数据和参数，以便装置顺利执行；

学习单元用于对原始数据进行训练和学习，找出权值矩阵；

迭代预测单元用于根据权值矩阵来推导预测结果；

数据恢复用于单元将归一化的预测结果恢复到原始值；

所述数据接收单元具体用于接收该预测装置所必需的原始训练数据和预测时长参数，所述原始训练数据为N*N行列式；所述原始训练数据具体为一段时间内的历史温度数据；

所述数据预处理单元具体用于对数据接收单元接收到的原始训练数据进行自动的归一化处理，并建立训练样本的输入输出矩阵；

所述初始化单元具体用于初始化BP神经网络的各项参数，所述参数包括学习速率、期望误差最小值、惯性系数、最大训练次数、隐藏单元和输出单元各神经元初值；

所述学习单元具体用于对训练样本进行学习，通过学习的过程不断调整隐藏单元和输出单元的加权系数，当误差小于最小期望误差或达到最大训练次数时，学习过程结束，其目的是得到权值矩阵；

所述迭代预测单元具体用于进行迭代预测，将学习单元最后的训练样本作为已知，通过学习到的隐藏单元加权系数进行运算得出第一个预测结果，再以此预测结果作为已知并推算出下一个预测结果，以此类推，迭代完成所有预测，获得预测结果；

所述数据恢复单元具体用于将归一形式的预测结果恢复成与原始训练数据一致的数值范围。

2.如权利要求1所述的基于BP神经网络的天气预测装置，其特征在于：

所述误差计算函数为：

若为输出神经元，则误差Err_i＝O_i(1－O_i)(T_i－O_i)，

O_i是输出神经元i的输出，T_i是该输出神经元的实际值；

若为隐藏神经元，则误差Err_i＝O_i(1－O_i)∑_jErr_jw_ij，

O_i是隐藏神经元i的输出，该神经元有j个到下层的输出，所述Err_j是神经元j的误差，w_ij是这两个神经元之间的权值；

所述调整权值函数为：w_ij＝w_ij＋l* Err_j * O_i，l为学习速度。

3.一种天气预测设备，其特征在于，包括如权利要求1或2所述的基于BP神经网络的天气预测装置。

Images