CN101814158A - 基于人工神经网络的实验数据分析处理方法 - Google Patents

Abstract

本发明公开了一种基于人工神经网络的实验数据分析处理方法。该方法中，通过读入一组学习样本和希望输出，随机给定各个网络节点的连接权值，计算隐层中各个网络节点的输入值和输出值；进一步计算能量误差函数；不断修正各个网络节点的连接权值。在迭代计算轮次达到所设定的值或者计算精度达到所设定的要求的情况下结束迭代过程，保留计算出的各个网络节点的连接权值，根据该连接权值对输入的实验数据进行结果预测。本实验数据处理方法可以有效解决多种复杂的非线性多输入和多输出的数据处理问题，为实验数据处理、分析和结果预测提供了一个强有力的分析工具。

Description

基于人工神经网络的实验数据分析处理方法

技术领域

本发明涉及一种处理实验数据的方法，尤其涉及一种采用人工神经网络的算法，对实验数据进行分析处理和结果预测的方法，属于数据处理技术领域。

背景技术

在科学研究中，经常需要通过实验来寻找所研究对象的变化规律，并通过对规律的研究达到各种实用的目的，如提高产量、降低消耗等。最优实验方案的获得，必须兼顾实验设计方法和数据处理两方面，两者是相辅相成、相互依赖、缺一不可的。

只有科学的实验方案，才能用较少的实验次数，在较短的时间内达到预期的实验目标；反之，往往会浪费大量的实验数据。另一方面，合理的实验设计只是实验成功的充分条件。如果没有实验数据的分析计算，就不能对所研究的问题有一个明确的认识，也不可能从实验数据中寻找到规律性的信息，所以实验设计都是与一定的数据处理技术相对应的。数据处理技术的作用主要体现在如下几个方面：

(1)通过误差分析，可以评判实验数据的可靠性；

(2)确定影响实验结果的因素主次，从而可以抓住主要矛盾，提高实验效率；

(3)可以确定实验因素与实验结果之间存在的近似函数关系，并能对实验结果进行预测和优化；

(4)实验因素对实验结果的影响规律，为控制实验提供思路；

(5)确定最优实验方案或配方。

在科学研究中，人们通常所遇到的数据处理问题大致可分为两类：一类是结构性问题，如数值计算和方程求解等，对这些问题可以利用冯·诺依曼计算机解决。另一类问题是非结构性问题，如图像和语音的识别、专家决策等，对这些问题如果采用冯·诺依曼计算机来处理是很困难的，甚至是不可能的。根据研究，这些非结构性问题大多是复杂的非线性问题，采用一般的数据处理和分析方法难以胜任，但利用人工神经网络***的有关算法往往能够予以解决。

人工神经网络***(Artificial Neural Network System)是由大量简单的基本单元-网络节点(神经元)相互连接而成的具有自适应性的非线性动态分布式网络***。它是以对大脑的生理研究成果为基础，根据生物学中神经网络的基本原理而建立的，其目的在于模拟大脑的某些机理与机制，实现某个方面的功能。虽然每个神经元的结构和功能十分简单，但是由大量的神经元组合而成的整个***却非常复杂，功能非常强大。

人工神经网络***具有以下的特性：

1.采用并行分布处理方式。由大量神经元相互连接而成的人工神经网络***可以提供并行式处理和并行分布信息存储的能力；

2.具有很强的自适应性和自组织性。通过强有力的学习算法和自组织规则，使***可以在不断变化的环境中对提出的每一要求进行自适应；

3.采用非线性处理方式。具有执行非线性任务和去除噪音干扰的能力，使***能够很好地用于模式识别和预测。

人工神经网络***是一个能够学习的***。它能够通过已知数据的试验运用来学习和归纳总结，自适应不知道或不确定的***，从而充分逼近任意复杂的非线性关系。因此，许多复杂的运算、模式识别和过程控制等任务都可以利用人工神经网络***来完成。但是，就发明人所知，目前尚没有将人工神经网络***应用于实验数据处理的成熟解决方案。

发明内容

本发明所要解决的技术问题在于提供一种基于人工神经网络的实验数据分析处理方法。该实验数据处理方法不但可以处理一些常规的线性问题，还可以处理一些较为复杂的非线性问题。

为实现上述的发明目的，本发明采用下述的技术方案：

一种基于人工神经网络的实验数据分析处理方法，所述人工神经网络具有三层网络结构，其中第一层为输入层，第二层为隐层，第三层为输出层，每层中均包含多个网络节点，隐层中的每个网络节点分别与输入层和输出层中的网络节点相连接，其特征在于包括如下的步骤：

(1)设定人工神经网络中每层的网络节点数目和学习样本数目；

(2)对输入的实验数据进行归一化处理；

(3)读入一组学习样本和希望输出，随机给定各个网络节点的连接权值，计算隐层中各个网络节点的输入值和输出值；

(4)计算输出层中各个网络节点的输出值；

(5)计算整个人工神经网络的输出与实测结果的能量误差函数；

(6)修正各个网络节点的连接权值：通过连续迭代的方式计算连接权值的增量，使其沿着能量误差函数随连接权值变化的负梯度方向不断修正，在迭代过程中计算全部样本的总能量误差函数；

(7)如果迭代计算轮次达到所设定的值或者计算精度达到所设定的要求，则结束迭代过程，保留计算出的各个网络节点的连接权值；

(8)根据步骤(7)获得的连接权值对输入的实验数据进行结果预测。

其中，在所述步骤(3)中，隐层网络节点上的激发函数为Sigmoid函数或反正切函数。

所述步骤(4)中，计算输出层中各个网络节点的输出值时，不考虑隐层上各个网络节点的阈值。

本发明所提供的实验数据分析处理方法创造性地采用了人工神经网络中的多种算法，可以有效解决多种复杂的非线性多输入和多输出的数据处理问题，为实验数据处理、分析和结果预测提供了一个强有力的分析工具。

附图说明

下面结合附图和具体实施方式对本发明作进一步的说明。

图1是本发明所采用的具有三层结构的人工神经网络的***示意图；

图2是本实验数据分析处理方法所采用的BP算法的流程框图；

图3是本实验数据分析处理方法在学习训练过程中的输出结果和误差的示例图；

图4是本实验数据分析处理方法所实现的数据预测与实测结果的比较结果示例图。

具体实施方式

根据人工神经网络结构模型的不同，一般可以将其分为两大类：前向(Feed Forward)型人工神经网络和反馈(Feed Back)型人工神经网络。前者又分为单层前向模型、多层前向模型、多层前向反传(Multi-LayerFeed Forward Back Propagation)模型等。后者又分为Hopfield神经网络***(HNNS)、波尔兹曼(Boltzmann)机等。目前，使用最为广泛的就是采用多层前向反传模型的人工神经网络。

本发明人经过反复研究，认为误差反向传播(Back Propagation)算法比较适合于进行实验数据的分析处理。误差反向传播算法简称为BP算法，属于网络连接权值学***方差，利用梯度下降法，从最后一层(输出层)开始，逐层反向修正各个神经元的连接权值。每个修正过程分为两个阶段：前向传播阶段和反向传播阶段。当两次计算的能量差达到所设定的要求时停止计算。利用这些计算出的网络节点(神经元)的连接权值，即可求出预测值。

基于上述的BP算法，本实验数据处理方法采用如图1所示的多层前向反传的人工神经网络***。该人工神经网络***具有三层网络结构，每层中均包含有多个网络节点(神经元)。其中第一层为输入层，用于输入每个实验的因素；第三层为输出层，用于输入每个实验的测试结果；而第二层为隐层，每个隐层中的网络节点分别与输入层和输出层中的网络节点相连接。该人工神经网络***通过对大量实验数据的学习可以在输入和输出之间建立起一个非线性的数学映射关系，并以此为基础对相应的实验数据进行分析、处理，对实验结果进行预测。

图1所示的人工神经网络***采用BP(Back Propagation)算法及其改进算法计算各个网络节点之间的连接权值，在输入层和输出层之间建立非线性映射关系。

首先假设人工神经网络的输入层中有n个节点，隐层中有m个节点，输出层中有r个节点；整个网络的输入为x_i(i＝1，2，...n)，整个网络的输出为y_k(k＝1，2，...r)；输入层节点i与隐层节点j之间的连接权值为w_ij；隐层节点上的阈值为_j(j＝1，2，...m)。在此条件下，BP算法的整个计算步骤如下：

1.读入一组学习样本X(x₁，x₂，...，x_n)和希望输出t(y₁，y₂，...y_r)，首先进行正向计算过程，通过随机给定或者读入各个网络节点(神经元)的连接权值，计算出隐层各个网络节点(神经元)的输入值：

I_i＝∑W_ijx_j+θ_i                    (1)

式(1)中：W_ij为输入层网络节点(神经元)j与隐层网络节点(神经元)i之间的连接权值；x_j为样本在输入层中第j个网络节点(神经元)的值；_i为隐层网络节点(神经元)i的阈值。

2.如果隐层节点上的激发函数O_j假定为Sigmoid函数则隐层上各个网络节点(神经元)输出与隐层输入的关系为：

$O_i=\frac{1}{1+e^{\frac{{-I}_j}{\mathrm{\τ}}}}---\left(2\right)$

式(2)中：I_j为隐层各个网络节点(神经元)的输入；τ为温度因子。

3.如果隐层网络节点j与输出层网络节点k之间的连接权值为w_jk，并且不考虑隐层上各个网络节点(神经元)的阈值，则可以得到输出层中各个网络节点(神经元)的输出：

$y_k=\underset{i}{\mathrm{\Σ}}{V}_{\mathrm{ki}}{O}_i---\left(3\right)$

式(3)中：V_ki为输出层网络节点(神经元)k与隐层网络节点(神经元)i之间的连接权值；O_i为隐层网络节点(神经元)i的输出值。

4.在进行完正向计算后，再进一步计算整个人工神经网络的输出与实测结果的能量误差函数。

假设有p个学习样本，这些学习样本的实测输出值为t_k(k＝1，2，...，r)，则对于样本P(x_1p，x_2p，...，x_np；t_1p，t_2p，...，t_rp)，能量误差函数E为：

$E=\frac{1}{2}\underset{k=1}{\overset{r}{\mathrm{\Σ}}}{(t_k-y_k)}^2---\left(4\right)$

式(4)中：t_k为输出层中第k个网络节点(神经元)的实测值；y_k为输出层中第k个网络节点(神经元)的计算值。

5.修正各个神经元的连接权值：

按照图2所示的步骤，首先设置迭代精度和迭代计算轮次T，给出初始计算的连接权值W，然后设定T＝1、k＝1，通过连续迭代的方式计算连接权值的增量，使其沿着各样本的能量误差函数E_p随连接权值变化的负梯度方向不断修正，以达到降低误差的目的，进行反传计算。

假设学习速率为η，输入层与隐层之间各个网络节点连接权值增量为：

$\mathrm{\Δ}{w}_{\mathrm{ij}}=\mathrm{\η}(t_p-y_p)\frac{\∂y_p}{\∂w_{\mathrm{ij}}}=\mathrm{\η}(t_p-y_p)v_{\mathrm{jk}}{O}_{\mathrm{jp}}(1-O_{\mathrm{jp}})x_{\mathrm{ip}}---\left(5\right)$

隐层各个网络节点的阈值增量为：

$\mathrm{\Δ}{\mathrm{\θ}}_j=\mathrm{\η}(t_p-y_p)\frac{\∂y_p}{\∂{\mathrm{\θ}}_j}=\mathrm{\η}(t_p-y_p)v_{\mathrm{jk}}{O}_{\mathrm{jp}}(1-O_{\mathrm{jp}})---\left(6\right)$

隐层与输出层之间各个网络节点连接权值增量为：

$\mathrm{\Δ}{v}_{\mathrm{jk}}=\mathrm{\η}(t_p-y_p)\frac{\∂y_p}{\∂v_{\mathrm{jk}}}=\mathrm{\η}(t_p-y_p)O_{\mathrm{jp}}---\left(7\right)$

6.采用迭代方式，令新的连接权值和阈值分别为原有值与上述增量之和：

w_ij＝w_ij+Δw_ij                (8)

θ_j＝θ_j+Δθ_j

v_ijk＝v_ijk+Δv_ijk

7.计算全部p个样本的总能量误差函数：

$E=\underset{p=1}{\overset{P}{\mathrm{\Σ}}}{E}_p---\left(9\right)$

8.如果迭代计算轮次T达到所设定的值Ts，或者计算精度达到所设定的要求，则结束整个计算过程。

此时获得的连接权值即为进行实验数据分析和结果预测所采用的连接权值。

本实验数据处理方法在采用上述的BP算法之外，为了提高学习速度，还可以引入了动量因子、温度因子等参数，并采用动量梯度法、共轭梯度法等多种计算方法，以便适应多种不同的应用场合，加快收敛速度、避免陷入能量误差函数的局部极小。

下面进一步介绍利用本实验数据处理方法实现实验数据的分析处理和结果预测的具体过程。

1.设定人工神经网络***中每层的网络节点(神经元)数目和学习样本数目

前已述及，本发明所涉及的人工神经网络***共分为三层：输入层(用于输入实验因素X)、隐层和输出层(用于输入实验测定结果Y)。因此，首先设定输入层的网络节点数目、隐层的网络节点数目和输出层的网络节点数目。然后，进一步确定样本数目(即要进行学习训练的样本数)。

2.进行实验数据归一化

在BP算法中，由于激发函数是类似S形的Sigmoid函数或反正切函数，为了更有效地利用这类函数的特性，要对输入的实验数据(包括实验因素值和实验结果)进行归一化处理，以便将它们的大小控制在0～1之间。对于样本数据x_i归一化后的结果为x_i′，即：

$x_i^{\′}=\frac{x_i-x_{\min }}{x_{\max }-x_{\min }}$

3.输入要学习训练的样本X(x₁，x₂，...，x_n)和实测数据T

当学习训练的样本数目较少时，可以直接输入；而当学习训练的样本数目较多时，可以建立一个具有特定格式的文本文件，通过文件方式可以输入更多的样本。

4.设定计算参数

此处的计算参数包括学习速率、循环次数、拟合精度、动量因子、温度因子、激发函数和数据记录间隔等。

5.开始学习训练

在上述数据都输入完成、计算参数都设定好之后，就可以利用BP算法开始学习训练。图3显示了学习训练过程中的输出结果和误差的一个示例。

6.计算终止

当计算过程达到设定的终止条件时，计算会自动终止。

7.结果检验

为了检验输入的数据(实验因素)与输出的结果(实验结果)之间建立的映射关系是否正确，可以输入几组未经学习训练的实验数据，利用前次学习训练后的最终权值进行计算。有关的计算结果可以制作成如图4所示的计算结果与实测数据的对比图。如果对这几组未经学习训练的实验数据的计算结果与实测结果非常接近，则说明先前通过学习训练建立的输入数据与输出结果之间的映射关系正确，此时应保存这些最佳连接权值。否则，说明先前通过学习训练建立的输入数据与输出结果之间的映射关系不正确，此时必须重新进行学习训练。

8.预测结果

如果经过上述的结果检验，输入数据与输出结果之间的映射关系正确，这时就可以在保持最佳连接权值的条件下随意输入一组或几组实验因素，由此预测实验的结果。

9.建立数学模型寻找最优实验条件

在输入数据与输出结果之间的映射关系正确的条件下，通过绘制某一种或几种实验因素对实验结果的影响关系曲线，或者构建数学方程，即可得到最优实验条件。

下面，通过回收甘草酸盐的例子来说明本实验数据处理方法实现的技术效果。在该实施例中，首先分析聚乙烯醇-硫酸铵双水相体系在提取甘草酸盐中几种因素对收率的影响，由此建立网络映射关系，希望得到比较好的预测收率。

有关研究表明，聚乙烯醇的平均质量、聚乙烯醇质量分数、硫酸铵质量分数、溶液的PH值是影响提取甘草酸盐收率的四个主要因素，我们将它们分别确定为输入层的四个网络节点输入值x₁、x₂、x₃、x₄；而该项研究中，我们最关心的只有甘草酸盐收率，确定为唯一的输出T。

按照不同的实验方案进行了33次实验，从中选择了20个实验作为人工神经网络的学习样本，剩余的13个实验作为人工神经网络作为检验样本，将所有样本数据归一化。设定人工神经网络中隐层的网络节点数为5，学习速率为0.25，动量因子为0.9，温度因子为1.0，激发函数采用Sigmoid函数，优化方法采用采用动量梯度法，最大循环次数设定为25000次。参见表1所示，学习训练结束后得到的最终误差为0.004，说明整体学习样本计算结果与实际测量值的误差很小。

实验号	x1(g/mol)	x2(％)	x3(％)	x4	收率实测T(％)	收率拟合值y(％)	相对误差(％)
								1	600	18	16	7.0	91.0	89.3	1.87
2	1500	18	16	7.0	68.8	71.2	-3.49
								3	4000	18	16	7.0	48.3	47.7	1.24
4	6000	18	16	7.0	46.5	47.0	-1.08
								5	600	12	16	7.0	39.0	38.6	1.03
6	600	14	16	7.0	63.3	65.1	-2.84

实验号	x1(g/mol)	x2(％)	x3(％)	x4	收率实测T(％)	收率拟合值y(％)	相对误差(％)
								7	600	22	16	7.0	98.7	98.7	0.00
8	600	24	16	7.0	98.8	99.6	-0.81
								9	600	28	16	7.0	99.6	99.9	-0.30
10	1500	16	16	7.0	71.1	69.6	2.11
								11	1500	24	16	7.0	96.6	96.4	0.21
12	600	28	10	7.0	98.7	99.3	-0.61
								13	600	28	18	7.0	99.2	99.5	-0.30
14	600	28	20	7.0	98.9	98.8	0.10
								15	600	28	22	7.0	93.5	93.8	-0.32
16	600	28	14	5.8	99.7	99.9	-0.20
								17	600	28	14	8.5	99.6	99.7	-0.10
18	4000	8	16	7.0	21.5	21.7	-0.93
								19	4000	12	16	7.0	34.3	35.2	-2.62
20	6000	8	16	7.0	34.3	33.9	1.17

表1 20个学习样本的输入数据和拟合值

用剩余的13个未经学习训练的数据，对上述已经过学习训练所确定的网络模型进行检验，结果见表2。

实验号	收率实测T(％)	收率拟合值y(％)	相对误差(％)
				1	87.7	91.6	-3.9

实验号	收率实测T(％)	收率拟合值y(％)	相对误差(％)
				2	99.6	97.3	2.3
3	83.2	82.0	1.2
				4	99.3	99.9	-0.6
5	53.0	55.7	-2.7
				6	99.7	99.6	0.1
7	74.8	80.0	-5.2
				8	34.3	34.0	0.3
9	82.1	80.8	1.3
				10	99.3	99.9	-0.6
11	98.9	99.8	-0.9
				12	75.3	76.8	-1.5
13	60.5	61.4	-0.9

表2 13个检验样本的预测结果

根据表2，对13个未经学***均相对误差仅有1.65％，最大相对误差也只有5.2％，由此说明，前面经过训练的人工神经网络已经正确地建立了输入数据与输出结果之间的映射关系。

利用上述新建立的映射关系，可以建立各实验因素对甘草酸盐收率的影响关系曲线。例如聚乙烯醇的平均质量对甘草酸盐收率的影响曲线，在聚乙烯醇的平均质量为4000g/mol时有一个极小值，并且随着聚乙烯醇的平均质量从4000g/mol逐渐减小时，收率逐渐增加，由此可知聚乙烯醇的平均质量越小越有利于甘草酸盐收率的提高。

以上对本发明所述的基于人工神经网络的实验数据分析处理方法进行了详细的说明，但显然本发明的具体实现形式并不局限于此。对于本技术领域的一般技术人员来说，在不背离本发明的权利要求范围的情况下对它进行的各种显而易见的改变都在本发明的保护范围之内。

Claims (3)

1.一种基于人工神经网络的实验数据分析处理方法，所述人工神经网络具有三层网络结构，其中第一层为输入层，第二层为隐层，第三层为输出层，每层中均包含多个网络节点，隐层中的每个网络节点分别与输入层和输出层中的网络节点相连接，其特征在于包括如下的步骤：

(1)设定人工神经网络中每层的网络节点数目和学习样本数目；

(2)对输入的实验数据进行归一化处理；

(3)读入一组学习样本和希望输出，随机给定各个网络节点的连接权值，计算隐层中各个网络节点的输入值和输出值；

(4)计算输出层中各个网络节点的输出值；

(5)计算整个人工神经网络的输出与实测结果的能量误差函数；

(6)修正各个网络节点的连接权值：通过连续迭代的方式计算连接权值的增量，使其沿着能量误差函数随连接权值变化的负梯度方向不断修正，在迭代过程中计算全部样本的总能量误差函数；

(7)如果迭代计算轮次达到所设定的值或者计算精度达到所设定的要求，则结束迭代过程，保留计算出的各个网络节点的连接权值；

(8)根据步骤(7)获得的连接权值对输入的实验数据进行结果预测。

2.如权利要求1所述的基于人工神经网络的实验数据分析处理方法，其特征在于：

所述步骤(3)中，隐层网络节点上的激发函数为Sigmoid函数或反正切函数。

3.如权利要求1所述的基于人工神经网络的实验数据分析处理方法，其特征在于：

所述步骤(4)中，计算输出层中各个网络节点的输出值时，不考虑隐层上各个网络节点的阈值。

Images