CN103020642A - 水环境监测质控数据分析方法 - Google Patents

Abstract

本发明属于数据分析领域，具体涉及一种水环境监测质控分析方法。一种水环境监测质控数据分析方法，其特征在于，该方法包括下述的步骤：a.获取待审核水环境质控数据；b.建立支持向量机水环境质控数据预测模型；c.将质控数据输出与分析方法、仪器类型相同历史数据中的质控数据进行比较，得到偏差；d.确定数据的审核通过与否，具体确定的步骤为：偏差不大，则数据合理，通过审核，并将其加入历史数据集，反之偏差过大，将该数据列为可疑数据。采用了本发明的分析研究方法对水环境监测质控数据进行分析，解决了急剧膨胀的各种呈非线性多变量的监测质控数据的处理与审核及分析问题，满足了科学管理的要求。

Description

水环境监测质控数据分析方法

技术领域

本发明属于数据分析领域，具体涉及一种水环境监测质控分析方法。

背景技术

在流域水环境有机污染物监测过程中，数据的获得包括布点、采样、现场测试、样品运输、样品交接、样品制备、实验室分析测试、数据处理、数据审核、综合分析和评价等多个技术环节。由于受分析方法的局限性、监测分析人员的技术水平及各种干扰因素的影响，监测数据失真、异常的现象时有发生。为了使监测数据能够准确地反映流域水环境质量的现状，必须对整个环境监测过程实行质量控制，同时对质控监测数据进行全面、严格、规范的审核，以便及时发现环境监测过程中存在的问题和不足，并及时予以纠正和解决，确保监测质控数据的完整性、代表性、可比性、精密性和准确性。从而为各地环保管理部门进行排污申报核定、排污许可证发放、总量控制、环境统计、排污费征收和现场环境执法等环境监督管理的依据，为环境管理提供优质、高效的服务。因此，监测过程质量控制及监测质控数据审核是质量管理工作的主要内容，是获得正确分析数据的一个极为重要环节，是当前流域水环境监测工作需要解决的技术关键和科学管理实验室的有效方法，也是水质监测走向法制化和科学化的必然要求。

二十多年来，国家环境监测***先后出台了环境水质监测质量保证手册、水质监测采样监测分析方法、环境监测技术规范、水质监测实验室质量控制指标等，各级监测站通过计量认证或实验室认可，初步建立了质量管理体系，通过质量体系的运作来实现质量管理。随着有机污染物监测的大量开展，监测技术的质量控制及其相关的监测质控数据审核已跟不上发展需要，流域水环境有机污染监测质量保证与质量控制***性不强、质量控制手段单一等问题日益凸显，使得每年大量监测质控数据无可比性，无法说清环境质量、变化规律、变化趋势及变化原因。

监测质控数据的处理与审核是环境监测过程全面质量管理的关键技术之一，然而随着人们环境保护意识的增强，现代环境监测从无机污染物向有机污染物监测发展、从化学分析向仪器分析发展、从手动采样－实验室分析向自动在线监测***发展、以及从单一的监测分析技术向多种监测分析技术联用发展，都使得监测质控数据的积累急剧地膨胀，由此产生了巨量的、复杂的监测质控数据；此外，这些监测质控数据与水质之间呈现的也并非是简单的线性关系，而是非线性多变量的。对这些技术进步所带来的巨量的、复杂的监测质控数据若仍采用传统的人工处理与审核方法已难以满足科学管理的要求。

因此需要针对上述的方法进行改进，设计一种能满足科学管理需求的水环境监测质控数据分析方法。

发明内容

为了解决上述的技术问题，本发明提供了一种能够更加准确的反映水环境监测质控数据的分析方法。

本发明的水环境监测质控分析方法是通过下述的技术方案来解决以上的技术问题的：

一种水环境监测质控数据分析方法，其特征在于，该方法包括下述的步骤：

a.获取待审核水环境质控数据，采用常规的方法对数据进行处理，常规方法是指数据逻辑判断法、Dixon检验法，去除明显不合理的异常数据，应用非监督学习算法辨识隐含的离群数据；

b.采用监督学习算法建立水环境质控数据分析模型，并鉴别监测数据的可靠性；

c.将质控数据输出与分析方法、仪器类型相同历史数据中的质控数据进行比较，得到偏差；

d.确定数据的审核通过与否，具体确定的步骤为：偏差不大，则数据合理，通过审核，并将其加入历史数据集，反之偏差过大，将该数据列为可疑数据，应用支持向量机回归方法从水质监测质控数据时间序列中分离异常数据。

上述的非监督学习算法为：聚类算法。

上述的监督学习算法为k均值聚类的算法、粒子群优化法、人工神经网络算法、支持向量机中的至少一种。

k均值聚类的算法：

（a）随机地选择k个对象，每个对象初始地代表了一个类的平均值或中心：

（b）对剩余的每个对象，根据其与各个类中心的距离，将它赋给最近的类。

对于重新聚成的k的类，判断准则函数是否收敛：若收敛，则算法终止；

否则，转（c）；

（c）重新计算每个类的中心，转（b）。

粒子群优化算法为：

对于第j个粒子，其位置表示为x_j＝[x_j1，x_j2，...,x_jd]，飞行速度表示为v_j＝[v_j1，v_j2，...,v_jd]，所经历的最好位置为p_bestj，群体所有粒子经历的最好位置为g_best，粒子通过不断学习更新，最终飞至解空间中最优解所在的位置，整个搜索过程即结束，最后输出的g_best就是全局最优解，粒子在迭代过程中用来更新自己的速度和位置的进化公式为

$v_j^{K+1}=w^K{v}_j^K+c_1{r}_{1j}^K(p_{\mathrm{bestj}}^K-x_j^K)+c_2{r}_{2j}^K(g_{\mathrm{best}}^K-x_j^K)---\left(1\right)$

$x_j^{K+1}=x_j^K+v_j^{K+1}---\left(2\right)$

式中K为当前迭代次数，c₁和c₂为学习因子，它们分别代表个体经验和群体经验对粒子进化的指导力度；r_1j和r_2j为0-1之间按正态分布的随机数，用来增加粒子的多样性，w为惯性权重，是一个0-1之间的常数，它使粒子具有保持原来运动状态的惯性，这样粒子就具有扩展搜索空间的趋势，采用惯性权重线性递减策略，在标准粒子群优化的基础上，惯性权重随迭代过程按下式线性递减：

$w^K=w_{\max }-(w_{\max }-w_{\min })\frac{K}{K_{\max }}---\left(3\right)$

式中K_max为最大迭代次数，w_max为最大惯性权重，w_min为最小惯性权重。与固定权重相比，线性递减策略前期较大的惯性会让粒子拥有较强的全局搜索能力，可有效地避免算法过早陷入局部最优，而当算法进行到后期，较小的惯性权重又能保证粒子的局部搜索能力，提升算法的精度。

粒子群优化在每次迭代过程中，计算各粒子的适应度，即目标函数，以计算结果评估当前的p_bestj和g_best，粒子群优化的整个寻优过程为：

a)随机初始化每个粒子的位置和速度；

b)计算粒子的适应度，如果得到更优的p_bestj和g_best，则更新并保存当前的最优值；

c)依照式(1)、(2)更新每个粒子的速度和位置，并按照式(3)更新当前的惯性权重，同时进行过速检测与修正等约束性操作；

d)如果未能达到预先设定的最大迭代次数，则返回b)；否则停止运算，并输出结果；

人工神经网络算法：

BP前向神经网络的拓扑结构

该方法的三层前馈网包括了输入层、隐含层和输出层，三层网络中，输入向量为X＝(x₁,x₂,...,x_i,…,x_n)^T，x₀＝-1是为隐含层神经元引入阈值而设置的；隐含层输出向量Y＝(y₁,y₂,...,y_j，...,y_m)^T，y₀＝-1是为输出层神经元引入阈值而设置的；输出层输出向量为O＝(o₁,o₂,...,o_k,...,o_l)^T；期望输出向量为d＝(d₁,d₂,...,d_k,...,d_l)^T。输入层到隐含层之间的权值矩阵用V表示，V＝(V₁,V₂,...,V_j,...,V_m)，其中列向量V_j为隐含层第j个神经元对应的权向量；隐含层到输出层之间的权值矩阵用W表示，W＝(W₁,W₂,...,W_k,...,W_l),其中列向量W_k为输出层第k个神经元对应的权向量。下面分析各层信号之间的数学关系。

对于输出层，有

o_k＝f(net_k)k＝1,2,…,l    （4）

${\mathrm{net}}_k=\underset{j=0}{\overset{m}{\mathrm{\Σ}}}{w}_{\mathrm{jk}}{y}_j$ k＝1,2,…,l    （5）

对于隐含层，有

y_j＝f(net_j)j＝1,2,…,m    （6）

${\mathrm{net}}_j=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{v}_{\mathrm{ij}}{x}_i$ j＝1,2,…,m    （7）

式（6），（7）中，转移函数f(x)均为单极性Sigmoid函数（双曲线正切函数）

$f\left(x\right)=\frac{1}{{1+e}^{-x}}---\left(8\right)$

BP学习算法

实现此算法的具体过程如下：

a)初始化输出层、隐含层权矩阵，阈值；

b)从样本集中取一个样本(X_p,D_p)（p为样本编号），将X_p输入网络；

c)根据式（4）、（5）计算相应的实际输出O_P；

d)计算实际输出O_p与相应的理想输出D_p的误差；

对于每个样本对，网络的输出误差为：

$E_p=\frac{1}{2}\underset{k=1}{\overset{l}{\mathrm{\Σ}}}{(o_{\mathrm{pk}}-d_{\mathrm{pk}})}^2---\left(9\right)$

网络的平均误差为：

$E=\frac{1}{{2p}_1}\underset{p=1}{\overset{p_1}{\mathrm{\Σ}}}\underset{k=1}{\overset{l}{\mathrm{\Σ}}}{(o_{\mathrm{pk}}-y_{\mathrm{pk}})}^2---\left(10\right)$

式中p₁—总样本对个数，l—输出层样本的个数。

e)按极小化误差的方式调整权矩阵

根据Delta规则

w_ij(t+1)＝w_ij(t)+Δw_ij(t)    （11）

Δw_ij(t)＝ηδ_jo_i(t)         （12）式中为η—网络学习速率，δ_j—局部梯度

对输出层有

δ_pk＝(d_pk-o_pk)o_pk(1-o_pk)    （13）对隐含层有

${\mathrm{\δ}}_{\mathrm{pj}}=y_{\mathrm{pj}}(1-y_{\mathrm{pj}})\underset{k=1}{\overset{l}{\mathrm{\Σ}}}{w}_{\mathrm{jk}}{\mathrm{\δ}}_{\mathrm{pk}}---\left(14\right)$

计算了每个样本对的Δ_pw_ij后，权值的变化：

${\mathrm{\Δw}}_{\mathrm{ij}}=\frac{1}{p}\underset{p}{\mathrm{\Σ}}{\mathrm{\Δ}}_p{w}_{\mathrm{ij}}---\left(15\right)$

重复步骤b）-e），直到E满足精度要求为止，此时各层权矩阵就是训练后的网络权矩阵；

支持向量机算法为：

①两类模式分类问题

设模式样本中的输入向量x∈Rⁿ可分为两类，如果x属于第一类，则标记为1，属于第二类，则标记为–1，即由y∈{1,-1}构成输出向量y∈R^l，取数量为l的样本作为训练集(x_i,y_i)，i＝1,…l，解两类模式分类问题就是要构造一个判别函数，将两类模式尽可能正确地区分开来。

当两类模式线性可分时，超平面w^Tx+b＝0可将两类区分开，而当两类模式线性不可分时，上述超平面无法将两类分隔开，但可用某一非线性函数φ(x)，通过非线性变换Φ:x→φ(x)，将模式样本变换到高维特征空间，并在高维特征空间中构造分类超平面，该超平面在原空间中可表示为w^Tφ(x)+b＝0，考虑到y∈{1,-1}，因此应满足约束条件

y_i(w_iφ(x_i)+b)≥1,i＝1,…,l    (16)

满足约束条件的超平面有多个，需在结构风险最小化准则下，构造一最优超平面，使模式样本的两类之间的分类间隔(从超平面到最近数据点的距离)最大，这些最近的数据点称为支持向量，一组支持向量可以唯一地确定一个超平面；

由于支持向量与超平面之间的距离为1/‖w‖，则分类间隔等于2/‖w‖，因此构造最优超平面的问题就转化为一个二次规划问题

$\min \left\{\frac{1}{2}{w}^{T}w\right\}---\left(17\right)$

s.t.y_i(w_iφ(x_i)+b)≥1,i＝1,…,l    (18)

考虑到可能存在一些样本不能被超平面正确分类，增加一个松弛项ξ_i≥0，i＝1,…,l，则约束条件变为

y_i(w_iφ(x_i)+b)≥1+ξ_i,i＝1,…,l    (19)

二次规划问题转换为

$\min \{\frac{1}{2}{w}^{T}w+C\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\ξ}}_i\}---\left(20\right)$

s.t.y_i(w_iφ(x_i)+b)≥1-ξ_i,ξ_i≥0,i＝1,…,l

由此折衷考虑最大分类间隔和最少错分样本，得到广义最优超平面。式(20)其中的C是一正的常数，称惩罚因子，用于控制对错分样本惩罚的程度，

利用Lagrange优化方法把上述最优分类面问题转化为其对偶问题，即对α_i求解

$\max \{-\frac{1}{2}{\mathrm{\α}}^T\mathrm{Q\α}+e^T\mathrm{\α}\}---\left(21\right)$

s.t.y^Tα＝0

0≤α_i≤C,i＝1,…,l,

以及超平面的系数向量

$w=\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\α}}_i{y}_i\mathrm{\φ}\left(x_i\right)---\left(22\right)$

其中e是全1向量，α_i为与每个样本对应的Lagrange乘子，Q是半正定l×l对称矩阵，Q_ij＝y_iy_jK(x_i,x_j)，K(x_i,x_j)＝φ(x_i)^Tφ(x_j)称为核函数，是直接指定的，根据式(21)和式(22)可分别得到α_i和w，

通常只有少部分α_i不为零，即支持向量是少数的，对于支持向量应满足

y_i＝(w_iφ(x_i)+b)＝1    (23)由此可求得常数b。

于是根据分类决策函数

$f\left(x\right)=\mathrm{sgn}\{\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{y}_i{\mathrm{\α}}_{i}K(x,x_i)+b\}---\left(24\right)$

判断输入向量属于哪一类，

在支持向量机的训练前，其超参数即径向基函数的核函数宽度和惩罚因子是需要预先确定的；

②多类模式分类问题

对k类模式的分类问题，采用一对一方法，即建立k(k-1)/2个基于支持向量机的两类分类器，以每两类不同的数据训练一个分类器，如果输入模式x_t取自第i类和第j类数据，则通过解下述问题构造分类器，即

$\min \{\frac{1}{2}{\left(w^{\mathrm{ij}}\right)}^T{w}^{\mathrm{ij}}+C\underset{t}{\mathrm{\Σ}}{\mathrm{\ξ}}_t^{\mathrm{ij}}\}---\left(25\right)$

$s.t.{\left(w^{\mathrm{ij}}\right)}^T\mathrm{\φ}\left(x_t\right)+b^{\mathrm{ij}}\≥1-{\mathrm{\ξ}}_t^{\mathrm{ij}},$ 当x_t属于第i类

${\left(w^{\mathrm{ij}}\right)}^T\mathrm{\φ}\left(x_t\right)+b^{\mathrm{ij}}\≤-1+{\mathrm{\ξ}}_t^{\mathrm{ij}},$ 当x_t属于第j类

${\mathrm{\ξ}}_t^{\mathrm{ij}}\≥0$

分类时，采用投票策略，即将输入模式x_t送到每个分类器测试，如果分类函数sgn{(w^ij)^Tφ(x_t)+b^ij}判别属于第i类，则给第i类加1，否则第j类加1，最后根据哪一类得到的数最大来决定结果。

本发明的有益效果在于，采用了本发明的分析研究方法对水环境监测质控数据进行分析，解决了急剧膨胀的各种呈非线性多变量的监测质控数据的处理与审核及分析问题，满足了科学管理的要求。

附图说明

图1为本发明的利用k均值算法聚类；

图2BP前向神经网络的拓扑结构；

图3最优超平面位置示意图；

图4一类二维数据点在平面上的分布；

图5粒子群-k均值聚类所得各个数据点的欧氏距离；

图6气相色谱仪水环境监测质控数据分析数据的二维主成分分析图。

具体实施方式

下面结合附图和具体实施方式来对本发明作更进一步的说明，以便本领域的技术人员更了解本发明，但并不以此限制本发明。

实施例1

a.获取待审核水环境质控数据，采用常规的传统的方法对数据进行处理，常规方法是指数据逻辑判断法、Dixon检验法，去除明显不合理的异常数据，应用非监督学习算法辨识隐含的离群数据；

b.采用监督学习算法建立水环境质控数据分析模型，并鉴别监测数据的可靠性；

c.将质控数据输出与分析方法、仪器类型相同历史数据中的质控数据进行比较，得到偏差；

d.确定数据的审核通过与否，具体确定的步骤为：偏差不大，则数据合理，通过审核，并将其加入历史数据集，反之偏差过大，将该数据列为可疑数据，应用支持向量机回归方法从水质监测质控数据时间序列中分离异常数据。

实施例2

k均值聚类

k均值聚类(k-means)算法以k为参数，把n个对象分为k个类，以使类内元素具有较高的相似度，而类间的相似度较低。相似度的计算根据一个类中对象的平均值（被看作类的重心）来进行。

k均值聚类算法按如下步骤进行迭代：

（a）随机地选择k个对象，每个对象初始地代表了一个类的平均值或中心：

（b）对剩余的每个对象，根据其与各个类中心的距离，将它赋给最近的类。

对于重新聚成的k的类，判断准则函数是否收敛：若收敛，则算法终止；

否则，转（c）；

（c）重新计算每个类的中心，转（b）。

通常，我们采用平方误差准则，其定义如下：

$E=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{\mathrm{\Σ}}_{x\∈C_i}{|x-\frac{1}{n_i}\underset{j=1}{\overset{n_i}{\mathrm{\Σ}}}{x}_j|}^2---\left(1\right)$

其中，C_i表示聚成的第i个类，n_i表示类C_i中元素的个数，

表示类C_i的平均值。这里E是所有对象的平方误差的总和。这个准则试图使生成的结果类尽可能的紧凑和独立。这个算法尝试找出使平方误差函数值最小的k个划分。当结果类是密集的，而类与类之间区别明显时，它的效果较好。

图1显示了利用k均值聚类算法对9个2维对象进行聚类，循环两次后所得的结果。其中图1(a)是原始质控数据分布，图1(b)是一次循环结果，图1(c)是二次循环结果。类1(Cluster 1)中的对象使用红色描述，类2(Cluster 2)中的对象使用黑色描述；空心圆表示待聚类的对象，实心圆表示类的平均值，我们称其为伪中心。虚线指示当前聚成的类。可见，k均值聚类算法迅速收敛到了正确的聚类，即使选取了并不合理的初始聚类中心。

实施例3

粒子群优化

粒子群优化算法(Particle Swarm Optimization,PSO)通过对自然界鸟类的群体行为的模拟，将生物种群中信息共享的思想应用到算法进程当中，以个体认知和社会经验共同指导种群进化。作为一种新的智能优化算法，粒子群优化兼备演化算法和群智能算法的特征，已广泛应用于求解各类非线性、不可微和多峰值的复杂优化问题。与遗传算法相比，粒子群优化不易产生早熟收敛，且具有结构简单、控制参数少、运行速度较快等优点。

粒子群优化算法初始化为一群随机粒子(随机解)，每个粒子代表解空间(d维)中的一个候选解，候选解的优劣程度由适应度函数决定。每个粒子同时根据自身的飞行经验和群体的飞行经验来调整自己的飞行轨迹，通过迭代向最优点靠拢。对于第j个粒子,其位置表示为x_j＝[x_j1，x_j2，...,x_jd]，飞行速度表示为v_j＝[v_j1，v_j2，...,v_jd]，所经历的最好位置为p_bestj，群体所有粒子经历的最好位置为g_best。粒子通过不断学习更新，最终飞至解空间中最优解所在的位置，整个搜索过程即结束，最后输出的g_best就是全局最优解。粒子在迭代过程中用来更新自己的速度和位置的进化公式为

$v_j^{K+1}=w^K{v}_j^K+c_1{r}_{1j}^K(p_{\mathrm{bestj}}^K-x_j^K)+c_2{r}_{2j}^K(g_{\mathrm{best}}^K-x_j^K)---\left(2\right)$

$x_j^{K+1}=x_j^K+v_j^{K+1}---\left(3\right)$

式中K为当前迭代次数，c₁和c₂为学习因子，它们分别代表个体经验和群体经验对粒子进化的指导力度；r_1j和r_2j为0-1之间按正态分布的随机数，用来增加粒子的多样性。w为惯性权重，是一个0-1之间的常数，它使粒子具有保持原来运动状态的惯性，这样粒子就具有扩展搜索空间的趋势。本文采用惯性权重线性递减策略，即在标准粒子群优化的基础上，惯性权重随迭代过程按下式线性递减：

$w^K=w_{\max }-(w_{\max }-w_{\min })\frac{K}{K_{\max }}---\left(4\right)$

式中K_max为最大迭代次数，w_max为最大惯性权重，w_min为最小惯性权重。与固定权重相比，线性递减策略前期较大的惯性会让粒子拥有较强的全局搜索能力，可有效地避免算法过早陷入局部最优，而当算法进行到后期，较小的惯性权重又能保证粒子的局部搜索能力，提升算法的精度。

粒子群优化在每次迭代过程中，需计算各粒子的适应度(目标函数)，以计算结果评估当前的p_bestj和g_best。粒子群优化的整个寻优过程为：

a)随机初始化每个粒子的位置和速度；

b)计算粒子的适应度，如果得到更优的p_bestj和g_best，则更新并保存当前的最优值；

c)依照式(2)、(3)更新每个粒子的速度和位置，并按照式(4)更新当前的惯性权重，同时进行过速检测与修正等约束性操作；

d)如果未能达到预先设定的最大迭代次数，则返回b)；否则停止运算，并输出结果。

实施例4

人工神经网络

人工神经网络(Artificial Neural Networks,ANN)有多种类型，以下仅说明本发明中所应用的BP前向神经网络。

①BP前向神经网络的拓扑结构

采用BP算法的多层前馈网络是至今为止应用最广泛的神经网络，在多层前馈网的应用中，以下图2所示的单隐含层网络的应用最为普遍。一般习惯将单隐层前馈网称为三层前馈网，所谓三层包括了输入层、隐含层和输出层；

三层网络中，输入向量为X＝(x₁,x₂,...,x_i,…,x_n)^T，x₀＝-1是为隐含层神经元引入阈值而设置的；隐含层输出向量Y＝(y₁,y₂,...,y_j，...,y_m)^T，y₀＝-1是为输出层神经元引入阈值而设置的；输出层输出向量为O＝(o₁,o₂,...,o_k，...,o_l)^T；期望输出向量为d＝(d₁,d₂,...,d_k,...,d_l)^T。输入层到隐含层之间的权值矩阵用V表示，V＝(V₁,V₂,...,V_j,...,V_m)，其中列向量V_j为隐含层第j个神经元对应的权向量；隐含层到输出层之间的权值矩阵用W表示，W＝(W₁,W₂,...,W_k,...,W_l),其中列向量W_k为输出层第k个神经元对应的权向量。下面分析各层信号之间的数学关系。

对于输出层，有

o_k＝f(net_k)k＝1,2,…,l    （5）

${\mathrm{net}}_k=\underset{j=0}{\overset{m}{\mathrm{\Σ}}}{w}_{\mathrm{jk}}{y}_j$ k＝1,2,…,l（6）

对于隐含层，有

y_j＝f(net_j)j＝1,2,…,m    （7）

${\mathrm{net}}_j=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{v}_{\mathrm{ij}}{x}_i$ j＝1,2,…,m    （8）

式（7）,（8）中，转移函数f(x)均为单极性Sigmoid函数（双曲线正切函数）

$f\left(x\right)=\frac{1}{1+e^{-x}}---\left(9\right)$

②BP学习算法

BP算法是利用输出层的误差来估计输出层直接前导层的误差，再用这个误差估计前一层的误差，这就形成了输出端上表现出的误差沿着与输入信号传送相反的方向逐级向网络的输入端传递的过程，实现此算法的具体过程如下：

a)初始化输出层、隐含层权矩阵，阈值；

b)从样本集中取一个样本(X_p,D_p)（p为样本编号），将X_p输入网络；

c)根据式（5）、（6）计算相应的实际输出O_P；

d)计算实际输出O_p与相应的理想输出D_p的误差；

对于每个样本对，网络的输出误差为：

$E_p=\frac{1}{2}\underset{k=1}{\overset{l}{\mathrm{\Σ}}}{(o_{\mathrm{pk}}-d_{\mathrm{pk}})}^2---\left(10\right)$

网络的平均误差为：

$E=\frac{1}{{2p}_1}\underset{p=1}{\overset{p_1}{\mathrm{\Σ}}}\underset{k=1}{\overset{l}{\mathrm{\Σ}}}{(o_{\mathrm{pk}}-y_{\mathrm{pk}})}^2---\left(11\right)$

式中p₁—总样本对个数，l—输出层样本的个数。

e)按极小化误差的方式调整权矩阵

根据Delta规则

w_ij(t+1)＝w_ij(t)+Δw_ij(t)    （12）

Δw_ij(t)＝ηδ_jo_i(t)         （13）式中为η-网络学习速率，δ_j局部梯度

对输出层有

δ_pk＝(d_pk-o_pk)o_pk(1-o_pk)    （14）

对隐含层有

${\mathrm{\δ}}_{\mathrm{pj}}=y_{\mathrm{pj}}(1-y_{\mathrm{pj}})\underset{k=1}{\overset{l}{\mathrm{\Σ}}}{w}_{\mathrm{jk}}{\mathrm{\δ}}_{\mathrm{pk}}---\left(15\right)$

计算了每个样本对的Δ_pw_ij后，权值的变化：

${\mathrm{\Δw}}_{\mathrm{ij}}=\frac{1}{p}\underset{p}{\mathrm{\Σ}}{\mathrm{\Δ}}_p{w}_{\mathrm{ij}}---\left(16\right)$

重复步骤b）-e），直到E满足精度要求为止，此时各层权矩阵就是训练后的网络权矩阵。

实施例5

支持向量机

支持向量机(Support Vector Machines,SVM)是Cortes&Vapnikl 1995年首先提出来的，是神经网络的扩展。作为一种新的机器学习方法，使用了与经典统计识别方法完全不同的思路，即不像主分量分析等经典方法那样将特征空间的维数压缩(在该过程中将损失部分信息)，而是设法将特征空间的维数升高，以求在原空间中非线性不可分的问题在高维的特征空间中变得线性可分或接近线性可分。由于在这个特征空间中，只需进行点积运算，并没有使算法的复杂性随维数的增加而增加，而且在高维空间中的推广能力不受维数的影响，因此以支持向量机处理气敏传感器阵列信号有望得到更高的识别率。同时，支持向量机对神经网络等方法遇到的一些困难，比如过学习、局部极小点、维数灾难等问题在遵循经验风险最小化准则的支持向量机中都得到了很大程度的解决，很多领域都有很大的应用潜力。

支持向量机拓扑结构与人工神经网络相似，可用于分类或回归两类，以下仅简述支持向量机分类。

①两类模式分类问题

设模式样本中的输入向量x∈Rⁿ可分为两类，如果x属于第一类，则标记为1，属于第二类，则标记为–1，即由y∈{1,-1}构成输出向量y∈R^l。取数量为l的样本作为训练集(x_i,y_i)，i＝1,…l。解两类模式分类问题就是要构造一个判别函数，将两类模式尽可能正确地区分开来。

当两类模式线性可分时，超平面w^Tx+b＝0可将两类区分开。而当两类模式线性不可分时，上述超平面无法将两类分隔开，但可用某一非线性函数φ(x)，通过非线性变换Φ:x→φ(x)，将模式样本变换到高维特征空间，并在高维特征空间中构造分类超平面。该超平面在原空间中可表示为w^Tφ(x)+b＝0，考虑到y∈{1,-1}，因此应满足约束条件

y_i(w_iφ(x_i)+b)≥1,i＝1,…,l    (17)

满足约束条件的超平面有多个，需在结构风险最小化准则下，构造一最优超平面，使模式样本的两类之间的分类间隔(从超平面到最近数据点的距离)最大，这些最近的数据点称为支持向量(Support Vectors)，如图3所示。一组支持向量可以唯一地确定一个超平面，图3中粗实线表示的就是最优超平面。

由于支持向量与超平面之间的距离为1/‖w‖，则分类间隔等于2/‖w‖，因此构造最优超平面的问题就转化为一个二次规划问题

$\min \left\{\frac{1}{2}{w}^{T}w\right\}---\left(18\right)$

s.t.y_i(w_iφ(x_i)+b)≥1,i＝1,…,l    (19)考虑到可能存在一些样本不能被超平面正确分类，增加一个松弛项ξ_i≥0，i＝1,…,l，则约束条件变为

y_i(w_iφ(x_i)+b)≥1+ξ_i,i＝1,…,l    (20)

二次规划问题转换为

$\min \{\frac{1}{2}{w}^{T}w+C\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\ξ}}_i\}---\left(21\right)$

s.t.y_i(w_iφ(x_i)+b)≥1-ξ_i,ξ_i≥0,i＝1,…,l

由此折衷考虑最大分类间隔和最少错分样本，得到广义最优超平面。式(21)其中的C是一正的常数，称惩罚因子，用于控制对错分样本惩罚的程度。

利用Lagrange优化方法把上述最优分类面问题转化为其对偶问题，即对_αi求解

$\max \{-\frac{1}{2}{\mathrm{\α}}^T\mathrm{Q\α}+e^T\mathrm{\α}\}---\left(22\right)$

s.t.y^Tα＝0

0≤α_i≤C,i＝1,…,l,

以及超平面的系数向量

$w=\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\α}}_i{y}_i\mathrm{\φ}\left(x_i\right)---\left(23\right)$

其中e是全1向量，α_i为与每个样本对应的Lagrange乘子，Q是半正定l×l对称矩阵，Q_ij＝y_iy_jK(x_i,x_j)，K(x_i,x_j)＝φ(x_i)^Tφ(x_j)称为核函数(常用径向基函数)，是直接指定的。根据式(22)和式(23)可分别得到α_i和w。

通常只有少部分α_i不为零，即支持向量是少数的。对于支持向量应满足

y_i＝(w_iφ(x_i)+b)＝1    (24)由此可求得常数b。

于是根据分类决策函数

$f\left(x\right)=\mathrm{sgn}\{\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{y}_i{\mathrm{\α}}_{i}K(x,x_i)+b\}---\left(25\right)$

可判断输入向量属于哪一类。

在支持向量机的训练前，其超参数(即径向基函数的核函数宽度和惩罚因子)是需要预先确定的。

②多类模式分类问题

对k类模式的分类问题，采用一对一方法，即建立k(k-1)/2个基于支持向量机的两类分类器，以每两类不同的数据训练一个分类器。如果输入模式x_t取自第i类和第j类数据，则通过解下述问题构造分类器，即

$\min \{\frac{1}{2}{\left(w^{\mathrm{ij}}\right)}^T{w}^{\mathrm{ij}}+C\underset{t}{\mathrm{\Σ}}{\mathrm{\ξ}}_t^{\mathrm{ij}}\}---\left(26\right)$

$s.t.{\left(w^{\mathrm{ij}}\right)}^T\mathrm{\φ}\left(x_t\right)+b^{\mathrm{ij}}\≥1-{\mathrm{\ξ}}_t^{\mathrm{ij}},$ 当x_t属于第i类

${\left(w^{\mathrm{ij}}\right)}^T\mathrm{\φ}\left(x_t\right)+b^{\mathrm{ij}}\≤-1+{\mathrm{\ξ}}_t^{\mathrm{ij}},$ 当x_t属于第j类

${\mathrm{\ξ}}_t^{\mathrm{ij}}\≥0$

分类时，采用投票策略，即将输入模式x_t送到每个分类器测试，如果分类函数sgn{(w^ij)^Tφ(x_t)+b^ij}判别属于第i类，则给第i类加1，否则第j类加1，最后根据哪一类得到的数最大来决定结果。

利用改进的粒子群-k均值聚类(Particle Swarm Optimization-k-means,PSO-k)技术实现了异常监测数据的辨识

对于水质监测获得的质控数据，绝大多数时候是属于正常数据，而异常数据出现只是个别情况。对应同一环境多次检测获得的质控数据都有一定的相似性。因此，正常数据的数目要远大于异常数据的数目，且正常同类数据具有“抱团”成族的性质，因而可以考虑采用k均值等聚类分析技术检测出数据集中的异常数据，但是k均值聚类分析对初始点敏感，依赖k均值聚类原型容易陷入局部极值点，影响聚类效果。粒子群优化算法在一定条件下可以在搜索空间中收敛到全局最优解，是一种通用性好的搜索算法。因此在本发明中将粒子群优化算法的全局搜索能力应用于经典的k均值聚类分析，构成改进的粒子群-k均值聚类异常数据检测算法，该算法可以克服原算法对初始化敏感和容易陷入局部寻优点的缺点。

在粒子群-k均值聚类分析中对原算法作了如下改进：粒子群算法的适应度函数定义为F=1/(D+1），其中

而dis(p_i,f_i)是监测数据点p_i在其领域f_i中欧氏距离之和表示，这样F越小表示D越大，即对应的监测质控数据离群越远，表示该数据点疑为异常数据。

图4、5是应用粒子群-k均值聚类进行异常数据检测结果的一个例子。图4是一类16种多环芳烃待分析质控数据的散点图，该图中的黑圈指示的a,b,c,d,e五点离群较远，疑为异常数据。通过粒子群-k均值聚类分析得到各个数据点的欧氏距离D如图5所示，在图5中横轴为数据点的位置，纵轴为各个数据点对应的欧氏距离。从图5可看出，我们只要确定一个阈值，并将各数据点的欧氏距离与阈值比较，大于阈值者可能为异常数据点。在该例中，a,b,c,d,e五点对应的欧氏距离较大，很容易编程挑选出这几个数据，并由此作出判断。直观地说，这几个监测数据点没有“足够多”的相邻数据，是相对孤立的。

①对水环境监测质控数据而言，影响水质的因素较多，因此聚类分析在多维空间中进行，一般难以像上面例子那样在二维平面上给出数据分布，但用粒子群-k均值聚类分析仍可确定多维空间中各个数据点的欧氏距离，并检测出异常数据；

②对于含不同等级的监测质控数据(多类别)，可先用经典k聚类方法进行一次分析，区分出是属于哪个等级的数据，然后再对同一等级水环境的监测质控数据进行上述改进的粒子群-k均值聚类分析，找出异常数据。

粒子群-k均值聚类分析属于非监督学习方法，其优势在于它不需要类别已知的历史数据训练就可以实现数据分类，但在分类过程中要确定阈值，该阈值需凭经验确定。与原k均值聚类比较，利用粒子群优化算法提高了全局收敛能力，且减少了确定原k均值聚类初始中心和离群距离两个参数的复杂度。

建立支持向量机及关联向量机有机污染物分析模型，并进行水环境监测质控数据分类

试验表明，应用人工神经网络或支持向量机均可以实现水环境监测质控数据分类，但由于支持向量机可克服神经网络方法的一些缺陷困难，比如过学习、局部极小等，且支持向量机具有比神经网络更好的泛化(推广)能力。因此，相比之下支持向量机方法更为优越。

对于水环境监测质控数据分类，应采用分类型支持向量机，这种支持向量机质控数据分类模型是建立在水质监测历史质控数据集之上的，即在建立这种支持向量机质控数据分类模型时，需先用部分已经知道标签(即已知质控数据类别)的历史数据通过学习算法训练支持向量机，并以未用过的已经知道标签历史数据验证所得模型的有效性，在此之后支持向量机模型才能对新输入的监测质控数据进行预测，给出合适的质控数据类别。

以下观测应用支持向量机对一组气相色谱仪苯系物分析质控数据处理的结果。为了能直观地考察原始数据分布情况，我们应用主成分分析(PCA)，在尽可能多地保留原始信息的前提下，将气相色谱仪苯系物分析质控数据由原始五成分(输入)降维为二成分。图6是气相色谱仪苯系物分析质控数据的二维主成分分析结果，横纵坐标分别表示第一主成分PC1及第二主成分PC2。从图6中可看出，除A类质控数据外，其它各类数据之间在二维图上都有部分重叠，相互之间不易区分。但经我们以支持向量机对五维气相色谱仪质控数据进行分类，结果分类正确率可达100%，即完全能区分质控数据等级。

事实上，应用气相色谱仪检测水中的有机污染物组分(如甲苯)时，分析得到的回收率、精密度、检出限、相关系数、试剂空白等与所含甲苯等级之间的关系是复杂的，并不能找到一个数学表达式来描述该关系，但通过学习算法用测试数据对支持向量机进行训练，支持向量机模型中就自动隐含了分析数据与甲苯质控数据等级之间的复杂关系，使得当一组新的分析数据送入支持向量机质控数据估计模型输入端时，在其输出端能预测出一个合适的甲苯质控数据等级。

应用支持向量机有机污染物分析模型还可对质控数据的演变进行分析。质控监测数据是与时间相关的，将支持向量机模型的估计输出与有机污染物质控数据的变化用同一个图表来表示，则可直观地发现质控数据的变化趋势。

此外，借助支持向量机水环境监测质控数据审核模型，也可鉴别水环境监测质控数据的可靠性。即先以已知标签(质控数据类别)的历史数据对支持向量机进行训练，得到相应的质控数据审核模型，然后可将待审核的监测数据送入模型，并将该评估模型输出的质控数据类型与已知标签对比，若支持向量机模型输出的类型与标签相同，可认为待审核的数据是正确的，反之则是可疑的。

本发明还应用关联向量机（Relevance Vector Machines,RVM）建立了水环境质控数据的有机污染物分析模型，所得结果表明：与支持向量机相比，在得到相近质控数据分类性能的情况下，关联向量机模型具有结构更简单、训练过程控制参数更少、预测计算速度更快等优点，但其训练时间较长。

应用支持向量机回归技术从水质监测质控数据的时间序列中分离异常数据

一般来说，流域水环境某一有机污染物监测质控数据的优劣与当时的分析方法、仪器类型等因素有关。因此可以利用支持向量机的学习能力，用与待审核数据相同类型仪器的历史数据训练支持向量机，建立与分析方法、仪器类型等相关的支持向量机质控数据预测模型。在审核时，将上述待审核的监测数据送入经训练的支持向量机，则可预测出一质控数据输出，再将该质控数据输出与分析方法、仪器类型相同历史数据中的质控数据进行比较，可得一偏差。若该偏差不大，则认为该数据合理，通过审核，并将其加入历史数据集，反之偏差过大，则该数据可疑。操作时，可设定一阈值，将偏差与阈值进行比较。

为了从水质监测质控数据时间序列中分离出异常数据，应采用回归型支持向量机，其实质是建立一种有预测功能的连续函数模型。在支持向量机的训练过程中，其超参数(即径向基函数的核函数宽度和惩罚因子)的选择是至关重要的，恰当地选择超参数可提高支持向量机的推广能力。在本发明中采用粒子群优化算法确定超参数，相对于常用的栅格法确定超参数，可大大降低计算量。

Claims (7)

1.一种水环境监测质控数据分析方法，其特征在于，该方法包括下述的步骤：

a.获取待审核水环境质控数据，采用常规的方法对数据进行处理，所述的常规方法是数据逻辑判断法、Dixon检验法，去除明显不合理的异常数据，应用非监督学习算法辨识隐含的离群数据；

b.采用监督学习算法建立水环境质控数据分析模型，并鉴别监测数据的可靠性；

c.将质控数据输出与分析方法、仪器类型相同历史数据中的质控数据进行比较，得到偏差；

d.确定数据的审核通过与否，具体确定的步骤为：偏差不大，则数据合理，通过审核，并将其加入历史数据集，反之偏差过大，将该数据列为可疑数据，应用支持向量机回归方法从水质监测质控数据时间序列中分离异常数据。

2.如权利要求1所述的一种水环境监测质控数据分析方法，其特征在于，所述的非监督学习算法为：聚类算法。

3.如权利要求1所述的一种水环境监测质控数据分析方法，其特征在于，所述的监督学习算法为k均值聚类的算法、粒子群优化法、人工神经网络算法、支持向量机中的至少一种。

4.如权利要求3所述的一种水环境监测质控数据分析方法，其特征在于，所述的k均值聚类的算法的具体步骤是：

（a）随机地选择k个实验数据，每个实验数据初始地代表一个类的平均值或中

心；

（b）对剩余的每个实验数据，根据其与各个类中心的距离，将它赋给最近的

类，对于重新聚成的k的类，判断准则函数是否收敛：若收敛，则算法终

止；否则，转（c）；

（c）重新计算每个类的中心，转（b）。

5.如权利要求3所述的一种水环境监测质控数据分析方法，其特征在于，所

述的粒子群优化算法的具体步骤为：

对于第j个粒子，其位置表示为x_j＝[x_j1,x_j2,...,x_jd]，飞行速度表示为v_j＝[v_j1,v_j2,...v，_jd，所经历的最好位置为p_bestj，群体所有粒子经历的最好位置为g_best，粒子通过不断学习更新，最终飞至解空间中最优解所在的位置，整个搜索过程即结束，最后输出的g_best就是全局最优解，粒子在迭代过程中用来更新自己的速度和位置的进化公式为

$v_j^{K+1}=w^K{v}_j^K+c_1{r}_{1j}^K(p_{\mathrm{bestj}}^K-x_j^K)+c_2{r}_{2j}^K(g_{\mathrm{best}}^K-x_j^K)---\left(1\right)$

$x_j^{K+1}=x_j^K+v_j^{K+1}---\left(2\right)$

式中K为当前迭代次数，c₁和c₂为学习因子，它们分别代表个体经验和群体经验对粒子进化的指导力度；r_1j和r_2j为0-1之间按正态分布的随机数，用来增加粒子的多样性，w为惯性权重，是一个0-1之间的常数，惯性权重随迭代过程按下式线性递减：

$w^K=w_{\max }-(w_{\max }-w_{\min })\frac{K}{K_{\max }}---\left(3\right)$

式中K_max为最大迭代次数，w_max为最大惯性权重，w_min为最小惯性权重；

粒子群优化在每次迭代过程中，计算各粒子的适应度，即目标函数，以计算结果评估当前的p_bestj和g_best，粒子群优化的整个寻优过程为：

a)随机初始化每个粒子的位置和速度；

b)计算粒子的适应度，如果得到更优的p_bestj和g_best，则更新并保存当前的最优值；

c)依照式(1)、(2)更新每个粒子的速度和位置，并按照式(3)更新当前的惯性权重，同时进行过速检测与修正等约束性操作；

d)如果未能达到预先设定的最大迭代次数，则返回b)；否则停止运算，并输出结果。

6.如权利要求3所述的一种水环境监测质控数据分析方法，其特征在于，所述的人工神经网络算法的具体步骤为：

BP前向神经网络的拓扑结构

该方法的三层前馈网包括了输入层、隐含层和输出层，三层网络中，输入向量为X＝(x₁,x₂,...,x_i,…,x_n)^T，x₀＝-1是为隐含层神经元引入阈值而设置的；隐含层输出向量Y＝(y₁,y₂,...,y_j，...,y_m)^T，y₀＝-1是为输出层神经元引入阈值而设置的；输出层输出向量为O＝(o₁,o₂,...,o_k，...,o_l)^T；期望输出向量为d＝(d₁,d₂,...,d_k,...,d_l)^T。输入层到隐含层之间的权值矩阵用V表示，

V＝(V₁,V₂,...,V_j,...,V_m)，其中列向量V_j为隐含层第j个神经元对应的权向量；隐含层到输出层之间的权值矩阵用W表示，W＝(W₁,W₂,...,W_k,...,W_l),其中列向量W_k为输出层第k个神经元对应的权向量。下面分析各层信号之间的数学关系。

对于输出层，有

o_k＝f(net_k)k＝1,2,…,l    （4）

${\mathrm{net}}_k=\underset{j=0}{\overset{m}{\mathrm{\Σ}}}{w}_{\mathrm{jk}}{y}_j$ k＝1，2,…,l    （5）

对于隐含层，有

y_j＝f(net_j)j＝1,2,…,m    （6）

${\mathrm{net}}_j=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{v}_{\mathrm{ij}}{x}_i$ j＝1,2,…,m    （7）

式（6），（7）中，转移函数f(x)均为单极性Sigmoid函数（双曲线正切函数）

$f\left(x\right)=\frac{1}{{1+e}^{-x}}---\left(8\right)$

BP学习算法

实现此算法的具体过程如下：

a)初始化输出层、隐含层权矩阵，阈值；

b)从样本集中取一个样本(X_p,D_p)（p为样本编号），将X_p输入网络；

c)根据式（4）、（5）计算相应的实际输出O_P；

d)计算实际输出O_p与相应的理想输出D_p的误差；

对于每个样本对，网络的输出误差为：

$E_p=\frac{1}{2}\underset{k=1}{\overset{l}{\mathrm{\Σ}}}{(o_{\mathrm{pk}}-d_{\mathrm{pk}})}^2---\left(9\right)$

网络的平均误差为：

$E=\frac{1}{{2p}_1}\underset{p=1}{\overset{p_1}{\mathrm{\Σ}}}\underset{k=1}{\overset{l}{\mathrm{\Σ}}}{(o_{\mathrm{pk}}-y_{\mathrm{pk}})}^2---\left(10\right)$

式中p₁-总样本对个数，l-输出层样本的个数。

e)按极小化误差的方式调整权矩阵

根据Delta规则

w_ij(t+1)＝w_ij(t)+Δw_ij(t)    （11）

Δw_ij(t)＝ηδ_jo_i(t)         （12）

式中为η-网络学习速率，δ_j-局部梯度

对输出层有

δ_pk＝(d_pk-o_pk)o_pk(1-o_pk)    （13）

对隐含层有

${\mathrm{\δ}}_{\mathrm{pj}}=y_{\mathrm{pj}}(1-y_{\mathrm{pj}})\underset{k=1}{\overset{l}{\mathrm{\Σ}}}{w}_{\mathrm{jk}}{\mathrm{\δ}}_{\mathrm{pk}}---\left(14\right)$

计算了每个样本对的Δ_pw_ij后，权值的变化：

${\mathrm{\Δw}}_{\mathrm{ij}}=\frac{1}{p}\underset{p}{\mathrm{\Σ}}{\mathrm{\Δ}}_p{w}_{\mathrm{ij}}---\left(15\right)$

重复步骤b）-e），直到E满足精度要求为止，此时各层权矩阵就是训练后的网络权矩阵。

7.如权利要求3所述的一种水环境监测质控数据分析方法，其特征在于，所述的支持向量机算法为：

①两类模式分类问题

设模式样本中的输入向量x∈Rⁿ可分为两类，如果x属于第一类，则标记为1，属于第二类，则标记为–1，即由y∈{1,-1}构成输出向量y∈R^l，取数量为l的样本作为训练集(x_i,y_i)，i＝1,…l；

当两类模式线性可分时，超平面w^Tx+b＝0可将两类区分开，而当两类模式线性不可分时，上述超平面无法将两类分隔开，但可用某一非线性函数φ(x)，通过非线性变换Φ:x→φ(x)，将模式样本变换到高维特征空间，并在高维特征空间中构造分类超平面，该超平面在原空间中可表示为w^Tφ(x)+b＝0，y ∈{1,-1}，因此应满足约束条件

y_i(w_iφ(x_i)+b)≥1,i＝1,…,l    (16)

由于支持向量与超平面之间的距离为1/||w|||，则分类间隔等于2/‖w‖

$\min \left\{\frac{1}{2}{w}^{T}w\right\}---\left(17\right)$

s.t.y_i(w_iφ(x_i)+b)≥1,i＝1,…,l    (18)增加一个松弛项ξ_i≥0，i＝1,…,l，则约束条件变为

y_i(w_iφ(x_i)+b)≥1+ξ_i,i＝1,…,l    (19)

$\min \{\frac{1}{2}{w}^{T}w+C\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\ξ}}_i\}---\left(20\right)$

s.t.y_i(w_iφ(x_i)+b)≥1-ξ_i,ξ_i≥0,i＝1,…,l

得到广义最优超平面，式(20)其中的C是一正的常数；

利用Lagrange优化方法对α_i求解

$\max \{-\frac{1}{2}{\mathrm{\α}}^T\mathrm{Q\α}+e^T\mathrm{\α}\}---\left(21\right)$

s.t.y^Tα＝0

0≤α_i≤C,i＝1,…,l,

以及超平面的系数向量

$w=\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\α}}_i{y}_i\mathrm{\φ}\left(x_i\right)---\left(22\right)$

其中e是全1向量，α_i为与每个样本对应的Lagrange乘子，Q是半正定l×l对称矩阵，Q_ij＝y_iy_jK(x_i,x_j)，K(x_i,x_j)＝φ(x_i)^Tφ(x_j)称为核函数，是直接指定的，根据式(21)和式(22)可分别得到α_i和w，

通常只有少部分α_i不为零，即支持向量是少数的，对于支持向量应满足

y_i＝(w_iφ(x_i)+b)＝1    (23)

由此可求得常数b；

于是根据分类决策函数

$f\left(x\right)=\mathrm{sgn}\{\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{y}_i{\mathrm{\α}}_{i}K(x,x_i)+b\}---\left(24\right)$

判断输入向量属于哪一类；

在支持向量机的训练前，预先确定其径向基函数的核函数宽度和惩罚因子；

②多类模式分类问题

对k类模式，建立k(k-1)/2个基于支持向量机的两类分类器，以每两类不同的数据训练一个分类器，如果输入模式x_t取自第i类和第j类数据，则通过解下述问题构造分类器，即

$\min \{\frac{1}{2}{\left(w^{\mathrm{ij}}\right)}^T{w}^{\mathrm{ij}}+C\underset{t}{\mathrm{\Σ}}{\mathrm{\ξ}}_t^{\mathrm{ij}}\}---\left(25\right)$

$s.t.{\left(w^{\mathrm{ij}}\right)}^T\mathrm{\φ}\left(x_t\right)+b^{\mathrm{ij}}\≥1-{\mathrm{\ξ}}_t^{\mathrm{ij}},$ 当x_t属于第i类

${\left(w^{\mathrm{ij}}\right)}^T\mathrm{\φ}\left(x_t\right)+b^{\mathrm{ij}}\≤-1+{\mathrm{\ξ}}_t^{\mathrm{ij}},$ 当x_t属于第j类

${\mathrm{\ξ}}_t^{\mathrm{ij}}\≥0$

分类时，采用投票策略，即将输入模式xt送到每个分类器测试，如果分类函数sgn{(w^ij)^Tφ(x_t)+b^ij}判别属于第i类，则给第i类加1，否则第j类加1，最后根据哪一类得到的数最大来决定结果。

Images