CN109284860A - 一种基于正交反向樽海鞘优化算法的预测方法 - Google Patents

Abstract

本发明提供一种基于正交反向樽海鞘优化算法的预测方法，包括载入数据集并对样本数据进行标准处理；利用正交反向樽海鞘优化算法对惩罚系数和核宽进行优化，并构建预测支持向量机模型。实施本发明，在传统的樽海鞘优化算法基础上通过正交学习和反向学习策略来优化惩罚因子和核宽，可有效降低其寻优过程中陷入局部最优的可能性，在解的质量和收敛效率都有明显的提高。

Description

一种基于正交反向樽海鞘优化算法的预测方法

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于正交反向樽海鞘优化算法的预测方法。

背景技术

目前网格搜索和梯度下降是支持向量机(SVM)最常用的两种参数优化方法。网格搜索是一种穷举搜索方法，它一般是通过设置合理的区间上下限和间隔步长对指定参数空间进行划分，然后对每个网格节点代表的参数组合进行训练和预测，将这些预测结果中取值最高的一组参数作为最终SVM模型的最佳参数。这种穷举式搜索方法虽然在一定程度上能保证得到给定参数空间内最优的参数组合，然而随着参数空间增大，其搜索效率会大大降低，特别是设置合理的区间和间隔步长值往往非常困难，从而大大降低了其可行性，而且模型也非常容易陷入局部最优值。梯度下降方法的一个主要缺点是它对初始值非常敏感，当初始参数设置离最优解非常远的时候，模型很容易收敛到局部最优解。

近年来，基于元启发式的搜索算法凭借其独特的全局寻优能力而受到了学术和工业界的广泛关注，它们被普遍认为比传统寻优方法具有更大的机会找到全局最优解。目前已经提出多种基于元启发式算法的SVM训练算法来处理参数优化问题。

因为SVM在具体应用时，其性能主要受核函数及自由参数影响。SVM中常用的核函数一般包括线性核函数、多项式核函数、径向基(RBF)核函数和sigmoid核函数等。在实际应用中，一般情况下选择基于RBF核函数的SVM。RBF核SVM主要涉及两个重要的参数C和γ。C是惩罚因子，它用于控制对错分样本惩罚的程度，起到控制训练误差和模型复杂度之间平衡的作用；C值越小，则对数据中误判样本的惩罚也越小，使得训练误差变大，因此结构风险也变大。相反，C值越大，对错分样本的约束程度就越大，这样会导致模型虽然对训练数据的误判率很低，但整体的泛化能力却很差，容易出现“过拟合”现象。它的选取一般是由具体的问题而定，并取决于数据中噪声的数量，每个样本空间至少都存在一个合适的C值，使得SVM的泛化能力最强。第二个参数γ代表RBF核函数中的核宽，它决定了核函数的宽度，直接影响SVM的性能。因为核函数、映射函数和特征空间三者之间是一一对应的，确定了核函数也就意味着隐含地确定了映射函数和特征空间。核参数的改变隐含地改变了映射函数，进而样本特征空间分布的复杂程度也得到了改变。对于一个具体问题而言，如果γ取得不恰当，SVM很难获得预期的学***缓。所以惩罚因子C和核宽γ从不同的角度影响着SVM的分类超平面。在实际应用中，它们取值过大或过小都会使SVM的泛化性能变差。

相比于网格搜索方法，樽海鞘优化算法具有更好的全局搜索能力，其通过模拟自然界中的海洋生物樽海鞘的航行能力和觅食行为获得问题的近似最优解，樽海鞘优化算法具有全局寻优能力强，寻优精度高的特点。但是，该算法针对复杂问题时，也会陷入局部极值的可能性。

发明内容

本发明实施例所要解决的技术问题在于，提供一种基于正交反向樽海鞘优化算法来构建预测模型的方法，在传统的樽海鞘优化算法基础上通过正交学习和反向学习策略来优化惩罚因子和核宽，可有效降低其寻优过程中陷入局部最优的可能性，较其他优化算法在解的质量和收敛效率都有明显的提高。

为了解决上述技术问题，本发明实施例提供了一种基于正交反向樽海鞘优化算法来构建预测模型的方法，所述方法包括以下步骤：

步骤S1：参数初始化；其中，初始化的参数包括：最大迭代次数T、樽海鞘链中樽海鞘的个数N、C的搜索空间[C_min,C_max]和γ的搜索空间[γ_min,γ_max]；

步骤S2：樽海鞘种群位置初始化：随机产生N个樽海鞘的位置，其中第i个樽海鞘的位置为X_i＝(x_i1,x_i2),i＝1,2,……，N；其中，x_i1表示樽海鞘i在当前位置时的C值，x_i2表示樽海鞘i在当前位置时的γ值；

步骤S3：对初始化种群进行反向学***均准确度ACC；

x_ij'＝λ(a_j+b_j)-x_ij (1)；

式(1)和(2)中，a_j＝min(x_1j,x_2j,...,x_Nj)，b_j＝max(x_1j,x_2j,...,x_Nj)，x_ij'∈[a_j,b_j]，λ∈(0,1)是随机数；acc_k表示每一折数据上计算获得的准确度；

步骤S4：采取与步骤S3中相同的C和γ编码方式后，以内部K折交叉验证策略计算每一个樽海鞘的适应度；

步骤S5：根据公式(3)-(5)更新樽海鞘个体i的位置。首先，根据公式(3)更新参数c₁；然后，将樽海鞘链中的个体分为领导者和跟随者两个部分，前半部分的樽海鞘视为领导者并根据公式(4)进行位置更新，后半部分个体则作为跟随者并根据公式(5)进行位置更新；

式(3)-(5)中，t为当前迭代次数，T为最大迭代次数；FoodPosition_j为食物位置，即当前最优解，ub_j和lb_j根据j的不同取值分别为C和γ的最大、最小值，c₂、c₃则是随机数；

步骤S6：对樽海鞘进行正交学***数Q和因素数F，接着生成正交表L_M(Q^F)，根据公式(7)产生M个候选个体，然后进行因素水平分析构造最优水平因素组合，根据适应度选出M+1个候选解中的最优解BestPosition，返回最优解及其适应度值BestFitness，将BestFitness与樽海鞘i的适应度作比较，若BestFitness大于樽海鞘i的适应度值，则将X_i替换为BestPosition；

TSalpPosition＝X_i+r₁(FoodPosition-X_i)+r₂(FoodPosition-X_k) (6)；

式(6)-(7)中，r₁、r₂为随机数，X_k是不同于X_i的随机个体；L(i,j)是正交表L_M(Q^F)中的值；M为正交实验产生的新的樽海鞘的个数，称为候选解；

步骤S7：对更新过的樽海鞘再次进行反向学习。依照步骤S3，对更新位置后的樽海鞘进行反向学习得到N个反向解，同样的对2N个樽海鞘个体的适应度值从大到小排序，取前N个个体作为樽海鞘链中的个体，并将适应度值排第一的樽海鞘位置赋值给FoodPosition；

步骤S8：判断是否达到最大迭代次数T，若已达到则执行下一步骤S9，否则跳转到步骤S4；

步骤S9：输出食物的位置FoodPosition，即最优的惩罚系数C和核宽γ值；

步骤S10：将步骤S9获得的最优惩罚系数C和核宽γ，用于构建最优分类函数公式(8)以预测支持向量机模型；

式(8)中，K(x_i,x_j)＝exp(-r||x_i-x_j||²)，α_i为拉格朗日系数，b为阈值，x_i为待测试样本(i＝1,2,……，n)，n为样本个体数，y_i表示与训练样本相对应的标签，y_j(j＝1,2,……,n)取值为1和-1，其中1表示当前样本个体为正类样本，-1表示当前样本个体为负类样本。

实施本发明实施例，具有如下有益效果：

本发明融合基于正交反向的樽海鞘优化算法与支持向量机获取一种高效精准的智能分类、预测模型，过基于正交学习和反向学习策略的樽海鞘优化算法优化支持向量机的关键参数即惩罚系数C和核宽γ，.在优化过程中引入了正交学习和反向学习，使得算法能快速有效地找到最优值，并且反向学习增加多样性的特点用以防止陷入局部极值，可有效降低其寻优过程中陷入局部最优的可能性，较其他优化算法在解的质量和收敛效率都有明显的提高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。

图1为本发明实施例提供的基于正交反向樽海鞘优化算法来构建预测模型的方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

如图1所示，为本发明实施例中，提出的一种基于正交反向樽海鞘优化算法来构建预测模型的方法，所述方法包括以下步骤：

步骤S1：参数初始化；其中，初始化的参数包括：最大迭代次数T、樽海鞘链中樽海鞘的个数N、C的搜索空间[C_min,C_max]和γ的搜索空间[γ_min,γ_max]；

步骤S2：樽海鞘种群位置初始化：随机产生N个樽海鞘的位置，其中第i个樽海鞘的位置为X_i＝(x_i1,x_i2),i＝1,2,……，N；其中，x_i1表示樽海鞘i在当前位置时的C值，x_i2表示樽海鞘i在当前位置时的γ值；

步骤S3：对初始化种群进行反向学***均准确度ACC；

x_ij'＝λ(a_j+b_j)-x_ij (1)；

式(1)和(2)中，a_j＝min(x_1j,x_2j,...,x_Nj)，b_j＝max(x_1j,x_2j,...,x_Nj)，x_ij'∈[a_j,b_j]，λ∈(0,1)是随机数；acc_k表示每一折数据上计算获得的准确度；

步骤S4：采取与步骤S3中相同的C和γ编码方式后，以内部K折交叉验证策略计算每一个樽海鞘的适应度；

步骤S5：根据公式(3)-(5)更新樽海鞘个体i的位置。首先，根据公式(3)更新参数c₁；然后，将樽海鞘链中的个体分为领导者和跟随者两个部分，前半部分的樽海鞘视为领导者并根据公式(4)进行位置更新，后半部分个体则作为跟随者并根据公式(5)进行位置更新；

式(3)-(5)中，t为当前迭代次数，T为最大迭代次数；FoodPosition_j为食物位置，即当前最优解，ub_j和lb_j根据j的不同取值分别为C和γ的最大、最小值，c₂、c₃则是随机数；

步骤S6：对樽海鞘进行正交学***数Q和因素数F，接着生成正交表L_M(Q^F)，根据公式(7)产生M个候选个体，然后进行因素水平分析构造最优水平因素组合，根据适应度选出M+1个候选解中的最优解BestPosition，返回最优解及其适应度值BestFitness，将BestFitness与樽海鞘i的适应度作比较，若BestFitness大于樽海鞘i的适应度值，则将X_i替换为BestPosition；

TSalpPosition＝X_i+r₁(FoodPosition-X_i)+r₂(FoodPosition-X_k) (6)；

式(6)-(7)中，r₁、r₂为随机数，X_k是不同于X_i的随机个体；L(i,j)是正交表L_M(Q^F)中的值；M为正交实验产生的新的樽海鞘的个数，称为候选解；

步骤S7：对更新过的樽海鞘再次进行反向学习。依照步骤S3，对更新位置后的樽海鞘进行反向学习得到N个反向解，同样的对2N个樽海鞘个体的适应度值从大到小排序，取前N个个体作为樽海鞘链中的个体，并将适应度值排第一的樽海鞘位置赋值给FoodPosition；

步骤S8：判断是否达到最大迭代次数T，若已达到则执行下一步骤S9，否则跳转到步骤S4；

步骤S9：输出食物的位置FoodPosition，即最优的惩罚系数C和核宽γ值

步骤S10：将步骤S9获得的最优惩罚系数C和核宽γ，用于构建最优分类函数公式(8)以预测支持向量机模型；

式(8)中，K(x_i,x_j)＝exp(-r||x_i-x_j||²)，α_i为拉格朗日系数，b为阈值，x_i为待测试样本(i＝1,2,……，n)，n为样本个体数，y_i表示与训练样本相对应的标签，y_j(j＝1,2,……,n)取值为1和-1，其中1表示当前样本个体为正类样本，-1表示当前样本个体为负类样本。

在本发明实施例中，对基于正交反向樽海鞘优化算法来构建预测模型的方法的应用场景做进一步说明：

采用乳腺癌数据作为样本数据，样本集合这样表示：(x_i,y_i),i＝1,2,……,699,其中‘x_i’表示9维的特征向量，y是值为1或-1的样本标签，‘1’代表该样本是患乳腺癌，‘-1’代表该患者是健康的。

首先，将待实验样本数据各个特征属性值进行标准化，利用公式对样本数据进行标准化，其中S_i代表样本中的属性的特征原始值，S_i'是S_i由公式所得到的标准化后的值，S_min表示对应的样本数据中的最小值，S_max表示对应的样本数据中的最大值；

随后，利用基于正交学习和反向学习的樽海鞘优化算法优化支持向量机的惩罚系数C和核宽γ，且在内部采用K折交叉策略进行优化(即将导入模型的样本进行K折切割，每一次都以其中的K-1折作为训练数据，且在训练的同时采用正交反向樽海鞘优化算法对于其中两个关键性的参数进行优化，期望获得最佳的智能分类模型，模型构建好后，在用剩余的数据作为测试数据，对于构建的智能决策模型的性能进行评估)。简而言之，就是针对不同的智能分类决策问题，我们需要采用具有全局搜索能力的正交反向樽海鞘优化算法去实现构造出针对此类问题最佳的分类决策模型，当然如之前论述：惩罚系数C和核宽γ是对该模型的性能具有重要的影响，也就是说，这两个参数的好坏将直接影响决策模型的性能的好坏，所以在此提出正交反向樽海鞘优化算法去完成对这两个参数的选择，在一定程度上提高了算法的收敛速度和精度。

输入训练样本(x_i,y_i)，且依据Lagrange对偶问题优化的问题变为：

然后，对于以上的优化问题采用正交反向樽海鞘优化算法对C和γ(是径向基核函数参数核宽K(x_i,x_j)＝exp(-γ||x_i-x_j||²))进行优化，并求解出最优解的值为：a^*＝(a₁ ^*,a₂ ^*,...,a^* ₆₉₉)^T；

则有如下解：那么最终的最优分类超平面函数为：

实施本发明实施例，具有如下有益效果：

本发明融合基于正交反向的樽海鞘优化算法与支持向量机获取一种高效精准的智能分类、预测模型，通过基于正交学习和反向学习策略的樽海鞘优化算法优化支持向量机的关键参数即惩罚系数C和核宽γ，在优化过程中引入了正交学习和反向学习，使得算法能快速有效地找到最优值，并且反向学习增加多样性的特点用以防止陷入局部极值，可有效降低其寻优过程中陷入局部最优的可能性，较其他优化算法在解的质量和收敛效率都有明显的提高。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (1)

1.一种基于正交反向樽海鞘优化算法的预测方法，其特征在于，所述方法包括以下步骤：

步骤S1：参数初始化；其中，初始化的参数包括：最大迭代次数T、樽海鞘链中樽海鞘的个数N、C的搜索空间[C_min,C_max]和γ的搜索空间[γ_min,γ_max]；

步骤S2：樽海鞘种群位置初始化：随机产生N个樽海鞘的位置，其中第i个樽海鞘的位置为X_i＝(x_i1,x_i2),i＝1,2,……，N；其中，x_i1表示樽海鞘i在当前位置时的C值，x_i2表示樽海鞘i在当前位置时的γ值；

步骤S3：对初始化种群进行反向学***均准确度ACC；

x_ij'＝λ(a_j+b_j)-x_ij (1)；

式(1)和(2)中，a_j＝min(x_1j,x_2j,...,x_Nj)，b_j＝max(x_1j,x_2j,...,x_Nj)，x_ij'∈[a_j,b_j]，λ∈(0,1)是随机数；acc_k表示每一折数据上计算获得的准确度；

步骤S4：采取与步骤S3中相同的C和γ编码方式后，以内部K折交叉验证策略计算每一个樽海鞘的适应度；

步骤S5：根据公式(3)-(5)更新樽海鞘个体i的位置，首先，根据公式(3)更新参数c₁；然后，将樽海鞘链中的个体分为领导者和跟随者两个部分，前半部分的樽海鞘视为领导者并根据公式(4)进行位置更新，后半部分个体则作为跟随者并根据公式(5)进行位置更新；

式(3)-(5)中，t为当前迭代次数，T为最大迭代次数；FoodPosition_j为食物位置，即当前最优解，ub_j和lb_j根据j的不同取值分别为C和γ的最大、最小值，c₂、c₃则是随机数；

步骤S6：对樽海鞘进行正交学***数Q和因素数F，接着生成正交表L_M(Q^F)，根据公式(7)产生M个候选个体，然后进行因素水平分析构造最优水平因素组合，根据适应度选出M+1个候选解中的最优解BestPosition，返回最优解及其适应度值BestFitness，将BestFitness与樽海鞘i的适应度作比较，若BestFitness大于樽海鞘i的适应度值，则将X_i替换为BestPosition；

TSalpPosition＝X_i+r₁(FoodPosition-X_i)+r₂(FoodPosition-X_k) (6)；

式(6)-(7)中，r₁、r₂为随机数，X_k是不同于X_i的随机个体；L(i,j)是正交表L_M(Q^F)中的值；M为正交实验产生的新的樽海鞘的个数，称为候选解；

步骤S7：对更新过的樽海鞘再次进行反向学习，依照步骤S3，对更新位置后的樽海鞘进行反向学习得到N个反向解，同样的对2N个樽海鞘个体的适应度值从大到小排序，取前N个个体作为樽海鞘链中的个体，并将适应度值排第一的樽海鞘位置赋值给FoodPosition；

步骤S8：判断是否达到最大迭代次数T，若已达到则执行下一步骤S9，否则跳转到步骤S4；

步骤S9：输出食物的位置FoodPosition，即最优的惩罚系数C和核宽γ值；

步骤S10：将步骤S9获得的最优惩罚系数C和核宽γ，用于构建最优分类函数公式(8)以预测支持向量机模型；

式(8)中，K(x_i,x_j)＝exp(-r||x_i-x_j||²)，α_i为拉格朗日系数，b为阈值，x_i为待测试样本(i＝1,2,……，n)，n为样本个体数，y_i表示与训练样本相对应的标签，y_j(j＝1,2,……,n)取值为1和-1，其中1表示当前样本个体为正类样本，-1表示当前样本个体为负类样本。