CN111723945A - 一种基于改进灰狼算法的bp神经网络优化方法 - Google Patents

一种基于改进灰狼算法的bp神经网络优化方法 Download PDF

Info

Publication number
CN111723945A
CN111723945A CN202010496667.0A CN202010496667A CN111723945A CN 111723945 A CN111723945 A CN 111723945A CN 202010496667 A CN202010496667 A CN 202010496667A CN 111723945 A CN111723945 A CN 111723945A
Authority
CN
China
Prior art keywords
wolf
algorithm
neural network
gray
alpha
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010496667.0A
Other languages
English (en)
Inventor
勾广欣
倪萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Xinhe Shengshi Technology Co ltd
Original Assignee
Hangzhou Xinhe Shengshi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Xinhe Shengshi Technology Co ltd filed Critical Hangzhou Xinhe Shengshi Technology Co ltd
Priority to CN202010496667.0A priority Critical patent/CN111723945A/zh
Publication of CN111723945A publication Critical patent/CN111723945A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于改进灰狼算法的BP神经网络优化方法，其包括如下步骤：(Ⅰ)选择BP神经网络本身的结构；(Ⅱ)利用复数值编码方式初始化灰狼种群、初始化参数A，α和C，确定最大迭代次数；(Ⅲ)确定神经网络适应度函数、输出节点的激励函数；(Ⅳ)计算灰狼个体适应度值，找出适应度值的最优解，次优解以及第三优解，更新剰余灰狼ω的位置信息、参数A，α和C的值；(Ⅴ)选取训练样本和测试样本进行实验，并记录误差及其对应的最优解；(Ⅵ)判断是否满足达到最大迭代次数或者达到设定的误差值；以及(Ⅶ)最后返回结果为灰狼α的位置，以及训练过程每一次迭代灰狼α的位置，灰狼α所在位置的最小误差，训练样本和测试样本的误差。

Description

一种基于改进灰狼算法的BP神经网络优化方法
技术领域
本发明涉及算法优化技术领域，特别涉及一基于改进灰狼算法的BP神经网络优化方法。
背景技术
近年来，群体智能优化算法因具有结构简单、易于实现等特点，被广泛应用于复杂问题的求解中。受灰狼群体捕食行为的启发，澳大利亚学者Seyedali Mirjalili等于2014年提出了一种新型群体智能优化算法：灰狼优化算法即GWO算法，通过模拟灰狼群体捕食行为，基于狼群群体协作的机制来达到优化的目的，该算法具有结构简单、需要调节的参数少、容易实现等特点，其中存在能够自适应调整的收敛因子以及信息反馈机制，能够在局部寻优与全局搜索之间实现平衡，因此在对问题的求解精度和收敛速度方面都有良好的性能。灰狼优化算法自提出以来，就因具有良好的性能而引起了众多学者的广泛关注。并且，灰狼优化算法是一种随机全局优化算法，为很多复杂的工程问题的解决提供了新的思路，现已成功应用于车间调度、数据挖掘、图像分割等领域。
2015年，龙文等针对基本灰狼优化算法(GWO)存在求解精度低、收敛速度慢、局部搜索能力差等问题，引入佳点集理论生成初始种群，为算法全局搜索奠定基础；杨红光等首次将灰狼优化算法扩展到聚类分析领域，提出混合灰狼优化算法和K-均值的新型聚类算法(GWO-KM)。而徐辰华等提出一种基于混沌局部搜索的混沌灰狼优化算法(CGWO)并利用该算法实现焙烧过程氧化铝质量预测建模。罗佳和唐斌提出一种改进的灰狼优化算法，在函数优化中，数值实验结果表明，相较于其他群智能算法，改进算法在求解精度和收敛速度均具有较强的竞争力。魏政磊等主要对灰狼算法的控制参数进行了研究，应用正弦函数、对数函数等对其进行了非线性调整。2017年，郭振洲等提出了的一种非线性收敛因子公式，以便能动态的调整算法的搜索能力，而为加快算法的收敛速度，引入了动态权重策略，对原算法进行了改进。
Xianhai Song等将灰狼优化算法应用于参数估计上，获得的结果表明，应用于表面波分析的灰狼优化算法可以能够很好地平衡算法的勘探能力和开采能力。Aijun Zhu等将差分进化(DE)算法整合到灰狼优化算法(GWO)中，用来更新灰狼的位置，从而提出了改进算法(HGWO)可以加快灰狼优化算法(GWO)的收敛速度，提高其性能。G.M.Komaki等将灰狼优化算法应用于两阶段装配流程车间调度问题上，获得的结果表明，基于灰狼优化算法的算法比其他启发式算法能产生更好的结果。T.Jayabarathi等为获得更好的性能，将交叉算子，突变算子引入灰狼优化算法中，并将其成功应用于经济调度问题中，所得结果优于与之比较的算法。Pradhan M等将反向学习的概念引入到标准的灰狼优化算法中，提出了反向灰狼优化算法(OGWO)，提高了算法的收敛速度，并将其应用到经济负荷调度问题中，与其他智能算法相比，改进的(OGWO)算法具有较好的性能。Sen Zhang等提出了灰狼优化算法(GWO)和横向抑制(LI)算法的混合方法来解决复杂的模板匹配问题，并提高了算法性能。
由上可知，作为一种新生的算法，灰狼优化算法的理论还未完全成熟，目前对灰狼优化算法的改进和应用研究还处于初期阶段，其在图像处理领域的应用研究才刚开始。因此，对灰狼优化算法理论本身及图像处理领域方面的研究是非常必要的。
发明内容
本发明的一个优势在于提供一基于改进灰狼算法的BP神经网络优化方法，其中所述基于改进灰狼算法的BP神经网络优化方法实现了更快的处理速度和最优的结果。
本发明的第二个优势在于提供一基于改进灰狼算法的BP神经网络优化方法，其中所述基于改进灰狼算法的BP神经网络优化方法利用复数值编码方式初始化种群，极大地扩展了单个基因中包含的信息量，并增强了个体群体的多样性，提供了一种有效的全局优化策略。
本发明的第三个优势在于提供一基于改进灰狼算法的BP神经网络优化方法，其中基于狼群的等级次序提出一种可变比例权重的狼群最佳位置搜索机制，可以根据不同的实验环境动态改变比例权重，寻优性能和泛化性都得到了提高。
本发明的另一个优势在于提供一基于改进灰狼算法的BP神经网络优化方法，其中优化控制因子随迭代次数的增加非线性动态变化，有利于提高收敛速度，保证局部最优和全局最优，为有效地平衡算法的全局探索和局部开发能力提供保证。
依据本发明的一个方面，本发明进一步提供一基于改进灰狼算法的BP神经网络优化方法，其特征在于，包括如下步骤：
(Ⅰ)选择BP神经网络本身的结构，确定网络隐藏层的节点数；
(Ⅱ)初始化基本参数：利用复数值编码方式初始化灰狼种群，产生n个灰狼的位置，根据网络结构计算灰狼的种群大小、初始化参数A，a和C，确定最大迭代次数；
(Ⅲ)确定神经网络适应度函数、输出节点的激励函数；
(Ⅳ)计算灰狼个体适应度值，找出适应度值的最优解(α狼的位置Xα)，次优解(β狼的位置Xβ)以及第三优解(δ狼的位置Xδ)，更新剰余灰狼ω的位置信息，并更新参数A，a和C的值；
(Ⅴ)选取训练样本和测试样本进行实验，并记录误差及其对应的最优解(α狼的位置Xα)；
(Ⅵ)判断是否满足达到最大迭代次数或者达到设定的误差值，如满足条件终止循环，否则重复步骤(Ⅳ)至步骤(Ⅵ)；以及
(Ⅶ)最后返回结果为灰狼α的位置也就是最优解位置，以及训练过程每一次迭代灰狼a的位置，灰狼α所在位置的最小误差，训练样本和测试样本的误差。
根据本发明的一个实施例，在所述步骤(Ⅱ)中，根据如下公式(8)初始化灰狼种群：
xp＝Rp+iIp，p＝1，2，...，M (8)
其中灰狼的基因可以表示为二倍体，记为(Rp，iIp)，其中Rp表示变量的实部，Ip表示变量的虚部。
根据本发明的一个实施例，在所述步骤(Ⅳ)中，定义一种可变比例权重，利用最佳位置的加权总和来进行位置更新，即遵循公式(9)至公式(12)：
Figure BDA0002523142180000031
Figure BDA0002523142180000032
Figure BDA0002523142180000041
Figure BDA0002523142180000042
其中比例权重ω1、ω2、ω3，在算法每次迭代流程中是动态可变的。
根据本发明的一个实施例，控制因子
Figure BDA0002523142180000043
满足公式(13)：
Figure BDA0002523142180000044
其中参数tmax是最大迭代次数，控制因子
Figure BDA0002523142180000045
随迭代次数的增加非线性动态变化。
根据本发明的一个实施例，在所述步骤(Ⅳ)中，根据如下公式(1)至公式(13)更新剰余灰狼ω的位置信息：
Figure BDA0002523142180000046
式(1)表示个体与猎物间的距离；
Figure BDA0002523142180000047
式(2)是灰狼的位置更新公式；
Figure BDA0002523142180000048
Figure BDA0002523142180000049
其中，
Figure BDA00025231421800000410
是收敛因子，随着迭代次数从2线性减小到0，
Figure BDA00025231421800000411
和
Figure BDA00025231421800000412
的模取[0，1]之间的随机数；
Figure BDA00025231421800000413
其中，
Figure BDA00025231421800000414
和
Figure BDA00025231421800000415
分别表示α、β和δ与其他个体间的距离；
Figure BDA00025231421800000416
和
Figure BDA00025231421800000417
分别代表α、β和δ的当前位置；
Figure BDA00025231421800000418
是随机向量，
Figure BDA00025231421800000419
是当前灰狼的位置；
Figure BDA00025231421800000420
式(6)分别定义了狼群中ω个体朝向α、β和δ前进的步长和方向；
Figure BDA00025231421800000421
式(7)定义了ω的最终位置；
xp＝Rp+iIp，p＝1，2，...，M (8)
式(8)中，灰狼的基因可以表示为二倍体，记为(Rp，iIp)，其中Rp表示变量的实部，Ip表示变量的虚部；
Figure BDA0002523142180000051
Figure BDA0002523142180000052
Figure BDA0002523142180000053
Figure BDA0002523142180000054
式(9)至式(12)中，比例权重ω1、ω2、ω3，在算法每次迭代流程中是动态可变的；
Figure BDA0002523142180000055
式(13)中，参数tmax是最大迭代次数，控制因子
Figure BDA0002523142180000056
随迭代次数的增加非线性动态变化。
附图说明
图1是根据本发明的一较佳实施例的一基于改进灰狼算法BP神经网络优化方法中灰狼的社会等级制度的示意图。
图2是根据本发明的上述较佳实施例的所述基于改进灰狼算法BP神经网络优化方法中灰狼算法的流程图示意图。
图3是根据本发明的上述较佳实施例的所述基于改进灰狼算法BP神经网络优化流程图示意图。
图4是根据本发明的上述较佳实施例的所述基于改进灰狼算法BP神经网络优化方法中选择的一BP神经网络模型的示意图。
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。
可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。
参照图1至图4，根据本发明的一较佳实施例的一基于改进灰狼算法的BP神经网络优化方法将在接下来的描述中被阐述，所述基于改进灰狼算法的BP神经网络优化方法实现了更快的处理速度和最优的结果。
参照图1，灰狼优化算法是一种随机全局优化算法，为很多复杂的工程问题的解决提供了新的思路，现已成功应用于车间调度、数据挖掘、图像分割等领域。下面将介绍改进的灰狼优化算法，并将其用在BP神经网络参数优化上。
在灰狼算法中，灰狼有非常严格的社会等级层次制度，类似于金字塔型。金字塔第一层是种群中的领导者，称为α，α是狼群中具有管理能力的个体，主要负责狩猎、睡觉的时间和地方、食物分配等群体中各项决策的事务。
金字塔第二层是α的智囊团队，称为β，主要协助α进行决策，在狼群中的支配权仅次于α，当整个狼群的α出现空缺时，β将接替α的位置。
金字塔第三层是δ，δ听从α和β的决策命令，主要负责侦查、放哨、看护等事务。适应度不好的α和β也会降为δ。金字塔最底层是ω，主要负责种群内部关系的平衡。
灰狼的社会等级在群体狩猎过程中发挥着重要的作用，捕食的过程在α的带领下完成。灰狼的狩猎包括以下3个主要部分：(1)跟踪、追逐和接近猎物；(2)追捕、包围和骚扰猎物，直到它停止移动；(3)攻击猎物。
在灰狼算法的数学模型中，为了对灰狼算法中灰狼的社会等级进行数学建模，将前3匹最好的狼(最优解)分别定义为α、β和δ，它们指导其他灰狼向着目标搜索。其余的狼(候选解)被定义为ω，它们围绕α、β和δ来更新位置。
灰狼围捕猎物的行为定义如下：
Figure BDA0002523142180000071
Figure BDA0002523142180000072
式(1)表示个体与猎物间的距离，式(2)是灰狼的位置更新公式。其中，t是目前的迭代代数，
Figure BDA0002523142180000073
和
Figure BDA0002523142180000074
是系数向量，
Figure BDA0002523142180000075
和
Figure BDA0002523142180000076
分别是猎物的位置向量和灰狼的位置向量。
Figure BDA0002523142180000077
和
Figure BDA0002523142180000078
的计算公式如下:
Figure BDA0002523142180000079
Figure BDA00025231421800000710
其中，
Figure BDA00025231421800000711
是收敛因子，随着迭代次数从2线性减小到0，
Figure BDA00025231421800000712
和
Figure BDA00025231421800000713
的模取[0，1]之间的随机数。
灰狼能够识别猎物的位置并包围它们。当灰狼识别出猎物的位置后，β和δ在α的带领下指导狼群包围猎物。在优化问题的决策空间中，我们对最佳解决方案(猎物的位置)并不了解。因此，为了模拟灰狼的狩猎行为，我们假设α、β和δ更了解猎物的潜在位置。我们保存迄今为止取得的3个最优解决方案，并利用这三者的位置来判断猎物所在的位置，同时强迫其他灰狼个体(包括ω)依据最优灰狼个体的位置来更新其位置，逐渐逼近猎物。灰狼个体跟踪猎物位置的数学模型描述如下:
Figure BDA00025231421800000714
其中，
Figure BDA00025231421800000715
和
Figure BDA00025231421800000716
分别表示α、β和δ与其他个体间的距离；
Figure BDA00025231421800000717
和
Figure BDA00025231421800000718
分别代表α、β和δ的当前位置；
Figure BDA00025231421800000719
是随机向量，
Figure BDA00025231421800000720
是当前灰狼的位置。
Figure BDA00025231421800000721
Figure BDA00025231421800000722
式(6)分别定义了狼群中ω个体朝向α、β和δ前进的步长和方向，式(7)定义了ω的最终位置。
在本发明所述的基于改进灰狼算法的BP神经网络优化方法的这个具体的实施例中，改进的灰狼算法包括步骤(A):改进种群初始化，利用复数值编码方式初始化灰狼种群，增强了个体群体的多样性。具体来说，初始种群的好坏对群体智能优化算法的全局收敛速度和解的质量有很大的影响，多样性好的初始种群能够提高算法的寻优能力。在现有的灰狼算法中，初始种群是基于随机初始化产生的，无法保证较好的种群多样性。对此我们用一种复数值编码方式初始化种群：
xp＝Rp+iIp，p＝1，2，...，M (8)
灰狼的基因可以表示为二倍体，记为(Rp，iIp)，其中Rp表示变量的实部，Ip表示变量的虚部。由于复数具有二维属性，实部和虚部会独立更新，该策略极大地扩展了单个基因中包含的信息量，并增强了个体群体的多样性。并且，复值编码提供了一种有效的全局优化策略。
可选地，在本发明的另一个具体实施例中，种群初始化可以用最佳点集理论代替。
改进的灰狼算法进一步包括步骤(B):改进搜索机制，定义一种可变比例权重，利用最佳位置的加权总和来进行位置更新。尽管灰狼算法有一种非常有效的机制来平衡勘探和开发能力，即a和A的适应值，但在现有的灰狼算法中，前三类狼其起着同样的指导、带领作用，不分等级次序，这降低了算法的收敛速度，进而形成陷入局部最优。从灰狼算法的本身原理来看，它们是有严格的等级次序，所以为了解决这个问题，我们定义一种可变比例权重进行改进，利用最佳位置的加权总和来进行位置更新，即：
Figure BDA0002523142180000081
Figure BDA0002523142180000082
Figure BDA0002523142180000083
Figure BDA0002523142180000084
由于上述的比例权重ω1、ω2、ω3，在算法每次迭代流程中是动态可变的，所以，改进后的灰狼算法可以根据不同的实验环境动态改变比例权重，寻优性能和泛化性都得到了提高。
改进的灰狼算法包括进一步包括步骤(B):优化控制因子，控制因子非线性动态变化。具体地，灰狼算法中的控制因子
Figure BDA0002523142180000097
对于协调全局搜索和局部搜索性能是非常重要的因素，一般的灰狼算法中的控制因子
Figure BDA0002523142180000098
初始化是呈线性递减分布的，但是这只是理想情况，在实际情况中灰狼算法的收敛过程并不是线性分布的。因此，在本发明所述的基于改进灰狼算法的BP神经网络优化方法提出一种基于对数的非线性控制因子算法。具体公式如下：
Figure BDA0002523142180000091
其中，参数tmax是最大迭代次数，控制因子
Figure BDA0002523142180000099
随迭代次数的增加非线性动态变化，为有效地平衡算法的全局探索和局部开发能力提供保证。
可选地，在本发明的另一个具体实施例中，控制因子
Figure BDA0002523142180000095
可以用指数函数代替。
在改进后的灰狼算法中，利用复数值编码方式创建一个灰狼种群(候选方案)开始。在迭代过程中，α、β和δ狼估计猎物的可能的位置(最优解)，灰狼根据它们与猎物的距离更新其位置。为了搜索过程中的勘探和开发，参数
Figure BDA0002523142180000096
非线性递减。进一步判断
Figure BDA0002523142180000092
如果
Figure BDA0002523142180000093
候选解远离猎物，如果
Figure BDA0002523142180000094
候选解逼近猎物。为了体现灰狼的等级次序，设置动态的比例权重确定灰狼的位置信息。
具体来说，参照图2，利用复数值编码方式创建一个灰狼种群(候选方案)即开始，初始化灰狼种群，以及a、A和C。进一步地，计算灰狼个体的适应度，保存适应度最好的三匹狼α、β和δ。下一步骤，灰狼根据它们与猎物的距离更新当前灰狼的位置，更新a、A和C。下一步骤，计算全部灰狼的适应度，更新α、β和δ的适应度和位置。下一步骤，判断是否达到最大迭代次数，若达到最大迭代次数，则结束；若未达到最大迭代次数，则更新当前灰狼的位置，继续下一个步骤至达到最大迭代次数。
进一步地，本领域技术人员应该知晓，BP神经网络可以不断趋近任意连续函数，其自身的非线性映射能力很强，可以自主的将训练中学习到的内容记忆到权值中，自适应和自学习能力比较强。而且网络的隐含层数、各层的处理单元数及网络的学习系数这些参数可以根据实际需要进行灵活改变，适应性较强。因此，较多的应用于各领域。但是BP神经网络最大的缺陷主要就是容易陷入局部最小化和收敛速度慢，BP神经网络的权值是沿着正向方向不断进行调整，是一种局部搜索算法，容易陷入局部最值，这样权值就极易收敛到最小值点，所以多次训练可能会出现不同结果。
参照图3，其示出了本发明所述的基于改进灰狼算法的BP神经网络优化方法的具体流程，以解决现有的BP神经网络存在的上述问题，基于改进灰狼算法的BP神经网络优化方法包括如下步骤：
(Ⅰ)选择BP神经网络本身的结构，确定网络隐藏层的节点数；
(Ⅱ)初始化基本参数：对灰狼种群进行初始化，产生n个灰狼的位置，根据网络结构计算灰狼的种群大小、初始化参数A，α和C，确定最大迭代次数；
(Ⅲ)确定神经网络适应度函数、输出节点的激励函数；
(Ⅳ)计算灰狼个体适应度值，找出适应度值的最优解(α狼的位置Xα)，次优解(β狼的位置Xβ)以及第三优解(δ狼的位置Xδ)，根据式(1)至式(13)更新剰余灰狼ω的位置信息，并更新参数A，a和C的值；
(Ⅴ)选取训练样本和测试样本进行实验，并记录误差及其对应的最优解(α狼的位置Xα)；
(Ⅵ)判断是否满足达到最大迭代次数或者达到设定的误差值，如满足条件终止循环，否则重复步骤(Ⅳ)至步骤(Ⅵ)；
(Ⅶ)最后返回结果为灰狼α的位置也就是最优解位置，以及训练过程每一次迭代灰狼α的位置，灰狼α所在位置的最小误差，训练样本和测试样本的误差。
具体地，在所述步骤(Ⅱ)中，利用复数值编码方式初始化灰狼种群，产生n个灰狼的位置。更具体地，在所述步骤(Ⅱ)中，根据如下公式初始化灰狼种群：
xp＝Rp+iIp，p＝1，2，...，M (8)
其中灰狼的基因可以表示为二倍体，记为(Rp，iIp)，其中Rp表示变量的实部，Ip表示变量的虚部。
根据本发明的一个实施例，在所述步骤(Ⅳ)中，定义一种可变比例权重，利用最佳位置的加权总和来进行位置更新，即：
Figure BDA0002523142180000101
Figure BDA0002523142180000111
Figure BDA0002523142180000112
Figure BDA0002523142180000113
其中比例权重ω1、ω2、ω3，在算法每次迭代流程中是动态可变的。
根据本发明的一个实施例，在上述方法中，控制因子
Figure BDA0002523142180000115
满足公式：
Figure BDA0002523142180000114
其中参数tmax是最大迭代次数，控制因子
Figure BDA0002523142180000116
随迭代次数的增加非线性动态变化。
参照图4，其示出了所述基于改进灰狼算法BP神经网络优化方法中的BP神经网络的一种模型，但本领域技术人员应该理解的是，附图中示出的BP神经网络的具体模型仅仅作为示意，不能成为对本发明所述的基于改进灰狼算法的BP神经网络优化方法的内容和范围的限制。
本领域的技术人员可以理解的是，以上实施例仅为举例，其中不同实施例的特征可以相互组合，以得到根据本发明揭露的内容很容易想到但是在附图中没有明确指出的实施方式。
本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

Claims (5)

1.一种基于改进灰狼算法的BP神经网络优化方法，其特征在于，包括如下步骤：
(Ⅰ)选择BP神经网络本身的结构，确定网络隐藏层的节点数；
(Ⅱ)初始化基本参数：利用复数值编码方式初始化灰狼种群，产生n个灰狼的位置，根据网络结构计算灰狼的种群大小、初始化参数A，a和C，确定最大迭代次数；
(Ⅲ)确定神经网络适应度函数、输出节点的激励函数；
(Ⅳ)计算灰狼个体适应度值，找出适应度值的最优解(α狼的位置Xα)，次优解(β狼的位置Xβ)以及第三优解(δ狼的位置Xδ)，更新剰余灰狼ω的位置信息，并更新参数A，a和C的值；
(Ⅴ)选取训练样本和测试样本进行实验，并记录误差及其对应的最优解(α狼的位置Xα)；
(Ⅵ)判断是否满足达到最大迭代次数或者达到设定的误差值，如满足条件终止循环，否则重复步骤(Ⅳ)至步骤(Ⅵ)；以及
(Ⅶ)最后返回结果为灰狼α的位置，以及训练过程每一次迭代灰狼α的位置，灰狼α所在位置的最小误差，训练样本和测试样本的误差。
2.根据权利要求1所述的基于改进灰狼算法的BP神经网络优化方法，其特征在于，其中在所述步骤(Ⅱ)中，根据如下公式(8)初始化灰狼种群：
xp＝Rp+iIp，p＝1，2，...，M (8)
其中灰狼的基因可以表示为二倍体，记为(Rp，iIp)，其中Rp表示变量的实部，Ip表示变量的虚部。
3.根据权利要求2所述的基于改进灰狼算法的BP神经网络优化方法，其特征在于，其中在所述步骤(Ⅳ)中，定义一种可变比例权重，利用最佳位置的加权总和来进行位置更新，即遵循公式(9)至公式(12)：
Figure FDA0002523142170000011
Figure FDA0002523142170000012
Figure FDA0002523142170000021
Figure FDA0002523142170000022
其中比例权重ω1、ω2、ω3，在算法每次迭代流程中是动态可变的。
4.根据权利要求3所述的基于改进灰狼算法的BP神经网络优化方法，其特征在于，其中控制因子
Figure FDA0002523142170000023
满足公式(13)：
Figure FDA0002523142170000024
其中参数tmax是最大迭代次数，控制因子
Figure FDA0002523142170000025
随迭代次数的增加非线性动态变化。
5.根据权利要求1所述的基于改进灰狼算法的BP神经网络优化方法，其特征在于，其中在所述步骤(Ⅳ)中，根据如下公式(1)至公式(13)更新剰余灰狼ω的位置信息：
Figure FDA0002523142170000026
式(1)表示个体与猎物间的距离；
Figure FDA0002523142170000027
式(2)是灰狼的位置更新公式；
Figure FDA0002523142170000028
Figure FDA0002523142170000029
其中，
Figure FDA00025231421700000210
是收敛因子，随着迭代次数从2线性减小到0，
Figure FDA00025231421700000211
和
Figure FDA00025231421700000212
的模取[0，1]之间的随机数；
Figure FDA00025231421700000213
其中，
Figure FDA00025231421700000214
和
Figure FDA00025231421700000215
分别表示α、β和δ与其他个体间的距离；
Figure FDA00025231421700000216
和
Figure FDA00025231421700000217
分别代表α、β和δ的当前位置；
Figure FDA00025231421700000218
是随机向量，
Figure FDA00025231421700000219
是当前灰狼的位置；
Figure FDA00025231421700000220
式(6)分别定义了狼群中ω个体朝向α、β和δ前进的步长和方向；
Figure FDA0002523142170000031
式(7)定义了ω的最终位置；
xp＝Rp+iIp，p＝1，2，...，M (8)
式(8)中，灰狼的基因可以表示为二倍体，记为(Rp，iIp)，其中Rp表示变量的实部，Ip表示变量的虚部；
Figure FDA0002523142170000032
Figure FDA0002523142170000033
Figure FDA0002523142170000034
Figure FDA0002523142170000035
式(9)至式(12)中，比例权重ω1、ω2、ω3，在算法每次迭代流程中是动态可变的；
Figure FDA0002523142170000036
式(13)中，参数tmax是最大迭代次数，控制因子
Figure FDA0002523142170000037
随迭代次数的增加非线性动态变化。
CN202010496667.0A 2020-06-03 2020-06-03 一种基于改进灰狼算法的bp神经网络优化方法 Pending CN111723945A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010496667.0A CN111723945A (zh) 2020-06-03 2020-06-03 一种基于改进灰狼算法的bp神经网络优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010496667.0A CN111723945A (zh) 2020-06-03 2020-06-03 一种基于改进灰狼算法的bp神经网络优化方法

Publications (1)

Publication Number Publication Date
CN111723945A true CN111723945A (zh) 2020-09-29

Family

ID=72565950

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010496667.0A Pending CN111723945A (zh) 2020-06-03 2020-06-03 一种基于改进灰狼算法的bp神经网络优化方法

Country Status (1)

Country Link
CN (1) CN111723945A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365065A (zh) * 2020-11-16 2021-02-12 大唐环境产业集团股份有限公司 一种wfgd自适应在线优化调度方法
CN112416913A (zh) * 2020-10-15 2021-02-26 中国人民解放军空军工程大学 一种基于gwo-bp算法的飞机燃油***状态缺失值补充方法
CN112461919A (zh) * 2020-11-10 2021-03-09 云南电网有限责任公司保山供电局 应用多频超声技术检测变压器油理化性能的***及方法
CN112598106A (zh) * 2020-12-17 2021-04-02 苏州大学 基于复数值前向神经网络的复信道均衡器设计方法
CN112766533A (zh) * 2020-11-26 2021-05-07 浙江理工大学 一种基于多策略改进gwo_bp神经网络的共享单车需求预测方法
CN112818793A (zh) * 2021-01-25 2021-05-18 常州大学 基于局部线性嵌入法的微铣削刀具磨损状态监测方法
CN113205698A (zh) * 2021-03-24 2021-08-03 上海吞山智能科技有限公司 一种基于igwo-lstm的短时交通流预测的导航提醒方法
CN113296520A (zh) * 2021-05-26 2021-08-24 河北工业大学 融合a*与改进灰狼算法的巡检机器人路径规划方法
CN113344168A (zh) * 2021-05-08 2021-09-03 淮阴工学院 短期泊位预测方法及***
CN113449474A (zh) * 2021-07-05 2021-09-28 南京工业大学 一种基于改进灰狼算法优化bp神经网络的管材成形质量预测方法
CN114021474A (zh) * 2021-11-17 2022-02-08 江苏科技大学 基于改进灰狼算法优化的继电器寿命预测方法
CN115828437A (zh) * 2023-02-17 2023-03-21 中汽研汽车检验中心（天津）有限公司 汽车性能指标综合优化方法、计算设备
CN117251851A (zh) * 2023-11-03 2023-12-19 广东齐思达信息科技有限公司 一种上网行为管理审计方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112416913A (zh) * 2020-10-15 2021-02-26 中国人民解放军空军工程大学 一种基于gwo-bp算法的飞机燃油***状态缺失值补充方法
CN112461919A (zh) * 2020-11-10 2021-03-09 云南电网有限责任公司保山供电局 应用多频超声技术检测变压器油理化性能的***及方法
CN112365065A (zh) * 2020-11-16 2021-02-12 大唐环境产业集团股份有限公司 一种wfgd自适应在线优化调度方法
CN112766533A (zh) * 2020-11-26 2021-05-07 浙江理工大学 一种基于多策略改进gwo_bp神经网络的共享单车需求预测方法
CN112598106A (zh) * 2020-12-17 2021-04-02 苏州大学 基于复数值前向神经网络的复信道均衡器设计方法
CN112598106B (zh) * 2020-12-17 2024-03-15 苏州大学 基于复数值前向神经网络的复信道均衡器设计方法
CN112818793A (zh) * 2021-01-25 2021-05-18 常州大学 基于局部线性嵌入法的微铣削刀具磨损状态监测方法
CN113205698A (zh) * 2021-03-24 2021-08-03 上海吞山智能科技有限公司 一种基于igwo-lstm的短时交通流预测的导航提醒方法
CN113344168A (zh) * 2021-05-08 2021-09-03 淮阴工学院 短期泊位预测方法及***
CN113296520B (zh) * 2021-05-26 2023-07-14 河北工业大学 融合a*与改进灰狼算法的巡检机器人路径规划方法
CN113296520A (zh) * 2021-05-26 2021-08-24 河北工业大学 融合a*与改进灰狼算法的巡检机器人路径规划方法
CN113449474A (zh) * 2021-07-05 2021-09-28 南京工业大学 一种基于改进灰狼算法优化bp神经网络的管材成形质量预测方法
CN113449474B (zh) * 2021-07-05 2023-10-13 南京工业大学 改进灰狼算法优化bp神经网络管材成形质量预测方法
CN114021474A (zh) * 2021-11-17 2022-02-08 江苏科技大学 基于改进灰狼算法优化的继电器寿命预测方法
CN115828437A (zh) * 2023-02-17 2023-03-21 中汽研汽车检验中心（天津）有限公司 汽车性能指标综合优化方法、计算设备
CN115828437B (zh) * 2023-02-17 2023-05-12 中汽研汽车检验中心（天津）有限公司 汽车性能指标综合优化方法、计算设备
CN117251851A (zh) * 2023-11-03 2023-12-19 广东齐思达信息科技有限公司 一种上网行为管理审计方法
CN117251851B (zh) * 2023-11-03 2024-05-14 广东齐思达信息科技有限公司 一种上网行为管理审计方法

Similar Documents

Publication Publication Date Title
CN111723945A (zh) 一种基于改进灰狼算法的bp神经网络优化方法
Teng et al. An improved hybrid grey wolf optimization algorithm
Khishe et al. Classification of sonar targets using an MLP neural network trained by dragonfly algorithm
Abd Elaziz et al. A Grunwald–Letnikov based Manta ray foraging optimizer for global optimization and image segmentation
CN111371607B (zh) 一种基于决策灰狼算法优化lstm的网络流量预测方法
Yang et al. A multi-strategy whale optimization algorithm and its application
Chakraborty et al. HSWOA: An ensemble of hunger games search and whale optimization algorithm for global optimization
CN107330902B (zh) 基于Arnold变换的混沌遗传BP神经网络图像分割方法
CN111709524A (zh) 一种基于改进gwo算法的rbf神经网络优化方法
Yousri et al. Fractional-order comprehensive learning marine predators algorithm for global optimization and feature selection
CN112488283A (zh) 一种改进的多目标灰狼优化算法
Kumar et al. Artificial lizard search optimization (ALSO): a novel nature-inspired meta-heuristic algorithm
CN110472792A (zh) 一种基于离散蝙蝠算法的物流配送车辆路径优化方法
CN111709511A (zh) 一种基于随机无迹Sigma点变异的哈里斯鹰优化算法
CN111832135A (zh) 基于改进哈里斯鹰优化算法的压力容器结构优化方法
CN113240068A (zh) 一种基于改进蚁狮算法的rbf神经网络优化方法
CN116341605A (zh) 一种基于反向学习策略的灰狼算法混合优化方法
CN110766125A (zh) 一种基于人工鱼群算法的多目标武器——目标分配方法
CN116108383A (zh) 一种基于改进樽海鞘多输出支持向量的船舶航迹预测方法
CN108921281A (zh) 一种基于深度网络和对抗技术的领域适配方法
Zhou et al. A hybrid butterfly optimization algorithm for numerical optimization problems
Aushev et al. Likelihood-free inference with deep Gaussian processes
CN116931103A (zh) 一种基于布谷鸟算法的电磁数据反演方法及***
Mairaj et al. Identifying the optimal solutions of Bohachevsky test function using swarming algorithms
Kadhim et al. Review optimized artificial neural network by meta-heuristic algorithm and its applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200929

RJ01 Rejection of invention patent application after publication