CN103593703A - 基于遗传算法的神经网络优化***及方法 - Google Patents

Abstract

本发明公开了一种基于遗传算法的神经网络优化方法及***，该方法包括如下步骤：建立问题空间和GA算法空间的映射关系，将神经网络的连接权值和阈值映射成二进制编码的基因串；随机产生N个基因串的初始种群；设计适应度函数；根据上述结果利用遗传算法在解空间中定位出一个较好的搜索空间；将上步骤定位的搜索空间作为神经网络搜索的初始权值和阈值，利用神经网络的局部搜索能力在这个小的解空间中搜索出最优解，通过本发明，能极大地提高搜索时间，得到较好的权值和阈值分布。

Description

基于遗传算法的神经网络优化***及方法

技术领域

本发明涉及神经网络领域，特别是涉及一种基于遗传算法的神经网络优化***及方法。

背景技术

近几十年来，研究人员在人工神经网络领域中做了相当多有意义的工作，主要的研究工作集中在以下几个方面：

（1）生物原型研究。从生理学、心理学、解剖学、脑科学、病理学等生物科学方面研究神经细胞、神经网络、神经***的生物原型结构及其功能机理。

（2）建立理论模型。根据生物原型的研究，建立神经元、神经网络的理论模型。其中包括概念模型、知识模型、物理化学模型、数学模型等。

（3）网络模型与算法研究。在理论模型研究的基础上构作具体的神经网络模型，以实现计算机模拟或准备制作硬件，包括网络学习算法的研究。这方面的工作也称为技术模型研究。

（4）人工神经网络应用***。在网络模型与算法研究的基础上，利用人工神经网络组成实际的应用***。

神经网络连接权值和阈值的整体分布包含着神经网络***的全部知识。现有的获取权值和阈值的方法都是采用确定的权值和阈值变化规则，在训练中逐步调整，最终得到一个较好的权值和阈值分布。这就可能因陷入局域极值而不能得到适当的权值和阈值分布。而遗传算法(GA)是一种基于群体进化的随机化全局优化搜索算法，它的搜索始终遍及整个解空间而又不依赖于梯度信息，并且鲁棒性强。但它的局部搜索能力却不足，而且有研究表明，遗传算法可以用极快的速度达到最优解的90%左右，但要达到真正的最优解则要花费很长的时间。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种基于遗传算法的神经网络优化***及方法，通过采用遗传算法对神经网络的权值和阈值进行快速优化，在解空间中定位出一个较好的搜索空间，并将此空间作为神经网络搜索的初始权值和阈值，然后利用神经网络的局部搜索能力在这个小的解空间中搜索出最优解，能极大地提高搜索时间，得到较好的权值和阈值分布。

为达上述及其它目的，本发明提出一种基于遗传算法的神经网络优化方法，包括如下步骤：

步骤一，建立问题空间和GA算法空间的映射关系，将神经网络的连接权值和阈值映射成二进制编码的基因串；

步骤二，随机产生N个基因串的初始种群；

步骤三，设计适应度函数；

步骤四，根据上述结果利用遗传算法在解空间中定位出一个较好的搜索空间；

步骤五，将步骤四定位的搜索空间作为神经网络搜索的初始权值和阈值，利用神经网络的局部搜索能力在这个小的解空间中搜索出最优解。

进一步地，于步骤一中，设神经网络中输入层节点个数为P，隐含层的阈值为θ_j，个数为R(j∈R)，输出层的阈值φ_k个数为J(k∈J)，输入层到隐含层的权值{w_ji;i∈P，j∈R}个数为M，隐含层到输出层的权值{w_kj ^*;j∈R，k∈J}个数为L，其中P，R，J，M，L∈Z⁺(Z⁺为正整数集)，把每个权值和阈值用一定长的0/1二进制串对应表示，然后，将所有权值和阈值对应的0/1二进制串按顺序级联在一起，得到一个基因串—染色体，将其表示如下：

w₁₁ ^(’)w₁₂ ^(’)…w_1i ^(’)…w_1p ^(’)w₂₁ ^(’)w₂₂ ^(’)…w_2i ^(’)…w_2p ^(’)…

w_j1 ^(’)w_j2 ^(’)…w_ji ^(’)…w_jp ^(’)…w_R1 ^(’)w_R2 ^(’)…w_Ri ^(’)…w_Rp ^(’)

w₁₁ ^*(’)w₁₂ ^*(’)…w_1i ^*(’)…w_1p ^*(’)w₂₁ ^*(’)w₂₂ ^*(’)…w_2i ^*(’)…w_2p ^*(’)…

w_j1 ^*(’)w_j2 ^*(’)…w_ji ^*(’)…w_jp ^*(’)…w_R1 ^*(’)w_R2 ^*(’)…w_Ri ^*(’)…w_Rp ^*(’)

其中，w₁₁ ^(’)w₁₂ ^(’)…w_1i ^(’)…w_1p ^(’)w₂₁ ^(’)w₂₂ ^(’)…w_2i ^(’)…w_2p ^(’)…

w_j1 ^(’)w_j2 ^(’)…w_ji ^(’)…w_jp ^(’)…w_R1 ^(’)w_R2 ^(’)…w_Ri ^(’)…w_Rp ^(’)

为M个长度为一位的二进制串；

w₁₁ ^*(’)w₁₂ ^*(’)…w_1i ^*(’)…w_1p ^*(’)w₂₁ ^*(’)w₂₂ ^*(’)…w_2i ^*(’)…w_2p ^*(’)…

w_j1 ^*(’)w_j2 ^*(’)…w_ji ^*(’)…w_jp ^*(’)…w_R1 ^*(’)w_R2 ^*(’)…w_Ri ^*(’)…w_Rp ^*(’)

为L个长度为一位的二进制串；

为对应于十进制权值和阈值w_ji，w_kj ^*，θ_j，

的二进制串。

进一步地，在将各权值和阈值对应的二进制字符串级联在一起时，与同一隐节点相连的连接权值对应的字符串或与同一层阈值对应的字符串放在一起。

进一步地，该适应度函数为：

$F\left(x\right)={\left[\frac{1}{\mathrm{num}}\underset{m}{\mathrm{\Σ}}\underset{k}{\mathrm{\Σ}}{(d_{\mathrm{mk}}-y_{\mathrm{mk}})}^2\right]}^{-1}={\left[\frac{1}{\mathrm{num}}\underset{m}{\mathrm{\Σ}}\underset{k}{\mathrm{\Σ}}{e_{\mathrm{mk}}}^2\right]}^{-1}={\left[\frac{1}{m*k}\underset{m}{\mathrm{\Σ}}\underset{k}{\mathrm{\Σ}}{e_{\mathrm{mk}}}^2\right]}^{-1}$

其中，d_mk及y_mk分别为第m个训练样本的第k个输出节点的期望输出与实际输出，m，k∈Z⁺，num为网络输入输出样本对的个数，e_mk为第m个模式的第k个输出节点的误差。

进一步地，该适应度函数中的参数e_mk通过如下步骤获得：

把某一学习模式的值作为输入层单元的输出I_i，，用输入层到隐含层的权值w_ji和隐含层单元的阈值θ_j求出隐含层单元j的输出v_j;

用隐含层单元的输出v_j，隐含层到输出层的权值w_kj ^*以及输出层单元k的阈值

求出输出层单元k的输出y_k；

由学习模式的期望输出d_k和输出层的输出y_k，得到第m个模式的第k个输出节点的e_mk。

进一步地，步骤四还包括如下步骤：

将适应度函数的幂标定法与选择操作的期望值方法结合,并给出期望生存模型，获得群体中每个个体在其子代的期望生存数目M_p ^*；

在M_p ^*≥2时，若除了父代中个体单一遗传给子代外所复制的子代的总数超过父代中被淘汰个体的总数，则结合排序选择方法作选择操作,

F_p为某基因串的适应度函数，N为群体规模为N，否则调整期望生存模型中的K值使父代中除个体单一遗传给子代外所复制的子代的总数不少于父代中被淘汰个体的总数，然后再结合排序选择方法作选择操作；

进行交叉变异操作；

重复上述遗传操作，直到神经网络的能量函数趋于稳定，则停止进化。

进一步地，该交叉操作采用一点交叉，交叉概率为P_c；该变异操作采用一点变异，变异概率为P_m。

为达到上述目的，本发明还提供一种基于遗传算法的神经网络优化***，至少包括：

映射关系建立模块,用于建立问题空间和GA算法空间的映射关系，将神经网络的连接权值和阈值映射成二进制编码的基因串;

初始种群产生模块，用于随机产生N个基因串的初始种群；

适应度函数设计模块，用于设计适应度函数；

搜索空间定位模块，根据前述模块的结果利用遗传算法在解空间中定位出一个较好的搜索空间；

优化模块，将该搜索空间定位模块定位的搜索空间作为神经网络搜索的初始权值和阈值，利用神经网络的局部搜索能力在这个小的解空间中搜索出最优解。

进一步地，该适应度函数为：

$F\left(x\right)={\left[\frac{1}{\mathrm{num}}\underset{m}{\mathrm{\Σ}}\underset{k}{\mathrm{\Σ}}{(d_{\mathrm{mk}}-y_{\mathrm{mk}})}^2\right]}^{-1}={\left[\frac{1}{\mathrm{num}}\underset{m}{\mathrm{\Σ}}\underset{k}{\mathrm{\Σ}}{e_{\mathrm{mk}}}^2\right]}^{-1}={\left[\frac{1}{m*k}\underset{m}{\mathrm{\Σ}}\underset{k}{\mathrm{\Σ}}{e_{\mathrm{mk}}}^2\right]}^{-1}$

其中，d_mk及y_mk分别为第m个训练样本的第k个输出节点的期望输出与实际输出，m，k∈Z⁺，num为网络输入输出样本对的个数，e_mk为第m个模式的第k个输出节点的误差。

进一步地，该搜索空间定位模块通过如下过程将适应度函数的幂标定法与选择操作的期望值方法结合,并给出期望生存模型，获得群体中每个个体在其子代的期望生存数目M_p ^*；

在M_p ^*≥2时，若除了父代中个体单一遗传给子代外所复制的子代的总数超过父代中被淘汰个体的总数，则结合排序选择方法作选择操作,

F_p为某基因串的适应度函数，N为群体规模为N，否则调整期望生存模型中的K值使父代中除个体单一遗传给子代外所复制的子代的总数不少于父代中被淘汰个体的总数，然后再结合排序选择方法作选择操作；

进行交叉变异操作；

重复上述遗传操作，直到神经网络的能量函数趋于稳定，则停止进化。

与现有技术相比，本发明一种基于遗传算法的神经网络优化***及方法通过利用遗传算法对神经网络的权值和阈值进行快速优化，在解空间中定位出一个较好的搜索空间，并将此空间作为神经网络搜索的初始权值和阈值，然后利用神经网络的局部搜索能力在这个小的解空间中搜索出最优解，能极大地提高搜索时间，得到较好的权值和阈值分布。

附图说明

图1为本发明一种基于遗传算法的神经网络优化方法的步骤流程图；

图2为本发明一种基于遗传算法的神经网络优化***的***架构图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

遗传算法（Genetic algorithm，GA）是模拟生物在自然环境中的遗传和进化过程而形成的一种自适应全局优化概率搜索算法，由美国Michigan大学的Holland教授首次提出。它是模拟自然界生物进化过程的计算模型，具有自组织、自适应和自学习的特点。我们将其引入人工神经网络领域。

人工神经网络中，传统的获取权值和阈值的方法都是采用确定的权值和阈值变化规则，在训练中逐步调整，最终得到一个较好的权值和阈值分布。这就可能因陷入局域极值而不能得到适当的权值和阈值分布。而遗传算法(GA)是一种基于群体进化的随机化全局优化搜索算法，它的搜索始终遍及整个解空间而又不依赖于梯度信息，并且鲁棒性强。但它的局部搜索能力却不足，而且有研究表明，遗传算法可以用极快的速度达到最优解的90%左右，但要达到真正的最优解则要花费很长的时间。

针对上述神经网络和遗传算法各自的优缺点，本发明将遗传算法与人工神经网络结合利用，首先采用遗传算法对神经网络的权值和阈值进行快速优化，在解空间中定位出一个较好的搜索空间，并将此空间作为神经网络搜索的初始权值和阈值，然后利用神经网络的局部搜索能力在这个小的解空间中搜索出最优解。***极大地提高搜索时间，得到较好的权值和阈值分布

图1为本发明一种基于遗传算法的神经网络优化方法的步骤流程图。如图1所示，本发明一种基于遗传算法的神经网络优化方法，包括如下步骤：

步骤101，建立问题空间和GA算法空间的映射关系，将神经网络的连接权值和阈值映射成二进制编码的基因串。

设神经网络中输入层节点个数为P，隐含层的阈值为θ_j，个数为R(j∈R)，输出层的阈值

个数为J(k∈J)，输入层到隐含层的权值{w_ji;i∈P，j∈R}个数为M，隐含层到输出层的权值{w_kj ^*;j∈R，k∈J}个数为L，其中P，R，J，M，L∈Z⁺(Z⁺为正整数集)。这里把每个权值和阈值用一定长的0/1二进制串对应表示。然后，将所有权值和阈值对应的0/1二进制串按顺序级联在一起，即顺序写成一串，这样就得到一个基因串—染色体，将其表示如下：

w₁₁ ^(’)w₁₂ ^(’)…w_1i ^(’)…w_1p ^(’)w₂₁ ^(’)w₂₂ ^(’)…w_2i ^(’)…w_2p ^(’)…

w_j1 ^(’)w_j2 ^(’)…w_ji ^(’)…w_jp ^(’)…w_R1 ^(’)w_R2 ^(’)…w_Ri ^(’)…w_Rp ^(’)

w₁₁ ^*(’)w₁₂ ^*(’)…w_1i ^*(’)…w_1p ^*(’)w₂₁ ^*(’)w₂₂ ^*(’)…w_2i ^*(’)…w_2p ^*(’)…

w_j1 ^*(’)w_j2 ^*(’)…w_ji ^*(’)…w_jp ^*(’)…w_R1 ^*(’)w_R2 ^*(’)…w_Ri ^*(’)…w_Rp ^*(’)

其中，w₁₁ ^(’)w₁₂ ^(’)…w_1i ^(’)…w_1p ^(’)w₂₁ ^(’)w₂₂ ^(’)…w_2i ^(’)…w_2p ^(’)…

w_j1 ^(’)w_j2 ^(’)…w_ji^(’)…w_jp ^(’)…w_R1 ^(’)w_R2 ^(’)…w_Ri ^(’)…w_Rp ^(’)

为M个长度为一位的二进制串；

w₁₁ ^*(’)w₁₂ ^*(’)…w_1i ^*(’)…w_1p ^*(’)w₂₁ ^*(’)w₂₂ ^*(’)…w_2i ^*(’)…w_2p ^*(’)…

w_j1 ^*(’)w_j2 ^*(’)…w_ji ^*(’)…w_jp ^*(’)…w_R1 ^*(’)w_R2 ^*(’)…w_Ri ^*(’)…w_Rp ^*(’)

为L个长度为一位的二进制串；

为对应于十进制权值和阈值w_ji，w_kj ^*，θ_j，

的二进制串。

这样就把神经网络的连接权值和阈值映射成二进制编码的基因串。而且，这种映射是一对一的，即给定一组连接权值和阈值，必然可以写出唯一的一个基因串与其对应；同样给出一个基因串，也必然可以表示出唯一的一组连接权值和阈值。所要注意的是，在将各权值和阈值对应的二进制字符串级联在一起时，与同一隐节点相连的连接权值对应的字符串或与同一层阈值对应的字符串应放在一起。这是因为隐节点在神经网络中起特征抽取和特征探测作用，若将其与同一隐节点相连的连接权值对应的字符串分开，或者与同一层阈值对应的字符串分开，则将增加获取特征的难度，因为遗传算子很容易破坏这些特征。

步骤102，随机产生N个基因串的初始种群。

遗传算法对神经网络权值和阈值的优化，主要是为了在解空间中定位出一个较好的搜索空间，而其后的搜索寻优是靠神经网络来完成的，因此由遗传算法所实现的优化，应力求在解空间中定位出全局最优解所在的空间而不必过于顾及计算的复杂度。而所做的仿真实践证明，其繁殖代数不必很高，因此本发明可以将群体规模N取的大一些。

步骤103，设计适应度函数。

GA的适应度函数即神经网络性能评价函数是遗传算法指导搜索的唯一信息，它的选取是算法好坏的关键。适应度函数要能够有效地指导搜索沿着面向优化参数组合的方向，逐渐逼近最佳参数组合，而不会导致搜索不收敛或陷入局部最优解。同时这个函数也应该易于计算。

本发明将适应度函数设计如下：

设d_mk及y_mk分别为第m个训练样本的第k个输出节点的期望输出与实际输出，m，k∈Z⁺，则适应度函数为：

$F\left(x\right)={\left[\frac{1}{\mathrm{num}}\underset{m}{\mathrm{\Σ}}\underset{k}{\mathrm{\Σ}}{(d_{\mathrm{mk}}-y_{\mathrm{mk}})}^2\right]}^{-1}={\left[\frac{1}{\mathrm{num}}\underset{m}{\mathrm{\Σ}}\underset{k}{\mathrm{\Σ}}{e_{\mathrm{mk}}}^2\right]}^{-1}={\left[\frac{1}{m*k}\underset{m}{\mathrm{\Σ}}\underset{k}{\mathrm{\Σ}}{e_{\mathrm{mk}}}^2\right]}^{-1}---\left(1\right)$

上式中num为网络输入输出样本对的个数，e_mk为第m个模式的第k个输出节点的误差。它们可按下述步骤计算：

(1)把某一学习模式的值作为输入层单元的输出I_i，，用输入层到隐含层的权值w_ji和隐含层单元的阈值θ_j求出隐含层单元j的输出v_j：

$v_j=f(\underset{i}{\mathrm{\Σ}}{w}_{\mathrm{ji}}\·I_i-{\mathrm{\θ}}_j)---\left(2\right)$

(2)用隐含层单元的输出v_j，隐含层到输出层的权值w_kj ^*以及输出层单元k的阈值求出输出层单元k的输出yk：

(3)由学习模式的教师信号（期望输出d_k）和输出层的输出y_k，得到第m个模式的第k个输出节点的e_mk。

步骤104，根据上述结果利用遗传算法在解空间中定位出一个较好的搜索空间。

首先，将适应度函数的幂标定法与选择操作的期望值方法结合给出如下定义。

定义：选择操作问题的“期望生存模型(expected existence model)”

设某基因串的适应度函数为F_p，群体规模为N，则期望生存模型：

$M_p={[F_p/(\underset{p=1}{\overset{N}{\mathrm{\Σ}}}{F}_p/N)]}^k---\left(4\right)$

则群体中每个个体在其子代的期望生存数目：

${M_p}^{*}=\left\{\begin{array}{c}\left[M_p\right]+1,M_p\&GreaterEqual;\left[M_p\right]+0.5\\ \left[M_p\right],M_p<\left[M_p\right]+0.5\end{array}\right.---\left(5\right)$

基于上述定义的基本思想，在M_p ^*≥2时，若除了父代中个体单一遗传给子代外所复制的子代的总数超过父代中被淘汰个体的总数，则结合“排序选择方法”作选择操作，选择概率为：

$P_{\mathrm{sp}}=F_p/\underset{p=1}{\overset{N}{\mathrm{\&Sigma;}}}{F}_p---\left(6\right)$

否则，调整式(4)式中的K值使父代中除个体单一遗传给子代外所复制的子代的总数不少于父代中被淘汰个体的总数，然后再结合“排序选择方法”作选择操作。

之后进行交叉变异操作。交叉操作采用一点交叉，交叉概率为P_c。但要注意的是交叉训练应将连接权值部分和阈值部分分开进行。变异操作采用一点变异，变异概率为P_m。

重复上述遗传操作，直到神经网络的能量函数E基本趋于稳定，则停止进化。此时，已为神经网络的搜索定位出一个优化的搜索空间。能量函数E为：

$E=\underset{m}{\mathrm{\&Sigma;}}{E}_m=\frac{1}{2}\underset{m}{\mathrm{\&Sigma;}}\underset{k}{\mathrm{\&Sigma;}}{(d_k-y_k)}^2$

步骤105，将步骤104定位的搜索空间作为神经网络搜索的初始权值和阈值，利用神经网络的局部搜索能力在这个小的解空间中搜索出最优解。

图2为本发明一种基于遗传算法的神经网络优化***的***架构图。如图2所示，本发明一种基于遗传算法的神经网络优化***，至少包括：映射关系建立模块201、初始种群产生模快202、适应度函数设计模块203、搜索空间定位模块204以及优化模块205。

其中映射关系建立模块201用于建立问题空间和GA算法空间的映射关系，将神经网络的连接权值和阈值映射成二进制编码的基因串。具体的说，假设神经网络中输入层节点个数为P，隐含层的阈值为θ_j，个数为R(j∈R)，输出层的阈值

个数为J(k∈J)，输入层到隐含层的权值{w_ji;i∈P，j∈R}个数为M，隐含层到输出层的权值{w_kj ^*;j∈R，k∈J}个数为L，其中P，R，J，M，L∈Z⁺(Z⁺为正整数集)。这里把每个权值和阈值用一定长的0/1二进制串对应表示。然后，将所有权值和阈值对应的0/1二进制串按顺序级联在一起，即顺序写成一串，这样就得到一个基因串—染色体，将其表示如下：

w₁₁ ^(’)w₁₂ ^(’)…w_1i ^(’)…w_1p ^(’)w₂₁ ^(’)w₂₂ ^(’)…w_2i ^(’)…w_2p ^(’)…

w_j1 ^(’)w_j2 ^(’)…w_ji ^(’)…w_jp ^(’)…w_R1 ^(’)w_R2 ^(’)…w_Ri ^(’)…w_Rp ^(’)

w₁₁ ^*(’)w₁₂ ^*(’)…w_1i ^*(’)…w_1p ^*(’)w₂₁ ^*(’)w₂₂ ^*(’)…w_2i ^*(’)…w_2p ^*(’)…

w_j1 ^*(’)w_j2 ^*(’)…w_ji ^*(’)…w_jp ^*(’)…w_R1 ^*(’)w_R2 ^*(’)…w_Ri ^*(’)…w_Rp ^*(’)

其中，w₁₁ ^(’)w₁₂ ^(’)…w_1i ^(’)…w_1p ^(’)w₂₁ ^(’)w₂₂ ^(’)…w_2i ^(’)…w_2p ^(’)…

w_j1 ^(’)w_j2 ^(’)…w_ji ^(’)…w_jp ^(’)…w_R1 ^(’)w_R2 ^(’)…w_Ri ^(’)…w_Rp ^(’)

为M个长度为一位的二进制串；

w₁₁ ^*(’)w₁₂ ^*(’)…w_1i ^*(’)…w_1p ^*(’)w₂₁ ^*(’)w₂₂ ^*(’)…w_2i ^*(’)…w_2p ^*(’)…

w_j1 ^*(’)w_j2 ^*(’)…w_ji ^*(’)…w_jp ^*(’)…w_R1 ^*(’)w_R2 ^*(’)…w_Ri ^*(’)…w_Rp ^*(’)

为L个长度为一位的二进制串；

为对应于十进制权值和阈值w_ji，w_kj ^*，θ_j，的二进制串。

这样就把神经网络的连接权值和阈值映射成二进制编码的基因串。而且，这种映射是一对一的，即给定一组连接权值和阈值，必然可以写出唯一的一个基因串与其对应；同样给出一个基因串，也必然可以表示出唯一的一组连接权值和阈值。所要注意的是，在将各权值和阈值对应的二进制字符串级联在一起时，与同一隐节点相连的连接权值对应的字符串或与同一层阈值对应的字符串应放在一起。这是因为隐节点在神经网络中起特征抽取和特征探测作用，若将其与同一隐节点相连的连接权值对应的字符串分开，或者与同一层阈值对应的字符串分开，则将增加获取特征的难度，因为遗传算子很容易破坏这些特征。

初始种群产生模块202用于随机产生N个基因串的初始种群；适应度函数设计模块203用于设计适应度函数，在本发明较佳实施例中，适应度函数设计如下：

设d_mk及y_mk分别为第m个训练样本的第k个输出节点的期望输出与实际输出，m，k∈Z⁺，则适应度函数为：

$F\left(x\right)={\left[\frac{1}{\mathrm{num}}\underset{m}{\mathrm{\&Sigma;}}\underset{k}{\mathrm{\&Sigma;}}{(d_{\mathrm{mk}}-y_{\mathrm{mk}})}^2\right]}^{-1}={\left[\frac{1}{\mathrm{num}}\underset{m}{\mathrm{\&Sigma;}}\underset{k}{\mathrm{\&Sigma;}}{e_{\mathrm{mk}}}^2\right]}^{-1}={\left[\frac{1}{m*k}\underset{m}{\mathrm{\&Sigma;}}\underset{k}{\mathrm{\&Sigma;}}{e_{\mathrm{mk}}}^2\right]}^{-1}---\left(1\right)$

上式中num为网络输入输出样本对的个数，e_mk为第m个模式的第k个输出节点的误差。它们可按下述步骤计算：

(1)把某一学习模式的值作为输入层单元的输出I_i，，用输入层到隐含层的权值w_ji和隐含层单元的阈值θ_j求出隐含层单元j的输出v_j：

$v_j=f(\underset{i}{\mathrm{\&Sigma;}}{w}_{\mathrm{ji}}\&CenterDot;I_i-{\mathrm{\&theta;}}_j)---\left(2\right)$

(2)用隐含层单元的输出v_j，隐含层到输出层的权值w_kj ^*以及输出层单元k的阈值求出输出层单元k的输出y_k：

(3)由学习模式的教师信号（期望输出d_k）和输出层的输出y_k，得到第m个模式的第k个输出节点的e_mk。

搜索空间定位模块204根据前述模块的结果利用遗传算法在解空间中定位出一个较好的搜索空间。其具体过程如下：

首先，将适应度函数的幂标定法与选择操作的期望值方法结合给出如下定义。

定义：选择操作问题的“期望生存模型(expected existence model)”

设某基因串的适应度函数为F_p，群体规模为N，则期望生存模型：

$M_p={[F_p/(\underset{p=1}{\overset{N}{\mathrm{\&Sigma;}}}{F}_p/N)]}^k---\left(4\right)$

则群体中每个个体在其子代的期望生存数目：

${M_p}^{*}=\left\{\begin{array}{c}\left[M_p\right]+1,M_p\&GreaterEqual;\left[M_p\right]+0.5\\ \left[M_p\right],M_p<\left[M_p\right]+0.5\end{array}\right.---\left(5\right)$

基于上述定义的基本思想，在M_p ^*≥2时，若除了父代中个体单一遗传给子代外所复制的子代的总数超过父代中被淘汰个体的总数，则结合“排序选择方法”作选择操作，选择概率为：

$P_{\mathrm{sp}}=F_p/\underset{p=1}{\overset{N}{\mathrm{\&Sigma;}}}{F}_p---\left(6\right)$

否则，调整式(4)式中的K值使父代中除个体单一遗传给子代外所复制的子代的总数不少于父代中被淘汰个体的总数，然后再结合“排序选择方法”作选择操作。

之后进行交叉变异操作。交叉操作采用一点交叉，交叉概率为P_c。但要注意的是交叉训练应将连接权值部分和阈值部分分开进行。变异操作采用一点变异，变异概率为P_m。

重复上述遗传操作，直到神经网络的能量函数E基本趋于稳定，则停止进化。此时，已为神经网络的搜索定位出一个优化的搜索空间。能量函数E为：

$E=\underset{m}{\mathrm{\&Sigma;}}{E}_m=\frac{1}{2}\underset{m}{\mathrm{\&Sigma;}}\underset{k}{\mathrm{\&Sigma;}}{(d_k-y_k)}^2$

优化模块205将搜索空间定位模块204定位的搜索空间作为神经网络搜索的初始权值和阈值，利用神经网络的局部搜索能力在这个小的解空间中搜索出最优解。

综上所述，本发明一种基于遗传算法的神经网络优化***及方法通过利用遗传算法对神经网络的权值和阈值进行快速优化，在解空间中定位出一个较好的搜索空间，并将此空间作为神经网络搜索的初始权值和阈值，然后利用神经网络的局部搜索能力在这个小的解空间中搜索出最优解，能极大地提高搜索时间，得到较好的权值和阈值分布，本发明可以广泛应用在信号处理或模式识别，组合优化、机器人、自适应控制等领域。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种基于遗传算法的神经网络优化方法，包括如下步骤：

步骤一，建立问题空间和GA算法空间的映射关系，将神经网络的连接权值和阈值映射成二进制编码的基因串；

步骤二，随机产生N个基因串的初始种群；

步骤三，设计适应度函数；

步骤四，根据上述结果利用遗传算法在解空间中定位出一个较好的搜索空间；

步骤五，将步骤四定位的搜索空间作为神经网络搜索的初始权值和阈值，利用神经网络的局部搜索能力在这个小的解空间中搜索出最优解。

2.如权利要求1所述的一种基于遗传算法的神经网络优化方法，其特征在于，于步骤一中，设神经网络中输入层节点个数为P，隐含层的阈值为θ_j，个数为R(j∈R)，输出层的阈值φ_k个数为J(k∈J)，输入层到隐含层的权值{w_ji;i∈P，j∈R}个数为M，隐含层到输出层的权值{w_kj ^*;j∈R，k∈J}个数为L，其中P，R，J，M，L∈Z⁺(Z⁺为正整数集)，把每个权值和阈值用一定长的0/1二进制串对应表示，然后，将所有权值和阈值对应的0/1二进制串按顺序级联在一起，得到一个基因串—染色体，将其表示如下：

w₁₁ ^(’)w₁₂ ^(’)…w_1i ^(’)…w_1p ^(’)w₂₁ ^(’)w₂₂ ^(’)…w_2i ^(’)…w_2p ^(’)…

w_j1 ^(’)w_j2 ^(’)…w_ji ^(’)…w_jp ^(’)…w_R1 ^(’)w_R2 ^(’)…w_Ri ^(’)…w_Rp ^(’)

w₁₁ ^*(’)w₁₂ ^*(’)…w_1i ^*(’)…w_1p ^*(’)w₂₁ ^*(’)w₂₂ ^*(’)…w_2i ^*(’)…w_2p ^*(’)…

w_j1 ^*(’)w_j2 ^*(’)…w_ji ^*(’)…w_jp ^*(’)…w_R1 ^*(’)w_R2 ^*(’)…w_Ri ^*(’)…w_Rp ^*(’)

其中，w₁₁ ^(’)w₁₂ ^(’)…w_1i ^(’)…w_1p ^(’)w₂₁ ^(’)w₂₂ ^(’)…w_2i ^(’)…w_2p ^(’)…

w_j1 ^(’)w_j2 ^(’)…w_ji ^(’)…w_jp ^(’)…w_R1 ^(’)w_R2 ^(’)…w_Ri ^(’)…w_Rp ^(’)

为M个长度为一位的二进制串；

w₁₁ ^*(’)w₁₂ ^*(’)…w_1i ^*(’)…w_1p ^*(’)w₂₁ ^*(’)w₂₂ ^*(’)…w_2i ^*(’)…w_2p ^*(’)…

w_j1 ^*(’)w_j2 ^*(’)…w_ji ^*(’)…w_jp ^*(’)…w_R1 ^*(’)w_R2 ^*(’)…w_Ri ^*(’)…w_Rp ^*(’)

为L个长度为一位的二进制串；

为对应于十进制权值和阈值w_ji，w_kj ^*，θ_j，

的二进制串。

3.如权利要求2所述的一种基于遗传算法的神经网络优化方法，其特征在于：在将各权值和阈值对应的二进制字符串级联在一起时，与同一隐节点相连的连接权值对应的字符串或与同一层阈值对应的字符串放在一起。

4.如权利要求2所述的一种基于遗传算法的神经网络优化方法，其特征在于，该适应度函数为：

$F\left(x\right)={\left[\frac{1}{\mathrm{num}}\underset{m}{\mathrm{\&Sigma;}}\underset{k}{\mathrm{\&Sigma;}}{(d_{\mathrm{mk}}-y_{\mathrm{mk}})}^2\right]}^{-1}={\left[\frac{1}{\mathrm{num}}\underset{m}{\mathrm{\&Sigma;}}\underset{k}{\mathrm{\&Sigma;}}{e_{\mathrm{mk}}}^2\right]}^{-1}={\left[\frac{1}{m*k}\underset{m}{\mathrm{\&Sigma;}}\underset{k}{\mathrm{\&Sigma;}}{e_{\mathrm{mk}}}^2\right]}^{-1}$

其中，d_mk及y_mk分别为第m个训练样本的第k个输出节点的期望输出与实际输出，m，k∈Z⁺，num为网络输入输出样本对的个数，e_mk为第m个模式的第k个输出节点的误差。

5.如权利要求4所述的一种基于遗传算法的神经网络优化方法，其特征在于，该适应度函数中的参数e_mk通过如下步骤获得：

把某一学习模式的值作为输入层单元的输出I_i，，用输入层到隐含层的权值w_ji和隐含层单元的阈值θ_j求出隐含层单元j的输出v_j;

用隐含层单元的输出v_j，隐含层到输出层的权值w_kj ^*以及输出层单元k的阈值

求出输出层单元k的输出y_k；

由学习模式的期望输出d_k和输出层的输出y_k，得到第m个模式的第k个输出节点的e_mk。

6.如权利要求4所述的一种基于遗传算法的神经网络优化方法，其特征在于，步骤四还包括如下步骤：

将适应度函数的幂标定法与选择操作的期望值方法结合,并给出期望生存模型，获得群体中每个个体在其子代的期望生存数目M_p ^*；

在M_p ^*≥2时，若除了父代中个体单一遗传给子代外所复制的子代的总数超过父代中被淘汰个体的总数，则结合排序选择方法作选择操作,

F_p为某基因串的适应度函数，N为群体规模为N，否则调整期望生存模型中的K值使父代中除个体单一遗传给子代外所复制的子代的总数不少于父代中被淘汰个体的总数，然后再结合排序选择方法作选择操作；

进行交叉变异操作；

重复上述遗传操作，直到神经网络的能量函数趋于稳定，则停止进化。

7.如权利要求6所述的一种基于基于遗传算法的神经网络优化方法，其特征在于：该交叉操作采用一点交叉，交叉概率为P_c；该变异操作采用一点变异，变异概率为P_m。

8.一种基于遗传算法的神经网络优化***，至少包括：

映射关系建立模块,用于建立问题空间和GA算法空间的映射关系，将神经网络的连接权值和阈值映射成二进制编码的基因串;

初始种群产生模块，用于随机产生N个基因串的初始种群；

适应度函数设计模块，用于设计适应度函数；

搜索空间定位模块，根据前述模块的结果利用遗传算法在解空间中定位出一个较好的搜索空间；

优化模块，将该搜索空间定位模块定位的搜索空间作为神经网络搜索的初始权值和阈值，利用神经网络的局部搜索能力在这个小的解空间中搜索出最优解。

9.如权利要求8所述的一种基于遗传算法的神经网络优化***，其特征在于，该适应度函数为：

$F\left(x\right)={\left[\frac{1}{\mathrm{num}}\underset{m}{\mathrm{\&Sigma;}}\underset{k}{\mathrm{\&Sigma;}}{(d_{\mathrm{mk}}-y_{\mathrm{mk}})}^2\right]}^{-1}={\left[\frac{1}{\mathrm{num}}\underset{m}{\mathrm{\&Sigma;}}\underset{k}{\mathrm{\&Sigma;}}{e_{\mathrm{mk}}}^2\right]}^{-1}={\left[\frac{1}{m*k}\underset{m}{\mathrm{\&Sigma;}}\underset{k}{\mathrm{\&Sigma;}}{e_{\mathrm{mk}}}^2\right]}^{-1}$

其中，d_mk及y_mk分别为第m个训练样本的第k个输出节点的期望输出与实际输出，m，k∈Z⁺，num为网络输入输出样本对的个数，e_mk为第m个模式的第k个输出节点的误差。

10.如权利要求8所述的一种基于遗传算法的神经网络优化***，其特征在于，该搜索空间定位模块通过如下过程定位出搜索空间：

将适应度函数的幂标定法与选择操作的期望值方法结合,并给出期望生存模型，获得群体中每个个体在其子代的期望生存数目M_p ^*；

在M_p ^*≥2时，若除了父代中个体单一遗传给子代外所复制的子代的总数超过父代中被淘汰个体的总数，则结合排序选择方法作选择操作, F_p为某基因串的适应度函数，N为群体规模为N，否则调整期望生存模型中的K值使父代中除个体单一遗传给子代外所复制的子代的总数不少于父代中被淘汰个体的总数，然后再结合排序选择方法作选择操作；

进行交叉变异操作；

重复上述遗传操作，直到神经网络的能量函数趋于稳定，则停止进化。

Images