CN106875002A - 基于梯度下降法与广义逆的复值神经网络训练方法 - Google Patents

Abstract

本发明涉及一种基于梯度下降法与广义逆的复值神经网络训练方法，步骤一，选择单隐层复值神经网络模型；步骤二，利用梯度下降法和广义逆计算单隐层复值神经网络中的权值矩阵和权值向量，步骤三,根据权值矩阵和权值向量，获取复值神经网络网络参数，进行计算均方误差；将迭代次数加1，返回步骤二。本发明的隐层输入权值是通过梯度下降法迭代产生，输出权值始终通过广义逆来求解。本方法迭代次数少，相应的训练时间短，收敛速度快，并且学习效率高，同时所需的隐层节点个数少。因此，本发明比BSCBP方法与CELM方法能够较为准确的反映复值神经网络模型的性能。

Description

基于梯度下降法与广义逆的复值神经网络训练方法

技术领域

本发明属于图像处理、模式识别和通信传输的技术领域，尤其涉及一种基于梯度下降法与广义逆的复值神经网络训练方法。

背景技术

在图像处理、模式识别和通信传输等方面利用神经网络建模的方法进行样本训练与测试有广泛的应用。在训练样本中的神经网络模型建模，神经网络信号(输入信号和输出信号以及权值参数)，可以为实数值和复数值，从而神经网络分为实值神经网络和复值神经网络。现有的神经网络建模方法多数是建立的实值神经网络模型，但随着电子信息科学的迅速发展，复数值信号越来越频繁地出现在工程实践中，仅考虑实值的计算无法良好的解决实际问题，而复值神经网络可以解决一些实值神经网络所解决不了的问题。复值神经网络是通过复数参数和变量(即信号的输入、输出以及网络权值均为复数)来处理复数信息的神经网络。因此，一系列复值神经网络的模型被陆续提出并加以深入研究。

在Batch Split-Complex Backpropagation Algorithm中提出了一种BSCBP方法用于训练复值神经网络。激活函数选择实虚部型激活函数，对隐层输入的实虚部分别激活，避免奇异点的出现；BSCBP方法先给输入权值矩阵以及输出权值矩阵进行随机赋值，再通过梯度下降法进行梯度更新，最后计算测试样本的精度。但是，基于梯度下降法的BSCBP模型需要多次迭代训练，消耗时间长并且学习效率较低。

在Fully Complex Extreme Learning Machine中提出了一种CELM方法将ELM方法从实数域扩展到复数域，并应用于非线性信道均衡。CELM只需要设置合适的网络隐层节点个数，对网络的输入权值进行随机赋值，输出层权值的最优解通过最小二乘法得到，激活函数可以选sigmoid函数、(反)三角函数以及(反)双曲函数，与BSCBP不同的是，激活函数对隐层的输入矩阵直接激活。整个过程一次完成，无需迭代，因此具有参数选择容易、学习速度极快的优点。但是CELM方法为了弥补隐层节点参数的随意性选择，往往需要较多的隐层节点个数，且训练精度有待进一步提高。

综上所述，BSCBP在训练时速度缓慢，精度较低，CELM方法虽然速度快，但所需要的网络隐层节点数过多，且精度也有待提高，现有技术中对于如何同时解决复值神经网络训练方法中训练速度慢、精度低和网络隐层节点数过多的问题，尚缺乏有效的解决方案。

发明内容

本发明为了解决上述问题，克服传统的复值神经网络训练方法中无法同时解决训练速度慢、精度低和网络隐层节点数过多的问题，提供一种基于梯度下降法与广义逆的复值神经网络训练方法(Gradient based Generalized Complex Neural Networks,简称GGCNN)。

为了实现上述目的，本发明采用如下技术方案：

一种基于梯度下降法与广义逆的复值神经网络训练方法，所述方法步骤包括：

(1)选择单隐层复值神经网络模型对样本数据集进行建模；

(2)根据步骤(1)中选择的单隐层复值神经网络模型，利用广义逆计算所述单隐层复值神经网络中的权值矩阵，将迭代次数初始值设置为1，利用梯度下降法计算所述单隐层复值神经网络中的权值向量；

(3)根据步骤(2)中计算出的所述权值矩阵和所述权值向量，获取复值神经网络网络参数，计算当前样本数据的均方误差；判断当前迭代次数是否等于最大迭代次数，若是，结束训练；若否，将当前迭代次数加1，返回步骤(2)。

优选的，所述步骤(1)中的样本数据集包括训练样本数据集或测试数据集。

优选的，所述步骤(1)中的所述单隐层复值神经网络模型为：

所述单隐层复值神经网络模型中的输入层、隐层和输出层神经元个数分别为L、M和1；

给定Q个输入样本，其样本矩阵为Z＝(z_ij)_L×Q＝Z^R+iZ^I，其中，Z^R为Z的实部，Z^I为Z的虚部；

第q个样本的输入为其中，i＝1,2…L；

输入样本相应的理想输出矩阵为D＝(d₁,d₂…d_Q)^T＝D^R+iD^I，其中，D^R为D的实部，D^I为D的虚部；

第q个样本的理想输出为d^q∈C。

优选的，所述单隐层复值神经网络模型中的所述隐层的激活函数为g_c:C→C；

连接输入层和隐层的权值矩阵为W＝(w_ij)_M×L＝W^R+iW^I，其中，W^R为W的实部，W^I为W的虚部；

输入层与第i个隐节点的连接权值记为w_i＝(w_i1,w_i2…w_iL)∈C^L，其中，i＝1,2…M；

连接隐层和输出层的权值向量为V＝(v₁,v₂…v_M)^T＝V^R+iV^I，其中，V^R为V的实部，V^I为V的虚部；

第k个隐节点与输出层的连接权值记为v_k∈C，其中，k＝1,2…M。

优选的，所述步骤(2)中的具体步骤为：

(2-1)初始化输入层到隐层的权值矩阵，获取初始权值矩阵W⁰，W⁰在给定区间内随机赋值；

(2-2)利用梯度下降法和广义逆计算单隐层复值神经网络中的权值矩阵和权值向量。

优选的，所述步骤(2-2)中的所述通过广义逆计算隐层到输出层的权值矩阵V的具体步骤为：

(2-2a-1)根据步骤(2-1)中的所述初始权值矩阵W⁰与步骤(1)中的样本矩阵Z计算隐层的输入矩阵U＝(u_ij)_M×Q，

(2-2a-2)对矩阵步骤(2-2a-1)中的所述输入矩阵U的实部和虚部分别激活，得到隐层的输出矩阵H＝(h_ij)_M×Q，H＝g_c(U^R))+ig_c(U^I))＝H^R+iH^I，其中，H^R为H的实部，H^I为H的虚部；

(2-2a-3)：通过广义逆计算隐层到输出层的权值矩阵V，

其中，H为步骤(2-2a-2)中隐层的输出矩阵，D为步骤(1)中的所述理想输出矩阵。

优选的，所述步骤(2-2)中的对初始权值矩阵W⁰进行优化具体步骤为：

(2-2b-1)：设置初始迭代次数k＝1，最大迭代次数为K；

(2-2b-2)：计算均方误差E关于隐层权值W的梯度；

(2-2b-3)：权值更新公式为其中，n＝1,2,…,η为学习率。

优选的，所述步骤(2-2b-2)中均方误差E关于隐层权值W的梯度分成两部分计算，先求E对W^R的梯度，再求E对W^I的梯度，其中，W^R为W实部，W^I为W的虚部；

式中，z^q为第q个样本的输入向量，z^q,R为第q个样本的输入向量的实部，z^q,I为第q个样本的输入向量的虚部，g_c为隐层的激活函数，为第q个样本在第m个隐节点处的输入，为第q个样本在第m个隐节点的输入的实部，为第q个样本在第m个隐节点的输入的虚部。

优选的，所述步骤(3)中的具体步骤为：

(3-1)输出层的激活函数选择线性函数，则输出层的输入等于输出层的输出，网络的实际输出为O＝(o₁,o₂…o_Q)^T，第q个样本的实际输出为o_q∈C，q＝1,2…Q,将矩阵O分为O^R(实部)和O^I(虚部)两部分,O＝H^TV＝O^R+iO^I第q个样本的实际输出:

其中，v^R为隐层到输出层权值向量的实部，v^I为隐层到输出层权值向量的虚部，h^q,R为第q个样本隐层输出向量的实部，h^q,I为第q个样本隐层输出向量的虚部；

(3-2)计算当前样本数据的均方误差，判断当前迭代次数k是否等于最大迭代次数K，若是，结束训练；若否，将当前迭代次数加1，返回步骤(2-2b-2)。

优选的，所述步骤(3)中的计算当前样本数据的均方误差采用：

其中，o^q为第q个样本的实际输出，d^q为第q个样本的理想输出。

本发明的有益效果：

1、本发明的一种基于梯度下降法与广义逆的复值神经网络训练方法，隐层输入权值是通过梯度下降法迭代产生，输出权值始终通过广义逆来求解。因此，与BSCBP相比，本方法迭代次数少，相应的训练时间短，收敛速度快，并且学习效率高。与CELM相比，所需的隐层节点个数少，并且学习效率高。因此，本发明比BSCBP方法与CELM方法精度高，能够较为准确的反映复值神经网络模型的性能。

2、本发明的一种基于梯度下降法与广义逆的复值神经网络训练方法，求解从隐层到输出层旳权值时，采用了广义逆的方法，无需迭代，一步求出输出权值的最小范数最小二乘解，相比于基于梯度下降法的相关方法(如CBP方法)训练速度要快。

附图说明

图1是本发明的方法流程示意图；

图2是本发明与BSCBP和CELM建模方法对比的曲线图。

具体实施方式：

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面结合附图与实施例对本发明作进一步说明。

实施例1：

在本实施例中引用文献“Channel Equalization Using Adaptive ComplexRadial Basis Function Networks”中的4-QAM信号的非线性失真的三维均衡器模型。其中，均衡器的输入为

均衡器的理想输出为0.7+0.7i，0.7-0.7i，-0.7+0.7i，-0.7-0.7i。

在本实施例中训练数据集和测试数据集分别取整体样本数据集的70％和30％。

首先，通过本发明的一种基于梯度下降法与广义逆的复值神经网络训练方法对数据集进行建模。

一种基于梯度下降法与广义逆的复值神经网络训练方法，其方法流程图如图1所示，所述方法步骤包括：

(1)选择单隐层复值神经网络模型对样本训练数据集或样本测试数据集进行建模；

所述步骤(1)中的所述单隐层复值神经网络模型为：

所述单隐层复值神经网络模型中的输入层、隐层和输出层神经元个数分别为L、M和1；

给定Q个输入样本，其样本矩阵为Z＝(z_ij)_L×Q＝Z^R+iZ^I，其中，Z^R为

Z的实部，Z^I为Z的虚部；

第q个样本的输入为其中，i＝1,2…L；

输入样本相应的理想输出矩阵为D＝(d₁,d₂…d_Q)^T＝D^R+iD^I，其中，D^R为D的实部，D^I为D的虚部；

第q个样本的理想输出为d^q∈C。

所述单隐层复值神经网络模型中的所述隐层的激活函数为g_c:C→C；

连接输入层和隐层的权值矩阵为W＝(w_ij)_M×L＝W^R+iW^I，其中，W^R为W的实部，W^I为W的虚部；

输入层与第i个隐节点的连接权值记为w_i＝(w_i1,w_i2…w_iL)∈C^L，其中，i＝1,2…M；

连接隐层和输出层的权值向量为V＝(v₁,v₂…v_M)^T＝V^R+iV^I，其中，V^R为V的实部，V^I为V的虚部；

第k个隐节点与输出层的连接权值记为v_k∈C，其中，k＝1,2…M。

(2)根据步骤(1)中选择的单隐层复值神经网络模型，利用广义逆计算所述单隐层复值神经网络中的权值矩阵，将迭代次数初始值设置为1，利用梯度下降法计算所述单隐层复值神经网络中的权值向量；

步骤S21：初始化输入层到隐层的权值矩阵，获取初始权值矩阵W⁰，W⁰在给定区间随机赋值；

步骤S22：隐层的输入矩阵为U＝(u_ij)_M×Q,矩阵U分为U^R(实部)和U^I(虚部)两部分,U＝WZ＝U^R+iU^I，第q个样本第m个隐层节点的输入：

式中，x^q为第q个输入样本的实部，y^q为第q个输入样本的虚部，为第m个隐节点的输入权向量的实部，为第m个隐节点的输入权向量的虚部；

步骤S23：对矩阵U的实部和虚部分别激活，得到隐层的输出矩阵为H＝(h_ij)_M×Q,矩阵H分为H^R(实部)和H^I(虚部)两部分，H＝g_c(U^R)+ig_c(U^I)＝H^R+iH^I

步骤S24：通过广义逆计算隐层到输出层的权值矩阵V，

步骤S25：对初始权值矩阵W⁰进行优化，优化步骤S25如下子步骤：

步骤S251：设置初始迭代次数k＝1；(最大迭代次数为K)

步骤S252：计算均方误差E关于隐层权值W的梯度，分成两部分计算，先求E对W^R的梯度,再求E对W^I的梯度，

步骤S27：权值更新公式为Wⁿ⁺¹＝Wⁿ+ΔWⁿn为迭代次数n＝1,2,…,其中而即第m个隐节点在第n次迭代时的梯度；学习率η为常数；

(3)根据步骤(2)中计算出的所述权值矩阵和所述权值向量，获取复值神经网络网络参数，计算当前样本数据的均方误差；判断当前迭代次数是否等于最大迭代次数，若是，结束训练；若否，将当前迭代次数加1，返回步骤(2)。

步骤S31：输出层的激活函数选择线性函数，则输出层的输入等于输出层的输出，网络的实际输出为O＝(o₁,o₂…o_Q)^T，第q个样本的实际输出为o_q∈C，q＝1,2…Q,将矩阵O分为O^R(实部)和O^I(虚部)两部分,O＝H^TV＝O^R+iO^I第q个样本的实际输出:

式中，v^R为隐层到输出层权值向量的实部，v^I为隐层到输出层权值向量的虚部，h^q,R为第q个样本隐层输出向量的实部，h^q,I为第q个样本隐层输出向量的虚部；

步骤S32：计算训练样本的误差函数：

令k＝k+1，返回步骤S22(隐层到输出层的权值矩阵V始终通过广义逆来求解)。

本实施例中包括两个对比建模方法，BSCBP方法和CELM方法。CELM方法是文献“Fully complex extreme learning machine”中的方法，该方法是对输入权值矩阵随机赋值，输出权值矩阵通过广义逆来求解。分别通过BSCBP方法和CELM方法对数据集(文献“Channel Equalization Using Adaptive Complex Radial Basis Function Networks”中的4-QAM信号的非线性失真的三维均衡器模型进行处理。其中，均衡器的输入为

均衡器的理想输出为0.7+0.7i，0.7-0.7i，-0.7+0.7i，-0.7-0.7i)进行建模。实验结果如图2所示。

从图2中可以看出在网络结构相同的条件下，本方法的训练误差均低于BSCBP方法和CELM方法，说明本发明方法有效地优化了训练权值，达到了很高的训练精度。

本发明方法中，隐层的输入权值矩阵通过梯度下降法进行更新，因此，与CELM相比，在初始权值相同的条件下，GGCNN模型需要的隐节点数远远少于CELM所需的隐节点数，且小于CELM模型产生的均方误差；

本发明的基于梯度下降法与广义逆的复值神经网络的建模方法(Gradient basedGeneralized Complex Neural Networks,简称GGCNN方法)中，隐层的输出权值矩阵通过广义逆来求解，无需迭代，一步求出输出权值矩阵的最小范数最小二乘解。因此在初始权值与隐节点个数相同的条件下，本发明方法不仅比BSCBP训练速度快，并且训练误差和测试误差均有大幅度降低，详细对比结果如表1所示。

表1

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于梯度下降法与广义逆的复值神经网络训练方法，其特征是：所述方法步骤包括：

(1)选择单隐层复值神经网络模型对样本数据集进行建模；

(2)根据步骤(1)中选择的单隐层复值神经网络模型，利用广义逆计算所述单隐层复值神经网络中的权值矩阵，将迭代次数初始值设置为1，利用梯度下降法计算所述单隐层复值神经网络中的权值向量；

(3)根据步骤(2)中计算出的所述权值矩阵和所述权值向量，获取复值神经网络网络参数，计算当前样本数据的均方误差；判断当前迭代次数是否等于最大迭代次数，若是，结束训练；若否，将当前迭代次数加1，返回步骤(2)。

2.如权利要求1所述的一种基于梯度下降法与广义逆的复值神经网络训练方法，其特征是：所述步骤(1)中的所述单隐层复值神经网络模型为：

所述单隐层复值神经网络模型中的输入层、隐层和输出层神经元个数分别为L、M和1；给定Q个输入样本；其样本矩阵为Z＝(z_ij)_L×Q、输入样本相应的理想输出矩阵为D＝(d₁,d₂…d_Q)^T均为复数；第q个样本的输入为 其中，i＝1,2…L；第q个样本的理想输出为d^q∈C。

3.如权利要求2所述的一种基于梯度下降法与广义逆的复值神经网络训练方法，其特征是：所述步骤(1)中的所述单隐层复值神经网络模型中的所述隐层的激活函数为g_c:C→C；连接输入层和隐层的权值矩阵为W＝(w_ij)_M×L＝W^R+iW^I，其中，W^R为W的实部，W^I为W的虚部；输入层与第i个隐节点的连接权值记为w_i＝(w_i1,w_i2…w_iL)∈C^L，其中，i＝1,2…M；连接隐层和输出层的权值向量为V＝(v₁,v₂…v_M)^T＝V^R+iV^I，其中，V^R为V的实部，V^I为V的虚部；第k个隐节点与输出层的连接权值记为v_k∈C，其中，k＝1,2…M。

4.如权利要求3所述的一种基于梯度下降法与广义逆的复值神经网络训练方法，其特征是：所述步骤(2)中的具体步骤为：

(2-1)初始化输入层到隐层的权值矩阵，获取初始权值矩阵W⁰，W⁰在给定区间内随机赋值；

(2-2)利用梯度下降法和广义逆计算单隐层复值神经网络中的权值矩阵和权值向量。

5.如权利要求4所述的一种基于梯度下降法与广义逆的复值神经网络训练方法，其特征是：所述步骤(2-2)中的所述通过广义逆计算隐层到输出层的权值矩阵V的具体步骤为：

(2-2a-1)根据步骤(2-1)中的所述初始权值矩阵W⁰与步骤(1)中的样本矩阵Z计算隐层的输入矩阵U＝(u_ij)_M×Q，

(2-2a-2)对矩阵步骤(2-2a-1)中的所述输入矩阵U的实部和虚部分别激活，得到隐层的输出矩阵H＝(h_ij)_M×Q，H＝g_c(U^R)+ig_c(U^I)＝H^R+iH^I，其中，H^R为H的实部，H^I为H的虚部；

(2-2a-3)：通过广义逆计算隐层到输出层的权值矩阵V，

其中，H为步骤(2-2a-2)中隐层的输出矩阵，D为步骤(1)中的所述理想输出矩阵。

6.如权利要求4所述的一种基于梯度下降法与广义逆的复值神经网络训练方法，其特征是：所述步骤(2-2)中的对初始权值矩阵W⁰进行优化具体步骤为：

(2-2b-1)：设置初始迭代次数k＝1，最大迭代次数为K；

(2-2b-2)：计算均方误差E关于隐层权值W的梯度；

(2-2b-3)：权值更新公式为其中，n＝1,2,…,η为学习率。

7.如权利要求6所述的一种基于梯度下降法与广义逆的复值神经网络训练方法，其特征是：所述步骤(2-2b-2)中均方误差E关于隐层权值W的梯度分成 两部分计算，先求E对W^R的梯度，再求E对W^I的梯度，其中，W^R为W实部，W^I为W的虚部；

8.如权利要求7所述的一种基于梯度下降法与广义逆的复值神经网络训练方法，其特征是：

式中，z^q为第q个样本的输入向量，z^q,R为第q个样本的输入向量的实部，z^q,I为第q个样本的输入向量的虚部，g_c为隐层的激活函数，为第q个样本在第m个隐节点处的输入，为第q个样本在第m个隐节点的输入的实部，为第q个样本在第m个隐节点的输入的虚部。

9.如权利要求1所述的一种基于梯度下降法与广义逆的复值神经网络训练方法，其特征是：所述步骤(3)中的具体步骤为：

(3-1)输出层的激活函数选择线性函数，则输出层的输入等于输出层的输出，网络的实际输出为O＝(o₁,o₂…o_Q)^T，第q个样本的实际输出为o_q∈C，q＝1,2…Q,将矩阵O分为O^R(实部)和O^I(虚部)两部分,O＝H^TV＝O^R+iO^I第q个样本的实际输出:

其中，v^R为隐层到输出层权值向量的实部，v^I为隐层到输出层权值向量的虚部，h^q,R为第q个样本隐层输出向量的实部，h^q,I为第q个样本隐层输出向量的虚部；

(3-2)计算当前样本数据的均方误差，判断当前迭代次数k是否等于最大迭代次数K，若是，结束训练；若否，将当前迭代次数加1，返回步骤(2-2b-2)。

10.如权利要求9所述的一种基于梯度下降法与广义逆的复值神经网络训练方法，其特征是：所述步骤(3)中的计算当前样本数据的均方误差采用：

其中，o^q为第q个样本的实际输出，d^q为第q个样本的理想输出。