CN111476346A - 一种基于牛顿共轭梯度法的深度学习网络架构 - Google Patents
一种基于牛顿共轭梯度法的深度学习网络架构 Download PDFInfo
- Publication number
- CN111476346A CN111476346A CN202010130876.3A CN202010130876A CN111476346A CN 111476346 A CN111476346 A CN 111476346A CN 202010130876 A CN202010130876 A CN 202010130876A CN 111476346 A CN111476346 A CN 111476346A
- Authority
- CN
- China
- Prior art keywords
- newton
- gradient
- node
- conjugate gradient
- dropout
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于牛顿共轭梯度法的深度学习网络架构,本发明首先把神经网络的迭代运算看成是用简单拟牛顿法来求解一个优化问题的过程,然后把求解过程换成更精确的牛顿法,其Hessian矩阵的逆和梯度的乘积用若干步共轭梯度法来近似,最后把整个计算过程用网络结构表达出来,得到相应的深度神经网络。可应用于人工智能、计算机视觉等应用领域。采用本发明技术方案,从优化算法出发设计神经网络结构,能够改进传统的依靠经验、实验尝试搜索的设计方式,得到更高效的神经网络结构,从而节省大量的时间与计算资源。本发明用优化算法中的牛顿法来启发深度神经网络结构设计,可以得到性能优越的深度神经网络。
Description
技术领域
本发明属于深度学习领域,尤其涉及一种基于牛顿共轭梯度法的深度学习网络架构。
背景技术
在过去几年中,卷积神经网络(Convolutional Neural Networks,CNN)已成为计算机视 觉领域中用于各种任务的主流机器学习方法,包括图像识别、目标检测和语义分割。总之, CNN模型的结构决定了它的性能,因此设计CNN是一个核心问题。但是,大多数CNN结构 仍是通过手动设计获得的,这是经验化的、耗时且缺乏理论支持。人们很难深入了解神经网 络的机理。因此,有必要从理论的角度探索CNN结构,并设计出更透明且有效的CNN结构。
事实上,有一些工作利用优化算法来辅助设计神经网络结构,它们主要用于解决压缩感 知问题。很多传统的方法用迭代算法求解一个有良好定义的压缩感知优化问题。但是,迭代 算法通常需要多次迭代才能收敛,计算复杂性较高。许多工作(Karol GregorandYann LeCun, ‘Learning fast approximations of sparse coding’,in ICML,pp.399-406,Omnipress,(2010).Bo Xin, Yizhou Wang,Wen Gao,David Wipf,andBaoyuan Wang,‘Maximal sparsity with deep networks’, in NIPS,pp.4340-4348,(2016).Jian Sun,Huibin Li,Zongben Xu,et al.,‘Deep ADMM-Net for com-pressivesensing MRI’,in NIPS,pp.10-18,(2016).Jian Zhang and Bernard Ghanem, ‘ISTA-Net:Interpretable optimization-inspired deep network for image compressivesensing’,in CVPR,pp.1828-1837,(2018).)将迭代算法展开,自然地获得了优化算法启发的神经网络结构。
但是,由于难以建立合适的的特征提取优化问题,这种设计方法仍难以直接用于图像识 别任务。为解决这一问题,受常微分方程(ordinary differential equation,ODE)启发的CNN 设计方法提供了另一种思路。一些工作(Eldad Haber and Lars Ruthotto,‘Stable architectures for deep neural networks’,Inverse Problems,34(1),014004,(2017).Yiping Lu,Aoxiao Zhong, Quanzheng Li,and Bin Dong,‘Beyondfinite layer neural networks:Bridging deep architectures and numericaldifferential equations’,in ICML,(2018).Tian Qi Chen,Yulia Rubanova,JesseBettencourt,and David K Duvenaud,‘Neural ordinary differential equations’,inNeurIPS,pp. 6571–6583,(2018).)将ResNet的前向传播过程视为一个ODE的欧拉格式,然后在这种新视 角下设计新的神经网络结构。但是这种方法很难诱导出新的计算模块,如Dropout模块。
我们需要指出的是,受优化算法启发的CNN设计方法是可微编程的一个重要组成部分。 可微编程通常的做法是,首先使用迭代算法来解决一个有良好定义的问题,然后将迭代格式 表示为一个数据流,该数据流可以看作是一个深层神经网络。获得网络结构后,我们使参数 变得可变且可学习以增加容量。但是对于图像识别任务,我们事先没有明确的特征提取优化 问题,很难找到一个有良好定义的优化问题,因此必须首先将已知的CNN结构转换为用于解 决优化问题的迭代式,就像将残差网络(Residual Network,ResNet)看做是欧拉离散格式一 样,以便获得一个有良好定义的问题,然后使用可微编程方法设计新的CNN。神经网络架构 自动搜索也是网络设计的一个重要方法,但是这种方法通常非常耗时,计算代价高昂,而且 很难对得到的网络架构进行理论分析。
发明内容
本发明的目的在于针对现有技术的不足,提供一种基于牛顿共轭梯度法的深度学习网络 架构。本发明可得到性能更好且原理更加透明的网络结构用于图像识别问题。
本发明的目的是通过以下技术方案来实现的:一种基于牛顿共轭梯度法的深度学习网络 架构,将残差网络中的残差模块替换成牛顿共轭梯度模块;所述牛顿共轭梯度模块通过以下 步骤实现:
(1)将第k个牛顿共轭梯度模块的输入xk作为初始节点y0:
y0=xk
(2)初始化迭代次数t=0;
(3)当前节点yt经过卷积核Wt (1)进行卷积操作后,再进行dropout操作得到第一梯度支 节点gt (1):
gt (1)=dropout(Wt (1)yt)
其中,dropout操作用于随机丢弃部分节点;
(4)对当前节点yt进行dropout操作后,再经过卷积核Wt (2)进行卷积操作得到第二梯度 支节点gt (2);
gt (2)=Wt (2)dropout(yt)
(5)当前节点yt经过卷积核Wt (3)进行卷积操作后,进行dropout操作,再经过卷积核Wt (4)进行卷积操作得到第三梯度支节点gt (3);
gt (3)=Wt (4)dropout(Wt (3)yt)
(6)对当前节点yt、步骤(3)得到的第一梯度支节点gt (1)、步骤(4)得到的第二梯度支节点gt (2)和步骤(5)得到的第三梯度支节点gt (3)求和,得到当前梯度节点gt:
gt=yt+gt (1)+gt (2)+gt (3)
(7)根据步骤(6)得到的梯度节点gt得到共轭梯度节点dt:
其中,T为预设的迭代次数,βt-1是标量;
(8)根据步骤(7)得到的共轭梯度节点dt更新节点:
yt+1=yt+αtdt
其中,αt是标量;
(9)重复执行步骤(3)~(8),每次迭代后更新t=t+1,直到经过T次迭代后得到节点yT;
(10)通过下式得到第k个牛顿共轭梯度模块的输出,作为第k+1个牛顿共轭梯度模块 的输入xk+1:
xk+1=ReLU(xk+yT)
其中,ReLU是激活函数。
进一步地,所述卷积核Wt (1)、Wt (2)、Wt (3)、Wt (4)和所述标量βt-1、αt均先初始化,再 采用反向传播算法训练得到。
进一步地,所述反向传播算法为随机梯度下降法。
本发明的有益效果是:本发明首先把神经网络的迭代运算看成是用简单拟牛顿法来求解 一个优化问题的过程,然后把求解过程换成更精确的牛顿法,其Hessian矩阵的逆和梯度的 乘积用若干步共轭梯度法来近似,最后把整个计算过程用网络结构表达出来,得到相应的深 度神经网络。可应用于人工智能、计算机视觉等应用领域。采用本发明技术方案,从优化算 法出发设计神经网络结构,能够改进传统的依靠经验、实验尝试搜索的设计方式,得到更高 效的神经网络结构,从而节省大量的时间与计算资源。本发明用优化算法中的牛顿法来启发 深度神经网络结构设计,可以得到性能优越的深度神经网络。
附图说明
图1是一个Newton-CG模块的示意图;
图2是从y计算g的过程的数据流图。
具体实施方式
下面我们通过实施例进一步描述本发明,但不以任何方式限制本发明的范围。
本发明提出了一个用于设计CNN的统一框架。首先,我们观察到经典前馈模型(PlainNet) 通过一种拟牛顿法解决一个优化问题;我们还发现使用改进的拟牛顿法来解决此问题,可以 自然地得到ResNet的变体。
最常见的用于图像识别的卷积神经网络结构是前向传播结构,如AlexNet和VGG(Visual Geometry Group)。除去最后的softmax层,提取特征的过程可以表示成
xk+1=Φ(Wkxk) (1)
其中,xk是第k层的输出,Φ是激活函数,这里我们令它为ReLU函数,Wk是由卷积操作实 现的线性变换。我们把这类网络结构称为PlainNet。
很显然,式(1)最直接对应的优化迭代是:
xk+1=Φ(Axk) (2)
其中,A是一个矩阵。
进一步的,我们需要得到式(2)求解的优化问题。我们有如下观察:如果A是对称矩阵, 式(2)实际上是用一种拟牛顿法求解优化问题:
事实上,这样的近似并不准确,而且一个好的拟牛顿法往往能够达到二阶收敛速度。作 为一个简单的替代,我们可以在形式上用一个可变Hk近似F(x)的逆海塞矩阵,有:
其中,算子PC表示投影到集合C={x|x≥0}上。
利用可微编程的思想,我们将式(4)中的参数变得可变且可学习的,可以得到一种ResNet 的变体形式:
xk+1=Φ[Ws (k)xk+W1 (k)Φ(W2 (k)xk)] (5)
其中,W1 (k)、W2 (k)为普通的卷积核,通常是3*3卷积核,Ws (k)表示直连边的卷积操作,通常 是1*1的卷积核,用来匹配尺寸,上标k表示是第k个模块的卷积核。
牛顿-共轭梯度法
如果我们用更好的优化算法求解同样的优化问题,可能会诱导出一个更好性能的网络 (Huan Li,Yibo Yang,Dongmin Chen,and Zhouchen Lin,‘Optimization algorithminspired deep neural network structure design’,in ACML,pp.614–629,(2018).)。然后,我们采用一种更好的方 法,即牛顿-共轭梯度法(Newton-conjugate gradientmethod,Newton-CG method)来解决该问 题,并提出了牛顿-共轭梯度网络(Newton-conjugate gradient network,Newton-CGNet),它自 然包含分支结构和Dropout模块。由于我们所用到的方法都属于牛顿方法族,因此我们将这 种方法称为牛顿设计。事实上,使用者可以用任意一种方法来近似函数F(x)的逆海塞矩阵, 如秩1迭代、BFGS、DFP(Davidon-Fletcher-Powell)等方法,用来诱导设计新型的网络架构。 在这里,我们以牛顿-共轭梯度法为例,诱导出Newton-CGNet。
观察问题(3),我们发现它的第一项是个二次项,而牛顿方法很适合解决二次规划问题, 因此我们尝试直接用牛顿法求解问题(3),算法迭代格式可以写作:
这里直接求解[I-DiagΦ′(Axk)A]-1很困难,我们采用共轭梯度法来间接求解。我们记 U=I-DiagΦ'(Axk)A,r=Φ(Axk)-xk,然后仅需要求解:
y=U-1r (7)
y是下述优化问题的解:
其中,Q=UTU,b=UTr。我们可以用共轭梯度法求解该优化问题(8),具体为:
(1)输入问题中的参数Q、b和迭代次数T,并选取初始点y0;
(2)计算g0:
(3)重复执行T次如下公式,得到第T次迭代(t=T-1)的输出yT:
yt+1=yt+atdt
其中,t是迭代变量,初始值为0,每次迭代后加1,t=0~T-1;d0=-g0。
理论上,共轭梯度法仅需要n次迭代就可以收敛到精确解,这里n是方阵Q的维数。但 是n通常很大。因此我们仅迭代T次来近似求解问题(8)。显然,牛顿共轭梯度法的好坏强烈 依赖于问题(8)求解的好坏,当T足够大时候,才会得到较好的近似结果。相应的,在随后诱 导设计Newton-CGNet时,我们也相应的使用较多共轭梯度模块。
Newton-CGNet
这里我们利用可微编程的思想,将牛顿-共轭梯度法展开成相应的神经网络,核心思想是 把迭代过程中的某些参数变为可变和可学习的,以增加模型容量。
首先,我们将牛顿-共轭梯度法步骤(3)中的αt,βt看成是两个可学习的标量,而非如 算法中那样准确计算。这么做的好处是可以根据整个网络的优化目标来进行相应调整。另外, 我们简单地取算法的初始点y0=xk。
计算梯度是算法中的一个重要步骤,具体地:
自然地,这里形如Ay可以看作是卷积操作,而最后一项b可以简单地看做一个阈值。
我们考察DiagΦ′(Axk)。由于激活函数Φ是ReLU函数,Φ’(Axk)是一个二值函数,取值为 0或1,不适合作为网络的一部分在训练中进行反向传播。另一方面DiagΦ′(Axk)·y= Φ′(Axk)⊙y,这里⊙表示逐点相乘,因此可以将DiagΦ′(Axk)·y看成是一个二值化掩膜。 在基于随机梯度法的训练过程中,输入xk是随机的,因此DiagΦ′(Axk)也具有随机性,形式 上很像Dropout,因此我们在这里将它看作是一个Dropout模块。
基于上述讨论,我们能将牛顿-共轭梯度法迭代式转化成一个数据流图。然后我们令其中 的参数可变且可学习得到了Newton-CGNet。为了便于叙述,我们将对应于一步牛顿法的前向 传播称为一个Newton-CG模块,如图1所示,其中对应于一步共轭梯度法的前向传播称为一 个CG模块。从y计算g的过程的数据流图如图2所示,一个Newton-CG模块中总共的可训 练参数为Θ={Wt (1),Wt (2),Wt (3),Wt (4),αt,βt-1,t=0,1,…,T-1};Wt (1),Wt (2),Wt (3),Wt (4)为卷积 核,αt,βt-1为标量,均先初始化后由反向传播算法进行训练。将残差网络中的残差模块替换 成牛顿共轭梯度模块,若干个Newton-CG模块堆叠成为一个Newton-CGNet;最后一个牛顿 共轭梯度模块的输出依次经过池化层、softmax分类器最终得到该深度学习网络的输出标签。 所述牛顿共轭梯度模块通过以下步骤实现:
(1)将第k个牛顿共轭梯度模块的输入xk作为初始节点y0:
y0=xk
(2)初始化迭代次数t=0;
(3)当前节点yt经过卷积核Wt (1)进行卷积操作后,再进行dropout操作得到第一梯度支 节点gt (1):
gt (1)=dropout(Wt (1)yt)
其中,dropout操作用于随机丢弃部分节点;
(4)对当前节点yt进行dropout操作后,再经过卷积核Wt (2)进行卷积操作得到第二梯度 支节点gt (2);
gt (2)=Wt (2)dropout(yt)
(5)当前节点yt经过卷积核Wt (3)进行卷积操作后,进行dropout操作,再经过卷积核Wt (4)进行卷积操作得到第三梯度支节点gt (3);
gt (3)=Wt (4)dropout(Wt (3)yt)
(6)对当前节点yt、步骤(3)得到的第一梯度支节点gt (1)、步骤(4)得到的第二梯度支节点gt (2)和步骤(5)得到的第三梯度支节点gt (3)求和,得到当前梯度节点gt:
gt=yt+gt (1)+gt (2)+gt (3)
(7)根据步骤(6)得到的梯度节点gt得到共轭梯度节点dt:
其中,T为预设的迭代次数,βt-1是标量;
(8)根据步骤(7)得到的共轭梯度节点dt更新节点:
yt+1=yt+αtdt
其中,αt是标量;
(9)重复执行步骤(3)~(8),每次迭代后更新t=t+1,直到经过T次迭代后得到节点yT;
(10)通过下式得到第k个牛顿共轭梯度模块的输出,作为第k+1个牛顿共轭梯度模块 的输入xk+1:
xk+1=ReLU(xk+yT)
其中,ReLU是激活函数。
本发明可以应用于任何使用深度神经网络的场合,比如图像分类、物体检测、文字识别 等等,但这里仅举一个实施例,即将本发明应用于人脸识别问题。人脸识别***主要包含四 个组成部分,分别为人脸图像采集及检测、人脸图像预处理、人脸图像特征提取和构建分类 器对人脸特征进行识别。深度卷积神经网络同时包含特征提取和特征识别过程,并且性能优 于基于特征脸、支持向量机、线段Hausdorff距离等其他人脸识别方法。
本实施例具体包括如下步骤:
步骤1,采集人脸数据;
通过摄像镜头来采集人脸的静态图像和动态图像,一般要包含不同位置、不同相貌与表 情等,从而增大数据集的多样性,使得训练所得模型具有较好的泛化能力。
步骤2,建立人脸识别问题的目标函数,所述目标函数对应神经网络的损失函数;
在具体实现中,一般多采用交叉熵作为损失函数,根据问题特点,也可以采用其他目标 函数。由于人脸识别问题中,数据的分布一般呈现类间方差较小的特点,所以也可以选用 Center-loss,L-softmax等建立损失函数F(x),从而最大化类间方差,最小化类内方差。
步骤3,选择用于识别的深度神经网络:
可以选择通过牛顿设计得到的任意一个网络作为提取特征的网络。在本实例中,我们可 以选择本文提到的Newton-CGNet实现人脸特征提取和特征识别。得到网络结构后,需确定 网络结构的细节。由于人脸数据集一般情况下样本数量较小,为了避免过拟合,采用网络规 模较小的结构。在本实施例中,可将网络总层数设置为50层左右,最终的特征长度为1000 维左右。
步骤4,对输入数据做预处理;
由于***获取的原始图像受到各种因素的限制和干扰,一般不能直接使用,需要先对人 脸图像数据进行预处理,从而获得稳定的识别性能。在本实施例中,可以选用的预处理方案 包括对人脸图像的光线补偿、灰度转换、直方图均衡化、几何校正等操作。除此之外,还要 对输入数据进行归一化。
步骤5,确定网络训练的超参数;
在训练之前,要确定网络训练的超参数,包括训练样本批量,学习率、迭代次数等。在 人脸识别的问题中,可以选用样本批量为64,学习率为0.1,迭代1000-2000次。
步骤6,进行网络训练;
得到网络结构后,可利用用于训练的人脸图像数据对该网络进行训练,直至损失函数的 值趋近于收敛时停止训练。在本发明的实施例中,完成以上步骤,训练好的深度神经网络即 可以用来做人脸识别,判断输入人脸图像的标签。
实验验证
下述实验用于验证Newton-CGNet的有效性。我们在数据集CIFAR-10、CIFAR-100、SVHN 和ImageNet上做测试。其中CIFAR-10和CIFAR-100包含60,000张32×32的彩色图片,在 CIFAR10中,这些图片分属10类,在CIFAR100中则分属100类。我们使用50,000张图片 作为训练数据,10,000张图片作为测试数据。我们对每张图片做归一化:减去均值并处以标准差。我们用标准的方法对CIFAR-10、CIFAR-100数据集做数据增强,得到CIFAR-10(+)和CIFAR-100(+)。SVHN数据集包含73,257张训练图片,26,032张测试图片,531,131张补充 图片,图像尺寸为32×32。我们把补充图片加入训练图片一起训练。ImageNet包含1,200,000张训练图片,50,000张验证图片和100,000张测试图片。这些图片分属1,000个类。我们将每张图片归一化为[0,1]。
我们使用随机梯度下降法(SGD)训练网络,设置Nesterov冲量为0.9,权重衰减为0.0001。 我们使用何凯明的参数初始化方法(Kaiming He,Xiangyu Zhang,Shaoqing Ren,and Jian Sun, ‘Delving deep into rectifiers:Surpassing human-levelperformance on imagenet classification’,in ICCV,pp.1026–1034,(2015).),并且使用Xavier初始化全连接层。对于CIFAR-10、CIFAR-100 数据集,我们训练300轮,样本批量大小为128。初始学习率设为0.1,并在第150次迭代和 225次迭代分别将学习率除以10。对于SVHN数据集,我们训练40轮,样本批量大小为128, 初始学习率设为0.1,并在第20轮和第30轮迭代分别将学习率除以10。对于ImageNet数据 集,我们训练100次迭代,使用样本批量大小为256。在第30、60和90次迭代时减小学习 率。在增强数据集CIFAR-10(+)和CIFAR-100(+)上,dropout率设为0.2;在非增强数据集上, dropout率设为0.4。
进一步地,我们将Newton-CGNet和ResNet及其多种高级变体,在多个数据集上进行比 较。在数据集CIFAR和SVHN上的结果如表2所示。结果表明,Newton-CGNet在实验的所有数据集上,都明显错误率优于ResNet及其变体。
表2:Newton-CGNet与ResNet及其多种变体在CIFAR,SVHN上的实验结果
ImageNet包含1.2M的训练图片,而且每张图片的尺寸为224*224,是一个大规模数据集, ResNet是在ImageNet上广泛使用的基准模型,Newton-CGNet在数据集ImageNet上的实验 结果如表3所示,可以看出相同深度和参数量下,Newton-CGNet的Top-1错误率、Top-5错 误率均低于ResNet;结果表明,Newton-CGNet同样适用于大规模的数据集。这些实验结果 都说明牛顿设计的思想是有意义的,设计出的网络结构具有良好的性能。
表3:Newton-CGNet和ResNet在ImageNet上的实验结果
方法 | 深度 | 参数量 | Top-1错误率 | Top-5错误率 |
ResNet | 34 | 21.8M | 26.73 | 8.65 |
Newton-CGNet | 34 | 21.7M | 25.98 | 8.43 |
需要注意的是,公布实施例的目的在于帮助进一步理解本发明,但是本领域的技术人员 可以理解:在不脱离本发明及所附权利要求的精神和范围内,各种替换和修改都是可能的。 因此,本发明不应局限于实施例所公开的内容,本发明要求保护的范围以权利要求书界定的 范围为准。
Claims (3)
1.一种基于牛顿共轭梯度法的深度学习网络架构,其特征在于,将残差网络中的残差模块替换成牛顿共轭梯度模块。所述牛顿共轭梯度模块通过以下步骤实现:
(1)将第k个牛顿共轭梯度模块的输入xk作为初始节点y0:
y0=xk
(2)初始化迭代次数t=0。
(3)当前节点yt经过卷积核Wt (1)进行卷积操作后,再进行dropout操作得到第一梯度支节点gt (1):
gt (1)=dropout(Wt (1)yt)
其中,dropout操作用于随机丢弃部分节点。
(4)对当前节点yt进行dropout操作后,再经过卷积核Wt (2)进行卷积操作得到第二梯度支节点gt (2):
gt (2)=Wt (2)dropout(yt)
(5)当前节点yt经过卷积核Wt (3)进行卷积操作后,进行dropout操作,再经过卷积核Wt (4)进行卷积操作得到第三梯度支节点gt (3):
gt (3)=Wt (4)dropout(Wt (3)yt)
(6)对当前节点yt、步骤(3)得到的第一梯度支节点gt (1)、步骤(4)得到的第二梯度支节点gt (2)和步骤(5)得到的第三梯度支节点gt (3)求和,得到当前梯度节点gt:
gt=yt+gt (1)+gt (2)+gt (3)
(7)根据步骤(6)得到的梯度节点gt得到共轭梯度节点dt:
其中,T为预设的迭代次数,βt-1是标量。
(8)根据步骤(7)得到的共轭梯度节点dt更新节点:
yt+1=yt+αtdt
其中,αt是标量。
(9)重复执行步骤(3)~(8),每次迭代后更新t=t+1,直到经过T次迭代后得到节点yT。
(10)通过下式得到第k个牛顿共轭梯度模块的输出,作为第k+1个牛顿共轭梯度模块的输入xk+1:
xk+1=ReLU(xk+yT)
其中,ReLU是激活函数。
2.根据权利要求1所述基于牛顿共轭梯度法的深度学习网络架构,其特征在于,所述卷积核Wt (1)、Wt (2)、Wt (3)、Wt (4)和所述标量βt-1、αt等均先初始化,再采用反向传播算法训练得到。
3.根据权利要求2所述基于牛顿共轭梯度法的深度学习网络架构,其特征在于,所述反向传播算法为随机梯度下降法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010130876.3A CN111476346B (zh) | 2020-02-28 | 2020-02-28 | 一种基于牛顿共轭梯度法的深度学习网络架构 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010130876.3A CN111476346B (zh) | 2020-02-28 | 2020-02-28 | 一种基于牛顿共轭梯度法的深度学习网络架构 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111476346A true CN111476346A (zh) | 2020-07-31 |
CN111476346B CN111476346B (zh) | 2022-11-29 |
Family
ID=71747179
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010130876.3A Active CN111476346B (zh) | 2020-02-28 | 2020-02-28 | 一种基于牛顿共轭梯度法的深度学习网络架构 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111476346B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112731309A (zh) * | 2021-01-06 | 2021-04-30 | 哈尔滨工程大学 | 一种基于双线性高效神经网络的有源干扰识别方法 |
CN113361484A (zh) * | 2020-09-29 | 2021-09-07 | 中国人民解放军军事科学院国防科技创新研究院 | 针对eeg信号分类任务的深度学习网络架构搜索方法 |
CN113379034A (zh) * | 2021-06-15 | 2021-09-10 | 南京大学 | 一种基于网络结构搜索技术的神经网络结构优化方法 |
CN113705724A (zh) * | 2021-09-13 | 2021-11-26 | 苏州大学 | 基于自适应l-bfgs算法的深度神经网络的批量学习方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108648191A (zh) * | 2018-05-17 | 2018-10-12 | 吉林大学 | 基于贝叶斯宽度残差神经网络的害虫图像识别方法 |
CN108985457A (zh) * | 2018-08-22 | 2018-12-11 | 北京大学 | 一种受优化算法启发的深度神经网络结构设计方法 |
US20180373987A1 (en) * | 2017-05-18 | 2018-12-27 | salesforce.com,inc. | Block-diagonal hessian-free optimization for recurrent and convolutional neural networks |
US20190065961A1 (en) * | 2017-02-23 | 2019-02-28 | Harold Szu | Unsupervised Deep Learning Biological Neural Networks |
CN109816107A (zh) * | 2017-11-20 | 2019-05-28 | 天津大学 | 一种基于异构计算平台的bfgs拟牛顿神经网络训练算法 |
US20190251433A1 (en) * | 2018-02-09 | 2019-08-15 | Htc Corporation | Method and electronic apparatus for adjusting a neural network |
-
2020
- 2020-02-28 CN CN202010130876.3A patent/CN111476346B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190065961A1 (en) * | 2017-02-23 | 2019-02-28 | Harold Szu | Unsupervised Deep Learning Biological Neural Networks |
US20180373987A1 (en) * | 2017-05-18 | 2018-12-27 | salesforce.com,inc. | Block-diagonal hessian-free optimization for recurrent and convolutional neural networks |
CN109816107A (zh) * | 2017-11-20 | 2019-05-28 | 天津大学 | 一种基于异构计算平台的bfgs拟牛顿神经网络训练算法 |
US20190251433A1 (en) * | 2018-02-09 | 2019-08-15 | Htc Corporation | Method and electronic apparatus for adjusting a neural network |
CN108648191A (zh) * | 2018-05-17 | 2018-10-12 | 吉林大学 | 基于贝叶斯宽度残差神经网络的害虫图像识别方法 |
CN108985457A (zh) * | 2018-08-22 | 2018-12-11 | 北京大学 | 一种受优化算法启发的深度神经网络结构设计方法 |
Non-Patent Citations (1)
Title |
---|
B.ROBITAILLE 等: "Modified quasi-Newton methods for training neural networks", 《COMPUTERS & CHEMICAL ENGINEERING》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113361484A (zh) * | 2020-09-29 | 2021-09-07 | 中国人民解放军军事科学院国防科技创新研究院 | 针对eeg信号分类任务的深度学习网络架构搜索方法 |
CN112731309A (zh) * | 2021-01-06 | 2021-04-30 | 哈尔滨工程大学 | 一种基于双线性高效神经网络的有源干扰识别方法 |
CN113379034A (zh) * | 2021-06-15 | 2021-09-10 | 南京大学 | 一种基于网络结构搜索技术的神经网络结构优化方法 |
CN113379034B (zh) * | 2021-06-15 | 2023-10-20 | 南京大学 | 一种基于网络结构搜索技术的神经网络结构优化方法 |
CN113705724A (zh) * | 2021-09-13 | 2021-11-26 | 苏州大学 | 基于自适应l-bfgs算法的深度神经网络的批量学习方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111476346B (zh) | 2022-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Dai et al. | Compressing neural networks using the variational information bottleneck | |
CN110288030B (zh) | 基于轻量化网络模型的图像识别方法、装置及设备 | |
Liu et al. | Connecting image denoising and high-level vision tasks via deep learning | |
CN111476346A (zh) | 一种基于牛顿共轭梯度法的深度学习网络架构 | |
CN108846445B (zh) | 一种图像处理方法 | |
Ionescu et al. | Training deep networks with structured layers by matrix backpropagation | |
Patel et al. | Latent space sparse subspace clustering | |
CN108985457B (zh) | 一种受优化算法启发的深度神经网络结构设计方法 | |
CN112288011B (zh) | 一种基于自注意力深度神经网络的图像匹配方法 | |
CN109740679B (zh) | 一种基于卷积神经网络和朴素贝叶斯的目标识别方法 | |
CN113077388B (zh) | 一种数据增广的深度半监督超限学习图像分类方法及*** | |
CN113673482B (zh) | 基于动态标签分配的细胞抗核抗体荧光识别方法及*** | |
CN110598848A (zh) | 一种基于通道剪枝的迁移学习加速方法 | |
CN105551005B (zh) | 耦合了梯度保真项的总变差模型快速图像复原方法 | |
CN114998601A (zh) | 基于Transformer的在线更新目标跟踪方法及*** | |
Zhao et al. | NormalNet: Learning-based mesh normal denoising via local partition normalization | |
CN111967528B (zh) | 基于稀疏编码的深度学习网络结构搜索的图像识别方法 | |
CN114267060A (zh) | 基于不确定抑制网络模型的人脸年龄识别方法及*** | |
WO2024060839A9 (zh) | 对象操作方法、装置、计算机设备以及计算机存储介质 | |
CN112734025B (zh) | 基于固定基正则化的神经网络参数稀疏化方法 | |
CN109165586B (zh) | 用于ai芯片的智能图像处理方法 | |
CN109165587B (zh) | 智能图像信息抽取方法 | |
CN115601578A (zh) | 基于自步学习与视图赋权的多视图聚类方法及*** | |
Wang et al. | Task embedded coordinate update: a realizable framework for multivariate non-convex optimization | |
Xie et al. | Plug-and-play ADMM using deep image prior for image denoising |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |