CN111178520B - 一种构建神经网络的方法及装置 - Google Patents

一种构建神经网络的方法及装置 Download PDF

Info

Publication number
CN111178520B
CN111178520B CN202010011285.4A CN202010011285A CN111178520B CN 111178520 B CN111178520 B CN 111178520B CN 202010011285 A CN202010011285 A CN 202010011285A CN 111178520 B CN111178520 B CN 111178520B
Authority
CN
China
Prior art keywords
neural network
objective function
sparse
training
scaling operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010011285.4A
Other languages
English (en)
Other versions
CN111178520A (zh
Inventor
王乃岩
黄泽昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tusimple Technology Co Ltd
Original Assignee
Beijing Tusimple Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tusimple Technology Co Ltd filed Critical Beijing Tusimple Technology Co Ltd
Priority to CN202010011285.4A priority Critical patent/CN111178520B/zh
Publication of CN111178520A publication Critical patent/CN111178520A/zh
Application granted granted Critical
Publication of CN111178520B publication Critical patent/CN111178520B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Image Analysis (AREA)
  • Feedback Control In General (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种构建神经网络的方法及装置，以解决现有技术构建的神经网络优化难度大、效率低的技术问题。该方法包括：构建初始神经网络，所述初始神经网络中预置的多个特定结构分别设置有对应的稀疏缩放算子，其中稀疏缩放算子用于对相应特定结构的输出进行缩放；采用预置的训练样本数据对所述初始神经网络的权重和特定结构的稀疏缩放算子进行训练，得到中间神经网络；将所述中间神经网络中稀疏缩放算子为零的特定结构删除，得到目标神经网络。采用本发明技术方案构建的神经网络优化简单、易于实现，并且训练效率高。

Description

一种构建神经网络的方法及装置
技术领域
本发明涉及计算机领域，特别涉及一种构建神经网络的方法及装置。
背景技术
近几年来，深度神经网络在诸多领域中取得了巨大的成功，如计算机视觉、自然语言处理等。然而，目前构建深度神经网络的结构主要通过设计人员设计得到，若要设计出一个结构紧凑、运行速度快、效果好的深度神经网络，不仅需要设计人员具有较强的专业知识，而且还需要通过大量的实验来对深度神经网络进行反复的调整，因此，现有的深度神经网络的构建对设计人员的专业技能要求较高而且构建效率低。
为解决现有技术构建神经网络存在的前述问题，目前提出了一些如何构建深度神经网络结构的解决方案：
方案1、Hao Zhou在论文“Less is More:Towards Compact CNNS”中提出通过组稀疏约束来学习神经网络中每层神经元个数的方案，该方案在卷积神经网络的权重中加入组稀疏约束，即每一个神经元的权重为一个组。由于组稀疏约束会将每个组内的权重尽可能地全压缩为0，因此当一个神经元的权重全为0时，即可去掉该神经元，由此即可学习得到神经网络的神经元个数。
方案2、Jose M.Alvarez在论文“Learning the number of neurons in DeepNetworks”中提出的解决方案与方案1基本一致，区别在于，该方案2中每一层神经元用的组稀疏约束不同，即对不同层的神经元其组约束的强度不同。
方案3、Wen Wei在论文“Learning Structured Sparsity in Deep NeuralNetworks”中提出的解决方案为利用组稀疏约束学习例如神经元的个数、神经元的形状、跨层连接网络层的深度等。
前述解决方案，均存在以下技术缺陷：
缺陷1、在权重上加组稀疏约束和权重衰减约束，后续的优化过程较为困难，实现难度大；
缺陷2、需要在一个训练好的模型上进行两次重训练，一次重训练利用组稀疏约束确定不重要的结构，第二次重训练则将确定出的不重要的结构去掉之后再次训练以恢复神经网络的精度，两次重训练耗时较长，效率较低。
发明内容
本发明提供一种构建神经网络的方法及装置，以解决现有技术构建的神经网络训练难度大和效率低的技术问题。
本发明实施例，一方面提供一种构建神经网络的方法，该方法包括：
构建初始神经网络，所述初始神经网络中预置的多个特定结构分别设置有对应的稀疏缩放算子，其中稀疏缩放算子用于对相应特定结构的输出进行缩放；
采用预置的训练样本数据对所述初始神经网络的权重和特定结构的稀疏缩放算子进行训练，得到中间神经网络；
将所述中间神经网络中稀疏缩放算子为零的特定结构删除，得到目标神经网络。
本发明实施例，另一方面提供一种构建神经网络的装置，该装置包括：
第一构建单元，用于构建初始神经网络，所述初始神经网络中预置的多个特定结构分别设置有对应的稀疏缩放算子，其中稀疏缩放算子用于对相应特定结构的输出进行缩放；
训练单元，用于采用预置的训练样本数据对所述初始神经网络的权重和特定结构的稀疏缩放算子进行训练，得到中间神经网络；
第二构建单元，用于将所述中间神经网络中稀疏缩放算子为零的特定结构删除，得到目标神经网络。
本发明实施例提供的构建神经网络的方法，首先，在构建初始神经网络的过程中，预先为初始神经网络中的特定结构设置稀疏缩放算子；其次，在训练过程中，通过训练样本数据对初始神经网络中的权重和稀疏缩放算子一起训练以得到中间神经网络；最后，将中间神经网络中稀疏缩放算子为零的特定结构删除以得到目标神经网络。本发明技术方案，一方面，引入稀疏缩放算子来缩放不同特定结构的输出，不需要在权重上加入新的约束，权重和稀疏缩放算子可进行独立优化，后续的优化过程更加简单，易于实现；另一方面，稀疏缩放算子为零的特定结构对神经网络的输出结果没有贡献，将稀疏缩放算子为零的特定结构删除，并不影响神经网络的精度，而且还能够精简神经网络以提高神经网络运行速度，因此，本发明技术方案只需要采用训练样本数据对初始神经网络进行一次重训练即可得到目标神经网络，无需像现有技术需要进行两次重训练，因此，与现有技术相比，本方案能够提高神经网络训练的效率。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明实施例中构建神经网络的方法流程图；
图2为本发明实施例中特定结构为模块的示意图；
图3为本发明实施例中特定结构为残差网络中的残差模块的示意图；
图4为本发明实施例中特定结构为模组的示意图；
图5为本发明实施例中特定结构为神经元的示意图；
图6为本发明实施例中构建神经网络的装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
实施例一
参见图1，为本发明实施例中构建神经网络的方法的流程图，该方法包括：
步骤101、构建初始神经网络，所述初始神经网络中预置的多个特定结构分别设置有对应的稀疏缩放算子，其中稀疏缩放算子用于对相应特定结构的输出进行缩放。
步骤102、采用预置的训练样本数据对所述初始神经网络的权重和特定结构的稀疏缩放算子进行训练，得到中间神经网络。
步骤103、将所述中间神经网络中稀疏缩放算子为零的特定结构删除，得到目标神经网络。
优选地，前述步骤101可通过以下步骤A1～步骤A3实现：
步骤A1、选取神经网络模型。
本发明实施例，可从预置的神经网络模型集中选取一个与期望目标神经网络所实现的功能(如计算机视觉处理功能：图像分割、物体检测、人脸识别，或者自然语言处理功能等)对应的神经网络模型，也可以根据期望目标神经网络所实现的功能构建一个对应的神经网络模型。本申请不做严格的限定。
步骤A2、确定所述神经网络模型中需要设置稀疏缩放算子的特定结构。
本发明实施例中，可由设计人员确定神经网络模型中的特定结构，例如：可将神经网络中的某一层或某些网络层的全部或部分神经元确定为特定结构。和/或，将神经网络中具有以下特性的一个或多个模组确定为特定结构：特性1、包含一个以上网络层(例如，该特定结构包含两个以上级联的网络层)；特性2、与其他模组并联或者该模组前后端具有跨层连接。和/或，将神经网络中具有以下特性的一个或多个模块确定为特定结构：特性1、包含一个以上模组的模块(例如，该特定结构包含两个以上并联的模组)；特性2、该模块的前后端具有跨层连接。
步骤A3、对所述神经网络模型中的特定结构设置初始稀疏缩放算子，得到所述初始神经网络。
本发明实施例中，各特定结构的稀疏缩放算子的取值大于等于0。优选地，初始稀疏缩放算子的取值接近1，例如可以直接取值为1。
优选地，本发明实施例中，前述步骤102具体可通过以下步骤B1～步骤B3实现：
步骤B1、构建初始神经网络对应的目标函数，所述目标函数包含损失函数和稀疏正则函数。该目标函数如式(1)所示：
式(1)中，所述W为神经网络的权重，λ为神经网络的稀疏缩放算子向量，N为训练样本数据的数量，为神经网络在样本数据xi上的损失，/>为稀疏正则函数。
步骤B2、采用所述训练样本数据对所述初始神经网络进行迭代训练。
步骤B3、当迭代训练次数达到阈值或者所述目标函数满足预置的收敛条件时，得到所述中间神经网络。
优选地，前述步骤B2具体实现可通过对初始神经网络进行多次以下的迭代训练，以一次非首次迭代和非尾次迭代的迭代过程(以下称为本次迭代训练)为例进行描述，一次迭代训练包括以下步骤C1～步骤C3：
步骤C1、将前一次迭代训练得到的稀疏缩放算子作为所述目标函数的常量，将所述权重作为所述目标函数的变量，采用第一优化算法对所述目标函数进行优化，得到本次迭代训练的权重；
步骤C2、将本次迭代训练的权重作为所述目标函数的常量，将稀疏缩放算子作为所述目标函数的变量，采用第二优化算法对所述目标函数进行优化，得到本次迭代训练的稀疏缩放算子；
步骤C3、基于本次迭代训练的权重和稀疏缩放算子进行下一次迭代训练。
首次迭代训练过程如下：将初始稀疏缩放算子作为所述目标函数的常量，将所述权重作为所述目标函数的变量，采用第一优化算法对所述目标函数进行优化，得到本次迭代训练的权重；将本次迭代训练的权重作为所述目标函数的常量，将稀疏缩放算子作为所述目标函数的变量，采用第二优化算法对所述目标函数进行优化，得到本次迭代训练的稀疏缩放算子；基于本次迭代训练的权重和稀疏缩放算子进行第二次迭代训练。
尾次迭代训练过程如下：将前一次迭代训练得到的稀疏缩放算子作为所述目标函数的常量，将所述权重作为所述目标函数的变量，采用第一优化算法对所述目标函数进行优化，得到本次迭代训练的权重；将本次迭代训练的权重作为所述目标函数的常量，将稀疏缩放算子作为所述目标函数的变量，采用第二优化算法对所述目标函数进行优化，得到本次迭代训练的稀疏缩放算子；将包含本次迭代训练得到的稀疏缩放算子和权重的神经网络作为中间神经网络。
优选地，本发明实施例中，所述第一优化算法可以为但不仅限于为以下任意一种算法：随机梯度下降算法、引入动量的变种算法。
优选地，本发明实施例中，所述第二优化算法可以为但不仅限于为以下任意一种算法：加速邻域梯度下降算法、邻域梯度下降算法、交替方向乘子算法。
优选地，在另一个实施例中，本发明实施例中目标函数包含损失函数、权重正则函数和稀疏正则函数，该目标函数如式(2)所示：
式(2)中，所述W为神经网络的权重，λ为神经网络的稀疏缩放算子向量，N为训练样本数据的数量，为神经网络在样本数据xi上的损失，/>为权重正则函数，为稀疏正则函数。
优选地，本发明实施例中为权重为γ的稀疏正则，即/>当然本领域技术人员还可将/>设置为更复杂的稀疏约束，例如非凸的稀疏约束。
为进一步对本发明实施例中如何求解出目标函数中的W和λ进行详细的描述，下面以目标函数为公式(2)、为例，对一次迭代训练优化目标函数求解得到W和λ进行描述。将/>记为/>记为/>
将λ作为常量，将W作为变量，则目标函数换转为采用随机梯度下降算法即可求解得到W的取值，具体过程不再详细描述。
将W作为常量，将λ作为变量，则目标函数换转为采用加速邻域梯度下降算法求解λ的取值，具体可通过但不仅限于以下几种方式得到：
方式1，采用下式(3)～式(5)得到λ：
其中ηt表示在第t次迭代训练时梯度下降的步长， 为软阈值算子，定义如下/>
方式2、由于前述方式1求解λ需要额外的前向后向计算来得到将该算法直接应用到现有深度学习框架有点难度。因此，方式2对前述方式1的公式进行变形，得到式(6)～式(8)，根据式(6)～式(8)计算得到λ：
λt＝λt-1+vt 式(8)
方式3、本发明实施例为进一步降低难度，提供更为简单的下式(9)～(11)计算得到λ：
其中λ′t-1＝λt-1+μt-1vt-1，μ为预设的固定值，并采用批量随机梯度下降的形式来更新W和λ。
下面分别以特定结构为模块、模组和神经元进行详细描述。
如图2所示，假设神经网络包含N个模块，每个模块对应一个稀疏缩放算子，且每个模块的前后端具有跨层连接。
以一个具体为例，假设神经网络为残差网络，设置特定结构为残差模块，如上图3所示，该残差模块前后端具有跨层连接，第i个残差模块对应的稀疏缩放算子为λi，则：
若经过训练之后，得到第三个残差模块的稀疏缩放算子λ3＝0时，则将残差网络中第3个残差模块删除。
如图4所示，假设神经网络包含N个模块，每个模块包含M个模组，每个模组包含多个级联的网络层，每个模组对应一个稀疏缩放算子。
如图5所示，假设神经网络包含L个网络层，第l网络层包含k神经元，则该k个神经元分别对应一个稀疏缩放算子。
实施例二
基于前述实施例一提供的构建神经网络方法相同的发明构思，本发明实施例二提供一种构建神经网络的装置，该装置的结构如图6所示，包括：
第一构建单元61，用于构建初始神经网络，所述初始神经网络中预置的多个特定结构分别设置有对应的稀疏缩放算子，其中稀疏缩放算子用于对相应特定结构的输出进行缩放；
训练单元62，用于采用预置的训练样本数据对所述初始神经网络的权重和特定结构的稀疏缩放算子进行训练，得到中间神经网络；
第二构建单元63，用于将所述中间神经网络中稀疏缩放算子为零的特定结构删除，得到目标神经网络。
优选地，所述第一构建单元61，具体包括选取模块、特定结构确定模块和构建模块，其中：
选取模块，用于选取神经网络模型；
本发明实施例，选取模块具体实现可如下：可从预置的神经网络模型集中选取一个与期望目标神经网络所实现的功能(如计算机视觉处理的功能：图像分割、物体检测、人脸识别，或者自然语言处理的功能等)对应的神经网络模型，也可以根据期望目标神经网络所实现的功能构建一个对应的神经网络模型。本申请不做严格的限定。
特定结构确定模块，用于确定所述神经网络模型中需要设置稀疏缩放算子的特定结构；
构建模块，用于对所述神经网络模型中的特定结构设置初始稀疏缩放算子，得到所述初始神经网络。
本发明实施例中，各特定结构的稀疏缩放算子的取值大于等于0且小于等于1。优选地，初始稀疏缩放算子的取值接近1，例如可以直接取值为1。
优选地，所述训练单元62，具体包括目标函数构建模块、训练模块和确定模块，其中：
目标函数构建模块，用于构建初始神经网络对应的目标函数，所述目标函数包含损失函数和稀疏正则函数；
训练模块，用于采用所述训练样本数据对所述初始神经网络进行迭代训练；
确定模块，用于当迭代训练次数达到阈值或者所述目标函数满足预置的收敛条件时，得到所述中间神经网络。
优选地，所述训练模块具体用于：对所述初始神经网络进行多次以下的迭代训练(该一次迭代训练为非首次和非尾次迭代训练)：将前一次迭代训练得到的稀疏缩放算子作为所述目标函数的常量，将所述权重作为所述目标函数的变量，采用第一优化算法对所述目标函数进行优化，得到本次迭代训练的权重；将本次迭代训练的权重作为所述目标函数的常量，将稀疏缩放算子作为所述目标函数的变量，采用第二优化算法对所述目标函数进行优化，得到本次迭代训练的稀疏缩放算子；基于本次迭代训练的权重和稀疏缩放算子进行下一次迭代训练。
首次迭代训练过程如下：将初始稀疏缩放算子作为所述目标函数的常量，将所述权重作为所述目标函数的变量，采用第一优化算法对所述目标函数进行优化，得到本次迭代训练的权重；将本次迭代训练的权重作为所述目标函数的常量，将稀疏缩放算子作为所述目标函数的变量，采用第二优化算法对所述目标函数进行优化，得到本次迭代训练的稀疏缩放算子；基于本次迭代训练的权重和稀疏缩放算子进行第二次迭代训练。
尾次迭代训练过程如下：将前一次迭代训练得到的稀疏缩放算子作为所述目标函数的常量，将所述权重作为所述目标函数的变量，采用第一优化算法对所述目标函数进行优化，得到本次迭代训练的权重；将本次迭代训练的权重作为所述目标函数的常量，将稀疏缩放算子作为所述目标函数的变量，采用第二优化算法对所述目标函数进行优化，得到本次迭代训练的稀疏缩放算子；将包含本次迭代训练得到的稀疏缩放算子和权重的神经网络作为中间神经网络。
优选地，所述第一优化算法可以为但不仅限于为以下任意一种算法：随机梯度下降算法、引入动量的变种算法。
优选地，所述第二优化算法为加速邻域梯度下降算法、邻域梯度下降算法或者交替方向乘子算法。
优选地，所述目标函数为：
所述W为神经网络的权重，λ为神经网络的稀疏缩放算子向量，N为训练样本数据的数量，为神经网络在样本数据xi上的损失，/>为稀疏正则函数。
优选地，在另一个实施例中，本发明实施例中目标函数包含损失函数、权重正则函数和稀疏正则函数，该目标函数如下：
所述W为神经网络的权重，λ为神经网络的稀疏缩放算子向量，N为训练样本数据的数量，为神经网络在样本数据xi上的损失，/>为权重正则函数，/>为稀疏正则函数。
优选地，本发明实施例中为权重为γ的稀疏正则，即/>当然本领域技术人员还可将/>设置为更复杂的稀疏约束，例如非凸的稀疏约束。
优选地，所述特定结构为一个神经元；或者，所述特定结构为包含一个以上网络层的模组(例如，特定结构包含两个以上级联的网络层)，且该模组与其他模组并联；或者，所述特定结构为包含一个以上并联模组的模块(例如，特定结构包含两个以上并联的模组)，且该模块的前后端具有跨层连接。
以上是本发明的核心思想，为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (3)

1.一种图像数据处理方法，其特征在于，包括：
获取图像数据；及
使用神经网络对获取到的图像数据进行计算机视觉处理；其中，所述神经网络是通过如下处理获得的目标神经网络：
构建初始神经网络，所述初始神经网络中预置的多个特定结构分别设置有对应的稀疏缩放算子，其中稀疏缩放算子用于对相应特定结构的输出进行缩放，其中，所述特定结构为一个神经元；或者，所述特定结构为包含一个以上网络层的模组，且该模组与其他模组并联；或者，所述特定结构为包含一个以上模组的模块，且该模块的前后端具有跨层连接；
采用图像训练样本数据对所述初始神经网络的权重和特定结构的稀疏缩放算子进行训练，得到中间神经网络，具体包括：
构建所述初始神经网络对应的目标函数，所述目标函数包含损失函数和稀疏正则函数；
采用所述图像训练样本数据对所述初始神经网络进行迭代训练，具体包括：
对所述初始神经网络进行多次以下的迭代训练：
将前一次迭代训练得到的稀疏缩放算子作为所述目标函数的常量，将所述权重作为所述目标函数的变量，采用第一优化算法对所述目标函数进行优化，得到本次迭代训练的权重；
将本次迭代训练的权重作为所述目标函数的常量，将稀疏缩放算子作为所述目标函数的变量，采用第二优化算法对所述目标函数进行优化，得到本次迭代训练的稀疏缩放算子；及
基于本次迭代训练的权重和稀疏缩放算子进行下一次迭代训练；及
当迭代训练次数达到阈值或者所述目标函数满足预置的收敛条件时，得到所述中间神经网络；及将所述中间神经网络中稀疏缩放算子为零的特定结构删除，得到所述目标神经网络，其中所述第一优化算法为以下任意一种算法：随机梯度下降算法、引入动量的变种算法，其中所述第二优化算法为以下任意一种算法：加速邻域梯度下降算法、邻域梯度下降算法、交替方向乘子算法。
2.根据权利要求1所述的方法，其特征在于，构建初始神经网络，具体包括：
选取神经网络模型；
确定所述神经网络模型中需要设置稀疏缩放算子的特定结构；及
对所述神经网络模型中的特定结构设置初始稀疏缩放算子，得到所述初始神经网络。
3.根据权利要求1所述的方法，其特征在于，所述目标函数为：
所述W为权重，λ为稀疏缩放算子向量，N为样本数据的数量，为神经网络在样本数据xi上的损失，/>为稀疏正则函数。
CN202010011285.4A 2017-06-15 2017-06-15 一种构建神经网络的方法及装置 Active CN111178520B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010011285.4A CN111178520B (zh) 2017-06-15 2017-06-15 一种构建神经网络的方法及装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710450550.7A CN107247991A (zh) 2017-06-15 2017-06-15 一种构建神经网络的方法及装置
CN202010011285.4A CN111178520B (zh) 2017-06-15 2017-06-15 一种构建神经网络的方法及装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201710450550.7A Division CN107247991A (zh) 2017-06-15 2017-06-15 一种构建神经网络的方法及装置

Publications (2)

Publication Number Publication Date
CN111178520A CN111178520A (zh) 2020-05-19
CN111178520B true CN111178520B (zh) 2024-06-07

Family

ID=60019020

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201710450550.7A Pending CN107247991A (zh) 2017-06-15 2017-06-15 一种构建神经网络的方法及装置
CN202010011285.4A Active CN111178520B (zh) 2017-06-15 2017-06-15 一种构建神经网络的方法及装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201710450550.7A Pending CN107247991A (zh) 2017-06-15 2017-06-15 一种构建神经网络的方法及装置

Country Status (2)

Country Link
CN (2) CN107247991A (zh)
WO (1) WO2018227801A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11651223B2 (en) 2017-10-27 2023-05-16 Baidu Usa Llc Systems and methods for block-sparse recurrent neural networks
US11461628B2 (en) * 2017-11-03 2022-10-04 Samsung Electronics Co., Ltd. Method for optimizing neural networks
CN108805258B (zh) * 2018-05-23 2021-10-12 北京图森智途科技有限公司 一种神经网络训练方法及其装置、计算机服务器
CN109284820A (zh) * 2018-10-26 2019-01-29 北京图森未来科技有限公司 一种深度神经网络的结构搜索方法及装置
CN109840588B (zh) * 2019-01-04 2023-09-08 平安科技（深圳）有限公司 神经网络模型训练方法、装置、计算机设备及存储介质
CN110472400B (zh) * 2019-08-22 2021-06-01 浪潮集团有限公司 一种基于人脸识别的可信计算机***及实现方法
CN110751267B (zh) * 2019-09-30 2021-03-30 京东城市(北京)数字科技有限公司 神经网络的结构搜索方法、训练方法、装置及存储介质
CN111985644B (zh) * 2020-08-28 2024-03-08 北京市商汤科技开发有限公司 神经网络生成方法及装置、电子设备及存储介质
CN113673694A (zh) * 2021-05-26 2021-11-19 阿里巴巴新加坡控股有限公司 数据处理方法及装置、电子设备和计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006001121A1 (ja) * 2004-06-25 2006-01-05 Shin Caterpillar Mitsubishi Ltd. データ圧縮装置及び方法，データ解析装置及び方法並びにデータ管理システム
CN104200224A (zh) * 2014-08-28 2014-12-10 西北工业大学 基于深度卷积神经网络的无价值图像去除方法
CN104751842A (zh) * 2013-12-31 2015-07-01 安徽科大讯飞信息科技股份有限公司 深度神经网络的优化方法及***
CN106295794A (zh) * 2016-07-27 2017-01-04 中国石油大学(华东) 基于光滑Group Lasso惩罚项的分数阶的神经网络建模方法
CN106503654A (zh) * 2016-10-24 2017-03-15 中国地质大学（武汉） 一种基于深度稀疏自编码网络的人脸情感识别方法
CN106548234A (zh) * 2016-11-17 2017-03-29 北京图森互联科技有限责任公司 一种神经网络剪枝方法及装置
CN106650928A (zh) * 2016-10-11 2017-05-10 广州视源电子科技股份有限公司 一种神经网络的优化方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793694B (zh) * 2014-02-10 2017-02-08 天津大学 一种基于多特征空间稀疏分类器的人脸识别方法
CN106548192B (zh) * 2016-09-23 2019-08-09 北京市商汤科技开发有限公司 基于神经网络的图像处理方法、装置和电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006001121A1 (ja) * 2004-06-25 2006-01-05 Shin Caterpillar Mitsubishi Ltd. データ圧縮装置及び方法，データ解析装置及び方法並びにデータ管理システム
CN104751842A (zh) * 2013-12-31 2015-07-01 安徽科大讯飞信息科技股份有限公司 深度神经网络的优化方法及***
CN104200224A (zh) * 2014-08-28 2014-12-10 西北工业大学 基于深度卷积神经网络的无价值图像去除方法
CN106295794A (zh) * 2016-07-27 2017-01-04 中国石油大学(华东) 基于光滑Group Lasso惩罚项的分数阶的神经网络建模方法
CN106650928A (zh) * 2016-10-11 2017-05-10 广州视源电子科技股份有限公司 一种神经网络的优化方法及装置
CN106503654A (zh) * 2016-10-24 2017-03-15 中国地质大学（武汉） 一种基于深度稀疏自编码网络的人脸情感识别方法
CN106548234A (zh) * 2016-11-17 2017-03-29 北京图森互联科技有限责任公司 一种神经网络剪枝方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
An efficient pruning and weight sharing method for neural network;Jin-Kyu Kim等;2016 IEEE International Conference on Consumer Electronics-Asia (ICCE-Asia);20170105;全文 *
基于卷积神经网络迭代优化的图像分类算法;李鸣;张鸿;;计算机工程与设计(01);全文 *

Also Published As

Publication number Publication date
CN111178520A (zh) 2020-05-19
WO2018227801A1 (zh) 2018-12-20
CN107247991A (zh) 2017-10-13

Similar Documents

Publication Publication Date Title
CN111178520B (zh) 一种构建神经网络的方法及装置
WO2020082663A1 (zh) 一种深度神经网络的结构搜索方法及装置
CN110175671B (zh) 神经网络的构建方法、图像处理方法及装置
CN110880036B (zh) 神经网络压缩方法、装置、计算机设备及存储介质
CN107358293B (zh) 一种神经网络训练方法及装置
US10762426B2 (en) Multi-iteration compression for deep neural networks
US20180046914A1 (en) Compression method for deep neural networks with load balance
CN109005398B (zh) 一种基于卷积神经网络的立体图像视差匹配方法
CN113705769A (zh) 一种神经网络训练方法以及装置
CN114332578A (zh) 图像异常检测模型训练方法、图像异常检测方法和装置
WO2021042857A1 (zh) 图像分割模型的处理方法和处理装置
CN110956655B (zh) 一种基于单目图像的稠密深度估计方法
CN115100574A (zh) 基于融合图卷积网络与Transformer网络的动作识别方法及***
CN113435520A (zh) 神经网络的训练方法、装置、设备及计算机可读存储介质
CN111797970B (zh) 训练神经网络的方法和装置
WO2020198132A1 (en) Residual semi-recurrent neural networks
CN111291760A (zh) 图像的语义分割方法、装置及电子设备
CN111260056B (zh) 一种网络模型蒸馏方法及装置
CN113705724B (zh) 基于自适应l-bfgs算法的深度神经网络的批量学习方法
CN107292322B (zh) 一种图像分类方法、深度学习模型及计算机***
CN112380919A (zh) 一种车辆类别统计方法
CN116826734A (zh) 一种基于多输入模型的光伏发电功率预测方法及装置
Xu et al. An efficient channel-level pruning for CNNs without fine-tuning
CN109993282B (zh) 一种台风波及范围的预测方法
CN111488980A (zh) 优化采样的神经网络的设备上持续学习方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant