CN110929852A - 深度二值神经网络训练方法及*** - Google Patents
深度二值神经网络训练方法及*** Download PDFInfo
- Publication number
- CN110929852A CN110929852A CN201911200568.7A CN201911200568A CN110929852A CN 110929852 A CN110929852 A CN 110929852A CN 201911200568 A CN201911200568 A CN 201911200568A CN 110929852 A CN110929852 A CN 110929852A
- Authority
- CN
- China
- Prior art keywords
- neural network
- deep
- binary
- optimized
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 175
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000012549 training Methods 0.000 title claims abstract description 43
- 230000004913 activation Effects 0.000 claims abstract description 58
- 238000005457 optimization Methods 0.000 claims abstract description 40
- 230000006870 function Effects 0.000 claims description 27
- 230000009977 dual effect Effects 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- ODKSFYDXXFIFQN-UHFFFAOYSA-M argininate Chemical compound [O-]C(=O)C(N)CCCNC(N)=N ODKSFYDXXFIFQN-UHFFFAOYSA-M 0.000 claims description 3
- 230000001537 neural effect Effects 0.000 claims 1
- 238000013139 quantization Methods 0.000 abstract description 13
- 230000001808 coupling effect Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract description 4
- 238000007906 compression Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000013140 knowledge distillation Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Feedback Control In General (AREA)
Abstract
本发明涉及一种深度二值神经网络训练方法及***，所述训练方法包括：初始化浮点型的深度神经网络，得到初始化网络模型；基于交替方向乘子法，根据所述初始化网络模型，采用目标传播算法，得到具有二值激活和浮点型权重的优化深度神经网络；基于交替方向乘子法，根据所述优化深度神经网络，得到深度二值神经网络。本发明深度二值神经网络训练方法通过交替方向乘子法优化框架，将权重和激活分别进行二值化，能够减轻同时二值化带来的耦合效应，提高深度二值神经网络的训练效果；采用目标传播算法优化具有二值激活的深度神经网络，能够减小量化过程不可微导致的深度神经网络量化优化困难问题。
Description
技术领域
本发明涉及深度学习技术领域，特别涉及一种深度二值神经网络训练方法及***。
背景技术
深度神经网络在计算机视觉、语音识别等领域取得了非常巨大的成功，深度神经网络的应用越来越广泛。深度神经网络的结构近年来得到了极大的发展，在执行很多任务时的准确率已经超越人类。但是伴随而来的是巨大的参数量和计算量，这些都极大限制了深度神经网络的应用，如移动设备的应用部署。
最近几年深度神经网络的压缩和加速成为学术界和工业界的研究热点，大量的方法涌现出来，如模型量化、网络剪枝、低秩分解、知识蒸馏、轻量化模型设计，以及现在火热的AutoML等。其中，模型量化能够实现非常高的压缩比，在定制硬件上实现非常高的加速比，是现在的研究热点。但是，现有的一些量化方法需要依赖训练集，才能实现整个压缩过程，整个量化过程也非常耗时。然而，在一些实际应用中，如医学图像分析等，因为隐私等各种原因，大量的训练数据并不能获得，这限制了一些现有的压缩方法的应用。如何在不需要样本或者只需要少量样本的情况下，实现深度神经网络的压缩，具有非常广泛的应用前景及价值。
对权重二值化能够压缩32倍的存储空间，理论上能实现58倍的计算加速。然而，深度二值神经网络的精度损失较大，训练方法需要进一步研究。
同时对权重和激活进行二值化，会加剧耦合作用，增加深度二值神经网络的训练难度。现在已有方法将权重和激活的量化分解为两个阶段，可以减轻同时量化带来的耦合作用，但是并不适应于深度二值神经网络。
发明内容
为了解决现有技术中的上述问题，即为了降低深度二值神经网络的训练难度，提高深度神经网络的计算效率，本发明提供一种深度二值神经网络训练方法及***。
为解决上述技术问题，本发明提供了如下方案：
一种深度二值神经网络训练方法，所述训练方法包括：
初始化浮点型的深度神经网络，得到初始化网络模型；
基于交替方向乘子法，根据所述初始化网络模型，采用目标传播算法，得到具有二值激活和浮点型权重的优化深度神经网络；
基于交替方向乘子法，根据所述优化深度神经网络，得到深度二值神经网络。
可选地，所述基于交替方向乘子法，根据所述初始化网络模型，采用目标传播算法，得到具有二值激活和浮点型权重的优化深度神经网络，具体包括：
在连续空间，根据目标传播算法，得到具有二值激活和浮点型权重的优化深度神经网络，所述优化深度神经网络的目标函数为：
其中，W为所述优化深度神经网络的全精度权重，k表示迭代次数，N表示要进行二值化的网络层数，i＝1,2,…N，f(W)表示所述优化深度神经网络的原有损失，Z表示所述深度二值神经网络的权重，U表示对偶变量，ρ表示惩罚因子；min()为取最小值函数；arg()为取自变量函数，Wi为所述优化深度神经网络第i层的全精度权重，
为所述深度二值神经网络第i层第k次迭代的权重，
为第i层第k次迭代的对偶变量；
可选地，所述目标传播算法，具体包括：
在当前迭代中，设置当前网络模型中各层的激活单元的优化目标；其中，最后一层的优化目标为样本标签，除最后一层外，其它层的激活单元的优化目标为二值离散数值；
根据预激活和优化目标，计算当前网络模型中各层的目标损失：
其中，Li表示第i层的目标损失，xij表示第i层第j个预激活单元，aij表示第i层第j个激活单元，tij表示第i层第j个激活单元的优化目标；
对最后一层，目标损失采用原有目标损失函数；
根据各层的目标损失，从最后一层逐层向前优化每一层的参数，得到各层对应的优化参数；
根据各层的优化参数，建立具有二值激活和浮点型权重的优化深度神经网络，所述具有二值激活和浮点型权重的优化深度神经网络为更新后的当前网络模型。
可选地，所述设置当前网络模型中各层的激活单元的优化目标为采用启发式的设置方法设置优化目标。
可选地，所述启发式的设置方法为：
其中，sign()为符号函数，Li+1表示第i+1层的目标损失，ei表示i+1层的损失Li+1对激活aij的梯度阈值；当aij的梯度大于等于ei时，优化目标tij取取负梯度的符号函数；当aij的梯度小于ei时，优化目标tij取预激活xij的符号函数。
可选地，所述基于交替方向乘子法，根据所述优化深度神经网络，得到深度二值神经网络，具体包括：
根据所述优化深度神经网络，采用欧式映射，得到深度二值神经网络，其中所述深度二值神经网络的目标函数为：
其中，Wi k+1为所述优化深度神经网络第i层第k+1次迭代的全精度权重，
为所述深度二值神经网络第i层第k次迭代的二值化权重，
为第i层第k次迭代的对偶变量；
可选地，根据以下公式，采用欧式映射，得到深度二值神经网络：
其中，所述优化深度神经网络的全精度权重W以通道为单位进行二值化，i、m分别表示需要二值化的层编号和通道编号，
表示在k+1次迭代所述深度二值神经网络中第i层第m通道的全精度权重，
表示在k+1次迭代时所述深度二值神经网络中第i层第m通道的权重通道的伸缩因子，
表示在k+1次迭代时所述深度二值神经网络中第i层第m通道的权重，B∈{-1,+1}c×h×w，sign()为符号函数，c、h、w分别表示输入通道数目、卷积核高度和卷积核宽度。
可选地，根据以下公式，计算对偶变量U：
为解决上述技术问题，本发明提供了如下方案：
一种深度二值神经网络训练***，所述训练***包括：
初始化单元，用于初始化浮点型的深度神经网络，得到初始化网络模型；
优化单元，用于基于交替方向乘子法，根据所述初始化网络模型，采用目标传播算法，得到具有二值激活和浮点型权重的优化深度神经网络；
构建单元，用于基于交替方向乘子法，根据所述优化深度神经网络，得到深度二值神经网络。
为解决上述技术问题，本发明提供了如下方案：
一种深度二值神经网络训练***，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：
初始化浮点型的深度神经网络，得到初始化网络模型；
基于交替方向乘子法，根据所述初始化网络模型，采用目标传播算法，得到具有二值激活和浮点型权重的优化深度神经网络；
基于交替方向乘子法，根据所述优化深度神经网络，得到深度二值神经网络。
为解决上述技术问题，本发明提供了如下方案：
一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：
初始化浮点型的深度神经网络，得到初始化网络模型；
基于交替方向乘子法，根据所述初始化网络模型，采用目标传播算法，得到具有二值激活和浮点型权重的优化深度神经网络；
基于交替方向乘子法，根据所述优化深度神经网络，得到深度二值神经网络。
根据本发明的实施例，本发明公开了以下技术效果：
本发明深度二值神经网络训练方法通过交替方向乘子法优化框架，将权重二值化和激活二值化分别进行优化，能够减轻同时二值化带来的耦合效应，提高深度二值神经网络的训练效果；采用目标传播算法优化具有二值激活的深度神经网络，能够减小量化过程不可微导致的深度神经网络量化优化困难问题。
附图说明
图1是本发明深度二值神经网络训练方法的流程图；
图2是本发明实施例的目标传播算法的示意图；
图3是本发明深度二值神经网络训练***的模块结构示意图。
符号说明：
初始化单元—1，优化单元—2，构建单元—3。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
本发明的目的提供一种深度二值神经网络训练方法，通过交替方向乘子法优化框架，将权重二值化和激活二值化分别进行优化，能够减轻同时二值化带来的耦合效应，提高深度二值神经网络的训练效果；采用目标传播算法优化具有二值激活的深度神经网络，能够减小量化过程不可微导致的深度神经网络量化优化困难问题。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本发明深度二值神经网络训练方法包括：
步骤100：初始化浮点型的深度神经网络，得到初始化网络模型；
步骤200：基于交替方向乘子法，根据所述初始化网络模型，采用目标传播算法，得到具有二值激活和浮点型权重的优化深度神经网络；
步骤300：基于交替方向乘子法，根据所述优化深度神经网络，得到深度二值神经网络。
在步骤200中，所述基于交替方向乘子法，根据所述初始化网络模型，采用目标传播算法，得到具有二值激活和浮点型权重的优化深度神经网络，具体包括：
在连续空间，根据目标传播算法，得到具有二值激活和浮点型权重的优化深度神经网络，所述优化深度神经网络的目标函数为：
其中，W为所述优化深度神经网络的全精度权重，k表示迭代次数，N表示要进行二值化的网络层数，i＝1,2,…N，f(W)表示所述优化深度神经网络的原有损失，Z表示所述深度二值神经网络的权重，U表示对偶变量，ρ表示惩罚因子；min()为取最小值函数；arg()为取自变量函数，Wi为所述优化深度神经网络第i层的全精度权重，
为所述深度二值神经网络第i层第k次迭代的权重，
为第i层第k次迭代的对偶变量；
优选地，如图2所示，所述目标传播算法，具体包括：
步骤210：在当前迭代中，设置当前网络模型中各层的激活单元的优化目标；其中，最后一层的优化目标为样本标签，除最后一层外，其它层的激活单元的优化目标为二值离散数值。
在本实施例中，所述设置当前网络模型中各层的激活单元的优化目标为采用启发式的设置方法设置优化目标。
具体地，所述启发式的设置方法为：
其中，sign()为符号函数，Li+1表示第i+1层的目标损失，ei表示i+1层的损失Li+1对激活aij的梯度阈值；当aij的梯度大于等于ei时，优化目标tij取取负梯度的符号函数；当aij的梯度小于ei时，优化目标tij取预激活xij的符号函数。
步骤220：根据预激活和优化目标，计算各层的目标损失：
其中，Li表示第i层的目标损失，xij表示第i层第j个预激活单元，aij表示第i层第j个激活单元，tij表示第i层第j个激活单元的优化目标；对最后一层，目标损失采用原有目标损失函数。
步骤230：根据各层的目标损失，从最后一层逐层向前优化每一层的参数，得到各层对应的优化参数。
其中，基于每一层的目标损失，可以优化每一层的参数，激活的优化目标从最后一层逐层向前传播，直到完成所有层的参数优化。所述目标传播采用随机梯度下降法更新每一层的参数，所述具有二值激活和浮点型权重的优化深度神经网络为更新后的当前网络模型。
步骤240：根据各层的优化参数，建立具有二值激活和浮点型权重的深度神经网络。
在步骤300中，所述基于交替方向乘子法，根据所述优化深度神经网络，得到深度二值神经网络，具体包括：
根据所述优化深度神经网络，采用欧式映射，得到深度二值神经网络，其中所述深度二值神经网络的目标函数为：
其中，Wi k+1为所述优化深度神经网络第i层第k+1次迭代的全精度权重，
为所述深度二值神经网络第i层第k次迭代的二值化权重，
为第i层第k次迭代的对偶变量。
优选地，根据以下公式，采用欧式映射，得到深度二值神经网络：
其中，所述优化深度神经网络的全精度权重W以通道为单位进行二值化，i、m分别表示需要二值化的层编号和通道编号，
表示在k+1次迭代所述深度二值神经网络中第i层第m通道的全精度权重，
表示在k+1次迭代时所述深度二值神经网络中第i层第m通道的权重通道的伸缩因子，
表示在k+1次迭代时所述深度二值神经网络中第i层第m通道的权重，B∈{-1,+1}c×h×w，sign()为符号函数，c、h、w分别表示输入通道数目、卷积核高度和卷积核宽度。
可选地，根据以下公式，计算对偶变量U：
本发明采用目标传播算法进行多次迭代，充分优化具有二值激活和浮点权重的深度神经网络，重复执行步骤200～步骤300，以充分优化模型，得到优化的深度二值神经网络。
所述交替方向乘子法采用线性递增的惩罚因子ρ，随着优化过程的进行，惩罚因子ρ线性增加，充分优化所述优化深度神经网络。
此外，基于目标传播和交替方向乘子法的深度二值神经网络训练方法不只适用于深度二值神经网络，同样适用于更高比特的深度神经网络的量化。
优选地，为了保持模型的性能，所述二值激活的深度神经网络的第一层和最后一层的模型参数不进行二值化。
此外，本发明还提供一种深度二值神经网络训练***。具体地，如图3所示，本发明深度二值神经网络训练***包括初始化单元1、优化单元2及构建单元3。
所述初始化单元1用于初始化浮点型的深度神经网络，得到初始化网络模型；所述优化单元2用于基于交替方向乘子法，根据所述初始化网络模型，采用目标传播算法，得到具有二值激活和浮点型权重的优化深度神经网络；所述构建单元3用于基于交替方向乘子法，根据所述优化深度神经网络，得到深度二值神经网络。
进一步地，本发明还提供一种深度二值神经网络训练***，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：
初始化浮点型的深度神经网络，得到初始化网络模型；
基于交替方向乘子法，根据所述初始化网络模型，采用目标传播算法，得到具有二值激活和浮点型权重的优化深度神经网络；
基于交替方向乘子法，根据所述优化深度神经网络，得到深度二值神经网络。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：
初始化浮点型的深度神经网络，得到初始化网络模型；
基于交替方向乘子法，根据所述初始化网络模型，采用目标传播算法，得到具有二值激活和浮点型权重的优化深度神经网络；
基于交替方向乘子法，根据所述优化深度神经网络，得到深度二值神经网络。
相对于现有技术，本发明深度二值神经网络训练***、计算机可读存储介质与上述深度二值神经网络训练方法的有益效果相同，在此不再赘述。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种深度二值神经网络训练方法，其特征在于，所述训练方法包括：
初始化浮点型的深度神经网络，得到初始化网络模型；
基于交替方向乘子法，根据所述初始化网络模型，采用目标传播算法，得到具有二值激活和浮点型权重的优化深度神经网络；
基于交替方向乘子法，根据所述优化深度神经网络，得到深度二值神经网络。
2.根据权利要求1所述的深度二值神经网络训练方法，其特征在于，所述基于交替方向乘子法，根据所述初始化网络模型，采用目标传播算法，得到具有二值激活和浮点型权重的优化深度神经网络，具体包括：
在连续空间，根据目标传播算法，获得具有二值激活和浮点型权重的优化深度神经网络，所述优化深度神经网络的目标函数为：
其中，W为所述优化深度神经网络的全精度权重，k表示迭代次数，N表示要进行二值化的网络层数，i＝1,2,…N，f(W)表示所述优化深度神经网络的原有损失，Z表示所述深度二值神经网络的权重，U表示对偶变量，ρ表示惩罚因子；min()为取最小值函数；arg()为取自变量函数，Wi为所述优化深度神经网络第i层的全精度权重，
为所述深度二值神经网络第i层第k次迭代的权重，
为第i层第k次迭代的对偶变量。
3.根据权利要求1所述的深度二值神经网络训练方法，其特征在于，所述目标传播算法，具体包括：
在当前迭代中，设置当前网络模型中各层的激活单元的优化目标；其中，最后一层的优化目标为样本标签，除最后一层外，其它层的激活单元的优化目标为二值离散数值；
根据预激活和优化目标，计算当前网络模型中各层的目标损失：
其中，Li表示第i层的目标损失，xij表示第i层第j个预激活单元，aij表示第i层第j个激活单元，tij表示第i层第j个激活单元的优化目标；
对最后一层，目标损失采用原有目标损失函数；
根据各层的目标损失，从最后一层逐层向前优化每一层的参数，得到各层对应的优化参数；
根据各层的优化参数，建立具有二值激活和浮点型权重的优化深度神经网络，所述具有二值激活和浮点型权重的优化深度神经网络为更新后的当前网络模型。
4.根据权利要求3所述的深度二值神经网络训练方法，其特征在于，所述设置当前网络模型中各层的激活单元的优化目标为采用启发式的设置方法设置优化目标。
5.根据权利要求4所述的深度二值神经网络训练方法，其特征在于，所述启发式的设置方法为：
其中，sign()为符号函数，Li+1表示第i+1层的目标损失，ei表示i+1层的损失Li+1对激活aij的梯度阈值；当aij的梯度大于等于ei时，优化目标tij取取负梯度的符号函数；当aij的梯度小于ei时，优化目标tij取预激活xij的符号函数。
6.根据权利要求1所述的深度二值神经网络训练方法，其特征在于，所述基于交替方向乘子法，根据所述优化深度神经网络，得到深度二值神经网络，具体包括：
根据所述优化深度神经网络，采用欧式映射，得到深度二值神经网络，其中所述深度二值神经网络的目标函数为：
其中，Wi k+1为所述优化深度神经网络第i层第k+1次迭代的全精度权重，
为所述深度二值神经网络第i层第k次迭代的二值化权重，
为第i层第k次迭代的对偶变量。
7.根据权利要求6所述的深度二值神经网络训练方法，其特征在于，所述根据所述优化深度神经网络，采用欧式映射，得到深度二值神经网络，具体包括：
其中，所述优化深度神经网络的全精度权重W以通道为单位进行二值化，i、m分别表示需要二值化的层编号和通道编号，
表示在k+1次迭代所述深度二值神经网络中第i层第m通道的全精度权重，
表示在k+1次迭代时所述深度二值神经网络中第i层第m通道的权重通道的伸缩因子，
表示在k+1次迭代时所述深度二值神经网络中第i层第m通道的权重，B∈{-1,+1}c×h×w，sign()为符号函数，c、h、w分别表示输入通道数目、卷积核高度和卷积核宽度。
8.一种深度二值神经网络训练***，其特征在于，所述训练***包括：
初始化单元，用于初始化浮点型的深度神经网络，得到初始化网络模型；
优化单元，用于基于交替方向乘子法，根据所述初始化网络模型，采用目标传播算法，得到具有二值激活和浮点型权重的优化深度神经网络；
构建单元，用于基于交替方向乘子法，根据所述优化深度神经网络，得到深度二值神经网络。
9.一种深度二值神经网络训练***，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：
初始化浮点型的深度神经网络，得到初始化网络模型；
基于交替方向乘子法，根据所述初始化网络模型，采用目标传播算法，得到具有二值激活和浮点型权重的优化深度神经网络；
基于交替方向乘子法，根据所述优化深度神经网络，得到深度二值神经网络。
10.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：
初始化浮点型的深度神经网络，得到初始化网络模型；
基于交替方向乘子法，根据所述初始化网络模型，采用目标传播算法，得到具有二值激活和浮点型权重的优化深度神经网络；
基于交替方向乘子法，根据所述优化深度神经网络，得到深度二值神经网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911200568.7A CN110929852A (zh) | 2019-11-29 | 2019-11-29 | 深度二值神经网络训练方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911200568.7A CN110929852A (zh) | 2019-11-29 | 2019-11-29 | 深度二值神经网络训练方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110929852A true CN110929852A (zh) | 2020-03-27 |
Family
ID=69847110
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911200568.7A Pending CN110929852A (zh) | 2019-11-29 | 2019-11-29 | 深度二值神经网络训练方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110929852A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738403A (zh) * | 2020-04-26 | 2020-10-02 | 华为技术有限公司 | 一种神经网络的优化方法及相关设备 |
| CN112258377A (zh) * | 2020-10-13 | 2021-01-22 | 国家计算机网络与信息安全管理中心 | 鲁棒二值神经网络的构建方法及设备 |
| CN112652299A (zh) * | 2020-11-20 | 2021-04-13 | 北京航空航天大学 | 时间序列语音识别深度学习模型的量化方法及装置 |
| CN113159296A (zh) * | 2021-04-27 | 2021-07-23 | 广东工业大学 | 一种二值神经网络的构建方法 |
| WO2022077903A1 (zh) * | 2020-10-14 | 2022-04-21 | 浙江大学 | 基于二值神经网络的局部激活方法与*** |
| WO2022088441A1 (zh) * | 2020-10-26 | 2022-05-05 | 生物岛实验室 | 健康监测设备 |
| CN114862805A (zh) * | 2022-05-18 | 2022-08-05 | 国网江苏省电力有限公司电力科学研究院 | 一种基于轻量化网络的大型机械设备识别方法 |
| CN115660046A (zh) * | 2022-10-24 | 2023-01-31 | 中电金信软件有限公司 | 二值神经网络的梯度重构方法、装置、设备及存储介质 |
| CN116664958A (zh) * | 2023-07-27 | 2023-08-29 | 鹏城实验室 | 基于二值神经网络模型的图像分类方法以及相关设备 |
-
2019
- 2019-11-29 CN CN201911200568.7A patent/CN110929852A/zh active Pending
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738403B (zh) * | 2020-04-26 | 2024-06-07 | 华为技术有限公司 | 一种神经网络的优化方法及相关设备 |
| CN111738403A (zh) * | 2020-04-26 | 2020-10-02 | 华为技术有限公司 | 一种神经网络的优化方法及相关设备 |
| CN112258377A (zh) * | 2020-10-13 | 2021-01-22 | 国家计算机网络与信息安全管理中心 | 鲁棒二值神经网络的构建方法及设备 |
| WO2022077903A1 (zh) * | 2020-10-14 | 2022-04-21 | 浙江大学 | 基于二值神经网络的局部激活方法与*** |
| WO2022088441A1 (zh) * | 2020-10-26 | 2022-05-05 | 生物岛实验室 | 健康监测设备 |
| CN112652299A (zh) * | 2020-11-20 | 2021-04-13 | 北京航空航天大学 | 时间序列语音识别深度学习模型的量化方法及装置 |
| CN112652299B (zh) * | 2020-11-20 | 2022-06-17 | 北京航空航天大学 | 时间序列语音识别深度学习模型的量化方法及装置 |
| CN113159296A (zh) * | 2021-04-27 | 2021-07-23 | 广东工业大学 | 一种二值神经网络的构建方法 |
| CN113159296B (zh) * | 2021-04-27 | 2024-01-16 | 广东工业大学 | 一种二值神经网络的构建方法 |
| CN114862805A (zh) * | 2022-05-18 | 2022-08-05 | 国网江苏省电力有限公司电力科学研究院 | 一种基于轻量化网络的大型机械设备识别方法 |
| CN115660046A (zh) * | 2022-10-24 | 2023-01-31 | 中电金信软件有限公司 | 二值神经网络的梯度重构方法、装置、设备及存储介质 |
| CN116664958A (zh) * | 2023-07-27 | 2023-08-29 | 鹏城实验室 | 基于二值神经网络模型的图像分类方法以及相关设备 |
| CN116664958B (zh) * | 2023-07-27 | 2023-11-14 | 鹏城实验室 | 基于二值神经网络模型的图像分类方法以及相关设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110929852A (zh) | 深度二值神经网络训练方法及*** | |
| US11449729B2 (en) | Efficient convolutional neural networks | |
| US8671369B2 (en) | Quantum Karnaugh map | |
| CN108334945B (zh) | 深度神经网络的加速与压缩方法及装置 | |
| CN107358293B (zh) | 一种神经网络训练方法及装置 | |
| Hernández-Lobato et al. | Probabilistic backpropagation for scalable learning of bayesian neural networks | |
| CN110674323B (zh) | 基于虚拟标签回归的无监督跨模态哈希检索方法及*** | |
| CN108205703B (zh) | 多输入多输出矩阵平均值池化向量化实现方法 | |
| CN112699958A (zh) | 一种基于剪枝和知识蒸馏的目标检测模型压缩与加速方法 | |
| Chang et al. | Automatic channel pruning via clustering and swarm intelligence optimization for CNN | |
| CN107395211B (zh) | 一种基于卷积神经网络模型的数据处理方法及装置 | |
| CN110874636A (zh) | 一种神经网络模型压缩方法、装置和计算机设备 | |
| Hu et al. | CATRO: Channel pruning via class-aware trace ratio optimization | |
| CN114708270A (zh) | 基于知识聚合与解耦蒸馏的语义分割模型压缩***及压缩方法 | |
| CN114091650A (zh) | 一种深度卷积神经网络架构的搜索方法和应用 | |
| CN112686384A (zh) | 一种自适应比特位宽的神经网络量化方法及其装置 | |
| CN113159296B (zh) | 一种二值神经网络的构建方法 | |
| CN113313252B (zh) | 一种基于脉动阵列的深度可分离卷积实现方法 | |
| CN112052865A (zh) | 用于生成神经网络模型的方法和装置 | |
| Liu et al. | Online graph regularized non-negative matrix factorization for large-scale datasets | |
| CN111882028B (zh) | 用于卷积神经网络的卷积运算装置 | |
| CN108875547B (zh) | 一种面向资源受限环境的目标跟踪方法及装置 | |
| CN110188692B (zh) | 一种有效目标快速识别的强化循环级联方法 | |
| CN113743012B (zh) | 一种多用户场景下的云-边缘协同模式任务卸载优化方法 | |
| Kim et al. | Fine-grained neural architecture search for image super-resolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200327 |