CN111178520A - 一种低计算能力处理设备的数据处理方法及装置 - Google Patents
一种低计算能力处理设备的数据处理方法及装置 Download PDFInfo
- Publication number
- CN111178520A CN111178520A CN202010011285.4A CN202010011285A CN111178520A CN 111178520 A CN111178520 A CN 111178520A CN 202010011285 A CN202010011285 A CN 202010011285A CN 111178520 A CN111178520 A CN 111178520A
- Authority
- CN
- China
- Prior art keywords
- neural network
- training
- sparse
- processing
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 9
- 238000013528 artificial neural network Methods 0.000 claims abstract description 199
- 238000000034 method Methods 0.000 claims abstract description 43
- 230000006870 function Effects 0.000 claims description 105
- 238000003058 natural language processing Methods 0.000 claims description 38
- 238000010276 construction Methods 0.000 claims description 25
- 238000005457 optimization Methods 0.000 claims description 23
- 238000003062 neural network model Methods 0.000 claims description 19
- 210000002569 neuron Anatomy 0.000 claims description 18
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 claims description 12
- 229910002092 carbon dioxide Inorganic materials 0.000 claims description 6
- 239000001569 carbon dioxide Substances 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Neurology (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Image Analysis (AREA)
- Feedback Control In General (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开一种低计算能力处理设备的数据处理方法及装置。该方法包括：在实时的计算机视觉处理过程中，低计算能力的处理设备获取图像数据；所述处理设备使用预先设置的神经网络对获取到的图像数据进行计算机视觉处理，得到计算机视觉处理结果；其中，预先设置的神经网络是通过如下处理获得的目标神经网络。构建初始神经网络，所述初始神经网络中预置的多个特定结构分别设置有对应的稀疏缩放算子，其中稀疏缩放算子用于对相应特定结构的输出进行缩放；采用预置的训练样本数据对所述初始神经网络的权重和特定结构的稀疏缩放算子进行训练，得到中间神经网络；将所述中间神经网络中稀疏缩放算子为零的特定结构删除，得到目标神经网络。
Description
技术领域
本发明涉及计算机领域，特别涉及一种低计算能力处理设备的数据处理方法及装置。
背景技术
近几年来，深度神经网络在诸多领域中取得了巨大的成功，如计算机视觉、自然语言处理等。但深度神经网络的模型往往包含大量的模型参数，计算量大、处理速度慢，无法在一些低功耗、低计算能力的设备(如嵌入式设备、集成设备等)上进行实时计算。低计算能力的设备是指，如果一个设备的计算能力低于部署在其上的计算任务或计算模型要求的计算能力的情况下，该设备即为一个低计算能力的设备。
为解决该问题，目前提出了一些解决方案：
方案1、Hao Zhou在论文“Less is More:Towards Compact CNNS”中指出现有的卷积神经网络包括大量的参数，在计算平台上部署和运行这样的卷积神经网络需要大量的存储资源和硬件资源，这使得在存储资源有限的移动计算设备上无法使用深度卷积神经网络。该论文提出通过组稀疏约束来学习神经网络中每层神经元个数的方案，该方案在卷积神经网络的权重中加入组稀疏约束，即每一个神经元的权重为一个组。由于组稀疏约束会将每个组内的权重尽可能地全压缩为0，因此当一个神经元的权重全为0时，即可去掉该神经元，由此即可学习得到神经网络的神经元个数。
方案2、Jose M.Alvarez在论文“Learning the number of neurons in DeepNetworks”中提出的解决方案与方案1基本一致，区别在于，该方案2中每一层神经元用的组稀疏约束不同，即对不同层的神经元其组约束的强度不同。
方案3、Wen Wei在论文“Learning Structured Sparsity in Deep NeuralNetworks”中指出部署一个如此之大的模型，需要大量的计算资源和存储资源。该论文提出的解决方案为利用组稀疏约束学习例如神经元的个数、神经元的形状、跨层连接网络层的深度等。
但是根据上述方案得到的神经网络仍无法较好的满足结构紧凑、运行速度快、精度高的要求，从而无法在低计算能力设备上进行实时运算。
发明内容
本申请实施例，一方面提供一种低计算能力处理设备的数据处理方法，该方法包括：
在实时的计算机视觉处理过程中，低计算能力的处理设备获取图像数据；
所述处理设备使用预先设置的神经网络对获取到的图像数据进行计算机视觉处理，得到计算机视觉处理结果；其中，预先设置的神经网络是通过如下处理获得的目标神经网络：
构建实现计算机视觉处理的初始神经网络，所述初始神经网络中预置的多个特定结构分别设置有对应的稀疏缩放算子，其中稀疏缩放算子用于对相应特定结构的输出进行缩放；
采用预置的训练样本数据对所述初始神经网络的权重和特定结构的稀疏缩放算子进行训练，得到中间神经网络；
将所述中间神经网络中稀疏缩放算子为零的特定结构删除，得到实现计算机视觉处理的目标神经网络。
本申请实施例，另一方面提供一种低计算能力处理设备的数据处理装置，该装置包括：至少一个处理器和至少一个存储器，至少一个存储器中存储有至少一条机器可执行指令，至少一个处理器执行至少一条机器可执行指令后执行如下处理：
在实时的计算机视觉处理过程中，获取图像数据；
使用预先设置的神经网络对获取到的图像数据进行计算机视觉处理，得到计算机视觉处理结果；其中，预先设置的神经网络是通过构建装置获得的目标神经网络，构建装置包括：
第一构建单元，用于构建初始神经网络，所述初始神经网络中预置的多个特定结构分别设置有对应的稀疏缩放算子，其中稀疏缩放算子用于对相应特定结构的输出进行缩放；
训练单元，用于采用预置的训练样本数据对所述初始神经网络的权重和特定结构的稀疏缩放算子进行训练，得到中间神经网络；
第二构建单元，用于将所述中间神经网络中稀疏缩放算子为零的特定结构删除，得到目标神经网络。
本申请另一方面，提供了一种低计算能力处理设备的数据处理方法，包括：
在实时的自然语言处理过程中，低计算能力的处理设备获取文本数据；
所述处理设备使用预先设置的神经网络对获取到的文本数据进行自然语言处理，得到自然语言处理结果；其中，预先设置的神经网络是通过如下处理获得的目标神经网络：
构建实现自然语言处理的初始神经网络，所述初始神经网络中预置的多个特定结构分别设置有对应的稀疏缩放算子，其中稀疏缩放算子用于对相应特定结构的输出进行缩放；
采用预置的训练样本数据对所述初始神经网络的权重和特定结构的稀疏缩放算子进行训练，得到中间神经网络；
将所述中间神经网络中稀疏缩放算子为零的特定结构删除，得到实现自然语言处理的目标神经网络。
本申请的另一方面，提供了一种低计算能力处理设备的数据处理装置，包括：至少一个处理器和至少一个存储器，至少一个存储器中存储有至少一条机器可执行指令，至少一个处理器执行至少一条机器可执行指令后执行如下处理：
在实时的自然语言处理过程中，获取文本数据；
使用预先设置的神经网络对获取到的文本数据进行自然语言处理，得到自然语言处理结果；其中，预先设置的神经网络是通过构建装置获得的目标神经网络，构建装置包括：
第三构建单元，用于构建实现自然语言处理的初始神经网络，所述初始神经网络中预置的多个特定结构分别设置有对应的稀疏缩放算子，其中稀疏缩放算子用于对相应特定结构的输出进行缩放；
训练单元，用于采用预置的训练样本数据对所述初始神经网络的权重和特定结构的稀疏缩放算子进行训练，得到中间神经网络；
第四构建单元，用于将所述中间神经网络中稀疏缩放算子为零的特定结构删除，得到实现自然语言处理的目标神经网络。
本申请实施例提供的低计算能力处理设备的数据处理方法，一方面，引入稀疏缩放算子来缩放不同特定结构的输出，不需要在权重上加入新的约束，权重和稀疏缩放算子可进行独立优化，能够提高神经网络的精度，另一方面，稀疏缩放算子为零的特定结构对神经网络的输出结果没有贡献，将稀疏缩放算子为零的特定结构删除，并不影响神经网络的精度，而且还能够精简神经网络以提高神经网络运行速度。因此，低计算能力的处理设备可以应用上述神经网络来执行实时的计算机视觉处理，或者执行实时的自然语言处理。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明实施例中构建神经网络的方法流程图；
图2为本发明实施例中特定结构为模块的示意图；
图3为本发明实施例中特定结构为残差网络中的残差模块的示意图；
图4为本发明实施例中特定结构为模组的示意图；
图5为本发明实施例中特定结构为神经元的示意图；
图6为本发明实施例中构建神经网络的装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
实施例一
参见图1，为本发明实施例中构建神经网络的方法的流程图，该方法包括：
步骤101、构建初始神经网络，所述初始神经网络中预置的多个特定结构分别设置有对应的稀疏缩放算子，其中稀疏缩放算子用于对相应特定结构的输出进行缩放。
步骤102、采用预置的训练样本数据对所述初始神经网络的权重和特定结构的稀疏缩放算子进行训练，得到中间神经网络。
步骤103、将所述中间神经网络中稀疏缩放算子为零的特定结构删除，得到目标神经网络。
优选地，前述步骤101可通过以下步骤A1～步骤A3实现：
步骤A1、选取神经网络模型。
本发明实施例，可从预置的神经网络模型集中选取一个与期望目标神经网络所实现的功能(如计算机视觉处理功能：图像分割、物体检测、人脸识别，或者自然语言处理功能等)对应的神经网络模型，也可以根据期望目标神经网络所实现的功能构建一个对应的神经网络模型。本申请不做严格的限定。
步骤A2、确定所述神经网络模型中需要设置稀疏缩放算子的特定结构。
本发明实施例中，可由设计人员确定神经网络模型中的特定结构，例如：可将神经网络中的某一层或某些网络层的全部或部分神经元确定为特定结构。和/或，将神经网络中具有以下特性的一个或多个模组确定为特定结构：特性1、包含一个以上网络层(例如，该特定结构包含两个以上级联的网络层)；特性2、与其他模组并联或者该模组前后端具有跨层连接。和/或，将神经网络中具有以下特性的一个或多个模块确定为特定结构：特性1、包含一个以上模组的模块(例如，该特定结构包含两个以上并联的模组)；特性2、该模块的前后端具有跨层连接。
步骤A3、对所述神经网络模型中的特定结构设置初始稀疏缩放算子，得到所述初始神经网络。
本发明实施例中，各特定结构的稀疏缩放算子的取值大于等于0。优选地，初始稀疏缩放算子的取值接近1，例如可以直接取值为1。
优选地，本发明实施例中，前述步骤102具体可通过以下步骤B1～步骤B3实现：
步骤B1、构建初始神经网络对应的目标函数，所述目标函数包含损失函数和稀疏正则函数。该目标函数如式(1)所示：
式(1)中，所述W为神经网络的权重，λ为神经网络的稀疏缩放算子向量，N为训练样本数据的数量，
为神经网络在样本数据xi上的损失，
为稀疏正则函数。
步骤B2、采用所述训练样本数据对所述初始神经网络进行迭代训练。
步骤B3、当迭代训练次数达到阈值或者所述目标函数满足预置的收敛条件时，得到所述中间神经网络。
优选地，前述步骤B2具体实现可通过对初始神经网络进行多次以下的迭代训练，以一次非首次迭代和非尾次迭代的迭代过程(以下称为本次迭代训练)为例进行描述，一次迭代训练包括以下步骤C1～步骤C3：
步骤C1、将前一次迭代训练得到的稀疏缩放算子作为所述目标函数的常量，将所述权重作为所述目标函数的变量，采用第一优化算法对所述目标函数进行优化，得到本次迭代训练的权重；
步骤C2、将本次迭代训练的权重作为所述目标函数的常量，将稀疏缩放算子作为所述目标函数的变量，采用第二优化算法对所述目标函数进行优化，得到本次迭代训练的稀疏缩放算子；
步骤C3、基于本次迭代训练的权重和稀疏缩放算子进行下一次迭代训练。
首次迭代训练过程如下：将初始稀疏缩放算子作为所述目标函数的常量，将所述权重作为所述目标函数的变量，采用第一优化算法对所述目标函数进行优化，得到本次迭代训练的权重；将本次迭代训练的权重作为所述目标函数的常量，将稀疏缩放算子作为所述目标函数的变量，采用第二优化算法对所述目标函数进行优化，得到本次迭代训练的稀疏缩放算子；基于本次迭代训练的权重和稀疏缩放算子进行第二次迭代训练。
尾次迭代训练过程如下：将前一次迭代训练得到的稀疏缩放算子作为所述目标函数的常量，将所述权重作为所述目标函数的变量，采用第一优化算法对所述目标函数进行优化，得到本次迭代训练的权重；将本次迭代训练的权重作为所述目标函数的常量，将稀疏缩放算子作为所述目标函数的变量，采用第二优化算法对所述目标函数进行优化，得到本次迭代训练的稀疏缩放算子；将包含本次迭代训练得到的稀疏缩放算子和权重的神经网络作为中间神经网络。
优选地，本发明实施例中，所述第一优化算法可以为但不仅限于为以下任意一种算法：随机梯度下降算法、引入动量的变种算法。
优选地，本发明实施例中，所述第二优化算法可以为但不仅限于为以下任意一种算法：加速邻域梯度下降算法、邻域梯度下降算法、交替方向乘子算法。
优选地，在另一个实施例中，本发明实施例中目标函数包含损失函数、权重正则函数和稀疏正则函数，该目标函数如式(2)所示：
式(2)中，所述W为神经网络的权重，λ为神经网络的稀疏缩放算子向量，N为训练样本数据的数量，
为神经网络在样本数据xi上的损失，
为权重正则函数，
为稀疏正则函数。
优选地，本发明实施例中
为权重为γ的稀疏正则，即
当然本领域技术人员还可将
设置为更复杂的稀疏约束，例如非凸的稀疏约束。
为进一步对本发明实施例中如何求解出目标函数中的W和λ进行详细的描述，下面以目标函数为公式(2)、
为例，对一次迭代训练优化目标函数求解得到W和λ进行描述。将
记为
记为
将λ作为常量，将W作为变量，则目标函数换转为
采用随机梯度下降算法即可求解得到W的取值，具体过程不再详细描述。
将W作为常量，将λ作为变量，则目标函数换转为
采用加速邻域梯度下降算法求解λ的取值，具体可通过但不仅限于以下几种方式得到：
方式1，采用下式(3)～式(5)得到λ：
其中ηt表示在第t次迭代训练时梯度下降的步长，
为软阈值算子，定义如下
方式2、由于前述方式1求解λ需要额外的前向后向计算来得到
将该算法直接应用到现有深度学习框架有点难度。因此，方式2对前述方式1的公式进行变形，得到式(6)～式(8)，根据式(6)～式(8)计算得到λ：
λt＝λt-1+vt 式(8)
方式3、本发明实施例为进一步降低难度，提供更为简单的下式(9)～(11)计算得到λ：
其中λ′t-1＝λt-1+μt-1vt-1，μ为预设的固定值，并采用批量随机梯度下降的形式来更新W和λ。
下面分别以特定结构为模块、模组和神经元进行详细描述。
如图2所示，假设神经网络包含N个模块，每个模块对应一个稀疏缩放算子，且每个模块的前后端具有跨层连接。
以一个具体为例，假设神经网络为残差网络，设置特定结构为残差模块，如上图3所示，该残差模块前后端具有跨层连接，第i个残差模块对应的稀疏缩放算子为λi，则：
若经过训练之后，得到第三个残差模块的稀疏缩放算子λ3＝0时，则将残差网络中第3个残差模块
删除。
如图4所示，假设神经网络包含N个模块，每个模块包含M个模组，每个模组包含多个级联的网络层，每个模组对应一个稀疏缩放算子。
如图5所示，假设神经网络包含L个网络层，第l网络层包含k神经元，则该k个神经元分别对应一个稀疏缩放算子。
通过上述处理得到的神经网络，一方面，引入稀疏缩放算子来缩放不同特定结构的输出，不需要在权重上加入新的约束，权重和稀疏缩放算子可进行独立优化，能够提高神经网络的精度，另一方面，稀疏缩放算子为零的特定结构对神经网络的输出结果没有贡献，将稀疏缩放算子为零的特定结构删除，并不影响神经网络的精度，而且还能够精简神经网络以提高神经网络运行速度。
从而该神经网络能够应用在低计算能力处理设备中，对图像数据进行实时的计算机视觉处理，或者对文本数据进行实时的自然语言处理。低计算能力处理设备包括低计算能力的集成设备或嵌入式设备、低计算能力计算平台、低计算能力的移动设备等。
在一个示例实施例中，低计算能力处理设备进行数据处理的方法包括：
步骤1、在实时的计算机视觉处理过程中，低计算能力的处理设备获取图像数据；
步骤2、所述处理设备使用预先设置的神经网络对获取到的图像数据进行计算机视觉处理，得到计算机视觉处理结果。
其中，预先设置的神经网络是通过如图1所示处理获得的目标神经网络。
通过上述处理，低计算能力处理设备能够通过预先配置的神经网络，在实时的计算机视觉处理中，对获取到的图像数据进行高效快速的处理。从而使得低计算能力的处理设备能够通过配置的神经网络执行实时的计算机视觉处理。
在一个示例实施例中，低计算能力处理设备进行数据处理的方法包括：
步骤1’、在实时的自然语言处理过程中，低计算能力的处理设备获取文本数据；
步骤2’、所述处理设备使用预先设置的神经网络对获取到的文本数据进行自然语言处理，得到自然语言处理结果。
其中，预先设置的神经网络是通过如图1所示处理获得的目标神经网络。
通过上述处理，低计算能力处理设备能够通过预先配置的神经网络，在实时的自然语言处理中，对获取到的文本数据进行高效快速的处理。从而使得低计算能力的处理设备能够通过预先配置的神经网络执行实时的自然语言处理。
实施例二
基于前述实施例一提供的构建神经网络方法相同的发明构思，本发明实施例二提供一种构建神经网络的装置，该装置的结构如图6所示，包括：
第一构建单元61，用于构建初始神经网络，所述初始神经网络中预置的多个特定结构分别设置有对应的稀疏缩放算子，其中稀疏缩放算子用于对相应特定结构的输出进行缩放；
训练单元62，用于采用预置的训练样本数据对所述初始神经网络的权重和特定结构的稀疏缩放算子进行训练，得到中间神经网络；
第二构建单元63，用于将所述中间神经网络中稀疏缩放算子为零的特定结构删除，得到目标神经网络。
优选地，所述第一构建单元61，具体包括选取模块、特定结构确定模块和构建模块，其中：
选取模块，用于选取神经网络模型；
本发明实施例，选取模块具体实现可如下：可从预置的神经网络模型集中选取一个与期望目标神经网络所实现的功能(如计算机视觉处理的功能：图像分割、物体检测、人脸识别，或者自然语言处理的功能等)对应的神经网络模型，也可以根据期望目标神经网络所实现的功能构建一个对应的神经网络模型。本申请不做严格的限定。
特定结构确定模块，用于确定所述神经网络模型中需要设置稀疏缩放算子的特定结构；
构建模块，用于对所述神经网络模型中的特定结构设置初始稀疏缩放算子，得到所述初始神经网络。
本发明实施例中，各特定结构的稀疏缩放算子的取值大于等于0且小于等于1。优选地，初始稀疏缩放算子的取值接近1，例如可以直接取值为1。
优选地，所述训练单元62，具体包括目标函数构建模块、训练模块和确定模块，其中：
目标函数构建模块，用于构建初始神经网络对应的目标函数，所述目标函数包含损失函数和稀疏正则函数；
训练模块，用于采用所述训练样本数据对所述初始神经网络进行迭代训练；
确定模块，用于当迭代训练次数达到阈值或者所述目标函数满足预置的收敛条件时，得到所述中间神经网络。
优选地，所述训练模块具体用于：对所述初始神经网络进行多次以下的迭代训练(该一次迭代训练为非首次和非尾次迭代训练)：将前一次迭代训练得到的稀疏缩放算子作为所述目标函数的常量，将所述权重作为所述目标函数的变量，采用第一优化算法对所述目标函数进行优化，得到本次迭代训练的权重；将本次迭代训练的权重作为所述目标函数的常量，将稀疏缩放算子作为所述目标函数的变量，采用第二优化算法对所述目标函数进行优化，得到本次迭代训练的稀疏缩放算子；基于本次迭代训练的权重和稀疏缩放算子进行下一次迭代训练。
首次迭代训练过程如下：将初始稀疏缩放算子作为所述目标函数的常量，将所述权重作为所述目标函数的变量，采用第一优化算法对所述目标函数进行优化，得到本次迭代训练的权重；将本次迭代训练的权重作为所述目标函数的常量，将稀疏缩放算子作为所述目标函数的变量，采用第二优化算法对所述目标函数进行优化，得到本次迭代训练的稀疏缩放算子；基于本次迭代训练的权重和稀疏缩放算子进行第二次迭代训练。
尾次迭代训练过程如下：将前一次迭代训练得到的稀疏缩放算子作为所述目标函数的常量，将所述权重作为所述目标函数的变量，采用第一优化算法对所述目标函数进行优化，得到本次迭代训练的权重；将本次迭代训练的权重作为所述目标函数的常量，将稀疏缩放算子作为所述目标函数的变量，采用第二优化算法对所述目标函数进行优化，得到本次迭代训练的稀疏缩放算子；将包含本次迭代训练得到的稀疏缩放算子和权重的神经网络作为中间神经网络。
优选地，所述第一优化算法可以为但不仅限于为以下任意一种算法：随机梯度下降算法、引入动量的变种算法。
优选地，所述第二优化算法为加速邻域梯度下降算法、邻域梯度下降算法或者交替方向乘子算法。
优选地，所述目标函数为：
所述W为神经网络的权重，λ为神经网络的稀疏缩放算子向量，N为训练样本数据的数量，
为神经网络在样本数据xi上的损失，
为稀疏正则函数。
优选地，在另一个实施例中，本发明实施例中目标函数包含损失函数、权重正则函数和稀疏正则函数，该目标函数如下：
所述W为神经网络的权重，λ为神经网络的稀疏缩放算子向量，N为训练样本数据的数量，
为神经网络在样本数据xi上的损失，
为权重正则函数，
为稀疏正则函数。
优选地，本发明实施例中
为权重为γ的稀疏正则，即
当然本领域技术人员还可将
设置为更复杂的稀疏约束，例如非凸的稀疏约束。
优选地，所述特定结构为一个神经元；或者，所述特定结构为包含一个以上网络层的模组(例如，特定结构包含两个以上级联的网络层)，且该模组与其他模组并联；或者，所述特定结构为包含一个以上并联模组的模块(例如，特定结构包含两个以上并联的模组)，且该模块的前后端具有跨层连接。
图6所示构建装置得到的神经网络一方面，引入稀疏缩放算子来缩放不同特定结构的输出，不需要在权重上加入新的约束，权重和稀疏缩放算子可进行独立优化，能够提高神经网络的精度，另一方面，稀疏缩放算子为零的特定结构对神经网络的输出结果没有贡献，将稀疏缩放算子为零的特定结构删除，并不影响神经网络的精度，而且还能够精简神经网络以提高神经网络运行速度。
从而该神经网络能够应用在低计算能力处理设备中，对图像数据进行实时的计算机视觉处理，或这对文本数据进行实时的自然语言处理。
在一个示例实施例中提供了一种低计算能力处理设备的数据处理装置，该装置可以用于实时的图像数据处理。该装置包括：至少一个处理器和至少一个存储器，至少一个存储器中存储有至少一条机器可执行指令，至少一个处理器执行至少一条机器可执行指令后执行如下处理：
在实时的计算机视觉处理过程中，获取图像数据；
使用预先设置的神经网络对获取到的图像数据进行计算机视觉处理，得到计算机视觉处理结果。
其中，预先设置的神经网络是通过如图6所示的构建装置获得的目标神经网络。其中，在低计算能力处理设备进行图像数据处理时，图6所示的第一构建单元61可以用于构建得到用于计算机视觉处理的初始神经网络，第二构建单元63可以用于构建得到用于计算机视觉处理的目标神经网络。
该装置可以位于低计算能力处理设备中、是低计算能力设备的一部分，也可以与低计算能力处理设备合一设置。该装置通过预设的神经网络能够在实时的计算机视觉处理过程中，对实时获取的图像数据进行处理。
在一个示例实施例中提供了一种低计算能力处理设备的数据处理装置，该装置可以用于实时的文本数据处理。该装置包括：至少一个处理器和至少一个存储器，至少一个存储器中存储有至少一条机器可执行指令，至少一个处理器执行至少一条机器可执行指令后执行如下处理：
在实时的自然语言处理过程中，获取文本数据；
使用预先设置的神经网络对获取到的文本数据进行自然语言处理，得到自然语言处理结果。
其中，预先设置的神经网络是通过如图6所示的构建装置获得的目标神经网络。其中，在低计算能力处理设备对文本数据进行实时的自然语言处理时，为了与对图像数据进行的实时的计算机视觉处理相区别，图6所示的第一构建单元61可以是第三构建单元(图中未示出)，第二构建单元63可以是第四构建单元(图中未示出)，第三构建单元可以用于构建得到用于自然语言处理的初始神经网络，第四构建单元可以用于构建得到用于自然语言处理的目标神经网络。
该装置可以位于低计算能力处理设备中、是低计算能力设备的一部分，也可以与低计算能力处理设备合一设置。该装置通过预设的神经网络能够在实时的自然语言处理过程中，对实时获取的文本数据进行处理。
以上是本发明的核心思想，为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (16)
1.一种低计算能力处理设备的数据处理方法，其特征在于，包括：
在实时的计算机视觉处理过程中，低计算能力的处理设备获取图像数据；
所述处理设备使用预先设置的神经网络对获取到的图像数据进行计算机视觉处理，得到计算机视觉处理结果；其中，预先设置的神经网络是通过如下处理获得的目标神经网络：
构建实现计算机视觉处理的初始神经网络，所述初始神经网络中预置的多个特定结构分别设置有对应的稀疏缩放算子，其中稀疏缩放算子用于对相应特定结构的输出进行缩放；
采用预置的训练样本数据对所述初始神经网络的权重和特定结构的稀疏缩放算子进行训练，得到中间神经网络；
将所述中间神经网络中稀疏缩放算子为零的特定结构删除，得到实现计算机视觉处理的目标神经网络。
2.根据权利要求1所述的方法，其特征在于，构建实现计算机视觉处理的初始神经网络，具体包括：
选取实现计算机视觉处理的神经网络模型；
确定所述神经网络模型中需要设置稀疏缩放算子的特定结构；
对所述神经网络模型中的特定结构设置初始稀疏缩放算子，得到所述初始神经网络。
3.根据权利要求1所述的方法，其特征在于，采用预置的训练样本数据对所述初始神经网络的权重和特定结构的稀疏缩放算子进行训练，得到中间神经网络，具体包括：
构建初始神经网络对应的目标函数，所述目标函数包含损失函数和稀疏正则函数；
采用所述训练样本数据对所述初始神经网络进行迭代训练；
当迭代训练次数达到阈值或者所述目标函数满足预置的收敛条件时，得到所述中间神经网络。
4.根据权利要求3所述的方法，其特征在于，所述采用所述训练样本数据对所述初始神经网络进行迭代训练，具体包括：
对所述初始神经网络进行多次以下的迭代训练：
将前一次迭代训练得到的稀疏缩放算子作为所述目标函数的常量，将所述权重作为所述目标函数的变量，采用第一优化算法对所述目标函数进行优化，得到本次迭代训练的权重；
将本次迭代训练的权重作为所述目标函数的常量，将稀疏缩放算子作为所述目标函数的变量，采用第二优化算法对所述目标函数进行优化，得到本次迭代训练的稀疏缩放算子；
基于本次迭代训练的权重和稀疏缩放算子进行下一次迭代训练。
5.根据权利要求4所述的方法，其特征在于，所述第二优化算法为加速邻域梯度下降算法、邻域梯度下降算法或者交替方向乘子算法。
6.根据权利要求3所述的方法，其特征在于，所述目标函数为：
所述W为权重，λ为稀疏缩放算子向量，N为样本数据的数量，
为神经网络在样本数据xi上的损失，
为稀疏正则函数。
7.根据权利要求1～6任一项所述的方法，其特征在于，所述特定结构为一个神经元；
或者，所述特定结构为包含一个以上网络层的模组，且该模组与其他模组并联；
或者，所述特定结构为包含一个以上模组的模块，且该模块的前后端具有跨层连接。
8.一种低计算能力处理设备的数据处理装置，其特征在于，包括：至少一个处理器和至少一个存储器，至少一个存储器中存储有至少一条机器可执行指令，至少一个处理器执行至少一条机器可执行指令后执行如下处理：
在实时的计算机视觉处理过程中，获取图像数据；
使用预先设置的神经网络对获取到的图像数据进行计算机视觉处理，得到计算机视觉处理结果；其中，预先设置的神经网络是通过构建装置获得的目标神经网络，构建装置包括：
第一构建单元，用于构建实现计算机视觉处理的初始神经网络，所述初始神经网络中预置的多个特定结构分别设置有对应的稀疏缩放算子，其中稀疏缩放算子用于对相应特定结构的输出进行缩放；
训练单元，用于采用预置的训练样本数据对所述初始神经网络的权重和特定结构的稀疏缩放算子进行训练，得到实现计算机视觉处理的中间神经网络；
第二构建单元，用于将所述中间神经网络中稀疏缩放算子为零的特定结构删除，得到目标神经网络。
9.根据权利要求8所述的装置，其特征在于，所述第一构建单元，具体包括：
选取模块，用于选取实现计算机视觉处理的神经网络模型；
特定结构确定模块，用于确定所述神经网络模型中需要设置稀疏缩放算子的特定结构；
构建模块，用于对所述神经网络模型中的特定结构设置初始稀疏缩放算子，得到所述初始神经网络。
10.根据权利要求8所述的方法，其特征在于，所述训练单元，具体包括：
目标函数构建模块，用于构建初始神经网络对应的目标函数，所述目标函数包含损失函数和稀疏正则函数；
训练模块，用于采用所述训练样本数据对所述初始神经网络进行迭代训练；
确定模块，用于当迭代训练次数达到阈值或者所述目标函数满足预置的收敛条件时，得到所述中间神经网络。
11.根据权利要求10所述的装置，其特征在于，所述训练模块具体用于：
对所述初始神经网络进行多次以下的迭代训练：
将前一次迭代训练得到的稀疏缩放算子作为所述目标函数的常量，将所述权重作为所述目标函数的变量，采用第一优化算法对所述目标函数进行优化，得到本次迭代训练的权重；
将本次迭代训练的权重作为所述目标函数的常量，将稀疏缩放算子作为所述目标函数的变量，采用第二优化算法对所述目标函数进行优化，得到本次迭代训练的稀疏缩放算子；
基于本次迭代训练的权重和稀疏缩放算子进行下一次迭代训练。
12.根据权利要求11所述的装置，其特征在于，所述第二优化算法为加速邻域梯度下降算法、邻域梯度下降算法或者交替方向乘子算法。
13.根据权利要求10所述的装置，其特征在于，所述目标函数为：
所述，W为权重，λ为稀疏缩放算子向量，N为样本数据的数量，
为神经网络在样本数据xi上的损失，
为稀疏正则函数。
14.根据权利要求8～13任一项所述的装置，其特征在于，所述特定结构为一个神经元；
或者，所述特定结构为包含一个以上网络层的模组，且该模组与其他模组并联；
或者，所述特定结构为包含一个以上模组的模块，且该模块的前后端具有跨层连接。
15.一种低计算能力处理设备的数据处理方法，其特征在于，包括：
在实时的自然语言处理过程中，低计算能力的处理设备获取文本数据；
所述处理设备使用预先设置的神经网络对获取到的文本数据进行自然语言处理，得到自然语言处理结果；其中，预先设置的神经网络是通过如下处理获得的目标神经网络：
构建实现自然语言处理的初始神经网络，所述初始神经网络中预置的多个特定结构分别设置有对应的稀疏缩放算子，其中稀疏缩放算子用于对相应特定结构的输出进行缩放；
采用预置的训练样本数据对所述初始神经网络的权重和特定结构的稀疏缩放算子进行训练，得到中间神经网络；
将所述中间神经网络中稀疏缩放算子为零的特定结构删除，得到实现自然语言处理的目标神经网络。
16.一种低计算能力处理设备的数据处理装置，其特征在于，包括：至少一个处理器和至少一个存储器，至少一个存储器中存储有至少一条机器可执行指令，至少一个处理器执行至少一条机器可执行指令后执行如下处理：
在实时的自然语言处理过程中，获取文本数据；
使用预先设置的神经网络对获取到的文本数据进行自然语言处理，得到自然语言处理结果；其中，预先设置的神经网络是通过构建装置获得的目标神经网络，构建装置包括：
第三构建单元，用于构建实现自然语言处理的初始神经网络，所述初始神经网络中预置的多个特定结构分别设置有对应的稀疏缩放算子，其中稀疏缩放算子用于对相应特定结构的输出进行缩放；
训练单元，用于采用预置的训练样本数据对所述初始神经网络的权重和特定结构的稀疏缩放算子进行训练，得到中间神经网络；
第四构建单元，用于将所述中间神经网络中稀疏缩放算子为零的特定结构删除，得到实现自然语言处理的目标神经网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010011285.4A CN111178520B (zh) | 2017-06-15 | 2017-06-15 | 一种构建神经网络的方法及装置 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710450550.7A CN107247991A (zh) | 2017-06-15 | 2017-06-15 | 一种构建神经网络的方法及装置 |
| CN202010011285.4A CN111178520B (zh) | 2017-06-15 | 2017-06-15 | 一种构建神经网络的方法及装置 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710450550.7A Division CN107247991A (zh) | 2017-06-15 | 2017-06-15 | 一种构建神经网络的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111178520A true CN111178520A (zh) | 2020-05-19 |
| CN111178520B CN111178520B (zh) | 2024-06-07 |
Family
ID=60019020
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710450550.7A Pending CN107247991A (zh) | 2017-06-15 | 2017-06-15 | 一种构建神经网络的方法及装置 |
| CN202010011285.4A Active CN111178520B (zh) | 2017-06-15 | 2017-06-15 | 一种构建神经网络的方法及装置 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710450550.7A Pending CN107247991A (zh) | 2017-06-15 | 2017-06-15 | 一种构建神经网络的方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (2) | CN107247991A (zh) |
| WO (1) | WO2018227801A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113673694A (zh) * | 2021-05-26 | 2021-11-19 | 阿里巴巴新加坡控股有限公司 | 数据处理方法及装置、电子设备和计算机可读存储介质 |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11651223B2 (en) | 2017-10-27 | 2023-05-16 | Baidu Usa Llc | Systems and methods for block-sparse recurrent neural networks |
| US11461628B2 (en) * | 2017-11-03 | 2022-10-04 | Samsung Electronics Co., Ltd. | Method for optimizing neural networks |
| CN108805258B (zh) * | 2018-05-23 | 2021-10-12 | 北京图森智途科技有限公司 | 一种神经网络训练方法及其装置、计算机服务器 |
| CN109284820A (zh) * | 2018-10-26 | 2019-01-29 | 北京图森未来科技有限公司 | 一种深度神经网络的结构搜索方法及装置 |
| CN109840588B (zh) * | 2019-01-04 | 2023-09-08 | 平安科技（深圳）有限公司 | 神经网络模型训练方法、装置、计算机设备及存储介质 |
| CN110472400B (zh) * | 2019-08-22 | 2021-06-01 | 浪潮集团有限公司 | 一种基于人脸识别的可信计算机***及实现方法 |
| CN110751267B (zh) * | 2019-09-30 | 2021-03-30 | 京东城市(北京)数字科技有限公司 | 神经网络的结构搜索方法、训练方法、装置及存储介质 |
| CN111985644B (zh) * | 2020-08-28 | 2024-03-08 | 北京市商汤科技开发有限公司 | 神经网络生成方法及装置、电子设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006001121A1 (ja) * | 2004-06-25 | 2006-01-05 | Shin Caterpillar Mitsubishi Ltd. | データ圧縮装置及び方法，データ解析装置及び方法並びにデータ管理システム |
| CN104200224A (zh) * | 2014-08-28 | 2014-12-10 | 西北工业大学 | 基于深度卷积神经网络的无价值图像去除方法 |
| CN104751842A (zh) * | 2013-12-31 | 2015-07-01 | 安徽科大讯飞信息科技股份有限公司 | 深度神经网络的优化方法及*** |
| CN106295794A (zh) * | 2016-07-27 | 2017-01-04 | 中国石油大学(华东) | 基于光滑Group Lasso惩罚项的分数阶的神经网络建模方法 |
| CN106503654A (zh) * | 2016-10-24 | 2017-03-15 | 中国地质大学（武汉） | 一种基于深度稀疏自编码网络的人脸情感识别方法 |
| CN106548234A (zh) * | 2016-11-17 | 2017-03-29 | 北京图森互联科技有限责任公司 | 一种神经网络剪枝方法及装置 |
| CN106650928A (zh) * | 2016-10-11 | 2017-05-10 | 广州视源电子科技股份有限公司 | 一种神经网络的优化方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103793694B (zh) * | 2014-02-10 | 2017-02-08 | 天津大学 | 一种基于多特征空间稀疏分类器的人脸识别方法 |
| CN106548192B (zh) * | 2016-09-23 | 2019-08-09 | 北京市商汤科技开发有限公司 | 基于神经网络的图像处理方法、装置和电子设备 |
-
2017
- 2017-06-15 CN CN201710450550.7A patent/CN107247991A/zh active Pending
- 2017-06-15 CN CN202010011285.4A patent/CN111178520B/zh active Active
- 2017-09-18 WO PCT/CN2017/102033 patent/WO2018227801A1/zh active Application Filing
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006001121A1 (ja) * | 2004-06-25 | 2006-01-05 | Shin Caterpillar Mitsubishi Ltd. | データ圧縮装置及び方法，データ解析装置及び方法並びにデータ管理システム |
| CN104751842A (zh) * | 2013-12-31 | 2015-07-01 | 安徽科大讯飞信息科技股份有限公司 | 深度神经网络的优化方法及*** |
| CN104200224A (zh) * | 2014-08-28 | 2014-12-10 | 西北工业大学 | 基于深度卷积神经网络的无价值图像去除方法 |
| CN106295794A (zh) * | 2016-07-27 | 2017-01-04 | 中国石油大学(华东) | 基于光滑Group Lasso惩罚项的分数阶的神经网络建模方法 |
| CN106650928A (zh) * | 2016-10-11 | 2017-05-10 | 广州视源电子科技股份有限公司 | 一种神经网络的优化方法及装置 |
| CN106503654A (zh) * | 2016-10-24 | 2017-03-15 | 中国地质大学（武汉） | 一种基于深度稀疏自编码网络的人脸情感识别方法 |
| CN106548234A (zh) * | 2016-11-17 | 2017-03-29 | 北京图森互联科技有限责任公司 | 一种神经网络剪枝方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| JIN-KYU KIM等: "An efficient pruning and weight sharing method for neural network", 2016 IEEE INTERNATIONAL CONFERENCE ON CONSUMER ELECTRONICS-ASIA (ICCE-ASIA), 5 January 2017 (2017-01-05) * |
| 李鸣;张鸿;: "基于卷积神经网络迭代优化的图像分类算法", 计算机工程与设计, no. 01 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113673694A (zh) * | 2021-05-26 | 2021-11-19 | 阿里巴巴新加坡控股有限公司 | 数据处理方法及装置、电子设备和计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111178520B (zh) | 2024-06-07 |
| WO2018227801A1 (zh) | 2018-12-20 |
| CN107247991A (zh) | 2017-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111178520A (zh) | 一种低计算能力处理设备的数据处理方法及装置 | |
| US11870947B2 (en) | Generating images using neural networks | |
| US11651259B2 (en) | Neural architecture search for convolutional neural networks | |
| KR102318772B1 (ko) | 도메인 분리 뉴럴 네트워크들 | |
| CN111414987B (zh) | 神经网络的训练方法、训练装置和电子设备 | |
| US10380479B2 (en) | Acceleration of convolutional neural network training using stochastic perforation | |
| JP7439151B2 (ja) | ニューラルアーキテクチャ検索 | |
| US20180018555A1 (en) | System and method for building artificial neural network architectures | |
| CN114503121A (zh) | 资源约束的神经网络架构搜索 | |
| EP3340129A1 (en) | Artificial neural network class-based pruning | |
| US11144782B2 (en) | Generating video frames using neural networks | |
| CN110622178A (zh) | 学习神经网络结构 | |
| US20230196202A1 (en) | System and method for automatic building of learning machines using learning machines | |
| WO2021042857A1 (zh) | 图像分割模型的处理方法和处理装置 | |
| CN110956655B (zh) | 一种基于单目图像的稠密深度估计方法 | |
| WO2020152233A1 (en) | Action selection using interaction history graphs | |
| CN111008631B (zh) | 图像的关联方法及装置、存储介质和电子装置 | |
| CN114282666A (zh) | 基于局部稀疏约束的结构化剪枝方法和装置 | |
| CN106204597A (zh) | 一种基于自步式弱监督学习的视频物体分割方法 | |
| CN113723603A (zh) | 一种更新参数的方法、装置及存储介质 | |
| Huai et al. | Zerobn: Learning compact neural networks for latency-critical edge systems | |
| CN113705724B (zh) | 基于自适应l-bfgs算法的深度神经网络的批量学习方法 | |
| CN106407932A (zh) | 基于分数阶微积分与广义逆神经网络的手写数字识别方法 | |
| CN111488980B (zh) | 优化采样的神经网络的设备上持续学习方法及装置 | |
| CN114817513B (zh) | 一种文本答案的确定方法、装置、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |