CN108416423A - 用于神经网络修剪和再训练的自动阈值 - Google Patents

Abstract

实施例包括一种方法，该方法包括：使用阈值对具有多个层的神经网络的层进行修剪；以及使用不同的阈值来重复对所述神经网络的所述层进行修剪，直到经修剪的层的修剪误差达到修剪误差容限为止。

Description

用于神经网络修剪和再训练的自动阈值

相关申请的交叉引用

本申请要求于2017年2月10日提交的美国临时专利申请No.62/457,806的优先权，针对所有目的将其内容以全文引用的方式并入本文。

技术领域

本公开涉及神经网络的修剪和再训练，特别是使用自动阈值对神经网络进行修剪和再训练。

背景技术

深度学习架构，尤其是卷积深度神经网络已经用于人工智能(AI)和计算机视觉领域。这些架构已经展示出对于包括视觉对象识别、检测和分割在内的任务产生了结果。然而，这些架构可能具有大量的参数，导致较高的计算负载和增加的功耗。

发明内容

实施例包括一种方法，该方法包括：使用阈值对具有多个层的神经网络的层进行修剪；以及使用不同的阈值来重复对所述神经网络的所述层进行修剪，直到经修剪的层的修剪误差达到修剪误差容限为止。

实施例包括一种方法，该方法包括：重复以下步骤：使用自动确定的阈值对神经网络的多个层进行修剪；以及仅使用修剪之后保留的权重对所述神经网络进行再训练。

实施例包括一种***，该***包括：存储器；以及处理器，耦接到所述存储器并被配置为：使用阈值对具有多个层的神经网络的层进行修剪；以及使用不同的阈值来重复对所述神经网络的所述层进行修剪，直到经修剪的层的修剪误差达到修剪误差容限为止。

附图说明

图1A～图1B是根据一些实施例的用于自动确定阈值的技术的流程图。

图2是根据一些实施例的再训练操作的流程图。

图3A～图3B是根据一些实施例的再训练操作的流程图。

图4是根据一些实施例的自动确定阈值、修剪和再训练的技术的流程图。

图5是示出了根据一些实施例的再训练操作的一组曲线。

图6是包括根据一些实施例的修剪和再训练之后的各种神经网络的结果在内的图表。

图7A～图7C是包括根据一些实施例的修剪神经网络的各种技术的结果在内的图表。

图8是根据一些实施例的***。

具体实施方式

实施例涉及对神经网络的修剪和再训练，特别是使用自动阈值对神经网络的修剪和再训练。呈现以下描述以使得本领域普通技术人员能够实现和使用实施例，并且在专利申请及其要求的上下文中提供以下描述。对本文描述的实施例和一般原理和特征的各种修改将是显而易见的。主要在具体实施方式中提供的具体方法、设备和***的意义下来描述实施例。

然而，各方法、设备和***将在其他实施方式中有效地运行。诸如“实施例”、“一个实施例”和“另一个实施例”之类的短语可以指代相同或不同的实施例以及多个实施例。将针对具有特定组件的***和/或设备来描述实施例。然而，***和/或设备可以包括比所示组件更多或更少的组件，并且在不脱离本公开范围的情况下可以进行对组件的布置和类型的变化。还将在具有某些操作的具体方法的上下文中描述实施例。然而，各方法和***可以根据具有不同和/或附加操作的、和与实施例不矛盾的不同顺序和/或并行的操作的其他方法来操作。因此，实施例并不预期被局限于所示的具体实施例，而应赋予与本文描述的原理和特征一致的最宽范围。

在具有某些组件的特定***或设备的上下文中描述实施例。本领域的普通技术人员将容易认识到实施例与使用具有其他和/或附加组件和/或其他特征的***或设备一致。方法、设备和***也可以在单个元素的上下文中描述。然而，本领域的普通技术人员将容易认识到：这些方法和***与使用具有多个元件的架构一致。

本领域技术人员将会理解：通常本文中以及尤其是在所附权利要求(例如，所附权利要求的正文)中使用的术语通常预期为“开放式”术语(例如，术语“包括”应解释为“包括但不限于”，术语“具有”应解释为“至少具有”，术语“包括”应被释为“包括但不限于”等)。本领域技术人员将会进一步理解：如果意图介绍具体数量的引入的权利要求陈述，则这样的意图将在权利要求中明确地陈述，并且在没有这样的陈述的情况下，不存在这样的意图。例如，作为对理解的帮助，以下所附权利要求可以包含对引导短语“至少一个”和“一个或多个”的使用以引入权利要求陈述。然而，甚至当相同的权利要求包括引导短语“一个或多个”或“至少一个”以及诸如“a”或“an”之类的不定冠词(例如，“a”和/或“an”应解释为意味着“至少一个”或“一个或多个”)时，对这种短语的使用也不应该解释为暗示由不定冠词“a”或“an”引入的权利要求陈述将包含这样引入的权利要求陈述在内的任何特定权利要求限制为仅包含一个这种陈述在内的示例；对于使用用于引入权利要求陈述的定冠词也是如此。此外，在使用类似于“A、B或C等中的至少一个”的惯例的那些情况下，通常这样的构造旨在于本领域技术人员将理解该惯例的意义(例如，“具有A、B或C中的至少一个的***”将包括但不限于仅具有A、仅具有B、仅具有C、一起具有A和B、一起具有A和C、一起具有B和C、和/或一起具有A、B和C等的***)。本领域技术人员将会进一步理解：无论是在说明书、权利要求书还是附图中，实际上任何呈现两个或更多个备选术语的分离词语(disjunctive word)和/或短语都应该被理解为考虑包括术语之一、术语的任一个、或全部两个术语在内的可能性。例如，短语“A或B”将被理解为包括“A”或“B”或“A和B”的可能性。

在一些实施例中，神经网络(诸如深度学***，同时减小神经网络硬件上的负载。在一些实施例中，为了减小神经网络的参数大小，可以对神经网络进行修剪以使许多参数为零。然而，问题在于如何为神经网络的每一层设置良好的阈值以尽可能地对网络进行修剪，但是同时又维持其原有的性能。对于由数十层组成的神经网络来说，暴力搜索阈值可能并不实际，特别是考虑到一层的阈值可能取决于其他层。此外，修剪可能要求对网络进行再训练以恢复到原来的性能。这种修剪过程可能花费相当长的时间才能被验证为有效的。如本文所述的，在各种实施例中，可以将对阈值的自动选择连同对网络进行再训练的方法一起用来对神经网络进行修剪以减少参数。

图1A是根据一些实施例的用于自动确定阈值的技术的流程图。在100中，初始化用于对神经网络的层进行修剪的阈值。在一些实施例中，可以将阈值初始化为值的范围的极端，例如0或l。在其他实施例中，可以将阈值初始化为诸如0.2、0.5等的特定值。在其它实施例中，阈值可以被设置为随机的值。在其它实施例中，可以使用经验规则来确定阈值。在一些实施例中，阈值可以被设置为针对另一层(诸如类似情形的层(similarly situatedlayer)或具有相似或相同类型的层)来自动确定的值。在一些实施例中，初始阈值可以对于神经网络的所有层是相同的；然而，在其他实施例中，阈值对于一些层或对于每一层可以是不同的。

在102中，使用阈值对神经网络的层进行修剪。例如，把阈值用于将该层的一些权重设置为零。在104中，针对经修剪的层来计算修剪误差。修剪误差是修剪之前和之后的权重的函数。

在106中，将修剪误差(PE)与修剪误差容限(PEA)进行比较。在一些实施例中，如果修剪误差等于修剪误差容限，则修剪误差可能已经达到修剪误差容限。然而在其他实施例中，如果修剪误差在包括修剪误差容限在内的范围内，则修剪误差可能已经达到修剪误差容限。备选地，修剪误差容限可能是可接受的修剪误差的范围。例如，可以使用相对较小的数来限定高于和低于具体的修剪误差容限的范围。如果修剪误差和修剪误差容限的分离程度小于相对较小的数，则认为修剪误差在修剪误差容限处。

如果修剪误差还没有达到修剪误差容限，则在108中改变阈值。可以以各种方式来执行改变阈值。例如，可以将阈值改变固定的量。在其他实施例中，阈值可以改变基于修剪误差和修剪误差容限的差的量。在其他实施例中，阈值可以改变基于当前阈值的量。在其他实施例中，可以使用诸如二分搜索或其他类型搜索之类的搜索技术来选择另一个阈值。改变阈值的技术可以(但不需要)是对于所有层相同的技术。

与如何改变无关，在108中改变阈值之后，该过程通过在102中对层进行修剪并在104中计算修剪误差来重复。将修剪误差再次与修剪误差容限进行比较，以确定修剪误差是否已经达到修剪误差容限。因此，使用不同的阈值来重复对神经网络的层的修剪，直到修剪误差达到修剪误差容限为止。

图1B是根据一些实施例的用于自动确定阈值的技术的流程图。在该实施例中，修剪技术类似于图1A的修剪技术。将省略对类似操作的描述。在一些实施例中，在101中对修剪误差容限进行初始化。在其他实施例中，可以对非零权重的百分比或百分比的范围进行初始化。在其他实施例中，可以对阈值、修剪误差容限以及非零权重的百分比或百分比范围的组合进行初始化。可以使用与上述针对初始化阈值来描述的技术相类似的技术对修剪误差容限和/或非零权重的百分比或百分比范围进行初始化。

在110中，在修剪误差达到修剪误差容限之后，计算非零权重的百分比并将其与可接受的百分比或非零权重的百分比范围进行比较。在该实施例中，将修剪权重的数量表示为百分比；然而在其他实施例中，可以用不同方式来表示修剪权重的数量。尽管已经使用非零权重的百分比作为示例，在其他实施例中可以使用修剪权重的百分比并将其与对应的范围或值进行比较。

如果修剪权重的百分比不在针对该层的范围内，则在112中，改变修剪误差容限。可以使用如上面针对108中改变阈值所描述的技术来改变修剪误差容限。用于改变阈值的相同或不同的技术也可以用来改变修剪误差容限。改变修剪误差容限的技术可以(但不需要)是针对所有层的相同技术。

在修剪误差容限已经改变之后，可以在102中再次修剪该层。可以执行后续操作，直到修剪权重的百分比在可接受量的范围内为止。在114中，可以类似地处理下一层。因此，这种过程可以针对神经网络的每一层重复。

使用根据一些实施例的技术允许单个阈值和/或单个修剪误差容限对神经网络的所有层进行修剪。但是，每个层最终都将具有基于特定层的自动确定的阈值。如果将固定阈值用于两个层到所有的层，则阈值对于那些层中的一个或多个层可能不是最优的。此外，由于根据一些实施例的修剪技术关注于单独的层上，因此可以针对该层专门地确定阈值。

在一些实施例中，非零权重的百分比可以是用于对神经网络进行修剪的单一控制或单一类型的控制。如上所述，修剪误差容限将改变，直到非零权重的百分比在期望的范围内为止。类似地，阈值改变，直到修剪误差达到修剪误差容限为止。因此，通过设置非零权重的百分比，修剪误差容限和阈值将改变以达到所需的百分比。

在一些实施例中，也可以对修剪误差容限和/或阈值进行初始化。例如，可以对修剪误差容限进行初始化，以将操作的结果偏置到非零权重的百分比范围的具体一侧或者该范围内的具***置。

在一些实施例中，阈值可以如下确定。对修剪误差容限ε^*进行初始化。对于每一个层1，使用如上所述的技术对阈值T₁进行初始化。使用阈值T₁，对层1的每一个权重W_i进行修剪。公式1是可以如何对权重进行修剪的示例。

在一些实施例中，可以通过缩放因子对阈值T₁进行缩放。这里，可以通过σ(w)对阈值T₁进行缩放。σ(w)是该层内的所有权重的标准差。然而在其他实施例中，可以通过不同的缩放因子对阈值T₁进行缩放。

一旦对该层进行了修剪，计算修剪误差ε。公式2是如何计算修剪误差的示例。

D(w)-||w_pruned||₀ (2)

这里，w_pruned是修剪权重的向量，而w是修剪之前的原始权重的向量。D(w)是w的总长度。因此，所得到的修剪误差ε基于误差的量以及经修剪的权重的数量。

可以将修剪误差ε与修剪误差容限ε^*进行比较。公式3是比较的示例。

|ε-ε^*|＞θ (3)

这里，θ是限定以定义了以修剪误差容限ε^*为中心的范围的数。在一些实施例中，θ是0；然而在其他实施例中，θ是相对较小的数。在其他实施例中，θ是限定了范围的大小的数。

如果修剪误差ε与修剪误差容限ε^*之差小于θ，则修剪误差ε已经达到修剪误差容限ε^*。如果没有小于，则阈值T₁可以如公式4所述地改变。

这里，ζ是常数，可以将阈值T₁改变该常数。如上所述，在其他实施例中，阈值T₁可以按照不同的方式改变。例如，ζ可以是在每一次迭代以因子2来渐进式减小的值。不管怎样，一旦改变了阈值T₁，可以如上所述地执行使用经更新的阈值T₁的修剪和后续步骤。

如果修剪误差ε已经达到修剪误差容限ε^*，可以检查非零权重的百分比。公式5是计算百分比p的示例。

然后将百分比p与可接受百分比的范围进行比较。在一些实施例中，可接受百分比的范围可以是相同的；然而在其他实施例中，范围可以是不同的。具体地，范围可以取决于层的类型。例如，对于卷积型层，百分比p的范围可以在0.2和0.9之间，而对于其他层(例如全连接层)，范围可以在0.04和0.2之间。

如果百分比p小于针对该层的范围的下端，则修剪误差容限ε^*如公式6那样减小。类似地，如果百分比大于针对该层的范围的上端，则修剪误差容限ε^*如公式7那样增加。

ε^*＝ε^*-τ (6)

ε^*＝ε^*+τ (7)

在误差容限ε^*改变之后，可以重复上述修剪，直到修剪误差ε已经达到新的修剪误差容限ε^*为止。在一些实施例中，可以保持前一次迭代的阈值T₁；然而在其他实施例中，阈值T₁可以是不同的，例如被初始化为原始初始值或者根据初始化算法进行初始化。例如，可以将用于下一次迭代的阈值T₁初始化为基于过去的阈值T₁、但是沿预期减小修剪迭代次数的方向调节的值，以达到新的修剪误差容限ε^*。

上述技术可以重复，直到该百分比p在针对该层的可接受范围内为止。可以针对神经网络的其他层重复操作。在一些实施例中，可以在取决于或者不取决于在先修剪的层的情况下选择诸如修剪误差容限ε^*和初始阈值T₁之类的各种值。例如，对于两种类似情形的层，较后修剪的层可以使用来自较早修剪的层的作为结果的修剪误差容限ε^*和阈值T₁。

因此通过根据本文描述的技术进行修剪，在一些实施例中，可以自动确定每层的修剪阈值。也就是说，可以将阈值确定为满足经修剪的层保留的非零权重的特定范围和/或特定的修剪误差容限。取决于具体的层，阈值对于一个或多个层(包括所有层)可以不同。

图2是根据一些实施例的再训练操作的流程图。在200中，可以初始化各种参数。例如，可以初始化基本学习率、用于迭代次数的计数器等。

在202中，使用自动确定的阈值对神经网络的层进行修剪。具体地，可以如上所述自动地生成针对层的阈值。在一些实施例中，可以对所有的层进行修剪；然而如将在下面进一步详细描述的，在一些实施例中，可以对少于全部的层进行修剪。

作为修剪的结果，具有非零权重的神经网络保留。在204中，使用那些非零权重对神经网络进行再训练。重复修剪和再训练操作，直到完成所需的迭代次数为止。例如，在206中，可以将迭代的次数与所需的次数进行比较。如果迭代次数还没有达到所需的次数，则可以重复修剪和再训练。

图3A～图3B是根据一些实施例的再训练操作的流程图。参考图3A，在300中可以与如上所述200中的那些类似地初始化各种参数。在302中，针对卷积型(CONV)层使用自动确定的阈值对那些层进行修剪。尽管已经使用卷积型层作为示例，但是在其他实施例中，可以对不同类型或者包含小于所有层在内的其他子集进行修剪。

在304中，使用非零权重对神经网络进行再训练。在一些实施例中，再训练继续进行特定次数的迭代。在其他实施例中，再训练继续进行，直到再训练已经覆盖了所有的训练样本集合为止。

在306中，将迭代次数与阈值进行比较。如果迭代次数小于阈值，则重复302和304中的修剪和再训练。具体而言，在304中的再训练之后，当执行302中的修剪时，之前在较早的修剪操作中存活的一些非零权重可能已经降低到相关联层的修剪阈值以下。因此，那些权重可以设置为零，并且在304中再训练保留的非零权重。

如果在306中迭代次数已经达到阈值，则在308中对神经网络中具有与在302中修剪的层不同类型的层集合进行固定。也就是说，在304中的后续再训练期间，不对固定的层进行再训练。在一些实施例中，全连接(FC)和输入(IP)层是固定的。可以重复302中的修剪和304中的再训练，直到在310中完成了所需次数的迭代为止。

参考图3B，在312中，在图3A的302中正在被修剪的层是固定的。在该示例中，卷积型层是在302中被修剪的层。因此，在312中固定了卷积型层。

在314中，使用与层相关联的自动确定的阈值对在308中固定的层进行修剪。在该示例中，该层是作为在步骤308中固定的层的FC/IP层。

在316中，可以基于修剪率来调节再训练的退出率。具体地，由于修剪可以反映权重的减少数量，所以可以相应地改变退出率以适应较低数量的非零权重。

在318中，对神经网络进行再训练。然而，在321中，将卷积型层进行固定。因此，不对这些层进行再训练。在320中，如果迭代次数尚未完成，则重复314和318中的修剪和再训练。

在一些实施例中，除了图3A中的300中的初始化之外，可以不执行图3A中的其余操作。也就是说，操作可以在312处开始，其中对卷积型层进行固定。在一些实施例中，可以在对层进行固定之前使用各自自动确定的阈值对卷积型层进行修剪。

尽管已经使用具体类型的层作为进行修剪、再训练和固定的层的示例，在其他实施例中，类型可以是不同的。此外，在一些实施例中，在302中进行修剪且在312中进行固定的第一层集合以及在308中进行固定在314中进行修剪的第二层集合可以形成整个层集合。然而在其他实施例中，对其他层集合的修剪、再训练和固定可以不遵循用于第一集合或第二集合的技术。例如，可以在302中对第三层集合进行修剪，但是在312中不进行固定。

图4是根据一些实施例的自动确定阈值、修剪和再训练的技术的流程图。在一些实施例中，在400中，自动确定修剪阈值。可以如上所述自动确定阈值。在402中，那些自动确定的阈值用于对神经网络进行修剪和再训练。在一些实施例中，可以通过多次迭代在400中自动确定阈值。在这些迭代完成之后，在402中，所得到的阈值用于对神经网络迭代地进行修剪和再训练。

图5是示出了根据一些实施例的再训练操作的一组曲线。这些曲线图说明了对GoogLeNet神经网络的修剪和再训练。具体地，曲线图示出了损耗变化、顶级-1准确度和顶级-2准确度。这里示出了两个修剪操作，一个在第一训练迭代之前，而第二个已经执行了一定量的训练迭代之后。尽管示出了两个修剪操作，但是可以执行任何数量的修剪操作。

图6是包括根据一些实施例的修剪和再训练之后的各种神经网络的结果在内的图表。具体地，针对各种神经网络和那些网络的经修剪版本，描述了权重参数的大小变化、顶级-1准确度和顶级-5准确度。这里列举了AlexNet、VGG16、SqueezeNet和GoogLeNet，以及AlexNet和VGG16的经修剪版本。具体地，经修剪的GoogLeNet条目示出了如本文所述修剪的GoogLeNet的训练和推理网络。如所述的，如本文所述修剪的GoogLeNet具有能够提供更高准确度的神经网络的最小尺寸的权重参数。具体地，经修剪的训练和推理神经网络在权重参数最小的情况下都能够实现超过89％的顶级-5准确度。

图7A～图7C是包括根据一些实施例的修剪神经网络的各种技术的结果在内的图表。这些图表列出了GoogLeNet神经网络的层和子层以及各种修剪技术的结果。示出了预先固定(prefix)阈值的两个实例，包括修剪后的得到的总权重以及顶级-1和顶级-5性能。另一个实例说明了使用经验规则产生的阈值的结果。最终，最后一个实例示出了根据本文描述的实施例的修剪结果。该结果示出了如本文所述的修剪可以实现可与未修剪网络相当的准确度，且具有比预先固定阈值更少的权重。针对由经验规则产生的阈值，本文描述的修剪实现了在具有相似总权重的情况下相似或更高的准确度。然而，可以在不要求用于预先选择修剪阈值的选择技术或规则的情况下执行本文描述的修剪。也就是说，不需要执行具有预先固定阈值的多次迭代，并且可能不需要用于生成规则的经验信息而可以实现类似和/或更好的结果。

图8示出了根据一些实施例的***。***800包括处理器802和存储器804。处理器802可以是通用处理器、数字信号处理器(DSP)、专用集成电路、微控制器、可编程逻辑器件、分立电路、这些器件的组合等。处理器802可以包括内部部分，例如寄存器、高速缓存存储器、处理核心等，并且还可以包括外部接口，例如地址和数据总线接口、中断接口等。尽管在***800中仅示出了一个处理器802，可以存在多个处理器802。另外，诸如逻辑芯片组、集线器、存储器控制器、通信接口等的其他接口设备可以是***800的一部分，以将处理器802连接到内部和外部组件。

存储器804可以是能够存储数据的任何器件。这里，针对***800示出了一个存储器804；然而，***800中可以包括任何数量的存储器804，包括不同类型的存储器。存储器804的示例包括动态随机存取存储器(DRAM)模块、根据诸如DDR、DDR2、DDR3、DDR4之类的各种标准的双倍数据率同步动态随机存取存储器(DDR SDRAM)、静态随机存取存储器(SRAM)、诸如闪存之类的非易失性存储器、自旋转移扭矩磁阻随机存取存储器(STT-MRAM)或相变RAM、磁或光学介质等。

存储器804可以被配置为存储代码，该代码在处理器802上执行时使得***800实现本文所描述的技术中的任一个或全部技术。在一些实施例中，***800可以被配置为接收输入806，诸如神经网络、初始阈值、初始修剪误差容限、可接受的修剪百分比范围等。输出808可以包括自动确定的阈值、经修剪和再训练的神经网络、或上面描述的其他结果信息。

尽管已经根据特定实施例描述了方法和***，但是本领域普通技术人员将容易认识到可以对所公开的实施例进行许多变化，并且因此任何变化都应该被认为是在本文公开的方法和***的精神和范围内。因此，在不脱离所附权利要求的精神和范围的情况下，本领域的普通技术人员可以做出许多修改。

Claims (20)

1.一种方法，包括：

使用阈值对具有多个层的神经网络的层进行修剪；以及

使用不同的阈值重复对所述神经网络的所述层进行修剪，直到经修剪的层的修剪误差达到修剪误差容限为止。

2.根据权利要求1所述的方法，还包括针对所述神经网络的每个层：

初始化所述修剪误差容限；

初始化所述阈值；以及

重复以下步骤，直到针对所述层的修剪权重的百分比在针对所述层的范围内为止：

重复以下步骤，直到所述修剪误差达到所述修剪误差容限为止：

使用所述阈值对所述神经网络的所述层进行修剪；

计算经修剪的层的修剪误差；

将所述修剪误差与所述修剪误差容限进行比较；以及

响应于所述比较来改变所述阈值；

计算经修剪的层的修剪权重的百分比；以及

响应于所述修剪权重的百分比来改变所述修剪误差容限。

3.根据权利要求1所述的方法，还包括：

使用不同的修剪误差容限来重复对所述层重复进行修剪，直到针对所述层的修剪权重的百分比在针对所述层的范围内为止。

4.根据权利要求3所述的方法，其中，所述神经网络的不同类型的层针对所述修剪权重的百分比具有不同的范围。

5.根据权利要求1所述的方法，其中，对所述神经网络的所述层进行修剪包括：如果权重的量值小于所述阈值，则将所述权重设置为零。

6.根据权利要求1所述的方法，其中，对所述神经网络的所述层进行修剪包括：如果权重的量值小于按缩放因子缩放的所述阈值，则将所述权重设置为零。

7.根据权利要求6所述的方法，其中，所述缩放因子是所述层的权重的标准差。

8.根据权利要求1所述的方法，还包括：通过将权重误差的量值除以经修剪的权重的数量来计算所述修剪误差。

9.根据权利要求1所述的方法，还包括进行以下操作以产生所述不同的阈值：

如果所述修剪误差小于所述修剪误差容限，则增加所述阈值；以及

如果所述修剪误差大于所述修剪误差容限，则降低所述阈值。

10.根据权利要求1所述的方法，还包括：对于所述神经网络的每一层执行重复对所述神经网络的层进行修剪。

11.根据权利要求1所述的方法，还包括：在经修剪的层的修剪误差达到所述修剪误差容限之后，使用所述阈值迭代地对所述神经网络进行修剪和再训练。

12.一种方法，包括：

重复以下步骤：

使用自动确定的阈值对神经网络的多个层进行修剪；以及

仅使用修剪之后保留的权重对所述神经网络进行再训练。

13.根据权利要求12所述的方法，其中，对所述神经网络的层进行修剪包括：使用自动确定的阈值对所述神经网络的具有第一类型的层进行修剪。

14.根据权利要求13所述的方法，还包括：

将所述神经网络的具有与所述第一类型不同的第二类型的层的权重进行固定；

重复以下步骤：

对具有所述第一类型的层进行修剪；以及

仅使用修剪之后保留的权重对所述神经网络进行再训练；

将所述神经网络的具有所述第一类型的层的权重进行固定；以及

重复以下步骤：

对所述神经网络的具有所述第二类型的层进行修剪；以及

仅使用修剪之后保留的权重对所述神经网络进行再训练。

15.根据权利要求13所述的方法，还包括：将所述神经网络的具有与所述第一类型不同的第二类型的层的权重进行固定。

16.根据权利要求15所述的方法，还包括：

将所述神经网络的具有所述第一类型的层的权重进行固定；以及

重复以下步骤：

对所述神经网络的具有所述第二类型的层进行修剪；以及

仅使用修剪之后保留的权重对所述神经网络进行再训练。

17.根据权利要求12所述的方法，还包括：在对所述神经网络进行再训练之前，产生所述自动确定的阈值。

18.根据权利要求12所述的方法，还包括：响应于所述修剪的修剪率来调节用于再训练的退出率。

19.一种***，包括：

存储器；以及

处理器，耦接到所述存储器并被配置为：

使用阈值对具有多个层的神经网络的层进行修剪；以及

使用不同的阈值来重复对所述神经网络的所述层进行修剪，直到经修剪的层的修剪误差达到修剪误差容限为止。

20.根据权利要求19所述的***，其中，所述处理器还被配置为针对所述神经网络的每个层：

初始化所述修剪误差容限；

初始化所述阈值；以及

重复以下步骤，直到针对所述层的修剪权重的百分比在针对所述层的范围内为止：

重复以下步骤，直到所述修剪误差达到所述修剪误差容限为止：

使用所述阈值对所述神经网络的所述层进行修剪；

计算经修剪的层的修剪误差；

将所述修剪误差与所述修剪误差容限进行比较；以及

响应于所述比较来改变所述阈值；

计算经修剪的层的修剪权重的百分比；以及

响应于所述修剪权重的百分比来改变所述修剪误差容限。