CN113065636B - 一种卷积神经网络的剪枝处理方法、数据处理方法及设备 - Google Patents

一种卷积神经网络的剪枝处理方法、数据处理方法及设备 Download PDF

Info

Publication number
CN113065636B
CN113065636B CN202110221926.3A CN202110221926A CN113065636B CN 113065636 B CN113065636 B CN 113065636B CN 202110221926 A CN202110221926 A CN 202110221926A CN 113065636 B CN113065636 B CN 113065636B
Authority
CN
China
Prior art keywords
loss function
sub
value
target
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110221926.3A
Other languages
English (en)
Other versions
CN113065636A (zh
Inventor
唐业辉
许奕星
王云鹤
许春景
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202110221926.3A priority Critical patent/CN113065636B/zh
Publication of CN113065636A publication Critical patent/CN113065636A/zh
Priority to EP22758856.3A priority patent/EP4283520A1/en
Priority to PCT/CN2022/077245 priority patent/WO2022179492A1/zh
Priority to US18/238,016 priority patent/US20230401446A1/en
Application granted granted Critical
Publication of CN113065636B publication Critical patent/CN113065636B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种卷积神经网络的剪枝处理方法、数据处理方法及设备，可应用于人工智能领域，包括：通过构建的目标损失函数对卷积神经网络进行稀疏化训练，该目标损失函数可包括三个子损失函数，第一子损失函数用来衡量输入样本复杂度，第二子损失函数用来衡量处理输入样本的剪枝后的子网络复杂度，第三子损失函数用来衡量不同输入样本之间的相似度。第二子损失函数根据通道重要性函数与动态权重得到，并在第一子损失函数的取值未达到第一阈值的情况下，输入样本复杂度越高，动态权重取值越小(呈反相关)，训练得到的通道重要性函数的稀疏性越小，剪枝越少，从而实现针对每个输入样本的灵活剪枝，并实现相似的输入样本输入到相似的子网络。

Description

一种卷积神经网络的剪枝处理方法、数据处理方法及设备
技术领域
本申请涉及机器学习领域，尤其涉及一种卷积神经网络的剪枝处理方法、数据处理方法及设备。
背景技术
近年来，卷积神经网络大量应用在计算机视觉(如，图像分类、目标检测、视频分析等)、机器翻译、语音识别等领域中，然而随着卷积神经网络技术的发展，其网络结构的设计愈发复杂，导致卷积神经网络的模型较大、计算复杂度较高，这限制了卷积神经网络在移动设备(如，手机)、可穿戴设备等计算能力和存储空间有限的硬件资源上的应用。因此，为了将卷积神经网络应用到计算资源受限的小型移动设备上，需要对其进行压缩和加速，一种常见的模型压缩方法是对卷积神经网络进行剪枝处理。
剪枝是通过减少卷积层中卷积核的数量(也可称为通道数)来减少模型大小和降低模型计算复杂度。一种常用的剪枝方法是使用静态的通道控制因子来决定各个卷积核的重要性，其训练过程主要是：首先为卷积神经网络设置或添加通道控制因子，该通道控制因子用一维向量表示，该一维向量里的每个元素与该卷积神经网络的一个卷积核对应，每个元素的取值用于表征对应卷积核的重要性；之后训练卷积神经网络的通道控制因子，根据该通道控制因子的取值删除不重要的卷积核(即剪枝)，最后迭代训练剪枝后的卷积神经网络。
上述这种传统的剪枝方法是一种永久删除通道的剪枝方法，通过该方法可以获得一个“静态”的卷积神经网络，该剪枝后的卷积神经网络忽略了不同输入数据对网络参数和容量的不同需求，实际上，卷积核的重要性在很大程度上取决于输入数据。
发明内容
本申请实施例提供了一种卷积神经网络的剪枝处理方法、数据处理方法及设备，通过构建新的目标损失函数对卷积神经网络进行稀疏化训练，该新构建的目标损失函数可以由两个子损失函数组成，第一子损失函数用来衡量训练样本的复杂度，第二子损失函数用来衡量处理该训练样本的剪枝后的子网络的复杂度。其中，网络复杂度根据通道重要性函数与动态权重得到，并且在第一子损失函数的取值没有达到第一阈值的情况下，训练样本复杂度越高，动态权重取值就越小(呈反相关)，训练得到的通道重要性函数的稀疏性就越小，剪枝越少，从而实现针对每个训练样本的灵活剪枝。
基于此，本申请实施例提供以下技术方案：
第一方面，本申请实施例首先提供一种卷积神经网络的剪枝处理方法，可用于人工智能领域中，具体可应用于计算机视觉(如，图像分类、目标检测、视频分析等)、机器翻译、语音识别等领域中，该方法包括：首先，训练设备可以根据目标任务确定第一子损失函数，该第一子损失函数用于表征输入待进行剪枝处理的卷积神经网络(即目标卷积神经网络)的训练样本与输出的预测结果之间的差异。在本申请实施例中，训练设备可以先从已有的多种类型的卷积神经网络中选择出一个适合处理目标任务的卷积神经网络，也可以自行构建符合目标任务的卷积神经网络的网络结构，该选择出的卷积神经网络或自行构建的卷积神经网络可以称为目标卷积神经网络。该目标卷积神经网络为用于进行训练的卷积神经网络，该目标卷积神经网络在针对不同训练样本的训练过程中具有不同的网络参数和损失函数。训练设备除了根据目标任务确定第一子损失函数之外，还可以根据通道重要性函数与动态权重得到第二子损失函数，其中，该通道重要性函数可以用于表征该目标卷积神经网络中每个卷积核(一个卷积核也可以称为一个通道)对训练样本的重要程度，该通道重要性函数的取值具体可以表征为一个一维向量，该向量中的每个元素对应该目标卷积神经网络中的一个卷积核，具体地，卷积核的重要程度就可以通过通道重要性函数的取值体现，例如，可以事先设定阈值，当该通道重要性函数中的某元素的取值大于或等于该设定阈值，则认为对应该元素的卷积核是重要的卷积核，不该被剪枝；当该通道重要性函数中的某元素的取值小于该设定阈值，则认为对应该元素的卷积核是不重要的卷积核，可以被剪枝。并且，在第一子损失函数的取值没有达到第一阈值的情况下，动态权重的取值根据第一子损失函数的取值得到，动态权重的取值与第一子损失函数的取值呈反相关关系。训练设备在确定第一子损失函数的表达式和第二子损失函数的表达式之后，就可根据该第一子损失函数与该第二子损失函数得到目标损失函数。训练设备构建好对应的目标损失函数之后，就可利用该目标损失函数对该目标卷积神经网络进行稀疏化训练，从而得到训练后的目标卷积神经网络，其中，稀疏化为根据通道重要性函数的取值对目标卷积神经网络的卷积核进行剪枝，具体地，是指将重要程度的取值低于第二阈值的卷积核进行剪枝。
在本申请上述实施方式中，通过构建新的目标损失函数对卷积神经网络进行稀疏化训练，该新构建的目标损失函数可以由两个子损失函数组成，第一子损失函数用来衡量训练样本的复杂度，第二子损失函数用来衡量处理该训练样本的剪枝后的子网络的复杂度。其中，网络复杂度根据通道重要性函数与动态权重得到，并且在第一子损失函数的取值没有达到第一阈值的情况下，训练样本复杂度越高，动态权重取值就越小(呈反相关)，训练得到的通道重要性函数的稀疏性就越小，剪枝越少，从而实现针对每个训练样本的灵活剪枝，可充分挖掘该目标卷积神经网络的冗余。
在第一方面的一种可能实现方式中，训练设备根据该第一子损失函数与该第二子损失函数得到目标损失函数的具体实现方式可以是：将该第一子损失函数与该第二子损失函数相加，得到该目标损失函数。
在本申请上述实施方式中，具体阐述了如何基于第一子损失函数与第二子损失函数得到目标损失函数的一种实现方式，简单易实现。
在第一方面的一种可能实现方式中，除了将样本映射到复杂性空间之外，训练样本之间的相似性也可以帮助为不同训练样本定制合适的子网络结构，也就是希望相似的训练样本可以输入到相似的子网络中。因此，训练设备除了根据目标任务确定第一子损失函数以及根据通道重要性函数与动态权重得到第二子损失函数之外，还可以根据第一相似度和第二相似度得到第三子损失函数，其中，该第一相似度用于表征第一训练样本被提取的特征与第二训练样本被提取的特征之间的相似度，该第二相似度用于表征第一通道重要性参数与第二通道重要性参数之间的相似度，并且，该第一通道重要性参数为输入第一训练样本后获得的所述通道重要性函数的取值，该第二通道重要性参数为输入所述第二训练样本后获得的所述通道重要性函数的取值，第一训练样本与第二训练样本分别为训练集中任意两个不同的样本。训练设备在确定第一子损失函数的表达式、第二子损失函数的表达式以及第三子损失函数的表达式之后，就可根据该第一子损失函数、该第二子损失函数与该第三子损失函数得到目标损失函数。
在本申请上述实施方式中，除了从样本复杂度的角度考虑外，还进一步从样本复杂度和样本相似度这两个角度进行考虑，即不仅期望复杂度高的训练样本输入到容量大的子网络进行预测，还期望相似的训练样本能输入到相似的子网络(即进行了相似的剪枝)中进行预测，从而可更加充分地挖掘目标卷积神经网络中的冗余。
在第一方面的一种可能实现方式中，根据第一相似度和第二相似度得到第三子损失函数的具体实现方式可以是：在将第一相似度与第二相似度分别转换为一维向量(如，池化操作)后，将第一相似度与第二相似度之间的距离函数作为该第三子损失函数。
在本申请上述实施方式中，具体阐述了一种第三子损失函数的表达方式，易于操作。
在第一方面的一种可能实现方式中，第一相似度具体用于表征第一训练样本被提取的特征图与第二训练样本被提取的特征图之间的余弦相似度；第二相似度具体用于表征第一通道重要性参数与第二通道重要性参数之间的余弦相似度。
在本申请上述实施方式中，具体阐述了第一相似度和第二相似度的一种具体的度量方式，具备可实现性。
在第一方面的一种可能实现方式中，训练设备根据该第一子损失函数、该第二子损失函数以及第三子损失函数得到目标损失函数的具体实现方式可以是：将该第一子损失函数、第二子损失函数及第一乘积结果相加得到，而第一乘积结果为将该第三子损失函数与一个预设系数(可称为第一预设系数)相乘后的结果。
在本申请上述实施方式中，具体阐述了如何基于第一子损失函数、第二子损失函数以及第三子损失函数得到目标损失函数的一种实现方式，简单易实现。
在第一方面的一种可能实现方式中，动态权重的取值根据第一子损失函数的取值得到具体可以是：动态权重的取值由第一比值与第二预设系数相乘得到，其中，第一比值为第一差值与第一阈值之间的比值，第一差值为第一阈值与第一子损失函数的取值之间的差值。
在本申请上述实施方式中，阐述了动态权重的具体表达形式，该动态权重与第一子损失函数的取值相关，从而可实现动态剪枝的过程。
在第一方面的一种可能实现方式中，根据通道重要性函数与动态权重得到第二子损失函数的具体实现方式可以是：将通道重要性函数与动态权重相乘，得到该第二子损失函数。
在本申请上述实施方式中，具体阐述了第二子损失函数的具体表达形式，简单易实现。
在第一方面的一种可能实现方式中，在第一子损失函数的取值达到第一阈值的情况下，就认为对应的训练样本是复杂样本，在这种情况下，动态权重的取值则为零。
在本申请上述实施方式中，具体阐述了动态权重取值的另一种情况，具备广泛覆盖性。
在第一方面的一种可能实现方式中，当目标任务是分类任务，那么第一子损失函数可以是交叉熵损失函数；当目标任务是其他的特定任务(如，回归任务)时，第一子损失函数可以是感知损失函数、Hinge损失函数等常用的损失函数，该第一子损失函数的选择具体与目标任务的类型相关，其具体表现形式由目标任务的类型决定，具体本申请实施例不做限定。
在本申请上述实施方式中，阐述了第一子损失函数的确定原则，具备可操作性。
在第一方面的一种可能实现方式中，稀疏化训练后得到的目标卷积神经网络就可部署在目标设备上，例如，可部署在手机、智能可穿戴设备(如，智能手环、智能手表等)等计算能力有限的边缘设备上。
在本申请上述实施方式中，阐述了训练后的目标卷积神经网络的一种部署场景，使得算力受限的边缘设备也能加速推理过程，提高了用户体验。
本申请实施例第二方面还提供了一种数据处理方法，该方法包括：首先，执行设备获取待处理的输入数据，该输入数据与待执行的目标任务相关，例如，当目标任务是分类任务，那么输入数据就是指用于进行分类的数据。之后，执行设备根据该输入数据对训练后的目标卷积神经网络进行剪枝，得到剪枝后的子网络，其中，该训练后的目标卷积神经网络基于新构建的目标损失函数训练得到。例如，该目标损失函数具体可以是根据第一子损失函数及第二子损失函数得到，第一子损失函数根据目标任务确定，第二子损失函数根据通道重要性函数与动态权重确定，其中，第一子损失函数用于表征输入该目标卷积神经网络的训练样本与输出的预测结果之间的差异，并且在第一子损失函数的取值没有达到第一阈值的情况下，动态权重的取值根据第一子损失函数的取值得到，动态权重的取值与第一子损失函数的取值呈反相关关系，该目标损失函数用于在目标卷积神经网络训练时对目标卷积神经网络进行稀疏化，稀疏化为根据通道重要性函数的取值对目标卷积神经网络的卷积核进行剪枝。
需要注意的是，在本申请实施例中，根据目标任务的不同，输入数据的类型也不同，这里对几种典型的目标任务的应用场景进行阐述：
1)目标任务是目标检测任务
目标检测任务一般针对图像中的目标物体的检测，在这种情况下，输入数据一般是指输入的图像，执行设备根据输入的图像，对训练后的目标卷积神经网络进行剪枝，得到剪枝后的子网络，并通过该子网络对输入的图像进行目标检测，得到检测结果，即输出数据是检测结果。
2)目标任务是分类任务
一种实施例中，分类任务可以是针对图像进行的，在这种情况下，输入数据是指输入的图像，执行设备需要根据该输入的图像，对训练后的目标卷积神经网络进行剪枝，得到剪枝后的子网络，并通过该子网络对输入的图像进行分类，输出分类结果，即输出数据是图像的分类结果。
另一种实施例中，分类任务除了可以是针对图像进行的，还可以是针对文本或音频，在这种情况下，输入数据就是指对应的文本数据或音频数据，执行设备根据该输入的文本或音频，对训练后的目标卷积神经网络进行剪枝，得到剪枝后的子网络，并通过该子网络对输入的文本或音频进行分类，输出分类结果，即输出数据是文本的分类结果或音频的分类结果。
以上仅是针对几种场景的目标任务进行说明，在不同的目标任务中，输入数据和输出数据是与该目标任务相关的，具体此处不在示例。
在本申请上述实施方式中，具体阐述了一种如何通过训练后的目标卷积神经网络对输入数据执行相应的任务，该训练后的目标卷积神经网络则是通过上述构建的目标损失函数训练得到，该训练后的目标卷积神经网络针对不同的输入数据可进行动态剪枝处理，得到与输入数据对应的剪枝后的子网络，加快了推理过程。
在第二方面的一种可能实现方式中，执行设备根据输入数据对训练后的目标卷积神经网络进行剪枝，得到剪枝后的子网络具体实现方式还可以是：根据输入数据和剪枝率对训练后的目标卷积神经网络进行剪枝，得到剪枝后的子网络，其中，剪枝率为被剪枝的卷积核在目标神经网络中所有卷积核中所占的比例。
在本申请上述实施方式中，阐述了还可以同时根据输入数据和剪枝率来实现对训练后的目标神经网络的剪枝处理，以进一步加快推理过程。
在第二方面的一种可能实现方式中，动态权重的取值根据第一子损失函数的取值得到具体可以是：动态权重的取值由第一比值与第二预设系数相乘得到，其中，第一比值为第一差值与第一阈值之间的比值，第一差值为第一阈值与第一子损失函数的取值之间的差值。
在本申请上述实施方式中，阐述了动态权重的具体表达形式，该动态权重与第一子损失函数的取值相关，从而可实现动态剪枝的过程。
在第二方面的一种可能实现方式中，在第一子损失函数的取值达到第一阈值的情况下，就认为对应的输入数据是复杂样本，在这种情况下，动态权重的取值则为零。
在本申请上述实施方式中，具体阐述了动态权重取值的另一种情况，具备广泛覆盖性。
在第二方面的一种可能实现方式中，输入数据可以是图像数据，也可以是音频数据，还可以是文本数据，其数据类型由待处理的目标任务决定，具体此处不做限定。
在本申请上述实施方式中，具体阐述了输入数据的几种类型，具备灵活性。
本申请实施例第三方面提供一种训练设备，该训练设备具有实现上述第一方面或第一方面任意一种可能实现方式的方法的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
本申请实施例第四方面提供一种执行设备，该执行设备具有实现上述第二方面或第二方面任意一种可能实现方式的方法的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
本申请实施例第五方面提供一种训练设备，可以包括存储器、处理器以及总线***，其中，存储器用于存储程序，处理器用于调用该存储器中存储的程序以执行本申请实施例第一方面或第一方面任意一种可能实现方式的方法。
本申请实施例第六方面提供一种执行设备，可以包括存储器、处理器以及总线***，其中，存储器用于存储程序，处理器用于调用该存储器中存储的程序以执行本申请实施例第二方面或第二方面任意一种可能实现方式的方法。
本申请实施例第七方面提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机可以执行上述第一方面或第一方面任意一种可能实现方式的方法，或，使得计算机可以执行上述第二方面或第二方面任意一种可能实现方式的方法。
本申请实施例第八方面提供了一种计算机程序，当其在计算机上运行时，使得计算机执行上述第一方面或第一方面任意一种可能实现方式的方法，或，使得计算机可以执行上述第二方面或第二方面任意一种可能实现方式的方法。
本申请实施例第九方面提供了一种芯片，该芯片包括至少一个处理器和至少一个接口电路，该接口电路和该处理器耦合，至少一个接口电路用于执行收发功能，并将指令发送给至少一个处理器，至少一个处理器用于运行计算机程序或指令，其具有实现如上述第一方面或第一方面任意一种可能实现方式的方法的功能，或，其具有实现如上述第二方面或第二方面任意一种可能实现方式的方法的功能，该功能可以通过硬件实现，也可以通过软件实现，还可以通过硬件和软件组合实现，该硬件或软件包括一个或多个与上述功能相对应的模块。此外，该接口电路用于与该芯片之外的其它模块进行通信，例如，该接口电路可将芯片上处理器得到的训练后的目标卷积神经网络发送给各种边缘设备(如，手机、个人电脑、智能手表等)执行相应的目标任务。
附图说明
图1为本申请实施例提供的人工智能主体框架的一种结构示意图；
图2为本申请实施例提供的任务处理***的一种***架构图；
图3为本申请实施例提供的卷积神经网络的剪枝处理方法的一种流程示意图；
图4为本申请实施例提供的卷积神经网络的剪枝处理方法动态平衡样本复杂度与网络复杂度的一个示意图；
图5为本申请实施例提供的一个场景应用图；
图6为本申请实施例提供的卷积神经网络的剪枝处理方法的另一流程示意图；
图7为本申请实施例提供的利用训练样本的流形信息来为每个训练样本定制各自对应的子网络结构的一个示意图；
图8为本申请实施例提供的数据处理方法的一种流程示意图；
图9为本申请的剪枝方法与已有的剪枝方法在ImageNet数据集上对ResNet网络的分类结果对比图；
图10为本申请的剪枝方法与已有的剪枝方法在ImageNet数据集上对MobileNetV2网络的分类结果对比图；
图11为本申请的剪枝方法与已有的剪枝方法在CIFAR-10数据集上的结果对比图；
图12为本申请实施例提供的训练设备的一个示意图；
图13为本申请实施例提供的执行设备的一个示意图；
图14为本申请实施例提供的训练设备的另一示意图；
图15为本申请实施例提供的执行设备的另一示意图；
图16为本申请实施例提供的芯片的一种结构示意图。
具体实施方式
本申请实施例提供了一种卷积神经网络的剪枝处理方法、数据处理方法及设备，通过构建新的目标损失函数对卷积神经网络进行稀疏化训练，该新构建的目标损失函数可以由两个子损失函数组成，第一子损失函数用来衡量训练样本的复杂度，第二子损失函数用来衡量处理该训练样本的剪枝后的子网络的复杂度。其中，网络复杂度根据通道重要性函数与动态权重得到，并且在第一子损失函数的取值没有达到第一阈值的情况下，训练样本复杂度越高，动态权重取值就越小(呈反相关)，训练得到的通道重要性函数的稀疏性就越小，剪枝越少，从而实现针对每个训练样本的灵活剪枝。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、***、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
本申请实施例涉及了许多关于神经网络的相关知识，为了更好地理解本申请实施例的方案，下面先对本申请实施例可能涉及的相关术语和概念进行介绍。应理解的是，相关的概念解释可能会因为本申请实施例的具体情况有所限制，但并不代表本申请仅能局限于该具体情况，在不同实施例的具体情况可能也会存在差异，具体此处不做限定。
(1)神经网络
神经网络可以是由神经单元组成的，具体可以理解为具有输入层、隐含层、输出层的神经网络，一般来说，第一层是输入层，最后一层是输出层，中间的层数都是隐含层。其中，具有很多层隐含层的神经网络则称为深度神经网络(deep neural network，DNN)。神经网络中的每一层的工作可以用数学表达式来描述，从物理层面，神经网络中的每一层的工作可以理解为通过五种对输入空间(输入向量的集合)的操作，完成输入空间到输出空间的变换(即矩阵的行空间到列空间)，这五种操作包括：1、升维/降维；2、放大/缩小；3、旋转；4、平移；5、“弯曲”。其中1、2、3的操作由/>完成，4的操作由“+b”完成，5的操作则由“a()”来实现。这里之所以用“空间”二字来表述是因为被分类的对象并不是单个事物，而是一类事物，空间是指这类事物所有个体的集合，其中，W是神经网络各层的权重矩阵，该矩阵中的每一个值表示该层的一个神经元的权重值。该矩阵W决定着上文所述的输入空间到输出空间的空间变换，即神经网络每一层的W控制着如何变换空间。训练神经网络的目的，也就是最终得到训练好的神经网络的所有层的权重矩阵。因此，神经网络的训练过程本质上就是学习控制空间变换的方式，更具体的就是学习权重矩阵。
(2)卷积神经网络(convolutional neural networks，CNN)
CNN是一种带有卷积结构的深度神经网络。卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器。该特征抽取器可以看作是滤波器，卷积过程可以看作是使用一个可训练的滤波器与一个输入的图像或者卷积特征平面(feature map)做卷积。卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷积神经网络的卷积层中，一个神经元可以只与部分邻层神经元连接。一个卷积层中，通常包含若干个特征平面，每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重，这里共享的权重就是卷积核。共享权重可以理解为提取图像信息的方式与位置无关。这其中隐含的原理是：图像的某一部分的统计信息与其他部分是一样的。即意味着在某一部分学习的图像信息也能用在另一部分上。所以对于图像上的所有位置，我们都能使用同样的学习得到的图像信息。在同一卷积层中，可以使用多个卷积核来提取不同的图像信息，一般地，卷积核数量越多，卷积操作反映的图像信息越丰富。
卷积核可以以随机大小的矩阵的形式初始化，在卷积神经网络的训练过程中卷积核可以通过学习得到合理的权重。另外，共享权重带来的直接好处是减少卷积神经网络各层之间的连接，同时又降低了过拟合的风险。
(3)损失函数(loss function)
在训练神经网络的过程中，因为希望神经网络的输出尽可能的接近真正想要预测的值，可以通过比较当前网络的预测值和真正想要的目标值，再根据两者之间的差异情况来更新每一层神经网络的权重矩阵(当然，在第一次更新之前通常会有初始化的过程，即为神经网络中的各层预先配置参数)，比如，如果网络的预测值高了，就调整权重矩阵让它预测低一些，不断的调整，直到神经网络能够预测出真正想要的目标值。因此，就需要预先定义“如何比较预测值和目标值之间的差异”，这便是损失函数(loss function)或目标函数(objective function)，它们是用于衡量预测值和目标值的差异的重要方程。其中，以损失函数举例，损失函数的输出值(loss)越高表示差异越大，那么神经网络的训练就变成了尽可能缩小这个loss的过程。
(4)反向传播算法
在神经网络的训练过程中，可以采用误差反向传播(back propagation，BP)算法修正初始的神经网络模型中参数的大小，使得神经网络模型的重建误差损失越来越小。具体地，前向传递输入信号直至输出会产生误差损失，通过反向传播误差损失信息来更新初始的神经网络模型中的参数，从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动，旨在得到最优的神经网络模型的参数，例如权重矩阵。
(5)正则化(regularization)
通过约束网络模型的复杂程度，从而减少过拟合现象的一类方法。
(6)流形(manifold)
流形是可以局部欧几里得空间化的一个拓扑空间，是欧几里得空间中的曲线、曲面等概念的推广。具体来说，流形是认为我们所能观察到的数据实际上是由一个低维流行映射到高维空间的。由于数据内部特征的限制，一些高维中的数据会产生维度上的冗余，实际上这些数据只要比较低的维度就能唯一的表示。所以直观上来讲，一个流形好比是一个dd维的空间，在一个mm维的空间中(m>d)(m>d)被扭曲之后的结果。需要注意的是流形并不是一个形状，而是一个空间。举个例子来说，比如说一块布，可以把它看成一个二维的平面，这是一个二维的空间，现在我们把它扭一扭(三维空间)，它就变成了一个流形，当然不扭的时候，它也是一个流形，欧式空间是流形的一种特殊情况。在本申请实施例中，可以通过利用样本空间的流形信息(即样本复杂度和样本之间的相似度)来挖掘样本之间的关系。
下面结合附图，对本申请的实施例进行描述。本领域普通技术人员可知，随着技术的发展和新场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
首先，对人工智能***总体工作流程进行描述，请参见图1，图1示出的为人工智能主体框架的一种结构示意图，下面从“智能信息链”(水平轴)和“IT价值链”(垂直轴)两个维度对上述人工智能主题框架进行阐述。其中，“智能信息链”反映从数据的获取到处理的一列过程。举例来说，可以是智能信息感知、智能信息表示与形成、智能推理、智能决策、智能执行与输出的一般过程。在这个过程中，数据经历了“数据—信息—知识—智慧”的凝练过程。“IT价值链”从人智能的底层基础设施、信息(提供和处理技术实现)到***的产业生态过程，反映人工智能为信息技术产业带来的价值。
(1)基础设施
基础设施为人工智能***提供计算能力支持，实现与外部世界的沟通，并通过基础平台实现支撑。通过传感器与外部沟通；计算能力由智能芯片(CPU、NPU、GPU、ASIC、FPGA等硬件加速芯片)提供；基础平台包括分布式计算框架及网络等相关的平台保障和支持，可以包括云存储和计算、互联互通网络等。举例来说，传感器和外部沟通获取数据，这些数据提供给基础平台提供的分布式计算***中的智能芯片进行计算。
(2)数据
基础设施的上一层的数据用于表示人工智能领域的数据来源。数据涉及到图形、图像、语音、文本，还涉及到传统设备的物联网数据，包括已有***的业务数据以及力、位移、液位、温度、湿度等感知数据。
(3)数据处理
数据处理通常包括数据训练，机器学习，深度学习，搜索，推理，决策等方式。
其中，机器学习和深度学习可以对数据进行符号化和形式化的智能信息建模、抽取、预处理、训练等。
推理是指在计算机或智能***中，模拟人类的智能推理方式，依据推理控制策略，利用形式化的信息进行机器思维和求解问题的过程，典型的功能是搜索与匹配。
决策是指智能信息经过推理后进行决策的过程，通常提供分类、排序、预测等功能。
(4)通用能力
对数据经过上面提到的数据处理后，进一步基于数据处理的结果可以形成一些通用的能力，比如可以是算法或者一个通用***，例如，翻译，文本的分析，计算机视觉的处理，语音识别，图像的识别等等。
(5)智能产品及行业应用
智能产品及行业应用指人工智能***在各领域的产品和应用，是对人工智能整体解决方案的封装，将智能信息决策产品化、实现落地应用，其应用领域主要包括：智能终端、智能制造、智能交通、智能家居、智能医疗、智能安防、自动驾驶、智慧城市等。
本申请实施例可以应用在卷积神经网络的优化设计上，具体地，可应用在卷积神经网络的损失函数的优化设计上。通过本申请优化过损失函数的卷积神经网络具体可以应用在人工智能领域的各个细分领域中，如，计算机视觉领域中的图像处理领域，语义分析领域等等，具体的，结合图1来讲，本申请实施例中基础设施获取的数据集中的数据可以是通过摄像头、雷达等传感器获取到的不同类型的多个数据(也可称为训练样本或训练数据，多个训练样本就构成训练集)，训练集中的训练样本可以是多个图像数据，也可以是多个视频数据，还可以是文本数据、音频数据等，只要该训练集满足用于对卷积神经网络进行迭代训练的功能即可，具体本申请实施例对训练集内的数据类型不限定。
为了便于理解本方案，接下来结合图2对本申请实施例提供的任务处理***的框架进行介绍，请先参阅图2，图2为本申请实施例提供的任务处理***的一种***架构图，在图2中，任务处理***200包括执行设备210、训练设备220、数据库230、客户设备240、数据存储***250和数据采集设备260，执行设备210中包括计算模块211和输入/输出(I/O)接口212。
其中，在训练阶段，数据采集设备260可以用于获取用户需要的开源的大规模数据集(即训练集)，并将训练集存入数据库230中，训练集中可以包括多个训练数据(或称为训练样本)，训练数据可以是图像数据，也可以是视频数据，还可以是音频数据、文本数据等，具体与待执行的目标任务相关，此处不做限定。训练设备220基于数据库230中的维护的训练集对本申请卷积神经网络201进行稀疏化训练(即对卷积神经网络进行剪枝处理)，训练得到的可基于每个训练数据(也可称为训练样本)实现动态剪枝的卷积神经网络201可以应用于不同的***或设备(即执行设备210)中，具体可以是边缘设备或端侧设备，例如，手机、平板、笔记本电脑、监控***(如，摄像头)、安防***等等。
在推理阶段，执行设备210可以调用数据存储***250中的数据、代码等，也可以将数据、指令等存入数据存储***250中。数据存储***250可以置于执行设备210中，也可以为数据存储***250相对执行设备210是外部存储器。计算模块211通过稀疏化训练后得到的卷积神经网络201实现针对每个不同的输入数据的动态剪枝。
在图2中，执行设备210配置有I/O接口212，与外部设备进行数据交互，“用户”可以通过客户设备240向I/O接口212输入数据。如，客户设备240可以是监控***的摄像设备，通过该摄像设备拍摄的图像作为输入数据输入至执行设备210的计算模块211，由计算模块211对输入的图像进行检测后得出检测结果(或预测结果)，再将该检测结果(或预测结果)输出至摄像设备或直接在执行设备210的显示界面(若有)进行显示；此外，在本申请的一些实施方式中，客户设备240也可以集成在执行设备210中，如，当执行设备210为手机时，则可以直接通过该手机获取到目标任务(如，可以通过该手机的摄像头拍摄到图像，或，通过该手机的录音模块录取到的目标语音等，此处对目标任务不做限定)或者接收其他设备(如，另一个手机)发送的目标任务，再由该手机内的计算模块211对该目标任务进行检测(或预测)后得出检测结果(或预测结果)，并直接将该检测结果(或预测结果)呈现在手机的显示界面。此处对执行设备210与客户设备240的产品形态不做限定。
值得注意的，图2仅是本申请实施例提供的一种***架构的示意图，图中所示设备、器件、模块等之间的位置关系不构成任何限制，例如，在图2中，数据存储***250相对执行设备210是外部存储器，在其它情况下，也可以将数据存储***250置于执行设备210中；在图2中，客户设备240相对执行设备210是外部设备，在其他情况下，客户设备240也可以集成在执行设备210中。
本申请的一些实施例中，例如图2中，训练设备220与执行设备210为分布独立的设备，但图2仅是本发明实施例提供的任务处理***的一种架构示意图，图中所示设备、器件、模块等之间的位置关系不构成任何限制。在本申请的另一些实施例中，训练设备220和执行设备210可以集成于同一设备中。此外，图2中的示例不用于限定每种设备的数量，例如，数据库230可以与多个客户设备240通信。
还需要说明的是，本申请实施例所述的卷积神经网络201的稀疏化训练可以是在云侧实现，例如，可以由云侧的训练设备220(该训练设备220可设置在一个或多个服务器或者虚拟机上)获取训练集，并根据训练集内的多组训练数据(或称为训练样本)对卷积神经网络进行稀疏化训练，得到训练后的卷积神经网络201，之后，该训练后的卷积神经网络201再发送给执行设备210进行应用，例如，若目标任务是与图像数据相关的任务，如，图像增强任务，那么该训练后的卷积神经网络201可被发送给执行设备210进行图像超分辨重建、去模糊、去雨等图像增强处理；若目标任务是与音频数据、文本数据等相关的任务，那么该训练后的卷积神经网络201可被发送给执行设备210进行相关任务的处理。示例性地，图2对应的***架构中所述，就是由训练设备220对卷积神经网络进行稀疏化训练，训练后的卷积神经网络201再发送给执行设备210进行使用；上述实施例所述的卷积神经网络201的训练也可以是在终端侧实现，即训练设备220可以是位于终端侧，例如，可以由终端设备(如，手机、智能手表等)、轮式移动设备(如，自动驾驶车辆、辅助驾驶车辆等)等获取训练集，并根据训练集内的多组训练数据对卷积神经网络进行稀疏化训练，得到训练后的卷积神经网络201，该训练后的卷积神经网络201就可以直接在该终端设备使用，也可以由该终端设备发送给其他的设备进行使用。具体本申请实施例对卷积神经网络201在哪个设备(云侧或终端侧)上进行稀疏化训练或应用不做限定。
结合上述描述，本申请实施例提供了一种卷积神经网络的剪枝处理方法和数据处理方法，可分别应用于卷积神经网络的训练阶段和推理阶段，下面分别进行描述。
一、训练阶段
本申请实施例中，训练阶段为上述图2中训练设备220利用训练集中的训练数据对卷积神经网络201执行训练操作的过程，也就是利用本申请构建的损失函数对卷积神经网络进行剪枝处理的过程。具体请参阅图3，图3为本申请实施例提供的卷积神经网络的剪枝处理方法的一种流程示意图，具体可以包括：
301、训练设备根据目标任务确定第一子损失函数，该第一子损失函数用于表征输入目标卷积神经网络的训练样本与输出的预测结果之间的差异。
首先，训练设备可以先从已有的多种类型的卷积神经网络中选择出一个适合处理目标任务的卷积神经网络，也可以自行构建符合目标任务的卷积神经网络的网络结构，该选择出的卷积神经网络或自行构建的卷积神经网络可以称为目标卷积神经网络。需要注意的是，在本申请的一些实施方式中，若目标卷积神经网络是从已有的卷积神经网络中选择得到的，那么该目标卷积神经网络的网络参数可以是随机初始化得到的，该目标卷积神经网络也可以是经过预训练的卷积神经网络，该预训练过程可以是在云侧事先训练好，这样可以得到比较好的初始化参数，具体本申请实施例对目标卷积神经网络是否事先进行预训练不做限定。
训练样本输入到目标卷积神经网络的目的是为了做出正确的预测，据此可基于不同的目标任务确定对应的子损失函数(即第一子损失函数)。因此，训练设备可以根据目标任务确定第一子损失函数，该第一子损失函数就用于表征输入待进行剪枝处理的卷积神经网络(即所述的目标卷积神经网络)的训练样本与输出的预测结果之间的差异。例如，当目标任务是分类任务，那么第一子损失函数可以是交叉熵损失函数；当目标任务是其他的特定任务(如，回归任务)时，第一子损失函数可以是感知损失函数、Hinge损失函数等常用的损失函数，该第一子损失函数的选择具体与目标任务的类型相关，其具体表现形式由目标任务的类型决定，具体本申请实施例不做限定。
在本申请实施例中，第一子损失函数的取值越大，说明目标卷积神经网络对当前输入的训练样本的拟合效果不佳，因此，第一子损失函数实质衡量的是当前输入的训练样本的复杂度。
需要注意的是，在本申请实施例中，为便于理解，第一子损失函数可以用表示，其中，xi表示输入的第i个训练样本，θ是整个目标卷积神经网络的网络参数，/>为第一子损失函数的表达式。
302、训练设备根据通道重要性函数与动态权重得到第二子损失函数，在第一子损失函数的取值没有达到第一阈值的情况下，该动态权重的取值根据该第一子损失函数的取值得到，该动态权重的取值与该第一子损失函数的取值呈反相关关系。
训练设备除了根据目标任务确定第一子损失函数之外，还可以根据通道重要性函数与动态权重得到第二子损失函数，其中，该通道重要性函数可以用于表征该目标卷积神经网络中每个卷积核(一个卷积核也可以称为一个通道)对训练样本的重要程度，其可以用πl(xi)进行表示，l表示该目标卷积神经网络的任意一层，即l∈[1,L]，L为该目标卷积神经网络的总的层数。πl(xi)表示对于一个输入的训练样本xi，该目标卷积神经网络的第l层中的卷积核对该训练样本xi的重要程度，该通道重要性函数πl(xi)可以用向量进行表征。之后，训练设备可基于每个卷积核对任意一个训练样本的重要程度进行动态剪枝，例如，可以设定一个阈值(可称为第二阈值)，当重要程度的取值低于设定的第二阈值(如，第二阈值可以取为0)时，则认为其对应的卷积核针对当前的训练样本xi不重要，可被剪枝。对于每个训练样本来说，通道重要性函数πl(xi)的取值可能都不同，因此，通道重要性函数πl(xi)的稀疏性(如，当第二阈值为0时，那么表征通道重要性函数πl(xi)的向量中的元素0越多，说明需剪枝的越多，得到的子网络也就越稀疏)决定了处理当前训练样本xi的目标卷积神经网络中的卷积核数量，通道重要性函数πl(xi)取值越大，则对应一个更加紧凑的子网络(说明剪枝的少)。
因此，在本申请实施例中，实质是基于通道重要性函数πl(xi)来度量该目标卷积神经网络针对每个训练样本的复杂度，具体地，通道重要性函数πl(xi)越稀疏，说明需剪枝的越多，那么对该目标卷积神经网络剪枝后得到的子网络就越简单；通道重要性函数πl(xi)越稠密，说明需剪枝的就越少，那么对该目标卷积神经网络剪枝后得到的子网络就越复杂。
此外，在本申请实施例中，在第一子损失函数的取值没有达到预设的阈值(可称为第一阈值)的情况下，动态权重的取值是根据第一子损失函数的取值得到。在本申请实施例中，该动态权重可用λ(xi,θ)表示，第一阈值可以用C表示，类似地，xi为输入的训练样本，θ是整个目标卷积神经网络的网络参数，λ(.)为该动态权重的表达式，该动态权重也可以称为自适应惩罚权重，具体可定义为如下式(1)所示：
其中，λ′是设定的权衡系数(是超参数，可称为第二预设系数)，C为预设的阈值(可称为第一阈值)，为针对训练样本xi的第一子损失函数的取值，/>表征的是第一阈值C与第一子损失函数/>之间的差值，该差值可称为第一差值，可称为第一比值。在式(1)中，/>表示针对训练样本xi的第一子损失函数的取值没有超过第一阈值C，说明该训练样本xi不算复杂，可对该目标卷积神经网络进行相应剪枝。
并且，由上述式(1)可知，由于说明/>也就是0＜λ(xi,θ)＜λ′。因此，λ(xi,θ)的取值与/>相关，也就是λ(xi,θ)是基于/>得到；又因为/>的取值大小可反映输入的训练样本xi的复杂度，输入的训练样本xi的复杂度越高，则/>的取值越大，那么/>的取值就越小，由于λ′是超参数，因此λ(xi,θ)也越小，由此可知，在第一子损失函数/>的取值没有达到第一阈值的情况下(即)，动态权重的取值与第一子损失函数的取值呈反相关关系。
基于上述描述，由于第二子损失函数是根据通道重要性函数与动态权重得到。那么，在本申请的一些实施方式中，第二子损失函数具体可以是由通道重要性函数与动态权重相乘得到，其表达式可用如下式(2)表示：
其中，||·||1表示范数，||πl(xi)||1≥0始终成立，λ(xi,θ)如上述式(1)所示，此处不予赘述。
303、训练设备根据该第一子损失函数与该第二子损失函数得到目标损失函数。
训练设备在确定第一子损失函数的表达式和第二子损失函数的表达式之后，就可根据该第一子损失函数与该第二子损失函数得到目标损失函数，具体地，在本申请的一些实现方式中，该目标损失函数可以是将该第一子损失函数与该第二子损失函数相加得到，因此，在本申请实施例中，目标损失函数的表达式可用如下式(3)表示：
其中，N为训练集中的训练样本的总数量，xi为当前输入的训练样本，为第一子损失函数，/>为第二子损失函数，在/>的情况下，λ(xi,θ)如上述式(1)所示，/>表示对N个输入的训练样本的目标损失函数最小化。
由上述式(1)至式(3)可知，在的情况下，/>的取值越大，反映的是输入的训练样本越复杂，此时/>的取值就越小，λ(xi,θ)也越小，/> 在式(3)表示的目标损失函数LT中所占的比重就越小，说明/>取值不是那么重要，可以不剪枝。反之，输入的训练样本是越简单的样本，则λ(xi,θ)越大，这说明/>取值对整个目标损失函数LT的影响都较大，由于/>可反映的是网络的复杂度，因此/>取值越小，说明需要得到的子网络越稀疏，越需要剪枝。/>
综上所述，输入该目标卷积神经网络的训练样本越复杂，第一子损失函数的取值就越大，通道重要性函数的动态权重就越小，第二子损失函数在整个目标损失函数中所占比重就越小，那么对该目标卷积神经网络的剪枝就可以越少(甚至是不剪枝)，最终用于处于该训练样本的子网络(即剪枝后的目标卷积神经网络)就越复杂；输入该目标卷积神经网络的训练样本越简单，第一子损失函数的取值就越小，通道重要性函数的动态权重就越大，第二子损失函数在整个目标损失函数中所占比重也越大，那么对该目标卷积神经网络的剪枝就可以越多(对整个目标损失函数影响显著)，最终用于处于该训练样本的子网络(即剪枝后的目标卷积神经网络)就越简单。
为便于理解，具体可参阅图4，图4为本申请实施例提供的卷积神经网络的剪枝处理方法动态平衡样本复杂度与网络复杂度的一个示意图，具体地，本申请实施例构建的目标损失函数可以动态平衡样本的复杂度和网络的复杂度，当将更复杂的样本(如图4中，三角形面积越大表示样本越复杂)送到目标网络并产生较大的第一子损失函数(即取值越大，表示样本越复杂)时，对应需剪枝的越少，得到的子网络就越复杂(如图4中，菱形的面积越大表示剪枝后的网络越复杂)。
304、训练设备利用该目标损失函数对该目标卷积神经网络进行稀疏化训练，得到训练后的目标卷积神经网络，其中，稀疏化为根据通道重要性参数的取值对目标卷积神经网络的卷积核进行剪枝。
训练设备构建好对应的目标损失函数之后，就可利用该目标损失函数对该目标卷积神经网络进行稀疏化训练，从而得到训练后的目标卷积神经网络，其中，稀疏化为根据通道重要性参数的取值对目标卷积神经网络的卷积核进行剪枝，具体地，是指将重要程度的取值低于第二阈值的卷积核进行剪枝。
需要说明的是，在本申请的一些实施方式中，根据训练样本，利用上述构建的目标损失函数对目标卷积神经网络的训练过程训练到何种程度可以有多种判断方式，下面提供一些结束对该目标卷积神经网络停止训练的终止条件，包括但不限于：
(1)目标损失函数达到预设阈值。
在根据上述方式构建好该目标损失函数后，可事先对该目标损失函数设置一个阈值(如，0.03)，在对目标卷积神经网络进行迭代的稀疏化训练的过程中，每次训练结束后都判断当前轮次训练得到的目标损失函数的取值是否达到阈值，若没达到，则继续训练，若达到设置的预设阈值，则终止训练，那么该当前轮次训练确定的目标卷积神经网络的网络参数的取值就作为最终训练好的目标卷积神经网络的网络参数取值。
(2)目标损失函数开始收敛。
在根据上述方式构建好该目标损失函数后，就可对目标卷积神经网络进行迭代的稀疏化训练，若当前轮次训练得到的目标损失函数的取值与上一轮次训练得到的目标损失函数的取值之间的差值在预设范围(如，在0.01)之内，则认为该目标损失函数收敛了，则可终止训练，那么该当前轮次训练确定的目标卷积神经网络的网络参数的取值就作为最终训练好的目标卷积神经网络的网络参数取值。
(3)训练达到预设次数。
在这种方式中，可预先配置对目标卷积神经网络进行稀疏化训练的迭代次数(如，1000次)，在根据上述方式构建好该目标损失函数后，可对目标卷积神经网络进行迭代的稀疏化训练，每个轮次训练结束后，都将对应该轮次的目标卷积神经网络的网络参数的取值存储下来，直至稀疏化训练的迭代次数达到预设次数，之后，可以利用测试数据对各个轮次得到的目标卷积神经网络进行验证，从中选择性能最好的那个网络参数的取值作为该目标卷积神经网络最终的网络参数的取值，或者，将最后一次训练得到的目标卷积神经网络的网络参数作为该目标卷积神经网络最终的网络参数的取值。
最后，在本申请的一些实施方式中，稀疏化训练后得到的目标卷积神经网络就可部署在目标设备上，例如，可部署在手机、智能可穿戴设备(如，智能手环、智能手表等)等计算能力有限的边缘设备上。例如，如图5所示，当需要将一个预训练的卷积神经网络或随机初始化的卷积神经网络部署到计算能力有限的边缘设备上时，可通过本申请实施例提供的上述卷积神经网络的剪枝层处理方法减少网络计算量，从而加速在边缘设备上的推理过程，本申请实施例提供的卷积神经网络的剪枝处理方法针对每个输入样本可实现动态剪枝。
需要说明的是，在本申请上述实施方式中，阐述的是在第一子损失函数的取值没有达到第一阈值的情况下(即)目标损失函数的构建方法，在本申请的另一些实施方式中，若第一子损失函数的取值达到了第一阈值(即/>)，就认为对应的训练样本是复杂样本，在这种情况下，动态权重的取值则为零，即如下式(4)所示：
由于当时，λ(xi,θ)＝0，那么第二子损失函数也为零，表征的是当训练样本为复杂样本时，则不需要对该目标卷积神经网络进行剪枝，否则会影响预测结果，那么构建的目标损失函数可如下式(5)所示：
综上所述，针对任意一个输入的训练样本，可定义一个变量β，该变量β可表示为如下式(6)所示：
那么，动态权重就可表示为如下式(7)所示：
因此，构建的目标损失函数就可表示为如下式(8)所示：
综上所述，在本申请上述实施方式中，通过构建新的目标损失函数对卷积神经网络进行稀疏化训练，该新构建的目标损失函数由两个子损失函数组成，第一子损失函数用来衡量训练样本的复杂度，第二子损失函数用来衡量处理该训练样本的剪枝后的子网络的复杂度。其中，网络复杂度根据通道重要性函数与动态权重得到，并且在第一子损失函数的取值没有达到第一阈值的情况下，训练样本复杂度越高，动态权重取值就越小(呈反相关)，训练得到的通道重要性函数的稀疏性就越小，剪枝越少，即在剪枝过程中，充分利用了样本复杂度为每个训练样本定制对应的子网络结构，从而实现针对每个训练样本的灵活剪枝，可最大程度地挖掘卷积神经网络中的冗余，使得复杂度高的训练样本输入到容量大的子网络中做预测。
此外，在本申请的一些实施方式中，除了从样本复杂度的角度考虑外，还可以进一步从样本复杂度和样本相似度这两个角度进行考虑，即不仅期望复杂度高的训练样本输入到容量大的子网络进行预测，还期望相似的训练样本能输入到相似的子网络(即进行了相似的剪枝)中进行预测，具体请参阅图6，图6为本申请实施例提供的卷积神经网络的剪枝处理方法的另一种流程示意图，具体可以包括：
601、训练设备根据目标任务确定第一子损失函数，该第一子损失函数用于表征输入目标卷积神经网络的训练样本与输出的预测结果之间的差异。
602、训练设备根据通道重要性函数与动态权重得到第二子损失函数，在第一子损失函数的取值没有达到第一阈值的情况下，该动态权重的取值根据该第一子损失函数的取值得到，该动态权重的取值与该第一子损失函数的取值呈反相关关系。
本申请实施例中，步骤601至步骤602与上述实施例中的步骤301至步骤302类似，具体请参阅上述步骤301至步骤302，此处不予赘述。
603、训练设备根据第一相似度和第二相似度得到第三子损失函数，该第一相似度用于表征第一训练样本被提取的特征图与第二训练样本被提取的特征图之间的相似度，该第二相似度用于表征第一通道重要性参数与第二通道重要性参数之间的相似度，该第一通道重要性参数为输入第一训练样本后获得的通道重要性函数的取值，该第二通道重要性参数为输入第二训练样本后获得的通道重要性函数的取值。
除了将样本映射到复杂性空间之外，训练样本之间的相似性也可以帮助为不同训练样本定制合适的子网络结构，也就是希望相似的训练样本可以输入到相似的子网络中。因此，训练设备除了根据目标任务确定第一子损失函数以及根据通道重要性函数与动态权重得到第二子损失函数之外，还可以根据第一相似度和第二相似度得到第三子损失函数，其中，该第一相似度用于表征第一训练样本被提取的特征图与第二训练样本被提取的特征图之间的相似度，该第二相似度用于表征第一通道重要性参数与第二通道重要性参数之间的相似度，并且，该第一通道重要性参数为输入第一训练样本后获得的通道重要性函数的取值，具体用于表征该目标卷积神经网络中每个卷积核对该第一训练样本的重要程度，该第二通道重要性参数为输入第二训练样本后获得的通道重要性函数的取值，具体用于表征该目标卷积神经网络中每个卷积核对该第二训练样本的重要程度，第一训练样本与第二训练样本分别为训练集中任意两个样本。
具体地，在本申请实施例中，采用卷积神经网络对训练样本产生的中间层特征图Fl(xi)作为训练样本xi的表示，通道重要性函数πl(xi)作为网络结构的表示。不同子网络之间的相似度的一种表现形式可以用如下式(9)表示：
其中，l表示该目标卷积神经网络的任意一层，即l∈[1,L]，L为该目标卷积神经网络的总的层数，xi为输入的第一训练样本，xj为输入的第二训练样本，Tl[i,j]为上述所述的第二相似度，具体可以用于表征第一通道重要性参数πl(xi)与第二通道重要性参数πl(xj)之间的余弦相似度。需要注意的是，第二相似度表示为余弦相似度仅为示意，在本申请的另一些实施方式中，该第二相似度也可以表征为其他，此处不再示例。
此外，不同训练样本由目标卷积神经网络各层输出的特征图之间的相似度的一种表现形式可以用如下(10)式表示：
其中，l表示该目标卷积神经网络的任意一层，即l∈[1,L]，L为该目标卷积神经网络的总的层数，xi为输入的第一训练样本，xj为输入的第二训练样本，p(·)是池化操作(如，平均池化、最大池化等)，Rl[i,j]为上述所述的第一相似度，具体可以用于表征第一训练样本被提取的特征图Fl(xi)与第二训练样本被提取的特征图Fl(xj)之间的余弦相似度。同意需要注意的是，第一相似度表示为余弦相似度仅为示意，在本申请的另一些实施方式中，该第一相似度也可以表征为其他，此处不再示例。
基于上述式(9)和式(10)，在本申请的一些实施方式中，根据第一相似度和第二相似度得到第三子损失函数的具体实现方式就可以是：在将第一相似度Rl[i,j]与第二相似度Tl[i,j]分别转换为一维向量(如，池化操作)后，将第一相似度Rl[i,j]与第二相似度Tl[i,j]之间的距离函数作为该第三子损失函数，具体可以用如下式(11)表示：
其中，l表示该目标卷积神经网络的任意一层，即l∈[1,L]，L为该目标卷积神经网络的总的层数，为第三子损失函数，dis(Tl,Rl)为第一相似度Rl[i,j]与第二相似度Tl[i,j]之间的距离函数。
需要说明的是，在本申请的一些实施方式中，也可以是采用卷积神经网络对训练样本产生的最后一层特征图FL(xi)作为训练样本xi的表示，最后一层的通道重要性函数πL(xi)作为网络结构的表示，在这种情况下，不同子网络之间的相似度的一种表现形式可以用如下式(12)表示：
其中，L为该目标卷积神经网络的最后一层，xi为输入的第一训练样本，xj为输入的第二训练样本，TL[i,j]为上述所述的第二相似度，具体可以用于表征第一通道重要性参数πL(xi)与第二通道重要性参数πL(xj)之间的余弦相似度。
类似地，不同训练样本由目标卷积神经网络最后一层输出的特征图之间的相似度的一种表现形式可以用如下(13)式表示：
其中，L为该目标卷积神经网络的最后一层，xi为输入的第一训练样本，xj为输入的第二训练样本，p(·)是池化操作(如，平均池化、最大池化等)，RL[i,j]为上述所述的第一相似度，具体可以用于表征第一训练样本被提取的最后一层特征图FL(xi)与第二训练样本被提取的最后一层特征图FL(xj)之间的余弦相似度。
基于上述式(12)和式(13)，在本申请的一些实施方式中，根据第一相似度和第二相似度得到第三子损失函数的具体实现方式就可以用如下式(14)表示：
其中，L为该目标卷积神经网络的最后一层，为第三子损失函数，dis(TL,RL)为第一相似度RL[i,j]与第二相似度TL[i,j]之间的距离函数。
需要注意的是，在本申请实施例中，训练设备得到第二子损失函数与得到第三子损失函数的步骤可以不固定，即训练设备可以是先执行步骤602，再执行步骤603；训练设备也可以是先执行步骤603，再执行步骤602；训练设备还可以是同时执行步骤602和步骤603，具体本申请对此不做限定。
604、训练设备根据第一子损失函数、第二子损失函数及第三子损失函数得到目标损失函数。
训练设备在确定第一子损失函数的表达式、第二子损失函数的表达式以及第三子损失函数的表达式之后，就可根据该第一子损失函数、该第二子损失函数与该第三子损失函数得到目标损失函数，具体地，在本申请的一些实现方式中，该目标损失函数可以是将该第一子损失函数、第二子损失函数及第一乘积结果相加得到，而第一乘积结果为将该第三子损失函数与一个预设系数(可称为第一预设系数γ)相乘后的结果。因此，在本申请实施例中，目标损失函数的表达式可用如下式(15)表示：
其中，N为训练集中的训练样本的总数量，xi为当前输入的训练样本，为第一子损失函数，/>为第二子损失函数，/>为第三子损失函数，γ为第一预设系数(是超参数)。
605、训练设备利用该目标损失函数对该目标卷积神经网络进行稀疏化训练，得到训练后的目标卷积神经网络，其中，稀疏化为根据通道重要性函数的取值对目标卷积神经网络的卷积核进行剪枝。
本申请实施例中，步骤605与上述实施例中的步骤304类似，具体请参阅上述步骤304，此处不予赘述。
综上所述，图6对应的实施例所述的卷积神经网络的剪枝处理方法从样本的复杂度和样本的相似度两个角度来探索样本之间的相似性，从而来最大程度挖掘对应于任意实例的网络冗余，如图7所示，图7为本申请实施例提供的利用训练样本的流形信息来为每个训练样本定制各自对应的子网络结构，该流形信息包括样本复杂度和样本相似度两个角度。该剪枝处理方法是一种动态剪枝方法，通过为不同输入数据删除不同的卷积核，得到推理速度更快的动态网络。该网络可以更方便地部署到计算能力有限的设备中(比如手机、手表、机器人等)，处理图像、文本、语音等相关的目标任务(例如分类、分割、检测等)。
需要说明的是，在本申请的一些实施方式中，还可以仅考虑样本之间的相似度进行剪枝处理，处理方式与上述图6中考虑样本之间相似度的处理方式类似，此处不予赘述。
二、推理阶段
本申请实施例中，推理阶段为上述图2中执行设备210利用训练好的卷积神经网络201处理目标任务的过程。具体请参阅图8，图8为本申请实施例提供的数据处理方法的一种流程示意图，具体可以包括：
801、执行设备获取与目标任务相关的输入数据；
首先，执行设备获取待处理的输入数据，该输入数据与待执行的目标任务相关，例如，当目标任务是分类任务，那么输入数据就是指用于进行分类的数据。
需要说明的是，在本申请实施例中，输入数据可以是图像数据，也可以是音频数据，还可以是文本数据，其数据类型由待处理的目标任务决定，具体此处不做限定。
802、执行设备根据该输入数据对训练后的目标卷积神经网络进行剪枝，得到剪枝后的子网络，该训练后的目标卷积神经网络利用构建的目标损失函数训练得到。
之后，执行设备根据该输入数据及剪枝率对训练后的目标卷积神经网络进行剪枝，得到剪枝后的子网络，其中，该训练后的目标卷积神经网络基于上述图3对应的实施例或上述图6对应的实施例构建的目标损失函数训练得到。
例如，若该训练后的目标卷积神经网络是基于上述图3对应的实施例构建的目标损失函数训练得到，那么该目标损失函数具体是根据第一子损失函数及第二子损失函数得到，第一子损失函数根据目标任务确定，第二子损失函数根据通道重要性函数与动态权重确定，其中，第一子损失函数用于表征输入该目标卷积神经网络的训练样本与输出的预测结果之间的差异，并且在第一子损失函数的取值没有达到第一阈值的情况下，动态权重的取值根据第一子损失函数的取值得到，动态权重的取值与第一子损失函数的取值呈反相关关系。具体地，在本申请的一些实施方式中，该动态权重可用λ(xi,θ)表示，第一阈值可以用C表示，类似地，xi为输入的训练样本，θ是整个目标卷积神经网络的网络参数，λ(.)为该动态权重的表达式，动态权重λ(xi,θ)的取值根据第一子损失函数的取值得到的一种实现方式可以是：在的情况下，动态权重λ(xi,θ)的取值由第一比值/>与第二预设系数λ′相乘得到，第一比值/>为第一差值/>与第一阈值C之间的比值，第一差值/>为第一阈值C与第一子损失函数/>的取值之间的差值。在本申请的另一些实施方式中，在第一子损失函数的取值达到第一阈值的情况下(即)，动态权取值则为零(即λ(xi,θ)＝0)。
又例如，若该训练后的目标卷积神经网络是基于上述图6对应的实施例构建的目标损失函数训练得到，那么该目标损失函数具体是根据第一子损失函数、第二子损失函数及第三子损失函数得到，第一子损失函数根据目标任务确定，第二子损失函数根据通道重要性函数与动态权重确定，第三子损失函数根据第一相似度和第二相似度确定，其中，第一子损失函数用于表征输入该目标卷积神经网络的训练样本与输出的预测结果之间的差异，并且在第一子损失函数的取值没有达到第一阈值的情况下，动态权重的取值根据第一子损失函数的取值得到，动态权重的取值与第一子损失函数的取值呈反相关关系，第一相似度用于表征第一训练样本被提取的特征图与第二训练样本被提取的特征图之间的相似度，第二相似度用于表征第一通道重要性参数与第二通道重要性参数之间的相似度，第一通道重要性参数为输入所述第一训练样本后获得的所述通道重要性函数的取值，第二通道重要性参数为输入所述第二训练样本后获得的所述通道重要性函数的取值，第一训练样本与第二训练样本为训练集中任意两个不同的样本。
在本申请实施例中，具体该训练后的目标卷积神经网络如何基于构建的目标损失函数训练得到可参阅上述图3和图6对应实施例的相关描述，此处不予赘述。
需要说明的是，在本申请的一些实施方式中，执行设备根据输入数据对训练后的目标卷积神经网络进行剪枝，得到剪枝后的子网络的具体实现方式还可以是：根据输入数据和剪枝率对训练后的目标卷积神经网络进行剪枝，得到剪枝后的子网络，其中，剪枝率为被剪枝的卷积核在目标神经网络中所有卷积核中所占的比例。在本申请实施例中，剪枝率为被剪枝的卷积核在该目标卷积神经网络中所有卷积核中所占的比例，例如，假设该目标卷积神经网络中的所有卷积核为100个(即通道数为100)，若剪枝率为30％，说明需要剪掉30个通道，该方法可基于学习到的通道重要性函数πl(xi)，为不同输入数据动态地修剪网络。
为便于理解上述步骤302，下面举例进行示意：假设给定N个输入数据该训练后的目标卷积神经网络中的各卷积核(即通道)关于不同输入数据的平均重要性记为这里cl是该目标卷积神经网络第l层的通道数，比如，N＝100，那么每个输入数据都对应有1个通道重要性πl(xi)，共100个πl(xi)，先对这100个πl(xi)求平均值，得到/>这个/>是包括了l个元素的一维向量，每个元素对应一个卷积核(即通道)。把的元素排序为/>然后可以得到阈值/>，其中，η是预定义的剪枝率(比如，通道数为100，修剪率为30％，就是指需要剪掉30个通道)。在推理过程中，只有通道重要性函数的取值比阈值ξl大的通道需要被保留；通道重要性函数的取值比阈值ξl小的通道则被剪掉，意味着其对应的特征为冗余特征，可以被跳过。基于阈值ξl，不同的输入数据对应网络的实际剪枝方式是不同的，最终可以得到针对不同输入数据的计算代价不同的网络。
803、执行设备通过该子网络对该输入数据进行处理，得到输出数据。
最后，执行设备通过该剪枝处理后得到的子网络对输入数据进行处理，从而得到输出数据(即预测结果)。
为了对本申请实施例所带来的有益效果有更为直观的认识，以下对本申请实施例所带来的技术效果作进一步的对比。具体地，将本申请中的剪枝方法与已有的剪枝方法进行对比，实验结果如图9、图10、图11所示，其中，图9为本申请的剪枝方法与已有的剪枝方法在ImageNet数据集上对ResNet网络的分类结果对比图，图10为本申请的剪枝方法与已有的剪枝方法在ImageNet数据集上对MobileNetV2网络的分类结果对比图，图11为本申请的剪枝方法与已有的剪枝方法在CIFAR-10数据集上的结果对比图，其中，图9至图11中的ManiDP-A和ManiDP-B均为本申请的方法，分别对应不同的剪枝率，ManiDP-A的剪枝率小于ManiDP-B的剪枝率。
在上述实施例的基础上，为了更好的实施本申请实施例的上述方案，下面还提供用于实施上述方案的相关设备。具体参阅图12，图12为本申请实施例提供的一种训练设备的示意图，该训练设备1200具体可以包括：第一确定模块1201、第二确定模块1202、第三确定模块1203以及训练模块1204，其中，第一确定模块1201，用于根据目标任务确定第一子损失函数，该第一子损失函数用于表征输入目标卷积神经网络的训练样本与输出的预测结果之间的差异，其中，目标卷积神经网络为用于进行训练的卷积神经网络，目标卷积神经网络在针对不同训练样本的训练过程中具有不同的网络参数和损失函数，该训练样本为训练集种的任意一个样本；第二确定模块1202，用于根据通道重要性函数与动态权重得到第二子损失函数，在该第一子损失函数的取值没有达到第一阈值的情况下，该动态权重的取值根据该第一子损失函数的取值得到，该动态权重的取值与该第一子损失函数的取值呈反相关关系；第三确定模块1203，用于根据该第一子损失函数与该第二子损失函数得到目标损失函数；训练模块1204，用于利用该目标损失函数对该目标卷积神经网络进行稀疏化训练，得到训练后的目标卷积神经网络，其中，稀疏化为根据通道重要性函数的取值对目标卷积神经网络的卷积核进行剪枝。
在一种可能的设计中，第三确定模块1203，具体用于：将第一子损失函数与第二子损失函数相加，得到该目标损失函数。
在一种可能的设计中，第二确定模块1202，还用于：根据第一相似度和第二相似度得到第三子损失函数，该第一相似度用于表征第一训练样本被提取的特征图与第二训练样本被提取的特征图之间的相似度，该第二相似度用于表征第一通道重要性参数与第二通道重要性参数之间的相似度，该第一通道重要性参数为输入第一训练样本后获得的通道重要性函数的取值，该第二通道重要性参数为输入第二训练样本后获得的通道重要性函数的取值，该第一训练样本与该第二训练样本为该训练集中任意两个不同的样本；
在这种情况下，第三确定模块1203，具体还用于：根据该第一子损失函数、该第二子损失函数及该第三子损失函数得到该目标损失函数。
在一种可能的设计中，第二确定模块1202，具体还用于：在将该第一相似度与该第二相似度分别转换为一维向量后，将该第一相似度与该第二相似度之间的距离函数作为该第三子损失函数。
在一种可能的设计中，该第一相似度具体用于表征该第一训练样本被提取的特征图与第二训练样本被提取的特征图之间的余弦相似度；该第二相似度具体用于表征该第一通道重要性参数与该第二通道重要性参数之间的余弦相似度。
在一种可能的设计中，第三确定模块1203，具体还用于：将该第一子损失函数、该第二子损失函数及第一乘积结果相加，得到该目标损失函数，该第一乘积结果为将该第三子损失函数与第一预设系数相乘后的结果。
在一种可能的设计中，该动态权重的取值根据该第一子损失函数的取值得到包括：该动态权重的取值由第一比值与第二预设系数相乘得到，该第一比值为第一差值与该第一阈值之间的比值，该第一差值为该第一阈值与该第一子损失函数的取值之间的差值。
在一种可能的设计中，第二确定模块1202，具体用于：将该通道重要性函数与该动态权重相乘，得到该第二子损失函数。
在一种可能的设计中，在该第一子损失函数的取值达到该第一阈值的情况下，该动态权重的取值为零。
在一种可能的设计中，第一确定模块1201，具体用于：在该目标任务为分类任务的情况下，确定交叉熵损失函数为该第一子损失函数。
在一种可能的设计中，训练模块1204，还用于：将该训练后的目标卷积神经网络部署在目标设备上，例如，可部署在手机、智能可穿戴设备(如，智能手环、智能手表等)等计算能力有限的边缘设备上。
需要说明的是，训练设备1200中各模块/单元之间的信息交互、执行过程等内容，与本申请中图3或图6对应的方法实施例基于同一构思，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。
本申请实施例还提供一种执行设备，具体参阅图13，图13为本申请实施例提供的一种执行设备的示意图，该执行设备1300具体可以包括：获取模块1301、剪枝模块1302以及处理模块1303，其中，获取模块1301，用于获取与目标任务相关的输入数据；剪枝模块1302，用于根据该输入数据对训练后的目标卷积神经网络进行剪枝，得到剪枝后的子网络，该训练后的目标卷积神经网络利用目标损失函数训练得到，该目标损失函数根据第一子损失函数及第二子损失函数得到，该第一子损失函数根据该目标任务确定，该第二子损失函数根据通道重要性函数与动态权重确定，该第一子损失函数用于表征输入该目标卷积神经网络的训练样本与输出的预测结果之间的差异，在该第一子损失函数的取值没有达到第一阈值的情况下，该动态权重的取值根据该第一子损失函数的取值得到，该动态权重的取值与该第一子损失函数的取值呈反相关关系，该目标损失函数用于在目标卷积神经网络训练时对目标卷积神经网络进行稀疏化，稀疏化为根据通道重要性函数的取值对目标卷积神经网络的卷积核进行剪枝；处理模块1303，用于通过该子网络对该输入数据进行处理，得到输出数据。
在一种可能的设计中，剪枝模块1302，具体用于：根据输入数据和剪枝率对训练后的目标卷积神经网络进行剪枝，得到剪枝后的子网络，其中，该剪枝率为被剪枝的卷积核在该目标卷积神经网络种所有卷积核中所占的比例。
在一种可能的设计中，动态权重的取值根据该第一子损失函数的取值得到包括：该动态权重的取值由第一比值与第二预设系数相乘得到，该第一比值为第一差值与该第一阈值之间的比值，该第一差值为该第一阈值与该第一子损失函数的取值之间的差值。
在一种可能的设计中，在该第一子损失函数的取值达到第一阈值的情况下，该动态权取值为零。
在一种可能的设计中，该输入数据可以是图像数据、音频数据或文本数据中任意一种数据类型。
需要说明的是，执行设备1300中各模块/单元之间的信息交互、执行过程等内容，与本申请中图8对应的方法实施例基于同一构思，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。
接下来介绍本申请实施例提供的另一种训练设备，请参阅图14，图14为本申请实施例提供的训练设备的一种结构示意图，训练设备1400上可以部署有图12对应实施例中所描述的训练设备1200，用于实现图12对应实施例中训练设备1200的功能，具体的，训练设备1400由一个或多个服务器实现，训练设备1400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以***处理器(central processing units，CPU)1422和存储器1432，一个或一个以上存储应用程序1442或数据1444的存储介质1430(例如一个或一个以上海量存储设备)。其中，存储器1432和存储介质1430可以是短暂存储或持久存储。存储在存储介质1430的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对训练设备1400中的一系列指令操作。更进一步地，中央处理器1422可以设置为与存储介质1430通信，在训练设备1400上执行存储介质1430中的一系列指令操作。
训练设备1400还可以包括一个或一个以上电源1426，一个或一个以上有线或无线网络接口1450，一个或一个以上输入输出接口1458，和/或，一个或一个以上操作***1441，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等等。
本申请实施例中，中央处理器1422，用于执行图3或图6对应实施例中的训练设备执行的卷积神经网络的剪枝处理方法。例如，中央处理器1422可以用于：首先，根据目标任务确定第一子损失函数，该第一子损失函数就用于表征输入待进行剪枝处理的卷积神经网络(即所述的目标卷积神经网络)的训练样本与输出的预测结果之间的差异。例如，当目标任务是分类任务，那么第一子损失函数可以是交叉熵损失函数；除了根据目标任务确定第一子损失函数之外，还可以根据通道重要性函数与动态权重得到第二子损失函数，并且在第一子损失函数的取值没有达到预设的阈值(可称为第一阈值)的情况下，动态权重的取值是根据第一子损失函数的取值得到，动态权重的取值与第一子损失函数的取值呈反相关关系；在确定第一子损失函数的表达式和第二子损失函数的表达式之后，根据该第一子损失函数与该第二子损失函数得到目标损失函数；最后，利用该目标损失函数对该目标卷积神经网络进行稀疏化训练，从而得到训练后的目标卷积神经网络。
需要说明的是，中央处理器1422执行上述各个步骤的具体方式，与本申请中图3或图6对应的方法实施例基于同一构思，其带来的技术效果也与本申请上述实施例相同，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。
接下来介绍本申请实施例提供的一种执行设备，请参阅图15，图15为本申请实施例提供的执行设备的一种结构示意图，执行设备1500具体可以表现为各种终端设备，如虚拟现实VR设备、手机、平板、笔记本电脑、智能穿戴设备、监控数据处理设备或者雷达数据处理设备等，此处不做限定。其中，执行设备1500上可以部署有图13对应实施例中所描述的执行设备1300，用于实现图13对应实施例中执行设备1300的功能。具体的，执行设备1500包括：接收器1501、发射器1502、处理器1503和存储器1504(其中执行设备1500中的处理器1503的数量可以一个或多个，图15中以一个处理器为例)，其中，处理器1503可以包括应用处理器15031和通信处理器15032。在本申请的一些实施例中，接收器1501、发射器1502、处理器1503和存储器1504可通过总线或其它方式连接。
存储器1504可以包括只读存储器和随机存取存储器，并向处理器1503提供指令和数据。存储器1504的一部分还可以包括非易失性随机存取存储器(non-volatile randomaccess memory，NVRAM)。存储器1504存储有处理器和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。
处理器1503控制执行设备1500的操作。具体的应用中，执行设备1500的各个组件通过总线***耦合在一起，其中总线***除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都称为总线***。
本申请上述图8对应实施例揭示的方法可以应用于处理器1503中，或者由处理器1503实现。处理器1503可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1503中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1503可以是通用处理器、数字信号处理器(digital signal processing，DSP)、微处理器或微控制器，还可进一步包括专用集成电路(application specificintegrated circuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。该处理器1503可以实现或者执行本申请图8对应的实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1504，处理器1503读取存储器1504中的信息，结合其硬件完成上述方法的步骤。
接收器1501可用于接收输入的数字或字符信息，以及产生与执行设备1500的相关设置以及功能控制有关的信号输入。发射器1502可用于通过第一接口输出数字或字符信息；发射器1502还可用于通过第一接口向磁盘组发送指令，以修改磁盘组中的数据；发射器1502还可以包括显示屏等显示设备。
本申请实施例中，在一种情况下，处理器1503，用于通过训练后的目标卷积神经网络对输入数据进行相应的数据处理，得到对应的输出数据(即预测结果)。该训练后的目标卷积神经网络可以是经过本申请图3或图6对应的训练方法得到，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。
本申请实施例中还提供一种计算机可读存储介质，该计算机可读存储介质中存储有用于进行信号处理的程序，当其在计算机上运行时，使得计算机执行如前述所示实施例描述的训练设备所执行的步骤，或者，使得计算机执行如前述图3、图6或图8所示实施例描述的执行设备所执行的步骤。
本申请实施例提供的训练设备、执行设备等具体可以为芯片，芯片包括：处理单元和通信单元，该处理单元例如可以是处理器，所述通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令，以使训练设备内的芯片执行上述所示实施例描述的训练设备所执行的步骤，或者，使得执行设备内的芯片执行如前述图3、图6或图8所示实施例描述的执行设备所执行的步骤。
可选地，所述存储单元为所述芯片内的存储单元，如寄存器、缓存等，所述存储单元还可以是所述无线接入设备端内的位于所述芯片外部的存储单元，如只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)等。
具体的，请参阅图16，图16为本申请实施例提供的芯片的一种结构示意图，所述芯片可以表现为神经网络处理器NPU 200，NPU 200作为协处理器挂载到主CPU(Host CPU)上，由Host CPU分配任务。NPU的核心部分为运算电路2003，通过控制器2004控制运算电路2003提取存储器中的矩阵数据并进行乘法运算。
在一些实现中，运算电路2003内部包括多个处理单元(process engine,PE)。在一些实现中，运算电路2003是二维脉动阵列。运算电路2003还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中，运算电路2003是通用的矩阵处理器。
举例来说，假设有输入矩阵A，权重矩阵B，输出矩阵C。运算电路从权重存储器2002中取矩阵B相应的数据，并缓存在运算电路中每一个PE上。运算电路从输入存储器2001中取矩阵A数据与矩阵B进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器(accumulator)2008中。
统一存储器2006用于存放输入数据以及输出数据。权重数据直接通过存储单元访问控制器(direct memory access controller，DMAC)2005，DMAC被搬运到权重存储器2002中。输入数据也通过DMAC被搬运到统一存储器2006中。
总线接口单元2010(bus interface unit，简称BIU)，用于AXI总线与DMAC和取指存储器(Instruction Fetch Buffer，IFB)2009的交互。
总线接口单元2010，用于取指存储器2009从外部存储器获取指令，还用于存储单元访问控制器2005从外部存储器获取输入矩阵A或者权重矩阵B的原数据。
DMAC主要用于将外部存储器DDR中的输入数据搬运到统一存储器2006或将权重数据搬运到权重存储器2002中或将输入数据数据搬运到输入存储器2001中。
向量计算单元2007包括多个运算处理单元，在需要的情况下，对运算电路的输出做进一步处理，如向量乘，向量加，指数运算，对数运算，大小比较等等。主要用于神经网络中非卷积/全连接层网络计算，如Batch Normalization(批归一化)，像素级求和，对特征平面进行上采样等。
在一些实现中，向量计算单元2007能将经处理的输出的向量存储到统一存储器2006。例如，向量计算单元2007可以将线性函数和/或非线性函数应用到运算电路2003的输出，例如对卷积层提取的特征平面进行线性插值，再例如累加值的向量，用以生成激活值。在一些实现中，向量计算单元2007生成归一化的值、像素级求和的值，或二者均有。在一些实现中，处理过的输出的向量能够用作到运算电路2003的激活输入，例如用于在神经网络中的后续层中的使用。
控制器2004连接的取指存储器(instruction fetch buffer)2009，用于存储控制器2004使用的指令；
统一存储器2006，输入存储器2001，权重存储器2002以及取指存储器2009均为On-Chip存储器。外部存储器私有于该NPU硬件架构。
其中，上述任一处提到的处理器，可以是一个通用中央处理器，微处理器，ASIC，或一个或多个用于控制上述第一方面方法的程序执行的集成电路。
另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本申请提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，训练设备，或者网络设备等)执行本申请各个实施例所述的方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、训练设备或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、训练设备或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的训练设备、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

Claims (34)

1.一种卷积神经网络的剪枝处理方法，其特征在于，包括：
根据目标任务确定第一子损失函数，所述第一子损失函数用于表征输入目标卷积神经网络的训练样本与输出的预测结果之间的差异，所述目标卷积神经网络为用于进行训练的卷积神经网络，所述目标卷积神经网络在针对不同训练样本的训练过程中具有不同的网络参数和损失函数，所述训练样本为训练集中的样本，所述训练样本为如下任一种：图像、视频、文本或音频；
根据通道重要性函数与动态权重得到第二子损失函数，在所述第一子损失函数的取值没有达到第一阈值的情况下，所述动态权重的取值根据所述第一子损失函数的取值得到，所述动态权重的取值与所述第一子损失函数的取值呈反相关关系；
根据所述第一子损失函数与所述第二子损失函数得到目标损失函数；
利用所述目标损失函数对所述目标卷积神经网络进行稀疏化训练，得到训练后的目标卷积神经网络，所述稀疏化为根据所述通道重要性函数的取值对所述目标卷积神经网络的卷积核进行剪枝；
将所述训练后的目标卷积神经网络部署于计算能力有限的边缘设备中的处理器上，以使得所述边缘设备中的处理器通过所述训练后的目标卷积神经网络对每个输入样本实现动态剪枝，部署有所述训练后的目标卷积神经网络的所述边缘设备用于处理图像、文本或语音相关的所述目标任务，所述目标任务至少包括分类任务、分割任务、检测任务。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一子损失函数与所述第二子损失函数得到目标损失函数包括：
将所述第一子损失函数与所述第二子损失函数相加，得到所述目标损失函数。
3.根据权利要求1所述的方法，其特征在于，在根据所述第一子损失函数与所述第二子损失函数得到目标损失函数之前，所述方法还包括：
根据第一相似度和第二相似度得到第三子损失函数，所述第一相似度用于表征第一训练样本被提取的特征图与第二训练样本被提取的特征图之间的相似度，所述第二相似度用于表征第一通道重要性参数与第二通道重要性参数之间的相似度，所述第一通道重要性参数为输入所述第一训练样本后获得的所述通道重要性函数的取值，所述第二通道重要性参数为输入所述第二训练样本后获得的所述通道重要性函数的取值，所述第一训练样本与所述第二训练样本为所述训练集中两个不同的样本；
所述根据所述第一子损失函数与所述第二子损失函数得到目标损失函数包括：
根据所述第一子损失函数、所述第二子损失函数及所述第三子损失函数得到所述目标损失函数。
4.根据权利要求3所述的方法，其特征在于，所述根据第一相似度和第二相似度得到第三子损失函数包括：
将所述第一相似度与所述第二相似度之间的距离函数作为所述第三子损失函数。
5.根据权利要求3-4中任一项所述的方法，其特征在于，
所述第一相似度具体用于表征所述第一训练样本被提取的特征图与第二训练样本被提取的特征图之间的余弦相似度；
所述第二相似度具体用于表征所述第一通道重要性参数与所述第二通道重要性参数之间的余弦相似度。
6.根据权利要求3-5中任一项所述的方法，其特征在于，所述根据所述第一子损失函数、所述第二子损失函数及所述第三子损失函数得到所述目标损失函数包括：
将所述第一子损失函数、所述第二子损失函数及第一乘积结果相加，得到所述目标损失函数，所述第一乘积结果为将所述第三子损失函数与第一预设系数相乘后的结果。
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述动态权重的取值根据所述第一子损失函数的取值得到包括：
所述动态权重的取值由第一比值与第二预设系数相乘得到，所述第一比值为第一差值与所述第一阈值之间的比值，所述第一差值为所述第一阈值与所述第一子损失函数的取值之间的差值。
8.根据权利要求1-7中任一项所述的方法，其特征在于，所述根据通道重要性函数与动态权重得到第二子损失函数包括：
将所述通道重要性函数与所述动态权重相乘，得到所述第二子损失函数。
9.根据权利要求1-8中任一项所述的方法，其特征在于，
在所述第一子损失函数的取值达到所述第一阈值的情况下，所述动态权重的取值为零。
10.根据权利要求1-9中任一项所述的方法，其特征在于，根据目标任务确定第一子损失函数包括：
在所述目标任务为分类任务的情况下，确定交叉熵损失函数为所述第一子损失函数。
11.一种数据处理方法，其特征在于，应用于执行设备，所述执行设备上部署有训练后的目标卷积神经网络，所述执行设备包括计算能力有限的边缘设备，所述执行设备用于处理图像、文本或语音相关的目标任务，所述目标任务至少包括分类任务、分割任务、检测任务，所述方法包括：
所述执行设备中的处理器获取与所述目标任务相关的输入数据；
所述执行设备中的处理器根据所述输入数据对所述训练后的目标卷积神经网络进行剪枝，得到剪枝后的子网络，所述训练后的目标卷积神经网络利用目标损失函数训练得到，所述目标损失函数根据第一子损失函数及第二子损失函数得到，所述第一子损失函数根据所述目标任务确定，所述第二子损失函数根据通道重要性函数与动态权重确定，所述第一子损失函数用于表征输入所述目标卷积神经网络的训练样本与输出的预测结果之间的差异，在所述第一子损失函数的取值没有达到第一阈值的情况下，所述动态权重的取值根据所述第一子损失函数的取值得到，所述动态权重的取值与所述第一子损失函数的取值呈反相关关系，所述目标损失函数用于在所述目标卷积神经网络训练时对所述目标卷积神经网络进行稀疏化，所述稀疏化为根据所述通道重要性函数的取值对所述目标卷积神经网络的卷积核进行剪枝，所述训练样本为如下任一种：图像、视频、文本或音频；
所述执行设备中的所述处理器通过所述子网络对所述输入数据进行处理，得到输出数据。
12.根据权利要求11所述的方法，其特征在于，所述执行设备根据所述输入数据对训练后的目标卷积神经网络进行剪枝，得到剪枝后的子网络包括：
所述执行设备根据所述输入数据和剪枝率对训练后的目标卷积神经网络进行剪枝，得到剪枝后的子网络，其中，所述剪枝率为被剪枝的卷积核在目标神经网络中所有卷积核中所占的比例。
13.根据权利要求11-12中任一项所述的方法，其特征在于，所述动态权重的取值根据所述第一子损失函数的取值得到包括：
所述动态权重的取值由第一比值与第二预设系数相乘得到，所述第一比值为第一差值与所述第一阈值之间的比值，所述第一差值为所述第一阈值与所述第一子损失函数的取值之间的差值。
14.根据权利要求11-13中任一项所述的方法，其特征在于，在所述第一子损失函数的取值达到第一阈值的情况下，所述动态权取值为零。
15.根据权利要求11-14中任一项所述的方法，其特征在于，所述输入数据包括：
图像数据、音频数据、文本数据。
16.一种训练设备，其特征在于，包括：
第一确定模块，用于根据目标任务确定第一子损失函数，所述第一子损失函数用于表征输入目标卷积神经网络的训练样本与输出的预测结果之间的差异，所述目标卷积神经网络为用于进行训练的卷积神经网络，所述目标卷积神经网络在针对不同训练样本的训练过程中具有不同的网络参数和损失函数，所述训练样本为训练集中的样本，所述训练样本为如下任一种：图像、视频、文本或音频；
第二确定模块，用于根据通道重要性函数与动态权重得到第二子损失函数，在所述第一子损失函数的取值没有达到第一阈值的情况下，所述动态权重的取值根据所述第一子损失函数的取值得到，所述动态权重的取值与所述第一子损失函数的取值呈反相关关系；
第三确定模块，用于根据所述第一子损失函数与所述第二子损失函数得到目标损失函数；
训练模块，用于利用所述目标损失函数对所述目标卷积神经网络进行稀疏化训练，得到训练后的目标卷积神经网络，所述稀疏化为根据所述通道重要性函数的取值对所述目标卷积神经网络的卷积核进行剪枝；
所述训练模块，还用于将所述训练后的目标卷积神经网络部署于计算能力有限的边缘设备中的处理器上，以使得所述边缘设备中的处理器通过所述训练后的目标卷积神经网络对每个输入样本实现动态剪枝，部署有所述训练后的目标卷积神经网络的所述边缘设备用于处理图像、文本或语音相关的所述目标任务，所述目标任务至少包括分类任务、分割任务、检测任务。
17.根据权利要求16所述的训练设备，其特征在于，所述第三确定模块，具体用于：
将所述第一子损失函数与所述第二子损失函数相加，得到所述目标损失函数。
18.根据权利要求16所述的训练设备，其特征在于，所述第二确定模块，还用于：
根据第一相似度和第二相似度得到第三子损失函数，所述第一相似度用于表征第一训练样本被提取的特征图与第二训练样本被提取的特征图之间的相似度，所述第二相似度用于表征第一通道重要性参数与第二通道重要性参数之间的相似度，所述第一通道重要性参数为输入所述第一训练样本后获得的所述通道重要性函数的取值，所述第二通道重要性参数为输入所述第二训练样本后获得的所述通道重要性函数的取值，所述第一训练样本与所述第二训练样本为所述训练集中任意两个不同的样本；
所述第三确定模块，具体还用于：
根据所述第一子损失函数、所述第二子损失函数及所述第三子损失函数得到所述目标损失函数。
19.根据权利要求18所述的训练设备，其特征在于，所述第二确定模块，具体还用于：
将所述第一相似度与所述第二相似度之间的距离函数作为所述第三子损失函数。
20.根据权利要求18-19中任一项所述的训练设备，其特征在于，
所述第一相似度具体用于表征所述第一训练样本被提取的特征图与第二训练样本被提取的特征图之间的余弦相似度；
所述第二相似度具体用于表征所述第一通道重要性参数与所述第二通道重要性参数之间的余弦相似度。
21.根据权利要求18-20中任一项所述的训练设备，其特征在于，所述第三确定模块，具体还用于：
将所述第一子损失函数、所述第二子损失函数及第一乘积结果相加，得到所述目标损失函数，所述第一乘积结果为将所述第三子损失函数与第一预设系数相乘后的结果。
22.根据权利要求16-21中任一项所述的训练设备，其特征在于，所述动态权重的取值根据所述第一子损失函数的取值得到包括：
所述动态权重的取值由第一比值与第二预设系数相乘得到，所述第一比值为第一差值与所述第一阈值之间的比值，所述第一差值为所述第一阈值与所述第一子损失函数的取值之间的差值。
23.根据权利要求16-22中任一项所述的训练设备，其特征在于，所述第二确定模块，具体用于：
将所述通道重要性函数与所述动态权重相乘，得到所述第二子损失函数。
24.根据权利要求16-23中任一项所述的训练设备，其特征在于，
在所述第一子损失函数的取值达到所述第一阈值的情况下，所述动态权重的取值为零。
25.根据权利要求16-24中任一项所述的训练设备，其特征在于，所述第一确定模块，具体用于：
在所述目标任务为分类任务的情况下，确定交叉熵损失函数为所述第一子损失函数。
26.一种执行设备，其特征在于，所述执行设备上部署有训练后的目标卷积神经网络，所述执行设备包括计算能力有限的边缘设备中的处理器，所述执行设备用于处理图像、文本或语音相关的目标任务，所述目标任务至少包括分类任务、分割任务、检测任务，包括：
获取模块，用于获取与所述目标任务相关的输入数据；
剪枝模块，用于根据所述输入数据对所述训练后的目标卷积神经网络进行剪枝，得到剪枝后的子网络，所述训练后的目标卷积神经网络利用目标损失函数训练得到，所述目标损失函数根据第一子损失函数及第二子损失函数得到，所述第一子损失函数根据所述目标任务确定，所述第二子损失函数根据通道重要性函数与动态权重确定，所述第一子损失函数用于表征输入所述目标卷积神经网络的训练样本与输出的预测结果之间的差异，在所述第一子损失函数的取值没有达到第一阈值的情况下，所述动态权重的取值根据所述第一子损失函数的取值得到，所述动态权重的取值与所述第一子损失函数的取值呈反相关关系，所述目标损失函数用于在所述目标卷积神经网络训练时对所述目标卷积神经网络进行稀疏化，所述稀疏化为根据所述通道重要性函数的取值对所述目标卷积神经网络的卷积核进行剪枝，所述训练样本为如下任一种：图像、视频、文本或音频；
处理模块，用于通过所述子网络对所述输入数据进行处理，得到输出数据。
27.根据权利要求26所述的执行设备，其特征在于，所述剪枝模块，具体用于：
根据所述输入数据和剪枝率对训练后的目标卷积神经网络进行剪枝，得到剪枝后的子网络，其中，所述剪枝率为被剪枝的卷积核在目标神经网络中所有卷积核中所占的比例。
28.根据权利要求26-27中任一项所述的执行设备，其特征在于，所述动态权重的取值根据所述第一子损失函数的取值得到包括：
所述动态权重的取值由第一比值与第二预设系数相乘得到，所述第一比值为第一差值与所述第一阈值之间的比值，所述第一差值为所述第一阈值与所述第一子损失函数的取值之间的差值。
29.根据权利要求26-28中任一项所述的执行设备，其特征在于，在所述第一子损失函数的取值达到第一阈值的情况下，所述动态权取值为零。
30.根据权利要求26-29中任一项所述的执行设备，其特征在于，所述输入数据包括：
图像数据、音频数据、文本数据。
31.一种训练设备，包括处理器和存储器，所述处理器与所述存储器耦合，其特征在于，
所述存储器，用于存储程序；
所述处理器，用于执行所述存储器中的程序，使得所述训练设备执行如权利要求1-10中任一项所述的方法。
32.一种执行设备，包括处理器和存储器，所述处理器与所述存储器耦合，其特征在于，
所述存储器，用于存储程序；
所述处理器，用于执行所述存储器中的程序，使得所述执行设备执行如权利要求11-15中任一项所述的方法。
33.一种计算机可读存储介质，包括程序，当其在计算机上运行时，使得计算机执行如权利要求1-15中任一项所述的方法。
34.一种芯片，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，执行如权利要求1-15中任一项所述的方法。
CN202110221926.3A 2021-02-27 2021-02-27 一种卷积神经网络的剪枝处理方法、数据处理方法及设备 Active CN113065636B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110221926.3A CN113065636B (zh) 2021-02-27 2021-02-27 一种卷积神经网络的剪枝处理方法、数据处理方法及设备
EP22758856.3A EP4283520A1 (en) 2021-02-27 2022-02-22 Pruning processing method for convolutional neural network, data processing method and devices
PCT/CN2022/077245 WO2022179492A1 (zh) 2021-02-27 2022-02-22 一种卷积神经网络的剪枝处理方法、数据处理方法及设备
US18/238,016 US20230401446A1 (en) 2021-02-27 2023-08-25 Convolutional neural network pruning processing method, data processing method, and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110221926.3A CN113065636B (zh) 2021-02-27 2021-02-27 一种卷积神经网络的剪枝处理方法、数据处理方法及设备

Publications (2)

Publication Number Publication Date
CN113065636A CN113065636A (zh) 2021-07-02
CN113065636B true CN113065636B (zh) 2024-06-07

Family

ID=76559230

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110221926.3A Active CN113065636B (zh) 2021-02-27 2021-02-27 一种卷积神经网络的剪枝处理方法、数据处理方法及设备

Country Status (4)

Country Link
US (1) US20230401446A1 (zh)
EP (1) EP4283520A1 (zh)
CN (1) CN113065636B (zh)
WO (1) WO2022179492A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113065636B (zh) * 2021-02-27 2024-06-07 华为技术有限公司 一种卷积神经网络的剪枝处理方法、数据处理方法及设备
CN113469340A (zh) * 2021-07-06 2021-10-01 华为技术有限公司 一种模型处理方法、联邦学习方法及相关设备
CN113554104B (zh) * 2021-07-28 2022-09-30 哈尔滨工程大学 一种基于深度学习模型的图像分类方法
CN113935484A (zh) * 2021-10-19 2022-01-14 上海交通大学 一种卷积神经网络模型的压缩方法及装置
US20240119706A1 (en) * 2022-09-30 2024-04-11 Samsung Electronics Co., Ltd. Generating images with small objects for training a pruned super-resolution network
CN116450564B (zh) * 2023-06-15 2023-11-28 支付宝(杭州)信息技术有限公司 一种多处理卡间的数据传输方法和***
CN116992945B (zh) * 2023-09-27 2024-02-13 之江实验室 一种基于贪心策略反向通道剪枝的图像处理方法及装置
CN117035044B (zh) * 2023-10-08 2024-01-12 安徽农业大学 基于输出激活映射的过滤器剪枝方法、图像分类***及边缘设备
CN117237788B (zh) * 2023-11-14 2024-03-01 浙江大华技术股份有限公司 图像处理方法、设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178525A (zh) * 2019-12-24 2020-05-19 重庆邮电大学 一种基于剪枝的卷积神经网络压缩方法、***及介质
CN112085041A (zh) * 2019-06-12 2020-12-15 北京地平线机器人技术研发有限公司 神经网络的训练方法、训练装置和电子设备
CN112183748A (zh) * 2020-09-30 2021-01-05 中国科学院自动化研究所 基于稀疏卷积神经网络的模型压缩方法、***及相关设备
CN112183747A (zh) * 2020-09-29 2021-01-05 华为技术有限公司 神经网络训练的方法、神经网络的压缩方法以及相关设备
GB202020392D0 (en) * 2020-12-22 2021-02-03 Imagination Tech Ltd Training a neural network comprising a plurality of layers

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635927A (zh) * 2018-12-05 2019-04-16 东软睿驰汽车技术（沈阳）有限公司 一种卷积神经网络训练方法及装置
EP3716158A3 (en) * 2019-03-25 2020-11-25 Nokia Technologies Oy Compressing weight updates for decoder-side neural networks
CN111612143B (zh) * 2020-05-22 2023-12-19 中国科学院自动化研究所 深度卷积神经网络的压缩方法及***
CN112163628A (zh) * 2020-10-10 2021-01-01 北京航空航天大学 一种适用于嵌入式设备的改进目标实时识别网络结构的方法
CN113065636B (zh) * 2021-02-27 2024-06-07 华为技术有限公司 一种卷积神经网络的剪枝处理方法、数据处理方法及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085041A (zh) * 2019-06-12 2020-12-15 北京地平线机器人技术研发有限公司 神经网络的训练方法、训练装置和电子设备
CN111178525A (zh) * 2019-12-24 2020-05-19 重庆邮电大学 一种基于剪枝的卷积神经网络压缩方法、***及介质
CN112183747A (zh) * 2020-09-29 2021-01-05 华为技术有限公司 神经网络训练的方法、神经网络的压缩方法以及相关设备
CN112183748A (zh) * 2020-09-30 2021-01-05 中国科学院自动化研究所 基于稀疏卷积神经网络的模型压缩方法、***及相关设备
GB202020392D0 (en) * 2020-12-22 2021-02-03 Imagination Tech Ltd Training a neural network comprising a plurality of layers

Also Published As

Publication number Publication date
WO2022179492A1 (zh) 2022-09-01
CN113065636A (zh) 2021-07-02
US20230401446A1 (en) 2023-12-14
EP4283520A1 (en) 2023-11-29

Similar Documents

Publication Publication Date Title
CN113065636B (zh) 一种卷积神经网络的剪枝处理方法、数据处理方法及设备
WO2019228358A1 (zh) 深度神经网络的训练方法和装置
CN112183718B (zh) 一种用于计算设备的深度学习训练方法和装置
WO2022116856A1 (zh) 一种模型结构、模型训练方法、图像增强方法及设备
CN112598597A (zh) 一种降噪模型的训练方法及相关装置
CN112529149B (zh) 一种数据处理方法及相关装置
CN113065635A (zh) 一种模型的训练方法、图像增强方法及设备
CN113065997B (zh) 一种图像处理方法、神经网络的训练方法以及相关设备
CN113592060A (zh) 一种神经网络优化方法以及装置
CN113536970A (zh) 一种视频分类模型的训练方法及相关装置
CN113627163A (zh) 一种注意力模型、特征提取方法及相关装置
CN116883715A (zh) 一种数据处理方法及其装置
CN115601513A (zh) 一种模型超参数的选择方法及相关装置
CN115146757A (zh) 一种神经网络模型的训练方法及装置
CN117391138A (zh) 一种数据处理方法及其装置
WO2024055952A1 (zh) 一种数据处理方法及其装置
CN116433621A (zh) 一种数据处理方法及其装置
CN117350913A (zh) 一种数据处理方法及其装置
WO2024140630A1 (zh) 一种模型训练方法及其相关设备
CN117765341A (zh) 一种数据处理方法及相关装置
CN117669691A (zh) 一种数据处理方法及其装置
CN117251592A (zh) 一种数据处理方法及其装置
CN117217982A (zh) 一种视觉任务处理方法及其相关设备
CN116309226A (zh) 一种图像处理方法及其相关设备
CN117746047A (zh) 一种图像处理方法及其相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant