CN111709493A - 对象分类方法、训练方法、装置、设备及存储介质 - Google Patents
对象分类方法、训练方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111709493A CN111709493A CN202010662167.XA CN202010662167A CN111709493A CN 111709493 A CN111709493 A CN 111709493A CN 202010662167 A CN202010662167 A CN 202010662167A CN 111709493 A CN111709493 A CN 111709493A
- Authority
- CN
- China
- Prior art keywords
- objective function
- classification
- model
- neural network
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 150
- 238000012549 training Methods 0.000 title claims abstract description 92
- 238000003860 storage Methods 0.000 title claims abstract description 22
- 238000013145 classification model Methods 0.000 claims abstract description 105
- 238000013138 pruning Methods 0.000 claims abstract description 74
- 238000003062 neural network model Methods 0.000 claims abstract description 58
- 230000006870 function Effects 0.000 claims description 123
- 238000005457 optimization Methods 0.000 claims description 42
- 238000004422 calculation algorithm Methods 0.000 claims description 25
- 230000009977 dual effect Effects 0.000 claims description 23
- 239000013598 vector Substances 0.000 claims description 8
- 230000008569 process Effects 0.000 abstract description 28
- 238000013473 artificial intelligence Methods 0.000 abstract description 16
- 238000012545 processing Methods 0.000 abstract description 12
- 238000004364 calculation method Methods 0.000 abstract description 9
- 230000009466 transformation Effects 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 description 21
- 238000013528 artificial neural network Methods 0.000 description 16
- 239000011159 matrix material Substances 0.000 description 11
- 238000013135 deep learning Methods 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 8
- 241000282414 Homo sapiens Species 0.000 description 6
- 230000000295 complement effect Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 4
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000035126 Facies Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种对象分类方法、训练方法、装置、设备及存储介质，分类方法包括：获取待分类的对象；将所述对象输入至分类模型中，输出分类结果；所述分类模型通过以下步骤获取：构建神经网络模型的第一目标函数，第一目标函数具有神经网络模型的参数的零模范数；将零模范数转化为等价的连续表示；根据连续表示和第一目标函数，得到连续的第二目标函数；基于第二目标函数对神经网络模型进行训练，得到训练好的分类模型。本发明基于连续的第二目标函数，减少占用的数据处理资源，计算难度低，且训练过程通过等价转换的方式得到剪枝后的分类模型，无需引入近似误差，从而可以获得更高的分类精度，可广泛应用于人工智能技术领域。
Description
技术领域
本发明涉及人工智能技术领域，尤其是一种对象分类方法、训练方法、装置、设备及存储介质。
背景技术
近年来，随着科技的快速发展，人工智能不断进入我们的视野中。作为人工智能的核心技术，深度学习也受到越来越多人的关注和重视。在深度学习领域，分类(classification)问题作为最基础且最重要的研究方向，其它的很多AI应用都可以从分类问题演变而来，同时许多问题也可以转化成分类问题。例如计算机视觉中自然场景的图像分割可以转化为对每个像素点进行分类后赋予相应的标签。
随着深度学习的发展，神经网络的深度越来越深，其计算量以及参数量越来越多，对于一些计算能力有限的设备(如小型服务器或者移动设备等终端产品)来说，很难进行部署。模型剪枝技术，主要包括权重剪枝和通道剪枝，是深度学习模型在实际生产中部署的重要一环。通过模型剪枝技术对分类问题的深度学习模型进行压缩，能减少分类问题占用的资源(如计算机内存)并节约成本。
目前分类问题的模型剪枝解决方案是设计各种各样的准则来判断哪些网络参数是冗余的，再根据判断的结果对神经网络模型进行剪枝和微调。例如，可通过计算神经网络的各个通道的权重的范数，然后将其进行从大到小的顺序排序，最后将排在最后的权重参数所对应的通道删除，从而得到剪枝之后的模型；或者，可通过引入掩模参数将剪枝模型转化为带稀疏优化的非凸非光滑优化模型，然后利用稀疏优化的技巧来求解掩模变量来进行分类问题的深度神经网络的剪枝等。上述分类问题的模型剪枝方法均采用了稀疏优化的思想来进行模型剪枝，但是由于稀疏约束/正则项的引入，模型剪枝问题是一个不连续的非凸优化问题，导致这些方法无法采用反向传播的方法直接来训练剪枝模型，不利于降低分类问题的计算难度。为此，相关技术可采用近似的方法逼近稀疏约束/正则项，从而保证在训练分类模型的过程中能够进行反向传播。但是采用近似的方法会导致剪枝压缩后的分类模型与原始的分类模型之间有一定的近似误差，降低了分类精度。
发明内容
本申请实施例提供了一种对象分类方法、训练方法、装置、设备及存储介质,以获得更高的分类精度。
根据本申请实施例的第一方面，一种对象分类方法，包括以下步骤：
获取待分类的对象；
将所述对象输入至分类模型中，输出分类结果；所述分类模型通过以下步骤获取：
基于稀疏优化方式构建神经网络模型的第一目标函数，所述第一目标函数具有所述神经网络模型的参数的零模范数；
将所述零模范数转化为等价的连续表示；
根据所述连续表示和所述第一目标函数，得到连续的第二目标函数；
基于所述第二目标函数对所述神经网络模型进行训练，得到训练好的分类模型。
根据本申请实施例的第二方面，一种对象分类装置，包括：
获取模块，用于获取待分类的对象；
分类模块，用于将所述对象输入至分类模型中，输出分类结果；所述分类模型通过以下步骤获取：
基于稀疏优化方式构建神经网络模型的第一目标函数，所述第一目标函数具有所述神经网络模型的参数的零模范数；
将所述零模范数转化为等价的连续表示；
根据所述连续表示和所述第一目标函数，得到连续的第二目标函数；
基于所述第二目标函数对所述神经网络模型进行训练，得到训练好的分类模型。
根据本申请实施例的第三面，一种对象分类模型的训练方法，包括以下步骤：
基于稀疏优化方式构建神经网络模型的第一目标函数，所述第一目标函数具有所述神经网络模型的参数的零模范数；
将所述零模范数转化为等价的连续表示；
根据所述连续表示和所述第一目标函数，得到连续的第二目标函数；
基于所述第二目标函数对所述神经网络模型进行训练，得到训练好的分类模型。
根据本申请实施例的第四方面，一种设备，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如第一方面所述的对象分类方法或第三方面所述的训练方法。
根据本申请实施例的第五方面，一种计算机可读存储介质，其上存储有处理器可执行的程序，所述处理器可执行的程序在被处理器执行时用于实现如第一方面所述的对象分类方法或第三方面所述的训练方法。
本申请实施例所提供的技术方案在训练分类模型的过程中，基于稀疏优化方式构建神经网络模型的第一目标函数，再将神经网络模型参数的零模范数转化为等价的连续表示，然后根据该连续表示和第一目标函数得到连续的第二目标函数，最后根据第二目标函数训练出分类模型，利用了零模范数的等价转化来训练获得与第一目标函数等价且连续的第二目标函数，基于连续的第二目标函数，能采用反向传播的方法来训练剪枝后的分类模型，得到的分类模型结构更加精简，复杂度低，能够减少占用的数据处理资源，计算难度低，且训练过程通过等价转换的方式得到剪枝后的分类模型并用于对象分类，无需引入近似误差，从而可以获得更高的分类精度。
附图说明
为了更清楚地说明本申请实施例或者现有技术中的技术方案，下面对本申请实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本申请的技术方案中的部分实施例，对于本领域的技术人员来说，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
图1为本申请实施例一种对象分类方法的流程图；
图2为本申请对象分类方法实施例中分类模型的获取流程图；
图3为本申请对象分类方法实施例中连续的第二目标函数的获取流程图；
图4为本申请对象分类方法实施例中基于第二目标函数对神经网络模型进行训练的流程图；
图5为本申请对象分类方法实施例中交替优化的方法的训练流程图；
图6为本申请对象分类方法实施例中相邻两个阶段的一种剪枝流程示意图；
图7为应用本申请对象分类方法进行图像分类的流程图；
图8为本申请实施例一种对象分类模型的训练方法的流程图；
图9为本申请实施例一种对象分类装置的结构示意图；
图10为本申请实施例一种设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
首先，对本申请实施例中涉及的相关名词术语进行介绍和说明：
人工智能(Artificial Intelligence，AI)：利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉(Computer Vision，CV)：是一门研究如何使机器“看”的科学，更进一步地说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
深度学习(Deep Learning，DL)：深度学习是机器学习领域中一个新的研究方向，它用于学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。
零模(L0)范数:矩阵或向量中非零元素的个数。
L1范数：矩阵或向量中各个元素的绝对值之和。
稀疏优化方式：是指稀疏问题最优解(即最优稀疏解)的求解方法。目前稀疏优化方式大致可分为：针对L0范数最小化问题的贪婪算法，是直接对L0范数进行求解；针对L1范数最小化问题的最优化算法，是把L0范数松弛到L1范数进行近似求解；统计优化算法，是从数学期望中估计出最稀疏解。
掩模(mask)参数：用于控制是否进行模型剪枝，是一个二值矩阵，该二值矩阵的元素取0时表示需要进行模型剪枝，该二值矩阵的元素取1时表示不需要进行模型剪枝。
对偶参数：用于控制掩模参数的稀疏程度的参数，目的是将掩模参数转化为等价的连续表示形式，以便于采用反向传播算法进行训练。
Hadamard(哈达玛)乘积：两个矩阵对应元素的乘积。m x n矩阵A＝[aij]与m x n矩阵B＝[bij]的Hadamard乘积记为A⊙B，则矩阵A⊙B中元素(A⊙B)ij＝aij.bij，i和j分别为矩阵A或B的行号和列号，i＝1,2,3……m；j＝1,2,3……n。
罚函数法:基本思想是构造辅助函数F,把原来的约束问题转化为求极小化辅助函数的无约束问题。该辅助函数F需要满足的最优解等价条件为：在可行域内部与原问题的取值相同，在可行域外部，其取值远远大于目标函数的取值。
MPEC(Mathematical programming with equilibrium constraints)：带平衡约束的数学规划。
如前所述，在图像分类等分类任务中，通过模型剪枝技术执行分类任务的深度学习模型进行压缩，对于减少模型参数量、降低模型计算量、减少分类问题占用的资源(如计算机内存)等有着非常重要的意义。在现有技术中，可采用稀疏优化的思想来进行模型剪枝，但是由于稀疏约束/正则项的引入，模型剪枝问题是一个不连续的非凸优化问题，导致无法采用反向传播的方法来训练剪枝模型。虽然现有技术可采用近似的方法逼近稀疏约束/正则项，但这种近似的方法得到的剪枝后的分类模型与原始的分类模型之间有一定的近似误差，降低了分类精度。为此，本申请实施例提供一种对象分类方法、训练方法、装置、设备及存储介质，在训练用于对象分类的分类模型时，基于稀疏优化方式构建神经网络模型的第一目标函数，再将神经网络模型参数的零模范数转化为等价的连续表示，然后根据该连续表示和第一目标函数得到连续的第二目标函数，最后根据第二目标函数训练出分类模型。这样，基于连续的第二目标函数，能采用反向传播的方法来训练剪枝后的分类模型，得到的分类模型结构更加精简，复杂度低，能够减少占用的数据处理资源，计算难度低，且训练过程通过等价转换的方式得到剪枝后的分类模型并用于对象分类，无需引入近似误差，从而可以获得更高的分类精度。该方案可得到参数量更少(压缩率更高)且精度更高的分类模型，该分类模型可以直接部署到移动终端或边缘设备等计算能力有限的设备上，并具有更快的分类速度，降低了对部署设备的要求。
本申请实施例提供的方案涉及人工智能中机器学习的深度学习等技术，具体通过如下实施例进行说明：
本申请实施例提供了一种对象分类方法，该方法基于神经网络模型和模型剪枝技术实现了对图像等对象的分类任务，可应用于终端中，或者可应用于服务器中，或者可应用于由终端和服务器所组成的应用场景中。此外，该对象方法还可以是运行于终端或服务器中的软体，例如具有对象分类功能的应用程序等。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN以及大数据和人工智能平台等基础云计算服务的云服务器。
以本申请实施例的分类方法应用于由终端和服务器所组成的应用场景为例，该应用场景中，服务器用于执行本申请实施例提供的分类方法，训练出用于对象分类的分类模型，并将该分类模型发送给终端，终端用于运行该分类模型实现图像、语音等对象的分类识别功能。为了减少分类问题占用的资源并节约成本，服务器训练出的分类模型可采用模型剪枝后的分类模型，也就是说，服务器在基于神经网络模型进行分类模型训练的过程同样是模型剪枝的过程，可根据给定的样本和标签进行模型剪枝训练，得到模型剪枝后的分类模型并发给终端。
具体地，本申请实施例的服务器采用了稀疏优化的方式进行模型剪枝后的分类模型训练，先获取给定的训练样本、标签以及神经网络模型的初始值，再根据给定的训练样本、标签以及神经网络模型的初始值进行分类模型的迭代训练，直至当前神经网络模型的参数收敛，并以参数收敛时的神经网络模型作为模型剪枝后的分类模型。其中，服务器进行分类模型的迭代训练时，所采用的损失函数(用于确定当前模型参数的分类结果和标签值的差值)是连续的。该连续的损失函数(即第二目标函数)可以利用稀疏优化的思想、罚函数法、MPEC的相关理论以及零模范数的对偶性来确定，具体确定过程如下：
首先，本申请实施例的服务器可采用稀疏优化的方式，根据给定的训练样本和标签将神经网络模型的模型剪枝转化带稀疏约束的优化问题(即第一目标函数)，该稀疏约束是含有零模范数的不等式约束，是不连续的，无法应用反向传播的方式训练。接着，服务器将分类模型的模型参数分解为权重参数与掩模参数的哈达玛乘积，并将该哈达玛乘积代入第一目标函数，得到第一目标函数的等价表示，该等价表示含有掩模参数的零模范数的不等式约束，仍然是不连续的，无法应用反向传播的方式训练。再接着，本申请实施例的服务器利用罚函数法得到含有掩模参数的零模范数的罚问题表示形式，消除不等式约束，但该罚问题表示形式仍含有掩模参数的零模范数这一非凸非光滑项，仍无法求解梯度，从而无法端到端地进行训练。最后，本申请实施例的服务器利用MPEC的相关理论以及掩模参数的零模范数的对偶性，通过引入对偶参数将掩模参数的零模范数这一非凸非光滑项转化为等价的连续表示形式，并将该连续表示形式代入前述的罚问题表示形式中，从而得到连续的第二目标函数。
这样，服务器在进行剪枝后的分类模型迭代训练时，即可根据该连续的第二目标函数来计算损失值，从而能直接应用反向传播算法来进行训练，实现了端对端的训练，且无需引入近似误差，提升了分类的精度。
服务器训练出模型剪枝后的分类模型之后，可以将该模型剪枝后的分类模型发送至终端，相比未模型剪枝的分类模型，该模型剪枝后的分类模型的模型尺寸较小，终端的处理能力足以承载运行该模型剪枝后的模型，进而，终端可以基于该模型剪枝后的模型实现图像、语音等对象分类的功能。
应理解，上述的应用场景仅为一种示例，在实际应用中，除了可以利用服务器训练模型剪枝后的分类模型之外，还可以利用其它具备模型训练能力的设备如终端，训练出模型剪枝后的分类模型；此外，也可以采用除终端设备外的其他设备承载训练模型剪枝后的分类模型，在此不对本申请实施例提供的对象分类方法的应用场景做任何限定。
下面通过实施例对本申请提供的对象分类方法进行介绍。
如图1所示，该方法包括以下步骤S100-S101：
S100、获取待分类的对象；
本申请实施例中，待分类的对象可以是图像、视频、文本、语音等分类任务的对象，可根据实际的需求进行灵活选取。待分类的对象的获取方式可以是用户通过人机交互方式(如触控方式、按键输入方式等)向终端输入的，也可以是从互联网中爬取的，还可以是由第三方软件(如图像处理软件)提供的，等等，在此不作具体的限定。
S101、将待分类的对象输入至分类模型中，输出分类结果。
本申请实施例可以根据给定的训练样本和标签预先训练出用于对象分类的分类模型。这样，将待分类的对象输入至训练出的分类模型中，即可通过该分类模型识别或预测出对象的类型作为分类的结果。如前所述，为了减少分类模型的参数量和占用的计算机内存等资源，本申请实施例在分类模型训练的过程中，可以通过改进的模型剪枝方法来训练出剪枝(即压缩)后的分类模型。如图2所示，该分类模型可以通过以下步骤S1010-S1013获取：
S1010、基于稀疏优化方式构建神经网络模型的第一目标函数，其中，第一目标函数具有神经网络模型的参数的零模范数。
具体地，根据稀疏优化方式的相关理论和先验知识，可以得知，模型剪枝(包括通道剪枝以及权重剪枝)可以抽象为以下带稀疏约束的优化问题：
minWf(W,(X,Y))s.t.‖W‖0≤κ (1)
其中,f表示神经网络模型的第一目标函数，min为求最小值函数，W表示神经网络模型的参数(如权重以及偏移量)。X和Y分别表示训练样本以及相应的标签，s.t.为约束，κ为模型剪枝程度的控制变量。‖‖0为零模范数，‖W‖0为W的零模范数。
需要说明的是，上述神经网络模型具体可以为VGGNet(Visual GeometryGroupNetwork)模型、ResNet(Residual Neural Network)模型、GoogleNet(GoogleNetwork)模型、DenseNet(Dense Convolutional Network)模型等经典的网络模型，也可以为其他包含有卷积层的网络模型。
S1011、将神经网络模型的参数的零模范数转化为等价的连续表示。
由公式(1)可以看到‖W‖0是不连续的，为了后续将公式(1)的第一目标函数转化为连续的函数，可将W分解表示为掩模参数M和权重参数N的Hadamard(哈达玛)乘积：W:＝M⊙N。因此‖W‖0≤κ等价于‖M⊙N‖0≤κ。而‖M⊙N‖0≤κ成立的必要条件是‖M‖0≤κ，因此，可以将以上公式(1)的问题转变为以下的等价形式：
minN,Mf(M⊙N,(X,Y))s.t.‖M‖0≤κ (2)
其中,M表示为掩模参数，用来控制是否进行模型剪枝:M的元素取0时表示需要进行模型剪枝，M的元素取1时表示不需要进行模型剪枝。
公式(2)中的罚问题表示形式为：
minN,Mf(M⊙N,(X,Y))+λ||M||0 (3)
其中，正则项λ为第一罚参数，也属于模型剪枝程度的控制变量。
上述公式(2)和公式(3)两个问题在满足最优解等价条件下是等价的。然而，由于非凸非光滑的||M||0的存在，上述两类问题都无法求解梯度(因为||M||0不连续、不可导)，从而无法端到端地进行训练。
而根据||M||0的对偶性质和带平衡约束的数学规划相关的理论，可以得到||M||0由下面的优化问题来进行刻画(即可以得到掩模参数M的零模范数的连续表示)：
||M||0＝minV{<E-V,E>s.t.<V,|M|>＝0,0≤V≤E} (4)
其中，V为对偶参数，用于控制M的稀疏程度；E为元素值全为1的矩阵或向量，<,>为向量内积，<V,|M|>＝0为根据MPEC得到的互补约束，|M|为M的绝对值(即M中每个元素求绝对值的结果)，其代表的含义是：V中的元素值为0，则M中对应元素也需要为0，而V中元素为1时则对M中对应元素无要求，故通过V就可以控制M的非零数量；<V,|M|>＝0为向量的正交，所以V也可以称为正交掩模参数。0≤V≤E表示V中的每个元素值在0到1之间。
S1012、根据等价的连续表示和第一目标函数，得到连续的第二目标函数。
具体地，如图3所示，步骤S1012可以进一步包括以下步骤S10121-S10122：
S10121、基于权重参数和掩模参数，利用罚函数法获取第一目标函数等价的罚问题表达式：即结合公式(1)和(2)得到公式(3)。
S10122、将等价的连续表示(即公式(4)的向量内积)代入罚问题表达式(3)中，得到第二目标函数。
具体地，结合上述公式(3)和(4)，可以将公式(1)的剪枝问题(即第一目标函数)等价地改写为以下连续优化问题(即第二目标函数)：
s.t.<V,|M|>＝0,0≤V≤E
公式(5)的问题中有三个变量，神经网络的权重参数N，掩模参数M，对偶参数(即正交掩模参数)V。
S1013、基于第二目标函数对神经网络模型进行训练，得到训练好的模型作为分类模型。
具体地，如图4所示，步骤S1013可以进一步包括以下步骤S10131-S10132：
S10131、将第二目标函数中的等式约束转化到第二目标函数上。
由于第二目标函数公式(5)中等式约束<V,|M|>＝0的存在，常见的机器学习算法无法有效地求解上述问题。为此，可以通过罚函数法、增广拉格朗日函数法等方式将该等式约束转化到第二目标函数上，以便于求解上述连续的剪枝模型公式(5)。以采用罚函数法来求解上述连续的剪枝模型公式(5)为例，其将该等式约束通过线性惩罚到第二目标函数上，即有：
s.t.0≤V≤E
其中，ρ为第二罚参数，用于控制互补约束是否满足。
根据罚函数的相关理论可以知道，罚问题公式(6)和模型剪枝问题公式(5)的全局最优化在满足最优解等价条件下完全等价，从而罚问题公式(6)与原始的剪枝模型问题公式(1)也等价。可以看到公式(6)的问题为一个带有简单约束的连续优化问题，可以采用反向传播方法进行求解。
S10132、基于转化后的第二目标函数，通过训练集采用交替优化的方式对神经网络模型进行训练，得到满足收敛条件的神经网络模型作为训练出的分类模型。
在一种可能的实现方式中，为了节省对于分类模型的训练时间，可以预先设置预设最大阶段数stagemax,当训练stage数达到该预设最大stage数时，即认为分类模型此时已满足收敛条件。
通常情况下，可以将最大阶段数stagemax设置为50，当训练达到50个阶段时即可认为分类模型已满足收敛条件，可以结束对于该分类模型的训练；当然，在实际应用中，也可以将预设最大阶段数stagemax设置为其他数值，在此不对其做具限定。
在另一种可能的实现方式中，可以将收敛条件设置为当前损失函数(通过当前训练参数确定的分类模型的预测结果和标签的差值)的损失值小于预设的阈值。
应理解，除了可以设置上述两种收敛条件外，还可以根据实际需求，设置其他条件作为收敛条件，在此不对收敛条件做具体限定。
如图5所示，步骤S10132可以进一步包括以下步骤S101321-S10133：
S101321、固定掩模参数和对偶参数，采用梯度下降算法更新权重参数；
S101322、固定权重参数和对偶参数，采用梯度下降算法更新掩模参数；
S101323、固定权重参数和掩模参数，更新对偶参数。
具体地，梯度下降算法可采用SGD(Stochastic Gradient Descent，随机梯度下降)算法、Adam(adaptive moment estimation，自适应矩估计)算法等。
针对公式(6)的权重参数N，掩模参数M，对偶参数(即正交掩模参数)V这三个变量，可采取交替优化的技巧来进行求解。即，首先固定变量M,V，来优化更新神经网络的权重参数N；其次固定N,V，来更新神经网络的掩模参数M；再次，固定M,N，来更新变量V来控制掩模参数的稀疏程度。根据以上的流程，可以知道分类模型的整个训练过程都是可导的，因此可以直接采用反向传播算法进行自动化的训练。
可以将求解公式(6)的模型的优化过程总结为以下的算法1的伪代码：
在上述算法1中，迭代步骤2-4在学习神经网络的权重参数N，迭代步骤5-8在学习掩模参数M来进行模型剪枝，迭代步骤9-10在估计对偶参数(即正交掩模参数)V来保证掩模参数M有更好的稀疏度。随着训练阶段的增加，可以逐步得到参数量更少且精度更高的压缩之后的模型和更加精确的掩模参数估计。
图6中示出了在第l个隐藏层时，算法1从第K个阶段stage到K+1个阶段stage的剪枝流程。图6中c表示不同神经元之间的权重链接或者通道数量,weights为权重参数N，mask为掩模参数M，orthogonal mask为对偶参数V。根据算法1可以得知，当掩模参数
的时候(图6中mask处虚线框的区域表示掩模参数的元素值为0)，在下一阶段中相应位置中的神经网络权重或者相应的通道将会被剪掉(图6中weights处虚线框的区域表示权重/通道参数被剪枝)，例如图6中第K阶段的
则第K+1阶段的
被剪掉。反之，由于本实施例的模型剪枝过程是动态分阶段进行的，且对偶参数V是通过互补约束控制掩模参数M的，当神经网络的权重或者某些通道被剪掉之后，在下一阶段的训练中，相应的掩模参数可能会重新更新为非零数值(根据互补约束，当V中的元素不为0时，M中对应元素可能变为1)，从而相应的网络结构的权重或者通道会重新恢复，这表示上一阶段的剪枝流程错误，算法自动修复网络结构。当算法1进行多个阶段的训练之后，可以得到稳定的掩模参数和对偶参数，从而获得最优的剪枝模型。
上述的对象分类方法在训练对象的分类模型过程中，提出了一种多阶段端到端的模型剪枝与对象分类方案。该方案从最原始的具有稀疏约束/正则项的分类模型出发，首先，利用零模范数的对偶性质和MPEC理论，得到稀疏约束/正则项中零模范数‖M‖0等价的连续表示。然后，将这种等价的连续表示形式代入到原始的分类模型中，从而得到了具有连续的目标函数的分类模型。通过对该分类模型直接应用反向传播算法进行优化求解(即训练)，即可得到相应的分类模型。本方案中的分类模型与原始的分类模型完全等价，没有引入其他的近似误差，能提升分类的精度。实际的实验结果表明，本方案的分类方法，与现有应用L1范数剪枝后的分类算法相比，绝对准确率提升了0.8％。另外，本方案中的分类模型为一个连续的非凸优化模型，可以直接采用反向传播的技巧进行求解，从而大幅降低了计算难度；且可以通过罚函数法等方法采用交替优化的方式求解等价的连续分类模型，从而可进行端到端的训练模型分类的过程。
本方案提出的端到端的模型剪枝方案，无需提前训练高精度的神经网络模型然后进行剪枝，可在训练神经网络的过程中，动态地进行剪枝流程，并且通过正交掩模参数(即对偶参数)来自动的调整剪枝掩模参数的好坏，从而保证了剪枝之后的分类模型的准确性，提高了模型压缩过程的自动化程度。本方案可以广泛地应用到真实世界中的图像分类任务、视频分类任务、文本分类任务、语音分类任务等分类任务上，端到端的训练方法大幅减少了手动调整剪枝参数的工作量。本方案可以直接部署到移动端或边缘设备上，并且具有更快的推断速度，从而大幅拓展了神经网络模型的应用场景，为深度学习模型的快速落地提供了有力的支持。
下面结合附图7，以本申请的方法在图像分类任务上的应用为例，对其如何执行本申请实施例提供的对象分类方法的简要流程作以下说明：
S701：获取待分类的图像；
S702：将待分类的图像输入至图像分类模型中，得到图像分类结果作为输出。
其中，步骤S702的图像分类模型是模型剪枝后的分类模型，通过前述对象分类方法的分类模型训练过程来获取。具体地，步骤S702的图像分类模型可通过采用前述算法1来交替训练得到，具体实现过程如下：
1)确定待训练的神经网络的结构(如ResNet网络)，并设定初始神经网络的权重参数N，掩模参数M，以及对偶参数V的初始值；
2)获取多个训练图像X及其标签Y；
3)固定掩模参数M和对偶参数V不变，根据训练图像X及其标签Y采用梯度下降法对神经网络的权重参数N进行更新，直至达到最大的训练代数epochmax，更新的表达式为：
其中，η为权重参数学习率，
表示N的梯度；
4)固定权重参数N和对偶参数V不变，根据训练图像X及其标签Y采用梯度下降法对神经网络的掩模参数M进行更新，直至达到最大的训练代数epochmax，更新的表达式为：
其中，γ为掩模参数学习率，
表示M的梯度；
5)固定权重参数N和掩模参数M不变，根据训练图像X及其标签Y对对偶参数V进行更新，对偶参数
即
其中，Vi为V中的第i个元素，i为自然数；
6)增大罚参数(增大罚参数的目的是为了让互补约束逐渐的成立，一开始如果设置一个非常大的罚参数，会导致算法求解不稳定，所以本实施例的做法是在算法迭代的过程中逐步的增大罚参数)，新的罚参数＝1.1*ρ；
7)重复上述过程3)到6),直至达到最大训练阶段数stagemax后输出训练好的网络的参数W*＝M⊙N，得到剪枝后的图像分类模型。
参照图8，本申请实施例还公开了一种对象分类模型的训练方法，包括以下步骤：
S801、基于稀疏优化方式构建神经网络模型的第一目标函数，其中，第一目标函数具有神经网络模型的参数的零模范数；
S802、将该零模范数转化为等价的连续表示；
S803、根据该等价的连续表示和第一目标函数，得到连续的第二目标函数；
S804、基于第二目标函数对神经网络模型进行训练，得到训练好的分类模型。
本申请实施例在训练用于对象分类的分类模型的过程中，基于稀疏优化方式构建神经网络模型的第一目标函数，再将神经网络模型参数的零模范数转化为等价的连续表示，然后根据该连续表示和第一目标函数得到连续的第二目标函数，最后根据第二目标函数训练出剪枝后的模型，利用了零模范数的等价转化来训练获得与第一目标函数等价且连续的第二目标函数。这样，基于连续的第二目标函数，能采用反向传播的方法来训练剪枝后的分类模型，得到的分类模型结构更加精简，复杂度低，能够减少占用的数据处理资源，计算难度低，且训练过程通过等价转换的方式得到剪枝后的分类模型并用于对象分类，无需引入近似误差，从而可以获得更高的分类精度。该方案可得到参数量更少(压缩率更高)且精度更高的分类模型，该分类模型可以直接部署到移动终端或边缘设备等计算能力有限的设备上，并具有更快的分类速度，降低了对部署设备的要求。
参照图9，本申请实施例还公开了一种对象分类装置，包括：
获取模块901，用于获取待分类的对象；
分类模块902，用于将对象输入至分类模型中，输出分类结果；其中分类模型通过以下步骤获取：
基于稀疏优化方式构建神经网络模型的第一目标函数，其中，第一目标函数具有神经网络模型的参数的零模范数；
将该零模范数转化为等价的连续表示；
根据该等价的连续表示和第一目标函数，得到连续的第二目标函数；
基于第二目标函数对神经网络模型进行训练，得到剪训练好的分类模型。
图2-6中任一图所示的分类方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与图2-6中任一图所示的分类方法实施例相同，并且达到的有益效果与图2-6中任一图所示的分类方法实施例所达到的有益效果也相同。
参照图10，本申请实施例还公开了一种设备，包括：
至少一个处理器1001；
至少一个存储器1002，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器101执行，使得所述至少一个处理器1002实现如图2-6中任一图所示的分类方法实施例或图8所示的训练方法。
图2-6中任一图所示的分类方法实施例或图8所示的训练方法实施例中的内容均适用于本设备实施例中，本设备实施例所具体实现的功能与图2-6中任一图所示的分类方法实施例或图8所示的训练方法实施例中相同，并且达到的有益效果与图2-6中任一图所示的分类方法实施例或图8所示的训练方法实施例中实施例所达到的有益效果也相同。
本申请实施例还公开了一种计算机可读存储介质，其上存储有处理器可执行的程序，所述处理器可执行的程序在被处理器执行时用于实现如图2-6中任一图所示的分类方法实施例或图8所示的训练方法。
图2-6中任一图所示的分类方法实施例或图8所示的训练方法实施例中的内容均适用于本存储介质实施例中，本存储介质实施例所具体实现的功能与图2-6中任一图所示的分类方法实施例或图8所示的训练方法实施例中相同，并且达到的有益效果与图2-6中任一图所示的分类方法实施例或图8所示的训练方法实施例中实施例所达到的有益效果也相同。
本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行如图2-6中任一图所示的或图8所示的各种可选实现方式中提供的方法。
可以理解的是，上文中所公开方法中的全部或某些步骤、***可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
上面结合附图对本申请实施例作了详细说明，但是本申请不限于上述实施例，在技术领域普通技术人员所具备的知识范围内，还可以在不脱离本申请宗旨的前提下作出各种变化。
Claims (11)
1.一种对象分类方法，其特征在于：包括以下步骤：
获取待分类的对象；
将所述对象输入至分类模型中，输出分类结果；所述分类模型通过以下步骤获取：
基于稀疏优化方式构建神经网络模型的第一目标函数，所述第一目标函数具有所述神经网络模型的参数的零模范数；
将所述零模范数转化为等价的连续表示；
根据所述连续表示和所述第一目标函数，得到连续的第二目标函数；
基于所述第二目标函数对所述神经网络模型进行训练，得到训练好的分类模型。
2.根据权利要求1所述的对象分类方法，其特征在于，所述对象包括图像、视频、文本或者语音中的任一种。
3.根据权利要求1或2所述的对象分类方法，其特征在于，所述对象分类方法还包括以下步骤：
将所述神经网络模型的参数分解为权重参数与掩模参数的哈达玛乘积，所述掩模参数用于控制是否进行模型剪枝，所述掩模参数的稀疏程度由对偶参数控制。
4.根据权利要求3所述的对象分类方法，其特征在于，所述连续表示为所述零模范数等价的向量内积，所述根据所述连续表示和所述第一目标函数，得到连续的第二目标函数，包括：
基于所述权重参数和所述掩模参数，利用罚函数法获取所述第一目标函数等价的罚问题表达式；
将所述向量内积代入所述罚问题表达式中，得到所述第二目标函数。
5.根据权利要求3所述的对象分类方法，其特征在于，所述第二目标函数包含有所述掩模参数和所述对偶参数之间的等式约束，所述基于所述第二目标函数对所述神经网络模型进行训练，得到训练好的分类模型，包括：
将所述等式约束转化到所述第二目标函数上；
基于转化后的所述第二目标函数，通过训练集采用交替优化的方式对所述神经网络模型进行训练，得到满足收敛条件的所述神经网络模型作为所述分类模型。
6.根据权利要求5所述的对象分类方法，其特征在于，所述将所述等式约束转化到所述第二目标函数上，包括：
通过罚函数法将所述等式约束线性惩罚至所述第二目标函数上。
7.根据权利要求5所述的对象分类方法，其特征在于，所述通过训练集采用交替优化的方式对所述神经网络模型进行训练，包括：
固定所述掩模参数和所述对偶参数，采用梯度下降算法更新所述权重参数；
固定所述权重参数和所述对偶参数，采用梯度下降算法更新所述掩模参数；
固定所述权重参数和所述掩模参数，更新所述对偶参数。
8.一种对象分类模型的训练方法，其特征在于，包括以下步骤：
基于稀疏优化方式构建神经网络模型的第一目标函数，所述第一目标函数具有所述神经网络模型的参数的零模范数；
将所述零模范数转化为等价的连续表示；
根据所述连续表示和所述第一目标函数，得到连续的第二目标函数；
基于所述第二目标函数对所述神经网络模型进行训练，得到训练好的分类模型。
9.一种对象分类装置，其特征在于，包括：
获取模块，用于获取待分类的对象；
分类模块，用于将所述对象输入至分类模型中，输出分类结果；所述分类模型通过以下步骤获取：
基于稀疏优化方式构建神经网络模型的第一目标函数，所述第一目标函数具有所述神经网络模型的参数的零模范数；
将所述零模范数转化为等价的连续表示；
根据所述连续表示和所述第一目标函数，得到连续的第二目标函数；
基于所述第二目标函数对所述神经网络模型进行训练，得到训练好的分类模型。
10.一种设备，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-8任一项所述的方法。
11.一种计算机可读存储介质，其上存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在被处理器执行时用于实现如权利要求1-8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010662167.XA CN111709493B (zh) | 2020-07-10 | 2020-07-10 | 对象分类方法、训练方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010662167.XA CN111709493B (zh) | 2020-07-10 | 2020-07-10 | 对象分类方法、训练方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111709493A true CN111709493A (zh) | 2020-09-25 |
| CN111709493B CN111709493B (zh) | 2024-02-23 |
Family
ID=72546262
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010662167.XA Active CN111709493B (zh) | 2020-07-10 | 2020-07-10 | 对象分类方法、训练方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111709493B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112465042A (zh) * | 2020-12-02 | 2021-03-09 | 中国联合网络通信集团有限公司 | 一种分类网络模型的生成方法及装置 |
| CN112733689A (zh) * | 2020-12-31 | 2021-04-30 | 网络通信与安全紫金山实验室 | 一种https终端类型分类方法及装置 |
| CN112905795A (zh) * | 2021-03-11 | 2021-06-04 | 证通股份有限公司 | 文本意图分类的方法、装置和可读介质 |
| CN113674244A (zh) * | 2021-08-20 | 2021-11-19 | 中汽创智科技有限公司 | 一种图像检测方法、装置、存储介质和电子设备 |
| CN114580794A (zh) * | 2022-05-05 | 2022-06-03 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置、程序产品、计算机设备和介质 |
| CN117785964A (zh) * | 2024-02-28 | 2024-03-29 | 宜宾市万事通网络信息服务有限公司 | 应用于网络服务的数据处理方法及*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109492754A (zh) * | 2018-11-06 | 2019-03-19 | 深圳市友杰智新科技有限公司 | 一种基于深度神经网络模型压缩和加速方法 |
| CN109948794A (zh) * | 2019-02-28 | 2019-06-28 | 清华大学 | 神经网络结构化剪枝方法、剪枝装置和电子设备 |
| CN110413993A (zh) * | 2019-06-26 | 2019-11-05 | 重庆兆光科技股份有限公司 | 一种基于稀疏权值神经网络的语义分类方法、***和介质 |
| US20190392323A1 (en) * | 2018-06-22 | 2019-12-26 | Moffett AI, Inc. | Neural network acceleration and embedding compression systems and methods with activation sparsification |
-
2020
- 2020-07-10 CN CN202010662167.XA patent/CN111709493B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190392323A1 (en) * | 2018-06-22 | 2019-12-26 | Moffett AI, Inc. | Neural network acceleration and embedding compression systems and methods with activation sparsification |
| CN109492754A (zh) * | 2018-11-06 | 2019-03-19 | 深圳市友杰智新科技有限公司 | 一种基于深度神经网络模型压缩和加速方法 |
| CN109948794A (zh) * | 2019-02-28 | 2019-06-28 | 清华大学 | 神经网络结构化剪枝方法、剪枝装置和电子设备 |
| CN110413993A (zh) * | 2019-06-26 | 2019-11-05 | 重庆兆光科技股份有限公司 | 一种基于稀疏权值神经网络的语义分类方法、***和介质 |
Non-Patent Citations (3)
| Title |
|---|
| CHEN YANG: "Structured Pruning of Convolutional Neural Networks via L1 Regularization", 《IEEE ACCESS》, pages 106385 - 106394 * |
| PAVLO MOLCHANOV: "Importance Estimation for Neural Network Pruning", ARXIV:1906.10771V1 [CS.LG], pages 1 - 11 * |
| SHUJUN BI: "Exact penalty decomposition method for zero-norm minimization based on MPEC formulation", ARXIV:1412.4452V1 [MATH.OC], pages 1 - 32 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112465042A (zh) * | 2020-12-02 | 2021-03-09 | 中国联合网络通信集团有限公司 | 一种分类网络模型的生成方法及装置 |
| CN112465042B (zh) * | 2020-12-02 | 2023-10-24 | 中国联合网络通信集团有限公司 | 一种分类网络模型的生成方法及装置 |
| CN112733689A (zh) * | 2020-12-31 | 2021-04-30 | 网络通信与安全紫金山实验室 | 一种https终端类型分类方法及装置 |
| CN112733689B (zh) * | 2020-12-31 | 2024-03-26 | 网络通信与安全紫金山实验室 | 一种https终端类型分类方法及装置 |
| CN112905795A (zh) * | 2021-03-11 | 2021-06-04 | 证通股份有限公司 | 文本意图分类的方法、装置和可读介质 |
| CN113674244A (zh) * | 2021-08-20 | 2021-11-19 | 中汽创智科技有限公司 | 一种图像检测方法、装置、存储介质和电子设备 |
| CN113674244B (zh) * | 2021-08-20 | 2024-05-28 | 中汽创智科技有限公司 | 一种图像检测方法、装置、存储介质和电子设备 |
| CN114580794A (zh) * | 2022-05-05 | 2022-06-03 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置、程序产品、计算机设备和介质 |
| CN114580794B (zh) * | 2022-05-05 | 2022-07-22 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置、程序产品、计算机设备和介质 |
| CN117785964A (zh) * | 2024-02-28 | 2024-03-29 | 宜宾市万事通网络信息服务有限公司 | 应用于网络服务的数据处理方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111709493B (zh) | 2024-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111709493B (zh) | 对象分类方法、训练方法、装置、设备及存储介质 | |
| CN112487182B (zh) | 文本处理模型的训练方法、文本处理方法及装置 | |
| CN111079532B (zh) | 一种基于文本自编码器的视频内容描述方法 | |
| CN111444340A (zh) | 文本分类和推荐方法、装置、设备及存储介质 | |
| CN111741330A (zh) | 一种视频内容评估方法、装置、存储介质及计算机设备 | |
| CN116664719B (zh) | 一种图像重绘模型训练方法、图像重绘方法及装置 | |
| CN113705313A (zh) | 文本识别方法、装置、设备及介质 | |
| CN112989212B (zh) | 媒体内容推荐方法、装置和设备及计算机存储介质 | |
| CN111930894A (zh) | 长文本匹配方法及装置、存储介质、电子设备 | |
| CN113761153A (zh) | 基于图片的问答处理方法、装置、可读介质及电子设备 | |
| CN116580257A (zh) | 特征融合模型训练及样本检索方法、装置和计算机设备 | |
| CN114298122A (zh) | 数据分类方法、装置、设备、存储介质及计算机程序产品 | |
| CN113515669A (zh) | 基于人工智能的数据处理方法和相关设备 | |
| CN114358109A (zh) | 特征提取模型训练、样本检索方法、装置和计算机设备 | |
| CN114329029A (zh) | 对象检索方法、装置、设备及计算机存储介质 | |
| CN112733043A (zh) | 评论推荐方法及装置 | |
| CN114627282A (zh) | 目标检测模型的建立方法、应用方法、设备、装置及介质 | |
| CN114330514A (zh) | 一种基于深度特征与梯度信息的数据重建方法及*** | |
| CN117634459A (zh) | 目标内容生成及模型训练方法、装置、***、设备及介质 | |
| CN114419514B (zh) | 一种数据处理方法、装置、计算机设备及存储介质 | |
| CN116957006A (zh) | 预测模型的训练方法、装置、设备、介质及程序产品 | |
| CN111008689A (zh) | 使用softmax近似来减少神经网络推理时间 | |
| CN113313381B (zh) | 一种用户交互敏感的动态图序列推荐*** | |
| CN113822291A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| CN113761933A (zh) | 检索方法、装置、电子设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |