CN110647990A - 基于灰色关联分析的深度卷积神经网络模型的裁剪方法 - Google Patents

基于灰色关联分析的深度卷积神经网络模型的裁剪方法 Download PDF

Info

Publication number
CN110647990A
CN110647990A CN201910884247.7A CN201910884247A CN110647990A CN 110647990 A CN110647990 A CN 110647990A CN 201910884247 A CN201910884247 A CN 201910884247A CN 110647990 A CN110647990 A CN 110647990A
Authority
CN
China
Prior art keywords
convolution kernel
importance
neural network
network model
reference sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910884247.7A
Other languages
English (en)
Inventor
黄世青
白瑞林
李新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XINJE ELECTRONIC CO Ltd
Original Assignee
XINJE ELECTRONIC CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by XINJE ELECTRONIC CO Ltd filed Critical XINJE ELECTRONIC CO Ltd
Priority to CN201910884247.7A priority Critical patent/CN110647990A/zh
Publication of CN110647990A publication Critical patent/CN110647990A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于灰色关联分析的深度卷积神经网络模型的裁剪方法，包括：对目标数据进行数据扩增以获得更多的训练数据；将未经训练的初始网络模型利用所述训练数据进行训练，获得一组拟合所述训练数据的模型参数作为进行裁剪的实验模型；利用灰色关联分析对实验模型中每个卷积核进行重要性的量化，得到每个卷积核的重要性的量化值；基于所述卷积核的重要性的量化值得到所有卷积的重要性，并将最不重要的卷积核作为目标卷积核；对目标卷积核及与所述目标卷积核相关的下一层卷积核进行重复裁剪，直至满足停止条件。实现准确找出被裁剪后对精度影响最小的卷积核，在保证精度的情况下提高模型裁剪比例，加快裁剪后新模型推理运算速度的优点。

Description

基于灰色关联分析的深度卷积神经网络模型的裁剪方法
技术领域
本发明涉及神经网络领域，具体地，涉及一种基于灰色关联分析的深度卷积神经网络模型的裁剪方法。
背景技术
卷积神经网络在图像分类、目标检测和图像分割等方面取得了令人瞩目的理论与技术突破和更能让市场接受的识别准确率。但卷积神经网络巨大的计算量与存储量，导致难以应用在计算能力和存储空间有限的嵌入式终端设备。因此，对模型结构进行裁剪，加速模型推理速度，减小模型存储量，对卷积神经网络普及应用具有重要意义。目前，已有设计紧凑模型网络、模型蒸馏、低秩分解、模型量化、模型裁剪等各种提高神经网络运算速度的技术。作为一种实现方便、精度保持性好、加速效果明显的运算速度提高方法，模型裁剪技术得到了越来越多的关注。
在模型裁剪方法中，关键部分在于评价卷积核重要性，能否准确找出裁剪后对结果影响最小的卷积核决定了能否保持裁剪后模型的精度，也决定了裁剪算法能达到最大的推理速度提升倍数和体积压缩倍数。
卷积核评价方法可以根据评价对象分为数据驱动型和参数驱动型两类。
参数驱动型方法可以在模型裁剪过程中时间消耗较小，但是对模型的精度影响比较大，无法达到很高的速度提升。参数驱动型方法直接考察模型参数W，根据各通道参数值和的大小或者参数值是否大于阈值评价该卷积核通道的重要性。由于评价重要性的时候只需要遍历访问一次卷积核参数W并进行简单的求和计算即可，不需要进行额外的计算过程和重复过程，所以在裁剪的过程所需要花费的时间较少。
数据驱动型方法能够在进行大比例裁剪后使得模型的精度仍然保持得较好。数据驱动型方法需要利用训练集数据和模型参数得到每一层网络的激活值，根据激活值的一些数据特性评价卷积核的重要性。由于需要把每张图片逐一输入到网络中得到的各层的激活值，因此计算量相对较大，在裁剪过程中计算时间相对较长。但是由于大量训练集图片产生的激活值包含更多的信息，因此根据激活值来选择对应的卷积核作为裁剪目标可以更加准确找出最冗余的卷积核通道。
不同的卷积核评价方法需要根据不同对象的数据信息特征进行排序，对象所包含的信息越简单，裁剪过程中计算量越少，处理时间短，但裁剪后对模型精度影响较大，无法达到很大的裁剪比例；对象包含的信息越丰富，裁剪过程中计算量越大，处理时间长，但裁剪后对模型精度影响较小，可以达到很大的裁剪比例。好的卷积核评价方法需要在保证精度下，尽可能多的对卷积核进行裁剪，提高模型在推理阶段的运行速度，从而保证在嵌入式平台的实时性需要。
发明内容
本发明的目的在于，针对上述问题，提出一种基于灰色关联分析的深度卷积神经网络模型的裁剪方法，以实现准确找出被裁剪后对精度影响最小的卷积核，在保证精度的情况下提高模型裁剪比例，加快裁剪后新模型推理运算速度的优点。
为实现上述目的，本发明实施例采用的技术方案是：
一种基于灰色关联分析的深度卷积神经网络模型的裁剪方法，包括：
对目标数据进行数据扩增以获得更多的训练数据；
将未经训练的初始网络模型利用所述训练数据进行训练，获得一组拟合所述训练数据的模型参数作为进行裁剪的实验模型；
利用灰色关联分析对所述实验模型中每个卷积核进行重要性的量化，得到每个卷积核的重要性的量化值；
基于所述卷积核的重要性的量化值得到所有卷积的重要性，并将最不重要的卷积核作为目标卷积核；
对所述目标卷积核及与所述目标卷积核相关的下一层卷积核进行重复裁剪，直至满足停止条件。
进一步的，所述目标数据为图片数据。
进一步的，所述数据扩增，包括：水平翻转或明亮度微调。
进一步的，将未经训练的初始网络模型利用所述训练数据进行训练，为：
将未经训练的初始网络模型利用所述训练数据利用随机梯度下降法进行训练，使得损失函数值达到全局最低点。
进一步的，所述停止条件为浮点运算数FLOPs；
Figure BDA0002205411460000031
其中，L是神经网络的总层数，i神经网络层的序号，h和w和c是当前层的输入特征图的高和宽和深度，n是输出特征图的深度，k是卷积核的尺寸。
进一步的，所述利用灰色关联分析对所述实验模型中每个卷积核进行重要性的量化，得到每个卷积核的重要性的量化值，包括：
将所述实验模型中每个卷积核的特征层通过全局平均池化转变为二维矩阵；
将所有卷积核特征层全局平均池化转变的二维矩阵合并为分析矩阵；
在所述分析矩阵内选择参考序列；
分别计算所述分析矩阵的比较序列和所述参考序列的关联系数；
基于所述关联系数计算所述参考序列的重要性；
基于所述参考序列的重要性，获取卷积核通道重要性量化值。
进一步的，所述基于所述参考序列的重要性，获取卷积核通道重要性量化值，包括：
基于所述参考序列的重要性，添加关于层数的正则化函数；
基于所述正则化函数得到与层数无关的卷积核通道重要性量化值
Figure BDA0002205411460000047
进一步的，所述关联系数为：
Figure BDA0002205411460000041
其中，
Figure BDA0002205411460000042
代表第k个比较序列与参考序列之间的关联度，ρ是分辨系数，
Figure BDA0002205411460000043
和
Figure BDA0002205411460000044
为分析矩阵的元素。
进一步的，所述基于所述关联系数计算所述参考序列的重要性，包括：
基于所述关联系数获取比较序列与参考序列之间的平均关联度，如所述平均关联度越高，则所述参考序列所代表的卷积核通道所提取的特征与其余通道提取的特征越相似，即所述参考序列所代表的卷积核通道重要性越低。
进一步的，所述
Figure BDA0002205411460000045
其中i代表层数，j代表卷积核通道的序号，代表第j个卷积核通道的重要性。
本实施例具有以下有益效果：
本实施例，利用灰色关联分析对所述实验模型中每个卷积核进行重要性的量化，从而根据量化值对每个卷积核的重要性进行判断，并根据重要性选择裁剪的目标卷积核，对目标卷积核及相关卷积核进行裁剪，从而达到了准确找出被裁剪后对精度影响最小的卷积核，在保证精度的情况下提高模型裁剪比例，加快裁剪后新模型推理运算速度的优点。
本实施的方法采用灰色关联分析评价卷积核重要性，裁剪掉对结果贡献小的卷积核从而减小计算量提高推理速度；所有层的卷积核都需要被评价，并且不同层之间的卷积核重要性可以进行互相比较，免除了裁剪前对各层预先设置裁剪比例；通过模型裁剪前后的FLOTs比值满足要求作为裁剪停止的信号，可以在速度提升效果达到要求后及时停止裁剪，避免精度过多的下降；具有普适性，能广泛应用于目前常见的各种网络及其变体；相比于普通的数据驱动型评价方法，本实施例采用的灰色关联分析法作为一种量化衡量因素间关联性的方法，能够准确在多个因素中找出两个关系最密切的因素，适用于寻找卷积核之间的关联性作为裁剪依据，使得即使大比例裁剪了多数卷积核仍然能保持模型精度基本不变；在保证精度的同时提高了裁剪的百分比，从加快模型在推理阶段的运行速度。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明实施例所述的基于灰色关联分析的深度卷积神经网络模型的裁剪方法流程图；
图2为本发明实施例所述的基于灰色关联分析的深度卷积神经网络模型的裁剪方法的原理框图；
图3为本发明实施例所述的基于灰色关联分析的深度卷积神经网络模型的裁剪方法的当前层卷积核通道与下一层相关通道裁剪示意图；
图4为本发明实施例所述的基于灰色关联分析的深度卷积神经网络模型的裁剪方法的残差网络裁剪示意图；
图5为本发明实施例所述的基于灰色关联分析的深度卷积神经网络模型的裁剪方法的卷积核重要性评价流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
如图1所示，一种基于灰色关联分析的深度卷积神经网络模型的裁剪方法，包括：
S101：对目标数据进行数据扩增以获得更多的训练数据；
S102：将未经训练的初始网络模型利用所述训练数据进行训练，获得一组拟合所述训练数据的模型参数作为进行裁剪的实验模型；
S103：利用灰色关联分析对所述实验模型中每个卷积核进行重要性的量化，得到每个卷积核的重要性的量化值；
S104：基于所述卷积核的重要性的量化值得到所有卷积的重要性，并将最不重要的卷积核作为目标卷积核；
S105：对所述目标卷积核及与所述目标卷积核相关的下一层卷积核进行重复裁剪，直至满足停止条件。
具体的实施方式中，所述目标数据可以为图片数据。数据扩增，包括：水平翻转或明亮度微调等。
具体的实施方式中，将未经训练的初始网络模型利用所述训练数据进行训练，为：
将未经训练的初始网络模型利用所述训练数据利用随机梯度下降法进行训练，使得损失函数值达到全局最低点。
具体的实施方式中，所述停止条件为浮点运算数FLOPs；
Figure BDA0002205411460000061
其中，L是神经网络的总层数，i神经网络层的序号，h和w和c是当前层的输入特征图的高和宽和深度，n是输出特征图的深度，k是卷积核的尺寸。
具体的实施方式中，所述利用灰色关联分析对所述实验模型中每个卷积核进行重要性的量化，得到每个卷积核的重要性的量化值，包括：
将所述实验模型中每个卷积核的特征层通过全局平均池化转变为二维矩阵；
将所有卷积核特征层全局平均池化转变的二维矩阵合并为分析矩阵；
在所述分析矩阵内选择参考序列；
分别计算所述分析矩阵的比较序列和所述参考序列的关联系数；
基于所述关联系数计算所述参考序列的重要性；
基于所述参考序列的重要性，获取卷积核通道重要性量化值。
具体的实施方式中，所述基于所述参考序列的重要性，获取卷积核通道重要性量化值，包括：
基于所述参考序列的重要性，添加关于层数的正则化函数；
基于所述正则化函数得到与层数无关的卷积核通道重要性量化值
Figure BDA0002205411460000071
进一步的，所述关联系数为：
其中，
Figure BDA0002205411460000073
代表第k个比较序列与参考序列之间的关联度，ρ是分辨系数，
Figure BDA0002205411460000074
和
Figure BDA0002205411460000075
为分析矩阵的元素。
具体的实施方式中，所述基于所述关联系数计算所述参考序列的重要性，包括：
基于所述关联系数获取比较序列与参考序列之间的平均关联度，如所述平均关联度越高，则所述参考序列所代表的卷积核通道所提取的特征与其余通道提取的特征越相似，即所述参考序列所代表的卷积核通道重要性越低。
具体的实施方式中，所述
Figure BDA0002205411460000076
其中i代表层数，j代表卷积核通道的序号，
Figure BDA0002205411460000077
代表第j个卷积核通道的重要性。
在一个具体的应用场景中，
本实施例通过改进数据驱动型的模型裁剪方法，采用灰色关联分析对卷积核通道重要性进行量化，删除不重要的卷积核通道从而实现减小计算量加快运算速度，整个算法流程主要由数据扩增、预训练、评价卷积核、裁剪停止条件等构成。如图2所示。
具体实现步骤为：
(1)对图片数据进行包括随机水平翻转、随机明亮度微调在内的数据扩增以获得更多的训练数据，使模型能够更好的拟合各种环境条件。水平翻转表示为：
I(a,b)＝I(Weight-a,b)，
其中I(a,b)代表图像，Weight是图像的长度。
(2)将初始网络模型利用步骤(1)产生的扩增数据进行训练获得一组拟合训练数据的模型参数作为实验模型。使用随机梯度下降法(SGD)来训练模型参数，参数更新方法为：
Figure BDA0002205411460000081
其中wj代表模型参数W中第j个参数，α为学习率，m为批大小，x(i)和y(i)分别为训练集的图片和标签。
(3)利用灰色关联分析对步骤(2)获得的实验模型中每个卷积核进行重要性的量化表示：首先使用全局平均池化将原本形状是hi×wi×ci的第i层特征图
Figure BDA0002205411460000082
转变成形状是1×ni的特征向量Vi l；将训练集中m张图片逐一输入网络得到形状为m×ni的张量Ti，将m作为灰色关联分析的序列数，ni作为因素个数；将第一个卷积核通道的特征作为参考序列。逐个计算参考序列和比较序列对应元素的绝对差值，分别计算每个比较序列和参考序列的关联系数；重复上述步骤，将第二个卷积核通道的特征作为参考序列计算其重要性，以此类推获得所有卷积核通道的重要性；经过正则化后最终得到一个与层数无关的卷积核通道重要性量化值。如图5所示。
(3.1)全局平均池化：
每一层的输出特征都是三维矩阵，不方便直接对其进行处理和分析。通过全局平均池化操作将特征层转变为二维矩阵。具体过程如下：
若第l张图片的第i层输出特征为则全局平均池化过程为：
Figure BDA0002205411460000092
其中
Figure BDA0002205411460000093
为池化后的特征向量。
(3.2)获得分析矩阵：
为了能够准确获得每个卷积核通道的重要性，需要根据整个数据集共m张图片的信息来进行分析。即对于每一层输出特征，需要将m张图片都送入卷积神经网络获得在该层的输出特征并进行全局平均池化，获得m个
Figure BDA0002205411460000094
最后向量合并为矩阵Ti：
Figure BDA0002205411460000095
其中
Figure BDA0002205411460000096
是向量Vi 1的第一个向量值。矩阵Ti作为分析矩阵，将m作为分析的序列数，ni作为分析的因素个数。
(3.3)选择参考序列：
每次计算前需要选择一个因素(卷积核通道)作为参考序列，计算结果为其他因素与参考因素的平均关联度，因此整个计算过程需要依次选择每个因素作为参考因素。当将第ni个卷积核作为参考因素时，需要将矩阵Ti的第ni行放到第一行，得到
Figure BDA0002205411460000097
为：
(3.4)计算关联系数：
分别计算每个比较序列和参考序列的关联系数为：
Figure BDA0002205411460000101
其中
Figure BDA0002205411460000102
代表第k个比较序列与参考序列之间的关联度，ρ是分辨系数。
(3.5)计算参考序列重要性：
比较序列与参考序列之间的平均关联度越高，就认为该参考序列所代表的卷积核通道所提取的特征与其余通道提取的特征越相似，即该卷积核通道重要性越低：
Figure BDA0002205411460000103
其中
Figure BDA0002205411460000104
代表第j个卷积核通道的重要性，其重要程度与值的大小成反比。
(3.6)计算卷积核通道重要性：
不同层之间的通道由于输入分布不一样导致特征值的范围不一样，所以在比较不同层的重要性的时候需要添加了一个关于层数的L2正则化函数。最终得到一个与层数无关的卷积核通道重要性量化值
Figure BDA0002205411460000105
其中i代表层数，j代表卷积核通道的序号：
Figure BDA0002205411460000106
(4)对所有卷积核根据计算获得重要性的量化值，将最不重要的卷积核作为裁剪对象；将目标卷积核及与之相关的下一层卷积核对应通道裁剪后进行训练以弥补性能的损失；重复操作直到最后满足裁剪停止条件；最后再进行训练恢复裁剪过程中模型的精度损失。如图3所示。
(5)计算速度的快慢与计算量的大小成正比。计算量的指标为浮点运算数，卷积操作的卷积核通道越多，输入特征图越大，则浮点运算数越大。本发明通过裁剪卷积核通道数的方法使得计算量变小，加快推理阶段的运算速度。裁剪过程的停止条件为，新模型和初始模型的FLOPs比值满足运算速度的提升要求。
Figure BDA0002205411460000111
其中，L是神经网络的总层数，i神经网络层的序号，h和w和c是当前层的输入特征图的高和宽和深度，n是输出特征图的深度，k是卷积核的尺寸。
图4中实线框代表卷积操作。框内的参数分别代表卷积核宽、卷积核高、输入通道数、卷积核个数。残差块分两种，第一种跳跃连接过程不带卷积操作，如图中虚线框B、D所示，该残差块只裁剪第一个和第二个卷积过程，第三个卷积过程不裁是为了保证跳跃连接前后通道一致。第二种残差块跳跃连接过程带卷积操作，如图中虚线框A、C所示，理论上可以裁剪第三个卷积层，只要同时改变跳跃连接的卷积核数量即可，但是这样会改变下一个残差块的输入维度，所以两种残差块都只裁剪2个卷积层。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于灰色关联分析的深度卷积神经网络模型的裁剪方法，其特征在于，包括：
对目标数据进行数据扩增以获得更多的训练数据；
将未经训练的初始网络模型利用所述训练数据进行训练，获得一组拟合所述训练数据的模型参数作为进行裁剪的实验模型；
利用灰色关联分析对所述实验模型中每个卷积核进行重要性的量化，得到每个卷积核的重要性的量化值；
基于所述卷积核的重要性的量化值得到所有卷积的重要性，并将最不重要的卷积核作为目标卷积核；
对所述目标卷积核及与所述目标卷积核相关的下一层卷积核进行重复裁剪，直至满足停止条件。
2.根据权利要求1所述的基于灰色关联分析的深度卷积神经网络模型的裁剪方法，其特征在于，所述目标数据为图片数据。
3.根据权利要求2所述的基于灰色关联分析的深度卷积神经网络模型的裁剪方法，其特征在于，所述数据扩增，包括：水平翻转或明亮度微调。
4.根据权利要求1所述的基于灰色关联分析的深度卷积神经网络模型的裁剪方法，其特征在于，将未经训练的初始网络模型利用所述训练数据进行训练，为：
将未经训练的初始网络模型利用所述训练数据利用随机梯度下降法进行训练，使得损失函数值达到全局最低点。
5.根据权利要求1所述的基于灰色关联分析的深度卷积神经网络模型的裁剪方法，其特征在于，所述停止条件为浮点运算数FLOPs；
Figure FDA0002205411450000011
其中，L是神经网络的总层数，i神经网络层的序号，h和w和c是当前层的输入特征图的高和宽和深度，n是输出特征图的深度，k是卷积核的尺寸。
6.根据权利要求1所述的基于灰色关联分析的深度卷积神经网络模型的裁剪方法，其特征在于，所述利用灰色关联分析对所述实验模型中每个卷积核进行重要性的量化，得到每个卷积核的重要性的量化值，包括：
将所述实验模型中每个卷积核的特征层通过全局平均池化转变为二维矩阵；
将所有卷积核特征层全局平均池化转变的二维矩阵合并为分析矩阵；
在所述分析矩阵内选择参考序列；
分别计算所述分析矩阵的比较序列和所述参考序列的关联系数；
基于所述关联系数计算所述参考序列的重要性；
基于所述参考序列的重要性，获取卷积核通道重要性量化值。
7.根据权利要求6所述的基于灰色关联分析的深度卷积神经网络模型的裁剪方法，其特征在于，所述基于所述参考序列的重要性，获取卷积核通道重要性量化值，包括：
基于所述参考序列的重要性，添加关于层数的正则化函数；
基于所述正则化函数得到与层数无关的卷积核通道重要性量化值
Figure FDA0002205411450000025
8.根据权利要求6或7所述的基于灰色关联分析的深度卷积神经网络模型的裁剪方法，其特征在于，
所述关联系数为：
Figure FDA0002205411450000021
其中，
Figure FDA0002205411450000022
代表第k个比较序列与参考序列之间的关联度，ρ是分辨系数，
Figure FDA0002205411450000023
和
Figure FDA0002205411450000024
为分析矩阵的元素。
9.根据权利要求8所述的基于灰色关联分析的深度卷积神经网络模型的裁剪方法，其特征在于，所述基于所述关联系数计算所述参考序列的重要性，包括：
基于所述关联系数获取比较序列与参考序列之间的平均关联度，如所述平均关联度越高，则所述参考序列所代表的卷积核通道所提取的特征与其余通道提取的特征越相似，即所述参考序列所代表的卷积核通道重要性越低。
10.根据权利要求9所述的基于灰色关联分析的深度卷积神经网络模型的裁剪方法，其特征在于，所述
Figure FDA0002205411450000031
其中i代表层数，j代表卷积核通道的序号，
Figure FDA0002205411450000032
代表第j个卷积核通道的重要性。
CN201910884247.7A 2019-09-18 2019-09-18 基于灰色关联分析的深度卷积神经网络模型的裁剪方法 Pending CN110647990A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910884247.7A CN110647990A (zh) 2019-09-18 2019-09-18 基于灰色关联分析的深度卷积神经网络模型的裁剪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910884247.7A CN110647990A (zh) 2019-09-18 2019-09-18 基于灰色关联分析的深度卷积神经网络模型的裁剪方法

Publications (1)

Publication Number Publication Date
CN110647990A true CN110647990A (zh) 2020-01-03

Family

ID=68991466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910884247.7A Pending CN110647990A (zh) 2019-09-18 2019-09-18 基于灰色关联分析的深度卷积神经网络模型的裁剪方法

Country Status (1)

Country Link
CN (1) CN110647990A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340223A (zh) * 2020-02-27 2020-06-26 上海商汤临港智能科技有限公司 神经网络压缩、目标检测、行驶控制方法以及装置
CN111401516A (zh) * 2020-02-21 2020-07-10 华为技术有限公司 一种神经网络通道参数的搜索方法及相关设备
CN113326930A (zh) * 2020-02-29 2021-08-31 华为技术有限公司 数据处理方法、神经网络的训练方法及相关装置、设备
CN113724830A (zh) * 2021-08-31 2021-11-30 平安国际智慧城市科技股份有限公司 基于人工智能的用药风险检测方法及相关设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105528638A (zh) * 2016-01-22 2016-04-27 沈阳工业大学 灰色关联分析法确定卷积神经网络隐层特征图个数的方法
CN107977703A (zh) * 2016-10-21 2018-05-01 辉达公司 用于修剪神经网络以实现资源有效推理的***和方法
CN108009518A (zh) * 2017-12-19 2018-05-08 大连理工大学 一种基于快速二分卷积神经网络的层次化交通标识识别方法
CN108229647A (zh) * 2017-08-18 2018-06-29 北京市商汤科技开发有限公司 神经网络结构的生成方法和装置、电子设备、存储介质
CN109598340A (zh) * 2018-11-15 2019-04-09 北京知道创宇信息技术有限公司 卷积神经网络的裁剪方法、装置及存储介质
US20190114547A1 (en) * 2017-10-16 2019-04-18 Illumina, Inc. Deep Learning-Based Splice Site Classification
CN109657780A (zh) * 2018-06-15 2019-04-19 清华大学 一种基于剪枝顺序主动学习的模型压缩方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105528638A (zh) * 2016-01-22 2016-04-27 沈阳工业大学 灰色关联分析法确定卷积神经网络隐层特征图个数的方法
CN107977703A (zh) * 2016-10-21 2018-05-01 辉达公司 用于修剪神经网络以实现资源有效推理的***和方法
CN108229647A (zh) * 2017-08-18 2018-06-29 北京市商汤科技开发有限公司 神经网络结构的生成方法和装置、电子设备、存储介质
US20190114547A1 (en) * 2017-10-16 2019-04-18 Illumina, Inc. Deep Learning-Based Splice Site Classification
CN108009518A (zh) * 2017-12-19 2018-05-08 大连理工大学 一种基于快速二分卷积神经网络的层次化交通标识识别方法
CN109657780A (zh) * 2018-06-15 2019-04-19 清华大学 一种基于剪枝顺序主动学习的模型压缩方法
CN109598340A (zh) * 2018-11-15 2019-04-09 北京知道创宇信息技术有限公司 卷积神经网络的裁剪方法、装置及存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401516A (zh) * 2020-02-21 2020-07-10 华为技术有限公司 一种神经网络通道参数的搜索方法及相关设备
CN111401516B (zh) * 2020-02-21 2024-04-26 华为云计算技术有限公司 一种神经网络通道参数的搜索方法及相关设备
CN111340223A (zh) * 2020-02-27 2020-06-26 上海商汤临港智能科技有限公司 神经网络压缩、目标检测、行驶控制方法以及装置
CN113326930A (zh) * 2020-02-29 2021-08-31 华为技术有限公司 数据处理方法、神经网络的训练方法及相关装置、设备
CN113326930B (zh) * 2020-02-29 2024-05-03 华为技术有限公司 数据处理方法、神经网络的训练方法及相关装置、设备
CN113724830A (zh) * 2021-08-31 2021-11-30 平安国际智慧城市科技股份有限公司 基于人工智能的用药风险检测方法及相关设备
CN113724830B (zh) * 2021-08-31 2024-04-30 深圳平安智慧医健科技有限公司 基于人工智能的用药风险检测方法及相关设备

Similar Documents

Publication Publication Date Title
CN112116030B (zh) 一种基于向量标准化和知识蒸馏的图像分类方法
CN110647990A (zh) 基于灰色关联分析的深度卷积神经网络模型的裁剪方法
CN109002889B (zh) 自适应迭代式卷积神经网络模型压缩方法
CN111242180B (zh) 一种基于轻量化卷积神经网络的图像识别方法及***
CN112183742B (zh) 基于渐进式量化和Hessian信息的神经网络混合量化方法
CN112016674A (zh) 一种基于知识蒸馏的卷积神经网络的量化方法
CN111091184B (zh) 一种深度神经网络的量化方法、装置、电子设备及介质
CN109871749B (zh) 一种基于深度哈希的行人重识别方法和装置、计算机***
CN111160523B (zh) 基于特征值区域的动态量化方法、***及介质
CN114359563B (zh) 模型训练方法、装置、计算机设备和存储介质
CN112560966B (zh) 基于散射图卷积网络的极化sar图像分类方法、介质及设备
CN112101364B (zh) 基于参数重要性增量学习的语义分割方法
CN109523016B (zh) 面向嵌入式***的多值量化深度神经网络压缩方法及***
CN115759237A (zh) 端到端的深度神经网络模型压缩及异构转换***及方法
CN112926570A (zh) 一种自适应比特网络量化方法、***及图像处理方法
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN112861996A (zh) 深度神经网络模型压缩方法及装置、电子设备、存储介质
CN114332500A (zh) 图像处理模型训练方法、装置、计算机设备和存储介质
CN114677548A (zh) 基于阻变存储器的神经网络图像分类***及方法
CN116188878A (zh) 基于神经网络结构微调的图像分类方法、装置和存储介质
CN110263917B (zh) 一种神经网络压缩方法及装置
CN113408696A (zh) 深度学习模型的定点量化方法及装置
CN112561050B (zh) 一种神经网络模型训练方法及装置
CN112613604A (zh) 神经网络的量化方法及装置
CN113033804B (zh) 一种面向遥感图像的卷积神经网络压缩方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination