CN114022727B - 一种基于图像知识回顾的深度卷积神经网络自蒸馏方法 - Google Patents
一种基于图像知识回顾的深度卷积神经网络自蒸馏方法 Download PDFInfo
- Publication number
- CN114022727B CN114022727B CN202111221950.3A CN202111221950A CN114022727B CN 114022727 B CN114022727 B CN 114022727B CN 202111221950 A CN202111221950 A CN 202111221950A CN 114022727 B CN114022727 B CN 114022727B
- Authority
- CN
- China
- Prior art keywords
- network
- branch
- layer
- fused
- distillation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004821 distillation Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012552 review Methods 0.000 title claims abstract description 19
- 238000013528 artificial neural network Methods 0.000 title description 3
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 22
- 230000006870 function Effects 0.000 claims description 17
- 230000004927 fusion Effects 0.000 claims description 14
- 238000011176 pooling Methods 0.000 claims description 14
- 230000007246 mechanism Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003313 weakening effect Effects 0.000 description 2
- 101100153581 Bacillus anthracis topX gene Proteins 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 101150041570 TOP1 gene Proteins 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000013140 knowledge distillation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了本发明公开一种基于图像知识回顾的深度卷积神经网络自蒸馏方法，该方法首先针对目标网络设置辅助网络，在目标网络的下采样层引出分支，采用知识回顾的思路依次融合和连接各个分支，在训练过程中，通过监督学习以及采用目标网络的下采样层向引出分支层进行学习的方式，达到自蒸馏的目的。本发明在深度卷积神经网络自蒸馏领域引入知识回顾的思路，提高了深度卷积神经网络的训练精度；采用辅助网络的形式进行自蒸馏，相对使用数据增强来拉进类内距离的自蒸馏方法，在实际应用中更加简洁方便。
Description
技术领域
本发明涉及人工智能及计算机视觉技术领域，尤其是涉及一种基于图像知识回顾的深度卷积神经网络自蒸馏方法。
背景技术
随着智能化的发展，大规模摄像头产生海量视频，为了提高视频结构化的效率，实际场景对摄像头的端侧处理能力提出了很高的要求。
针对于此，类似MobileNet、ShuffleNet等紧凑型的小型网络模型，以低资源消耗的优势，极大推进了端侧推理性能的发展。MobileNet、ShuffleNet等紧凑型的小型网络本身的设计，有效降低了端侧的推理耗时和硬件资源消耗，然而其推理精度相对于大规模的网络模型存在一定劣势，在网络结构限定的条件下，进一步提高其训练后的精度性能具有重要意义。
在网络结构限定的条件下，提高模型训练精度性能的常用方法是知识蒸馏，即设定异构的结构规模较大的教师网络和结构紧凑的学生网络，将教师网络学习到的信息传递给学生网络。然而，实际场景中不一定可以在所有任务中都顺利的获取教师模型，有的大网络由于数据的缺失，很难被正常的训练出来。基于这种情况，自我学习的自蒸馏训练策略应运而生。
目前，自蒸馏方法主要分为基于数据增强的方法和基于辅助网络的方法，其中基于数据增强的方法在训练过程中较为复杂，在实际应用上缺乏一定简洁性，基于辅助网络的方法较为简洁，但是精度的提升与网络的复杂度往往是一对矛盾，亟待寻求一种在自蒸馏训练中，对精度提升较大又不过于复杂的辅助网络，使得实际工程应用深度卷积神经网络自蒸馏训练中，既简洁方便有又具有较好的精度提升。
发明内容
为解决现有技术的不足，利用知识回顾的方法，回顾融合深层网络的语义信息和浅层网络的信息，实现既保持辅助网络的简洁，同时达到提升自蒸馏训练精度的目的，本发明采用如下的技术方案：
一种基于图像知识回顾的深度卷积神经网络自蒸馏方法，包括如下步骤：
S1，根据目标卷积神经网络的原始网络结构，构建辅助网络，从每个下采样层的前一层以及最后的全连接层引出分支特征；
S2，辅助网络中待融合的分支特征A与原始网络中更浅层的分支特征B，通过注意力融合模块进行融合，融合后的特征尺寸与原始网络中更浅层的分支特征B尺寸相同，将融合后特征输入辅助网络，并将辅助网络的各层依次连接，为了拉近类内距离，引入注意力机制进行特征融合，所述融合，包括如下步骤：
S21，辅助网络中待融合的分支特征A，经过上采样操作和卷积操作，使得辅助网络中待融合分支特征A的宽高、通道数与原始网络中更浅层的分支特征B相同；
S22，将A与B分别进行通道注意力操作，在宽高方向进行全局平均池化和全局最大池化操作，将得到的特征相加后，经过sigmoid操作，与原分支特征在通道方向相乘，分别得到通道注意力操作后的辅助网络中待融合的分支特征A1与原始网络中更浅层的分支特征B1；
S23，空间注意力融合，将A1与B1在通道方向进行拼接操作，在通道方向分别进行全局平均池化和全局最大池化操作后，再次在通道方向进行拼接操作、卷积操作，经过sigmoid操作后，分别与A1、B1在宽高尺度上相乘，得到空间注意力融合后的辅助网络中待融合的分支特征A2与原始网络中更浅层的分支特征B2；
S24，将A2与B2相加，得到融合后的特征；
S3，原始网络中的全连接层，以及分支引出的辅助网络的全连接层，通过各自的softmax层，以最终的真值标签为目标进行训练，同时，原始网络中引出分支的特征，向各个融合后的分支特征进行蒸馏学习，各个融合后的分支特征，均融合了浅层形态特征以及深层语义特征，相对原始网络中的特征，具有更高的信息量，因此可以作为蒸馏学习的对象，包括如下步骤：
S31，原始网络中的全连接层，以及分支引出的辅助网络的全连接层，通过各自的softmax层，以最终的真值标签为目标，通过损失函数L k 分别进行训练：
其中，Y p为预测概率值，Y t为真值标签对应的真实概率值，α为调节参数，分别得到原始网络的损失函数L k1 和辅助网络的损失函数L k2 ；
S32，原始网络中引出的分支特征，向各个融合后的分支特征绑定，进行蒸馏学习，采用如下损失函数：
其中，x表示原始网络输入的图像，f(·)表示深度卷积神经网络，W A,i 表示计算得到原始网络中引出分支特征的第i个特征图所需的权重，W B,i 表示计算得到辅助网络中各个融合后的分支特征的第i个特征图所需的权重；
S33，通过总的损失函数，进行自蒸馏训练：
其中，γ和θ分别为调节系数；
S4，训练完成后，移除辅助网络，通过原始网络进行推理。
进一步地，所述S2中，将融合后特征输入辅助网络对应的层，将该层的输出通过卷积进行下采样，并与辅助网络中更深层的待融合分支特征进行相加，作为辅助网络更深层的输入。
进一步地，所述所述S2中，辅助网络中每个待融合的分支特征依次与原始网络中更浅层的分支特征进行融合。
进一步地，所述所述S2中，更浅一层分支特征与原始网络中更浅一层的分支特征进行融合。
进一步地，所述所述S21中，在全连接层的分支特征与原始网络中更浅层分支特征的融合时，对两者进行重塑操作，使得两者在宽高方向均为融合前原始网络中更浅层分支特征的0.5倍。
进一步地，所述所述S22中，池化操作后的到两个尺寸为为1*1*C的特征，其中C为分支特征A的通道数。
进一步地，所述所述S23中，通过拼接操作，使通道数变为2，再进行1*1尺寸，步长为1的卷积核的卷积操作，将通道数从2压缩到1。
进一步地，所述所述S31中的损失函数L k 采用Focal loss。
进一步地，所述所述S32中的损失函数L f 采用L1 loss。
本发明的优势和有益效果在于：
本发明在深度卷积神经网络自蒸馏领域，引入知识回顾的思路，提高了深度卷积神经网络的训练精度；本发明采用辅助网络的形式进行自蒸馏，相对使用数据增强来拉进类内距离的自蒸馏方法，在实际应用中更加简洁方便。
附图说明
图1是本发明的总体示意图。
图2是本发明中注意力融合模块的结构示意图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
舰船识别，是基于水平视角的舰船图像，对舰船进行分类识别的任务，在军事场景中的敌我识别以及各类民用海事场景的船只识别中，具有重要的意义。
具体地，采用pytorch1.6进行网络训练和测试验证，***环境为Ubuntu18.04，训练的显卡硬件采用2080Ti，原始网络结构以Resnet18为例，数据集采用网络搜集的舰船图像，将识别的舰船类别分为两栖登陆舰、船坞登陆舰、驱逐舰、护卫舰、航母、补给舰、渔业船舶、运输类船舶等10类，训练集共6000张图片，测试集共1000张图片。
如图1所示，本发明的基于舰船图像知识回顾的深度卷积神经网络自蒸馏方法，包括以下步骤：
步骤1：根据目标卷积神经网络的原始结构，在每个下采样层的前一层以及最后的全连接层引出分支。
具体地，如图1中S1、S2、S3为Resnet18中的下采样前一层，S4为最后的全连接层，这些分支融合后的T1、T2、T3、T4构成辅助网络对原始网络进行蒸馏。
步骤2：每个分支特征依次与原始结构中更浅层的分支特征，通过注意力融合模块进行融合，融合后特征的尺寸与更浅层的分支特征尺寸相同，融合后的各层依次连接；
由于本实施例中舰船的类内差异较大，如不同国家的驱逐舰外形差异较大，运输类船舶的外形以及体积尺度也差异较大，类内差异与类间差异的判别成为棘手的问题，本方法中引入的注意力机制有助于增强反应舰船图像类间差异的重点区域的信息，削弱反应类内差异的区域的信息，例如增强驱逐舰与运输类船舶的舰首区域的图像信息，削弱船只中部的形态特征信息，为了拉近类内距离，本实施例引入注意力机制进行特征融合。
具体地，如图1所示，每个分支特征依次与原始结构中更浅层的分支特征，通过注意力融合模块进行融合，即S4复制出T4，与S3融合，得到T3，再与S2融合，得到T2，T2与S1融合，得到T1，融合后特征的尺寸与更浅层的分支特征尺寸相同，即S1、S2、S3、S4与T1、T2、T3、T4的尺寸分别对应相同，用于训练过程中的蒸馏。
其中注意力融合模块的融合过程如下，示意图如图2所示：
步骤2.1：待融合的深层分支特征首先经过上采样操作，再经过一个1*1尺寸步长为1卷积核的卷积操作，使得待融合特征宽高、通道数与原始结构中更浅层的分支特征相同，其中T4特征与S3特征融合过程前，首先对两者进行reshape操作，使得特征在宽高方向均为原S3特征的0.5倍；
步骤2.2：令此刻待融合特征为A，原始结构中更浅层的分支特征为B，分别进行以下通道注意力操作：进行宽高方向进行Global average Pooling和Global max Pooling，得到两个尺寸为1*1*C的特征，其中C为待融合特征的通道数，S1、S2、S3对应的C分别为64、128、256。两者相加后，经过sigmoid操作，与原特征在通道方向相乘。经过以上操作分别得到A1、B1；
步骤2.3：进行空间注意力融合：将特征A1、B1在通道方向进行concat操作，在通道方向分别进行Global average Pooling和Global max Pooling后再次在通道方向进行concat操作，使得通道数变为2，之后进行1*1尺寸步长为1卷积核的卷积操作，将通道数从2压缩到1，进行sigmoid操作后，分别与特征A1、B1在宽高尺度上相乘得到A2、B2特征；
步骤2.4：将特征A2、B2相加后得到融合后的特征；
融合后的各层依次连接，T1、T2、T3具体采用以下连接模块：首先经过步长为1的3*3卷积核卷积，再经过步长为2的3*3卷积核卷积，进行下采样，再次经过步长为1的3*3卷积核卷积，与待融合特征进行相加；
T3与T4特征具体采用以下连接模块：T3首先经过步长为1的3*3卷积核卷积，再经过步长为2的3*3卷积核卷积，进行下采样，再次经过步长为1的3*3卷积核卷积，通过全连接层后与T4相加进行连接。
步骤3：原始结构中的全连接层以及分支引出的全连接层均各自通过softmax层，以最终舰船图像的ground truth label为目标进行训练。同时，原始结构中引出分支的特征向各个融合后的分支特征进行蒸馏学习；
各个融合后的分支均融合了舰船的浅层形态特征以及深层语义特征，相对原始Resnet18网络中的特征层具有更高的信息量，因此可以作为蒸馏学习的对象。
具体地，所述的S3具体操作如下：
训练策略batch数设置为32，将舰船图像缩放到640*640尺寸输入Resnet18网络，采用随机生成的图像输入顺序，训练迭代数设置为200，初始网络学习率为0.01，迭代数至100和150时分别将学习率乘以0.1，采用SGD优化器，其中训练batch数经测试分别采用8、16、32、64，结果采用batch数32为最优；
原始结构中的全连接层以及分支引出的全连接层，均各自通过softmax层，输出类别数为预置的舰船图像识别数（10类），如表1为图1中自上而下三张示例舰船图像的预测概率值，可见分支引出的辅助结构在真值标签位置的输出概率高于原始结构的输出概率，因此侧面证明了分支引出的辅助结构用于自蒸馏的有效性。原始结构的输出概率和分支引出的辅助结构的输出概率分别以最终舰船图像的ground truth label为目标进行训练，得到损失L k1 和L k2 。
表1
其中，损失函数采用Focal loss，L k 的公式如下，Y p为预测的舰船类型的概率值，Y t为图像真值标签ground truth label对应的真实舰船类型的概率值，α为调节参数，α取2；
同时，原始结构中引出分支的特征向各个融合后的分支特征进行绑定，进行蒸馏学习，即特征图S1、S2、S3、S4分别向T1、T2、T3、T4进行蒸馏学习，损失函数L f 采用L1 loss，如下公式所示：
其中，x表示网络的输入，即缩放到640*640尺寸的舰船图像，f(·)表示深度卷积神经网络，W A,i 表示计算得到网络原始结构中引出分支的第i个特征图所需的权重，W B,i 表示计算得到网络各个融合后的分支特征的第i个特征图所需的权重，f(·)即提取舰船图像特征的过程，输出就是所需的特征图。由f(x,W A,i )所得表示原始网络结构对于舰船图像所提取的特征，由f(x,W B,i )表示本方法的经过辅助网络注意力机制增强的舰船图像特征，前者向后者的蒸馏学习使得原始网络对于舰船类间差异的识别得到增强。
自蒸馏训练过程中总的损失函数如下所示，其中γ和θ分别为调节系数，分别设置为0.5和0.7：
。
步骤4：训练完成后，移除各个分支引出的辅助网络，回归原始结构。
具体地，训练完成后，由于自蒸馏的作用，原始Resnet18对于舰船识别的性能得到提高，移除各个分支引出的辅助网络，回归原始结构，即仅保留S1、S2、S3、S4通路的原始Resnet18网络用于舰船识别的推理部署。
测试采用top1准确率作为最终评价指标，表2为各个类别在原始结构的预测准确率和辅助网络的预测准确率：
表2
对于表2，可见，辅助网络在各个类别的预测准确率显著高于原始结构，表明了分支引出的辅助结构在引入知识回顾方法和注意力机制后具备了更强的判别能力，可以有效地引导原始网络结构进行自蒸馏，提升原始网络结构的性能。
表3为基线和本方法移除辅助网络后在舰船图像测试集的平均准确率：
表3
| 基线Resnet18网络 | 本方法Resnet18网络自蒸馏 | |
| 舰船识别准确率 | 87.63% | 89.32% |
对于表3，可见，相对基线，采用本方法后，可以有效将Resnet18网络对于舰船识别的分类准确率从87.63%提升至89.32%，证明了本方法的有效性。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。
Claims (9)
1.一种基于图像知识回顾的深度卷积神经网络自蒸馏方法，其特征在于包括如下步骤：
S1，根据目标卷积神经网络的原始网络结构，构建辅助网络，从每个下采样层的前一层以及最后的全连接层引出分支特征；
S2，辅助网络中待融合的分支特征A与原始网络中更浅层的分支特征B，进行融合，融合后的特征尺寸与原始网络中更浅层的分支特征B尺寸相同，将融合后特征输入辅助网络，并将辅助网络的各层依次连接，所述融合，引入注意力机制，包括如下步骤：
S21，辅助网络中待融合分支特征A的宽高、通道数与原始网络中更浅层的分支特征B相同；
S22，将A与B分别进行通道注意力操作，在宽高方向进行全局平均池化和全局最大池化操作，将得到的特征相加后，经过sigmoid操作，与原分支特征在通道方向相乘，分别得到通道注意力操作后的辅助网络中待融合的分支特征A1与原始网络中更浅层的分支特征B1；
S23，空间注意力融合，将A1与B1在通道方向进行拼接操作，在通道方向分别进行全局平均池化和全局最大池化操作后，再次在通道方向进行拼接操作、卷积操作，经过sigmoid操作后，分别与A1、B1在宽高尺度上相乘，得到空间注意力融合后的辅助网络中待融合的分支特征A2与原始网络中更浅层的分支特征B2；
S24，将A2与B2相加，得到融合后的特征；
S3，原始网络中的全连接层，以及分支引出的辅助网络的全连接层，通过各自的softmax层，以最终的真值标签为目标进行训练，同时，原始网络中引出分支的特征，向各个融合后的分支特征进行蒸馏学习，包括如下步骤：
S31，原始网络中的全连接层，以及分支引出的辅助网络的全连接层，通过各自的softmax层，以最终图像的真值标签为目标，通过损失函数L k 分别进行训练：
其中，Y p为预测概率值，Y t为图像的真值标签对应的真实概率值，α为调节参数，分别得到原始网络的损失函数L k1 和辅助网络的损失函数L k2 ；
S32，原始网络中引出的分支特征，向各个融合后的分支特征绑定，进行蒸馏学习，采用如下损失函数：
其中，x表示原始网络输入的图像，f(·)表示深度卷积神经网络，W A,i 表示计算得到原始网络中引出分支特征的第i个特征图所需的权重，W B,i 表示计算得到辅助网络中各个融合后的分支特征的第i个特征图所需的权重；
S33，通过总的损失函数，进行自蒸馏训练：
其中，γ和θ分别为调节系数；
S4，训练完成后，移除辅助网络，通过原始网络进行推理。
2.根据权利要求1所述的一种基于图像知识回顾的深度卷积神经网络自蒸馏方法，其特征在于所述S2中，将融合后特征输入辅助网络对应的层，将该层的输出通过卷积进行下采样，并与辅助网络中更深层的待融合分支特征进行相加，作为辅助网络更深层的输入。
3.根据权利要求1所述的一种基于图像知识回顾的深度卷积神经网络自蒸馏方法，其特征在于所述所述S2中，辅助网络中每个待融合的分支特征依次与原始网络中更浅层的分支特征进行融合。
4.根据权利要求1所述的一种基于图像知识回顾的深度卷积神经网络自蒸馏方法，其特征在于所述所述S2中，更浅一层分支特征与原始网络中更浅一层的分支特征进行融合。
5.根据权利要求1所述的一种基于图像知识回顾的深度卷积神经网络自蒸馏方法，其特征在于所述所述S21中，在全连接层的分支特征与原始网络中更浅层分支特征的融合时，对两者进行重塑操作，使得两者在宽高方向均为融合前原始网络中更浅层分支特征的0.5倍。
6.根据权利要求1所述的一种基于图像知识回顾的深度卷积神经网络自蒸馏方法，其特征在于所述所述S22中，池化操作后的到两个尺寸为为1*1*C的特征，其中C为分支特征A的通道数。
7.根据权利要求1所述的一种基于图像知识回顾的深度卷积神经网络自蒸馏方法，其特征在于所述所述S23中，通过拼接操作，使通道数变为2，再进行1*1尺寸，步长为1的卷积核的卷积操作，将通道数从2压缩到1。
8.根据权利要求1所述的一种基于图像知识回顾的深度卷积神经网络自蒸馏方法，其特征在于所述所述S31中的损失函数L k 采用Focal loss。
9.根据权利要求1所述的一种基于图像知识回顾的深度卷积神经网络自蒸馏方法，其特征在于所述所述S32中的损失函数L f 采用L1 loss。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111221950.3A CN114022727B (zh) | 2021-10-20 | 2021-10-20 | 一种基于图像知识回顾的深度卷积神经网络自蒸馏方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111221950.3A CN114022727B (zh) | 2021-10-20 | 2021-10-20 | 一种基于图像知识回顾的深度卷积神经网络自蒸馏方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114022727A CN114022727A (zh) | 2022-02-08 |
| CN114022727B true CN114022727B (zh) | 2024-04-26 |
Family
ID=80056858
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111221950.3A Active CN114022727B (zh) | 2021-10-20 | 2021-10-20 | 一种基于图像知识回顾的深度卷积神经网络自蒸馏方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114022727B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114691911B (zh) * | 2022-03-22 | 2023-04-07 | 电子科技大学 | 一种基于信息瓶颈变分蒸馏的跨视角地理图像检索方法 |
| CN115457006B (zh) * | 2022-09-23 | 2023-08-22 | 华能澜沧江水电股份有限公司 | 基于相似一致性自蒸馏的无人机巡检缺陷分类方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111626330A (zh) * | 2020-04-23 | 2020-09-04 | 南京邮电大学 | 基于多尺度特征图重构和知识蒸馏的目标检测方法与*** |
| WO2021023202A1 (zh) * | 2019-08-07 | 2021-02-11 | 交叉信息核心技术研究院(西安)有限公司 | 一种卷积神经网络的自蒸馏训练方法、设备和可伸缩动态预测方法 |
| AU2020103901A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field |
| CN112766087A (zh) * | 2021-01-04 | 2021-05-07 | 武汉大学 | 一种基于知识蒸馏的光学遥感图像舰船检测方法 |
| CN113435588A (zh) * | 2021-08-26 | 2021-09-24 | 之江实验室 | 基于深度卷积神经网络bn层尺度系数的卷积核嫁接方法 |
| CN113449680A (zh) * | 2021-07-15 | 2021-09-28 | 北京理工大学 | 一种基于知识蒸馏的多模小目标检测方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200410299A1 (en) * | 2018-04-02 | 2020-12-31 | King Abdullah University Of Science And Technology | Incremental learning method through deep learning and support data |
| US12020167B2 (en) * | 2018-05-17 | 2024-06-25 | Magic Leap, Inc. | Gradient adversarial training of neural networks |
| US11636337B2 (en) * | 2019-03-22 | 2023-04-25 | Royal Bank Of Canada | System and method for knowledge distillation between neural networks |
-
2021
- 2021-10-20 CN CN202111221950.3A patent/CN114022727B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021023202A1 (zh) * | 2019-08-07 | 2021-02-11 | 交叉信息核心技术研究院(西安)有限公司 | 一种卷积神经网络的自蒸馏训练方法、设备和可伸缩动态预测方法 |
| CN111626330A (zh) * | 2020-04-23 | 2020-09-04 | 南京邮电大学 | 基于多尺度特征图重构和知识蒸馏的目标检测方法与*** |
| AU2020103901A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field |
| CN112766087A (zh) * | 2021-01-04 | 2021-05-07 | 武汉大学 | 一种基于知识蒸馏的光学遥感图像舰船检测方法 |
| CN113449680A (zh) * | 2021-07-15 | 2021-09-28 | 北京理工大学 | 一种基于知识蒸馏的多模小目标检测方法 |
| CN113435588A (zh) * | 2021-08-26 | 2021-09-24 | 之江实验室 | 基于深度卷积神经网络bn层尺度系数的卷积核嫁接方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于深度卷积神经网络的图像分类算法;陈瑞瑞;;河南科技学院学报(自然科学版);20180907(04);全文 * |
| 基于深度卷积神经网络的车型识别方法;袁公萍;汤一平;韩旺明;陈麒;;浙江大学学报(工学版);20180305(04);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114022727A (zh) | 2022-02-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111967305B (zh) | 一种基于轻量级卷积神经网络的实时多尺度目标检测方法 | |
| US9811718B2 (en) | Method and a system for face verification | |
| CN113569667B (zh) | 基于轻量级神经网络模型的内河船舶目标识别方法及*** | |
| CN114120019A (zh) | 一种轻量化的目标检测方法 | |
| CN112884064A (zh) | 一种基于神经网络的目标检测与识别方法 | |
| CN114022727B (zh) | 一种基于图像知识回顾的深度卷积神经网络自蒸馏方法 | |
| CN114445430B (zh) | 轻量级多尺度特征融合的实时图像语义分割方法及*** | |
| CN114359851A (zh) | 无人驾驶目标检测方法、装置、设备及介质 | |
| CN117037119A (zh) | 基于改进YOLOv8的道路目标检测方法及*** | |
| CN113052834A (zh) | 一种基于卷积神经网络多尺度特征的管道缺陷检测方法 | |
| Bhattacharya et al. | Interleaved deep artifacts-aware attention mechanism for concrete structural defect classification | |
| CN115439694A (zh) | 一种基于深度学习的高精度点云补全方法及装置 | |
| CN112395953A (zh) | 一种道面异物检测*** | |
| CN116342536A (zh) | 基于轻量化模型的铝带材表面缺陷检测方法、***及设备 | |
| CN115115863A (zh) | 水面多尺度目标检测方法、装置及***和存储介质 | |
| CN117456480B (zh) | 一种基于多源信息融合的轻量化车辆再辨识方法 | |
| CN114495050A (zh) | 一种面向自动驾驶前向视觉检测的多任务集成检测方法 | |
| CN117710841A (zh) | 一种无人机航拍图像的小目标检测方法、装置 | |
| CN111476190A (zh) | 用于无人驾驶的目标检测方法、设备及存储介质 | |
| CN114913519B (zh) | 一种3d目标检测方法、装置、电子设备及存储介质 | |
| CN115861306A (zh) | 一种基于自监督拼图模块的工业品异常检测方法 | |
| CN115546668A (zh) | 海洋生物的检测方法、装置及无人机 | |
| CN115294548A (zh) | 一种基于行方向上位置选择和分类方法的车道线检测方法 | |
| CN111461130B (zh) | 一种高精度图像语义分割算法模型及分割方法 | |
| CN114492634A (zh) | 一种细粒度装备图片分类识别方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |