CN112784964A - 基于桥接知识蒸馏卷积神经网络的图像分类方法 - Google Patents

基于桥接知识蒸馏卷积神经网络的图像分类方法 Download PDF

Info

Publication number
CN112784964A
CN112784964A CN202110107120.1A CN202110107120A CN112784964A CN 112784964 A CN112784964 A CN 112784964A CN 202110107120 A CN202110107120 A CN 202110107120A CN 112784964 A CN112784964 A CN 112784964A
Authority
CN
China
Prior art keywords
network
layer
teacher
student
student network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110107120.1A
Other languages
English (en)
Inventor
杜兰
王震
宋佳伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202110107120.1A priority Critical patent/CN112784964A/zh
Publication of CN112784964A publication Critical patent/CN112784964A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于桥接知识蒸馏卷积神经网络的图像分类方法，主要解决现有技术在知识蒸馏过程中信息丢失造成的学生网络图像分类准确率较低的问题，实现步骤为：(1)构建教师网络与学生网络；(2)生成训练集：(3)训练教师网络：(4)构建桥接结构：(5)训练学生网络：(6)对待分类图像进行分类。本发明在教师网络与学生网络之间构建桥接结构，根据KL散度损失函数与交叉熵损失函数训练学生网络，使得学生网络同时具有较高的图像分类准确率与较低的终端部署需求，可用于在低算力、低存储的终端设备上对图像进行分类识别。

Description

基于桥接知识蒸馏卷积神经网络的图像分类方法
技术领域
本发明属于图像处理技术领域，更进一步涉及图像分类技术领域中的一种基于桥接知识蒸馏卷积神经网络的图像分类方法。本发明可用于在低算力、低存储的终端设备上对图像进行分类识别。
背景技术
卷积神经网络中最经典的网络是ResNet，ResNet通过引入“跳跃连接”，有效地缓解了神经网络训练中的梯度消失问题，成功训练出上百甚至上千层的卷积神经网络。通常，网络层数越多，参数量越大，网络的表达能力越强，在图像分类任务中能够取得更高的准确率。规模大的卷积神经网络推理时间长，存储开销大，而在安全生产、工业质检、智能硬件等应用场景中，终端设备的内存容量、算力有限，这对卷积神经网络的部署造成了极大的阻碍；直接设计小规模的卷积神经网络尽管利于终端部署，但是又存在分类准确率不高的问题。因此卷积神经网络的分类准确率与效率难以兼得。
知识蒸馏是一类常见的模型压缩算法，该类方法通常选取一个规模大精度高的网络为“教师网络”，选取一个规模小精度较差的网络为“学生网络”，通过引导学生网络模拟教师网络的输出，实现教师网络到学生网络的“知识”迁移，使得学生网络达到接近教师网络的精度。
Zagoruyko在其发表的论文“Paying more attention to attention:Improvingthe performance of convolutional neural networks via attention transfer”(InInternational Conference on Learning Representations,2017)中提出了一种基于注意力的知识蒸馏的图像分类方法。该方法将教师网络和学生网络的网络中间层输出特征转换为注意力特征，通过最小化教师网络与学生网络注意力特征之间的差异，让学生网络学习到教师网络中间层所关注的图像区域，完成教师网络到学生网络的知识迁移，使得规模小的学生网络图像分类准确率得到提升。该方法存在的不足之处是：该方法将教师网络和学生网络的网络中间层输出特征转换为注意力特征，但中间层输出中包含空间维度和通道维度两部分信息，该方法是对空间维度特征的整合，通道维度特征被完全忽视了，这部分知识并不能被迁移至学生网络，导致规模小的学生网络的图像分类准确率较低。
Byeongho Heo在其发表的论文“Knowledge transfer via distillation ofactivation boundaries formed by hidden neurons”(In AAAI Conference onArtificial Intelligence,2019)中提出了一种利用神经元激活边界的知识蒸馏的图像分类方法。该方法通过设定阈值来判定教师网络与学生网络中间层的隐层神经元是否激活，若神经元激活值大于该阈值，则认为其处于激活状态，若小于激活值，则认为没有激活，该方法以此指导学生网络对应中间层的神经元是否应该激活，将该信息传导至学生网络中，使得规模小的学生网络图像分类准确率得到提升。该方法存在的不足之处是：该方法通过设定阈值的方式来判定教师网络中间层的神经元是否激活，并以此指导学生网络中间层的对应神经元是否激活，这样做只能教给学生网络对应神经元是否应该激活，而没有教给学生网络对应神经元激活后的幅值信息，没有将完整的神经元激活信息传递给学生网络，造成学生网络收敛较慢。
发明内容
本发明的目的是针对上述现有技术的不足，提出一种基于桥接知识蒸馏卷积神经网络的图像分类方法，旨在解决现有技术在知识蒸馏过程中信息丢失造成的学生网络图像分类准确率较低的问题。
实现本发明目的的技术思路是：通过在教师网络与学生网络之间建立桥接结构，将学生网络中间层的信息利用教师网络映射为类别概率特征，实现对中间层的关键信息提取，然后利用KL散度损失函数与交叉熵损失函数训练学生网络使其学到图像分类准确率高的教师网络中的知识，达到与教师网络相近的图像分类准确率。
本发明的具体步骤如下：
(1)构建教师网络与学生网络：
(1a)搭建结构相同的14层的教师网络和14层的学生网络，其结构依次为：输入层，第一卷积层，第一激活层，第一最大池化层，第二卷积层，第二激活层，第二最大池化层，第三卷积层，第三激活层，第三最大池化层，第四卷积层，第四激活层，第五卷积层，输出层；
(1b)设置教师网络各层参数如下：
将第一至第五卷积层特征映射图数目分别设置为16、32、64、128、10，卷积核大小分别设置为5×5、5×5、6×6、5×5、3×3；
将第一至第三最大池化层的池化窗口均设置为2×2，步长均设置为2；
将第一至第四激活层的激活函数均设置为ReLU激活函数；
(1c)设置学生网络各层参数如下：
将第一至第五卷积层特征映射图数目分别设置为9、10、31、8、10，卷积核大小分别设置为5×5、5×5、6×6、5×5、3×3；
将第一至第三最大池化层的池化窗口均设置为2×2，步长均设置为2；
将第一至第四激活层的激活函数均设置为ReLU激活函数；
(2)生成训练集：
选取至少为2种类别、每种类别至少为200个图像组成训练集；
(3)训练教师网络：
将训练集输入到教师网络中，得到每张训练图像的预测类别概率，利用交叉熵损失函数，计算每张图像的预测类别概率与该图像对应的类别标签间的损失，通过反向传播算法迭代更新教师网络参数，直到交叉熵损失函数收敛为止，得到训练好的教师网络；
(4)构建桥接结构：
将训练好的教师网络的第四卷积层与学生网络的第四卷积层相连后得到桥接结构；
(5)训练学生网络：
(5a)将训练集同时输入到学生网络、训练好的教师网络中，得到学生网络的输出，教师网络的输出，以及桥接结构的输出；
(5b)利用KL散度损失函数，计算教师网络的输出与桥接结构的输出之间的KL散度损失值；
(5c)利用交叉熵损失函数，计算学生网络的输出与训练图像的类别标签之间的交叉熵损失值；
(5d)将KL散度损失值与交叉熵损失值之和作为总损失值，通过反向传播算法迭代更新学生网络的参数，直到总损失值收敛为止，得到训练好的学生网络。
(6)对待分类图像进行分类：
将待分类图像输入到训练好的学生网络中，得到学生网络对于待分类图像的预测类别概率，选择预测类别概率中值最高的概率所对应的类别作为对该图像的分类结果。
本发明与现有的技术相比具有以下优点：
第一，本发明在教师网络与学生网络之间构建了一个桥接结构，该结构可以同时利用教师与学生两个网络之间的中间层中空间维度和通道维度两部分信息，克服了现有技术中提取的中间层特征中缺失通道维度特征的问题，使得本发明提高了学生网络的图像分类准确率。
第二，本发明在训练学生网络时使用了KL散度损失函数与交叉熵损失函数，该损失函数可以将教师网络的中间层知识迁移至学生网络，克服了现有技术中忽略教师网络中间层幅值信息造成的学生网络收敛慢的问题，有效加快了学生网络收敛效率。
附图说明
图1是本发明的流程图；
图2是本发明中桥接结构的示意图。
具体实施方式
下面结合附图，对本发明做进一步的描述。
参照图1，对本发明实现的具体步骤详细描述。
步骤1，构建教师网络与学生网络。
搭建结构相同的14层的教师网络和14层的学生网络，其结构依次为：输入层，第一卷积层，第一激活层，第一最大池化层，第二卷积层，第二激活层，第二最大池化层，第三卷积层，第三激活层，第三最大池化层，第四卷积层，第四激活层，第五卷积层，输出层。
设置教师网络各层参数如下：
将第一至第五卷积层特征映射图数目分别设置为16、32、64、128、10，卷积核大小分别设置为5×5、5×5、6×6、5×5、3×3。
将第一至第三最大池化层的池化窗口均设置为2×2，步长均设置为2。
将第一至第四激活层的激活函数均设置为ReLU激活函数。
设置学生网络各层参数如下：
将第一至第五卷积层特征映射图数目分别设置为9、10、31、8、10，卷积核大小分别设置为5×5、5×5、6×6、5×5、3×3。
将第一至第三最大池化层的池化窗口均设置为2×2，步长均设置为2。
将第一至第四激活层的激活函数均设置为ReLU激活函数。
步骤2，生成训练集。
选取至少为2种类别、每种类别至少为200个图像组成训练集。
步骤3，训练教师网络。
将训练集输入到教师网络中，得到每张训练图像的预测类别概率，利用交叉熵损失函数，计算每张图像的预测类别概率与该图像对应的类别标签间的损失，通过反向传播算法迭代更新教师网络参数，直到交叉熵损失函数收敛为止，得到训练好的教师网络。
所述的交叉熵损失函数如下：
Figure BDA0002917976340000051
其中，J表示交叉熵损失函数，N表示训练集中图像的总数，Σ表示求和操作，i表示训练集中图像的序号，Yi表示训练集中第i张图像对应的类别标签，log表示以2为底的对数操作，Pi表示将训练集中第i张图像输入教师网络中得到的预测类别概率。
步骤4，构建桥接结构。
将训练好的教师网络的第四卷积层与学生网络的第四卷积层相连后得到桥接结构。
参照图2对本发明中构建的桥接结构作进一步的描述。
图2中左侧为教师网络的结构示意图，右侧为学生网络的结构示意图，将训练好的教师网络的第四卷积层与学生网络的第四卷积层相连后得到桥接结构如图2的中间部分。从图2中可以看出，桥接结构由学生网络第四卷积层之下的层与教师网络第四卷积层之上的层组成。
步骤5，训练学生网络。
将训练集同时输入到学生网络、训练好的教师网络中，得到学生网络的输出P，教师网络的输出Q，以及桥接结构的输出B。
利用KL散度损失函数，计算教师网络的输出与桥接结构的输出之间的KL散度损失值。
所述的KL散度损失函数如下：
Figure BDA0002917976340000061
其中，
Figure BDA0002917976340000062
表示KL散度损失函数，Qi表示将训练集中第i张图像输入教师网络中得到的预测类别概率，Bi表示将训练集中第i张图像输入桥接结构中得到的预测类别概率。
利用交叉熵损失函数，计算学生网络的输出与训练图像的类别标签之间的交叉熵损失值。
所述的交叉熵损失函数如下：
Figure BDA0002917976340000063
其中，J表示交叉熵损失函数，Yi表示训练集中第i张图像对应的类别标签，Pi表示将训练集中第i张图像输入学生网络中得到的预测类别概率。
将KL散度损失值与交叉熵损失值之和作为总损失值，通过反向传播算法迭代更新学生网络的参数，直到总损失值收敛为止，得到训练好的学生网络。
步骤6，对待分类图像进行分类。
将待分类图像输入到训练好的学生网络中，得到学生网络对于待分类图像的预测类别概率，选择预测类别概率中值最高的概率所对应的类别作为对该图像的分类结果。

Claims (3)

1.一种基于桥接知识蒸馏卷积神经网络的图像分类方法，其特征在于，在教师网络与学生网络之间构建桥接结构，根据KL散度损失函数与交叉熵损失函数训练学生网络，该方法包括如下步骤：
(1)构建教师网络与学生网络：
(1a)搭建结构相同的14层的教师网络和14层的学生网络，其结构依次为：输入层，第一卷积层，第一激活层，第一最大池化层，第二卷积层，第二激活层，第二最大池化层，第三卷积层，第三激活层，第三最大池化层，第四卷积层，第四激活层，第五卷积层，输出层；
(1b)设置教师网络各层参数如下：
将第一至第五卷积层特征映射图数目分别设置为16、32、64、128、10，卷积核大小分别设置为5×5、5×5、6×6、5×5、3×3；
将第一至第三最大池化层的池化窗口均设置为2×2，步长均设置为2；
将第一至第四激活层的激活函数均设置为ReLU激活函数；
(1c)设置学生网络各层参数如下：
将第一至第五卷积层特征映射图数目分别设置为9、10、31、8、10，卷积核大小分别设置为5×5、5×5、6×6、5×5、3×3；
将第一至第三最大池化层的池化窗口均设置为2×2，步长均设置为2；
将第一至第四激活层的激活函数均设置为ReLU激活函数；
(2)生成训练集：
选取至少为2种类别、每种类别至少为200个图像组成训练集；
(3)训练教师网络：
将训练集输入到教师网络中，得到每张训练图像的预测类别概率，利用交叉熵损失函数，计算每张图像的预测类别概率与该图像对应的类别标签间的损失，通过反向传播算法迭代更新教师网络参数，直到交叉熵损失函数收敛为止，得到训练好的教师网络；
(4)构建桥接结构：
将训练好的教师网络的第四卷积层与学生网络的第四卷积层相连后得到桥接结构；
(5)训练学生网络：
(5a)将训练集同时输入到学生网络、训练好的教师网络中，得到学生网络的输出，教师网络的输出，以及桥接结构的输出；
(5b)利用KL散度损失函数，计算教师网络的输出与桥接结构的输出之间的KL散度损失值；
(5c)利用交叉熵损失函数，计算学生网络的输出与训练图像的类别标签之间的交叉熵损失值；
(5d)将KL散度损失值与交叉熵损失值之和作为总损失值，通过反向传播算法迭代更新学生网络的参数，直到总损失值收敛为止，得到训练好的学生网络；
(6)对待分类图像进行分类：
将待分类图像输入到训练好的学生网络中，得到学生网络对于待分类图像的预测类别概率，选择预测类别概率中值最高的概率所对应的类别作为对该图像的分类结果。
2.根据权利要求1所述的基于桥接知识蒸馏卷积神经网络的图像分类方法，其特征在于，步骤(3)、步骤(5c)中所述的交叉熵损失函数如下：
Figure FDA0002917976330000021
其中，J表示交叉熵损失函数，N表示训练集中图像的总数，Σ表示求和操作，i表示训练集中图像的序号，Yi表示训练集中第i张图像对应的类别标签，log表示以2为底的对数操作，Pi表示将训练集中第i张图像输入网络中得到的预测类别概率。
3.根据权利要求2所述的基于桥接知识蒸馏卷积神经网络的图像分类方法，其特征在于，步骤(5b)中所述的KL散度损失函数如下：
Figure FDA0002917976330000022
其中，
Figure FDA0002917976330000031
表示KL散度损失函数，Qi表示将训练集中第i张图像输入教师网络中得到的预测类别概率，Bi表示将训练集中第i张图像输入桥接结构中得到的预测类别概率。
CN202110107120.1A 2021-01-27 2021-01-27 基于桥接知识蒸馏卷积神经网络的图像分类方法 Pending CN112784964A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110107120.1A CN112784964A (zh) 2021-01-27 2021-01-27 基于桥接知识蒸馏卷积神经网络的图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110107120.1A CN112784964A (zh) 2021-01-27 2021-01-27 基于桥接知识蒸馏卷积神经网络的图像分类方法

Publications (1)

Publication Number Publication Date
CN112784964A true CN112784964A (zh) 2021-05-11

Family

ID=75757981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110107120.1A Pending CN112784964A (zh) 2021-01-27 2021-01-27 基于桥接知识蒸馏卷积神经网络的图像分类方法

Country Status (1)

Country Link
CN (1) CN112784964A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222123A (zh) * 2021-06-15 2021-08-06 深圳市商汤科技有限公司 模型训练方法、装置、设备及计算机存储介质
CN113392938A (zh) * 2021-07-30 2021-09-14 广东工业大学 一种分类模型训练方法、阿尔茨海默病分类方法及装置
CN113421243A (zh) * 2021-06-23 2021-09-21 深圳大学 一种基于知识蒸馏网络检测眼底图像类型的方法及装置
CN113449776A (zh) * 2021-06-04 2021-09-28 中南民族大学 基于深度学习的中草药识别方法、装置及存储介质
CN113505719A (zh) * 2021-07-21 2021-10-15 山东科技大学 基于局部-整体联合知识蒸馏算法的步态识别模型压缩***及方法
CN113591978A (zh) * 2021-07-30 2021-11-02 山东大学 一种基于置信惩罚正则化的自我知识蒸馏的图像分类方法、设备及存储介质
CN113610146A (zh) * 2021-08-03 2021-11-05 江西鑫铂瑞科技有限公司 基于中间层特征提取增强的知识蒸馏实现图像分类的方法
CN113610173A (zh) * 2021-08-13 2021-11-05 天津大学 一种基于知识蒸馏的多跨域少样本分类方法
CN113673591A (zh) * 2021-08-13 2021-11-19 上海交通大学 一种自调整采样优化的图像分类方法、设备及介质
CN113807214A (zh) * 2021-08-31 2021-12-17 中国科学院上海微***与信息技术研究所 基于deit附属网络知识蒸馏的小目标人脸识别方法
CN114095447A (zh) * 2021-11-22 2022-02-25 成都中科微信息技术研究院有限公司 一种基于知识蒸馏与自蒸馏的通信网络加密流量分类方法
CN114373133A (zh) * 2022-01-10 2022-04-19 中国人民解放军国防科技大学 一种基于稠密特征分组蒸馏的缺失模态地物分类方法
CN114936567A (zh) * 2022-05-26 2022-08-23 清华大学 一种基于知识蒸馏的无监督机器翻译质量预估方法和装置
CN115908955A (zh) * 2023-03-06 2023-04-04 之江实验室 基于梯度蒸馏的少样本学习的鸟类分类***、方法与装置
CN115965964A (zh) * 2023-01-29 2023-04-14 中国农业大学 一种鸡蛋新鲜度识别方法、***及设备
CN116091849A (zh) * 2023-04-11 2023-05-09 山东建筑大学 基于分组解码器的轮胎花纹分类方法、***、介质及设备

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113449776A (zh) * 2021-06-04 2021-09-28 中南民族大学 基于深度学习的中草药识别方法、装置及存储介质
CN113222123A (zh) * 2021-06-15 2021-08-06 深圳市商汤科技有限公司 模型训练方法、装置、设备及计算机存储介质
CN113421243A (zh) * 2021-06-23 2021-09-21 深圳大学 一种基于知识蒸馏网络检测眼底图像类型的方法及装置
CN113505719A (zh) * 2021-07-21 2021-10-15 山东科技大学 基于局部-整体联合知识蒸馏算法的步态识别模型压缩***及方法
CN113505719B (zh) * 2021-07-21 2023-11-24 山东科技大学 基于局部-整体联合知识蒸馏算法的步态识别模型压缩***及方法
CN113392938A (zh) * 2021-07-30 2021-09-14 广东工业大学 一种分类模型训练方法、阿尔茨海默病分类方法及装置
CN113591978A (zh) * 2021-07-30 2021-11-02 山东大学 一种基于置信惩罚正则化的自我知识蒸馏的图像分类方法、设备及存储介质
CN113591978B (zh) * 2021-07-30 2023-10-20 山东大学 一种基于置信惩罚正则化的自我知识蒸馏的图像分类方法、设备及存储介质
CN113610146B (zh) * 2021-08-03 2023-08-04 江西鑫铂瑞科技有限公司 基于中间层特征提取增强的知识蒸馏实现图像分类的方法
CN113610146A (zh) * 2021-08-03 2021-11-05 江西鑫铂瑞科技有限公司 基于中间层特征提取增强的知识蒸馏实现图像分类的方法
CN113673591B (zh) * 2021-08-13 2023-12-01 上海交通大学 一种自调整采样优化的图像分类方法、设备及介质
CN113673591A (zh) * 2021-08-13 2021-11-19 上海交通大学 一种自调整采样优化的图像分类方法、设备及介质
CN113610173B (zh) * 2021-08-13 2022-10-04 天津大学 一种基于知识蒸馏的多跨域少样本分类方法
CN113610173A (zh) * 2021-08-13 2021-11-05 天津大学 一种基于知识蒸馏的多跨域少样本分类方法
CN113807214B (zh) * 2021-08-31 2024-01-05 中国科学院上海微***与信息技术研究所 基于deit附属网络知识蒸馏的小目标人脸识别方法
CN113807214A (zh) * 2021-08-31 2021-12-17 中国科学院上海微***与信息技术研究所 基于deit附属网络知识蒸馏的小目标人脸识别方法
CN114095447A (zh) * 2021-11-22 2022-02-25 成都中科微信息技术研究院有限公司 一种基于知识蒸馏与自蒸馏的通信网络加密流量分类方法
CN114095447B (zh) * 2021-11-22 2024-03-12 成都中科微信息技术研究院有限公司 一种基于知识蒸馏与自蒸馏的通信网络加密流量分类方法
CN114373133A (zh) * 2022-01-10 2022-04-19 中国人民解放军国防科技大学 一种基于稠密特征分组蒸馏的缺失模态地物分类方法
CN114936567A (zh) * 2022-05-26 2022-08-23 清华大学 一种基于知识蒸馏的无监督机器翻译质量预估方法和装置
CN115965964A (zh) * 2023-01-29 2023-04-14 中国农业大学 一种鸡蛋新鲜度识别方法、***及设备
CN115965964B (zh) * 2023-01-29 2024-01-23 中国农业大学 一种鸡蛋新鲜度识别方法、***及设备
CN115908955B (zh) * 2023-03-06 2023-06-20 之江实验室 基于梯度蒸馏的少样本学习的鸟类分类***、方法与装置
CN115908955A (zh) * 2023-03-06 2023-04-04 之江实验室 基于梯度蒸馏的少样本学习的鸟类分类***、方法与装置
CN116091849A (zh) * 2023-04-11 2023-05-09 山东建筑大学 基于分组解码器的轮胎花纹分类方法、***、介质及设备

Similar Documents

Publication Publication Date Title
CN112784964A (zh) 基于桥接知识蒸馏卷积神经网络的图像分类方法
CN111291836B (zh) 一种生成学生网络模型的方法
CN111554268B (zh) 基于语言模型的语言识别方法、文本分类方法和装置
CN112508085B (zh) 基于感知神经网络的社交网络链路预测方法
CN109783666B (zh) 一种基于迭代精细化的图像场景图谱生成方法
CN110222760B (zh) 一种基于winograd算法的快速图像处理方法
CN107392919A (zh) 基于自适应遗传算法的灰度阈值获取方法、图像分割方法
CN105975457A (zh) 基于全自动学习的信息分类预测***
CN112381179A (zh) 一种基于双层注意力机制的异质图分类方法
CN116541779B (zh) 个性化公共安全突发事件检测模型训练方法、检测方法及装置
CN114077659A (zh) 一种基于邻居交互网络的知识图谱问答方法及***
CN114841318A (zh) 基于跨模态知识蒸馏的智能合约漏洞检测方法
CN114780767A (zh) 一种基于深度卷积神经网络的大规模图像检索方法及***
CN111160536B (zh) 基于碎片化知识下的卷积嵌入表示推理方法
CN112860977A (zh) 一种基于卷积神经网络的链路预测方法
CN111985560A (zh) 知识追踪模型的优化方法、***及计算机存储介质
CN116797850A (zh) 基于知识蒸馏和一致性正则化的类增量图像分类方法
Parvin et al. A new approach to improve the vote-based classifier selection
CN114265954B (zh) 基于位置与结构信息的图表示学习方法
CN113343041B (zh) 基于图模型表示学习的消息回复关系判断***
CN115660882A (zh) 社交网络中用户间关系预测方法及多头混合聚合图卷积网络
CN107122472A (zh) 大规模非结构化数据提取方法、其***、分布式数据管理平台
CN113806488A (zh) 一种基于元结构学习的异构图转换的文本挖掘方法
CN110991366A (zh) 一种基于三维残差网络的航运监控事件识别方法及***
JPH0492955A (ja) ニューラルネットワークの学習方式

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210511