CN115272692A - 基于特征金字塔和特征融合的小样本图像分类方法及*** - Google Patents

基于特征金字塔和特征融合的小样本图像分类方法及*** Download PDF

Info

Publication number
CN115272692A
CN115272692A CN202210733595.6A CN202210733595A CN115272692A CN 115272692 A CN115272692 A CN 115272692A CN 202210733595 A CN202210733595 A CN 202210733595A CN 115272692 A CN115272692 A CN 115272692A
Authority
CN
China
Prior art keywords
feature
pyramid
module
relation
small sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210733595.6A
Other languages
English (en)
Inventor
王先知
许洁斌
艾浩然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202210733595.6A priority Critical patent/CN115272692A/zh
Publication of CN115272692A publication Critical patent/CN115272692A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于特征金字塔和特征融合的小样本图像分类方法，包括以下步骤：S1.构建特征金字塔关系网络模型，模型包括特征提取模块、关系模块和特征融合模块；S2.对数据集进行扩充，将数据集划分为训练集、验证集、测试集；S3.训练模型，从训练集中采样支撑集与查询集；S4.输入支撑集图像和查询集图像，特征提取模块提取图像的特征，并输出图像的特征向量，特征融合模块融合特征向量；S5.将特征向量输入关系模块，关系模块输出支撑集图像和查询集图像的相似分值，将所有相似分值进行处理，获得最终的相似分值；S6.计算模型的损失，并更新模型的参数，重复迭代训练，直至损失的误差值趋于稳定；S7.保存训练好的模型，将模型用于小样本图像分类测试。

Description

基于特征金字塔和特征融合的小样本图像分类方法及***
技术领域
本发明涉及小样本学习、元学习领域，具体地说，涉及一种基于特征金字塔和特征融合的小样本图像分类方法及***。
背景技术
深度神经网络模型往往需要大量有标注数据的训练样本，才能达到较优的训练效果。而在现实中，样本的标签往往需要耗费大量的人力物力，或者某些情况下能够使用的样本数据就很少，这时若直接将少量样本用于训练，就会产生过拟合的问题，小样本学习正是为了解决这类问题而产生的。
将小样本学习的基本模型定义为p＝C(f(x|θ)|w)，其中特征提取器可以表示为f，分类器可以表示为C，x表示待识别的输入图像，θ表示特征提取器f的参数，w表示分类器C的参数，p表示模型输出的预测结果。在小样本学习的过程中，由于样本数量少，直接训练会导致模型参数θ和w过拟合，在目标任务上精度下降。
通过把大量可用数据的相似先前任务的训练集定义为Dbase，把包含目标检测任务的小样本学习数据集定义为Dnovel。将模型在Dbase上进行训练，学习到一个较优的参数θ和w。模型通过已经得到的初始化参数在Dnovel上进行训练，得到新的模型参数θ1和w1，更新原有参数，更新后的新模型p＝C(f(x|θ1)|w1)能够较为准确的完成图像分类任务。
围绕样本数量少这一核心问题，现有的小样本学习策略中，主要通过基于数据增强的方法、基于度量学习的方法、基于模型的方法和基于参数优化的方法解决。度量学习也叫作相似度学习，度量学习的任务目标是学习一个成对的相似性度量S(·，·)，类似的样本相似性分值更高，不类似的样本相似性分值较低。其中S既可以是一个无需学习的距离度量，也可以是一个可以进行学习的神经网络，其输出的相似性分值可以查询测试集样本分类。然而，现有的基于度量学习的小样本学习，只关注模型最后输出之间的相似性和距离度量，未关注模型网络中间层的相似性和度量，识别准确率较低，影响模型最终的分类准确性。
发明内容
本发明的目的在于克服现有技术小样本图像分类准确率较低的问题，提供一种基于特征金字塔和特征融合的小样本图像分类方法，通过新的特征金字塔关系网络和新的特征融合方式，提高在小样本图像分类中的准确性。
为了实现上述目的，本发明所采用的技术方案如下：
一种基于特征金字塔和特征融合的小样本图像分类方法，包括以下步骤：
S1.构建多层神经网络的特征金字塔关系网络模型，每层神经网络包括特征提取模块、关系模块和特征融合模块；
S2.获取数据集并对数据集进行扩充，将经过扩充后的数据集划分为训练集、验证集、测试集；
S3.采用C-way K-shot方式训练特征金字塔关系网络模型，每次训练分别从训练集采样支撑集与查询集；
S4.输入支撑集图像和查询集图像，特征提取模块提取图像的特征，并输出图像的特征向量，特征融合模块融合支撑集图像和查询集图像的特征向量；
S5.将融合后的特征向量输入关系模块，关系模块输出支撑集图像和查询集图像的相似分值，将所有关系模块输出的相似分值进行处理，获得最终的相似分值；
S6.计算特征金字塔关系网络模型的损失，并更新特征金字塔关系网络模型的参数，重复迭代训练，直至损失的误差值趋于稳定；
S7.保存训练好的特征金字塔关系网络模型，将特征金字塔关系网络模型用于小样本图像分类测试。
进一步，特征融合模块包括特征融合项，特征融合项为：
C′(FS,FQ)＝Concate(FS,FQ,Mul(FS,FQ))
式中，FS表示查询集图像的特征向量，FQ表示支撑集图像的特征向量，Concate(·,·)表示在特征通道进行拼接的操作，Mul(·,·)运算表示将特征图按位置对应元素相乘。
进一步，步骤S6中，将一组图像的相似性分值视为回归任务，采用均方误差MSE函数作为每层神经网络的损失函数，均方误差MSE函数为：
MSE(r,yS,yQ)＝(r-1(yS＝＝yQ))2
式中，r表示每层神经网络输出的相似性分数，yS表示支撑集图像的标签，yQ表示查询集图像的标签。
进一步，步骤S6中，利用损失函数计算特征金字塔关系网络模型的损失，损失函数为：
Figure BDA0003714798740000021
式中，rl表示第l层神经网络输出的相似性分值，yS表示支撑集图像的标签，yQ表示查询集图像的标签，MSE表示均方误差函数，n表示神经网络的层数。
进一步，步骤S2中，将获取的数据集通过旋转来进行扩充，旋转角度为90度、180度、270度。
进一步，特征金字塔关系网络模型中，关系模块最后的全连接层的激活函数使用Sigmoid函数，其他所有的激活函数都使用ReLU函数。
一种基于特征金字塔和特征融合的小样本图像分类***，包括：
特征提取模块，用于提取输入图像的特征；
特征融合模块，用于将输入图像的特征进行融合；
关系模块，用于判别输入的支撑集图像特征和查询集图像特征的相似度。
进一步，特征提取模块包括四个卷积块和两个2*2的最大池化层，卷积块、最大池化层、卷积块、最大池化层、卷积块、卷积块依次连接。
进一步，关系模块包括两个卷积块、两个2*2的最大池化层、ReLU全连接层和Sigmoid全连接层，卷积块、最大池化层、卷积块、最大池化层、ReLU全连接层、Sigmoid全连接层依次连接。
进一步，卷积块包括卷积层、Batch Norm层和ReLU激活函数层，卷积层的卷积核大小为3*3，输出通道数为64。
与现有技术相比，本发明通过构建特征金字塔关系网络(FPRN)模型，提高了小样本图像分类的精度，且由于特征金字塔关系网络(FPRN)模型本身体量较小，通过特征金字塔关系网络(FPRN)模型仍可快速获得检测结果，准确率高。
附图说明
图1为特征金字塔关系网络FPRN的结构示意图。
图2为特征提取模块的结构示意图。
图3为关系模块的结构示意图。
图4为卷积块Conv Block的结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明基于特征金字塔和特征融合的小样本图像分类方法及***作进一步说明。
本发明公开了一种基于特征金字塔和特征融合的小样本图像分类方法，基于特征金字塔和特征融合的小样本图像分类方法包括以下步骤；
S1.构建多层神经网络的特征金字塔关系网络模型，每层神经网络包括特征提取模块、关系模块和特征融合模块。
S2.获取数据集并对数据集进行扩充，将经过扩充后的数据集划分为训练集、验证集、测试集。
S3.采用C-way K-shot方式训练特征金字塔关系网络模型，每次训练分别从训练集采样支撑集与查询集。
S4.输入支撑集图像和查询集图像，特征提取模块提取图像的特征，并输出图像的特征向量，特征融合模块融合支撑集图像和查询集图像的特征向量。
S5.将融合后的特征向量输入关系模块，关系模块输出支撑集图像和查询集图像的相似分值，将所有关系模块输出的相似分值进行处理，获得最终的相似分值。
S6.计算特征金字塔关系网络模型的损失，并更新特征金字塔关系网络模型的参数，重复迭代训练，直至损失的误差值趋于稳定。
S7.保存训练好的特征金字塔关系网络模型，将特征金字塔关系网络模型用于小样本图像分类测试。
请参阅图1，本发明还公开了一种基于特征金字塔和特征融合的小样本图像分类***，基于特征金字塔和特征融合的小样本图像分类***包括特征提取模块、特征融合模块和关系模块，特征提取模块用于提取输入图像的特征，特征融合模块用于将输入图像的特征进行融合，关系模块用于判别输入的支撑集图像特征和查询集图像特征的相似度。
具体地，在神经网络中，神经网络层级越深，感受野越大，越关注图像的整体特征，神经网络的层级越浅，感受野越小，越关注图像的局部特征。例如，对动物进行分类，深层神经网络可以判别具体动物种类特征，浅层神经网络可以提取到毛发特征、背景纹理特征等，因此，浅层神经网络的特征也可以用来帮助判别动物种类。基于此，本发明提出了一种特征金字塔关系网络(Feature Pyramid Relation Network,FPRN)模型。
特征金字塔关系网络模型具有多层神经网络，每层神经网络包括特征提取模块(feature extraction module,FEM)、特征融合模块和关系模块(relation module,RM)。特征提取模块用于提取输入图像的特征，特征融合模块用于将输入图像的特征进行融合，关系模块用于判别输入的支撑集图像特征和查询集图像特征的相似度。
如图2所示，特征提取模块包括四个卷积块和两个2*2的最大池化层，特征提取模块中，卷积块、最大池化层、卷积块、最大池化层、卷积块、卷积块依次连接，每个卷积块输出两个一组的特征向量以进行特征融合。
如图3所示，关系模块包括两个卷积块、两个2*2的最大池化层、ReLU全连接层和Sigmoid全连接层，关系模块中，卷积块、最大池化层、卷积块、最大池化层、ReLU全连接层、Sigmoid全连接层依次连接。关系模块的输入为经过特征融合模块融合后的特征，其输出为一个相似性分数，用于判别输入的支撑集图像特征和查询集图像特征的相似度。
如图4所示，卷积块由卷积核大小为3*3且输出通道数为64的卷积层、Batch Norm层和ReLU激活函数层组成。
在特征金字塔关系网络模型中，除关系模块最后的全连接层的激活函数为Sigmoid函数以外，其他所有的激活函数都用ReLU函数。关系模块的最后输出的使用Sigmoid函数，是因为本发明期望输出的是一个在0与1之间的相似性分数。
特征融合模块包括特征融合项，特征融合项为：
C′(FS,FQ)＝Concate(FS,FQ,Mul(FS,FQ))
式中，FS表示查询集图像经卷积块产生的特征向量，FQ表示支撑集图像经卷积块产生的特征向量，Concate(·,·)表示在特征通道进行拼接的操作，Mul(·,·)运算表示将特征图按位置对应元素相乘。
将获取的数据集通过旋转来进行扩充，旋转角度为90度、180度、270度。
对于C-way 1-shot问题，可以直接将特征提取模块提取到的支撑集特征图和查询集特征图进行特征融合。对于C-way K-shot(K>1)问题，需要将支撑集多个图像通过特征提取模块提取到的特征图按对应位置逐元素相加，再同查询集特征图进行特征融合，之后放入关系模块中计算相似性分值。
在训练阶段，会在训练集中随机抽取C个类别，每个类别中抽取K个样本，作为特征金字塔关系网络(FPRN)模型的支撑集；再从这C个类别中剩余的数据中抽取一批样本作为查询集。特征金字塔关系网络(FPRN)模型希望从训练中，学习到从这C*K个样本中区分这C个类别的能力，每一轮训练都会采样得到不同的类别。
将支撑集图像和查询集图像，在不同的网络深度处得到的特征向量，通过特征融合项融合在一起。本发明提出的特征融合项中，通过Mul(FS,FQ)的引入，可以将FS和FQ的感兴趣区域更加突显，更有利于特征金字塔关系网络对相似性进行判别。
关系模块输出一个0到1的相似性评分，将所有神经网络的关系模块输出的相似分值加权平均，获得特征金字塔关系网络(FPRN)模型最终的相似分值。
将支撑集图像和查询集图像这一组图像的相似性分值视为回归任务，采用均方误差MSE函数作为每层神经网络的损失函数，均方误差MSE函数为：
MSE(r,ys,yQ)＝(r-1(yS＝＝yQ))2
式中，r表示每层神经网络输出的相似性分数，yS表示支撑集图像的标签，yQ表示查询集图像的标签。当标签相同时，(yS＝＝yQ)的值为1，当标签不同时，(yS＝＝yQ)的值为0。
在特征金字塔关系网络(FPRN)模型中，每层神经网络的关系模块都会输出一个相似性分值，因此特征金字塔关系网络(FPRN)模型总的损失函数为：
Figure BDA0003714798740000061
式中，rl表示第l层输出的相似性分值，yS表示支撑集图像的标签，yQ表示查询集图像的标签，MSE表示均方误差函数。
通过损失函数计算特征金字塔关系网络(FPRN)模型的损失，并反向传播更新特征金字塔关系网络(FPRN)模型的参数。重复迭代训练，直至损失函数计算得到的损失的误差值趋于稳定。
保存训练好的特征金字塔关系网络模型，将特征金字塔关系网络模型用于小样本图像分类测试。本发明提出的基于特征金字塔和特征融合的小样本图像分类方法，在两个公开数据集上取得了较好的检测效果。
Omniglot数据集包含50种不同语言的1623种字符类，每个字符类包含20个由不同的人书写的样本。在训练过程中，20-way 1-shot每次训练，由每类别1张支撑集图像和10张查询集图像组成，20-way 5-shot每次训练，由每类别5张支撑集图像和5张查询集图像组成。在测试过程中，本发明在测试集中随机采样1000次来评估特征金字塔关系网络(FPRN)模型的分类结果，其中1-shot每次采样1张测试集图像，5-shot每次采样5张测试集图像。
miniImagenet数据集包含100个类别的共计60000张彩色图像组成，每个类别均包含600张样本，本发明取64个类别用以训练、16个类别用以验证、20个类别用以测试。在miniImagenet数据集上，本发明采用了5-way 1-shot和5-way 5-shot的设置。在训练过程中，5-way 1-shot的每次训练，由每类别1张支撑集图像和15张查询集图像组成，5-way 5-shot的每次训练，由每类别5张支撑集图像和10张查询集图像组成。在测试过程中，本发明在测试中随机采样600次来评估特征金字塔关系网络(FPRN)模型的分类结果，其中5-way1-shot和5-way 5-shot的设置中，每次均采样15张测试集图像。
本发明比较了特征金字塔关系网络(FPRN)模型与其他流行的基于度量学习的小样本学习模型的图像分类方法的结果。用于进行对比的模型主要包括孪生网络(SiameseNetwork)、原型网络(Prototype Network)、匹配网络(Matching networks)和关系网络(Relation Network)。特征金字塔关系网络模型(FPRN)与这些模型基准在Omniglo数据集上的比较结果如表1所示。
表1 Omniglot数据集实验结果
Figure BDA0003714798740000071
特征金字塔关系网络(FPRN)模型与孪生网络(Siamese Network)、原型网络(Prototype Network)、匹配网络(Matching networks)和关系网络(Relation Network)这些模型基准在miniImagenet数据集上的比较结果如表2所示。
表2 miniImagenet数据集实验结果
Figure BDA0003714798740000072
如表1和表2所示，通过实验数据表明，本发明提出的特征金字塔关系网络(FPRN)模型，在各项实验中都取得了最高的判断准确率。在Ominiglot数据集上，本发明提出的特征金字塔关系网络(FPRN)模型，在20-way 1-shot的设置中，能够达到98.3％的分类准确率，在20-way 5-shot的设置中，能够达到99.2％的分类准确率。在miniImagenet数据集上，本发明提出的特征金字塔关系网络(FPRN)模型，在5-way 1-shot的设置中，能够达到50.2％的分类准确率，在5-way 5-shot的设置中，能够达到66.7％的分类准确率。
本发明在miniImagenet数据集上5-way 1-shot设置中，比较了关系网络模型和特征金字塔关系网络(FPRN)模型的检测速度。本发明实验所用显卡为NVIDIA Quadro P2000显卡，使用关系网络判别速度为17.1fps，使用特征金字塔关系网络模型(FPRN)的判别速度为16.3fps，特征金字塔关系网络(FPRN)模型比关系网络模型判别速度慢4.7％。在该实验设置中，特征金字塔关系网络(FPRN)模型的检测准确率为50.2％，关系网络模型的检测准确率为47.3％，特征金字塔关系网络(FPRN)模型比关系网络模型的检测准确率绝对值提升2.9％，按照百分比计算准确率提升为6.1％。特征金字塔关系网络(FPRN)模型在牺牲4.7％的检测时间条件下，获得了6.1％的百分比准确率提升。
综上所述，本发明通过构建特征金字塔关系网络(FPRN)模型，提高了小样本图像分类的精度，且由于特征金字塔关系网络(FPRN)模型本身体量较小，通过特征金字塔关系网络(FPRN)模型仍可快速获得检测结果，准确率高。
上述说明是针对本发明较佳可行实施例的详细说明，但实施例并非用以限定本发明的专利申请范围，凡本发明所揭示的技术精神下所完成的同等变化或修饰变更，均应属于本发明所涵盖专利范围。

Claims (10)

1.一种基于特征金字塔和特征融合的小样本图像分类方法，其特征在于，包括以下步骤：
S1.构建多层神经网络的特征金字塔关系网络模型，每层神经网络包括特征提取模块、关系模块和特征融合模块；
S2.获取数据集并对数据集进行扩充，将经过扩充后的数据集划分为训练集、验证集、测试集；
S3.采用C-way K-shot方式训练特征金字塔关系网络模型，每次训练分别从训练集采样支撑集与查询集；
S4.输入支撑集图像和查询集图像，特征提取模块提取图像的特征，并输出图像的特征向量，特征融合模块融合支撑集图像和查询集图像的特征向量；
S5.将融合后的特征向量输入关系模块，关系模块输出支撑集图像和查询集图像的相似分值，将所有关系模块输出的相似分值进行处理，获得最终的相似分值；
S6.计算特征金字塔关系网络模型的损失，并更新特征金字塔关系网络模型的参数，重复迭代训练，直至损失的误差值趋于稳定；
S7.保存训练好的特征金字塔关系网络模型，将特征金字塔关系网络模型用于小样本图像分类测试。
2.如权利要求1的基于特征金字塔和特征融合的小样本图像分类方法，其特征在于，特征融合模块包括特征融合项，特征融合项为：
C′(FS，FQ)＝Concate(FS，FQ，Mul(FS，FQ))
式中，FS表示查询集图像的特征向量，FQ表示支撑集图像的特征向量，Concate(·，·)表示在特征通道进行拼接的操作，Mul(·，·)运算表示将特征图按位置对应元素相乘。
3.如权利要求1的基于特征金字塔和特征融合的小样本图像分类方法，其特征在于，步骤S6中，将一组图像的相似性分值视为回归任务，采用均方误差MSE函数作为每层神经网络的损失函数，均方误差MSE函数为：
MSE(r，yS，yQ)＝(r-1(yS＝＝yQ))2
式中，r表示每层神经网络输出的相似性分数，yS表示支撑集图像的标签，yQ表示查询集图像的标签。
4.如权利要求3的基于特征金字塔和特征融合的小样本图像分类方法，其特征在于，步骤S6中，利用损失函数计算特征金字塔关系网络模型的损失，损失函数为：
Figure FDA0003714798730000021
式中，rl表示第l层神经网络输出的相似性分值，yS表示支撑集图像的标签，yQ表示查询集图像的标签，MSE表示均方误差函数，n表示神经网络的层数。
5.如权利要求1的基于特征金字塔和特征融合的小样本图像分类方法，其特征在于，步骤S2中，将获取的数据集通过旋转来进行扩充，旋转角度为90度、180度、270度。
6.如权利要求1的基于特征金字塔和特征融合的小样本图像分类方法，其特征在于，特征金字塔关系网络模型中，关系模块最后的全连接层的激活函数使用Sigmoid函数，其他所有的激活函数都使用ReLU函数。
7.一种基于特征金字塔和特征融合的小样本图像分类***，其特征在于，包括：
特征提取模块，用于提取输入图像的特征；
特征融合模块，用于将输入图像的特征进行融合；
关系模块，用于判别输入的支撑集图像特征和查询集图像特征的相似度。
8.如权利要求7的基于特征金字塔和特征融合的小样本图像分类***，其特征在于，特征提取模块包括四个卷积块和两个2*2的最大池化层，卷积块、最大池化层、卷积块、最大池化层、卷积块、卷积块依次连接。
9.如权利要求7的基于特征金字塔和特征融合的小样本图像分类***，其特征在于，关系模块包括两个卷积块、两个2*2的最大池化层、ReLU全连接层和Sigmoid全连接层，卷积块、最大池化层、卷积块、最大池化层、ReLU全连接层、Sigmoid全连接层依次连接。
10.如权利要求8或9的基于特征金字塔和特征融合的小样本图像分类***，其特征在于，卷积块包括卷积层、Batch Norm层和ReLU激活函数层，卷积层的卷积核大小为3*3，输出通道数为64。
CN202210733595.6A 2022-06-27 2022-06-27 基于特征金字塔和特征融合的小样本图像分类方法及*** Pending CN115272692A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210733595.6A CN115272692A (zh) 2022-06-27 2022-06-27 基于特征金字塔和特征融合的小样本图像分类方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210733595.6A CN115272692A (zh) 2022-06-27 2022-06-27 基于特征金字塔和特征融合的小样本图像分类方法及***

Publications (1)

Publication Number Publication Date
CN115272692A true CN115272692A (zh) 2022-11-01

Family

ID=83761081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210733595.6A Pending CN115272692A (zh) 2022-06-27 2022-06-27 基于特征金字塔和特征融合的小样本图像分类方法及***

Country Status (1)

Country Link
CN (1) CN115272692A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115775340A (zh) * 2023-02-13 2023-03-10 北京科技大学 一种基于特征调制的自适应小样本图像分类方法及装置
CN116597167A (zh) * 2023-06-06 2023-08-15 中国人民解放军92942部队 一种永磁同步电机小样本退磁故障诊断方法、存储介质及***

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115775340A (zh) * 2023-02-13 2023-03-10 北京科技大学 一种基于特征调制的自适应小样本图像分类方法及装置
CN116597167A (zh) * 2023-06-06 2023-08-15 中国人民解放军92942部队 一种永磁同步电机小样本退磁故障诊断方法、存储介质及***
CN116597167B (zh) * 2023-06-06 2024-02-27 中国人民解放军92942部队 一种永磁同步电机小样本退磁故障诊断方法、存储介质及***

Similar Documents

Publication Publication Date Title
CN109241317B (zh) 基于深度学习网络中度量损失的行人哈希检索方法
CN108171209B (zh) 一种基于卷积神经网络进行度量学习的人脸年龄估计方法
CN108960409B (zh) 标注数据生成方法、设备及计算机可读存储介质
Unnikrishnan et al. Toward objective evaluation of image segmentation algorithms
WO2019015246A1 (zh) 图像特征获取
CN110717554B (zh) 图像识别方法、电子设备及存储介质
CN115272692A (zh) 基于特征金字塔和特征融合的小样本图像分类方法及***
CN109740679B (zh) 一种基于卷积神经网络和朴素贝叶斯的目标识别方法
CN109063112B (zh) 一种基于多任务学习深度语义哈希的快速图像检索方法、模型及模型构建方法
CN112200211B (zh) 一种基于残差网络和迁移学习的小样本鱼识别方法及***
CN107609541A (zh) 一种基于可变形卷积神经网络的人体姿态估计方法
CN111950528B (zh) 图表识别模型训练方法以及装置
CN108009560B (zh) 商品图像相似类别判定方法及装置
CN110738102A (zh) 一种人脸识别方法及***
CN105701225B (zh) 一种基于统一关联超图规约的跨媒体检索方法
CN111860656B (zh) 分类器训练方法、装置、设备以及存储介质
CN112132145A (zh) 一种基于模型扩展卷积神经网络的图像分类方法及***
CN112784921A (zh) 任务注意力引导的小样本图像互补学习分类算法
Xu et al. Discriminative analysis for symmetric positive definite matrices on lie groups
CN111325237A (zh) 一种基于注意力交互机制的图像识别方法
CN114299362A (zh) 一种基于k-means聚类的小样本图像分类方法
CN112232374A (zh) 基于深度特征聚类和语义度量的不相关标签过滤方法
CN113011506A (zh) 一种基于深度重分形频谱网络的纹理图像分类方法
CN111340067B (zh) 一种用于多视图分类的再分配方法
Cho et al. A space-time graph optimization approach based on maximum cliques for action detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination