CN114818945A - 融入类别自适应度量学习的小样本图像分类方法及装置 - Google Patents
融入类别自适应度量学习的小样本图像分类方法及装置 Download PDFInfo
- Publication number
- CN114818945A CN114818945A CN202210480401.6A CN202210480401A CN114818945A CN 114818945 A CN114818945 A CN 114818945A CN 202210480401 A CN202210480401 A CN 202210480401A CN 114818945 A CN114818945 A CN 114818945A
- Authority
- CN
- China
- Prior art keywords
- class
- module
- model
- adaptive
- small sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000003044 adaptive effect Effects 0.000 title claims description 36
- 238000012549 training Methods 0.000 claims abstract description 37
- 238000012360 testing method Methods 0.000 claims abstract description 30
- 239000011159 matrix material Substances 0.000 claims abstract description 26
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 238000005259 measurement Methods 0.000 claims description 21
- 238000013145 classification model Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 230000001419 dependent effect Effects 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 5
- 238000011524 similarity measure Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- AZFKQCNGMSSWDS-UHFFFAOYSA-N MCPA-thioethyl Chemical compound CCSC(=O)COC1=CC=C(Cl)C=C1C AZFKQCNGMSSWDS-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种融入类别自适应度量学习的小样本图像分类方法及装置，由数据预处理模块、构建网络模型模块、训练模型参数模块和测试模型性能模块组成。本发明提供的融入类别自适应度量学习的小样本图像分类方法及装置，为每个类别构建一个度量模块，通过对类内共性特征的学习，建立基于类内共性特征的度量，利用已经进行过预训练的嵌入模块，输入支持样本得到特征矩阵，并将其输入到类相关自适应度量模块，进行特征拼接并得到关系分数，将相似性最大的类作为预测类别，得到最终预测结果，从而提高小样本图像分类的性能，解决小样本图像分类中基于类内共性特征的度量学习问题，对于图像的分类效果十分明显，在实践中体现出极大价值。
Description
技术领域
本发明涉及图像分类技术领域，尤其涉及一种融入类别自适应度量学习的小样本图像分类方法及装置。
背景技术
近年来，随着深度学***仍与人类存在较大差距。因此，少量训练样本的图像分类，尤其是每类仅有一个或几个标记样本的小样本图像分类(Few-shotImage Classification)，近两年得到了研究人员的广泛关注。
小样本分类(Few-shot Classification)属于小样本学习(Few-shot Learning)范畴，往往包含类别空间不相交的两类数据，即基类数据和新类数据。小样本分类旨在利用基类数据学习的知识和新类数据的少量标记样本(支持样本)来学习分类规则，准确预测新类任务中未标记样本(查询样本)的类别。
小样本图像分类是当前计算机视觉、人工智能领域中亟待解决的研究问题。现有的、较为成功的大样本图像分类方法严重依赖样本的数量，而现实世界中事物的样本量是服从长尾分布的，即大量事物的样本量都是严重不足的，例如在军事、医疗、工业，天文等领域，样本采集需要消耗大量的人力、物力、时间和经济成本，很难采集大规模的图像样本。因此，开展小样本图像分类的研究对图像分类技术的广泛应用具有重要价值。
与大样图像分类相比，现有小样本图像分类的性能仍不尽人意，很大程度上限制了小样本图像分类技术的实用化，还面临着以下问题亟待解决：
在现有小样本分类方法中，大多假设小样本分类任务使用一个单一的度量方式，例如余弦距离、欧氏距离或一个可学习的度量网络模块。不同的任务包含不同的类别，有些任务适用余弦距离，有些任务适用欧氏距离。因此，如何构建任务自适应的度量也是小样本图像分类值得研究的问题。
发明内容
本发明针对上述技术问题，提出一种融入类别自适应度量学习的小样本图像分类方法及装置。
为了实现上述目的，本发明提供如下技术方案：
本发明首先提供一种融入类别自适应度量学习的小样本图像分类装置，包括以下模块：
数据预处理模块：用于对数据进行预处理，将数据划分为训练集和测试集，确定模型的训练方式；
网络模型构建模块：用于构建融入类别自适应度量学习的小样本图像分类模型，模型由嵌入模块fθ和类相关自适应度量模块组成；其中，嵌入模块fθ用于提取样本特征，包含四个卷积块，每个卷积块均由池化层、卷积层以及非线性激活函数组成；类相关自适应度量模块用于学习特定类别的样本特征之间的度量，包括多个类相关的度量模块，其中，每一个类相关度量模块均由拼接模块C(S(n,*),S(*,*))和关系模块
组成，S(n,k)代表第n类的第k个样本，*可代替为任意样本或任意类别，在拼接模块中完成样本特征的拼接之后，再送入关系模块得到关系分数；
模型参数训练模块：利用基类数据对融入类别自适应度量学习的小样本图像分类模型进行训练，求解模型参数；
模型性能测试模块：利用训练后的融入类别自适应度量学习的小样本图像分类模型对新类任务进行预测，测评模型的性能。
进一步地，数据预处理模块执行如下步骤：
S11，将数据
分为Dtrain＝{(xi,yi),
和
两个部分，且这两个部分类别空间互斥，将Dtrain作为基类数据训练模型，Dtest作为新类数据对模型进行测试；
S12，对于C-way K-shot分类任务，从Dtrain中随机选出C个类别，每个类别中随机选出M个样本，其中K个样本作为支持样本Si，其余M-K个样本作为查询样本Qi，Si和Qi构成一个任务Ti，同样对于Dtest也有任务Tk。
进一步地，模型参数训练模块执行如下步骤：
S31，利用基类数据通过baseline方法对嵌入模块fθ进行预训练；
S32，对于新类的一个任务，首先，将支持样本输入嵌入模块fθ，利用嵌入模块中的卷积神经网络提取特征，得到特征矩阵fθ(xi)；
S33，分别将特征矩阵送入N个类相关度量模块中，微调关系模块
(n＝1,2,……N)以提高模型的泛化能力，使得预测结果与实际值的误差尽可能小；
S34，在微调的过程中，fθ(xi)首先与各类支持样本进行特征拼接，将拼接后的特征输入
中得到
特征矩阵进入类相关自适应度量模块后，首先通过拼接模块 C(S(n,*),S(*,*))中输出拼接好的特征对，然后将其输入到关系模块
得到可以反映相似性度量的关系分数；
S35，利用均方误差损失函数(MSE)计算损失ln，如下述公式所示：
其中1(n＝＝j)是真值，拼接的样本同类为1，异类为0，即n和j相同时结果为1，不同为0。
进一步地，模型性能测试模块执行如下步骤：
S41，将查询样本输入训练好的嵌入模块fθ中；
S42，将嵌入模块输出的特征矩阵输入类相关自适应度量模块，得到查询样本与各类别的相似性关系；
S43，将相似性最大的类作为预测类别，得到最终预测结果。
另一方面，本发明还提供了一种融入类别自适应度量学习的小样本图像分类方法，包括以下阶段步骤：
S1、数据预处理：对数据进行预处理，将数据划分为训练集和测试集，确定模型的训练方式；
S2、网络模型构建：构建融入类别自适应度量学习的小样本图像分类模型，模型由嵌入模块fθ和类相关自适应度量模块组成；其中，嵌入模块fθ用于提取样本特征，包含四个卷积块，每个卷积块均由池化层、卷积层以及非线性激活函数组成；类相关自适应度量模块用于学习特定类别的样本特征之间的度量，包括多个类相关的度量模块，其中，每一个类相关度量模块均由拼接模块C(S(n,*),S(*,*))和关系模块
组成，S(n,k)代表第n类的第k 个样本，*可代替为任意样本或任意类别，在拼接模块中完成样本特征的拼接之后，再送入关系模块得到关系分数；
S3、模型参数训练：利用基类数据对融入类别自适应度量学习的小样本图像分类模型进行训练，求解模型参数；
S4、模型性能测试：利用训练后的融入类别自适应度量学习的小样本图像分类模型对新类任务进行预测，测评模型的性能。
进一步地，步骤S1具体为：
S11，将数据
分为
和
两个部分，且这两个部分类别空间互斥，将Dtrain作为基类数据训练模型，Dtest作为新类数据对模型进行测试；
S12，对于C-way K-shot分类任务，从Dtrain中随机选出C个类别，每个类别中随机选出M个样本，其中K个样本作为支持样本Si，其余M-K个样本作为查询样本Qi，Si和Qi构成一个任务Ti，同样对于Dtest也有任务Tk。
进一步地，步骤S3具体为：
S31，利用基类数据通过baseline方法对嵌入模块fθ进行预训练；
S32，对于新类的一个任务，首先，将支持样本输入嵌入模块fθ，利用嵌入模块中的卷积神经网络提取特征，得到特征矩阵fθ(xi)；
S33，分别将特征矩阵送入N个类相关度量模块中，微调关系模块
(n＝1,2,……N)以提高模型的泛化能力，使得预测结果与实际值的误差尽可能小；
S34，在微调的过程中，fθ(xi)首先与各类支持样本进行特征拼接，将拼接后的特征输入
中得到
特征矩阵进入类相关自适应度量模块后，首先通过拼接模块 C(S(n,*),S(*,*))中输出拼接好的特征对，然后将其输入到关系模块
得到可以反映相似性度量的关系分数；
S35，利用均方误差损失函数(MSE)计算损失ln，如下述公式所示：
其中1(n＝＝j)是真值，拼接的样本同类为1，异类为0，即n和j相同时结果为1，不同为0。
进一步地，步骤S4具体为：
S41，将查询样本输入训练好的嵌入模块fθ中；
S42，将嵌入模块输出的特征矩阵输入类相关自适应度量模块，得到查询样本与各类别的相似性关系；
S43，将相似性最大的类作为预测类别，得到最终预测结果。
与现有技术相比，本发明的有益效果为：
本发明的融入类别自适应度量学习的小样本图像分类方法及装置，为每个类别构建一个度量模块，通过对类内共性特征的学习，建立基于类内共性特征的度量，利用已经进行过预训练的嵌入模块，输入支持样本得到特征矩阵，并将其输入到类相关自适应度量模块，进行特征拼接并得到关系分数，将相似性最大的类作为预测类别，得到最终预测结果，从而提高小样本图像分类的性能，解决小样本图像分类中基于类内共性特征的度量学习问题，对于图像的分类效果十分明显，在实践中体现出极大价值。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的融入类别自适应度量学习的小样本图像分类装置的功能流程图。
图2为本发明实施例提供的融入类别自适应度量学习的小样本图像分类模型结构图。
图3为本发明实施例提供的嵌入模块fθ结构图。
图4为本发明实施例提供的融入类别自适应度量学习的小样本图像分类模型网络示意图。
图5为本发明实施例提供的融入类别自适应度量学习的小样本图像分类方法的流程图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明还提供了一种融入类别自适应度量学习的小样本图像分类装置，包括以下模块，流程如图1所示。
数据预处理模块：用于对数据进行预处理，将数据划分为训练集和测试集，确定模型的训练方式；
具体地，数据预处理模块执行如下步骤：
S11，将数据
分为
和
两个部分，且这两个部分类别空间互斥，将Dtrain作为基类数据训练模型，Dtest作为新类数据对模型进行测试；
S12，对于C-way K-shot分类任务，从Dtrain中随机选出C个类别，每个类别中随机选出M个样本，其中K个样本作为支持样本Si，其余M-K个样本作为查询样本Qi，Si和Qi构成一个任务Ti，同样对于Dtest也有任务Tk。
网络模型构建模块：用于构建融入类别自适应度量学习的小样本图像分类模型。
具体地，类别自适应度量学习模型由嵌入模块fθ和类相关自适应度量模块组成；如图2所示。
其中，嵌入模块fθ用于提取样本特征，包含四个卷积块，每个卷积块均由池化层、卷积层以及非线性激活函数组成；如图3所示。
类相关自适应度量模块用于学习特定类别的样本特征之间的度量，包括多个类相关的度量模块，其中，每一个类相关度量模块均由拼接模块 C(S(n,*),S(*,*))和关系模块
组成，S(n,k)代表第n类的第k个样本，*可代替为任意样本或任意类别，在拼接模块中完成样本特征的拼接之后，再送入关系模块得到关系分数；
模型参数训练模块：利用基类数据对面向小样本图像类内共性特征的类别自适应度量学习模型进行训练，求解模型参数。
具体地，模型参数训练模块执行如下步骤：
S31，利用基类数据通过baseline方法对嵌入模块fθ进行预训练；
S32，对于新类的一个任务，首先，将支持样本输入嵌入模块fθ，利用嵌入模块中的卷积神经网络提取特征，得到特征矩阵fθ(xi)；
S33，分别将特征矩阵送入N个类相关度量模块中，微调关系模块
(n＝1,2,……N)以提高模型的泛化能力，使得预测结果与实际值的误差尽可能小；
S34，在微调的过程中，fθ(xi)首先与各类支持样本进行特征拼接，将拼接后的特征输入
中得到
特征矩阵进入类相关自适应度量模块后，首先通过拼接模块 C(S(n,*),S(*,*))中输出拼接好的特征对，然后将其输入到关系模块
得到可以反映相似性度量的关系分数；
S35，利用均方误差损失函数(MSE)计算损失ln，如下述公式所示：
其中1(n＝＝j)是真值，拼接的样本同类为1，异类为0，即n和j相同时结果为1，不同为0。面向小样本图像类内共性特征的类别自适应度量学习网络如图4所示。
本发明中计算误差的损失函数为MSE，还可使用0-1损失函数： Zero-one LossZero-one Loss，它是一种较为简单的损失函数，如果预测值与目标值不相等，那么为1，否则为0；距离度量还可采用一种基于类相关的方式，该度量中马氏距离的参数是通过特征嵌入直接计算得到的，减少了模型参数。该类方法大都在基类数据上学习一个固定相似性的度量，然后用于衡量新类数据上不同任务上样本的相似性。
模型性能测试模块：利用训练后的面向小样本图像类内共性特征的类别自适应度量学习模型对新类任务进行预测，测评模型的性能。
具体地，模型性能测试模块执行如下步骤：
S41，将查询样本输入训练好的嵌入模块fθ中；
S42，将嵌入模块输出的特征矩阵输入类相关自适应度量模块，得到查询样本与各类别的相似性关系；
S43，将相似性最大的类作为预测类别，得到最终预测结果。
本发明还提供了一种融入类别自适应度量学习的小样本图像分类方法，流程如图5所示，包括以下步骤：
S1，对数据进行预处理，数据包括训练集和测试集；
S2，构建融入类别自适应度量学习的小样本图像分类模型；
S3，利用基类数据对融入类别自适应度量学习的小样本图像分类模型进行训练；
S4，利用训练后的融入类别自适应度量学习的小样本图像分类模型对新类任务进行预测，测评模型的性能。
本发明的融入类别自适应度量学习的小样本图像分类装置，为每个类别构建一个度量模块，通过对类内共性特征的学习，建立基于类内共性特征的度量，利用已经进行过预训练的嵌入模块，输入支持样本得到特征矩阵，并将其输入到类相关自适应度量模块，进行特征拼接并得到关系分数，将相似性最大的类作为预测类别，得到最终预测结果，从而提高小样本图像分类的性能，在实践中体现出极大价值。
以上结合附图对所提出的融入类别自适应度量学习的小样本图像分类装置及方法的具体实施方式进行了阐述。通过以上实施方式的描述，所属领域的技术人员可以清楚的了解该方法以及装置的实施。
在此提供的算法和显示不与任何特定计算机、虚拟***或者其他设备固有相关。各种通用***也可以与基于在此地启示一起使用。根据上面的描述，构造这类***所要求的结构是显而易见的。此外，本文公开的也不针对任何特定的编程语言。但是应当了解，可以利用各种编程语言实现在此描述的本文公开的内容，并且上面对特定语言所做的描述是为了披露本文公开的最佳实施方式。
类似的，应当理解，为了使本文尽量精简并且帮助理解各个公开方面中的一个或多个，在上面对本文公开的示例性实施例的描述中，本文公开的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下示意图：即要求所保护的本文公开的要求比在每个权利要求中所明确记载的特征具有更多的特征。更确切地说，如下面的权利要求书所反映的那样，公开方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本公开的单独实施例子。
以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特殊进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
Claims (8)
1.一种融入类别自适应度量学习的小样本图像分类装置，其特征在于，包括以下模块：
数据预处理模块：用于对数据进行预处理，将数据划分为训练集和测试集，确定模型的训练方式；
网络模型构建模块：用于构建融入类别自适应度量学习的小样本图像分类模型，模型由嵌入模块fθ和类相关自适应度量模块组成；其中，嵌入模块fθ用于提取样本特征，包含四个卷积块，每个卷积块均由池化层、卷积层以及非线性激活函数组成；类相关自适应度量模块用于学习特定类别的样本特征之间的度量，包括多个类相关的度量模块，其中，每一个类相关度量模块均由拼接模块C(S(n,*),S(*,*))和关系模块
组成，S(n,k)代表第n类的第k个样本，*可代替为任意样本或任意类别，在拼接模块中完成样本特征的拼接之后，再送入关系模块得到关系分数；
模型参数训练模块：利用基类数据对融入类别自适应度量学习的小样本图像分类模型进行训练，求解模型参数；
模型性能测试模块：利用训练后的融入类别自适应度量学习的小样本图像分类模型对新类任务进行预测，测评模型的性能。
2.根据权利要求1所述的融入类别自适应度量学习的小样本图像分类装置，其特征在于，数据预处理模块执行如下步骤：
S11，将数据
分为
和
两个部分，且这两个部分类别空间互斥，将Dtrain作为基类数据训练模型，Dtest作为新类数据对模型进行测试；
S12，对于C-way K-shot分类任务，从Dtrain中随机选出C个类别，每个类别中随机选出M个样本，其中K个样本作为支持样本Si，其余M-K个样本作为查询样本Qi，Si和Qi构成一个任务Ti，同样对于Dtest也有任务Tk。
3.根据权利要求1所述的融入类别自适应度量学习的小样本图像分类装置，其特征在于，模型参数训练模块执行如下步骤：
S31，利用基类数据通过baseline方法对嵌入模块fθ进行预训练；
S32，对于新类的一个任务，首先，将支持样本输入嵌入模块fθ，利用嵌入模块中的卷积神经网络提取特征，得到特征矩阵fθ(xi)；
S33，分别将特征矩阵送入N个类相关度量模块中，微调关系模块
(n＝1,2,……N)以提高模型的泛化能力，使得预测结果与实际值的误差尽可能小；
S34，在微调的过程中，fθ(xi)首先与各类支持样本进行特征拼接，将拼接后的特征输入
中得到
特征矩阵进入类相关自适应度量模块后，首先通过拼接模块C(S(n,*),S(*,*))中输出拼接好的特征对，然后将其输入到关系模块
得到可以反映相似性度量的关系分数；
S35，利用均方误差损失函数(MSE)计算损失ln，如下述公式所示：
其中1(n＝＝j)是真值，拼接的样本同类为1，异类为0，即n和j相同时结果为1，不同为0。
4.根据权利要求1所述的融入类别自适应度量学习的小样本图像分类装置，其特征在于，模型性能测试模块执行如下步骤：
S41，将查询样本输入训练好的嵌入模块fθ中；
S42，将嵌入模块输出的特征矩阵输入类相关自适应度量模块，得到查询样本与各类别的相似性关系；
S43，将相似性最大的类作为预测类别，得到最终预测结果。
5.一种融入类别自适应度量学习的小样本图像分类方法，其特征在于，包括以下阶段步骤：
S1、数据预处理：对数据进行预处理，将数据划分为训练集和测试集，确定模型的训练方式；
S2、网络模型构建：构建融入类别自适应度量学习的小样本图像分类模型，模型由嵌入模块fθ和类相关自适应度量模块组成；其中，嵌入模块fθ用于提取样本特征，包含四个卷积块，每个卷积块均由池化层、卷积层以及非线性激活函数组成；类相关自适应度量模块用于学习特定类别的样本特征之间的度量，包括多个类相关的度量模块，其中，每一个类相关度量模块均由拼接模块C(S(n,*),S(*,*))和关系模块
组成，S(n,k)代表第n类的第k个样本，*可代替为任意样本或任意类别，在拼接模块中完成样本特征的拼接之后，再送入关系模块得到关系分数；
S3、模型参数训练：利用基类数据对融入类别自适应度量学习的小样本图像分类模型进行训练，求解模型参数；
S4、模型性能测试：利用训练后的融入类别自适应度量学习的小样本图像分类模型对新类任务进行预测，测评模型的性能。
6.根据权利要求5所述的融入类别自适应度量学习的小样本图像分类方法，其特征在于，步骤S1具体为：
S11，将数据
分为
和
两个部分，且这两个部分类别空间互斥，将Dtrain作为基类数据训练模型，Dtest作为新类数据对模型进行测试；
S12，对于C-way K-shot分类任务，从Dtrain中随机选出C个类别，每个类别中随机选出M个样本，其中K个样本作为支持样本Si，其余M-K个样本作为查询样本Qi，Si和Qi构成一个任务Ti，同样对于Dtest也有任务Tk。
7.根据权利要求5所述的融入类别自适应度量学习的小样本图像分类方法，其特征在于，步骤S3具体为：
S31，利用基类数据通过baseline方法对嵌入模块fθ进行预训练；
S32，对于新类的一个任务，首先，将支持样本输入嵌入模块fθ，利用嵌入模块中的卷积神经网络提取特征，得到特征矩阵fθ(xi)；
S33，分别将特征矩阵送入N个类相关度量模块中，微调关系模块
(n＝1,2,……N)以提高模型的泛化能力，使得预测结果与实际值的误差尽可能小；
S34，在微调的过程中，fθ(xi)首先与各类支持样本进行特征拼接，将拼接后的特征输入
中得到
特征矩阵进入类相关自适应度量模块后，首先通过拼接模块C(S(n,*),S(*,*))中输出拼接好的特征对，然后将其输入到关系模块
得到可以反映相似性度量的关系分数；
S35，利用均方误差损失函数(MSE)计算损失ln，如下述公式所示：
其中1(n＝＝j)是真值，拼接的样本同类为1，异类为0，即n和j相同时结果为1，不同为0。
8.根据权利要求5所述的融入类别自适应度量学习的小样本图像分类方法，其特征在于，步骤S4具体为：
S41，将查询样本输入训练好的嵌入模块fθ中；
S42，将嵌入模块输出的特征矩阵输入类相关自适应度量模块，得到查询样本与各类别的相似性关系；
S43，将相似性最大的类作为预测类别，得到最终预测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210480401.6A CN114818945A (zh) | 2022-05-05 | 2022-05-05 | 融入类别自适应度量学习的小样本图像分类方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210480401.6A CN114818945A (zh) | 2022-05-05 | 2022-05-05 | 融入类别自适应度量学习的小样本图像分类方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114818945A true CN114818945A (zh) | 2022-07-29 |
Family
ID=82511791
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210480401.6A Pending CN114818945A (zh) | 2022-05-05 | 2022-05-05 | 融入类别自适应度量学习的小样本图像分类方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114818945A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116665865A (zh) * | 2023-06-13 | 2023-08-29 | 爱汇葆力(广州)数据科技有限公司 | 基于大数据实现陪诊人员的信息智能管理方法及*** |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109961089A (zh) * | 2019-02-26 | 2019-07-02 | 中山大学 | 基于度量学习和元学习的小样本和零样本图像分类方法 |
| CN110020682A (zh) * | 2019-03-29 | 2019-07-16 | 北京工商大学 | 一种基于小样本学习的注意力机制关系对比网络模型方法 |
| US11205098B1 (en) * | 2021-02-23 | 2021-12-21 | Institute Of Automation, Chinese Academy Of Sciences | Single-stage small-sample-object detection method based on decoupled metric |
-
2022
- 2022-05-05 CN CN202210480401.6A patent/CN114818945A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109961089A (zh) * | 2019-02-26 | 2019-07-02 | 中山大学 | 基于度量学习和元学习的小样本和零样本图像分类方法 |
| CN110020682A (zh) * | 2019-03-29 | 2019-07-16 | 北京工商大学 | 一种基于小样本学习的注意力机制关系对比网络模型方法 |
| US11205098B1 (en) * | 2021-02-23 | 2021-12-21 | Institute Of Automation, Chinese Academy Of Sciences | Single-stage small-sample-object detection method based on decoupled metric |
Non-Patent Citations (1)
| Title |
|---|
| FLOOD SUNG: "Learning to Compare: Relation Network for Few-Shot Learning", ARXIV * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116665865A (zh) * | 2023-06-13 | 2023-08-29 | 爱汇葆力(广州)数据科技有限公司 | 基于大数据实现陪诊人员的信息智能管理方法及*** |
| CN116665865B (zh) * | 2023-06-13 | 2023-12-26 | 爱汇葆力(广州)数据科技有限公司 | 基于大数据实现陪诊人员的信息智能管理方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107945204B (zh) | 一种基于生成对抗网络的像素级人像抠图方法 | |
| CN110533631B (zh) | 基于金字塔池化孪生网络的sar图像变化检测方法 | |
| CN109961089A (zh) | 基于度量学习和元学习的小样本和零样本图像分类方法 | |
| CN114332578A (zh) | 图像异常检测模型训练方法、图像异常检测方法和装置 | |
| CN112818969A (zh) | 一种基于知识蒸馏的人脸姿态估计方法及*** | |
| CN104933428A (zh) | 一种基于张量描述的人脸识别方法及装置 | |
| CN113095370A (zh) | 图像识别方法、装置、电子设备及存储介质 | |
| CN111582337A (zh) | 基于小样本细粒度图像分析的草莓畸形状态检测方法 | |
| CN113642486A (zh) | 一种具有机载前端识别模型的无人机配网巡检方法 | |
| CN115311502A (zh) | 基于多尺度双流架构的遥感图像小样本场景分类方法 | |
| CN114782752B (zh) | 基于自训练的小样本图像集成分类方法及装置 | |
| CN117456480B (zh) | 一种基于多源信息融合的轻量化车辆再辨识方法 | |
| CN114818945A (zh) | 融入类别自适应度量学习的小样本图像分类方法及装置 | |
| CN113255701A (zh) | 一种基于绝对-相对学习架构的小样本学习方法和*** | |
| CN113762331A (zh) | 关系型自蒸馏方法、装置和***及存储介质 | |
| CN117152528A (zh) | 绝缘子状态识别方法、装置、设备、存储介质和程序产品 | |
| CN117079017A (zh) | 可信的小样本图像识别分类方法 | |
| CN115294381B (zh) | 基于特征迁移和正交先验的小样本图像分类方法及装置 | |
| CN117011219A (zh) | 物品质量检测方法、装置、设备、存储介质和程序产品 | |
| CN116070696A (zh) | 一种跨域数据深度迁移方法、装置、设备及存储介质 | |
| CN113128556B (zh) | 基于变异分析的深度学习测试用例排序方法 | |
| CN111666985B (zh) | 一种基于dropout的深度学习对抗样本图像分类防御方法 | |
| CN114387524A (zh) | 基于多层级二阶表征的小样本学习的图像识别方法和*** | |
| CN114627496A (zh) | 基于高斯过程的去偏批量归一化的鲁棒行人重识别方法 | |
| CN114821322A (zh) | 基于注意力机制的小样本遥感影像分类方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220729 |
|
| RJ01 | Rejection of invention patent application after publication |