CN113420786A - 一种特征混合图像的半监督分类方法 - Google Patents

一种特征混合图像的半监督分类方法 Download PDF

Info

Publication number
CN113420786A
CN113420786A CN202110599001.2A CN202110599001A CN113420786A CN 113420786 A CN113420786 A CN 113420786A CN 202110599001 A CN202110599001 A CN 202110599001A CN 113420786 A CN113420786 A CN 113420786A
Authority
CN
China
Prior art keywords
image
mixed
feature
semi
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110599001.2A
Other languages
English (en)
Inventor
姚博
文成林
徐晓滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202110599001.2A priority Critical patent/CN113420786A/zh
Publication of CN113420786A publication Critical patent/CN113420786A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种特征混合图像的半监督分类方法，涉及计算机图像处理领域。本发明包括以下步骤：制作半监督数据集；对无标签数据做特征融合增广处理；为网络添加一致性度量方法，设计新的目标函数；最后训练网络，测试网络对特征混合图像的分类效果。本发明将多图像混合样本增容技术融入到半监督模型的增广框架，增加训练数据的多样性，引入多种类型噪声干扰，提升了模型的泛化能力，增强模型的鲁棒性，实现对特征混合图像的准确分类。

Description

一种特征混合图像的半监督分类方法
技术领域
本发明属于计算机图像处理领域，尤其涉及一种特征混合图像的半监督分类方法
背景技术
半监督学习是当前机器学习领域的一个重要研究方向，在半监督学习领域中，训练数据通常包含大量的无标签数据，仅针对标注数据进行增广已经不能满足模型的训练要求，尤其当标注数据数量较少时，模型很容易发生过拟合。为解决这一问题，主流的半监督学习模型依靠目标函数中的一致性正则化项，对增广前后的数据分布进行一致性度量，从无标签数据中提取有效信息，增广类型的多样性和复杂性可以有效提高模型的泛化性能及其鲁棒性。
半监督分类领域中，一致性正则化方法主要使用RandAugment增广框架，它定义了一个仅有单图像增广方法的策略空间，每幅图像随机选取增广方法，生成对应的增广数据。除单图像增广外，Mixup混合数据增广方法采用对不同类别数据之间进行建模的方式实现数据增强，在监督学习下的图像分类领域取得了显著的性能提升。Mixup作为混合增广方法，通常会生成包含有多个目标特征的混合图像，混合图像常见于人工修改的图像或者杂交物种图像。由于混合图像不属于任何确定已知类别，无法直接加入RandAugment的策略空间，进行一致性度量，这给半监督下混合图像的分类带来了困难。
发明内容
本发明旨在提出一种特征混合图像的半监督分类方法，实现在仅有少量标注数据时，对特征混合图像的快速、准确分类。
本发明具体步骤如下：
步骤1，搜集整理需要分类对象的图像作为数据集，对每种类别的图像仅做部分标注。
步骤2，对数据集中每一幅无标注图像做多次特征混合增广。
步骤3，为卷积网络设计有关无标注图像及增广图像的一致性度量方法，改进网络的目标函数。
步骤4，将包含标注图像、无标注图像和增广图像的数据集输入改进后的卷积网络，进行训练直至网络收敛。
步骤5，将具有多目标特征的混合图像作为测试集，得到图像分类结果。
进一步地，步骤1中，为保证网络训练中类别概率相等，每种类别的标注图像数目一致，即类别标注均衡。
进一步地，步骤2中，在做无标注图像增广时，除去常用的拉伸、反转、剪裁等单图像增广以外，还使用了Mixup混合数据增广方法，生成具有多种类别特征的混合图像。
进一步地，步骤3中，包括如下子步骤：
3.1选择KL散度作为一致性度量方式，表示输入增广前后模型预测输出的偏差。
3.2改进后的网络目标函数不仅包括传统标注图像的交叉熵，还包括无标注图像的一致性度量。
进一步地，步骤4中，网络训练的每一步中，标注图像、无标注图像和增广图像同时被输入网络，标注图像经过特征提取后根据标注计算交叉熵，对无标注图像及其增广图像做网络输出的一致性度量，二者共同参与梯度计算。
进一步地，步骤5中，网络对难以分类的多特征混合图像输出类别概率，表明混合特征的类别来源，得到混合图像的分类结果。
本发明的有益效果是：
(1)提高模型的泛化能力。将多图像混合样本增容技术融入到半监督模型的增广框架，增加训练数据的多样性，提升了模型的泛化能力。
(2)增强模型的鲁棒性。混合图像在增容的多样数据样本上引入多种类型噪声干扰，降低模型对受扰样本数据的敏感性。
(3)提升对混合图像的分类能力。多模式生成的特征混合样本，建立起与原图像一致性度量的评估方法，并将其纳入半监督学习模型中，在进一步提高模型的泛化能力的同时，提升了对混合图像的分类能力。
附图说明
图1是半监督学习下特征混合图像的分类流程图；
图2是本发明中Mixup混合图像的信息保存示意图。
具体实施方式
本发明提供了一种特征混合图像的半监督分类方法，下面结合附图对本发明作进一步说明。
如图1所示，本发明提供了一种特征混合图像的半监督分类方法，包括以下步骤：
步骤1制作半监督数据集：
选择CIFAR-10数据集作为分类对象，共有50000张训练图片，分为10个类别，每个类别有5000张标注图像。随机选择每个类别中的Nul个图片保留标签，其余所有训练数据删除标签，仅保留图像，作为半监督训练集。
步骤2特征混合增广：
对数据集中每一幅无标注图像做多次特征混合增广。Mixup混合数据增广方法通过对图像和标签进行插值，达到数据增强的目的，以x表示图像，y表示标签，具体如下式：
Figure BDA0003092123560000031
其中λ代表混合系数，由参数为α,β的Beta分布抽样取得。(x1,y1)和(x2,y2)是随机抽取的两个样本。
本方法中无标签数据没有用于混合的标签，仅能对图像进行插值生成混合张量mixedx，因此，把特征混合图像的标签处理放在步骤3的一致性正则化中。
Mixup多图像混合与单图像增广另一点不同是需要枚举并记录两张或以上的图像，以便进一步融合、做一致性度量。为了保证方法的随机性，采用双端队列(Queue)记录参与多图像混合的数据。
如图2所示，队列(Queue)内部存储用于混合的原始图像，若在上一时刻，原始图像x1与原始图像x2生成混合图像A，存储为混合信息A；则当前时刻将原始图像x1弹出队列，原始图像x2加入，生成混合图像B，存储为混合信息B；下一时刻将原始图像x2弹出队列，原始图像x3加入队进行混合并存储信息。继续进行直至遍历所有需要进行混合增强的输入图像。其中混合信息记录混合图像以及混合前的两张原图信息。
步骤3一致性度量：
一致性度量方法目的在于向网络的目标函数中添加正则化项，防止在少量的标注数据情况下网络过拟合的发生。一致性正则化的主要思想是对于一个输入，即使受到微小的干扰，其预测应该都是一致的，即同一对象增广前后，网络预测输出不变。这与大多数目标函数的目的是一致的，也就是希望预测能够与标签一致。针对增广前后的数据进行一致性度量，KL散度的度量方式DKL可以表示为下式：
Figure BDA0003092123560000041
其中
Figure BDA0003092123560000042
是样本x的增广数据，fθ(.)表示训练中的模型，模型参数为θ。将混合张量mixedx传递给训练中的模型fθ(.)可以得到输出张量mixedout。在训练过程中，将模型的输出张量mixedout分别对混合前的原图进行一致性度量，并根据图像的混合系数λ对多个度量值加权求和，作为正则化项加入目标函数，具体表达如下式：
dkl＝λDKL(x1||mixedout)+(1-λ)DKL(x2||mixedout)(3)
最终网络的目标函数L如下式：
L＝H(Nl)+dkl(Nul)(4)
其中Nl代表标注数据，H(Nl)代表标注数据的交叉熵，Nul代表无标注数据，dkl(Nul)代表无标注数据的一致性正则化项。
步骤4：网络训练
网络采用基于TensorFlow实现的WRN-28-10，相比深度残差网络(ResNet)，WRN增加了残差块(Resblock)内卷积核的宽度，即增加卷积层的特征数，使得相同深度下WRN比传统ResNet效果更好，同时削减网络深度，加快网络收敛速度。
步骤5：对特征混合图像分类
将具有多目标特征的混合图像作为测试集，网络对难以分类的多特征混合图像输出类别概率，表明混合特征的类别来源，得到混合图像的分类结果。
本发明通过将多图像混合增广技术融入半监督领域，增加了训练数据的多样性，提升了模型泛化能力的同时在训练阶段引入了多种噪声，增强模型的鲁棒性。多模式生成的特征混合样本，建立起与原图像一致性度量的评估方法，并将其纳入半监督学习模型中，在进一步提高模型的泛化能力的同时，提升了对混合图像的分类能力。实现了在仅有少量标注数据时，对特征混合图像的快速、准确的分类。

Claims (7)

1.一种特征混合图像的半监督分类方法，其特征在于，该方法包括以下步骤：
步骤1，搜集整理需要分类对象的图像作为数据集，对每种类别的图像仅做部分标注；
步骤2，对数据集中每一幅无标注图像做多次特征混合增广；
步骤3，为卷积网络设计有关无标注图像及增广图像的一致性度量方法，改进网络的目标函数；
步骤4，将包含标注图像、无标注图像和增广图像的数据集输入改进后的卷积网络，进行训练直至网络收敛；
步骤5，将具有多目标特征的混合图像作为测试集，得到图像分类结果。
2.根据权利要求1所述的一种特征混合图像的半监督分类方法，其特征在于，在步骤1中，每种类别的标注图像数目一致，即类别标注均衡。
3.根据权利要求1所述的一种特征混合图像的半监督分类方法，其特征在于，在步骤2中，做图像增广时，除去常用的拉伸、反转、剪裁的单图像增广以外，还使用了Mixup混合数据增广方法，生成具有多种类别特征的混合图像。
4.根据权利要求1所述的一种特征混合图像的半监督分类方法，其特征在于，在步骤3中，选择KL散度作为一致性度量方式，表示输入增广前后模型预测输出的偏差。
5.根据权利要求1所述的一种特征混合图像的半监督分类方法，其特征在于，在步骤3中，改进后的网络目标函数不仅包括传统标注图像的交叉熵，还包括无标注图像的一致性度量。
6.根据权利要求1所述的一种特征混合图像的半监督分类方法，其特征在于，在步骤4中，网络训练的每一步中，标注图像、无标注图像和增广图像同时被输入网络，标注图像经过特征提取后根据标注计算交叉熵，对无标注图像及其增广图像做网络输出的一致性度量，二者共同参与梯度计算。
7.根据权利要求1所述的一种特征混合图像的半监督分类方法，其特征在于，在步骤5中，网络对难以分类的多特征混合图像输出类别概率，表明混合特征的类别来源，得到混合图像的分类结果。
CN202110599001.2A 2021-05-31 2021-05-31 一种特征混合图像的半监督分类方法 Pending CN113420786A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110599001.2A CN113420786A (zh) 2021-05-31 2021-05-31 一种特征混合图像的半监督分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110599001.2A CN113420786A (zh) 2021-05-31 2021-05-31 一种特征混合图像的半监督分类方法

Publications (1)

Publication Number Publication Date
CN113420786A true CN113420786A (zh) 2021-09-21

Family

ID=77713336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110599001.2A Pending CN113420786A (zh) 2021-05-31 2021-05-31 一种特征混合图像的半监督分类方法

Country Status (1)

Country Link
CN (1) CN113420786A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272777A (zh) * 2022-09-26 2022-11-01 山东大学 面向输电场景的半监督图像解析方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111222648A (zh) * 2020-01-15 2020-06-02 深圳前海微众银行股份有限公司 半监督机器学习优化方法、装置、设备及存储介质
CN111695466A (zh) * 2020-06-01 2020-09-22 西安电子科技大学 一种基于特征mixup的半监督极化SAR地物分类方法
CN111723209A (zh) * 2020-06-28 2020-09-29 上海携旅信息技术有限公司 半监督文本分类模型训练方法、文本分类方法、***、设备及介质
CN112381148A (zh) * 2020-11-17 2021-02-19 华南理工大学 一种基于随机区域插值的半监督图像分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111222648A (zh) * 2020-01-15 2020-06-02 深圳前海微众银行股份有限公司 半监督机器学习优化方法、装置、设备及存储介质
CN111695466A (zh) * 2020-06-01 2020-09-22 西安电子科技大学 一种基于特征mixup的半监督极化SAR地物分类方法
CN111723209A (zh) * 2020-06-28 2020-09-29 上海携旅信息技术有限公司 半监督文本分类模型训练方法、文本分类方法、***、设备及介质
CN112381148A (zh) * 2020-11-17 2021-02-19 华南理工大学 一种基于随机区域插值的半监督图像分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
VIKAS VERMA,ALEX LAMB,ET AL.: "Interpolation Consistency Training for Semi-Supervised Learning", 《ARXIV》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272777A (zh) * 2022-09-26 2022-11-01 山东大学 面向输电场景的半监督图像解析方法
CN115272777B (zh) * 2022-09-26 2022-12-23 山东大学 面向输电场景的半监督图像解析方法

Similar Documents

Publication Publication Date Title
Noroozi et al. Representation learning by learning to count
CN110119753B (zh) 一种重构纹理识别岩性的方法
CN111369003B (zh) 一种量子比特读取信号保真度的确定方法、装置
CN113487629B (zh) 一种基于结构化场景和文本描述的图像属性编辑方法
CN112528058B (zh) 基于图像属性主动学习的细粒度图像分类方法
CN115587985A (zh) 组织病理图像细胞核分割以及染色风格规范化方法
CN114724218A (zh) 视频检测方法、装置、设备及介质
CN110443282B (zh) 一种胚胎时序图像中的胚胎发育阶段分类方法
CN113989556A (zh) 一种小样本医学影像分类方法和***
CN112163106A (zh) 二阶相似感知的图像哈希码提取模型建立方法及其应用
CN116823793A (zh) 设备缺陷检测方法、装置、电子设备和可读存储介质
CN113420786A (zh) 一种特征混合图像的半监督分类方法
CN116958809A (zh) 一种特征库迁移的遥感小样本目标检测方法
Volokitin et al. Efficiently detecting plausible locations for object placement using masked convolutions
Shan et al. Semantic segmentation based on deep convolution neural network
CN114155388B (zh) 一种图像识别方法、装置、计算机设备和存储介质
Kundu et al. Optimal Machine Learning Based Automated Malaria Parasite Detection and Classification Model Using Blood Smear Images.
CN113435389B (zh) 基于图像特征深度学习的小球藻和金藻分类识别方法
Adaloglou et al. Rethinking cluster-conditioned diffusion models
CN110489584B (zh) 基于密集连接的MobileNets模型的图像分类方法及***
CN113724261A (zh) 一种基于卷积神经网络的快速图像构图方法
CN111340111B (zh) 基于小波核极限学习机识别人脸图像集方法
Nallapati et al. Identification of Deepfakes using Strategic Models and Architectures
CN111476702B (zh) 基于非线性混合核特征映射的图像隐写检测方法及***
CN113159231B (zh) 基于残差网络的分子筛sem图像分类方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210921

WD01 Invention patent application deemed withdrawn after publication