CN113077388B - 一种数据增广的深度半监督超限学习图像分类方法及*** - Google Patents

一种数据增广的深度半监督超限学习图像分类方法及*** Download PDF

Info

Publication number
CN113077388B
CN113077388B CN202110448092.XA CN202110448092A CN113077388B CN 113077388 B CN113077388 B CN 113077388B CN 202110448092 A CN202110448092 A CN 202110448092A CN 113077388 B CN113077388 B CN 113077388B
Authority
CN
China
Prior art keywords
image
data
training
network model
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110448092.XA
Other languages
English (en)
Other versions
CN113077388A (zh
Inventor
曾宇骏
呼晓畅
徐昕
方强
周思航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202110448092.XA priority Critical patent/CN113077388B/zh
Publication of CN113077388A publication Critical patent/CN113077388A/zh
Application granted granted Critical
Publication of CN113077388B publication Critical patent/CN113077388B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种数据增广的深度半监督超限学习图像分类方法及***，本发明方法包括针对训练图像采用深度卷积网络模型进行特征提取；基于部分人工标签数据微调优化深度卷积网络模型并为无标签的训练图像生成伪标签；将从训练图像提取得到的高层语义特征与低层浅层结构特征融合得到融合图像特征；采用随机线性插值技术对训练图像的融合图像特征与标签进行增广；针对增广后的融合图像特征与标签训练单隐层前馈神经网络并替代深度卷积网络模型中的全连接层得到最终的图像分类识别网络模型。本发明具有人工标记需求小、具有鲁棒的抗噪声干扰能力、分类识别性能良好、任务扩展性强的数据增广的优点。

Description

一种数据增广的深度半监督超限学习图像分类方法及***
技术领域
本发明涉及图像分类、目标识别技术领域，具体涉及一种数据增广的深度半监督超限学习图像分类方法及***。
背景技术
当前性能较好的视觉目标识别方法大都采用深度学习技术，经常需要在大规模的人工标注数据上进行深度神经网络模型的有监督学习训练。但是，人工标记大量数据代价十分昂贵，对于某些应用场景甚至是不切实际的。近年来，相关研究更多集中在深度半监督学习技术上。深度半监督学习技术能够利用少量高质量的标记数据和大量易于获得的未标记数据来提高视觉目标分类识别方法的性能。目前已经有诸如基于熵最小化、伪标签、一致性正则化、预训练、生成模型等多种深度半监督学习技术被提出。
其中，最具代表性的常用技术主要有三种：
一是基于伪标签的深度半监督学习技术，其使用基于少量有人工标注标签的数据训练得到的模型的类预测结果作为未标记数据的伪标签，随后加入到人工标注数据中再次训练图像类别标签预测模型，再对伪标签数据进行标签更新，如此迭代反复直至达到可接收的图像分类精度效果。然而，由模型预测的标签可能存在噪声，加上数据本身也可能存在一定程度的噪声，常常使得基于这些样本进行训练所得到的图像分类模型出现模型退化的问题，图像分类精度难以满足现实应用需求；
二是基于一致的正则化的深度半监督学习技术，其会在不同的扰动下惩罚与未标记数据的不一致预测。由于采用了多种预测，因此该技术还将遇到噪声标签过拟合的问题。随后，提出了生成高质量的伪标签、生成有效扰动等各种技术来减轻过度拟合，但主要对噪声强度较小时有较为明显的性能改善，当噪声强度较大时，仍然无法达到可接受的效果；
三是基于预训练的深度半监督学习技术，其将特征表示和分类器分解为两个独立的阶段，即在应用分类器学习之前，对深度神经网络进行预训练，以通过无监督的辅助学习任务找到输入数据的压缩特征表示。该技术分别追求更好的特征表示模型和更好的分类器，并且在分析和缓解过拟合问题方面具有优势。但是该技术缺乏无监督辅助任务的标签指导，并且特征表示模型经常面临与最终任务不一致的风险。例如，自动编码器以重构原始图像全部像素点作为目标来引导图像特征表示的学习提取，而最终分类任务可能仅与图像中一小部分像素相关。除此之外，该技术还难以有效设置分类器，样本数据信息利用效率低，难以进行高效的学习训练。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种人工标记需求小、具有鲁棒的抗噪声干扰能力、分类识别性能良好、任务扩展性强的数据增广的深度半监督超限学习图像分类方法及***。
为了解决上述技术问题，本发明采用的技术方案为：
一种数据增广的深度半监督超限学习图像分类方法，包括进行图像分类识别网络模型的学习和训练的下述步骤：
S1、针对训练图像采用深度卷积网络模型进行特征提取；针对训练图像的部分人工标签数据对深度卷积网络模型进行训练以实现微调优化，并通过微调优化后的深度卷积网络模型为无标签的训练图像预测生成相应的伪标签；
S2、将从训练图像提取得到的高层语义特征与低层浅层结构特征融合得到融合图像特征；
S3、采用随机线性插值技术对训练图像的融合图像特征与标签进行增广；
S4、针对增广后的融合图像特征与标签进行随机分批次，按顺序输入到单隐层前馈神经网络中并进行网络输出层的权重更新，重复上述步骤直至完成单隐层前馈神经网络的训练；将所述深度卷积网络模型中的全连接层移除，并将其与完成训练的单隐层前馈神经网络相连，形成可用于实现相应图像目标端到端分类识别的图像分类识别网络模型。
可选地，步骤S1中的深度卷积网络模型为完成预训练的13-CNN深度卷积网络模型。
可选地，所述13-CNN深度卷积网络模型的训练损失函数如下所示：
Figure 358537DEST_PATH_IMAGE001
上式中，l cos 表示训练损失函数，λ 0,λ 1和λ 2为权重系数，R 0为一致正则化项，R 1为交叉熵正则化项，y i 为样本标签，
Figure 693703DEST_PATH_IMAGE002
为模型给未标记数据自估计的标签，x i 为第i个样本，n为样本数量，p(y i |x i )为模型的预测输出，l为有标记样本个数，其中：
Figure 747591DEST_PATH_IMAGE003
其中，C为样本类别数目，p c 为平均类别边缘概率，
Figure 826406DEST_PATH_IMAGE004
为模型预测的类别边缘概率，p(y|x)为模型输出的样本条件概率，H为熵。
可选地，步骤S2中融合得到融合图像特征是指进行特征向量化级联融合得到融合图像特征，其函数表达式为：
Figure 652279DEST_PATH_IMAGE005
上式中，f c (x)为级联融合后的融合图像特征，concat表示向量级联操作，ReLU为线性整流函数，GAP为全局平均池化函数，f s (x), f h (x)分别为深度神经网络输出的低层浅层结构特征和高层语义特征。
可选地，步骤S3中采用随机线性插值技术对训练图像的融合图像特征与标签进行增广的函数表达式为：
Figure 892768DEST_PATH_IMAGE006
上式中，
Figure 843406DEST_PATH_IMAGE007
为插值后的图像特征矩阵，X j 和X i 为插值前的图像特征矩阵，
Figure 53808DEST_PATH_IMAGE008
为插值后的标签矩阵，Y j 和Y i 为插值前的标签矩阵，λ为采样于beta分布的权重向量。
可选地，采样于beta分布的权重向量λ的计算函数表达式为：
Figure 999767DEST_PATH_IMAGE009
上式中，f(x:α,γ)为采样于beta分布的权重向量λ的计算函数表达式，α,γ分别为大于0的beta分布的控制参数，x和u均为函数变量未知数。
可选地，步骤S4中进行网络输出层的权重更新的函数表达式为：
Figure 942315DEST_PATH_IMAGE010
上式中，K k+1 和K k 分别为权重矩阵，β k+1和β k 分别为迭代的求解参数，
Figure 583512DEST_PATH_IMAGE011
为输入第k+1批次的增广数据及标签
Figure 597605DEST_PATH_IMAGE012
时所用单隐层前馈神经网络的隐层输出矩阵，
Figure 70174DEST_PATH_IMAGE013
为标签矩阵，且有初始值：
Figure 511520DEST_PATH_IMAGE014
其中，
Figure 640013DEST_PATH_IMAGE015
为输入最初始批次的增广数据及标签
Figure 864321DEST_PATH_IMAGE016
时所用单隐层前馈神经网络的隐层输出矩阵，c为权重系数，I为单位矩阵。
可选地，步骤S4之后还包括：将待识别图像输入图像分类识别网络模型，得到待识别图像对应的图像分类识别结果并输出的中部后。
此外，本发明还提供一种数据增广的深度半监督超限学习图像分类***，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行所述数据增广的深度半监督超限学习图像分类方法的步骤。
此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行所述数据增广的深度半监督超限学习图像分类方法的计算机程序。
与现有技术相比，本发明的主要优点包括：
1、本发明采用深度半监督学习技术路线，基于少量有标签数据与大量无标签数据进行图像分类识别网络模型的学习训练，在保证图像分类识别准确率的同时大大降低对数据人工标注的代价需求。同时对现有深度半监督学习框架进行改进，将特征学习与分类器训练过程进行解耦并分别进行优化，使得网络模型能够学习提取到更加面向具体分类识别任务的图像特征。与此同时，分类器的训练采用超限学习机原理，进一步提升分类识别的泛化能力。
2、本发明采用超限学习机进行分类器学习训练时，引入了数据增广机制并融入在线超限学习机的目标优化函数设计中，从而使得训练所得的分类器能够有效容忍训练数据及其标签中存在的噪声，分类识别的鲁棒性得到有效提升。除此之外，本发明中所采用的基于数据增广的在线超限学习方法，其适用范围不仅仅局限于深度半监督学习框架，对于有监督学习任务中所涉及的分类器学习训练也同样适用，具有一定的任务拓展性。
附图说明
图1为本发明实施例方法的基本流程示意图。
图2为本发明实施例方法的实现原理示意图。
图3为本发明实施例方法在典型国际标准图像分类识别数据库CIFAR-10和CIFAR-100上与相关典型方法的效果性能对比结果。
图4为本发明实施例方法在典型国际标准图像分类识别数据库CIFAR-10和CIFAR-100上的效果性能及其与其他一部分代表性方法的分类识别精度对比示意图。
图5为本发明实施例方法在典型国际标准图像分类识别数据库CIFAR-10和CIFAR-100上的效果性能及其与其他另一部分代表性方法的分类识别精度对比示意图。
具体实施方式
以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。
如图1和图2所示，本实施例数据增广的深度半监督超限学习图像分类方法包括进行图像分类识别网络模型的学习和训练的下述步骤：
S1、针对训练图像采用深度卷积网络模型进行特征提取；针对训练图像的部分人工标签数据对深度卷积网络模型进行训练以实现微调优化，并通过微调优化后的深度卷积网络模型为无标签的训练图像预测生成相应的伪标签；
S2、将从训练图像提取得到的高层语义特征与低层浅层结构特征融合得到融合图像特征；
S3、采用随机线性插值技术对训练图像的融合图像特征与标签进行增广；
S4、针对增广后的融合图像特征与标签进行随机分批次，按顺序输入到单隐层前馈神经网络中并进行网络输出层的权重更新，重复上述步骤直至完成单隐层前馈神经网络的训练；将所述深度卷积网络模型中的全连接层移除，并将其与完成训练的单隐层前馈神经网络相连，形成可用于实现相应图像目标端到端分类识别的图像分类识别网络模型。
步骤S1为实例图像深度卷积特征的提取与伪标签生成步骤，即为基于少量的人工标注图像数据训练学习具备简单分类识别能力的深度卷积神经网络模型，用于对大量的无标签图像进行初步的分类识别来得到相应的伪标签，将原始的图像数据转化为一包含人工标注+伪标签的数据集并进行深度卷积网络的再训练，从而将原始的半监督学习转换为一有监督学习过程，相应所提取的深度卷积特征亦能具备任务相关性。
作为一种可选的实施方式，步骤S1中的深度卷积网络模型为完成预训练的13-CNN深度卷积网络模型。
本实施例中，所述13-CNN深度卷积网络模型的训练损失函数如下所示：
Figure 519293DEST_PATH_IMAGE001
上式中，l cos 表示训练损失函数，λ 0,λ 1和λ 2为权重系数，R 0为一致正则化项，R 1为交叉熵正则化项，y i 为样本标签，
Figure 131540DEST_PATH_IMAGE002
为模型给未标记数据自估计的标签，x i 为第i个样本，n为样本数量，p(y i |x i )为模型的预测输出，l为有标记样本个数，其中：
Figure 12908DEST_PATH_IMAGE003
其中，C为样本类别数目，p c 为平均类别边缘概率，
Figure 40907DEST_PATH_IMAGE004
为模型预测的类别边缘概率，p(y|x)为模型输出的样本条件概率，H为熵。
步骤S2多层级图像深度卷积特征融合即为在深度卷积网络所提取的多层级图像卷积特征中，选取能够反映图像结构信息的浅层特征以及能够反映图像类别语义信息的深层特征，进行特征向量化级联融合。具体地，本实施例步骤S2中融合得到融合图像特征是指进行特征向量化级联融合得到融合图像特征，其函数表达式为：
Figure 553316DEST_PATH_IMAGE005
上式中，f c (x)为级联融合后的融合图像特征，concat表示向量级联操作，ReLU为线性整流函数，GAP为全局平均池化函数，f s (x), f h (x)分别为深度神经网络输出的低层浅层结构特征和高层语义特征。本实施例中以13-CNN为例，可选取其第3卷积层和第18卷积层的输出特征在经过全局池化与线性整流处理后进行级联。
全局平均池化函数GAP的函数表达式为：
Figure 211830DEST_PATH_IMAGE017
线性整流函数ReLU的函数表达式为：
Figure 439549DEST_PATH_IMAGE018
其中，W、H、C分别为输出全局平均池化函数的图像数据X的宽、高和通道数，x i,j,k 指图像数据X中第k通道中第j行第i列的数据点值，max取最大值运算。
本实施例步骤S3基于数据增广的在线超限学习分类中，采用随机线性插值原理将步骤S1、S2中所得的图像特征以及对应标签进行增广，具体采用现有的mixup方法。具体地，步骤S3中采用随机线性插值技术对训练图像的融合图像特征与标签进行增广的函数表达式为：
Figure 599135DEST_PATH_IMAGE006
上式中，
Figure 104066DEST_PATH_IMAGE007
为插值后的图像特征矩阵，X j 和X i 为插值前的图像特征矩阵，
Figure 464640DEST_PATH_IMAGE008
为插值后的标签矩阵，Y j 和Y i 为插值前的标签矩阵，λ为采样于beta分布的权重向量。
本实施例中，采样于beta分布的权重向量λ的计算函数表达式为：
Figure 179655DEST_PATH_IMAGE009
上式中，f(x:α,γ)为采样于beta分布的权重向量λ的计算函数表达式，α,γ分别为大于0的beta分布的控制参数，x和u均为函数变量未知数。本实施例中取α=γ。
本实施例中，步骤S4中随后将深度卷积网络模型末端的全连接层替换为单隐层前馈神经网络，将数据增广进一步与超限学习机相结合，定义如下所示的目标函数并据此进行单隐层前馈神经网络的学习训练。
Figure 142932DEST_PATH_IMAGE019
其中，λ为采样于beta分布的权重向量，
Figure 236790DEST_PATH_IMAGE020
为所用单隐层前馈神经网络的隐层输出矩阵，β为待学习优化的所用单隐层前馈神经网络的输出层权重，F表示弗罗宾尼斯范数，c为权重系数。相应地，单隐层前馈神经网络的输出权重可由下式给出：
Figure 33844DEST_PATH_IMAGE021
上式中，β * 表示单隐层前馈神经网络的输出权重，
Figure 236156DEST_PATH_IMAGE020
为数据矩阵，c为权重系数，I为单位矩阵，
Figure 737544DEST_PATH_IMAGE022
为标签矩阵，数据矩阵由N个样本组成，d为样本的特征维度。其中：
Figure 748225DEST_PATH_IMAGE023
上式中，λ为采样于beta分布的权重向量，Y i 为原始标签矩阵，Y j 为打乱顺序的标签矩阵。
本实施例中，步骤S4中进行网络输出层的权重更新的函数表达式为：
Figure 185023DEST_PATH_IMAGE010
上式中，K k+1 和K k 分别为权重矩阵，β k+1和β k 分别为迭代的求解参数，
Figure 609051DEST_PATH_IMAGE011
为输入第k+1批次的增广数据及标签
Figure 320655DEST_PATH_IMAGE012
时所用单隐层前馈神经网络的隐层输出矩阵，
Figure 654684DEST_PATH_IMAGE013
为标签矩阵，且有初始值：
Figure 118508DEST_PATH_IMAGE014
其中，
Figure 701936DEST_PATH_IMAGE015
为输入最初始批次的增广数据及标签
Figure 279548DEST_PATH_IMAGE016
时所用单隐层前馈神经网络的隐层输出矩阵，c为权重系数，I为单位矩阵。
单隐层前馈神经网络训练完毕后，将其与移除全连接层的S1、S2中所使用的深度卷积网络相连接，即可完成对输入图像的分类识别。本实施例中，步骤S4之后还包括：将待识别图像输入图像分类识别网络模型，得到待识别图像对应的图像分类识别结果并输出的中部后。
如图3所示为本实施例方法在典型国际标准图像分类识别数据库CIFAR-10和CIFAR-100上与相关典型方法的效果性能对比结果。特别地，对于图像数据中存在噪声时，本实施例方法也能够具有较好的分类识别性能，如图4和图5所示为不同标签噪声强度（0%~70%）下，本实施例方法在典型国际标准图像分类识别数据库CIFAR-10和CIFAR-100上的效果性能及其与相关代表性方法的分类识别精度对比。
此外，本实施例还提供一种数据增广的深度半监督超限学习图像分类***，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行前述数据增广的深度半监督超限学习图像分类方法的步骤。
此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行前述数据增广的深度半监督超限学习图像分类方法的计算机程序。
综上所述，本实施例方法步骤包括获取待分类识别的训练图像，对图像中各像素进行深度卷积特征编码与融合；基于少部分有标签图像数据训练初始分类识别网络并对无标签图像数据进行分类识别，得到相应的伪标签；对已获取的待分类识别图像特征及其对应标签及伪标签进行数据增广；将初始分类识别网络的全连接层移除并替换为单隐层前馈神经网络层，并依据基于数据增广的在线超限学习机进行网络层权值的学习训练，得到最终图像分类识别网络模型，该模型可用于实现相应图像目标的端到端分类识别。本实施例方法的优点包括人工标记需求小、具有鲁棒的抗噪声干扰能力、分类识别性能良好、任务扩展性强等。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备（***）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种数据增广的深度半监督超限学习图像分类方法，其特征在于，包括进行图像分类识别网络模型的学习和训练的下述步骤：
S1、针对训练图像采用深度卷积网络模型进行特征提取；针对训练图像的部分人工标签数据对深度卷积网络模型进行训练以实现微调优化，并通过微调优化后的深度卷积网络模型为无标签的训练图像预测生成相应的伪标签；
S2、将从训练图像提取得到的高层语义特征与低层浅层结构特征融合得到融合图像特征；
S3、采用随机线性插值技术对训练图像的融合图像特征与标签进行增广；
S4、针对增广后的融合图像特征与标签进行随机分批次，按顺序输入到单隐层前馈神经网络中并进行网络输出层的权重更新，重复上述步骤直至完成单隐层前馈神经网络的训练；将所述深度卷积网络模型中的全连接层移除，并将其与完成训练的单隐层前馈神经网络相连，形成可用于实现相应图像目标端到端分类识别的图像分类识别网络模型；所述进行网络输出层的权重更新的函数表达式为：
Figure 518780DEST_PATH_IMAGE001
上式中，K k+1 和K k 分别为权重矩阵，β k+1和β k 分别为迭代的求解参数，
Figure 435920DEST_PATH_IMAGE002
为输入第k+1批次的增广数据及标签
Figure 543554DEST_PATH_IMAGE003
时所用单隐层前馈神经网络的隐层输出矩阵，
Figure 532238DEST_PATH_IMAGE004
为标签矩阵，且有初始值：
Figure 346610DEST_PATH_IMAGE005
其中，
Figure 372335DEST_PATH_IMAGE006
为输入最初始批次的增广数据及标签
Figure 639369DEST_PATH_IMAGE007
时所用单隐层前馈神经网络的隐层输出矩阵，c为权重系数，I为单位矩阵。
2.根据权利要求1所述的数据增广的深度半监督超限学习图像分类方法，其特征在于，步骤S1中的深度卷积网络模型为完成预训练的13-CNN深度卷积网络模型。
3.根据权利要求2所述的数据增广的深度半监督超限学习图像分类方法，其特征在于，所述13-CNN深度卷积网络模型的训练损失函数如下所示：
Figure 431744DEST_PATH_IMAGE008
上式中，l cos 表示训练损失函数，λ 0,λ 1和λ 2为权重系数，R 0为一致正则化项，R 1为交叉熵正则化项，y i 为样本标签，
Figure 100623DEST_PATH_IMAGE009
为模型给未标记数据自估计的标签，x i 为第i个样本，n为样本数量，p(y i |x i )为模型的预测输出，l为有标记样本个数，其中：
Figure 424812DEST_PATH_IMAGE010
其中，C为样本类别数目，p c 为平均类别边缘概率，
Figure 179142DEST_PATH_IMAGE011
为模型预测的类别边缘概率，p(y|x)为模型输出的样本条件概率，H为熵。
4.根据权利要求1所述的数据增广的深度半监督超限学习图像分类方法，其特征在于，步骤S2中融合得到融合图像特征是指进行特征向量化级联融合得到融合图像特征，其函数表达式为：
Figure 119416DEST_PATH_IMAGE012
上式中，f c (x)为级联融合后的融合图像特征，concat表示向量级联操作，ReLU为线性整流函数，GAP为全局平均池化函数，f s (x), f h (x)分别为深度神经网络输出的低层浅层结构特征和高层语义特征。
5.根据权利要求1所述的数据增广的深度半监督超限学习图像分类方法，其特征在于，步骤S3中采用随机线性插值技术对训练图像的融合图像特征与标签进行增广的函数表达式为：
Figure 642801DEST_PATH_IMAGE013
上式中，
Figure 666121DEST_PATH_IMAGE014
为插值后的图像特征矩阵，X j 和X i 为插值前的图像特征矩阵，
Figure 907746DEST_PATH_IMAGE015
为插值后的标签矩阵，Y j 和Y i 为插值前的标签矩阵，λ为采样于beta分布的权重向量。
6.根据权利要求5所述的数据增广的深度半监督超限学习图像分类方法，其特征在于，采样于beta分布的权重向量λ的计算函数表达式为：
Figure 510766DEST_PATH_IMAGE016
上式中，f(x:α,γ)为采样于beta分布的权重向量λ的计算函数表达式，α,γ分别为大于0的beta分布的控制参数，x和u均为函数变量未知数。
7.根据权利要求1所述的数据增广的深度半监督超限学习图像分类方法，其特征在于，步骤S4之后还包括：将待识别图像输入图像分类识别网络模型，得到待识别图像对应的图像分类识别结果并输出的中部后。
8.一种数据增广的深度半监督超限学习图像分类***，包括相互连接的微处理器和存储器，其特征在于，所述微处理器被编程或配置以执行权利要求1～7中任意一项所述数据增广的深度半监督超限学习图像分类方法的步骤。
9.一种计算机可读存储介质，其特征在于，该计算机可读存储介质中存储有被编程或配置以执行权利要求1～7中任意一项所述数据增广的深度半监督超限学习图像分类方法的计算机程序。
CN202110448092.XA 2021-04-25 2021-04-25 一种数据增广的深度半监督超限学习图像分类方法及*** Active CN113077388B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110448092.XA CN113077388B (zh) 2021-04-25 2021-04-25 一种数据增广的深度半监督超限学习图像分类方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110448092.XA CN113077388B (zh) 2021-04-25 2021-04-25 一种数据增广的深度半监督超限学习图像分类方法及***

Publications (2)

Publication Number Publication Date
CN113077388A CN113077388A (zh) 2021-07-06
CN113077388B true CN113077388B (zh) 2022-08-09

Family

ID=76618604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110448092.XA Active CN113077388B (zh) 2021-04-25 2021-04-25 一种数据增广的深度半监督超限学习图像分类方法及***

Country Status (1)

Country Link
CN (1) CN113077388B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673591B (zh) * 2021-08-13 2023-12-01 上海交通大学 一种自调整采样优化的图像分类方法、设备及介质
CN114462558A (zh) * 2022-04-13 2022-05-10 南昌工程学院 一种数据增广的监督学习图像缺陷分类方法与***
CN114821204B (zh) * 2022-06-30 2023-04-07 山东建筑大学 一种基于元学习嵌入半监督学习图像分类方法与***
CN115272777B (zh) * 2022-09-26 2022-12-23 山东大学 面向输电场景的半监督图像解析方法
CN116168348B (zh) * 2023-04-21 2024-01-30 成都睿瞳科技有限责任公司 基于图像处理的安全监控方法、***及存储介质
CN117710763B (zh) * 2023-11-23 2024-07-09 广州航海学院 图像噪声识别模型训练方法、图像噪声识别方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897737A (zh) * 2017-01-24 2017-06-27 北京理工大学 一种基于超限学习机的高光谱遥感图像地物分类方法
CN106960176A (zh) * 2017-02-22 2017-07-18 华侨大学 一种基于超限学习机和颜色特征融合的行人性别识别方法
CN107403191A (zh) * 2017-07-03 2017-11-28 杭州电子科技大学 一种具有深度结构的半监督超限学习机分类方法
CN109740539A (zh) * 2019-01-04 2019-05-10 上海理工大学 基于超限学习机和融合卷积网络的3d物体识别方法
CN110598728A (zh) * 2019-07-23 2019-12-20 杭州电子科技大学 基于图平衡正则化的半监督超限学机分类方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680144B (zh) * 2015-03-02 2018-06-05 华为技术有限公司 基于投影极速学习机的唇语识别方法和装置
CN110352432A (zh) * 2017-04-07 2019-10-18 英特尔公司 使用用于深度神经网络的改进的训练和学习的方法和***
CN112116088A (zh) * 2020-08-24 2020-12-22 丽水学院 一种自适应确定隐层节点数的增量半监督超限学习机***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897737A (zh) * 2017-01-24 2017-06-27 北京理工大学 一种基于超限学习机的高光谱遥感图像地物分类方法
CN106960176A (zh) * 2017-02-22 2017-07-18 华侨大学 一种基于超限学习机和颜色特征融合的行人性别识别方法
CN107403191A (zh) * 2017-07-03 2017-11-28 杭州电子科技大学 一种具有深度结构的半监督超限学习机分类方法
CN109740539A (zh) * 2019-01-04 2019-05-10 上海理工大学 基于超限学习机和融合卷积网络的3d物体识别方法
CN110598728A (zh) * 2019-07-23 2019-12-20 杭州电子科技大学 基于图平衡正则化的半监督超限学机分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Traffic Sign Recognition Using Deep Convolutional Networks and Extreme Learning Machine;Yujun Zeng,et al.;《IScIDE 2015, Part I, LNCS 9242》;20151231;272–280 *
Traffic Sign Recognition Using Kernel Extreme Learning Machines With Deep Perceptual Features;Yujun Zeng,et al.;《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》;20161231;1-7 *

Also Published As

Publication number Publication date
CN113077388A (zh) 2021-07-06

Similar Documents

Publication Publication Date Title
CN113077388B (zh) 一种数据增广的深度半监督超限学习图像分类方法及***
CN111079532B (zh) 一种基于文本自编码器的视频内容描述方法
WO2020063715A1 (en) Method and system for training binary quantized weight and activation function for deep neural networks
CN106650813B (zh) 一种基于深度残差网络和lstm的图像理解方法
CN111126386B (zh) 场景文本识别中基于对抗学习的序列领域适应方法
CN111552807B (zh) 一种短文本多标签分类方法
CN110110080A (zh) 文本分类模型训练方法、装置、计算机设备及存储介质
US20180285771A1 (en) Efficient machine learning method
CN111275046B (zh) 一种字符图像识别方法、装置、电子设备及存储介质
CN108710896B (zh) 基于产生式对抗学习网络的领域学习方法
JP2023549579A (ja) ビデオ行動認識のための時間ボトルネック・アテンション・アーキテクチャ
CN110188827B (zh) 一种基于卷积神经网络和递归自动编码器模型的场景识别方法
CN113283590B (zh) 一种面向后门攻击的防御方法
CN113159072B (zh) 基于一致正则化的在线超限学习机目标识别方法及***
Albelwi et al. Automated optimal architecture of deep convolutional neural networks for image recognition
Chu et al. Stacked Similarity-Aware Autoencoders.
Cheng et al. A survey on deep neural network pruning-taxonomy, comparison, analysis, and recommendations
CN110892409A (zh) 用于分析图像的方法和装置
Ulaganathan et al. Isolated handwritten Tamil character recognition using convolutional neural networks
CN114882278A (zh) 一种基于注意力机制和迁移学习的轮胎花纹分类方法和装置
CN116075820A (zh) 用于搜索图像数据库的方法、非暂时性计算机可读存储介质和设备
CN113297964A (zh) 基于深度迁移学习的视频目标识别模型及方法
Passalis et al. Deep temporal logistic bag-of-features for forecasting high frequency limit order book time series
CN115937567B (zh) 一种基于小波散射网络和ViT的图像分类方法
Van Nguyen et al. Particle-based adversarial local distribution regularization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant