CN111222545A - 基于线性规划增量学习的图像分类方法 - Google Patents

基于线性规划增量学习的图像分类方法 Download PDF

Info

Publication number
CN111222545A
CN111222545A CN201911348984.1A CN201911348984A CN111222545A CN 111222545 A CN111222545 A CN 111222545A CN 201911348984 A CN201911348984 A CN 201911348984A CN 111222545 A CN111222545 A CN 111222545A
Authority
CN
China
Prior art keywords
image
training set
convolutional neural
neural network
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911348984.1A
Other languages
English (en)
Other versions
CN111222545B (zh
Inventor
白静
员安然
王鼎臣
周华吉
肖竹
张丹
杨韦洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201911348984.1A priority Critical patent/CN111222545B/zh
Publication of CN111222545A publication Critical patent/CN111222545A/zh
Application granted granted Critical
Publication of CN111222545B publication Critical patent/CN111222545B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于线性规划增量学习的图像分类方法，其步骤为：构建卷积神经网络；生成初始训练集；初始训练卷积神经网络；获取初始训练集的类均特征向量；判断待分类图像的类别是否属于初始训练集中的类别，若是，用卷积神经网络分类，否则执行下一步；生成增量训练集；获取增量训练集的类均特征向量；利用线性规划模型求解权值列向量；更新卷积神经网络；用卷积神经网络进行分类。本发明具有自适应能力强，只需要一张图像就能生成增量训练集，只需要很少的计算资源和计算时间就能完成增量学习，对初始训练集和增量训练集中类别分类准确率都很高的优势。

Description

基于线性规划增量学习的图像分类方法
技术领域
本发明涉及图像处理技术领域，更进一步涉及图像分类技术领域中的一种 基于线性规划增量学习的图像分类方法。本发明可用于对光学图像中的主体目 标或高光谱图像中的地物目标进行分类。
背景技术
图像分类是图像处理的一个重要的领域,根据不同目标在图像中所反映的 不同特征，把不同类别的目标区分开来的图像处理方法。现图像分类领域面临 的问题是训练好的模型只能对训练集中包含的类别的图像进行分类，而对于训 练集中未包含的类别的图像，其无法正确分类，学习训练数据中未包含的类别 的图像的机制也需要经过大量标定类别的图像的训练，大量的标定工作耗时耗 力，且训练需消耗大量的计算资源和时间。
华南理工大学在其拥有的专利技术“一种大数据场景下可增量学习的图像 分类训练方法”(专利申请号：201710550339.2，授权公告号：CN 107358257 B)中提出了一种大数据场景下可增量学习的图像分类训练方法。该方法首先需 要对初始图像数据训练图像分类器；其次，当出现新类别图像时需要对初始模 型进行增量训练，得到更新后的图像分类器；最后，利用训练的增量图像分类 器对测试数据进行分类，得到分类结果。该方法能有效地针对新类别图像进行 增量学习与图像分类。但是，该方法仍然存在的不足之处是：需要大量标定类 别的图像构成增量训练集，需要人力成本和时间成本。
西安交通大学在其申请的专利文献“用于图像识别的自动增量学习方法” (专利申请号：201810574578.6，公开号：CN 108805196 A)中提出了一种用 于图像识别的自动增量学习方法。该发明的增量方法是首先读取已标注的若干 图像数据训练得到预训练模型，然后计算评价标准α并将无标注数据按熵损失 函数β进行分类，最后将每次得到的新训练数据重新输入到当前的模型中进行 训练至迭代完成。该方法虽然提供了使用少量标注数据和相对较多无标注数据 (或者含有干扰的数据)进行图像识别提供了解决方案。但是，该方法仍然存在 地不足之处在于：涉及迭代流程，消耗大量计算资源和时间，对增量类别的响 应慢。
发明内容
本发明的目的是针对上述现有技术的不足，提出一种基于线性规划增量学 习的图像分类方法。解决了现有图像分类技术无法正确分类训练集中未包含的 类别的图像，而增量学习过程需要大量标定类别的图像且消耗大量计算资源和 时间的问题。
为实现上述目的，本发明的思路是：将卷积神经网络分为特征提取模块和 分类模块，增量训练过程中固定特征提取模块，只更新分类模块。更新分类模 块时保证更新后的分类模块对初始训练类别的特征和增量训练类别的特征做出 正确分类。
本发明的具体步骤包括如下：
(1)构建卷积神经网络：
(1a)搭建一个10层的特征提取模块，其结构依次为：输入层→第一卷 积层→第二卷积层→第一池化层→第三卷积层→第四卷积层→第二池化层 →Flatten层→归一化层→第一全连接层；
设置每层参数为：将第一至第四卷积层中卷积核的个数分别设置为64，64， 256,256，卷积核的大小均设置为3×3，步长均设置为1，第一池化层采用最大 池化的方式，第二池化层采用全局平均池化的方式，池化区域核的大小均设置为 2×2，步长均设置为2；第一全连接层由512个节点构成；
(1b)搭建一个由点积层和输出层组成的分类模块；点积层的权值行列式 中的行数为512，列数等于输入的所有图像的标注类别的总数，输出层激活函数 为softmax；
(1c)将特征提取模块、分类模块依次连接组成卷积神经网络；
(2)生成初始训练集：
输入至少1000张已标注类别的图像，所有图像中至少包含3种标注类别， 对输入的每张图像进行图像预处理，将预处理后的所有图像组成初始训练集；
(3)初始训练卷积神经网络：
将初始训练集输入到卷积神经网络中，用梯度下降法更新卷积神经网络的每 一层的权值，直至均方根误差值降至5.0以下为止，得到初始训练好的卷积神经 网络；
(4)获取初始训练集的类均特征向量：
(4a)将初始训练集中的每一张图像依次输入到初始训练好的卷积神经网 络中，将该网络的特征提取模块中第一全连接层输出的每一张图像512维输出向 量作为该张图像的特征向量；
(4b)对相同标注类别的所有图像的特征向量的每一个元素取平均值，将 所有元素平均值组成该标注类别的类均特征向量；
(5)判断待分类图像的类别是否属于初始训练集中的类别，若是，则执行 步骤(10)，否则，执行步骤(6)；
(6)生成增量训练集：
输入一张与待分类的图像相同标注类别的图像，对该张图像进行与步骤(2) 相同的预处理，将预处理后的所有图像组成增量训练集；
(7)获取增量训练集的类均特征向量；
(7a)将增量训练集中的每一张图像依次输入到初始训练好的卷积神经网 络中，将该网络的特征提取模块中第一全连接层输出的每一张图像512维输出向 量作为该张图像的特征向量；
(7b)对增量训练集中的所有图像的特征向量的每一个元素取平均值，将 所有元素平均值组成该标注类别的类均特征向量；
(8)利用线性规划模型求解权值列向量：
(8a)利用下式，在正确分类约束条件的限制下最大限度的提高训练集的 类均特征向量的分类分数：
max Z＝f·W
s.t.fi·W＜fi·Wj
f·W＞f·Wj
其中，max表示最大化操作，Z表示目标函数，f表示增量训练集的类均 特征向量，·表示点积操作，W表示待求的权值列向量，s.t.表示约束条件，fi表 示初始训练集中第i类的类均特征向量，i＝1n，n表示初始训练集中所有标注 类别的总数，Wj表示初始训练好的卷积神经网络中分类模块的点积层权值行列 式中第j列元素，j的取值与i对应相等；
(8b)采用现有线性规划工具软件中的一种对线性模型求解，得到待求的 权值列向量；本发明的实施例中采用了python语言sklearn库求解该线性模 型；
(9)更新卷积神经网络：
(9a)将初始训练好的卷积神经网络中分类模块的点积层的权值行列式与 步骤(8b)得到的权值列向量按列合并，得到更新后的权值行列式，用更新后的 权值行列式替代初始训练好的卷积神经网络中分类模块的点积层的权值行列式， 得到更新后的分类模块；
(9b)将初始训练好的卷积神经网络的特征提取模块和更新后的分类模块 依次连接，组成更新后的卷积神经网络后执行步骤(10)；
(10)用卷积神经网络进行分类：
将待分类图像输入到卷积神经网络中，输出分类结果。
本发明与现有的技术相比具有以下优点：
第一，由于本发明利用增量训练集的类均特征向量来建立线性规划模型， 对增量训练集中图像的最少数量没有要求，克服了现有技术中增量学习需要大 量标注类别的图像构成增量训练集，需要人力成本和时间成本的问题，使得本 发明只需要一张标定类别的图像就能生成增量训练集并完成增量学习。
第二，由于本发明获取增量训练集的类均特征向量时只需要进行前向传播 计算，增量过程只需求解一个线性规划模型，克服了现有技术中增量过程涉及 迭代流程，计算复杂耗时长，对增量类别的响应慢的问题，使得本发明只需要 很少的计算资源和计算时间就能完成对增量学习。
附图说明
图1是本发明的流程图；
图2是本发明的仿真图。
具体实施方式
下面结合附图对本发明作进一步详细描述。
参照图1，对本发明的具体实现步骤作进一步详细描述。
步骤1，构建卷积神经网络。
搭建一个10层的特征提取模块，其结构依次为：输入层→第一卷积层→第 二卷积层→第一池化层→第三卷积层→第四卷积层→第二池化层→Flatten层 →归一化层→第一全连接层，设置每层参数为：将第一至第四卷积层中卷积核的 个数分别设置为64，64，256,256，卷积核的大小均设置为3×3，步长均设置 为1，第一池化层采用最大池化的方式，第二池化层采用全局平均池化的方式， 池化区域核的大小均设置为2×2，步长均设置为2；第一全连接层由512个节点 构成。
搭建一个由点积层和输出层组成的分类模块；点积层的权值行列式中的行数 为512，列数等于输入的所有图像的标注类别的总数，输出层激活函数为softmax。
将特征提取模块、分类模块依次连接组成卷积神经网络。
步骤2，生成初始训练集。
输入至少1000张已标注类别的图像，所有图像中至少包含3种标注类别， 对输入的每张图像进行图像预处理，若输入的为光学图像，对每张图像依次进行 旋转、剪切、拉伸、降噪、改变亮度、改变对比度的预处理；若输入的为高光谱 图像，对每张图像依次进行主成分分析PCA降维方法、归一化的预处理，将预处 理后的所有图像组成初始训练集。
步骤3，初始训练卷积神经网络。
将初始训练集输入到卷积神经网络中，用梯度下降法更新卷积神经网络的每 一层的权值，直至均方根误差值降至5.0以下为止，得到初始训练好的卷积神经 网络。
步骤4，获取初始训练集的类均特征向量。
将初始训练集中的每一张图像依次输入到初始训练好的卷积神经网络中，将 该网络的特征提取模块中第一全连接层输出的每一张图像512维输出向量作为 该张图像的特征向量。
对相同标注类别的所有图像的特征向量的每一个元素取平均值，将所有元素 平均值组成该标注类别的类均特征向量。
步骤5，人工判断待分类图像的类别是否属于初始训练集中的类别，若是， 则执行步骤10，否则，执行步骤6。
步骤6，生成增量训练集。
输入一张与待分类的图像相同标注类别的图像，对该张图像进行预处理，若 输入的为光学图像，对每张图像依次进行旋转、剪切、拉伸、降噪、改变亮度、 改变对比度的预处理；若输入的为高光谱图像，对每张图像依次进行主成分分析 PCA降维方法、归一化的预处理，将预处理后的所有图像组成增量训练集。
步骤7，获取增量训练集的类均特征向量。
将增量训练集中的每一张图像依次输入到初始训练好的卷积神经网络中，将 该网络的特征提取模块中第一全连接层输出的每一张图像512维输出向量作为 该张图像的特征向量。
对增量训练集中的所有图像的特征向量的每一个元素取平均值，将所有元素 平均值组成该标注类别的类均特征向量。
步骤8，利用线性规划模型求解权值列向量。
利用下式，在正确分类约束条件的限制下最大限度的提高训练集的类均特征 向量的分类分数：
max Z＝f·W
s.t.fi·W＜fi·Wj
f·W＞f·Wj
其中，max表示最大化操作，Z表示目标函数，f表示增量训练集的类均特 征向量，·表示点积操作，W表示待求的权值列向量，s.t.表示约束条件，fi表示 初始训练集中第i类的类均特征向量，i＝1n，n表示初始训练集中所有标注类 别的总数，Wj表示初始训练好的卷积神经网络中分类模块的点积层权值行列式 中第j列元素，j的取值与i对应相等。
采用python语言sklearn库求解该线性模型，得到权值列向量。
步骤9，更新卷积神经网络。
将初始训练好的卷积神经网络中分类模块的点积层的权值行列式与步骤八 第二步得到的权值列向量按列合并，得到更新后的权值行列式，用更新后的权值 行列式替代初始训练好的卷积神经网络中分类模块的点积层的权值行列式，得到 更新后的分类模块。
将初始训练好的卷积神经网络的特征提取模块和更新后的分类模块依次连 接，组成更新后的卷积神经网络后执行步骤10。
步骤10，用卷积神经网络进行分类。
将待分类图像输入到卷积神经网络中，输出分类结果。
下面结合仿真实验对本发明的效果做进一步的说明：
1.实验条件：
本发明的仿真实验的硬件平台为：GPU为NVIDIA GeForce GTX 1080 Ti/PCIe/SSE2，20核，主频为2.4GHz，内存大小为64GB；显存大小为 20GB。
本发明的仿真实验的软件平台为：操作***为Ubuntu18.04 LTS， TensorFlow的版本为1.2.1。
2.仿真内容
本发明仿真实验是采用本发明和两个现有技术(新类与旧类样本协同训练 RR方法、权值参数随机初始化RIC方法)分别对输入的帕维亚大学PaviaU高光 谱数据集每张包含地物的图像进行分类，获得分类结果。
现有技术的新类与旧类样本协同训练RR方法是指：W.Hu,H.Yangyu,W. Li,Z.Fan,and L.Hengchao在其发表的论文“Deep convolutional neural networks forhyperspectral image classification”(Journal of Sensors, vol.2015,pp.1–12)中提出的图像分类方法，简称新类与旧类样本协同训练 RR方法。
现有技术的权重参数随机初始化RIC方法是指：Hang Qi在其发表的论文 “Low-shot learning with imprinted weights”(Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition.2018:5822-5830) 中提出的图像分类方法，简称权值参数随机初始化RIC方法。
本发明仿真实验所使用的输入图像为帕维亚大学PaviaU高光谱数据集中 取出的每张包含地物的图像，图像大小为11×11×103，图像格式为mat。帕维 亚大学PaviaU高光谱数据集是由德国的机载反射光学光谱成像仪(Reflective Optics SpectrographicImaging System，ROSIS-03)在2003年对意大利的 帕维亚大学拍摄的高光谱数据。该光谱成像仪对0.43-0.86μm波长范围内的115个波段连续成像，所成图像的空间分辨率为1.3m/pixel，其中12个波段由 于受噪声影响被剔除。帕维亚大学PaviaU高光谱数据集使用的是剔除噪声后 的103个光谱波段所成的图像。该数据的尺寸为610×340，共包含2207400个像素，其中包含地物的像素只有42776个，这些像素中共包含沥青、草甸、碎 石、树林、金属板、裸土、柏油、石砖、阴影9类地物，其余的像素均为背景 像素。以一个包含地物的像素为中心取出的11×11个像素的图像作为一张包含 地物的图像。
在仿真实验中以如下比例选取训练集和测试集：
(1)取出帕维亚大学PaviaU高光谱数据集的沥青、草甸、碎石、树林、 金属板、裸土、柏油、石砖八类的所有图像，每类的所有图像的5％用于生成初 始训练集，每类的所有图像的其余95％用于测试。初始训练集各类别图像的数 量以及用于测试的图像数量如表1所示。
(2)取出帕维亚大学PaviaU高光谱数据集的阴影类的所有图像，阴影类的 所有图像中的一张用于生成增量训练集，阴影类的的其余所有图像用于测试。增 量训练集各类别图像的数量以及用于测试的图像数量如表2所示。
表1.初始训练集中各类别图像的数量及测试数量一览表
类别 初始训练集 测试图像数
沥青 33 6598
草甸 93 18556
碎石 10 2089
树林 15 3049
金属板 6 1339
裸土 25 5004
柏油 6 1324
石砖 18 3664
表2.增量训练集中各类别图像的数量及测试数量一览表
类别 增量训练集 测试图像数
阴影 1 946
下面结合图2的仿真图对本发明的效果做进一步的描述。
图2(a)为帕维亚大学PaviaU高光谱数据集的真实地物分布图，其大小为 610×340个像素。图2(b)为采用现有技术的新类与旧类样本协同训练RR方法， 对帕维亚大学PaviaU高光谱数据集中取出的每张包含地物的图像进行分类的结 果图。图2(c)为采用现有技术的权值参数随机初始化RIC方法，对帕维亚大学 PaviaU高光谱数据集中取出的每张包含地物的图像进行分类的结果图。图2(d) 为利用本发明的方法，对帕维亚大学PaviaU高光谱数据集中取出的每张包含地 物的图像进行分类的结果图。
为了对比不同方法对各个类别的分类效果，利用分类准确率评价指标对三种 方法的分类结果进行评价。利用下面公式，分别计算本发明仿真实验中九个类别 的分类准确率，将不同方法对每个类别的分类准确率绘制成表3：
Figure BDA0002334181350000091
表3.各方法对不同类比图像的分类准确率(％)
图像类别 RR RIC 本方法
沥青 0.00 99.08 95.65
草甸 68.05 99.87 98.32
碎石 5.16 94.64 93.63
树林 0.07 98.66 96.68
金属板 0.00 99.53 91.64
裸土 0.04 89.96 86.21
柏油 0.00 86.36 82.44
石砖 0.63 98.91 91.48
阴影 91.67 0.00 100.00
由图2(b)结合表3可以看出，现有技术的新类与旧类样本协同训练RR方法 与权值参数随机初始化RIC方法相比，对初始训练集包含的每一类别的准确率都 很低，因为该方法在增量过程中没有继承任何对初始训练集中标定类别的分类能 力，只能学习到增量训练集中的标注类别。
由图2(c)结合表3可以看出，现有技术的权值参数随机初始化RIC方法对 初始训练集中类别的分类准确率高，但由于没能有效的对增量训练集中的类别进 行学习，导致对增量训练集中类别的分类准确率很低。
由图2(d)结合表3可以看出，本发明的分类结果相比于两个现有技术的分 类结果，对初始训练集中标定类别的分类能力好且能由一张图像生成的增量训练 集上完成增量学习，证明本发明的增量学习分类效果优于前两种现有技术分类方 法，增量学习后的对初始训练集中包含类别的图像和增量训练集包含类别的图像 分类准确率都很高。
由图2结合表3可以看出，以上仿真实验表明：本发明方法能够利用初始 训练好的卷积神经网络的特征提取模块提取增量训练集中图像的特征，在保留 对初始训练集中图像的识别的能力的前提下，快速高效的实现增量学习，使其 能识别初始训练集和增量训练集中包含的类别。本发明适用于各种应用场景， 在数据不均衡或时效性强的应用场景种优势明显，是一种高效灵活的图像分类 方法。

Claims (3)

1.一种基于线性规划增量学习的图像分类方法，其特征在于，构建一个由特征提取模块和分类模块连接成的卷积神经网络，初始训练卷积神经网络后，用卷积神经网络进行分类，若遇到类别不属于初始训练集中类别的待分类图片，利用初始训练集和增量训练集类均特征建立线性规划模型，求解权值列向量，更新分类器，该方法的步骤包括如下：
(1)构建卷积神经网络：
(1a)搭建一个10层的特征提取模块，其结构依次为：输入层→第一卷积层→第二卷积层→第一池化层→第三卷积层→第四卷积层→第二池化层→Flatten层→归一化层→第一全连接层；
设置每层参数为：将第一至第四卷积层中卷积核的个数分别设置为64，64，256,256，卷积核的大小均设置为3×3，步长均设置为1，第一池化层采用最大池化的方式，第二池化层采用全局平均池化的方式，池化区域核的大小均设置为2×2，步长均设置为2；第一全连接层由512个节点构成；
(1b)搭建一个由点积层和输出层组成的分类模块；点积层的权值行列式中的行数为512，列数等于输入的所有图像的标注类别的总数，输出层激活函数为softmax；
(1c)将特征提取模块、分类模块依次连接组成卷积神经网络；
(2)生成初始训练集：
输入至少1000张已标注类别的图像，所有图像中至少包含3种标注类别，对输入的每张图像进行图像预处理，将预处理后的所有图像组成初始训练集；
(3)初始训练卷积神经网络：
将初始训练集输入到卷积神经网络中，用梯度下降法更新卷积神经网络的每一层的权值，直至均方根误差值降至5.0以下为止，得到初始训练好的卷积神经网络；
(4)获取初始训练集的类均特征向量：
(4a)将初始训练集中的每一张图像依次输入到初始训练好的卷积神经网络中，将该网络的特征提取模块中第一全连接层输出的每一张图像512维输出向量作为该张图像的特征向量；
(4b)对相同标注类别的所有图像的特征向量的每一个元素取平均值，将所有元素平均值组成该标注类别的类均特征向量；
(5)判断待分类图像的类别是否属于初始训练集中的类别，若是，则执行步骤(10)，否则，执行步骤(6)；
(6)生成增量训练集：
输入一张与待分类的图像相同标注类别的图像，对该张图像进行与步骤(2)相同的预处理，将预处理后的所有图像组成增量训练集；
(7)获取增量训练集的类均特征向量；
(7a)将增量训练集中的每一张图像依次输入到初始训练好的卷积神经网络中，将该网络的特征提取模块中第一全连接层输出的每一张图像512维输出向量作为该张图像的特征向量；
(7b)对增量训练集中的所有图像的特征向量的每一个元素取平均值，将所有元素平均值组成该标注类别的类均特征向量；
(8)利用线性规划模型求解权值列向量：
(8a)利用下式，在正确分类约束条件的限制下最大限度的提高训练集的类均特征向量的分类分数：
max Z＝f·W
s.t. fi·W＜fi·Wj
f·W＞f·Wj
其中，max表示最大化操作，Z表示目标函数，f表示增量训练集的类均特征向量，·表示点积操作，W表示待求的权值列向量，s.t.表示约束条件，fi表示初始训练集中第i类的类均特征向量，i＝1n，n表示初始训练集中所有标注类别的总数，Wj表示初始训练好的卷积神经网络中分类模块的点积层权值行列式中第j列元素，j的取值与i对应相等；
(8b)对线性模型求解，得到权值列向量；
(9)更新卷积神经网络：
(9a)将初始训练好的卷积神经网络中分类模块的点积层的权值行列式与步骤(8b)得到的权值列向量按列合并，得到更新后的权值行列式，用更新后的权值行列式替代初始训练好的卷积神经网络中分类模块的点积层的权值行列式，得到更新后的分类模块；
(9b)将初始训练好的卷积神经网络的特征提取模块和更新后的分类模块依次连接，组成更新后的卷积神经网络后执行步骤(10)；
(10)用卷积神经网络进行分类：
将待分类图像输入到卷积神经网络中，输出分类结果。
2.根据权利要求1所述的基于线性规划增量学习的图像分类方法，其特征在于：步骤(2)和步骤(6)中所述的预处理是指，若输入的为光学图像，对每张图像依次进行旋转、剪切、拉伸、降噪、改变亮度、改变对比度的预处理；若输入的为高光谱图像，对每张图像依次进行主成分分析PCA降维方法、归一化的预处理。
3.根据权利要求1所述的基于线性规划增量学习的图像分类方法，其特征在于：步骤(8b)中所述对线性模型求解是采用线性规划工具软件中的任意一种。
CN201911348984.1A 2019-12-24 2019-12-24 基于线性规划增量学习的图像分类方法 Active CN111222545B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911348984.1A CN111222545B (zh) 2019-12-24 2019-12-24 基于线性规划增量学习的图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911348984.1A CN111222545B (zh) 2019-12-24 2019-12-24 基于线性规划增量学习的图像分类方法

Publications (2)

Publication Number Publication Date
CN111222545A true CN111222545A (zh) 2020-06-02
CN111222545B CN111222545B (zh) 2022-04-19

Family

ID=70830926

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911348984.1A Active CN111222545B (zh) 2019-12-24 2019-12-24 基于线性规划增量学习的图像分类方法

Country Status (1)

Country Link
CN (1) CN111222545B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591913A (zh) * 2021-06-28 2021-11-02 河海大学 一种支持增量学习的图片分类方法及装置
CN113688787A (zh) * 2021-09-14 2021-11-23 青岛农业大学 花生叶片病害识别方法
CN114782960A (zh) * 2022-06-22 2022-07-22 深圳思谋信息科技有限公司 模型训练方法、装置、计算机设备及计算机可读存储介质
CN117710161A (zh) * 2024-01-05 2024-03-15 广东聚智诚科技有限公司 基于大数据技术的专利价值分析***、方法、设备及介质
WO2024143690A1 (ko) * 2022-12-29 2024-07-04 연세대학교 산학협력단 특징 벡터 저장 기반 클래스 증분 시멘틱 분할 학습 장치 및 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279768A (zh) * 2013-05-31 2013-09-04 北京航空航天大学 一种基于增量学习人脸分块视觉表征的视频人脸识别方法
US8582807B2 (en) * 2010-03-15 2013-11-12 Nec Laboratories America, Inc. Systems and methods for determining personal characteristics
CN104598552A (zh) * 2014-12-31 2015-05-06 大连钜正科技有限公司 一种支持增量式更新的大数据特征学习的方法
US20160035078A1 (en) * 2014-07-30 2016-02-04 Adobe Systems Incorporated Image assessment using deep convolutional neural networks
CN109492765A (zh) * 2018-11-01 2019-03-19 浙江工业大学 一种基于迁移模型的图像增量学习方法
US20190138722A1 (en) * 2017-11-08 2019-05-09 AVAST Software s.r.o. Malware classification of executable files by convolutional networks

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8582807B2 (en) * 2010-03-15 2013-11-12 Nec Laboratories America, Inc. Systems and methods for determining personal characteristics
CN103279768A (zh) * 2013-05-31 2013-09-04 北京航空航天大学 一种基于增量学习人脸分块视觉表征的视频人脸识别方法
US20160035078A1 (en) * 2014-07-30 2016-02-04 Adobe Systems Incorporated Image assessment using deep convolutional neural networks
CN104598552A (zh) * 2014-12-31 2015-05-06 大连钜正科技有限公司 一种支持增量式更新的大数据特征学习的方法
US20190138722A1 (en) * 2017-11-08 2019-05-09 AVAST Software s.r.o. Malware classification of executable files by convolutional networks
CN109492765A (zh) * 2018-11-01 2019-03-19 浙江工业大学 一种基于迁移模型的图像增量学习方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591913A (zh) * 2021-06-28 2021-11-02 河海大学 一种支持增量学习的图片分类方法及装置
CN113591913B (zh) * 2021-06-28 2024-03-29 河海大学 一种支持增量学习的图片分类方法及装置
CN113688787A (zh) * 2021-09-14 2021-11-23 青岛农业大学 花生叶片病害识别方法
CN114782960A (zh) * 2022-06-22 2022-07-22 深圳思谋信息科技有限公司 模型训练方法、装置、计算机设备及计算机可读存储介质
WO2024143690A1 (ko) * 2022-12-29 2024-07-04 연세대학교 산학협력단 특징 벡터 저장 기반 클래스 증분 시멘틱 분할 학습 장치 및 방법
CN117710161A (zh) * 2024-01-05 2024-03-15 广东聚智诚科技有限公司 基于大数据技术的专利价值分析***、方法、设备及介质

Also Published As

Publication number Publication date
CN111222545B (zh) 2022-04-19

Similar Documents

Publication Publication Date Title
CN110516596B (zh) 基于Octave卷积的空谱注意力高光谱图像分类方法
CN111222545B (zh) 基于线性规划增量学习的图像分类方法
CN109948693B (zh) 基于超像素样本扩充和生成对抗网络高光谱图像分类方法
CN110334765B (zh) 基于注意力机制多尺度深度学习的遥感影像分类方法
CN110533631B (zh) 基于金字塔池化孪生网络的sar图像变化检测方法
CN112052755B (zh) 基于多路注意力机制的语义卷积高光谱图像分类方法
CN108460391B (zh) 基于生成对抗网络的高光谱图像无监督特征提取方法
CN111753828B (zh) 一种基于深度卷积神经网络的自然场景水平文字检测方法
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
CN109840560B (zh) 基于胶囊网络中融入聚类的图像分类方法
CN109598306B (zh) 基于srcm和卷积神经网络的高光谱图像分类方法
CN109272500B (zh) 基于自适应卷积神经网络的织物分类方法
CN107316013A (zh) 基于nsct变换和dcnn的高光谱图像分类方法
CN106503739A (zh) 联合光谱和纹理特征的高光谱遥感影像svm分类方法及***
Li et al. Soft measurement of wood defects based on LDA feature fusion and compressed sensor images
CN111914728B (zh) 高光谱遥感影像半监督分类方法、装置及存储介质
CN107832797B (zh) 基于深度融合残差网的多光谱图像分类方法
CN109344891A (zh) 一种基于深度神经网络的高光谱遥感数据分类方法
CN110956187A (zh) 一种基于集成学习的无人机影像植物冠层信息提取方法
CN113486981A (zh) 基于多尺度特征注意力融合网络的rgb图像分类方法
CN111160396B (zh) 一种基于多图结构的图卷积网络的高光谱图像分类方法
CN109376753A (zh) 一种稠密连接的三维空谱分离卷积深度网络及构建方法
CN114463637B (zh) 一种基于深度学习的冬小麦遥感识别分析方法和***
CN114972885B (zh) 基于模型压缩的多模态遥感图像分类方法
CN113673556B (zh) 一种基于多尺度密集卷积网络的高光谱图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant