CN112308159A - 基于预测增量宽度学习的图像识别分类方法 - Google Patents

基于预测增量宽度学习的图像识别分类方法 Download PDF

Info

Publication number
CN112308159A
CN112308159A CN202011225539.9A CN202011225539A CN112308159A CN 112308159 A CN112308159 A CN 112308159A CN 202011225539 A CN202011225539 A CN 202011225539A CN 112308159 A CN112308159 A CN 112308159A
Authority
CN
China
Prior art keywords
width learning
enhanced
nodes
matrix
enhanced nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011225539.9A
Other languages
English (en)
Other versions
CN112308159B (zh
Inventor
陈祖国
张胥卓
刘洋龙
吴亮红
卢明
唐至强
陈超洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University of Science and Technology
Original Assignee
Hunan University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University of Science and Technology filed Critical Hunan University of Science and Technology
Priority to CN202011225539.9A priority Critical patent/CN112308159B/zh
Publication of CN112308159A publication Critical patent/CN112308159A/zh
Application granted granted Critical
Publication of CN112308159B publication Critical patent/CN112308159B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Optimization (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Operations Research (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于预测增量宽度学习的图像识别分类方法，包括以下步骤：步骤一：建立宽度学习模型，输入各类节点初始数量，设置识别准确度；步骤二：通过拟合函数计算需要的增强节点数量；步骤三：增加增强节点数量，进行增量宽度学习；步骤四：判断测试识别准确度是否大于设置识别准确度，若否，则返回步骤三；若是，则输出训练结果与识别准确度。本发明将宽度学习的部分实验数据通过最小二乘法拟合，通过部分实验数据拟合得出增强节点数量与识别精度之间的关系，通过设置精度可得出满足精度的合适的增强节点数量，避免了人为设置模型参数的繁琐步骤和设置不合适的模型参数导致的训练时间的增加，具有识别精度高、算法简单的优点。

Description

基于预测增量宽度学习的图像识别分类方法
技术领域
本发明涉及图像识别领域，特别涉及一种基于预测增量宽度学习的图像识别分类方法。
背景技术
随着互联网的不断发展，图片逐渐成为传播信息的主要载体，因此对图像的处理至关重要，图像识别技术作为图像处理中的一个重要部分近年来不断发展。机器学习是现在图像识别技术的主要方法，其通过外界的大量数据进行学习更新参数从而进行识别判断。作为目前机器学习的主流，深度学习在图像处理中取得了良好的处理结果，然而深度学习普遍存在着一个共同的问题，就是需要计算的参数多，训练时间长。
文献“Broad Learning System:An Effective and Efficient IncrementalLearning System Without the Need for Deep Architecture”提出了一种宽度学习***。宽度学习***是基于随机向量函数链接神经网络(RVFLNN)和单层前馈神经网络(SLFN)的一种单层增量式神经网络。其相对于深度学习网络层数更少，通过引入增强节点则可在不增加网络纵向深度的前提下增加神经网络模型的非线性拟合能力。这个模型相比于传统的深层网络模型，它在保证一定精度的同时，具有快速、简洁，同时支持增量式的在线模型更新等比较好的性质，其有效地解决了深度学习需要耗费大量时间的问题，同时具有较高的精度。为了提高宽度学习***识别的准确度需要修改模型中的参数，模型的改变是要通过手动设置各类节点的数量，而通过增加大量增强节点来增加模型的拟合能力又会使增加整个训练时间。
发明内容
为了解决上述技术问题，本发明提供一种算法简单、分类精度高的基于预测增量宽度学习的图像识别分类方法。
本发明解决上述问题的技术方案是：一种基于预测增量宽度学习的图像识别分类方法，其特征在于，包括以下步骤：
步骤一：建立宽度学习模型，输入各类节点初始数量，设置识别准确度；
步骤二：通过拟合函数计算需要的增强节点数量；
步骤三：增加增强节点数量，进行增量宽度学习；
步骤四：判断测试识别准确度是否大于设置识别准确度，若否，则返回步骤三；若是，则输出训练结果与识别准确度。
上述基于预测增量宽度学习的图像识别分类方法，所述步骤一中，宽度学习模型的输入层是由两部分组成，分别是映射节点与增强节点，映射节点记为Z，增强节点记为H，原始输入记为X；映射节点是通过原始输入X经过线性变换与激活函数输出得到，而增强节点是通过映射节点线性变换与激活函数输出得到，其变换公式如式(1)(2)所示
Figure BDA0002763535730000021
Figure BDA0002763535730000022
其中W1,β1,W2,β2为自动编码产生的基础上加上稀疏性限制产生而来的数据， W1、W2为随机权重矩阵，β1、β2为随机偏差矩阵，φ为映射节点的激活函数，ξ为增强节点的激活函数，
Figure BDA0002763535730000023
新的输入层即为A＝[Z|H]，则宽度学***衡，随着λ的增大，模型的方差减小，偏差增大，求得W如(3)所示:
Figure BDA0002763535730000031
上述基于预测增量宽度学***方和最小化来求取设定函数的待定系数，误差平方和S如式(4)所示：
Figure BDA0002763535730000032
其中xi表示第i个测量数据，yi表示第i个测量数据的对应结果，i＝1,2,3…N；对于线性方程，误差平方和S最小，则必有
Figure BDA0002763535730000033
通过式(5)得到一个线性方程组，再求解线性方程组算出待定系数a,b,c...；
对于宽度学习，其增强节点的数量与识别准确度之间为非线性关系；若拟合函数为非线性方程，则将非线性方程进行变换转化为线性方程，再应用最小二乘法求得待定系数，最终得到增强节点数量与识别准确度的近似函数，利用近似函数求得设置识别准确度所对应的增强节点数量。
上述基于预测增量宽度学习的图像识别分类方法，所述步骤三中，增量宽度学习是将增加的增强节点合并到原来的输入层中，增强层即为原输入层加上通过增量宽度学习的增强节点，由于输入节点数无法改变，则增强层的增强节点越多，其非线性近似能力就越强；输入层即变为[A|ζ(ZeW3+β3)]，其中W3为随机权重矩阵，β3为随机偏差矩阵，Ze为增加的增强节点，W3,β3也同为随机生成并通过稀疏自编码得到。
本发明的有益效果在于：本发明将宽度学习的部分实验数据通过最小二乘法拟合，通过部分实验数据拟合得出增强节点数量与识别精度之间的关系，通过设置精度可得出满足精度的合适的增强节点数量，避免了人为设置模型参数的繁琐步骤和设置不合适的模型参数导致的训练时间的增加，具有识别精度高、算法简单的优点。
附图说明
图1为本发明的流程图。
具体实施方式
下面结合附图和实施例对本发明做进一步的说明。
如图1所示，一种基于预测增量宽度学习的图像识别分类方法，包括以下步骤：
步骤一：建立宽度学习模型，输入各类节点初始数量，设置识别准确度。
宽度学习模型的输入层是由两部分组成，分别是映射节点与增强节点，映射节点记为Z，增强节点记为H，原始输入记为X；映射节点是通过原始输入X 经过线性变换与激活函数输出得到，而增强节点是通过映射节点线性变换与激活函数输出得到，其变换公式如式(1)(2)所示
Figure BDA0002763535730000041
Figure BDA0002763535730000042
其中W1,β1,W2,β2为自动编码产生的基础上加上稀疏性限制产生而来的数据， W1、W2为随机权重矩阵，β1、β2为随机偏差矩阵，φ为映射节点的激活函数，ξ为增强节点的激活函数，
Figure BDA0002763535730000051
新的输入层即为A＝[Z|H]，则宽度学***衡，随着λ的增大，模型的方差减小，偏差增大，求得W如(3)所示:
Figure BDA0002763535730000052
步骤二：通过拟合函数计算需要的增强节点数量。
假设给定拟合函数为f(x；a,b,c...)，已知N个测量数据(x1,x2,x3...xN)及其对应结果(y1,y2,y3...yN)，最小二乘法是通过将误差平方和最小化来求取设定函数的待定系数，误差平方和S如式(4)所示：
Figure BDA0002763535730000053
其中xi表示第i个测量数据，yi表示第i个测量数据的对应结果，i＝1,2,3…N；对于线性方程，误差平方和S最小，则必有
Figure BDA0002763535730000054
通过式(5)得到一个线性方程组，再求解线性方程组算出待定系数a,b,c...；
对于宽度学习，其增强节点的数量与识别准确度之间为非线性关系；若拟合函数为非线性方程，再应用最小二乘法求得待定系数，最终得到增强节点数量与识别准确度的近似函数，利用近似函数求得设置识别准确度所对应的增强节点数量。
步骤三：增加增强节点数量，进行增量宽度学习。
对于一些情况，当初始的模型拟合能力不够时，可以采用增量宽度学习来提高拟合能力，增量宽度学习是将增加的增强节点合并到原来的输入层中，增强层的增强节点越多，其非线性近似能力就越强；输入层即变为[A|ζ(ZeW3+β3)]，其中W3为随机权重矩阵，β3为随机偏差矩阵，Ze为增加的增强节点，W3,β3也同为随机生成并通过稀疏自编码得到。
步骤四：判断测试识别准确度是否大于设置识别准确度，若否，则返回步骤三；若是，则输出训练结果与识别准确度。
实施例
本发明通过使用matlab软件对MNIST，Fashion-MNIST，EMNIST中的Digits 与Letters一共4个数据集进行测试。测试结果如下表1-表4所示：
表1 MNIST
Figure BDA0002763535730000061
表2 Fashion MNIST
Figure BDA0002763535730000062
表3 EMNIST Letters
Figure BDA0002763535730000063
Figure BDA0002763535730000071
表4EMNIST Digits
Figure BDA0002763535730000072
对以上4个表格中的数据分析可知，本发明对MNIST与EMNIST Digits有着较强的拟合能力，且实测准确度与设置准确度相差不大，并且有着较快的处理速度。对FashionMNIST与EMNIST Letters的拟合能力一般，且依旧有着较快的处理速度。总体而言，本发明对于以上4个数据集的拟合效果较优，实测准确基本符合设置准确度，且用时较短。

Claims (4)

1.一种基于预测增量宽度学习的图像识别分类方法，其特征在于，包括以下步骤：
步骤一：建立宽度学习模型，输入各类节点初始数量，设置识别准确度；
步骤二：通过拟合函数计算需要的增强节点数量；
步骤三：增加增强节点数量，进行增量宽度学习；
步骤四：判断测试识别准确度是否大于设置识别准确度，若否，则返回步骤三；若是，则输出训练结果与识别准确度。
2.根据权利要求1所述的基于预测增量宽度学习的图像识别分类方法，其特征在于，所述步骤一中，宽度学习模型的输入层是由两部分组成，分别是映射节点与增强节点，映射节点记为Z，增强节点记为H，原始输入记为X；映射节点是通过原始输入X经过线性变换与激活函数输出得到，而增强节点是通过映射节点线性变换与激活函数输出得到，其变换公式如式(1)(2)所示
Figure FDA0002763535720000011
Figure FDA0002763535720000012
其中W1,β1,W2,β2为自动编码产生的基础上加上稀疏性限制产生而来的数据，W1、W2为随机权重矩阵，β1、β2为随机偏差矩阵，φ为映射节点的激活函数，ξ为增强节点的激活函数，
Figure FDA0002763535720000013
新的输入层即为A＝[Z|H]，则宽度学***衡，随着λ的增大，模型的方差减小，偏差增大，求得W如(3)所示:
Figure FDA0002763535720000021
3.根据权利要求2所述的基于预测增量宽度学***方和最小化来求取设定函数的待定系数，误差平方和S如式(4)所示：
Figure FDA0002763535720000022
其中xi表示第i个测量数据，yi表示第i个测量数据的对应结果，i＝1,2,3…N；
对于线性方程，误差平方和S最小，则必有
Figure FDA0002763535720000023
通过式(5)得到一个线性方程组，再求解线性方程组算出待定系数a,b,c...；
对于宽度学习，其增强节点的数量与识别准确度之间为非线性关系；若拟合函数为非线性方程，则将非线性方程进行变换转化为线性方程，再应用最小二乘法求得待定系数，最终得到增强节点数量与识别准确度的近似函数，利用近似函数求得设置识别准确度所对应的增强节点数量。
4.根据权利要求2所述的基于预测增量宽度学习的图像识别分类方法，其特征在于，所述步骤三中，增量宽度学习是将增加的增强节点合并到原来的输入层中，增强层即为原输入层加上通过增量宽度学习的增强节点，由于输入节点数无法改变，则增强层的增强节点越多，其非线性近似能力就越强；输入层即变为[A|ζ(ZeW3+β3)]，其中W3为随机权重矩阵，β3为随机偏差矩阵，Ze为增加的增强节点，W3,β3也同为随机生成并通过稀疏自编码得到。
CN202011225539.9A 2020-11-05 2020-11-05 基于预测增量宽度学习的图像识别分类方法 Active CN112308159B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011225539.9A CN112308159B (zh) 2020-11-05 2020-11-05 基于预测增量宽度学习的图像识别分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011225539.9A CN112308159B (zh) 2020-11-05 2020-11-05 基于预测增量宽度学习的图像识别分类方法

Publications (2)

Publication Number Publication Date
CN112308159A true CN112308159A (zh) 2021-02-02
CN112308159B CN112308159B (zh) 2023-04-07

Family

ID=74326366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011225539.9A Active CN112308159B (zh) 2020-11-05 2020-11-05 基于预测增量宽度学习的图像识别分类方法

Country Status (1)

Country Link
CN (1) CN112308159B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112802011A (zh) * 2021-02-25 2021-05-14 上海电机学院 一种基于vgg-bls的风机叶片缺陷检测方法
CN113591653A (zh) * 2021-07-22 2021-11-02 中南大学 一种基于宽度学习***的增量式锌浮选工况判别方法
CN113657479A (zh) * 2021-08-12 2021-11-16 广东省人民医院 一种新型多尺度深宽结合的病理图片分类方法、***及介质
CN114611691A (zh) * 2022-03-11 2022-06-10 华南理工大学 一种基于精度的宽度学习动态节点调整方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537227A (zh) * 2018-03-21 2018-09-14 华中科技大学 一种基于宽度学习和广角显微图像的商品离线鉴伪方法
CN109522838A (zh) * 2018-11-09 2019-03-26 大连海事大学 一种基于宽度学习的安全帽图像识别算法
CN110146812A (zh) * 2019-05-15 2019-08-20 吉林大学珠海学院 一种基于特征节点增量式宽度学习的电机故障诊断方法
CN110288088A (zh) * 2019-06-28 2019-09-27 中国民航大学 基于流形正则化和宽度网络的半监督宽度学习分类方法
CN111444759A (zh) * 2020-02-06 2020-07-24 安信通科技（澳门）有限公司 一种基于宽度学习算法的手写体识别方法及***
CN111709523A (zh) * 2020-06-19 2020-09-25 中国矿业大学 一种基于内部集成的宽度学习方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537227A (zh) * 2018-03-21 2018-09-14 华中科技大学 一种基于宽度学习和广角显微图像的商品离线鉴伪方法
CN109522838A (zh) * 2018-11-09 2019-03-26 大连海事大学 一种基于宽度学习的安全帽图像识别算法
CN110146812A (zh) * 2019-05-15 2019-08-20 吉林大学珠海学院 一种基于特征节点增量式宽度学习的电机故障诊断方法
CN110288088A (zh) * 2019-06-28 2019-09-27 中国民航大学 基于流形正则化和宽度网络的半监督宽度学习分类方法
CN111444759A (zh) * 2020-02-06 2020-07-24 安信通科技（澳门）有限公司 一种基于宽度学习算法的手写体识别方法及***
CN111709523A (zh) * 2020-06-19 2020-09-25 中国矿业大学 一种基于内部集成的宽度学习方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIANCHAO FAN等: "Incremental Wishart Broad Learning System for Fast PolSAR Image Classification" *
李国强;徐立庄;: "局部感受野的宽度学习算法及其应用" *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112802011A (zh) * 2021-02-25 2021-05-14 上海电机学院 一种基于vgg-bls的风机叶片缺陷检测方法
CN113591653A (zh) * 2021-07-22 2021-11-02 中南大学 一种基于宽度学习***的增量式锌浮选工况判别方法
CN113657479A (zh) * 2021-08-12 2021-11-16 广东省人民医院 一种新型多尺度深宽结合的病理图片分类方法、***及介质
CN113657479B (zh) * 2021-08-12 2022-12-06 广东省人民医院 一种新型多尺度深宽结合的病理图片分类方法、***及介质
CN114611691A (zh) * 2022-03-11 2022-06-10 华南理工大学 一种基于精度的宽度学习动态节点调整方法
CN114611691B (zh) * 2022-03-11 2024-05-14 华南理工大学 一种基于精度的宽度学习动态节点调整方法

Also Published As

Publication number Publication date
CN112308159B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN112308159B (zh) 基于预测增量宽度学习的图像识别分类方法
CN110111297B (zh) 一种基于迁移学习的注塑制品表面图像缺陷识别方法
CN109582956B (zh) 应用于句子嵌入的文本表示方法和装置
CN110705592B (zh) 分类模型训练方法、装置、设备及计算机可读存储介质
Wang et al. An approach to increase prediction precision of GM (1, 1) model based on optimization of the initial condition
Torra et al. Regression for ordinal variables without underlying continuous variables
CN110046228B (zh) 短文本主题识别方法和***
CN110046353B (zh) 一种基于多语言层次机制的方面级情感分析方法
CN107562787B (zh) 一种poi编码方法及装置、poi推荐方法，电子设备
CN113129053B (zh) 信息推荐模型训练方法、信息推荐方法及存储介质
Chen et al. Bayesian inference for finite population quantiles from unequal probability samples
CN113343091A (zh) 面向产业和企业的科技服务推荐计算方法、介质及程序
Wang et al. Adaptive LASSO for varying-coefficient partially linear measurement error models
Byerly et al. The current state of the art in deep learning for image classification: a review
Garg et al. Multi-objective optimisation framework of genetic programming for investigation of bullwhip effect and net stock amplification for three-stage supply chain systems
CN112257958A (zh) 一种电力饱和负荷预测方法及装置
CN115758145A (zh) 模型训练方法、文本识别方法、电子设备及可读存储装置
Bibi et al. Estimation of some bilinear time series models with time varying coefficients
Guan et al. Ship roll motion prediction based on ℓ 1 regularized extreme learning machine
Zhao et al. Semi varying coefficient zero-inflated generalized Poisson regression model
Hrycej et al. Number of Attention Heads vs Number of Transformer-Encoders in Computer Vision
CN114385831B (zh) 一种基于特征提取的知识图谱关系预测方法
CN112307227B (zh) 一种数据分类方法
Zhong et al. Semi-distance correlation and its applications
CN114116995B (zh) 基于增强图神经网络的会话推荐方法、***及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant