CN113159072A - 一种基于一致正则化的在线超限学习机目标识别方法及*** - Google Patents
一种基于一致正则化的在线超限学习机目标识别方法及*** Download PDFInfo
- Publication number
- CN113159072A CN113159072A CN202110436775.3A CN202110436775A CN113159072A CN 113159072 A CN113159072 A CN 113159072A CN 202110436775 A CN202110436775 A CN 202110436775A CN 113159072 A CN113159072 A CN 113159072A
- Authority
- CN
- China
- Prior art keywords
- feature
- regularization
- online
- hidden layer
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000013528 artificial neural network Methods 0.000 claims abstract description 51
- 238000012549 training Methods 0.000 claims abstract description 39
- 230000006870 function Effects 0.000 claims abstract description 31
- 238000005457 optimization Methods 0.000 claims abstract description 8
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 37
- 125000004432 carbon atom Chemical group C* 0.000 claims description 15
- 239000013598 vector Substances 0.000 claims description 14
- 238000009826 distribution Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000003190 augmentative effect Effects 0.000 claims description 4
- 238000000513 principal component analysis Methods 0.000 claims description 3
- 238000009827 uniform distribution Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000282693 Cercopithecidae Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
- G06V10/507—Summing image-intensity values; Histogram projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于一致正则化的在线超限学习机目标识别方法及***,本发明包括进行基于单隐层前馈神经网络的分类器的学习和训练的下述步骤:针对训练图像进行特征提取,得到相应的图像特征集,并将图像特征集随机划分为多个特征子集;对所划分的特征子集,分别生成对应的近邻特征样本;将一致正则化约束引入在线超限学习目标优化函数,随机生成首先单隐层前馈神经网络的隐层节点参数,选取任一特征子集及其邻近样本进行初始化网络权重生成,基于剩余特征子集进行网络权重的迭代更新以完成基于单隐层前馈神经网络的分类器的学习与训练。本发明具有噪声容忍性强、分类识别精度高、学习速度快、任务可扩展性好的优点。
Description
技术领域
本发明涉及图像分类、目标识别技术领域,具体涉及一种基于一致正则化的在线超限学习机目标识别方法及***。
背景技术
超限学习机(extreme learning machine,ELM)是一种高效、泛化、最初以单隐层前馈神经网络为基础的神经网络学习算法。超限学习机理论的提出受生物学习启发并试图解释回答生物神经元在学习过程中是否需要调整的基本问题。在其提出后不久,哈佛大学、斯坦福大学、麻省理工大学、IBM沃森等知名研究机构相继在鼠的嗅觉***、猴的视觉***以及人的感知***中得到直接或间接验证。超限学习机理论的核心内容为:具有非线性分段连续响应的隐层节点的单隐层前馈神经网络,可以不需调整隐层节点参数即可任意逼近连续目标函数。通过超限学习机理论分析证明,单隐层前馈神经网络的训练可以转化为对特定线性***最小二乘解的求解,以解析式的矩阵运算代替传统的迭代式梯度下降,从而使得应用超限学习机原理训练随机神经网络,具备计算快速可满足实时学习、待人工设定的学习参量少、准确度高和泛化能力良好等突出优势。在3D图形分割、交通路标识别、语音情感识别、机器人学习控制、人脸识别、手势识别等任务中,超限学习机均有广泛应用且效果显著。
但是,由于浅层网络结构的特征表示能力很差,传统的超限学***稳时间序列预测问题,提出一种具有广义正则化与遗忘机制的在线贯序超限学***稳***的动态跟踪能力,并通过引入一种广义的l2正则化使其具有持续的正则化功能,从而保证算法的持续稳定性;针对大规模在线学习问题,提出一种二维分割贯序正则化超限学习机(BP-SRELM).BP-SRELM以在线贯序超限学习机为基础,结合分治策略的思想,从实例和特征两个维度对高维隐层输出矩阵进行分割,以降低问题求解的规模和计算复杂性,从而极大地提高对大规模学习问题的执行效率。同时,BP-SRELM通过融合使用Tikhonov正则化技术进一步增强其在实际应用中的稳定性和泛化能力。
发明内容
本发明要解决的技术问题:针对现有技术的上述问题,提供一种基于一致正则化的在线超限学习机目标识别方法及***,旨在实现噪声容忍性强、分类识别精度高、任务可扩展性好的在线超限学习机目标识别。
为了解决上述技术问题,本发明采用的技术方案为:
一种基于一致正则化的在线超限学习机目标识别方法,包括进行基于单隐层前馈神经网络的分类器的学习和训练的下述步骤:
S1、获取训练图像,针对训练图像进行特征提取,得到相应的图像特征集,并将图像特征集随机划分为多个特征子集;
S2、对所划分的特征子集,分别生成对应的近邻特征样本;
S3、将一致正则化约束引入在线超限学习目标优化函数,随机生成首先单隐层前馈神经网络的隐层节点参数,选取任一特征子集及其邻近样本进行初始化网络权重生成,基于剩余特征子集进行网络权重的迭代更新以完成基于单隐层前馈神经网络的分类器的学习与训练。
可选地,步骤S1中进行特征提取时采用的方法为梯度直方图、主成分分析、预先完成训练的深度卷积网络中的一种,且得到相应的图像特征集的维度低于原始训练图像的维度。
可选地,所述预先完成训练的深度卷积网络为CNN-15深度卷积网络模型,且预先训练CNN-15深度卷积网络模型时采用的训练损失函数如下式所示:
上式中,l cos 表示训练损失函数,λ 1和λ 2为权重系数,R 0为一致正则化项,R 1为交叉熵正则化项,y i 为标签,p(y i |x i )为模型预测输出,l为样本个数,其中:
可选地,步骤S2中对所划分的特征子集生成对应的近邻特征样本具体是指:基于平滑性假设,针对特征子集中的每一个特征向量,将与该特征向量所对应的标签满足下式的特征向量视为近邻特征样本,并构造高斯分布的偏移量并加入到特征子集的数据中,从而得到每一个特征子集生成对应的所有近邻特征样本;
上式中,F(x i )为样本特征,F(x j )为样本特征,l为权重系数,x i 为样本,x j 为样本,δ为偏移量常数系数。
可选地,步骤S3中将一致正则化约束引入在线超限学习目标优化函数得到的目标函数为:
上式中,H,分别对应于原始输入特征及其对应邻域样本特征作为输入、所用单隐层前馈神经网络的隐层输出矩阵,β为待学习优化的所用单隐层前馈神经网络的输出层权重,Y为标签矩阵,F表示弗罗宾尼斯范数,c 0 , c 1 分别为对应正则化项的权重系数。
可选地,步骤S3中选取任一特征子集及其邻近样本进行初始化网络权重生成时,单隐层前馈神经网络的输出权重的计算函数表达式如下式所示:
上式中,β * 表示单隐层前馈神经网络的输出权重,H,分别对应于原始输入特征及其对应邻域样本特征作为输入、所用单隐层前馈神经网络的隐层输出矩阵,c 0 , c 1 分别为对应正则化项的权重系数,Y为标签矩阵,I为单位矩阵,N为样本数目,d为特征维度。
可选地,步骤S3中基于剩余特征子集进行网络权重的迭代更新的函数表达式如下式所示:
上式中,K k+1,K k 分别为第k+1和第k次迭代的系数矩阵,β k+1,β k 分别为第k+1和第k次迭代的权重矩阵,H k+1为数据矩阵,为增广数据矩阵,β k 为权重矩阵,Y k+1为标签矩阵,c 1 为权重系数,且有初始值:
可选地,步骤S3之后还包括将完成学习和训练后的基于单隐层前馈神经网络的分类器应用于图像的目标识别的步骤:获取待分类识别图像,针对待分类识别图像进行特征提取,得到相应的图像特征集,并将图像特征集输入完成学习和训练后的基于单隐层前馈神经网络的分类器,得到待分类识别图像中的目标识别结果。
此外,本发明还提供一种基于一致正则化的在线超限学习机目标识别***,包括相互连接的处理单元和存储器,所述处理单元被编程或配置以执行所述的基于一致正则化的在线超限学习机目标识别方法的步骤。
此外,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有被编程或配置以执行所述的基于一致正则化的在线超限学习机目标识别方法的计算机可读存储介质。
和现有技术相比,本发明主要具有下述优点:
1、本发明采用超限学习机进行分类器学习训练时,引入了数据一致性约束并作为正则化项融入在线超限学习机的目标优化函数设计中,从而使得训练所得的分类器在具备传统超限学习机的优势如学习速度块、计算代价小以及泛化能力强等的同时,能够有效容忍训练数据及其标签中存在的噪声,分类识别的鲁棒性得到有效提升。
2、本发明方法可作为一独立功能模块嵌入至多种机器学习(有监督学习、无监督学习、半监督学习等)、模式识别任务中,具有较好的可拓展性。
附图说明
图1是本实施例方法的基本原理示意图。
图2是本实施例方法的训练流程示意图。
图3是本实施例方法在典型国际标准图像分类识别数据库CIFAR-10和CIFAR-100上与相关典型方法的效果性能对比结果表。
图4是本实施例方法在典型国际标准图像分类识别数据库CIFAR-10和CIFAR-100上的效果性能及其与其他代表性方法的分类识别精度对比图的第一部分。
图5是本实施例方法在典型国际标准图像分类识别数据库CIFAR-10和CIFAR-100上的效果性能及其与其他代表性方法的分类识别精度对比图的第二部分。
具体实施方式
以下结合说明书附图和具体优选的实施例对本发明作进一步描述,但并不因此而限制本发明的保护范围。
如图1和图2所示,本实施例基于一致正则化的在线超限学习机目标识别方法包括进行基于单隐层前馈神经网络的分类器的学习和训练的下述步骤:
S1、获取训练图像,针对训练图像进行特征提取,得到相应的图像特征集,并将图像特征集随机划分为多个特征子集;
S2、对所划分的特征子集,分别生成对应的近邻特征样本;
S3、将一致正则化约束引入在线超限学习目标优化函数,随机生成首先单隐层前馈神经网络的隐层节点参数(例如权重、偏置等),选取任一特征子集及其邻近样本进行初始化网络权重生成,基于剩余特征子集进行网络权重的迭代更新以完成基于单隐层前馈神经网络的分类器的学习与训练。
需要说明的是,步骤S1中进行特征提取可根据需要采用现有方法,包括传统知识驱动的特征提取方法或数据驱动的深度卷积网络模型,例如可采用梯度直方图、主成分分析、预先完成训练的深度卷积网络中的一种,且得到相应的图像特征集的维度低于原始训练图像的维度,从而可降低后续的计算量。随后进行随机采样,将特征数据集进一步细分为包含不同样本数量规模的特征子集。
作为一种可选的实施方式,本实施例中预先完成训练的深度卷积网络为CNN-15深度卷积网络模型,且预先训练CNN-15深度卷积网络模型时采用的训练损失函数如下式所示:
上式中,l cos 表示训练损失函数,λ 1和λ 2为权重系数,R 0为一致正则化项,R 1为交叉熵正则化项,y i 为标签,p(y i |x i )为模型预测输出,l为样本个数,其中:
本实施例步骤S2中对所划分的特征子集生成对应的近邻特征样本具体是指:基于平滑性假设,针对特征子集中的每一个特征向量,将与该特征向量所对应的标签满足下式的特征向量视为近邻特征样本,并构造高斯分布的偏移量并加入到特征子集的数据中,从而得到每一个特征子集生成对应的所有近邻特征样本;
上式中,F(x i )为样本特征,F(x j )为样本特征,l为权重系数,x i 为样本,x j 为样本,δ为偏移量常数系数, 且有:l∈R +,R +为大于0的实数。本实施例中进行邻近样本生产时,主要基于平滑性假设,即如果两个输入数据或特征向量在输入空间或特征空间接近,则这样的两个输入数据或特征向量所对应的标签应该相同,即上式成立。
由于对任意x i ∈R d 有x j = x i +δ,因此应有:
也因此可被称作一致性正则化项,其能够很好地反映分类模型出现过拟合的程度。从而对于特征子集中的数据中加入小幅的可变偏移量,相应标签保持与对应输入数据的一致,从而完成数据的增广以扩充原有的特征集数据规模。本实施例步骤S2生成对应的近邻特征样本时,包括依据下式构造高斯分布的偏移量并加入到特征子集的数据中,同时对应标签保持一致,进而完成邻近样本生成,增广原有的特征子集数据规模。
上式中,σ为服从多维高斯分布的偏移量,N(p|μ,Σ)为正态分布,μ为高斯分布的均值向量,Σ为高斯分布的协方差矩阵。通常取μ=0,Σ=I,其中I为单位矩阵;x,分别为d维原始特征向量以及生成的增广邻域向量。
步骤S3中将一致正则化约束引入在线超限学习目标优化函数得到的目标函数为:
上式中,H,分别对应于原始输入特征及其对应邻域样本特征作为输入、所用单隐层前馈神经网络的隐层输出矩阵,β为待学习优化的所用单隐层前馈神经网络的输出层权重,Y为标签矩阵,F表示弗罗宾尼斯范数,c 0 , c 1 分别为对应正则化项的权重系数。本实施例中基于一致正则化的在线超限学习分类步骤中,将数据一致性正则化进一步与在线超限学习机相结合,定义如上式所示的目标函数并据此进行单隐层前馈神经网络的学习训练。
本实施例步骤S3中选取任一特征子集及其邻近样本进行初始化网络权重生成时,单隐层前馈神经网络的输出权重的计算函数表达式如下式所示:
上式中,β * 表示单隐层前馈神经网络的输出权重,H,分别对应于原始输入特征及其对应邻域样本特征作为输入、所用单隐层前馈神经网络的隐层输出矩阵,c 0 , c 1 分别为对应正则化项的权重系数,Y为标签矩阵,I为单位矩阵,N为样本数目,d为特征维度。
本实施例步骤S3中基于剩余特征子集进行网络权重的迭代更新的函数表达式如下式所示:
上式中,K k+1,K k 分别为第k+1和第k次迭代的系数矩阵,β k+1,β k 分别为第k+1和第k次迭代的权重矩阵,H k+1为数据矩阵,为增广数据矩阵,β k 为权重矩阵,Y k+1为标签矩阵,c 1 为权重系数,且有初始值:
本实施例中,为使得网络学习过程中能够进行在线、增量式学习,结合在线序贯超限学习理论,有如上式迭代增量式的输出权重更新公式。
此外,如图1所示,本实施例步骤S3之后还包括将完成学习和训练后的基于单隐层前馈神经网络的分类器应用于图像的目标识别的步骤:获取待分类识别图像,针对待分类识别图像进行特征提取,得到相应的图像特征集,并将图像特征集输入完成学习和训练后的基于单隐层前馈神经网络的分类器,得到待分类识别图像中的目标识别结果。
单隐层前馈神经网络训练完毕后,输入新图像再完成本实施例步骤S1中相同的特征提取操作后输入到单隐层前馈神经网络中,即可完成相应的分类识别。如图3所示为本发明方法在典型国际标准图像分类识别数据库CIFAR-10和CIFAR-100上与相关典型方法的效果性能对比结果。参见图3,相关典型方法包括VAE、NPD、VAE+SSELM、UPID+SSELM、PlainCNN、CNN+OS-ELM等。如图4和图5中子图(a)~(h)所示为不同噪声强度下,本发明实施例方法在典型国际标准图像分类识别数据库CIFAR-10和CIFAR-100上的效果性能及其与其他代表性方法的分类识别精度对比,参见图3~图5可知,对于图像数据中存在噪声时,本实施例方法也能够具有较好的分类识别性能,可实现基于图像的快速、准确目标识别。
综上所述,本实施例方法包括获取待分类识别的训练图像并进行适当的图像特征提取,构成训练特征集;对用于最终目标识别的单隐层前馈神经网络的隐层节点权重、偏置等参数进行随机初始化;对训练特征集进行随机划分,得到多个特征样本子集;挑选其中任意一个子集进行邻域样本生成后,依据一致正则化约束超限学习原理进行单隐层前馈神经网络的输出层权重初始化学习;依次选取剩余的多个特征子集基于一致正则化约束的超限学习依次进行迭代、增量式的输出层权重学习更新直至收敛。最终训练得到的单隐层前馈神经网络模型可用于实现基于图像的快速、准确目标识别,本实施例方法具有噪声容忍性强、分类识别精度高、学习速度快、任务可扩展性好等优点。
此外,本实施例还提供一种基于一致正则化的在线超限学习机目标识别***,包括相互连接的处理单元和存储器,该处理单元被编程或配置以执行前述的基于一致正则化的在线超限学习机目标识别方法的步骤。该处理单元可以为微处理器、或微处理器和加速器的集合,其中加速器可为GPU或其他专用加速处理器。
此外,本实施例还提供一种计算机可读存储介质,计算机可读存储介质中存储有被编程或配置以执行前述的基于一致正则化的在线超限学习机目标识别方法的计算机可读存储介质。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种基于一致正则化的在线超限学习机目标识别方法,其特征在于,包括进行基于单隐层前馈神经网络的分类器的学习和训练的下述步骤:
S1、获取训练图像,针对训练图像进行特征提取,得到相应的图像特征集,并将图像特征集随机划分为多个特征子集;
S2、对所划分的特征子集,分别生成对应的近邻特征样本;
S3、将一致正则化约束引入在线超限学习目标优化函数,随机生成首先单隐层前馈神经网络的隐层节点参数,选取任一特征子集及其邻近样本进行初始化网络权重生成,基于剩余特征子集进行网络权重的迭代更新以完成基于单隐层前馈神经网络的分类器的学习与训练。
2.根据权利要求1所述的种基于一致正则化的在线超限学习机目标识别方法,其特征在于,步骤S1中进行特征提取时采用的方法为梯度直方图、主成分分析、预先完成训练的深度卷积网络中的一种,且得到相应的图像特征集的维度低于原始训练图像的维度。
8.根据权利要求1~7中任意一项所述的基于一致正则化的在线超限学习机目标识别方法,其特征在于,步骤S3之后还包括将完成学习和训练后的基于单隐层前馈神经网络的分类器应用于图像的目标识别的步骤:获取待分类识别图像,针对待分类识别图像进行特征提取,得到相应的图像特征集,并将图像特征集输入完成学习和训练后的基于单隐层前馈神经网络的分类器,得到待分类识别图像中的目标识别结果。
9.一种基于一致正则化的在线超限学习机目标识别***,包括相互连接的处理单元和存储器,其特征在于,所述处理单元被编程或配置以执行权利要求1~8中任意一项所述的基于一致正则化的在线超限学习机目标识别方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有被编程或配置以执行权利要求1~8中任意一项所述的基于一致正则化的在线超限学习机目标识别方法的计算机可读存储介质。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110436775.3A CN113159072B (zh) | 2021-04-22 | 2021-04-22 | 基于一致正则化的在线超限学习机目标识别方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110436775.3A CN113159072B (zh) | 2021-04-22 | 2021-04-22 | 基于一致正则化的在线超限学习机目标识别方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113159072A true CN113159072A (zh) | 2021-07-23 |
CN113159072B CN113159072B (zh) | 2022-07-19 |
Family
ID=76869608
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110436775.3A Active CN113159072B (zh) | 2021-04-22 | 2021-04-22 | 基于一致正则化的在线超限学习机目标识别方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113159072B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023221186A1 (zh) * | 2022-05-17 | 2023-11-23 | 慧壹科技(上海)有限公司 | 一种化合物聚类的方法、装置、***及存储介质 |
CN117194900A (zh) * | 2023-09-25 | 2023-12-08 | 中国铁路成都局集团有限公司成都供电段 | 一种基于自适应感知的设备运行轻量化监测方法及*** |
WO2024092491A1 (zh) * | 2022-11-01 | 2024-05-10 | 京东方科技集团股份有限公司 | 模型的解释方法、装置、设备以及计算机存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014182787A2 (en) * | 2013-05-08 | 2014-11-13 | Jpmorgan Chase Bank, N.A. | Systems and methods for high fidelity multi-modal out-of-band biometric authentication |
CN107563444A (zh) * | 2017-09-05 | 2018-01-09 | 浙江大学 | 一种零样本图像分类方法及*** |
CN111340740A (zh) * | 2020-05-15 | 2020-06-26 | 杭州微帧信息科技有限公司 | 一种融合多种正则化方法提升视频恢复的时域稳定性方法 |
-
2021
- 2021-04-22 CN CN202110436775.3A patent/CN113159072B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014182787A2 (en) * | 2013-05-08 | 2014-11-13 | Jpmorgan Chase Bank, N.A. | Systems and methods for high fidelity multi-modal out-of-band biometric authentication |
CN107563444A (zh) * | 2017-09-05 | 2018-01-09 | 浙江大学 | 一种零样本图像分类方法及*** |
CN111340740A (zh) * | 2020-05-15 | 2020-06-26 | 杭州微帧信息科技有限公司 | 一种融合多种正则化方法提升视频恢复的时域稳定性方法 |
Non-Patent Citations (2)
Title |
---|
HAN ZHANG ;: "《CONSISTENCY REGULARIZATION FOR GENERATIVE ADVERSARIAL NETWORKS 》", 《PUBLISHED AS A CONFERENCE PAPER AT ICLR 2020》 * |
郭威 等;: "《具有广义正则化与遗忘机制的在线贯序超限学习机》", 《控制与决策》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023221186A1 (zh) * | 2022-05-17 | 2023-11-23 | 慧壹科技(上海)有限公司 | 一种化合物聚类的方法、装置、***及存储介质 |
WO2024092491A1 (zh) * | 2022-11-01 | 2024-05-10 | 京东方科技集团股份有限公司 | 模型的解释方法、装置、设备以及计算机存储介质 |
CN117194900A (zh) * | 2023-09-25 | 2023-12-08 | 中国铁路成都局集团有限公司成都供电段 | 一种基于自适应感知的设备运行轻量化监测方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN113159072B (zh) | 2022-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wason | Deep learning: Evolution and expansion | |
Zhong et al. | From shallow feature learning to deep learning: Benefits from the width and depth of deep architectures | |
Schulz et al. | Deep learning: Layer-wise learning of feature hierarchies | |
Nair et al. | 3D object recognition with deep belief nets | |
CN113159072B (zh) | 基于一致正则化的在线超限学习机目标识别方法及*** | |
WO2020095321A2 (en) | Dynamic structure neural machine for solving prediction problems with uses in machine learning | |
Jha et al. | Data augmentation for handwritten digit recognition using generative adversarial networks | |
Shiloh-Perl et al. | Introduction to deep learning | |
CN111753995A (zh) | 一种基于梯度提升树的局部可解释方法 | |
Xue et al. | DIOD: Fast, semi-supervised deep ISAR object detection | |
Yeganejou et al. | Improved deep fuzzy clustering for accurate and interpretable classifiers | |
Berradi | Symmetric power activation functions for deep neural networks | |
Tariyal et al. | Greedy deep dictionary learning for hyperspectral image classification | |
Chen et al. | Deep sparse autoencoder network for facial emotion recognition | |
US20230031512A1 (en) | Surrogate hierarchical machine-learning model to provide concept explanations for a machine-learning classifier | |
CN113487027B (zh) | 基于时序对齐预测的序列距离度量方法、存储介质及芯片 | |
Shetty et al. | Comparative analysis of different classification techniques | |
Passos Júnior et al. | Deep Boltzmann machines using adaptive temperatures | |
Latypova et al. | Peculiarities of image recognition by the Hopfield neural network | |
Chen et al. | Universal adder neural networks | |
Jiang et al. | CMCI: A Robust Multimodal Fusion Method for Spiking Neural Networks | |
Ettaouil | A novel pooling method for regularization of deep neural networks | |
Golchha et al. | Quantum-enhanced support vector classifier for image classification | |
Cha et al. | Image Generation Network Model based on Principal Component Analysis | |
Deng et al. | CodeeGAN: Code generation via adversarial training |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |