CN110443318B - 一种基于主成分分析和聚类分析的深度神经网络方法 - Google Patents

一种基于主成分分析和聚类分析的深度神经网络方法 Download PDF

Info

Publication number
CN110443318B
CN110443318B CN201910734831.4A CN201910734831A CN110443318B CN 110443318 B CN110443318 B CN 110443318B CN 201910734831 A CN201910734831 A CN 201910734831A CN 110443318 B CN110443318 B CN 110443318B
Authority
CN
China
Prior art keywords
training
neural network
data
cluster analysis
pca
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910734831.4A
Other languages
English (en)
Other versions
CN110443318A (zh
Inventor
金勇�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Firehome Putian Information Technology Co ltd
Original Assignee
Wuhan Firehome Putian Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Firehome Putian Information Technology Co ltd filed Critical Wuhan Firehome Putian Information Technology Co ltd
Priority to CN201910734831.4A priority Critical patent/CN110443318B/zh
Publication of CN110443318A publication Critical patent/CN110443318A/zh
Application granted granted Critical
Publication of CN110443318B publication Critical patent/CN110443318B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于主成分分析和聚类分析的深度神经网络方法，具体包括以下步骤：S1：将标签数据划分为训练数据和测试数据，训练数据用于模型的训练学习；S2：利用PCA将训练数据的所有初始数据特征进行特征降维，提取新的主成分；S3：根据PCA提取的主成分，对所有训练样本进行K‑Means聚类分析；S4：将上层数据结果作为输入，再结合聚类得到的标签，组成单层神经网络进行训练，得到网络权重参数。本发明提出的一种基于主成分分析和聚类分析的深度神经网络方法，将统计特征学习方法与神经网络的结合应用，从训练过程中优化了传统多层神经网络的训练方式，针对普通深度神经网络的学习，得到了更好的测试效果。

Description

一种基于主成分分析和聚类分析的深度神经网络方法
技术领域
本发明涉及机器学习及人工智能技术领域，特别是涉及一种基于主成分分析和聚类分析的深度神经网络方法。
背景技术
近年来，人工智能技术在工业界和学术界都引起了广泛关注，而机器学习方法在人工智能领域则扮演着核心作用，并且在很多领域已经得到应用，例如生物特征序列、自然语言处理、计算机视觉、图像识别、金融市场分析等多个领域得到快速发展。其中，深度学习在很多领域的表现很显著。深度信念网络(Deep Belief Network,DBN)作为经典的深度学习方法，在特征提取与分类学习方面具有较高的研究意义。
深度信念网络(DBN)的主要思想分为两阶段学习，第一阶段是利用限制玻尔兹曼机(Restricted Boltzmann Machine，RBM)进行无监督预训练(unsupervised pre-training)提取特征，第二阶段是结合第一阶段得到的特征以及数据对应的标签，采用传统的反向传播算法(Back propagation,BP)对模型参数进行微调。其中，第一阶段类似于一种特征抽象的过程，对于此过程，聚类分析和主成分分析方法都是基于统计的特征提取方法，另一方面，聚类分析对于大量的输入特征来说，聚类效率较慢，所以综上考虑，急于研发一种将主成分分析(Principle Component Analysis，PCA)与聚类分析(Cluster analysis)方法结合起来嵌入到深度神经网络模型中做无监督的预训练，然后在第二阶段进行相同的BP算法，以提高深度神经网络的训练学习效果。
发明内容
为了克服现有技术的上述不足，本发明提出了一种基于主成分分析和聚类分析的深度神经网络方法，解决现有普通深度神经网络学习效果差的问题。
本发明是通过以下技术方案实现的：
一种基于主成分分析和聚类分析的深度神经网络方法，具体包括以下步骤：
S1：图像集划分：将标签数据划分为训练数据和测试数据，训练数据用于模型的训练学习，测试集用于测试模型的综合效果；
S2：PCA特征降维：利用PCA将训练数据的所有初始数据特征进行特征降维，提取新的主成分；
S3：K-Means聚类分析：根据PCA提取的主成分，对所有训练样本进行K-Means聚类分析，聚类的数目为网络结构的隐含层数量，聚类结果的类别作为每个训练样本对应的隐含标签；
S4：将上层数据结果作为输入，再结合聚类得到的标签，组成单层神经网络进行训练，得到网络权重参数；
S5：利用S4得到的单层神经网络权重作为整个神经网络的初始权重，然后利用反向传播算法对权重进行调优；
S6：将上述训练模型参数用于模型的应用预测。
进一步的，S2中所述的PCA特征降维是在保留初始输入大部分信息的前提下对初始特征维数进行大幅度降低。
与现有技术相比，本发明的有益效果在于：
本发明提出的一种基于主成分分析和聚类分析的深度神经网络方法，统计特征学习方法与神经网络的结合应用，从训练过程中优化了传统多层神经网络的训练方式，针对普通深度神经网络的学习，得到了更好的测试效果，同时对深度神经网络的训练学习起到了积极效果。
附图说明
图1为本发明实施例所述的一种基于主成分分析和聚类分析的深度神经网络方法的实施流程图。
具体实施方式
展示一下实例来具体说明本发明的某些实施例，且不应解释为限制本发明的范围。对本发明公开的内容可以同时从材料、方法和反应条件进行改进，所有这些改进，均应落入本发明的的精神和范围之内。
如图1所示，一种基于主成分分析和聚类分析的深度神经网络方法，具体包括以下步骤：
S1：图像集划分：将标签数据划分为训练数据和测试数据，训练数据用于模型的训练学习，测试集用于测试模型的综合效果；
S2：PCA特征降维：利用PCA将训练数据的所有初始数据特征进行特征降维，提取新的主成分；例如784维，经过PCA分析保留其中95％以上的主成分信息，得到60维特征，作为下一步聚类分析的变量；
S3：K-Means聚类分析：根据PCA提取的主成分，对所有训练样本进行K-Means聚类分析，聚类的数目为网络结构的隐含层数量，隐含层数量大于或者等于1，聚类结果的类别作为每个训练样本对应的隐含标签；例如网络结构为784-500-300-300-10，第一个聚类的结果数目为500；
S4：将上层数据结果作为输入，再结合聚类得到的标签，组成单层神经网络进行训练，得到网络权重参数；
S5：利用S4得到的单层神经网络权重作为整个神经网络的初始权重，然后利用反向传播算法对权重进行调优；
S6：将上述训练模型参数用于模型的应用预测。
实验过程采用了四个数据集(图像分类)进行训练测试，数据集简介如下表1：
表1训练数据基本信息
基于主成分分析和聚类分析的深度神经网络方法(PCA-KMeans-NN)的实验效果相对普通深度神经网络(DNN，仅用BP算法训练)学习要好，在对应测试数据集上的错误率较低(错误率如下表2所示)，测试分析中对于四个数据集的错误率表现方面PCA-KMeans-NN都要优于DNN。
表2测试结果(测试集错误率)
数据集 PCA-KMeans-NN DNN
MNIST 1.70％ 1.98％
smallMNIST 3.50％ 4.10％
USPS 2.46％ 2.85％
COIL20 0.68％ 1.56％
因此，该发明方法实现了将统计特征学习方法与神经网络的结合应用，从训练过程中优化了传统多层神经网络的训练方式，针对普通深度神经网络的学习，得到了更好的测试效果。该方法在对深度神经网络的预训练特征训练方面提出了一种新的学习方法，对深度神经网络的训练学习起到了积极效果。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (2)

1.一种基于主成分分析和聚类分析的深度神经网络方法，其特征在于，具体包括以下步骤：
S1：图像集划分：将标签数据划分为训练数据和测试数据，训练数据用于模型的训练学习，测试集用于测试模型的综合效果；
S2：PCA特征降维：利用PCA将训练数据的所有初始数据特征进行特征降维，提取新的主成分；
S3：K-Means聚类分析：根据PCA提取的主成分，对所有训练样本进行K-Means聚类分析，聚类的数目为网络结构的隐含层数量，聚类结果的类别作为每个训练样本对应的隐含标签；
S4：将上层数据结果作为输入，再结合聚类得到的标签，组成单层神经网络进行训练，得到网络权重参数；
S5：利用S4得到的单层神经网络权重作为整个神经网络的初始权重，然后利用反向传播算法对权重进行调优；
S6：将上述训练模型参数用于模型的应用预测。
2.根据权利要求1所述的一种基于主成分分析和聚类分析的深度神经网络方法，其特征在于，S2中所述的PCA特征降维是在保留初始输入大部分信息的前提下对初始特征维数进行大幅度降低。
CN201910734831.4A 2019-08-09 2019-08-09 一种基于主成分分析和聚类分析的深度神经网络方法 Active CN110443318B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910734831.4A CN110443318B (zh) 2019-08-09 2019-08-09 一种基于主成分分析和聚类分析的深度神经网络方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910734831.4A CN110443318B (zh) 2019-08-09 2019-08-09 一种基于主成分分析和聚类分析的深度神经网络方法

Publications (2)

Publication Number Publication Date
CN110443318A CN110443318A (zh) 2019-11-12
CN110443318B true CN110443318B (zh) 2023-12-08

Family

ID=68434257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910734831.4A Active CN110443318B (zh) 2019-08-09 2019-08-09 一种基于主成分分析和聚类分析的深度神经网络方法

Country Status (1)

Country Link
CN (1) CN110443318B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112784499A (zh) * 2021-03-05 2021-05-11 云南电网有限责任公司电力科学研究院 一种基于深度学习替代有限元分析的电抗器磁场仿真方法
CN113128031A (zh) * 2021-03-27 2021-07-16 南京林业大学 一种坐具舒适度等级测量装置与评定方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600059A (zh) * 2016-12-13 2017-04-26 北京邮电大学 基于改进rbf神经网络的智能电网短期负荷预测方法
CN109086805A (zh) * 2018-07-12 2018-12-25 华南理工大学 一种基于深度神经网络和成对约束的聚类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10713563B2 (en) * 2017-11-27 2020-07-14 Technische Universiteit Eindhoven Object recognition using a convolutional neural network trained by principal component analysis and repeated spectral clustering

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600059A (zh) * 2016-12-13 2017-04-26 北京邮电大学 基于改进rbf神经网络的智能电网短期负荷预测方法
CN109086805A (zh) * 2018-07-12 2018-12-25 华南理工大学 一种基于深度神经网络和成对约束的聚类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于PCA与SOM神经网络算法的客户价值细分模型研究;胥学峰;邢德恩;宗炫君;;电气自动化(第03期);全文 *
多信息融合技术在船舶柴油机故障诊断中的应用;尚前明;王瑞涵;陈辉;唐新飞;;中国航海(第03期);全文 *

Also Published As

Publication number Publication date
CN110443318A (zh) 2019-11-12

Similar Documents

Publication Publication Date Title
CN111738301B (zh) 一种基于双通道学习的长尾分布图像数据识别方法
CN108846444B (zh) 面向多源数据挖掘的多阶段深度迁移学习方法
CN107392241B (zh) 一种基于加权列抽样XGBoost的图像目标分类方法
CN103854645B (zh) 一种基于说话人惩罚的独立于说话人语音情感识别方法
CN111626336A (zh) 一种基于不平衡数据集的地铁故障数据分类方法
CN113378913B (zh) 一种基于自监督学习的半监督节点分类方法
CN114038037B (zh) 基于可分离残差注意力网络的表情标签修正和识别方法
CN110443318B (zh) 一种基于主成分分析和聚类分析的深度神经网络方法
CN111581385A (zh) 一种不平衡数据采样的中文文本类别识别***及方法
CN110728144B (zh) 一种基于上下文语义感知的抽取式文档自动摘要方法
CN112231477A (zh) 一种基于改进胶囊网络的文本分类方法
CN111506728B (zh) 基于hd-mscnn的层次结构文本自动分类方法
CN113378563B (zh) 一种基于遗传变异和半监督的案件特征提取方法及装置
CN110928981A (zh) 一种文本标签体系搭建及完善迭代的方法、***及存储介质
CN109063983B (zh) 一种基于社交媒体数据的自然灾害损失实时评估方法
CN106548041A (zh) 一种基于先验信息和并行二进制微粒群算法的肿瘤关键基因识别方法
CN110516526A (zh) 一种基于特征原型度量学习的小样本目标识别方法
CN114882531A (zh) 一种基于深度学习的跨域行人再识别方法
CN106951728B (zh) 一种基于粒子群优化和打分准则的肿瘤关键基因识别方法
CN110796260B (zh) 一种基于类扩张学习的神经网络模型优化方法
CN112200797A (zh) 一种基于pcb噪声标注数据的有效训练方法
CN111191033A (zh) 一种基于分类效用的开集分类方法
CN107220320B (zh) 基于专利引文的新兴技术识别方法
CN111984790B (zh) 一种实体关系抽取方法
CN116432664A (zh) 一种高质量数据扩增的对话意图分类方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant