CN106485286B - 一种基于局部敏感判别的矩阵分类模型 - Google Patents
一种基于局部敏感判别的矩阵分类模型 Download PDFInfo
- Publication number
- CN106485286B CN106485286B CN201610923346.8A CN201610923346A CN106485286B CN 106485286 B CN106485286 B CN 106485286B CN 201610923346 A CN201610923346 A CN 201610923346A CN 106485286 B CN106485286 B CN 106485286B
- Authority
- CN
- China
- Prior art keywords
- matrix
- local
- class
- mode
- lsdmatmhks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种基于局部敏感判别的矩阵分类模型,首先采集数据集,将采集到的样本转化成矩阵模式;其次使用训练集构造局部类内和局部类间子图和,使用和构造正则化项,之后将正则化项引入面向矩阵模式分类器MatMHKS中产生新的面向矩阵模式分类模型LSDMatMHKS,并用训练集训练LSDMatMHKS,使用梯度下降法对模型LADMatMHKS求最优解;然后使用测试集测试最优解,并得出最优的决策函数;最后使用得出的最优的决策函数对输入的未知类别的矩阵模式进行计算,根据输出的结果对未知的矩阵模式进行分类。相较于传统的分类技术,本发明通过引入局部敏感判别信息,让局部的同类别的模式尽量靠近、不同类别的模式尽量远离,从而提高了分类的稳定性和模型的学习能力。
Description
技术领域
本发明涉及模式识别领域,尤其涉及一种基于局部敏感判别的矩阵学习机模型的方法。
背景技术
与传统的面向向量化分类器设计方法不同,面向矩阵模式分类器设计方法是一种可以直接对矩阵化的样本进行分类的方法。在实际的实验中,面向矩阵模式分类器设计方法可以有效的提升面向向量化分类器设计方法的性能。原因主要表现在三个方面:第一点,面向矩阵模式分类器设计方法可以抓取更多的单个样本内的结构信息,并且在一个模式的存储空间上矩阵化方法需要相对较小的存储空间;第二点,面向矩阵模式分类器设计方法避免把单个样本转化为向量形式的样本的操作在一定程度上避免了由于维数过高而引起的高计算复杂度;第三点,实验及理论表明面向向量化分类器设计方法可以看作为面向矩阵模式分类器设计方法的一个特殊情况,即用于解决面向矩阵模式分类器设计方法的方法同样适用于向量化方法。
矩阵模式分类器设计方法仅考虑到了最小化经验误差和降低模型的推广性误差,忽略了模式之间的局部敏感的判别信息,其中比较典型的线性算法是MatMHKS(Matrix-pattern-oriented Ho-Kashyap Classifier)。目前在矩阵模式分类器设计方法中还没有人提到相关方法来解决这一不足。为了解决这一不足,我们提出了一个新的正则化项为矩阵模式分类器设计加入局部敏感判别信息。此项新的正则化项的设计方法来自局部敏感判别分析(Locality Sensitive Discriminant Analysis)。局部敏感判别分析可以抓取局部判别信息和局部几何结构。我们利用局部敏感判别分析的这一优点来设计一个新的正则化项为矩阵化分类设计引入局部敏感判别信息,从而产生了一个新的面向矩阵模式的分类器设计的模型。根据局部敏感判别分析的思想,我们构建两个互不重叠的带权的近邻子图和。其中是来同一类矩阵模式之间的局部连接关系,是来反映不同类矩阵模式之间的局部连接关系。我们在矩阵模式下定义类内子图为和类间子图为来表征类内模式尽量靠近和类间模式尽远离。
把引入到双边矩阵型分类器MatMHKS上,从而产生了一个新的分类算法LSDMatMHKS。LSDMatMHKS可以很好的抓取局部敏感判别信息,不仅提高了MatMHKS的分类精确度而且还提高了其学习的稳定性。
发明内容
针对现有的面向矩阵模式分类器设计方法没有考虑到矩阵模式之间的局部敏感判别信息的问题,本发明的解决方案是在原有的面向矩阵模式分类器设计的框架上设计一个新的正则化项来考虑局部敏感的判别信息,此项正则化项是基于局部敏感判别分析的优势将其改造为适用于矩阵模式的正则化项,从而产生局部敏感判别矩阵学习模型。我们将此框架应用到我们以前的工作MatMHKS上,并命名为 LSDMatMHKS。并用梯度下降法对LSDMatMHKS求解,该算法能够有效的引入局部敏感判别信息,提高模式分类的正确率和学习的稳定性。由于该模型采用的是二分类的技术,所以对于类别数为N的数据集,可以将其转化为N(N-1)/2个二分类问题,可知一共需要训练N(N-1)/2个该模型。
本发明解决其技术问题所采用的技术方案:首先采集数据集,将采集到的样本转化成矩阵模式以便后面的算法可以处理,其中对于不是数值型的数据集进行数值化,其中图片数据集还需要用传统降维算法进行降维处理以便出去噪声。其次使用训练集构造局部类内和局部类间子图和,使用和构造正则化项。之后将正则化项引入面向矩阵模式分类器MatMHKS中产生新的面向矩阵模式分类模型LSDMatMHKS,并用训练集训练LSDMatMHKS,使用梯度下降法对模型LADMatMHKS求最优解。然后使用测试集测试最优解,并得出最优的决策函数。最后使用得出的最优的决策函数对输入的未知类别的矩阵模式进行计算,根据输出的结果对未知的矩阵模式进行分类。
本发明所采用的技术方案还可以进一步完善。在所述的构造局部类内和局部类间子图和的方法,是先构造局部敏感权重矩阵和,然后再利用和来构造出局部矩阵模式的判别关系,其中和是利用近邻的方法求出。在所述的训练模块中构造正则化项,使局部类内尽量靠近和局部类间类间尽量远离表达形式的方法,即最小化局部类类内模式之间的距离和最大化局部类间模式的距离。该方法是矩阵模式的分类模型,即对于向量模式的方法同样可以处理。
本发明有益的效果是:通过定义矩阵模式的局部敏感判别关系的权重矩阵,找出了矩阵模式之间的局部敏感的判别关系;通过引入局部敏感判别信息,让局部的同类别的模式尽量靠近、不同类别的模式尽量远离,把局部敏感信息引入到传统面向矩阵模式分类模型中,提高了分类正确率;同时不仅对小样本的过拟合问题有一定得改善,而且提高了分类的稳定性和模型的学习能力;同时不论是图像数据集还是向量数据集,该方法都可以直接进行处理。
附图说明
图1 是本发明的基于局部敏感判别矩阵学习机模型的***框架。
具体实施方式
下面结合附图和实施例对本发明作进一步介绍:本发明的方法共分为四大步骤。
第一步:数据集采集变换。
首先对采集到的数据集进行处理,如果数据集不是数值化的则将其数值化,对于图片数据集将其数值化以后再用经典的将为算法将其降维以便后续的处理;其次把采集到的数据集转换为矩阵模式,例如将其转化为矩阵模式即为,其中。
第二步:模型训练。
2)传统的矩阵化方法有一个共同的最小结构风险框架,这个最小结构分线框架如下所示:
3)将新的框架引入到面向矩阵分类器MatMHKS后,我们可以得到LSDMatMHKS,其目标函数如公式(8)所示:
4)先对公式(8)矩阵化,再利用梯度下降法对LSDMatMHKS模型求解最优的权重向量和,分别对公式(8)对和求偏导,即和,然后分别令和,求出权重向量和。所求出的权重向量和如公式(9)和(10)所示:
而迭代终止条件的计算公式如下所示:
第三步,模型测试
通过第二步对模型进行优化得到权重向量以后,利用测试集对求得的权重向量进行测试,选出最优的决策函数。
第四步,预测
上文中,参照附图描述了本发明的具体实施方式。但是本领域的普通技术人员能够理解,在不偏离本发明的精神和范围的情况下,还可以对本发明的具体实施方式作各种变更和替换。这些变更和替换都落在本发明权利要求书所限定的范围内。
实验结果
为了验证我们所提方法的有效性和可行性,我们从UCI,KEEL中采集了4个向量数据集,同时还采集了图像数据集Coil-20和Yale,一共6个数据集来对我们的算法进行验证。选取的数据集如表格1所示,表1中给出了数据集的维度、类别数、训练集规模和测试集规模。这些数据集被分为训练集和测试集两个部分,其中训练集和测试集在每个数据集中的比例都是0.5,采用5轮的蒙特卡洛交叉验证来获取分类正确率。对模型参数的设置是通过实验和人工经验来设定的,其中局部敏感的参数值、正则化项参数值和、初始化边界向量、权重向量、最大迭代次数、最小停止误差、迭代步长。
表1 数据集
对比算法的参数设置如下:
所涉及到的原始算法MatMHKS和改进的算法LSDMatMHKS采用相同的参数设置以方便比较。MatMHKS的参数设置为:正则化项参数值、初始化边界向量、权重向量、最大迭代次数、最小停止误差、迭代步长。
实验结果如表2所示。从实验的结果来看,LSDMatMHKS的正确率和正确率的标准差都优于MatMHKS。这就验证了我们所提方法的有效性和可行性。
表2 数据集正确率(%)
备注:以上实验数据均来源于Inter Xeon CPU E5-2407 2.20GHZ, 16G RAMDDR3, Windows Server 2012 和Matlab 环境。
Claims (2)
1.一种基于局部敏感判别的矩阵分类模型,其特征在于:具体步骤是:
1)、首先采集数据集:将采集到的样本转化成矩阵模式以便后面的算法可以处理,其中对于不是数值型的数据集进行数值化,其中图片数据集还需要用传统降维算法进行降维处理以便除去噪声;
2)、其次使用训练集构造局部类内和局部类间子图A(f)和B(f),使用A(f)和B(f)构造正则化项RLSD=ηA(f)-(1-η)B(f),其中η∈[0,1]来控制A(f)和B(f)之间的关系;
3)、之后将正则化项RLSD引入面向矩阵模式分类器MatMHKS中产生同时考虑类内关系与类间关系的面向矩阵模式分类模型LSDMatMHKS,并用训练集训练LSDMatMHKS,使用梯度下降法对模型LSDMatMHKS求最优解,LSDMatMHKS的目标函数为
其中,v0,b≥0为偏移量,i,j为基模型序号,bi为第i个基模型的偏移量,Ai为增广矩阵模式,c,η为超参数, 为矩阵模式,为每个矩阵模式的类标号,N为模式总数,Ww,ij和Wb,ij分别为局部类内矩阵和局部类间矩阵,
4)、然后使用测试集测试最优解,并得出最优的决策函数;
5)、最后使用得出的最优的决策函数对输入的未知类别的矩阵模式进行计算,根据输出的结果对未知的矩阵模式进行分类。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610923346.8A CN106485286B (zh) | 2016-10-29 | 2016-10-29 | 一种基于局部敏感判别的矩阵分类模型 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610923346.8A CN106485286B (zh) | 2016-10-29 | 2016-10-29 | 一种基于局部敏感判别的矩阵分类模型 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106485286A CN106485286A (zh) | 2017-03-08 |
CN106485286B true CN106485286B (zh) | 2020-10-20 |
Family
ID=58270426
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610923346.8A Active CN106485286B (zh) | 2016-10-29 | 2016-10-29 | 一种基于局部敏感判别的矩阵分类模型 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106485286B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108363717B (zh) * | 2017-12-29 | 2021-03-12 | 天津南大通用数据技术股份有限公司 | 一种数据安全级别的识别检测方法及装置 |
CN111931747B (zh) * | 2020-10-10 | 2021-01-29 | 中南大学 | 一种适于多任务迭代学习记忆的遥感图像分类方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130064901A1 (en) * | 2011-04-18 | 2013-03-14 | Agency For Science, Technology And Research | Gene expression profiling for classifying and treating gastric cancer |
CN102541050A (zh) * | 2012-01-05 | 2012-07-04 | 浙江大学 | 一种基于改进支持向量机的化工过程故障诊断方法 |
CN103941244B (zh) * | 2014-04-23 | 2016-12-07 | 电子科技大学 | 一种雷达目标一维距离像局部最优子空间识别方法 |
CN105469034B (zh) * | 2015-11-17 | 2018-08-21 | 西安电子科技大学 | 基于加权式鉴别性稀疏约束非负矩阵分解的人脸识别方法 |
CN105447520A (zh) * | 2015-11-23 | 2016-03-30 | 盐城工学院 | 一种基于加权投影对支持向量机的样本分类方法 |
-
2016
- 2016-10-29 CN CN201610923346.8A patent/CN106485286B/zh active Active
Non-Patent Citations (2)
Title |
---|
Credit systems for learning and skills:Current developments;Tony Tait;《LSDA Reports》;20031231;第1-20页 * |
LSDA: Large Scale Detection through Adaptation;Judy Hoffman 等;《MSEE & SMISC》;20141231;第1-9页 * |
Also Published As
Publication number | Publication date |
---|---|
CN106485286A (zh) | 2017-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110070141B (zh) | 一种网络入侵检测方法 | |
Xia et al. | Extended $ t $ t: Learning with mixed closed-set and open-set noisy labels | |
US20210081798A1 (en) | Neural network method and apparatus | |
CN112232413B (zh) | 基于图神经网络与谱聚类的高维数据特征选择方法 | |
Zhang et al. | An efficient lightweight convolutional neural network for industrial surface defect detection | |
CN109886284B (zh) | 基于层次化聚类的欺诈检测方法及*** | |
CN111582315B (zh) | 样本数据处理方法、装置及电子设备 | |
Gao et al. | BLNN: Multiscale Feature Fusion‐Based Bilinear Fine‐Grained Convolutional Neural Network for Image Classification of Wood Knot Defects | |
CN104573699A (zh) | 基于中等场强磁共振解剖成像的实蝇识别方法 | |
Cholewa et al. | Estimation of the number of states for gesture recognition with Hidden Markov Models based on the number of critical points in time sequence | |
CN111507297B (zh) | 一种基于度量信息矩阵的雷达信号识别方法及*** | |
CN106485286B (zh) | 一种基于局部敏感判别的矩阵分类模型 | |
Gao et al. | ID-Net: an improved mask R-CNN model for intrusion detection under power grid surveillance | |
Liu et al. | An orthogonal predictive model-based dynamic multi-objective optimization algorithm | |
Liu et al. | A weight-incorporated similarity-based clustering ensemble method | |
Jiao et al. | An attention-based feature pyramid network for single-stage small object detection | |
CN116958809A (zh) | 一种特征库迁移的遥感小样本目标检测方法 | |
CN115511262A (zh) | 变压器质量检测方法及装置 | |
Shi et al. | Mitigating biases in long-tailed recognition via semantic-guided feature transfer | |
Xing et al. | Anytime neural architecture search on tabular data | |
Garcia-Espinosa et al. | Automatic annotation for weakly supervised pedestrian detection | |
CN104573746A (zh) | 基于磁共振成像的实蝇种类识别方法 | |
Gao et al. | Binary artificial immune algorithm for adaptive visual detection | |
Wang et al. | Fast basis search for adaptive Fourier decomposition | |
Li et al. | ELM combined with hybrid feature selection for classification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |