CN105608468A - 一种基于流型矩阵补全的多标签分类方法 - Google Patents
一种基于流型矩阵补全的多标签分类方法 Download PDFInfo
- Publication number
- CN105608468A CN105608468A CN201510953772.1A CN201510953772A CN105608468A CN 105608468 A CN105608468 A CN 105608468A CN 201510953772 A CN201510953772 A CN 201510953772A CN 105608468 A CN105608468 A CN 105608468A
- Authority
- CN
- China
- Prior art keywords
- matrix
- flow pattern
- label
- vector
- method based
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于流型矩阵补全的多标签分类方法,通过在利用矩阵补全进行的多标签学***均精度以及覆盖率三个多标签学习的指标上来看,与现有技术相比都有较大的提升。
Description
技术领域
本发明属于标签分类技术领域,具体涉及一种基于流型矩阵补全的多标签分类方法的设计。
背景技术
多标签分类问题普遍存在,它较之普通的二类分类问题在实际应用中更为实用。比如,对internet上的图片进行分类标注时,由于图片上的目标往往有多个(同一张图片可能会同时属于多个类别),很难用普通的二类分类方法将其归类成两类,而归类成多标签更为合适,比如图片集合中的目标共有5类,那么某一张有3个目标的图片的标注可能是(0,1,0,1,1),表示这张图片属于第二、四和五类。
矩阵补全是一种有效的多标签学***滑性假设的性质(特征的流型假设),即相似的特征应对应同样的分类标签,而差异较大的特征应赋予不同的标签。而这种性质在标签预测中具有重要的作用。
发明内容
本发明的目的是为了解决现有技术中矩阵补全技术忽略了特征之间的平滑性假设的性质的问题,提出了一种基于流型矩阵补全的多标签分类方法。
本发明的技术方案为:一种基于流型矩阵补全的多标签分类方法,包括以下步骤:
S1、初始化多标签学习矩阵M;
S2、初始化矩阵Z,使得Z与M的秩为1近似;
S3、对Z进行梯度下降更新,得到矩阵
S4、对进行SVD分解操作,得到矩阵Z′;
S5、判断Z′是否满足设定的收敛条件,若是则分类计算结束,否则返回S3。
进一步地,S1中 其中XL为被标记的特征矩阵,YL为被标记的特征对应的标签矩阵,XU为未被标记的特征矩阵,YU为待求的未被标记的特征对应的标签矩阵。
进一步地,YU的初始值为0。
进一步地,S2具体为:
构造与M同阶的矩阵 其中ZyL与YL同阶,ZyU与YU同阶Zx与Mx=[XL,XU]同阶;同时满足:ZyL与YL之间的损失以及Zx与Mx之间的损失最小,ZyU与Mx流型相似,即:
其中μ依次取μ1,μ2,...,μk中的一个值,k为常数,且μ1>μ2>...>μk,||Z||*为Z的核范数,γ为正则惩罚因子,zm为矩阵Z的最后一行,t为M中标签向量的维度,d为M中特征向量的维度;
Loss(Z)为Z的损失且 其中i=1,2,…N,j=1,2,…N,N为常数,cx和cy分别为针对特征矩阵X和标签矩阵Y的两种不同的损失函数,ΩX为M中各特征向量对应的下标集合,ΩY为M中各标签向量对应的下标集合,x为M中的特征向量,y为M中的标签向量,z为Z中的向量,λ为常数参数;
R(Zy)为Zy的流型正则化且其中Tr(·)为求矩阵的迹的运算,L为关于特征矩阵X的拉普拉斯矩阵,Zy=[ZyL,ZyU]。
进一步地,矩阵Z的最后一行设置为全1向量。
进一步地,S3中其中:
τ为梯度下降速率,分别为的模,为未被标记的特征对应的标签矩阵YU的下标集合,l为L的列向量,λ、α为常数参数。
进一步地,S4具体为:
联立以下两个公式得到矩阵Z′:
Z′=USρ(Σ)VT;
其中Σ为奇异值矩阵,U、V为已知的非奇异矩阵,Sρ(Σ)=Diag[max(σΣ-ρ,0)],Diag(·)是对向量进行对角化矩阵操作,σΣ是Diag(·)反操作,即将Σ的对角元素进行向量化,ρ为阈值且ρ=τμ。
本发明的有益效果是:本发明通过在利用矩阵补全进行的多标签学***均精度(Averageprecision)以及覆盖率(Coverage)三个多标签学习的指标上来看,本发明提供的算法(MCLA)较改进前都有了较大的提升。
附图说明
图1为本发明提供的一种基于流型矩阵补全的多标签分类方法流程图。
图2为MIML数据集上海明损失的测试结果。
图3为MIML数据集上平均精度的测试结果。
图4为MIML数据集上覆盖率的测试结果。
图5为Bird数据集上海明损失的测试结果。
图6为Bird数据集上平均精度的测试结果。
图7为Bird数据集上覆盖率的测试结果。
具体实施方式
下面结合附图对本发明的实施例作进一步的说明。
本发明提供了一种基于流型矩阵补全的多标签分类方法,如图1所示,包括以下步骤:
S1、初始化多标签学习矩阵M。
YU为未被标记的特征对应的标签矩阵,YU是未知待求解的变量,假设其初始值为0,即YU=0。
S2、初始化矩阵Z,使得Z与M的秩为1近似。
根据数据本身的特性,我们知道M矩阵是一个低秩矩阵(lowrank)。为了求解YU,我们同样构造一个低秩矩阵 其中ZyL与YL同阶,ZyU与YU同阶Zx与Mx=[XL,XU]同阶。同时满足:ZyL与YL之间的损失以及Zx与Mx之间的损失最小,ZyU与Mx流型相似,即:
其中μ依次取μ1,μ2,...,μk中的一个值,k为常数,且μ1>μ2>...>μk,||Z||*为Z的核范数,γ为正则惩罚因子,zm为矩阵Z的最后一行,t为M中标签向量的维度,d为M中特征向量的维度。
Loss(Z)为Z的损失且 其中i=1,2,…N,j=1,2,…N,N为常数,cx和cy分别为针对特征矩阵X和标签矩阵Y的两种不同的损失函数,其中特征矩阵X包括XL和XU,标签矩阵Y包括YL和YU。ΩX为M中各特征向量对应的下标集合,ΩY为M中各标签向量对应的下标集合,x为M中的特征向量,y为M中的标签向量,z为Z中的向量,λ为常数参数。
R(Zy)为Zy的流型正则化且其中Tr(·)为求矩阵的迹的运算,L为关于特征矩阵X的拉普拉斯矩阵,Zy=[ZyL,ZyU]。
为了更好的体现低秩性,矩阵Z的最后一行强制设置为全1向量。
S3、对Z进行梯度下降更新,得到矩阵
其中:
τ为梯度下降速率,分别为的模,为未被标记的特征对应的标签矩阵YU的下标集合,l为L的列向量,λ、α为常数参数。
求解矩阵Z是通过梯度下降迭代更新进行。由于矩阵Z由数据矩阵和标签矩阵组成,所以对Z的更新是分块采用不同的梯度下降策略。
S4、对进行SVD分解操作,得到矩阵Z′。
经过梯度下降更新之后的矩阵将进行一次截断的SVD分解。截断操作将进行SVD分解后得到的奇异值矩阵按照设定的阀值进行截断,其中大于或等于阀值的奇异值保留,小于阀值的奇异值置为0。然后用截断后的奇异值矩阵与SVD分解得到的矩阵还原得到更细的矩阵Z′,即联立以下两个公式得到矩阵Z′:
Z′=USρ(Σ)VT;
其中Σ为奇异值矩阵,U、V为已知的非奇异矩阵,Sρ(Σ)=Diag[max(σΣ-ρ,0)],Diag(·)是对向量进行对角化矩阵操作,σΣ是Diag(·)反操作,即将Σ的对角元素进行向量化,ρ为阈值且ρ=τμ。
S5、判断Z′是否满足设定的收敛条件,若是则分类计算结束,否则返回S3。
本发明实施例中,收敛条件为判定Z-Z′的F范数是否小于设定的阈值η,若是则判定为收敛,否则判定为不收敛。
如图2-图7所示,无论是在MIML图像多标签数据集还是在Bird声音多标签数据集上进行测试,本发明提供的MCLA算法与现有技术中的各算法相比,海明损失(Hammingloss)更小,平均精度(Averageprecision)更高,覆盖率(Coverage)更大,较之现有技术都有较大的提升。
本领域的普通技术人员将会意识到,这里所述的实施例是为了帮助读者理解本发明的原理,应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合,这些变形和组合仍然在本发明的保护范围内。
Claims (7)
1.一种基于流型矩阵补全的多标签分类方法,其特征在于,包括以下步骤:
S1、初始化多标签学习矩阵M;
S2、初始化矩阵Z,使得Z与M的秩为1近似;
S3、对Z进行梯度下降更新,得到矩阵Z~;
S4、对Z~进行SVD分解操作,得到矩阵Z′;
S5、判断Z′是否满足设定的收敛条件,若是则分类计算结束,否则返回S3。
2.根据权利要求1所述的基于流型矩阵补全的多标签分类方法,其特征在于,所述S1中 其中XL为被标记的特征矩阵,YL为被标记的特征对应的标签矩阵,XU为未被标记的特征矩阵,YU为待求的未被标记的特征对应的标签矩阵。
3.根据权利要求2所述的基于流型矩阵补全的多标签分类方法,其特征在于,所述YU的初始值为0。
4.根据权利要求2所述的基于流型矩阵补全的多标签分类方法,其特征在于,所述S2具体为:
构造与M同阶的矩阵 其中ZyL与YL同阶,ZyU与YU同阶Zx与Mx=[XL,XU]同阶;同时满足:ZyL与YL之间的损失以及Zx与Mx之间的损失最小,ZyU与Mx流型相似,即:
其中μ依次取μ1,μ2,...,μk中的一个值,k为常数,且μ1>μ2>...>μk,||Z||*为Z的核范数,γ为正则惩罚因子,zm为矩阵Z的最后一行,t为M中标签向量的维度,d为M中特征向量的维度;
Loss(Z)为Z的损失且 其中i=1,2,…N,j=1,2,…N,N为常数,cx和cy分别为针对特征矩阵X和标签矩阵Y的两种不同的损失函数,ΩX为M中各特征向量对应的下标集合,ΩY为M中各标签向量对应的下标集合,x为M中的特征向量,y为M中的标签向量,z为Z中的向量,λ为常数参数;
R(Zy)为Zy的流型正则化且其中Tr(·)为求矩阵的迹的运算,L为关于特征矩阵X的拉普拉斯矩阵,Zy=[ZyL,ZyU]。
5.根据权利要求4所述的基于流型矩阵补全的多标签分类方法,其特征在于,所述矩阵Z的最后一行设置为全1向量。
6.根据权利要求4所述的基于流型矩阵补全的多标签分类方法,其特征在于,所述S3中其中:
τ为梯度下降速率,|ΩY|、|ΩX|分别为ΩY、ΩX的模,为未被标记的特征对应的标签矩阵YU的下标集合,l为L的列向量,λ、α为常数参数。
7.根据权利要求6所述的基于流型矩阵补全的多标签分类方法,其特征在于,所述S4具体为:
联立以下两个公式得到矩阵Z′:
其中Σ为奇异值矩阵,U、V为已知的非奇异矩阵,Sρ(Σ)=Diag[max(σΣ-ρ,0)],Diag(·)是对向量进行对角化矩阵操作,σΣ是Diag(·)反操作,即将Σ的对角元素进行向量化,ρ为阈值且ρ=τμ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510953772.1A CN105608468B (zh) | 2015-12-18 | 2015-12-18 | 一种基于流型矩阵补全的多标签分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510953772.1A CN105608468B (zh) | 2015-12-18 | 2015-12-18 | 一种基于流型矩阵补全的多标签分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105608468A true CN105608468A (zh) | 2016-05-25 |
CN105608468B CN105608468B (zh) | 2019-03-26 |
Family
ID=55988392
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510953772.1A Expired - Fee Related CN105608468B (zh) | 2015-12-18 | 2015-12-18 | 一种基于流型矩阵补全的多标签分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105608468B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110210515A (zh) * | 2019-04-25 | 2019-09-06 | 浙江大学 | 一种图像数据多标签分类方法 |
CN110428007A (zh) * | 2019-08-01 | 2019-11-08 | 科大讯飞(苏州)科技有限公司 | X光图像目标检测方法、装置及设备 |
CN112926675A (zh) * | 2021-03-22 | 2021-06-08 | 哈尔滨工业大学(深圳) | 视角和标签双重缺失下的深度不完整多视角多标签分类方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100080450A1 (en) * | 2008-09-30 | 2010-04-01 | Microsoft Corporation | Classification via semi-riemannian spaces |
CN104281855A (zh) * | 2014-09-30 | 2015-01-14 | 西安电子科技大学 | 基于多任务低秩的高光谱图像分类方法 |
-
2015
- 2015-12-18 CN CN201510953772.1A patent/CN105608468B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100080450A1 (en) * | 2008-09-30 | 2010-04-01 | Microsoft Corporation | Classification via semi-riemannian spaces |
CN104281855A (zh) * | 2014-09-30 | 2015-01-14 | 西安电子科技大学 | 基于多任务低秩的高光谱图像分类方法 |
Non-Patent Citations (2)
Title |
---|
LIPING JING ET AL: "Semi-supervised Low-Rank Mapping Learning for Multi-label Classification", 《COMPUTER VISION AND PATTERN RECOGNITION (CVPR), 2015 IEEE CONFERENCE ON》 * |
RICARDO S. CABRAL ET AL: "Matrix Completion for Multi-label Image Classification", 《NEURAL INFORMATION PROCESSING SYSTEMS》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110210515A (zh) * | 2019-04-25 | 2019-09-06 | 浙江大学 | 一种图像数据多标签分类方法 |
CN110210515B (zh) * | 2019-04-25 | 2021-04-20 | 浙江大学 | 一种图像数据多标签分类方法 |
CN110428007A (zh) * | 2019-08-01 | 2019-11-08 | 科大讯飞(苏州)科技有限公司 | X光图像目标检测方法、装置及设备 |
CN112926675A (zh) * | 2021-03-22 | 2021-06-08 | 哈尔滨工业大学(深圳) | 视角和标签双重缺失下的深度不完整多视角多标签分类方法 |
CN112926675B (zh) * | 2021-03-22 | 2023-08-18 | 哈尔滨工业大学(深圳) | 视角和标签双重缺失下的深度不完整多视角多标签分类方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105608468B (zh) | 2019-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107220606B (zh) | 基于一维卷积神经网络的雷达辐射源信号的识别方法 | |
CN104459668B (zh) | 基于深度学习网络的雷达目标识别方法 | |
CN111126134B (zh) | 基于非指纹信号消除器的雷达辐射源深度学习识别方法 | |
CN110569738B (zh) | 基于密集连接网络的自然场景文本检测方法、设备和介质 | |
CN110084221A (zh) | 一种基于深度学习的带中继监督的序列化人脸关键点检测方法 | |
CN109740655B (zh) | 基于矩阵分解及神经协同过滤的物品评分预测方法 | |
CN103942749B (zh) | 一种基于修正聚类假设和半监督极速学习机的高光谱地物分类方法 | |
CN104298999B (zh) | 基于递归自动编码的高光谱特征学习方法 | |
CN104599292A (zh) | 一种基于低秩矩阵分解的抗噪运动目标检测算法 | |
CN106203483A (zh) | 一种基于语义相关多模态映射方法的零样本图像分类方法 | |
CN103886337A (zh) | 基于多稀疏描述的最近邻子空间sar目标识别方法 | |
CN107862680B (zh) | 一种基于相关滤波器的目标跟踪优化方法 | |
CN110766084A (zh) | 基于cae与hl-cnn的小样本sar目标识别方法 | |
CN108985161B (zh) | 一种基于拉普拉斯正则化的低秩稀疏表征图像特征学习方法 | |
CN105608468A (zh) | 一种基于流型矩阵补全的多标签分类方法 | |
CN103810522A (zh) | 一种玉米果穗籽粒计数方法和装置 | |
CN113447759A (zh) | 一种多分类的rvm电网故障判别方法和*** | |
CN110569764B (zh) | 一种基于卷积神经网络的手机型号识别方法 | |
CN105760865A (zh) | 一种能够提高比对正确率的人脸图像识别方法 | |
CN103440651A (zh) | 一种基于秩最小化的多标签图像标注结果融合方法 | |
US11829442B2 (en) | Methods and systems for efficient batch active learning of a deep neural network | |
CN108549899B (zh) | 一种图像识别方法及装置 | |
CN106295677A (zh) | 一种联合拉斯正则项和特征自学习的水流图像分簇方法 | |
Qiao et al. | LiteSCANet: An efficient lightweight network based on spectral and channel-wise attention for hyperspectral image classification | |
CN106095811A (zh) | 一种基于最优编码的监督离散哈希的图像检索方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190326 Termination date: 20211218 |