CN109670418B - 结合多源特征学习和组稀疏约束的无监督物体识别方法 - Google Patents
结合多源特征学习和组稀疏约束的无监督物体识别方法 Download PDFInfo
- Publication number
- CN109670418B CN109670418B CN201811471683.3A CN201811471683A CN109670418B CN 109670418 B CN109670418 B CN 109670418B CN 201811471683 A CN201811471683 A CN 201811471683A CN 109670418 B CN109670418 B CN 109670418B
- Authority
- CN
- China
- Prior art keywords
- matrix
- feature
- data
- data set
- source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 239000011159 matrix material Substances 0.000 claims abstract description 57
- 230000006870 function Effects 0.000 claims abstract description 30
- 238000004458 analytical method Methods 0.000 claims abstract description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 238000010801 machine learning Methods 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 238000003064 k means clustering Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pure & Applied Mathematics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Probability & Statistics with Applications (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开一种结合多源特征学习和组稀疏约束的无监督物体识别方法,包括如下步骤:步骤1,从包含c个类别的待处理图像集中获取V种视图,并将其组成数据集X=[x1,x2,…,xn]∈Rd×n,其中d代表数据的特征维度,n代表数据集的样本数;步骤2,提取数据集X的总散度矩阵St;步骤3,在步骤2的基础上构建基于线性判别分析的KM聚类模型;步骤4,在步骤3的基础上构建基于组稀疏约束和特征选择的多源数据联合聚类模型;步骤5,求解步骤4得到的多源数据联合聚类模型的目标函数,并进行优化。此种方法可以提高聚类方法的准确度,可快速定位最优特征子集,还可有效抑制数据集中的噪声干扰,最终为机器学习、计算机视觉相关应用提供有效支持。
Description
技术领域
本发明属于机器学习技术领域,特别涉及一种结合多源特征学习和组稀疏约束的无监督物体识别方法。
背景技术
聚类技术旨在将待处理对象划分为多个相似的簇,进而提取数据的抽象语义,是应用非常广泛的一项技术,在图像物体识别领域中获得了巨大的成功。然而,传统图像物体识别领域中的聚类方法还存在以下缺陷:首先,图像数据一般由高维特征组成,这些高维图像数据中往往包含噪声特征,直接对其操作将严重影响聚类效果;其次,这些高维图像数据一般存在大量冗余特征,处理这类数据需要消耗昂贵的计算资源。在多媒体技术高速发展的今天,高维图像数据呈现爆发式增长,给传统聚类方法带来了巨大挑战。最新研究表明,若能有效选择数据最优特征子集,将能有效提高图像识别的准确率。
互联网技术的快速增长,扩大了数据收集来源的多样性,也使得数据特征呈现多源化。不同类型数据特征拥有不同的性质,其在图像识别应用中也发挥着不同的作用。为有效处理这些多源高维数据,现有的方法一般借助子空间学习和多视图学习,以获得高维数据在不同视图上的最优特征子空间。然而,这些方法需要借助降维方法定位特征子空间,其所获取的子空间与原始空间存在较大差异,很难满足实际应用中对数据语义理解的需求。另外,为处理多视图数据,这类方法需要单独确定每个视图的最优子空间,当视图数量增加时,其子空间搜索的复杂度将会陡然上升。
发明内容
本发明的目的,在于提供一种结合多源特征学习和组稀疏约束的无监督物体识别方法,使得聚类方法能够高效利用多源数据特征间的相互关系和共享特征子空间,以提高聚类方法的准确度;利用组稀疏技术约束多源数据的联合特征选择矩阵,对联合特征进行综合排序,进而可快速定位最优特征子集;其还可有效抑制数据集中的噪声干扰,最终为机器学习、计算机视觉相关应用提供有效支持。
为了达成上述目的,本发明的解决方案是:
一种结合多源特征学习和组稀疏约束的无监督物体识别方法,包括如下步骤:
步骤1,从包含c个类别的待处理图像集中获取V种视图,并将其组成数据集X=[x1,x2,…,xn]∈Rd×n,其中d代表数据的特征维度,n代表数据集的样本数;
步骤2,提取数据集X的总散度矩阵St;
步骤3,在步骤2的基础上构建基于线性判别分析的KM聚类模型;
步骤4,在步骤3的基础上构建基于组稀疏约束和特征选择的多源数据联合聚类模型;
步骤5,求解步骤4得到的多源数据联合聚类模型的目标函数,并进行优化。
上述步骤2中,提取数据集的总散度矩阵St的公式是:
上述步骤3中,KM聚类模型的目标函数如下:
其中,W=[w1,…,wd]T∈Rd×m为特征选择矩阵,m为降维后的特征维度,I为单位矩阵,F=[f1,f2,…,fn]T∈Rn×c为预测标签矩阵,G=[g1,g2,…,gc]∈Rm×c为聚类中心矩阵,||·||2,1代表其l2,1范数且对于任意矩阵M∈Rr×p,
上述步骤4中,多源数据联合聚类模型的目标函数如下:
其中,W=[w1,…,wd]T∈Rd×m为特征选择矩阵,m为降维后的特征维度,I为单位矩阵,F=[f1,2,…,fn]T∈Rn×c为预测标签矩阵,G=[g1,g2,…,gc]∈Rm×c为聚类中心矩阵,||·||2,1代表其l2,1范数且对于任意矩阵M∈Rr×p,代表G2,1范数,设为第i组视图数据对应的特征选择矩阵,则W表示为且其G2,1范数表示为γ和η是正则化参数,分别用于控制模型中特征稀疏度和视图间的稀疏度。
上述步骤5中,求解多源数据联合聚类模型的目标函数的过程是:
步骤a1,将目标函数转换为如下形式:
其中,fi表示预测标签矩阵F的第i个列向量;
则F通过下式获得,即:
其中,gk表示聚类中心矩阵G的第k个列向量,k=1,…,c;Fij表示F中的第i行第j列元素;
G=WTXDeF(FTDeF)-1
将所求得的G代入目标函数,目标函数转化为:
其中,Sw=XDeXT-XDeF(FTDeF)-1FTDeXT;
定义Λ为拉格朗日乘子,继而得拉格朗日函数:
将以上拉格朗日函数对W求导,得:
则最优解W*通过求解以下矩阵的m个最小特征值获得:
上述步骤5中,进行优化的具体过程是:
令t代表迭代次数
步骤b2,在低维嵌入数据WTX上应用传统KM方法求解F;
步骤b4,更新G=WTXDeF(FTDeF)-1;
采用上述方案后,本发明的有益效果是:本发明可有效利用数据可区分信息和多源数据特征信息,且无需单独求解每一视图最优特征子空间,避免由于视图数量增加而造成的子空间搜索代价,从而能有效节约计算机资源。在模型学习过程中,利用l2,1范数损失函数评价模型与数据的拟合度,从而对数据集中噪声具有良好抗干扰性。最后,本发明还能有效提取多个视图数据之间共享信息,并以此约束模型,从而提高特征选择准度性和扩展性。
附图说明
图1是本发明的示意图;
图2是本发明的流程图。
具体实施方式
以下将结合附图,对本发明的技术方案及有益效果进行详细说明。
如图1和图2所示,本发明提供一种结合多源特征学习和组稀疏约束的无监督物体识别方法,包括如下步骤:
(1)从包含c个类别的待处理图像集中获取V种类型特征(视图),并将这些特征组成数据集X=[x1,x2,…,xn]∈Rd×n,其中d代表数据的特征维度,n代表数据集的样本数。
(2)提取数据集的总散度矩阵St:
(3)在步骤(2)的基础上构建基于线性判别分析的KM聚类模型,目标函数如下:
其中,W=[w1,…,wd]T∈Rd×m为特征选择矩阵,m为降维后的特征维度,I为单位矩阵,F=[f1,f2,…,fn]T∈Rn×c为预测标签矩阵,G=[g1,g2,…,gc]∈Rm×c为聚类中心矩阵,||·||2,1代表其l2,1范数且对于任意矩阵M∈Rr×p,
(4)在步骤(3)的基础上构建基于组稀疏约束和特征选择的多源数据联合聚类模型,目标函数如下:
可以看出,以上目标函数具备以下几个特点:1)该模型中的G2,1范数对不同视图的特征选择矩阵进行稀疏约束,进而能够有效评估不同视图的重要性,即通过该约束将为相关性较高的视图数据特征分配较大的权重,反之则分配小的权重;2)该模型通过采用基于l2,1范数的损失函数扩展KM聚类模型,能够有效减少噪声数据(即离群点)的干扰;3)模型采用基于l2,1范数的稀疏约束,可有效判定相同视图中不同数据特征重要性。
(5)求解目标函数
1)将目标函数转换为如下形式:
其中,fi表示预测标签矩阵F的第i个列向量;
则F可通过将传统KM方法应用于低维嵌入数据WTX获得,即:
其中,gk表示聚类中心矩阵G的第k个列向量,k=1,…,c;Fij表示F中的第i行第j列元素;
G=WTXDeF(FTDeF)-1
将所求得的G代入目标函数,目标函数可转化为:
其中,Sw=XDeXT-XDeF(FTDeF)-1FTDeXT。
定义Λ为拉格朗日乘子,继而可得拉格朗日函数:
将以上拉格朗日函数对W求导,可得
则最优解W*可通过求解以下矩阵的m个最小特征值获得:
4)模型迭代优化方法
基于以上求解过程,采用以下步骤对模型进行迭代优化:
令t代表迭代次数
步骤2:在低维嵌入数据WTX上应用传统KM方法求解F;
步骤4:更新G=WTXDeF(FTDeF)-1;
为了验证本发明实施例所提供的结合多源特征学习和组稀疏约束的无监督物体识别方法,针对开源数据库Caltech101进行验证分析。该数据库包含了9145张图片,共101个物体类别。本实施例中,筛选了Caltech101中7个最常用的类别,进而生成了包含1474张图片的子集,该子集的物体类别有脸(Face)、摩托车(Motorbikes)、美元钞票(DollaBill)、加菲猫(Garfield)、史努比(Snoopy)、停车标(Stop-sign)、温莎椅(Windsor-chair)等。对每个图像样本提取三种不同类型的特征,分别为:48维度的Gabor特征、40维度的小波矩(Wavelet moments,WM)、254维度的Centrist特征。本实施例中,将这些特征划分为3个独立的视图,并和3个主流的方法进行效果的比较,分别是一个单视图方法:TraceRatioFormulation and K-means Clustering(TRACK)和二个多视图方法Robust Multi-view K-means Clustering(RMKMC)、Discriminative Embedding K-means Clustering(DEKM),并采用两种评价指标衡量方法的有效性,分别是归一化互信息(Normalized MutualInformation,NMI)和纯度(Purity)。下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清晰地描述:
表1多种算法在Caltech101数据集上性能比较(±标准方差)
表1为多种算法在Caltech101数据集上的性能比较结果,从表格的结果可以看出本发明提供的方法有着明显的优点:1)与单视图方法TRACK相比,在NMI方面,本发明方法结果比其最好的结果(在WM特征上)还要高8%;2)与多视图方法DEKM和RMKMC相比,本发明方法也获得了最好的效果。以上结果充分证明了本发明所提供方法的有效性。
综合上述,本发明一种结合多源特征学习和组稀疏约束的无监督物体识别方法,该方法包括以下内容:(1)将基于l2,1损失函数的鲁棒K均值聚类方法和线性判别分析方法相结合,可有效提取数据间的可区分信息和类别信息;(2)将特征选择融入聚类模型,并利用l2,1范数正则化技术约束特征选择矩阵,计算数据属性的贡献度,借此筛选最具代表性特征;(3)根据多源数据特征的多样性分组特征选择矩阵,并通过组稀疏技术约束和优化各分组,计算不同类型特征的贡献度,进而计算出最优特征选择矩阵;最后利用迭代优化方法对模型进行求解。本方法将特征选择和组稀疏约束技术融入到聚类方法中,能够充分考虑相同数据源特征间及不同数据源类型间的相关性,进而过滤冗余特征和噪声特征,从而解决了高维多源数据的负面影响。同时,该方法便于操作人员搜索多源数据的联合最优特征子空间,其聚类效果也优于传统聚类方法及其扩展方法。
以上实施例仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明保护范围之内。
Claims (3)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811471683.3A CN109670418B (zh) | 2018-12-04 | 2018-12-04 | 结合多源特征学习和组稀疏约束的无监督物体识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811471683.3A CN109670418B (zh) | 2018-12-04 | 2018-12-04 | 结合多源特征学习和组稀疏约束的无监督物体识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109670418A CN109670418A (zh) | 2019-04-23 |
CN109670418B true CN109670418B (zh) | 2021-10-15 |
Family
ID=66144617
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811471683.3A Active CN109670418B (zh) | 2018-12-04 | 2018-12-04 | 结合多源特征学习和组稀疏约束的无监督物体识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109670418B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111027636B (zh) * | 2019-12-18 | 2020-09-29 | 山东师范大学 | 基于多标签学习的无监督特征选择方法及*** |
CN111626344B (zh) * | 2020-05-15 | 2022-08-26 | 南京邮电大学 | 一种融合组稀疏约束和图趋势过滤的噪声容错多标签分类方法 |
CN112508049B (zh) * | 2020-11-03 | 2023-11-17 | 北京交通大学 | 一种基于组稀疏优化的聚类方法 |
CN113836757A (zh) * | 2021-11-30 | 2021-12-24 | 滨州学院 | 有监督特征选择方法、装置以及电子设备 |
CN116246712B (zh) * | 2023-02-13 | 2024-03-26 | 中国人民解放军军事科学院军事医学研究院 | 带组稀疏约束多模态矩阵联合分解的数据亚型分类方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104318243A (zh) * | 2014-10-14 | 2015-01-28 | 西安电子科技大学 | 基于稀疏表示和空谱拉普拉斯图的高光谱数据降维方法 |
CN105787505A (zh) * | 2016-01-20 | 2016-07-20 | 青海师范大学 | 一种结合稀疏编码和空间约束的红外图像聚类分割方法 |
US9858502B2 (en) * | 2014-03-31 | 2018-01-02 | Los Alamos National Security, Llc | Classification of multispectral or hyperspectral satellite imagery using clustering of sparse approximations on sparse representations in learned dictionaries obtained using efficient convolutional sparse coding |
CN108596154A (zh) * | 2018-05-14 | 2018-09-28 | 河海大学 | 基于高维特征选择与多级融合的遥感图像分类方法 |
CN109978042A (zh) * | 2019-03-19 | 2019-07-05 | 厦门理工学院 | 一种融合特征学习的自适应快速K-means聚类方法 |
-
2018
- 2018-12-04 CN CN201811471683.3A patent/CN109670418B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9858502B2 (en) * | 2014-03-31 | 2018-01-02 | Los Alamos National Security, Llc | Classification of multispectral or hyperspectral satellite imagery using clustering of sparse approximations on sparse representations in learned dictionaries obtained using efficient convolutional sparse coding |
CN104318243A (zh) * | 2014-10-14 | 2015-01-28 | 西安电子科技大学 | 基于稀疏表示和空谱拉普拉斯图的高光谱数据降维方法 |
CN105787505A (zh) * | 2016-01-20 | 2016-07-20 | 青海师范大学 | 一种结合稀疏编码和空间约束的红外图像聚类分割方法 |
CN108596154A (zh) * | 2018-05-14 | 2018-09-28 | 河海大学 | 基于高维特征选择与多级融合的遥感图像分类方法 |
CN109978042A (zh) * | 2019-03-19 | 2019-07-05 | 厦门理工学院 | 一种融合特征学习的自适应快速K-means聚类方法 |
Non-Patent Citations (2)
Title |
---|
Unsupervised feature analysis with sparse adaptive learning;Xiao-dong WANG et al.;《Pattern Recognition Letters》;20171219;第102卷;第89-94页 * |
一种基于半监督多任务学习的特征选择模型;王晓栋 等;《厦门大学学报(自然科学版)》;20170413;第56卷(第4期);第567-575页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109670418A (zh) | 2019-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109670418B (zh) | 结合多源特征学习和组稀疏约束的无监督物体识别方法 | |
CN107515895B (zh) | 一种基于目标检测的视觉目标检索方法与*** | |
WO2018010434A1 (zh) | 一种图像分类方法及装置 | |
CN112836672B (zh) | 一种基于自适应近邻图嵌入的无监督数据降维方法 | |
CN111738143B (zh) | 一种基于期望最大化的行人重识别方法 | |
Philbin et al. | Descriptor learning for efficient retrieval | |
CN109359725B (zh) | 卷积神经网络模型的训练方法、装置、设备及计算机可读存储介质 | |
Jégou et al. | Improving bag-of-features for large scale image search | |
WO2021082168A1 (zh) | 一种场景图像中特定目标对象的匹配方法 | |
CN113920472B (zh) | 一种基于注意力机制的无监督目标重识别方法及*** | |
CN115578248B (zh) | 一种基于风格引导的泛化增强图像分类算法 | |
CN115222998B (zh) | 一种图像分类方法 | |
CN112529068B (zh) | 一种多视图图像分类方法、***、计算机设备和存储介质 | |
CN115564996A (zh) | 一种基于注意力联合网络的高光谱遥感图像分类方法 | |
CN109241813A (zh) | 用于非约束人脸识别的判别稀疏保持嵌入方法 | |
Bickel et al. | A novel shape retrieval method for 3D mechanical components based on object projection, pre-trained deep learning models and autoencoder | |
CN115393953A (zh) | 基于异构网络特征交互的行人重识别方法、装置及设备 | |
CN110188864B (zh) | 基于分布表示和分布度量的小样本学习方法 | |
CN115311483A (zh) | 基于局部结构与平衡感知的不完备多视图聚类方法及*** | |
Xiang et al. | Deep multimodal representation learning for generalizable person re-identification | |
CN111597367B (zh) | 基于视图和哈希算法的三维模型检索方法 | |
CN113627237A (zh) | 基于局部最大对齐的后期融合人脸图像聚类方法及*** | |
CN113221992A (zh) | 一种基于l2,1范数的大规模数据快速聚类方法 | |
CN110287973B (zh) | 一种基于低秩鲁棒线性鉴别分析的图像特征提取方法 | |
CN112084353A (zh) | 一种快速陆标-卷积特征匹配的词袋模型方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |