CN109993208B - 一种有噪声图像的聚类处理方法 - Google Patents
一种有噪声图像的聚类处理方法 Download PDFInfo
- Publication number
- CN109993208B CN109993208B CN201910159122.8A CN201910159122A CN109993208B CN 109993208 B CN109993208 B CN 109993208B CN 201910159122 A CN201910159122 A CN 201910159122A CN 109993208 B CN109993208 B CN 109993208B
- Authority
- CN
- China
- Prior art keywords
- model
- self
- clustering
- matrix
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
公开一种有噪声图像的聚类处理方法,其能够使图像聚类更具有鲁棒性。该方法构造一种基于深度变分自编码器的子空间聚类模型DVAESC,该模型在变分自编码器模型VAE框架中引入描述数据概率分布的均值参数的自表示层,以有效学习到邻接矩阵进而进行谱聚类。
Description
技术领域
本发明涉及计算机视觉和机器学习的技术领域,尤其涉及一种有噪声图像的聚类处理方法。
背景技术
近年来,信息技术得到了高速发展,人类获得的数据也日益增多,如何在这些海量的信息中获取真正有价值的数据成为人工智能的研究热点之一。聚类分析是一种无监督的方法,被广泛的应用到众多领域,其目标是将数据集中一定的特征或规则划分为多个不同的簇,并使同一簇间的样本相似性较大,而不同簇之间的样本相似性较小。
然而,在现实生活中,更多的是高维数据如图像、视频等,这些数据具有复杂的内部属性和结构,一般使用子空间聚类方法来处理这些高维数据的聚类问题。传统的子空间聚类方法通常是基于线性子空间的。
然而,现实生活中的数据不一定符合线性子空间结构。最近,Pan Ji等人提出深度子空间聚类网络(DSC-Net),使用自编码器网络(AE)非线性地将输入样本映射到特征空间,特别地,在编码器和解码器之间引入自表示层,进而可通过一个神经网络直接学习到反映任意两个样本间相似度的邻接矩阵,最后利用谱聚类对样本进行聚类。DSC-Net已经展示了相对传统子空间聚类模型的优势。
自然图像通常是有噪声的,这势必在一定程度上影响聚类的准确性。近来,Kingma等提出了变分自编码器(VAE),类似于传统的AE,VAE包含一个编码器和一个解码器,不同在于VAE的编码器旨在学习潜在变量的近似后验分布(以其与潜在变量的先验分布相似为正则化约束),而解码器通过从潜在变量空间采样而生成与原始输入类似的样本。由于VAE是一个概率统计模型,因而对噪声更具鲁棒性。目前,VAE已被广泛用于图像处理相关领域。因此有理由相信,基于VAE框架的深度子空间聚类更利于数据聚类。
在VAE框架中,通常假设潜变量服从高斯分布,描述高斯分布的参数-均值和方差可直接通过概率编码器学习得到。其中,均值反映了数据的低频概貌信息。众所周知,对数据进行聚类分析后,类内的个体彼此接近或相似,而与其他类的个体相异。对于概率分布描述的样本,同类的样本均值是相同或相近的,不同类样本的均值差别会很大。
发明内容
为克服现有技术的缺陷,本发明要解决的技术问题是提供了一种有噪声图像的聚类处理方法,其能够使图像聚类更具有鲁棒性。
本发明的技术方案是:一种有噪声图像的聚类处理方法,该方法构造一种基于深度变分自编码器的子空间聚类模型DVAESC,该模型在变分自编码器模型VAE框架中引入描述数据概率分布的均值参数的自表示层,以有效学习到邻接矩阵进而进行谱聚类。
本发明构造一种基于深度变分自编码器的子空间聚类模型DVAESC,该模型在变分自编码器模型VAE框架中引入描述数据概率分布的均值参数的自表示层,以有效学习到邻接矩阵进而进行谱聚类,提升了聚类准确性,所以对于存在噪声的自然数据更具有鲁棒性。
附图说明
图1示出了根据本发明的基于深度变分自编码器的子空间聚类模型。
图2是ORL库添加不同噪声的聚类结果示意图。
具体实施方式
这种有噪声图像的聚类处理方法,构造一种基于深度变分自编码器的子空间聚类模型DVAESC,该模型在变分自编码器模型VAE框架中引入描述数据概率分布的均值参数的自表示层,以有效学习到邻接矩阵进而进行谱聚类。
本发明构造一种基于深度变分自编码器的子空间聚类模型DVAESC,该模型在变分自编码器模型VAE框架中引入描述数据概率分布的均值参数的自表示层,以有效学习到邻接矩阵进而进行谱聚类,提升了聚类准确性,所以对于存在噪声的自然数据更具有鲁棒性。
优选地,所述DVAESC面向图像集分布建立,假设有N个独立同分布的图像集每个样本表示为I和J分别为输入样本的行和列的维度,N为样本数,这些样本来自于K个不同的子空间{Sk}k=1,...,K,子空间聚类方法是指将这些样本点按照某种规则映射到低维的子空间,然后对每个子空间进行分析将其划分为不同的簇;
VAE是一种基于概率的无监督生成模型,从潜在变量的分布中采样得到潜在变量z向量,然后通过生成模型pθ(x|z)生成样本,其中θ为网络中生成模型的参数,VAE框架中的编码器和解码器分别采用卷积神经网络和反卷积神经网络实现,输入样本用矩阵X表示,潜在变量z的真实后验pθ(z|X)通过近似后验表示其中为推理模型的参数,每个样本的边缘似然表示为:
通过变分推理,得到了VAE的变分下界第一项为负的重构误差,第二项为KL散度,衡量的是和pθ(z)之间的相似度,KL值越小两个分布越相似;VAE模型是通过不断求解下界的极大化逼近近似对数似然函数极大化。
优选地,潜变量服从单变量高斯分布,描述潜变量的方差是对角阵,这里,μ和σ都是列向量;由于同类样本的均值差异性较小,不同样本的均值差异性较大,因此对均值μ进行自表示,得到的相似性矩阵作为谱聚类算法的输入,从而得到相应的聚类结果。
为VAE的变分下界,本模型中的变分下界是参数和自表示系数矩阵的函数,ui为输入样本Xi经过概率编码器输出的均值参数向量,并定义U={ui}i=1,....,N,表示由所有样本的输出均值参数构成的矩阵;表示自表示系数矩阵的第i列,第i个样本与其他样本的相似度向量;定义为矩阵的F范数,||·||*定义为矩阵的核范数,表明矩阵的每一个样本与其自身的相关性为0,λ1和λ2分别为正则化系数;
以下详细说明面向图像集分布建立DVAESC模型。
假设有N个独立同分布的图像集每个样本表示为I和J分别为输入样本的行和列的维度,N为样本数,这些样本来自于K个不同的子空间{Sk}k=1,...,K。子空间聚类方法是指将这些样本点按照某种规则映射到低维的子空间,然后对每个子空间进行分析将其划分为不同的簇。但是当样本中存在噪声时,会影响聚类结果。因此,本发明在VAE理论和自表示技术支撑下,发明了一种深度变分自编码器子空间聚类模型,提升了聚类准确性。
VAE是一种基于概率的无监督生成模型,其主要思想是从潜在变量的分布中采样得到潜在变量z向量,然后通过生成模型pθ(x|z)生成样本,其中θ为网络中生成模型的参数。本发明中,VAE框架中的编码器和解码器分别采用卷积神经网络和反卷积神经网络实现,所以输入样本不需要做向量化处理,直接用矩阵X表示,以下同。在VAE中,潜在变量z的真实后验pθ(z|X)是不易得到的,因而通常通过近似后验表示其中为推理模型的参数。每个样本的边缘似然表示为:
通过变分推理,得到了VAE的变分下界第一项为负的重构误差,第二项为KL散度,衡量的是和pθ(z)之间的相似度,KL值越小两个分布越相似。因此VAE模型是通过不断求解下界的极大化逼近近似对数似然函数极大化的算法。
在VAE模型中,通常假设推理模型服从高斯分布,高斯分布的特征参数均值向量和协方差矩阵基于全连接的方式学习得到,特别地,通常假设潜变量服从单变量高斯分布,因而描述潜变量的方差是对角阵,即可用向量表示,从而这里,μ和σ都是列向量。由于同类样本的均值差异性较小,不同样本的均值差异性较大,因此考虑对均值μ进行自表示,将得到的相似性矩阵作为谱聚类算法的输入从而得到相应的聚类结果。
由上述可知,理想条件下只有相同子空间的数据样本具有相关性,即每个样本可以用来自相同子空间的数据来表示。而当数据中含有噪声时,会增加数据矩阵的秩,同时也会增加计算的时间复杂度和空间复杂度。因此本发明中对自表示系数矩阵进行核范数约束。具有低秩约束的DVAESC网络模型的目标函数定义如下:
这里,为VAE的变分下界,不同于公式(1),本模型中的变分下界是参数和自表示系数矩阵的函数。μi为输入样本Xi经过概率编码器输出的均值参数向量,并定义U={ui}i=1,....N,表示由所有样本的输出均值参数构成的矩阵;表示自表示系数矩阵的第i列,即第i个样本与其他样本的相似度向量,定义为矩阵的F范数,||·||*定义为矩阵的核范数,表明矩阵的每一个样本与其自身的相关性为0,λ1和λ2分别为正则化系数。
从公式2可以看出,目标函数主要分为三项:第一项为VAE的目标函数;第二项为自表示项,期望找到一个相似性矩阵使得μi与的误差尽可能小;第三项是正则化项。该模型需要学习的参数为推理模型的参数θ、生成模型的参数和自表示层的参数可以使用随机梯度算法联合优化参数
优选地,所述DVAESC的网络框架是在VAE模型的均值节点层后添加一个自表示层,自表示层是一个没有偏置的线性表示的全连接层,用于学习样本的相似性矩阵;对于待聚类的N个样本将所有的样本输入到DVAESC中,通过推理模型得到各样本的概率分布参数均值U={ui}i=1,....N和方差Ω={σi}i=1,...,N;在自表示层,使用全连接方式得到μi的低秩表示,其中为相似度系数矩阵的第i个列向量,表示第i个样本Xi与其他样本
优选地,对所述DVAESC的网络框架进行预训练:
本发明在公开的数据集上进行实验,并与其它的聚类方法进行比较以验证本发明对于图像聚类的有效性。实验部分共分为两大类,实验一旨在验证本发明所提出的DVAESC模型相比其它子空间聚类模型的优越性,比较的方法包括低秩表示聚类方法(LRR)、低秩子空间聚类方法(LRSC)、稀疏子空间聚类(SSC)、基于核的稀疏子空间聚类算法(KSSC)以及深度子空间聚类(DSC-Net)。实验二旨在验证在有噪声的影响下DVAESC模型比DSC-Net模型聚类效果更优。
本发明所用实验数据集如下:
Extended YaleB Dataset:该人脸库包含38个人,每个人有64张图像,分别从不同光照方向和光照强度下拍摄的。本发明将每个样本下采样到48×42,并且将其归一化到[0,1]之间。
ORL Dataset:包含40个人,每个人有10张图像,这些图像包含表情变化和细节变化。本文中每个样本下采样到32x32,并且将其归一化到[0,1]之间。
实验一:DVAESC模型相比其它子空间聚类模型的聚类效果
该实验主要在Extended YaleB和ORL两个人脸库上进行,旨在验证本发明所提出的DVAESC模型相比其他子空间聚类模型的优越性。对于不同的数据库网络模型参数设置如下。
1)Extended YaleB库共有2432张图像,因此自表示层的权重参数共有5914624个。本发明的推理模型和生成模型分别使用了3层卷积网络和3层反卷积网络,每层网络的参数设置如表1所示。设置潜在变量的维度为512,从而均值向量的维度也是512。
表1
2)ORL库共有400张图像,因此自表示层的权重参数共有160000个。本发明的推理模型和生成模型分别使用了3层卷积网络和3层反卷积网络,每层网络的参数设置如表2所示。设置潜在变量的维度为20,从而均值向量的维度也是20。
表2
在本发明中,在Extended YaleB库对于公式(2)中的正则化的参数λ1=1.0和λ2=0.45,而在ORL库,设置λ1=1.0和λ2=0.2。根据表3的聚类结果所示,本发明的方法在聚类时有明显的优势。
表3
实验二:在噪声的影响下DVAESC模型相比DSC-Net模型聚类效果
DVAESC模型是一种基于VAE的子空间聚类模型,VAE模型可以建模数据的概率统计分布,因此对噪声更鲁棒。实验二旨在验证DVAESC对噪声的鲁棒性。本实验使用了ORL数据库,在ORL库的400张图像中分别添加5%、10%、15%、20%、25%的椒盐噪声,然后分别使用DVAESC模型与DSC-Net模型进行聚类。网络参数设置如表2所示。随着噪声的增加,聚类精确度逐渐降低,但是本发明的方法在聚类上有明显的优势,如图2所示。
以上所述,仅是本发明的较佳实施例,并非对本发明作任何形式上的限制,凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属本发明技术方案的保护范围。
Claims (5)
1.一种有噪声图像的聚类处理方法,该方法构造一种基于深度变分自编码器的子空间聚类模型DVAESC,该模型在变分自编码器模型VAE框架中引入描述数据概率分布的均值参数的自表示层,以有效学习到邻接矩阵进而进行谱聚类;
所述DVAESC面向图像集分布建立,假设有N个独立同分布的图像集每个样本表示为I和J分别为输入样本的行和列的维度,N为样本数,这些样本来自于K个不同的子空间{Sk}k=1,..,K,子空间聚类方法是指将这些样本点按照某种规则映射到低维的子空间,然后对每个子空间进行分析将其划分为不同的簇;
VAE是一种基于概率的无监督生成模型,从潜在变量的分布中采样得到潜在变量z向量,然后通过生成模型pθ(x|z)生成样本,其中θ为网络中生成模型的参数,VAE框架中的编码器和解码器分别采用卷积神经网络和反卷积神经网络实现,输入样本用矩阵X表示,潜在变量z的真实后验pθ(z|X)通过近似后验表示其中为推理模型的参数,每个样本的边缘似然表示为:
通过变分推理,得到了VAE的变分下界第一项为负的重构误差,第二项为KL散度,衡量的是和pθ(z)之间的相似度,KL值越小两个分布越相似;VAE模型是通过不断求解下界的极大化逼近近似对数似然函数极大化;
潜变量服从单变量高斯分布,描述潜变量的方差是对角阵,这里,μ和σ都是列向量;由于同类样本的均值差异性较小,不同样本的均值差异性较大,因此对均值μ进行自表示,得到的相似性矩阵作为谱聚类算法的输入,从而得到相应的聚类结果;
(2)
为VAE的变分下界,本模型中的变分下界是参数θ,和自表示系数矩阵和自表示系数矩阵的函数,ui为输入样本Xi经过概率编码器输出的均值参数向量,并定义U={ui}i=1,..,N,表示由所有样本的输出均值参数构成的矩阵;表示自表示系数矩阵的第i列,第i个样本与其他样本的相似度向量;定义为矩阵的F范数,||·||*定义为矩阵的核范数,表明矩阵的每一个样本与其自身的相关性为0,λ1和λ2分别为正则化系数;
3.根据权利要求2所述的有噪声图像的聚类处理方法,其特征在于:所述DVAESC的网络框架是在VAE模型的均值节点层后添加一个自表示层,自表示层是一个没有偏置的线性表示的全连接层,用于学习样本的相似性矩阵;对于待聚类的N个样本将所有的样本输入到DVAESC中,通过推理模型得到各样本的概率分布参数均值U={ui}i=1,..,N和方差Ω={σi}i=1,..,N;在自表示层,使用全连接方式得到μi的低秩表示,其中为相似度系数矩阵的第i个列向量,表示第i个样本Xi与其他样本Xj{j=1,...,N,j≠i}的相关性;在生成模型阶段,首先使用重参数化技巧采样得到潜在变量Zi=μi+σiε,其中,ε是一个随机噪声变量最后重构出与原样本相似的样本
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910159122.8A CN109993208B (zh) | 2019-03-04 | 2019-03-04 | 一种有噪声图像的聚类处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910159122.8A CN109993208B (zh) | 2019-03-04 | 2019-03-04 | 一种有噪声图像的聚类处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109993208A CN109993208A (zh) | 2019-07-09 |
CN109993208B true CN109993208B (zh) | 2020-11-17 |
Family
ID=67130472
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910159122.8A Active CN109993208B (zh) | 2019-03-04 | 2019-03-04 | 一种有噪声图像的聚类处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109993208B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111144463B (zh) * | 2019-12-17 | 2024-02-02 | 中国地质大学(武汉) | 一种基于残差子空间聚类网络的高光谱图像聚类方法 |
CN112465067B (zh) * | 2020-12-15 | 2022-07-15 | 上海交通大学 | 基于图卷积自编码器的冷冻电镜单颗粒图像聚类实现方法 |
CN116310462B (zh) * | 2023-05-19 | 2023-08-11 | 浙江财经大学 | 一种基于秩约束自表示的图像聚类方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108647726A (zh) * | 2018-05-11 | 2018-10-12 | 南京理工大学 | 一种图像聚类方法 |
CN108776806A (zh) * | 2018-05-08 | 2018-11-09 | 河海大学 | 基于变分自编码器和密度峰值的混合属性数据聚类方法 |
CN109360191A (zh) * | 2018-09-25 | 2019-02-19 | 南京大学 | 一种基于变分自编码器的图像显著性检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108932705B (zh) * | 2018-06-27 | 2022-05-03 | 北京工业大学 | 一种基于矩阵变量变分自编码器的图像处理方法 |
-
2019
- 2019-03-04 CN CN201910159122.8A patent/CN109993208B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108776806A (zh) * | 2018-05-08 | 2018-11-09 | 河海大学 | 基于变分自编码器和密度峰值的混合属性数据聚类方法 |
CN108647726A (zh) * | 2018-05-11 | 2018-10-12 | 南京理工大学 | 一种图像聚类方法 |
CN109360191A (zh) * | 2018-09-25 | 2019-02-19 | 南京大学 | 一种基于变分自编码器的图像显著性检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109993208A (zh) | 2019-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zellinger et al. | Robust unsupervised domain adaptation for neural networks via moment alignment | |
Wang et al. | Multiple graph regularized nonnegative matrix factorization | |
Lin et al. | Hyperspectral image denoising via matrix factorization and deep prior regularization | |
Zaied et al. | A novel approach for face recognition based on fast learning algorithm and wavelet network theory | |
CN109993208B (zh) | 一种有噪声图像的聚类处理方法 | |
Luttinen et al. | Bayesian robust PCA of incomplete data | |
CN107169117B (zh) | 一种基于自动编码器和dtw的手绘图人体运动检索方法 | |
CN111191699B (zh) | 基于非负矩阵分解和划分自适应融合的多视角聚类方法 | |
CN109993199B (zh) | 一种针对高阶张量数据的处理方法 | |
CN112115881B (zh) | 基于鲁棒鉴别特征学习的图像特征提取方法 | |
CN110717519A (zh) | 训练、特征提取、分类方法、设备及存储介质 | |
Zuobin et al. | Feature regrouping for cca-based feature fusion and extraction through normalized cut | |
CN109815440B (zh) | 联合图优化和投影学习的维数约简方法 | |
Zhang et al. | Unsupervised EA-based fuzzy clustering for image segmentation | |
Ptucha et al. | Lge-ksvd: Flexible dictionary learning for optimized sparse representation classification | |
CN106934398A (zh) | 基于超像素聚类和稀疏表示的图像去噪方法 | |
Zhou et al. | Probabilistic rank-one tensor analysis with concurrent regularizations | |
Zhu et al. | Adaptive feature weighting for robust Lp-norm sparse representation with application to biometric image classification | |
CN107563287B (zh) | 人脸识别方法和装置 | |
Casella et al. | Autoencoders as an alternative approach to principal component analysis for dimensionality reduction. An application on simulated data from psychometric models. | |
Vettam et al. | Regularized deep learning with nonconvex penalties | |
Lu et al. | Generalized competitive learning of Gaussian mixture models | |
Lei et al. | Weighted Huber constrained sparse face recognition | |
Fursov et al. | Building of classifiers based on conjugation indices | |
Grim | Approximation of unknown multivariate probability distributions by using mixtures of product components: a tutorial |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |