CN107894967A - 一种基于局部与全局正则化稀疏编码方法 - Google Patents

一种基于局部与全局正则化稀疏编码方法 Download PDF

Info

Publication number
CN107894967A
CN107894967A CN201711202173.1A CN201711202173A CN107894967A CN 107894967 A CN107894967 A CN 107894967A CN 201711202173 A CN201711202173 A CN 201711202173A CN 107894967 A CN107894967 A CN 107894967A
Authority
CN
China
Prior art keywords
mrow
msub
msup
msubsup
mtr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711202173.1A
Other languages
English (en)
Inventor
舒振球
朱琪
范洪辉
张�杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Jiangsu University of Technology
Original Assignee
Nanjing University of Science and Technology
Jiangsu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology, Jiangsu University of Technology filed Critical Nanjing University of Science and Technology
Priority to CN201711202173.1A priority Critical patent/CN107894967A/zh
Publication of CN107894967A publication Critical patent/CN107894967A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Nitrogen And Oxygen Or Sulfur-Condensed Heterocyclic Ring Systems (AREA)
  • Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)
  • Other Investigation Or Analysis Of Materials By Electrical Means (AREA)

Abstract

本发明公开一种基于局部与全局正则化稀疏编码方法，属于稀疏编码(SC)技术领域。本发明利用局部回归正则化来发现数据潜在的几何结构；具体来说，整个数据空间被分为大量局部区域，每个样本由它从属的局部区域的样本来进行线性表示，称为局部学习设想；在此基础上同时还利用核全局回归方法来抓住数据的全局几何结构；因此，利用局部和全局正则化来得到数据的固有几何结构。

Description

一种基于局部与全局正则化稀疏编码方法
技术领域
本发明属于稀疏编码(SC)技术领域，尤其是一种基于局部与全局正则化稀疏编码方法。
背景技术
在很多分类和聚类问题中，高维数据的处理是一大极具有挑战性的问题。为了解决这一问题，人们往往是通过数据表示方法来寻找高维数据中的低维表示，从而达到提高计算效率和降低存储空间的目的。目前，数据表示方法由于在计算机视觉，信息检索和机器学习等方面的优异表示而吸引了众多学者的注意。
主成分分析(PCA)和线性判别分析(LDA)是两种流行的线性表示方法，前者是一种无监督的学习方法，其目的是寻找最小协方差投影方向，后者是一种完全监督学习方法，其目的是寻找最佳鉴别信息的投影方向。但是，两者的缺点是都不能有效发现数据中潜在的几何流形结构。
近年来，稀疏编码(SC)在图像处理、目标分类和视觉分析等应用中取得了巨大的成功。它的原理是通过利用字典中少量的原子的线性组合来表示测试样本，使得表达系数稀疏化。目前，很多传统的方法通过增加了稀疏约束条件来达到稀疏化的目的，如稀疏主成分分析，稀疏非负矩阵分解和稀疏低秩表示等，并取得了广泛地应用。
假设给定一组数据集X＝[x1,x2,...,xn]∈Rm×n，D∈Rm×k是过完备字典，A∈Rk×n是编码系数。为了使系数稀疏化，l0范数被用来约束编码系数。因此，稀疏编码的目标函数可以表示为如下最小化问题：
s.t.||di||2≤c,i＝1,...,k (1)
其中||·F是Frobenius范数，||·||0是l0范数，c是一个给定的限制条件，α是一个非负参数。l0范数最小值问题是NP问题，求解非常困难。而当式(1)中表示系数足够稀疏时，它就可以被转换为l1范数最小值优化问题。因此，式(1)中的最小值问题可写为如下优化问题：
s.t.||di||2≤c,i＝1,...,k (2)
其中||1是l1范数。式(2)中的l1范数最小值问题是凸优化问题，因此可利用现有的软件包(比如l1-magic,PDCO-LSQR和PDCO-CHOL等)来进行求解。
过去研究表明，流形学习在数据表达中起着非常重要作用。一个自然的设想是高维空间中两个相邻的数据样本在低维特征空间中也相邻，这就是流形学习猜想。近来，为了有效利用数据的几何流形结构，Cai等提出了一种图正则化稀疏编码(GSC)方法。它通过运用图正则化技术，使其低维表示能保持高维数据的几何流形结构。
假设给出一组数据集X＝[x1,x2,...,xn]∈Rm×n，我们构造一个具有k个最近邻图G＝{X,W}，其中顶点集为X，邻域图矩阵为W。如果xi是xj的最近邻样本或者xi是xi的最近邻样本，Wij＝1，否则，Wij＝0。因此，图正则项可表示为：
其中Tr(·)表示矩阵的秩，A＝[a1,…,an]是稀疏系数矩阵，L＝D-W是拉普拉斯矩阵，D是对角矩阵，Dii＝∑jWij。
将拉普拉斯图正则项加入到稀疏编码的模型中，可得到GSC的目标函数：
s.t.||ai||2≤c,i＝1,...,k (4)
其中α和β为正则化系数。式(4)可采用特征标识搜索算法来求解。
但是，GSC只利用了数据的局部几何流形结构而忽视了数据的全局几何结构关系。因此，需要寻找一个新的方法，使其低维表示能够同时保持数据的局部和全局几何结构。
发明内容
为解决现有技术存在低维表示不能同时保持数据的局部和全局几何结构的缺陷，本发明提供一种基于局部与全局正则化稀疏编码方法，与传统的稀疏编码方法相比，该方法通过构造局部回归正则化来保持数据的局部结构信息，通过核回归来抓住数据的全局几何结构。
为实现上述目的，本发明采用下述技术方案：
一种基于局部与全局正则化稀疏编码方法，该方法包括如下步骤：
步骤一，输入一组数据X＝[x1,x2,...,xn]∈Rm×n，其中xi表示第i个样本；利用局部学习思想来表示每一个样本，推导出局部正则项表达式：
步骤二，利用核全局回归方法来表示每一个样本，推导出全局正则项表达式：
其中φ(·)是核映射函数，b是偏性项；
步骤三，将式(7)和式(8)结合，得出局部和全局正则项表达式：
其中μ是一个平衡参数，用来控制局部正则项和全局正则项所占的比例；
步骤四，输入数据集中样本Xi＝[xi,xi1,xi2,...,xik-1]∈Rm×k表示为样本Ni的数据矩阵，Ai＝[ai,ai1,...,aik-1]T∈Rm×k为样本Ni的低维表示，由式(7)推导出表达式：
Jlocal＝ATLlocalA (18)
其中
由式(8)推导出表达式：
Jglobal＝ATLglobalA (22)
其中Lglobal＝γH(HKH+γI)-1H (25)
步骤五，将局部正则项和全局正则项结合，最终得出局部和全局正则项表达式：
步骤六，通过正则化技术，将局部和全局正则项嵌入到稀疏编码模型中，得到所述方法的目标函数表达式：
s.t.||ai||2≤c,i＝1,...,k (27)
通过交替迭代算法来求解式(27)，输出字典S和编码系数A。
进一步地，步骤一中利用局部学习思想将每个样本的线性回归函数表示为：
fi(x)＝Wi Txj+bi (5)
其中xj∈N(xi)，Wi为权向量，bi是fi的偏性；由式(5)推导出每个样本的损失函数表示为：
其中αj是xi的低维表示，正则项γ||Wi||2用来衡量Wi的光滑程度。进一步地，步骤四中输入数据集中样本Xi＝[xi,xi1,xi2,...,xik-1]∈Rm×k表示为样本Ni的数据矩阵，Ai＝[ai,ai1,...,aik-1]T∈Rm×k为样本Ni的低维表示，由式(9)推导出表达式：
其中1k∈Rk和1n∈Rn表示两个单位向量；利用矩阵的属性由式(10)推导出表达式：
对式(11)中的Wi和bi分别求偏导，得到：
其中是局部中心矩阵，将式(14)和(15)代到式(6)中，得到：
其中定义一个选择矩阵Q，由式(16)推导出表达式：
进一步地，步骤四中输入数据集中样本Xi＝[xi,xi1,xi2,...,xik-1]∈Rm×k表示为样本Ni的数据矩阵，Ai＝[ai,ai1,...,aik-1]T∈Rm×k为样本Ni的低维表示，由式(9)中的第二项Jglobal推导出表达式：
Jglobal＝tr{[φ(X)Tφ(W)+1nbT-A]T[φ(X)Tφ(W)+1nbT-A]}
+γtr[φ(X)Tφ(X)] (19)
对式(11)中的Wi和bi分别求偏导，得到：
φ(W)＝(φ(X)Hφ(X)T+γI)-1φ(X)A
＝φ(X)H(Hφ(X)TXH+γI)-1A (20)
定义为全局中心矩阵，得式(22)；
Lglobal＝H-Hφ(X)T[φ(X)Hφ(X)T+γI]-1φ(X)H
其中＝γH(Hφ(X)Tφ(X)H+γI)-1H (23)
其中φ(X)Tφ(X)由核函数K进行计算，得式(25)。
进一步地，核函数K表达式：
其中核函数K满足Mercer条件，并且
进一步地，式(27)的求解方法如下：
步骤七，固定编码系数A，将式(27)中的最优化问题转化为带有二次约束的最小平方问题：
s.t.||ai||2≤c,i＝1,...,k (28)
通过拉格朗日对偶来求解式(28)；
步骤八，固定字典S，将式(27)中的最优化问题转化为如下的问题：
式(30)通过坐标优化方法来逐个求解每个样本的编码系数A。
进一步地，步骤七中输入λ＝[λ1,λ2,...,λk]成为拉格朗日乘向量，其中λi是带有第i个不等式||ai||2≤c的拉格朗日乘子，由式(28)推导出：
S*＝XAT(AAT+diag(λ*))-1 (29)
其中λ*是λ的最优解。
进一步地，步骤八中优化编码系数A中的第i个系数ai时固定其它系数，将式(30)表示为：
式(31)利用特征标识搜索算法即可求解。
有益效果：
1.与传统的数据表示方法，例如PAC，GNMF，CF等相比，本发明的LGSC方法通过局部和全局正则化，更能够抓住数据的几何流行结构，使数据表示更加精确。
2.本发明的LGSC方法不仅利用核回归来保持数据的全局几何结构信息，而且还利用局部回归来保护数据的流形和鉴别结构信息。
3.本发明的LGSC方法的收敛速度与传统的稀疏编码方法相当；在计算效率上，本发明的LGSC方法与传统的GSC方法相比，在计算复杂度上相差无几，这充分体现了本发明的LGSC方法的高效性。
附图说明
图1是本发明一实施例的具体方法流程图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
本实施例提出一种基于局部与全局正则化稀疏编码方法，该方法的目标函数和求解方法如下：
(1)局部和全局的正则化
传统的稀疏编码方法无法得到抓住数据中固有的几何结构是因为它们仅仅单独地利用数据的局部结构或全局结构。一个合理的方法是在表示过程中充分利用数据的局部和全局结构信息。
大量研究表明在数据表示时，充分利用数据的局部几何结构能提高算法的性能。因此，本发明利用局部回归正则化来发现数据潜在的几何结构。具体来说，整个数据空间被分为大量局部区域，每个样本由它从属的局部区域的样本来进行线性表示，这被称为局部学习设想。但是，该设想的缺点是在每个局部区域中缺少能够构造局部分类的数据点。因此，本发明在此基础上同时还利用核全局回归方法来抓住数据的全局几何结构。
因此，本发明利用局部和全局正则化来得到数据的固有几何结构，具体流程如下：
给出一组数据X＝[x1,x2,...,xn]∈Rm×n，其中xi表示第i个样本。局部学习思想是由样本的邻域来线性表示样本。因此，每个样本的线性回归函数可表示为：
fi(x)＝Wi Txj+bi (5)
其中xj∈N(xi)，Wi为权向量，bi是fi的偏性。根据式(5)，可将每个样本的损失函数表示为：
其中αj是xi的低维表示，正则项γ||Wi||2用来衡量Wi的光滑程度。因此，样本集的预测误差可表示为：
式(7)称之为局部正则项。
为了得到数据的全局几何结构，本发明使用核回归来表示每一个样本。样本集的全局损失函数Jglobal可表示为：
其中φ(·)是核映射函数，b是偏性项。式(8)称之为全局正则项。将式(7)和式(8)结合，可将局部和全局正则项表示为：
其中μ是一个平衡参数，主要用来控制局部正则项和全局正则项所占的比例。假设数据集中样本Xi＝[xi,xi1,xi2,...,xik-1]∈Rm×k表示为样本Ni的数据矩阵，Ai＝[ai,ai1,...,aik-1]T∈Rm×k为样本Ni的低维表示，可将式(9)改写为：
其中1k∈Rk和1n∈Rn表示两个单位向量。利用矩阵的属性式(10)可表示为：
对式(11)中的Wi和bi求偏导，可得：
让即可得：
其中是局部中心矩阵，将式(14)和(15)代到式(6)中，可得到：
其中定义一个选择矩阵Q，如果xi是Ni的第j个元素，那么Qij＝1，否则，Qij＝0。故式(16)可以被改写为：
同时，式(7)中的局部正则项可以被改写为：
Jlocal＝ATLlocalA (18)
其中
类似，式(9)中的第二项Jglobal可以被改写为：
Jglobal＝tr{[φ(X)Tφ(W)+1nbT-A]T[φ(X)Tφ(W)+1nbT-A]}
+γtr[φ(X)Tφ(X)] (19)对式(11)中的Wi和bi分别求偏导，可得：
φ(W)＝(φ(X)Hφ(X)T+γI)-1φ(X)A
＝φ(X)H(Hφ(X)TXH+γI)-1A (20)
定义为全局中心矩阵，全局正则化项可表示为：
Jglobal＝ATLglobalA (22)因此，可得：
Lglobal＝H-Hφ(X)T[φ(X)Hφ(X)T+γI]-1φ(X)H
＝γH(Hφ(X)Tφ(X)H+γI)-1H (23)
其中φ(X)Tφ(X)可以由核函数进行计算。假设xi和xj的点积由下面的核函数得到：
该核函数K必须满足Mercer条件，并且因此，Lglobal可表示为：
Lglobal＝γH(HKH+γI)-1H (25)
将局部正则项和全局正则项结合，可以得到本发明方法中所提出的局部和全局正则项表达式：
式(26)称之为局部和全局的正则化。
(2)LGSC方法的目标函数
本发明通过正则化技术，可将数据的局部和全局正则项嵌入到稀疏编码模型中。因此，本发明的LGSC方法的目标函数可表示为：
s.t.||ai||2≤c,i＝1,...,k (27)
LGSC方法的目标函数对于S和A的乘积是非凸的，可以通过交替迭代算法来求解优化问题(27)，具体求解方法如下：
(a)字典S的迭代更新
固定编码系数A，式(27)中的最优化问题可以转化为带有二次约束的最小平方问题：
s.t.||ai||2≤c,i＝1,...,k (28)
可通过拉格朗日对偶来求解优化问题(28)。假设λ＝[λ1,λ2,...,λk]成为拉格朗日乘向量，其中λi是带有第i个不等式||ai||2≤c的拉格朗日乘子，因此由式(28)可以推导出：
S*＝XAT(AAT+diag(λ*))-1 (29)
其中λ*是λ的最优解。
(b)编码系数A迭代更新
固定字典S，将式(27)中的最优化问题转化为如下的问题：
式(30)可以通过坐标优化方法来逐个求解每个样本的编码系数A。即优化编码矩阵A中的第i个系数ai时固定其它系数。因此，可将优化问题(30)改写为：
类似的，最优化问题(31)可以利用特征标识搜索算法即可求解。
如图1所示，本发明的具体流程为：(1)输入一组包含m个的图像数据X＝[x1，x2，……，xm]，迭代次数T，系数α，β，μ，ν；(2)分别计算出式(18)中的局部拉普拉斯矩阵Llocal和式(26)中的全局拉普拉斯矩阵Lglocal；(3)由式(26)计算局部和全局的拉普拉斯矩阵Llocal-glocal；(4)将i从1循环到T；(5)根据式(29)迭代更新字典S；(6)使用特征标志搜索方法来求解编码系数A；(7)输出字典S和编码系数A。
对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (8)

1.一种基于局部与全局正则化稀疏编码方法，其特征在于，所述方法包括如下步骤：
步骤一，输入一组数据X＝[x1,x2,...,xn]∈Rm×n，其中xi表示第i个样本；利用局部学习思想来表示每一个样本，推导出局部正则项表达式：
<mrow> <msup> <mi>J</mi> <mrow> <mi>l</mi> <mi>o</mi> <mi>c</mi> <mi>a</mi> <mi>l</mi> </mrow> </msup> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <munder> <mo>&amp;Sigma;</mo> <mrow> <msub> <mi>x</mi> <mi>j</mi> </msub> <mo>&amp;Element;</mo> <mi>N</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow> </munder> <mo>|</mo> <mo>|</mo> <msubsup> <mi>W</mi> <mi>i</mi> <mi>T</mi> </msubsup> <msub> <mi>x</mi> <mi>j</mi> </msub> <mo>+</mo> <msub> <mi>b</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>a</mi> <mi>j</mi> </msub> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>+</mo> <mi>&amp;gamma;</mi> <mo>|</mo> <mo>|</mo> <msub> <mi>W</mi> <mi>i</mi> </msub> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo> </mrow> </mrow>
步骤二，利用核全局回归方法来表示每一个样本，推导出全局正则项表达式：
<mrow> <msup> <mi>J</mi> <mrow> <mi>g</mi> <mi>l</mi> <mi>o</mi> <mi>b</mi> <mi>a</mi> <mi>l</mi> </mrow> </msup> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <mo>|</mo> <mo>|</mo> <mi>&amp;phi;</mi> <msup> <mrow> <mo>(</mo> <mi>W</mi> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mi>&amp;phi;</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>+</mo> <mi>b</mi> <mo>-</mo> <msub> <mi>a</mi> <mi>i</mi> </msub> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>+</mo> <mi>&amp;gamma;</mi> <mo>|</mo> <mo>|</mo> <mi>&amp;phi;</mi> <mrow> <mo>(</mo> <mi>W</mi> <mo>)</mo> </mrow> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow>
其中φ(·)是核映射函数，b是偏性项；
步骤三，将式(7)和式(8)结合，得出局部和全局正则项表达式：
<mrow> <mtable> <mtr> <mtd> <mrow> <mi>J</mi> <mo>=</mo> <msup> <mi>L</mi> <mrow> <mi>l</mi> <mi>o</mi> <mi>c</mi> <mi>a</mi> <mi>l</mi> </mrow> </msup> <mo>+</mo> <msup> <mi>&amp;mu;L</mi> <mrow> <mi>g</mi> <mi>l</mi> <mi>o</mi> <mi>b</mi> <mi>a</mi> <mi>l</mi> </mrow> </msup> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <munder> <mo>&amp;Sigma;</mo> <mrow> <msub> <mi>x</mi> <mi>j</mi> </msub> <mo>&amp;Element;</mo> <msub> <mi>N</mi> <mi>i</mi> </msub> </mrow> </munder> <mrow> <mo>(</mo> <mo>|</mo> <mo>|</mo> <msubsup> <mi>W</mi> <mi>i</mi> <mi>T</mi> </msubsup> <msub> <mi>x</mi> <mi>j</mi> </msub> <mo>+</mo> <msub> <mi>b</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>a</mi> <mi>j</mi> </msub> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>+</mo> <mi>&amp;gamma;</mi> <mo>|</mo> <mo>|</mo> <msub> <mi>W</mi> <mi>i</mi> </msub> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>+</mo> <mi>&amp;mu;</mi> <mo>&amp;lsqb;</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <mo>|</mo> <mo>|</mo> <mi>&amp;phi;</mi> <msup> <mrow> <mo>(</mo> <mi>W</mi> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mi>&amp;phi;</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>+</mo> <mi>b</mi> <mo>-</mo> <msub> <mi>a</mi> <mi>i</mi> </msub> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>+</mo> <mi>&amp;gamma;</mi> <mo>|</mo> <mo>|</mo> <mi>&amp;phi;</mi> <mrow> <mo>(</mo> <mi>W</mi> <mo>)</mo> </mrow> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>&amp;rsqb;</mo> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>9</mn> <mo>)</mo> </mrow> </mrow>
其中μ是一个平衡参数，用来控制局部正则项和全局正则项所占的比例；
步骤四，输入数据集中样本Xi＝[xi,xi1,xi2,...,xik-1]∈Rm×k表示为样本Ni的数据矩阵，Ai＝[ai,ai1,...,aik-1]T∈Rm×k为样本Ni的低维表示，由式(7)推导出表达式：
Jlocal＝ATLlocalA (18)
其中
由式(8)推导出表达式：
Jglobal＝ATLglobalA (22)
其中Lglobal＝γH(HKH+γI)-1H (25)
步骤五，将局部正则项和全局正则项结合，最终得出局部和全局正则项表达式：
<mrow> <mtable> <mtr> <mtd> <mrow> <msup> <mi>L</mi> <mrow> <mi>l</mi> <mi>o</mi> <mi>c</mi> <mi>a</mi> <mi>l</mi> <mo>-</mo> <mi>g</mi> <mi>l</mi> <mi>o</mi> <mi>b</mi> <mi>a</mi> <mi>l</mi> </mrow> </msup> <mo>=</mo> <msup> <mi>L</mi> <mrow> <mi>l</mi> <mi>o</mi> <mi>c</mi> <mi>a</mi> <mi>l</mi> </mrow> </msup> <mo>+</mo> <msup> <mi>&amp;mu;L</mi> <mrow> <mi>g</mi> <mi>l</mi> <mi>o</mi> <mi>b</mi> <mi>a</mi> <mi>l</mi> </mrow> </msup> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <msup> <mi>A</mi> <mi>T</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>L</mi> <mrow> <mi>l</mi> <mi>o</mi> <mi>c</mi> <mi>a</mi> <mi>l</mi> </mrow> </msup> <mo>+</mo> <msup> <mi>&amp;mu;L</mi> <mrow> <mi>g</mi> <mi>l</mi> <mi>o</mi> <mi>b</mi> <mi>a</mi> <mi>l</mi> </mrow> </msup> <mo>)</mo> </mrow> <mi>A</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <msup> <mi>A</mi> <mi>T</mi> </msup> <mrow> <mo>(</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <msub> <mi>Q</mi> <mi>i</mi> </msub> <msub> <mi>F</mi> <mi>i</mi> </msub> <msubsup> <mi>Q</mi> <mi>i</mi> <mi>T</mi> </msubsup> <mo>+</mo> <mi>&amp;mu;</mi> <mi>&amp;gamma;</mi> <mi>H</mi> <msup> <mrow> <mo>(</mo> <mrow> <mi>H</mi> <mi>K</mi> <mi>H</mi> <mo>+</mo> <mi>&amp;gamma;</mi> <mi>I</mi> </mrow> <mo>)</mo> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mi>H</mi> <mo>)</mo> </mrow> <mi>A</mi> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>26</mn> <mo>)</mo> </mrow> </mrow>
步骤六，通过正则化技术，将局部和全局正则项嵌入到稀疏编码模型中，得到所述方法的目标函数表达式：
<mrow> <mtable> <mtr> <mtd> <mrow> <munder> <mi>min</mi> <mrow> <mi>S</mi> <mo>,</mo> <mi>A</mi> </mrow> </munder> <mo>|</mo> <mo>|</mo> <mi>X</mi> <mo>-</mo> <mi>S</mi> <mi>A</mi> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&amp;alpha;</mi> <mi>T</mi> <mi>r</mi> <mrow> <mo>(</mo> <msup> <mi>AL</mi> <mrow> <mi>l</mi> <mi>o</mi> <mi>c</mi> <mi>a</mi> <mi>l</mi> <mo>-</mo> <mi>g</mi> <mi>l</mi> <mi>o</mi> <mi>b</mi> <mi>a</mi> <mi>l</mi> </mrow> </msup> <msup> <mi>A</mi> <mi>T</mi> </msup> <mo>)</mo> </mrow> <mo>+</mo> <mi>&amp;beta;</mi> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <mo>|</mo> <mo>|</mo> <msub> <mi>a</mi> <mi>i</mi> </msub> <mo>|</mo> <msub> <mo>|</mo> <mn>1</mn> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>s</mi> <mo>.</mo> <mi>t</mi> <mo>.</mo> <mo>|</mo> <mo>|</mo> <msub> <mi>a</mi> <mi>i</mi> </msub> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>&amp;le;</mo> <mi>c</mi> <mo>,</mo> <mi>i</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>...</mn> <mo>,</mo> <mi>k</mi> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>27</mn> <mo>)</mo> </mrow> </mrow>
通过交替迭代算法来求解式(27)，输出字典S和编码系数A。
2.根据权利要求1所述的基于局部与全局正则化稀疏编码方法，其特征在于，所述步骤一中利用局部学习思想将每个样本的线性回归函数表示为：
<mrow> <msub> <mi>f</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <msubsup> <mi>W</mi> <mi>i</mi> <mi>T</mi> </msubsup> <msub> <mi>x</mi> <mi>j</mi> </msub> <mo>+</mo> <msub> <mi>b</mi> <mi>i</mi> </msub> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>
其中xj∈N(xi)，Wi为权向量，bi是fi的偏性；由式(5)推导出每个样本的损失函数表示为：
<mrow> <msubsup> <mi>J</mi> <mi>i</mi> <mrow> <mi>l</mi> <mi>o</mi> <mi>c</mi> <mi>a</mi> <mi>l</mi> </mrow> </msubsup> <mo>=</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <msub> <mi>x</mi> <mi>j</mi> </msub> <mo>&amp;Element;</mo> <mi>N</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow> </munder> <mo>|</mo> <mo>|</mo> <msubsup> <mi>W</mi> <mi>i</mi> <mi>T</mi> </msubsup> <msub> <mi>x</mi> <mi>j</mi> </msub> <mo>+</mo> <msub> <mi>b</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>a</mi> <mi>j</mi> </msub> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>+</mo> <mi>&amp;gamma;</mi> <mo>|</mo> <mo>|</mo> <msub> <mi>W</mi> <mi>i</mi> </msub> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo> </mrow> </mrow>
其中αj是xi的低维表示，正则项γ||Wi||2用来衡量Wi的光滑程度。
3.根据权利要求1所述的基于局部与全局正则化稀疏编码方法，其特征在于，所述步骤四中输入数据集中样本表示为样本Ni的数据矩阵，Ai＝[ai,ai1,...,aik-1]T∈Rm×k为样本Ni的低维表示，由式(9)推导出表达式：
<mrow> <mtable> <mtr> <mtd> <mrow> <mi>J</mi> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <mrow> <mo>(</mo> <mo>|</mo> <mo>|</mo> <msubsup> <mi>X</mi> <mi>i</mi> <mi>T</mi> </msubsup> <msub> <mi>W</mi> <mi>i</mi> </msub> <mo>+</mo> <msub> <mn>1</mn> <mi>k</mi> </msub> <msubsup> <mi>b</mi> <mi>i</mi> <mi>T</mi> </msubsup> <mo>-</mo> <msub> <mi>A</mi> <mi>i</mi> </msub> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>+</mo> <mi>&amp;gamma;</mi> <mo>|</mo> <mo>|</mo> <msub> <mi>W</mi> <mi>i</mi> </msub> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>+</mo> <mi>&amp;mu;</mi> <mo>(</mo> <mo>|</mo> <mo>|</mo> <mi>&amp;phi;</mi> <msup> <mrow> <mo>(</mo> <mi>X</mi> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mi>&amp;phi;</mi> <mrow> <mo>(</mo> <mi>W</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mn>1</mn> <mi>n</mi> </msub> <mi>b</mi> <mo>-</mo> <mi>A</mi> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&amp;gamma;</mi> <mo>|</mo> <mo>|</mo> <mi>&amp;phi;</mi> <mrow> <mo>(</mo> <mi>W</mi> <mo>)</mo> </mrow> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>)</mo> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>10</mn> <mo>)</mo> </mrow> </mrow>
其中1k∈Rk和1n∈Rn表示两个单位向量；利用矩阵的属性由式(10)推导出表达式：
<mrow> <msup> <mi>J</mi> <mrow> <mi>l</mi> <mi>o</mi> <mi>c</mi> <mi>a</mi> <mi>l</mi> </mrow> </msup> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <mo>{</mo> <mi>t</mi> <mi>r</mi> <mo>&amp;lsqb;</mo> <msup> <mrow> <mo>(</mo> <msubsup> <mi>X</mi> <mi>i</mi> <mi>T</mi> </msubsup> <msub> <mi>W</mi> <mi>i</mi> </msub> <mo>+</mo> <msub> <mn>1</mn> <mi>k</mi> </msub> <msubsup> <mi>b</mi> <mi>i</mi> <mi>T</mi> </msubsup> <mo>-</mo> <msub> <mi>A</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mrow> <mo>(</mo> <msubsup> <mi>X</mi> <mi>i</mi> <mi>T</mi> </msubsup> <msub> <mi>W</mi> <mi>i</mi> </msub> <mo>+</mo> <msub> <mn>1</mn> <mi>k</mi> </msub> <msubsup> <mi>b</mi> <mi>i</mi> <mi>T</mi> </msubsup> <mo>-</mo> <msub> <mi>A</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>+</mo> <mi>&amp;gamma;</mi> <mi>t</mi> <mi>r</mi> <mrow> <mo>(</mo> <msubsup> <mi>W</mi> <mi>i</mi> <mi>T</mi> </msubsup> <msub> <mi>W</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>}</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>11</mn> <mo>)</mo> </mrow> </mrow>
对式(11)中的Wi和bi分别求偏导，得到：
<mrow> <msub> <mi>b</mi> <mi>i</mi> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mi>k</mi> </mfrac> <mrow> <mo>(</mo> <msubsup> <mi>A</mi> <mi>i</mi> <mi>T</mi> </msubsup> <msub> <mn>1</mn> <mi>k</mi> </msub> <mo>-</mo> <msubsup> <mi>W</mi> <mi>i</mi> <mi>T</mi> </msubsup> <msub> <mi>X</mi> <mi>i</mi> </msub> <msub> <mn>1</mn> <mi>k</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>14</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>W</mi> <mi>i</mi> </msub> <mo>=</mo> <msup> <mrow> <mo>(</mo> <msub> <mi>X</mi> <mi>i</mi> </msub> <msub> <mi>H</mi> <mi>k</mi> </msub> <msubsup> <mi>X</mi> <mi>i</mi> <mi>T</mi> </msubsup> <mo>+</mo> <mi>&amp;gamma;</mi> <mi>I</mi> <mo>)</mo> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <msub> <mi>X</mi> <mi>i</mi> </msub> <msub> <mi>H</mi> <mi>k</mi> </msub> <msub> <mi>A</mi> <mi>i</mi> </msub> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>15</mn> <mo>)</mo> </mrow> </mrow>
其中是局部中心矩阵，将式(14)和(15)代到式(6)中，得到：
<mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <mi>t</mi> <mi>r</mi> <mrow> <mo>(</mo> <msubsup> <mi>A</mi> <mi>i</mi> <mi>T</mi> </msubsup> <msub> <mi>F</mi> <mi>i</mi> </msub> <msub> <mi>A</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>16</mn> <mo>)</mo> </mrow> </mrow>
其中定义一个选择矩阵Q，由式(16)推导出表达式：
<mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <mi>t</mi> <mi>r</mi> <mrow> <mo>(</mo> <msubsup> <mi>A</mi> <mi>i</mi> <mi>T</mi> </msubsup> <msub> <mi>Q</mi> <mi>i</mi> </msub> <msub> <mi>F</mi> <mi>i</mi> </msub> <msubsup> <mi>Q</mi> <mi>i</mi> <mi>T</mi> </msubsup> <msub> <mi>A</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mi>t</mi> <mi>r</mi> <mrow> <mo>(</mo> <msup> <mi>A</mi> <mi>T</mi> </msup> <mo>(</mo> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <msub> <mi>Q</mi> <mi>i</mi> </msub> <msub> <mi>F</mi> <mi>i</mi> </msub> <msubsup> <mi>Q</mi> <mi>i</mi> <mi>T</mi> </msubsup> </mrow> <mo>)</mo> <msup> <mi>A</mi> <mi>T</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>17</mn> <mo>)</mo> </mrow> </mrow>
4.根据权利要求1所述的基于局部与全局正则化稀疏编码方法，其特征在于，所述步骤四中输入数据集中样本表示为样本Ni的数据矩阵，Ai＝[ai,ai1,...,aik-1]T∈Rm×k为样本Ni的低维表示，由式(9)中的第二项Jglobal推导出表达式：
<mrow> <mtable> <mtr> <mtd> <mrow> <msub> <mi>J</mi> <mrow> <mi>g</mi> <mi>l</mi> <mi>o</mi> <mi>b</mi> <mi>a</mi> <mi>l</mi> </mrow> </msub> <mo>=</mo> <mi>t</mi> <mi>r</mi> <mo>{</mo> <msup> <mrow> <mo>&amp;lsqb;</mo> <mi>&amp;phi;</mi> <msup> <mrow> <mo>(</mo> <mi>X</mi> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mi>&amp;phi;</mi> <mrow> <mo>(</mo> <mi>W</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mn>1</mn> <mi>n</mi> </msub> <msup> <mi>b</mi> <mi>T</mi> </msup> <mo>-</mo> <mi>A</mi> <mo>&amp;rsqb;</mo> </mrow> <mi>T</mi> </msup> <mo>&amp;lsqb;</mo> <mi>&amp;phi;</mi> <msup> <mrow> <mo>(</mo> <mi>X</mi> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mi>&amp;phi;</mi> <mrow> <mo>(</mo> <mi>W</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mn>1</mn> <mi>n</mi> </msub> <msup> <mi>b</mi> <mi>T</mi> </msup> <mo>-</mo> <mi>A</mi> <mo>&amp;rsqb;</mo> <mo>}</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>+</mo> <mi>&amp;gamma;</mi> <mi>t</mi> <mi>r</mi> <mo>&amp;lsqb;</mo> <mi>&amp;phi;</mi> <msup> <mrow> <mo>(</mo> <mi>X</mi> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mi>&amp;phi;</mi> <mrow> <mo>(</mo> <mi>X</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>19</mn> <mo>)</mo> </mrow> </mrow>
对式(11)中的Wi和bi分别求偏导，得到：
<mrow> <mtable> <mtr> <mtd> <mrow> <mi>&amp;phi;</mi> <mrow> <mo>(</mo> <mi>W</mi> <mo>)</mo> </mrow> <mo>=</mo> <msup> <mrow> <mo>(</mo> <mi>&amp;phi;</mi> <mo>(</mo> <mi>X</mi> <mo>)</mo> <mi>H</mi> <mi>&amp;phi;</mi> <msup> <mrow> <mo>(</mo> <mi>X</mi> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mo>+</mo> <mi>&amp;gamma;</mi> <mi>I</mi> <mo>)</mo> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mi>&amp;phi;</mi> <mrow> <mo>(</mo> <mi>X</mi> <mo>)</mo> </mrow> <mi>A</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <mi>&amp;phi;</mi> <mrow> <mo>(</mo> <mi>X</mi> <mo>)</mo> </mrow> <mi>H</mi> <msup> <mrow> <mo>(</mo> <mi>H</mi> <mi>&amp;phi;</mi> <msup> <mrow> <mo>(</mo> <mi>X</mi> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mi>X</mi> <mi>H</mi> <mo>+</mo> <mi>&amp;gamma;</mi> <mi>I</mi> <mo>)</mo> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mi>A</mi> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>20</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <mtable> <mtr> <mtd> <mrow> <mi>b</mi> <mo>=</mo> <mfrac> <mn>1</mn> <mi>n</mi> </mfrac> <msup> <mi>A</mi> <mi>T</mi> </msup> <msub> <mn>1</mn> <mi>n</mi> </msub> <mo>-</mo> <mfrac> <mn>1</mn> <mi>n</mi> </mfrac> <msup> <mi>W</mi> <mi>T</mi> </msup> <mi>&amp;phi;</mi> <mrow> <mo>(</mo> <mi>X</mi> <mo>)</mo> </mrow> <msub> <mn>1</mn> <mi>n</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mi>n</mi> </mfrac> <msup> <mi>A</mi> <mi>T</mi> </msup> <msub> <mn>1</mn> <mi>n</mi> </msub> <mo>-</mo> <mfrac> <mn>1</mn> <mi>n</mi> </mfrac> <msup> <mi>A</mi> <mi>T</mi> </msup> <msup> <mrow> <mo>(</mo> <mi>H</mi> <mi>&amp;phi;</mi> <msup> <mrow> <mo>(</mo> <mi>X</mi> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mi>&amp;phi;</mi> <mo>(</mo> <mi>X</mi> <mo>)</mo> <mi>H</mi> <mo>+</mo> <mi>&amp;gamma;</mi> <mi>I</mi> <mo>)</mo> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mi>H</mi> <mi>&amp;phi;</mi> <msup> <mrow> <mo>(</mo> <mi>X</mi> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mi>&amp;phi;</mi> <mrow> <mo>(</mo> <mi>X</mi> <mo>)</mo> </mrow> <msub> <mn>1</mn> <mi>n</mi> </msub> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>21</mn> <mo>)</mo> </mrow> </mrow>
定义为全局中心矩阵，得式(22)；
其中
其中φ(X)Tφ(X)由核函数K进行计算，得式(25)。
5.根据权利要求4所述的基于局部与全局正则化稀疏编码方法，其特征在于，所述核函数K表达式：
<mrow> <msub> <mi>K</mi> <mrow> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>x</mi> <mi>j</mi> </msub> </mrow> </msub> <mo>=</mo> <mrow> <mo>(</mo> <mi>&amp;phi;</mi> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>)</mo> <mi>&amp;phi;</mi> <mo>(</mo> <msub> <mi>x</mi> <mi>j</mi> </msub> <mo>)</mo> <mo>)</mo> </mrow> <mo>=</mo> <mi>&amp;phi;</mi> <msup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mi>&amp;phi;</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>24</mn> <mo>)</mo> </mrow> </mrow>
其中核函数K满足Mercer条件，并且
6.根据权利要求1所述的基于局部与全局正则化稀疏编码方法，其特征在于，所述式(27)的求解方法如下：
步骤七，固定编码系数A，将式(27)中的最优化问题转化为带有二次约束的最小平方问题：
<mrow> <mtable> <mtr> <mtd> <mrow> <munder> <mi>min</mi> <mrow> <mi>D</mi> <mo>,</mo> <mi>A</mi> </mrow> </munder> <mo>|</mo> <mo>|</mo> <mi>X</mi> <mo>-</mo> <mi>S</mi> <mi>A</mi> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>s</mi> <mo>.</mo> <mi>t</mi> <mo>.</mo> <mo>|</mo> <mo>|</mo> <msub> <mi>a</mi> <mi>i</mi> </msub> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>&amp;le;</mo> <mi>c</mi> <mo>,</mo> <mi>i</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mo>...</mo> <mo>,</mo> <mi>k</mi> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>28</mn> <mo>)</mo> </mrow> </mrow>
通过拉格朗日对偶来求解式(28)；
步骤八，固定字典S，将式(27)中的最优化问题转化为如下的问题：
<mrow> <munder> <mi>min</mi> <mrow> <mi>S</mi> <mo>,</mo> <mi>A</mi> </mrow> </munder> <mo>|</mo> <mo>|</mo> <mi>X</mi> <mo>-</mo> <mi>S</mi> <mi>A</mi> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&amp;alpha;</mi> <mi>T</mi> <mi>r</mi> <mrow> <mo>(</mo> <msup> <mi>AL</mi> <mrow> <mi>l</mi> <mi>o</mi> <mi>c</mi> <mi>a</mi> <mi>l</mi> <mo>-</mo> <mi>g</mi> <mi>l</mi> <mi>o</mi> <mi>b</mi> <mi>a</mi> <mi>l</mi> </mrow> </msup> <msup> <mi>A</mi> <mi>T</mi> </msup> <mo>)</mo> </mrow> <mo>+</mo> <mi>&amp;beta;</mi> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <mo>|</mo> <mo>|</mo> <msub> <mi>a</mi> <mi>i</mi> </msub> <mo>|</mo> <msub> <mo>|</mo> <mn>1</mn> </msub> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>30</mn> <mo>)</mo> </mrow> </mrow>
式(30)通过坐标优化方法来逐个求解每个样本的编码系数A。
7.根据权利要求6所述的基于局部与全局正则化稀疏编码方法，其特征在于，所述步骤七中输入λ＝[λ1,λ2,...,λk]成为拉格朗日乘向量，其中λi是带有第i个不等式||ai||2≤c的拉格朗日乘子，由式(28)推导出：
S*＝XAT(AAT+diag(λ*))-1 (29)
其中λ*是λ的最优解。
8.根据权利要求6所述的基于局部与全局正则化稀疏编码方法，其特征在于：所述步骤八中优化编码系数A中的第i个系数ai时固定其它系数，将式(30)表示为：
<mrow> <munder> <mi>min</mi> <msub> <mi>a</mi> <mi>i</mi> </msub> </munder> <mo>|</mo> <mo>|</mo> <msub> <mi>X</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>Sa</mi> <mi>i</mi> </msub> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&amp;alpha;</mi> <mo>&amp;lsqb;</mo> <mrow> <msubsup> <mi>L</mi> <mrow> <mi>i</mi> <mi>i</mi> </mrow> <mrow> <mi>l</mi> <mi>o</mi> <mi>c</mi> <mi>a</mi> <mi>l</mi> <mo>-</mo> <mi>g</mi> <mi>l</mi> <mi>o</mi> <mi>b</mi> <mi>a</mi> <mi>l</mi> </mrow> </msubsup> <msubsup> <mi>a</mi> <mi>i</mi> <mi>T</mi> </msubsup> <msub> <mi>a</mi> <mi>i</mi> </msub> <mo>+</mo> <mn>2</mn> <msubsup> <mi>a</mi> <mi>i</mi> <mi>T</mi> </msubsup> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>&amp;NotEqual;</mo> <mi>i</mi> </mrow> </munder> <msubsup> <mi>L</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mi>l</mi> <mi>o</mi> <mi>c</mi> <mi>a</mi> <mi>l</mi> <mo>-</mo> <mi>g</mi> <mi>l</mi> <mi>o</mi> <mi>b</mi> <mi>a</mi> <mi>l</mi> </mrow> </msubsup> <msub> <mi>a</mi> <mi>i</mi> </msub> </mrow> <mo>&amp;rsqb;</mo> <mo>+</mo> <mi>&amp;beta;</mi> <mo>|</mo> <mo>|</mo> <msub> <mi>a</mi> <mi>i</mi> </msub> <mo>|</mo> <msub> <mo>|</mo> <mn>1</mn> </msub> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>31</mn> <mo>)</mo> </mrow> </mrow>
式(31)利用特征标识搜索算法即可求解。
CN201711202173.1A 2017-11-27 2017-11-27 一种基于局部与全局正则化稀疏编码方法 Pending CN107894967A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711202173.1A CN107894967A (zh) 2017-11-27 2017-11-27 一种基于局部与全局正则化稀疏编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711202173.1A CN107894967A (zh) 2017-11-27 2017-11-27 一种基于局部与全局正则化稀疏编码方法

Publications (1)

Publication Number Publication Date
CN107894967A true CN107894967A (zh) 2018-04-10

Family

ID=61804714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711202173.1A Pending CN107894967A (zh) 2017-11-27 2017-11-27 一种基于局部与全局正则化稀疏编码方法

Country Status (1)

Country Link
CN (1) CN107894967A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063725A (zh) * 2018-06-13 2018-12-21 江苏理工学院 面向多视图聚类的多图正则化深度矩阵分解方法
CN109325515A (zh) * 2018-08-10 2019-02-12 江苏理工学院 基于局部学习正则化的深度矩阵分解方法及图像聚类方法
CN112304419A (zh) * 2020-10-25 2021-02-02 广东石油化工学院 一种利用泛化稀疏编码的振声检测信号重构方法和***

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063725A (zh) * 2018-06-13 2018-12-21 江苏理工学院 面向多视图聚类的多图正则化深度矩阵分解方法
CN109063725B (zh) * 2018-06-13 2021-09-28 江苏理工学院 面向多视图聚类的多图正则化深度矩阵分解方法
CN109325515A (zh) * 2018-08-10 2019-02-12 江苏理工学院 基于局部学习正则化的深度矩阵分解方法及图像聚类方法
CN109325515B (zh) * 2018-08-10 2021-09-28 江苏理工学院 基于局部学习正则化的深度矩阵分解方法及图像聚类方法
CN112304419A (zh) * 2020-10-25 2021-02-02 广东石油化工学院 一种利用泛化稀疏编码的振声检测信号重构方法和***

Similar Documents

Publication Publication Date Title
Wang et al. A study of graph-based system for multi-view clustering
Wang et al. Deep CNNs meet global covariance pooling: Better representation and generalization
CN103488662A (zh) 基于图形处理单元的自组织映射神经网络聚类方法及***
Yin et al. Incomplete multi-view clustering via subspace learning
CN113468227B (zh) 基于图神经网络的信息推荐方法、***、设备和存储介质
CN112836672A (zh) 一种基于自适应近邻图嵌入的无监督数据降维方法
Mei et al. A fuzzy approach for multitype relational data clustering
Shang et al. Dual space latent representation learning for unsupervised feature selection
Li et al. An efficient manifold regularized sparse non-negative matrix factorization model for large-scale recommender systems on GPUs
CN107894967A (zh) 一种基于局部与全局正则化稀疏编码方法
CN114139495A (zh) 基于自适应生成对抗网络的中文字体风格迁移方法
CN103218617B (zh) 一种多线性大间距的特征提取方法
CN103617609B (zh) 基于图论的k-means非线性流形聚类与代表点选取方法
CN108830301A (zh) 基于锚图结构的双拉普拉斯正则化的半监督数据分类方法
Liu et al. Auto-weighted collective matrix factorization with graph dual regularization for multi-view clustering
Hao et al. Tensor-based multi-view clustering with consistency exploration and diversity regularization
He et al. Community detection method based on robust semi-supervised nonnegative matrix factorization
Kuang et al. Effective 3-D shape retrieval by integrating traditional descriptors and pointwise convolution
Cheung et al. Unsupervised feature selection with feature clustering
Wu et al. Computation of heterogeneous object co-embeddings from relational measurements
Yang et al. Skeleton neural networks via low-rank guided filter pruning
CN104361337A (zh) 计算和存储空间受限下的稀疏核主成分分析方法
CN105389560B (zh) 基于局部约束的图优化维数约简方法
Yang et al. Robust landmark graph-based clustering for high-dimensional data
Qiang et al. Multi-view semi-supervised learning with adaptive graph fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180410