CN106250929A - 弹性网络约束自解释稀疏表示分类器的设计方法 - Google Patents

Abstract

本发明涉及一种弹性网络约束自解释稀疏表示分类器的设计方法的设计方法，含有以下步骤：读取训练样本，将训练样本进行非线性变换，变换到高维的核空间，在高维核空间对每一类训练样本进行学习，找出该类训练样本中每个个体对于构造该类训练样本子空间所做的贡献(即权重)，该类训练样本与权重矩阵的乘积构成词典；通过训练得到的稀疏表达词典获取测试样本在核空间的弹性网络系数编码，最后用每一类的词典及词典所对应的弹性网络稀疏编码拟合测试样本，并计算该拟合误差，拟合误差最小类为测试样本的类别。本发明综合了岭回归和lasso回归的优点，使样本的稀疏编码特征既具有稀疏性，又具有较小的拟合误差，有效降低了分类误差，提升分类器的识别性能。

Description

弹性网络约束自解释稀疏表示分类器的设计方法

技术领域

本发明隶属于模式识别技术领域，具体地说，涉及一种弹性网络约束自解释稀疏表示分类器的设计方法的设计方法。

背景技术

分类器设计(Classifier Design)是模式识别领域一个重要的研究分支，特征提取是模式识别***的重要组成部分，是模式分类识别的前提条件，但是如何对抽取到的特征进行最大限度地分类，则是模式识别的最终目的，是模式识别***的核心单元。从分类决策的角度来看，有效地分类判别规则是降低错误识别率、提高模式识别精度的主要因素。

目前，主要的分类器设计方法有以下几种。

1、支持向量机方法(英文：Support Vector Machine)

支持向量机方法是Corinna Cortes和Vapnik等于1995年首先提出来的，它旨在通过最大化类别间隔建立最优分类面。该类方法在解决小样本、非线性及高维模式识别中表现出许多特有的优势。然而，该类分类器只有少量的边界点(即支持向量)参与到分类面建立，如果边界点分布的位置不好，那么对于分类是十分不利的。

2、基于稀疏表示的分类器设计方法(英文：Sparse RepresentationbasedClassifier)

基于稀疏表示的分类器设计方法是由J.Wright等人于2009年提出的，该分类器设计方法首先将测试样本在所有训练集上进行稀疏编码，然后根据产生最小编码误差的类别决定分类结果。该分类器设计方法在多类分类中取得了很大的成功，然而，该分类器设计方法没有训练的过程，直接将每类训练样本构造相应子空间，并没有考虑该分类样本中每个个体对构造子空间的贡献，容易产生较大的拟合误差。

3、基于协同表示的分类器设计方法(英文：Collaborative RepresentationbasedClassifier)

基于协同表示的分类器设计方法是由zhang等人于2011年提出，该分类器设计方法首先将测试样本在所有训练集上进行协同表示，然后根据产生最小编码误差的类别决定分类结果。该分类器设计方法在某些数据集上性能优于基于稀疏表示的分类器设计方法。同样地，该分类器设计方法没有训练的过程，直接将每类训练样本构造相应子空间，容易产生较大拟合误差，导致分类性能不高。

4、基于词典学习的分类器设计方法

基于词典学习的分类器设计方法是由Yang等人于2010年提出，该分类器设计方法弥补了传统的基于稀疏表示的分类器设计方法容易产生较大拟合误差导致分类准确率不高的问题，然而，该分类器设计方法只能在欧式空间中进行，很难处理具有非线性结构的数据，使其使用范围大大受限。

由上可知，现有的分类器设计方法均存在拟合误差比较大而导致分类精确度不高的问题。

发明内容

本发明针对现有分类器设计方法设计的分类器存在拟合误差大、精确度不高的上述不足，提供一种弹性网络约束自解释稀疏表示分类器的设计方法。通过本发明分类器的设计方法设计的分类器拟合误差小、识别精度高。

本发明的技术方案是：一种弹性网络约束自解释稀疏表示分类器的设计方法的设计方法，含有以下步骤：

步骤一：设计分类器，其步骤为：

(一)读取训练样本，训练样本一共C类，定义X＝[X¹,X²,…,X^c,…,X^C]∈R^D×N表示训练样本，D是人脸特征维度，N是训练样本总的数目，X¹,X²,…,X^c,…,X^C分别表示第1,2,…,c,…,C类样本，定义N₁,N₂,…,N_c,…,N_C分别表示每类训练样本数目，则N＝N₁+N+,…+N_c+…+N_C；

(二)对训练样本进行二范数归一化，得到归一化的训练样本；

(三)依次取出训练样本中的每一类，并对该类样本训练词典，训练词典的过程为：

(1)取出第c类样本X^c,将X^c映射到核空间φ(X^c)；

(2)根据φ(X^c)训练基于稀疏编码算法的词典B^c，B^c表示第c类样本学习到的词典，该词典的训练需要满足约束条件，所述约束条件的目标函数为：

$\begin{array}{c}f\left(S^c\right)=\left|\right|\mathrm{\φ}\left(X^c\right)-\mathrm{\φ}\left(X^c\right)W^c{S}^c|{|}_F^2+2\mathrm{\α}\underset{n=1}{\overset{N_c}{\Σ}}|\left|S_{\·n}^c\right|{|}_1+\mathrm{\β}\left|\right|S^c|{|}_F^2\\ \left|\right|\mathrm{\φ}\left(X^c\right)W_{\·k}^c|{|}_2^2\≤1,\∀k=1,2,\mathrm{...},K\end{array}---\left(1\right)$

式中，α为稀疏编码算法中稀疏项约束的惩罚系数，β为稀疏编码算法中协同约束的惩罚系数，S^c为第c类核空间训练样本的稀疏表示矩阵，K为学习得到的词典的大小，是一个权重矩阵，其每一列表示核空间样本对构造词典中每个词条的贡献大小，词典B^c＝φ(X^c)W^c；

(3)对步骤(2)中约束条件的目标函数进行求解，即对公式(1)求解，其求解过程为：固定W^c，更新S^c；随机产生矩阵W^c，将其带入约束条件的目标函数，这时该目标函数转化成为一个弹性网络正则化最小二乘问题，即目标函数转化为：

$f\left(S^c\right)=\left|\right|\mathrm{\φ}\left(X^c\right)-\mathrm{\φ}\left(X^c\right)W^c{S}^c|{|}_F^2+2\mathrm{\α}\underset{n=1}{\overset{N_c}{\Σ}}|\left|{\mathrm{\β}}_{\·n}^c\right|{|}_1+\mathrm{\β}\left|\right|S^c|{|}_F^2---\left(2\right)$

上述公式(2)可以简化为：

$\begin{array}{c}f\left(S^c\right)=trace\{\mathrm{\φ}{\left(X^c\right)}^T\mathrm{\φ}\left(X^c\right)-2\mathrm{\φ}{\left(X^c\right)}^T\mathrm{\φ}\left(X^c\right)W^c{S}^c\}\\ +trace\left\{S^{cT}\left(W^{cT}\mathrm{\φ}{\left(X^c\right)}^T\mathrm{\φ}\right(X^c\left)W^c\right)S^c\right\}+2\mathrm{\α}\underset{n=1}{\overset{N_c}{\Σ}}\left|\right|S_{\·n}^c|{|}_1+\mathrm{\β}|\left|S^c\right|{|}_F^2\\ =trace\left\{\mathrm{\κ}(X^c,X^c)\right\}-2trace\left\{\mathrm{\κ}(X^c,X^c)W^c{S}^c\right\}\\ +trace\left\{S^{cT}\left(W^{cT}\mathrm{\κ}\right(X^c,X^c\left)W^c\right)S^c\right\}+2\mathrm{\α}\underset{n=1}{\overset{N_c}{\Σ}}\left|\right|S_{\·n}^c|{|}_1+\mathrm{\β}|\left|S^c\right|{|}_F^2\\ =trace\left\{\mathrm{\κ}(X^c,X^c)\right\}-2\underset{n=1}{\overset{N_c}{\Σ}}{\[\mathrm{\κ}(X^c,X^c)W^c\]}_{n\·}{S}_{\·n}^c\\ +\underset{n=1}{\overset{N}{\Σ}}{S_{\·n}^c}^T\[W^{cT}\mathrm{\κ}(X^c,X^c)W^c\]S_{\·n}^c+2\mathrm{\α}\underset{k=1}{\overset{K}{\Σ}}\underset{n=1}{\overset{N_c}{\Σ}}\left|S_{kn}^c\right|+\mathrm{\β}\underset{k=1}{\overset{K}{\Σ}}\underset{n=1}{\overset{N_c}{\Σ}}{\left(S_{kn}^c\right)}^2\end{array}---\left(3\right)$

进一步把公式(3)分解成一系列子问题求解；针对S^c中的每一个元素进行求解，并剔除掉与求解无关的项，则公式(3)可以简化为：

$\begin{array}{c}f\left(S_{kn}^c\right)=-2{\[\mathrm{\κ}(X^c,X^c)W^c\]}_{nk}{S}_{kn}^c+{\left(S_{kn}^c\right)}^2{\[W^{cT}\mathrm{\κ}(X^c,X^c)W^c\]}_{kk}\\ +2\underset{l=1,l\≠k}{\overset{K}{\Σ}}{\[W^{cT}\mathrm{\κ}(X^c,X^c)W^c\]}_{lk}{S}_{kn}^c+2\mathrm{\α}\left|S_{kn}^c\right|+\mathrm{\β}{\left(S_{kn}^c\right)}^2\end{array}---\left(4\right)$

根据抛物线理论，很容易求出公式(4)的解；并且由于每个样本点是独立的，每次求解S^c的一行，其求解公式如下：

$\begin{array}{c}{S}_{k\·}^c=\frac{1}{1+\mathrm{\β}}\min \{{\[W^{cT}\mathrm{\κ}(X^c,X^c)\]}_{k\·}-{\[E{\stackrel{\‾}{S^c}}^k\]}_{k\·},-\mathrm{\α}\}\\ +\frac{1}{1+\mathrm{\β}}\max \{{\[W^{cT}\mathrm{\κ}(X^c,X^c)\]}_{k\·}-{\[E{\stackrel{\‾}{S^c}}^k\]}_{k\·},\mathrm{\α}\}\end{array}---\left(5\right)$

式中，E＝W^{c^T}κ(X^c,X^c)W^c+βI，I表示单位阵；

遍历S^c的每一列，完成S^c的一次更新；

(4)固定步骤(3)中更新后的S^c，更新W^c，这时约束条件的目标函数转换为一个l₂范数约束的最小二乘问题，即目标函数转化为：

$\begin{array}{c}f\left(W^c\right)=\left|\right|\mathrm{\φ}\left(X^c\right)-\mathrm{\φ}\left(X^c\right)W^c{S}^c|{|}_F^2\\ s.t.\left|\right|\mathrm{\φ}\left(X^c\right)W_{\·k}^c|{|}_2^2\≤1,\∀k=1,2,\mathrm{...},K.\end{array}---\left(6\right)$

上述公式(6)采用拉格朗日乘子的方法求解，最终求得的解为：

$W_{\·k}^c=\frac{\left(S_{\·k}^c\right)-{\[{\stackrel{\‾}{W^c}}^{k}F\]}_{\·k}}{\sqrt{{({S_{k\·}^c}^T-{\[{\stackrel{\‾}{W^c}}^{k}F\]}_{\·k})}^T\mathrm{\κ}(X^c,X^c)({\left(S_{k\·}^c\right)}^T-{\[{\stackrel{\‾}{W^c}}^{k}F\]}_{\·k})}}---\left(7\right)$

式中，F＝S^cS^cT,

(5)交替迭代步骤(3)和步骤(4)，最终得到最优稀疏编码词典B^c＝φ(X^c)W^c；

(6)按照步骤(1)至(5)获得每类样本的最优稀疏编码词典，将每类样本得到的最优稀疏编码词典放在一起，获得词典B＝[B¹,…,B^c,…,B^C]；

步骤二：对样本进行分类，其步骤为：

(1)读取待识别测试样本的图像特征，并对图像特征进行二范数归一化，定义y∈R^D×1表示一幅待识别的测试样本图像特征；

(2)将测试样本图像特征y映射到核空间φ(y)；

(3)使用步骤一中获得的词典B，对核空间φ(y)进行拟合，拟合函数为：

$f\left(s\right)=\left|\right|\mathrm{\φ}\left(y\right)-Bs|{|}_2^2+2\mathrm{\α}|\left|s\right|{|}_1+\mathrm{\β}\left|\right|s|{|}_2^2---\left(8\right)$

式中s表示核空间中测试样本图像特征y的稀疏编码；

(4)对步骤(3)中的拟合函数进行求解，求解结果为：

$\begin{array}{c}{s}_{\·k}=\frac{1}{1+\mathrm{\β}}\min \{{\[W^{cT}\mathrm{\κ}(X^c,y)\]}_{k\·}-{\[W^{c^T}\mathrm{\κ}(X^c,X^c)W^c{\stackrel{\‾}{s}}^k\]}_{k\·},-\mathrm{\α}\}\\ +\frac{1}{1+\mathrm{\β}}\max \{{\[W^{cT}\mathrm{\κ}(X^c,y)\]}_{k\·}-{\[W^{c^T}\mathrm{\κ}(X^c,X^c)W^c{\stackrel{\‾}{s}}^k\]}_{k\·},\mathrm{\α}\}\end{array}---\left(9\right)$

式中，s＝[s¹,…,s^c,…,s^C]；

(5)求核空间φ(y)在每类样本所构成子空间的拟合误差，用r(c)表示，其表达式为：

$\begin{array}{c}r\left(c\right)=\left|\right|\mathrm{\φ}\left(y\right)-B^c{s}^c|{|}_2^2\\ =\left|\right|\mathrm{\φ}\left(y\right)-\mathrm{\φ}\left(X^c\right)W^c{s}^c|{|}_2^2\end{array}---\left(10\right)$

(6)比较核空间φ(y)和每类样本的拟合误差，待识别图像则属于拟合误差最小的那个类别。

本发明的有益效果是：本发明结合核技巧和词典学习方法，将弹性网络约束加入到稀疏表达分类器设计当中，首先将原特征空间中的样本通过核函数映射，变换到一个高维的核空间，并借助核技巧在新的核空间中应用非线性分析求解最优的弹性网络约束的稀疏表达词典；本发明有效地提取隐藏在样本特征中的非线性结构，同时采用弹性网络约束求取稀疏表达词典，弹性网络约束同时吸收了岭回归约束和lasso约束的优点，使训练出的稀疏表达词典具有较小的拟合误差，又有稀疏性的优点，从而提高分类器的分类精度。本发明分类器首先读取训练样本，将训练样本进行非线性变换，变换到高维的核空间，然后在高维核空间对每一类训练样本进行学习，找出该类训练样本中每个个体对于构造该类训练样本子空间所做的贡献(即权重)，该类训练样本与权重矩阵的乘积构成词典；通过训练得到的稀疏表达词典获取测试样本在核空间的弹性网络系数编码，最后用每一类的词典及词典所对应的弹性网络稀疏编码拟合测试样本，并计算该拟合误差，拟合误差最小类为测试样本的类别。与现有技术相比，本发明采用弹性网络约束，综合了岭回归和lasso回归的优点，使样本的稀疏编码特征既具有稀疏性，又具有较小的拟合误差，有效降低了分类误差，提升分类器的识别性能。

附图说明

图1为本发明具体实施例设计分类器的流程图。

图2为本发明具体实施例对样本进行分类的流程图。

具体实施方式

下面结合一个仿真实例并结合附图对本发明作出进一步说明。

一种弹性网络约束自解释稀疏表示分类器的设计方法的设计方法，含有以下步骤：

步骤一：参见图1，设计分类器，其步骤为：

(一)读取训练样本，训练样本一共C类，定义X＝[X¹,X²,…,X^c,…,X^C]∈R^D×N表示训练样本，D是人脸特征维度，N是训练样本总的数目，X¹,X²,…,X^c,…,X^C分别表示第1,2,…,c,…,C类样本，定义N₁,N₂,…,N_c,…,N_C分别表示每类训练样本数目，则N＝N₁+N+,…+N_c+…+N_C；

(二)对训练样本进行二范数归一化，得到归一化的训练样本；

(三)依次取出训练样本中的每一类，并对该类样本训练词典，训练词典的过程为：

(1)取出第c类样本X^c,将X^c映射到核空间φ(X^c)；

(2)根据φ(X^c)训练基于稀疏编码算法的词典B^c，B^c表示第c类样本学习到的词典，该词典的训练需要满足约束条件，所述约束条件的目标函数为：

$\begin{array}{c}f\left(S^c\right)=\left|\right|\mathrm{\φ}\left(X^c\right)-\mathrm{\φ}\left(X^c\right)W^c{S}^c|{|}_F^2+2\mathrm{\α}\underset{n=1}{\overset{N_c}{\Σ}}|\left|S_{\·n}^c\right|{|}_1+\mathrm{\β}\left|\right|S^c|{|}_F^2\\ \left|\right|\mathrm{\φ}\left(X^c\right)W_{\·k}^c|{|}_2^2\≤1,\∀k=1,2,\mathrm{...},K\end{array}---\left(1\right)$

式中，α为稀疏编码算法中稀疏项约束的惩罚系数，β为稀疏编码算法中协同约束的惩罚系数，S^c为第c类核空间训练样本的稀疏表示矩阵，K为学习得到的词典的大小，是一个权重矩阵，其每一列表示核空间样本对构造词典中每个词条的贡献大小，词典B^c＝φ(X^c)W^c；

(3)对步骤(2)中约束条件的目标函数进行求解，即对公式(1)求解，其求解过程为：固定W^c，更新S^c；随机产生矩阵W^c，将其带入约束条件的目标函数，这时该目标函数转化成为一个弹性网络正则化最小二乘问题，即目标函数转化为：

$f\left(S^c\right)=\left|\right|\mathrm{\φ}\left(X^c\right)-\mathrm{\φ}\left(X^c\right)W^c{S}^c|{|}_F^2+2\mathrm{\α}\underset{n=1}{\overset{N_c}{\Σ}}|\left|S_{\·n}^c\right|{|}_1+\mathrm{\β}\left|\right|S^c|{|}_F^2---\left(2\right)$

上述公式(2)可以简化为：

$\begin{array}{c}f\left(S^c\right)=trace\{\mathrm{\φ}{\left(X^c\right)}^T\mathrm{\φ}\left(X^c\right)-2\mathrm{\φ}{\left(X^c\right)}^T\mathrm{\φ}\left(X^c\right)W^c{S}^c\}\\ +trace\left\{S^{cT}\left(W^{cT}\mathrm{\φ}{\left(X^c\right)}^T\mathrm{\φ}\right(X^c\left)W^c\right)S^c\right\}+2\mathrm{\α}\underset{n=1}{\overset{N_c}{\Σ}}\left|\right|S_{\·n}^c|{|}_1+\mathrm{\β}|\left|S^c\right|{|}_F^2\\ =trace\left\{\mathrm{\κ}(X^c,X^c)\right\}-2trace\left\{\mathrm{\κ}(X^c,X^c)W^c{S}^c\right\}\\ +trace\left\{S^{cT}\left(W^{cT}\mathrm{\κ}\right(X^c,X^c\left)W^c\right)S^c\right\}+2\mathrm{\α}\underset{n=1}{\overset{N_c}{\Σ}}\left|\right|S_{\·n}^c|{|}_1+\mathrm{\β}|\left|S^c\right|{|}_F^2\\ =trace\left\{\mathrm{\κ}(X^c,X^c)\right\}-2\underset{n=1}{\overset{N_c}{\Σ}}{\[\mathrm{\κ}(X^c,X^c)W^c\]}_{n\·}{S}_{\·n}^c\\ +\underset{n=1}{\overset{N}{\Σ}}{S_{\·n}^c}^T\[W^{cT}\mathrm{\κ}(X^c,X^c)W^c\]S_{\·n}^c+2\mathrm{\α}\underset{k=1}{\overset{K}{\Σ}}\underset{n=1}{\overset{N_c}{\Σ}}\left|S_{kn}^c\right|+\mathrm{\β}\underset{k=1}{\overset{K}{\Σ}}\underset{n=1}{\overset{N_c}{\Σ}}{\left(S_{kn}^c\right)}^2\end{array}---\left(3\right)$

进一步把公式(3)分解成一系列子问题求解；针对S^c中的每一个元素进行求解，并剔除掉与求解无关的项，则公式(3)可以简化为：

$\begin{array}{c}f\left(S_{kn}^c\right)=-2{\[\mathrm{\κ}(X^c,X^c)W^c\]}_{nk}{S}_{kn}^c+{\left(S_{kn}^c\right)}^2{\[W^{cT}\mathrm{\κ}(X^c,X^c)W^c\]}_{kk}\\ +2\underset{l=1,l\≠k}{\overset{K}{\Σ}}{\[W^{cT}\mathrm{\κ}(X^c,X^c)W^c\]}_{lk}{S}_{kn}^c+2\mathrm{\α}\left|S_{kn}^c\right|+\mathrm{\β}{\left(S_{kn}^c\right)}^2\end{array}---\left(4\right)$

根据抛物线理论，很容易求出公式(4)的解；并且由于每个样本点是独立的，每次求解S^c的一行，其求解公式如下：

$\begin{array}{c}{S}_{k\·}^c=\frac{1}{1+\mathrm{\β}}\min \{{\[W^{cT}\mathrm{\κ}(X^c,X^c)\]}_{k\·}-{\[E{\stackrel{\‾}{S^c}}^k\]}_{k\·},-\mathrm{\α}\}\\ +\frac{1}{1+\mathrm{\β}}\max \{{\[W^{cT}\mathrm{\κ}(X^c,X^c)\]}_{k\·}-{\[E{\stackrel{\‾}{S^c}}^k\]}_{k\·},\mathrm{\α}\}\end{array}---\left(5\right)$

式中，E＝W^{c^T}κ(X^c,X^c)W^c+βI，I表示单位阵；

遍历S^c的每一列，完成S^c的一次更新；

(4)固定步骤(3)中更新后的S^c，更新W^c，这时约束条件的目标函数转换为一个l₂范数约束的最小二乘问题，即目标函数转化为：

$\begin{array}{c}f\left(W^c\right)=\left|\right|\mathrm{\φ}\left(X^c\right)-\mathrm{\φ}\left(X^c\right)W^c{S}^c|{|}_F^2\\ s.t.\left|\right|\mathrm{\φ}\left(X^c\right)W_{\·k}^c|{|}_2^2\≤1,\∀k=1,2,\mathrm{...},K.\end{array}---\left(6\right)$

上述公式(6)采用拉格朗日乘子的方法求解，最终求得的解为：

$W_{\·k}^c=\frac{\left(S_{\·k}^c\right)-{\[{\stackrel{\‾}{W^c}}^{k}F\]}_{\·k}}{\sqrt{{({S_{k\·}^c}^T-{\[{\stackrel{\‾}{W^c}}^{k}F\]}_{\·k})}^T\mathrm{\κ}(X^c,X^c)({\left(S_{k\·}^c\right)}^T-{\[{\stackrel{\‾}{W^c}}^{k}F\]}_{\·k})}}---\left(7\right)$

式中，F＝S^cS^cT,

(5)交替迭代步骤(3)和步骤(4)，最终得到最优稀疏编码词典B^c＝φ(X^c)W^c；

(6)按照步骤(1)至(5)获得每类样本的最优稀疏编码词典，将每类样本得到的最优稀疏编码词典放在一起，获得词典B＝[B¹,…,B^c,…,B^C]；

步骤二：参见图2，对样本进行分类，其步骤为：

(1)读取待识别测试样本的图像特征，并对图像特征进行二范数归一化，定义y∈R^D×1表示一幅待识别的测试样本图像特征；

(2)将测试样本图像特征y映射到核空间φ(y)；

(3)使用步骤一中获得的词典B，对核空间φ(y)进行拟合，拟合函数为：

$f\left(s\right)=\left|\right|\mathrm{\φ}\left(y\right)-Bs|{|}_2^2+2\mathrm{\α}|\left|s\right|{|}_1+\mathrm{\β}\left|\right|s|{|}_2^2---\left(8\right)$

式中s表示核空间中测试样本图像特征y的稀疏编码；

(4)对步骤(3)中的拟合函数进行求解，求解结果为：

$\begin{array}{c}{s}_{\·k}=\frac{1}{1+\mathrm{\β}}\min \{{\[W^{cT}\mathrm{\κ}(X^c,y)\]}_{k\·}-{\[W^{c^T}\mathrm{\κ}(X^c,X^c)W^c{\stackrel{\‾}{s}}^k\]}_{k\·},-\mathrm{\α}\}\\ +\frac{1}{1+\mathrm{\β}}\max \{{\[W^{cT}\mathrm{\κ}(X^c,y)\]}_{k\·}-{\[W^{c^T}\mathrm{\κ}(X^c,X^c)W^c{\stackrel{\‾}{s}}^k\]}_{k\·},\mathrm{\α}\}\end{array}---\left(9\right)$

式中，s＝[s¹,…,s^c,…,s^C]；

(5)求核空间φ(y)在每类样本所构成子空间的拟合误差，用r(c)表示，其表达式为：

$\begin{array}{c}r\left(c\right)=\left|\right|\mathrm{\φ}\left(y\right)-B^c{s}^c|{|}_2^2\\ =\left|\right|\mathrm{\φ}\left(y\right)-\mathrm{\φ}\left(X^c\right)W^c{s}^c|{|}_2^2\end{array}---\left(10\right)$

(6)比较核空间φ(y)和每类样本的拟合误差，待识别图像则属于拟合误差最小的那个类别。

在本发明的一个实施例中：采用本发明提出的分类器的设计方法(简称KECSSC)设计的分类器在CUM-PIE数据库上进行分类实验，并与其他分类器设计方法设计的分类器进行比较，本发明分类器的设计方法将每张图片切割为32*32像素，并将切割好的图片像素排成一个列向量，本发明实施例中采用L2-norm对该列向量进行归一化。

在本实施例中，本发明提出的分类器的设计方法与5种分类器设计方法进行了对比，所述的5中分类器方法分别为：最近邻分类器方法(简称NN)、基于协同表示的分类器设计方法(简称CRC)、基于稀疏表示的分类器设计方法(简称SRC)、自解释稀疏表示的分类器设计方法(简称CSDL)、基于支持向量机SVM分类器设计方法(简称SVM)。为了对比结果的公平性，本次分类实验对每类样本随机选择5张图片作为测试图片，10张图片作为训练图片。

在本实施例分类器的设计方法中，α为稀疏编码算法中稀疏项约束的惩罚系数，β为稀疏编码算法中协同约束的惩罚系数，本实施例分类器的设计方法对α设置为2的-9次方，β设置为2的-4次方。

本实施例中分类器的设计方法在CUM-PIE数据库的实验结果如下：

TABLE I

RECOGNITION RATE ON THE CMU PIE DATASET(％).

在本实施例的实验中分别使用3种核方法(即线性核liner、Hellinger核、poly核)对分类器进行设计实验。由TABLE Ⅰ可以看出，在CUM-PIE数据库多次实验中，在使用三种核方法的识别率明显高于其他五种分类器设计方法。其中，本发明分类器的设计方法使用线性核(liner)的识别率为79.89±1.98，比CSDL方法识别率高5.43％；使用Hellinger核的识别率是81.78％±1.77，比CSDL方法高7％；使用poly核的识别率是79.84％±1.64，比CSDL方法高6.35％。

在本发明的另一个实施例中，采用本发明提出的分类器的设计方法(简称KECSSC)设计的分类器在ExtendedYaleB数据库上进行分类实验，并与其他分类器设计方法设计的分类器进行比较，本发明分类器的设计方法将每张图片切割为32*32像素，并将切割好的图片像素排成一个列向量，本发明实施例中采用L2-norm对该列向量进行归一化。

在本实施例中，本发明提出的分类器的设计方法与5种分类器设计方法进行了对比，所述的5中分类器方法分别为：最近邻分类器方法(简称NN)、基于协同表示的分类器设计方法(简称CRC)、基于稀疏表示的分类器设计方法(简称SRC)、自解释稀疏表示的分类器设计方法(简称CSDL)、基于支持向量机SVM分类器设计方法(简称SVM)。为了对比结果的公平性，本次分类实验对每类样本随机选择5张图片作为测试图片，10张图片作为训练图片。

在本实施例分类器的设计方法中，α为稀疏编码算法中稀疏项约束的惩罚系数，β为稀疏编码算法中协同约束的惩罚系数，本实施例分类器的设计方法对α设置为2的-9次方，β设置为2的-4次方。

本实施例中分类器的设计方法在ExtendedYaleB数据库的实验结果如下：

TABLE II

RECOGNITION RATE ON THE EXTENDED YALEB DATASET(％).

在本实施例的实验中分别使用3种核方法(即线性核liner、Hellinger核、poly核)对分类器进行设计实验。由TABLE Ⅱ可以看出，在Extended YaleB数据库多次实验中，在使用三种核方法的识别率明显高于其他五种分类器设计方法。其中，本发明分类器的设计方法使用线性核(liner)的识别率为79.09±1.87，比CSDL方法识别率高0.54％；使用Hellinger核的识别率是91.22％±1.51，比CSDL方法高2.24％；使用poly核的识别率是80.13％±2.04，比CSDL方法高0.45％。

在本发明的又一个实施例中，采用本发明提出的分类器的设计方法(简称KECSSC)设计的分类器在AR数据库上进行分类实验，并与其他分类器设计方法设计的分类器进行比较，本发明分类器的设计方法将每张图片切割为32*32像素，并将切割好的图片像素排成一个列向量，本发明实施例中采用L2-norm对该列向量进行归一化。

在本实施例中，本发明提出的分类器的设计方法与5种分类器设计方法进行了对比，所述的5中分类器方法分别为：最近邻分类器方法(简称NN)、基于协同表示的分类器设计方法(简称CRC)、基于稀疏表示的分类器设计方法(简称SRC)、自解释稀疏表示的分类器设计方法(简称CSDL)、基于支持向量机SVM分类器设计方法(简称SVM)。为了对比结果的公平性，本次分类实验对每类样本随机选择5张图片作为测试图片，10张图片作为训练图片。

在本实施例分类器的设计方法中，α为稀疏编码算法中稀疏项约束的惩罚系数，β为稀疏编码算法中协同约束的惩罚系数，本实施例分类器的设计方法对α设置为2的-9次方，β设置为2的-4次方。

本方法在AR数据库中的实验结果如下：

TABLE III

RECOGNITION RATE ON THE AR DATASET(％).

在本实施例的实验中分别使用3种核方法(即线性核liner、Hellinger核、poly核)对分类器进行设计实验。由TABLEIII可以看出，在AR数据库多次实验中，在使用三种核方法的识别率明显高于其他五种分类器设计方法。其中，本发明分类器设计方法使用线性核(liner)的识别率为94.11±1.16，比CSDL方法识别率高2.99％；使用Hellinger核的识别率是93.45％±0.84，比CSDL方法高3.68％；使用poly核的识别率是93.48％±0.96，比CSDL方法高4.46％。

从上述实施例的实验结果可以看出，本发明分类器的设计方法比当前的其它种类的分类器设计方法分类误差小，分类器的识别性能高，使用本发明提出的方法可以明显提升分类器的识别性能。

以上所举实施例仅用为方便举例说明本发明，并非对本发明保护范围的限制，在本发明所述技术方案范畴，所属技术领域的技术人员所作各种简单变形与修饰，均应包含在以上申请专利范围中。

Claims (1)

1.一种弹性网络约束自解释稀疏表示分类器的设计方法的设计方法，其特征在于：含有以下步骤：

步骤一：设计分类器，其步骤为：

(一)读取训练样本，训练样本一共C类，定义X＝[X¹,X²,…,X^c,…,X^C]∈R^D×N表示训练样本，D是人脸特征维度，N是训练样本总的数目，X¹,X²,…,X^c,…,X^C分别表示第1,2,…,c,…,C类样本，定义N₁,N₂,…,N_c,…,N_C分别表示每类训练样本数目，则N＝N₁+N+,…+N_c+…+N_C；

(二)对训练样本进行二范数归一化，得到归一化的训练样本；

(三)依次取出训练样本中的每一类，并对该类样本训练词典，训练词典的过程为：

(1)取出第c类样本X^c,将X^c映射到核空间φ(X^c)；

(2)根据φ(X^c)训练基于稀疏编码算法的词典B^c，B^c表示第c类样本学习到的词典，该词典的训练需要满足约束条件，所述约束条件的目标函数为：

$\begin{array}{c}f\left(S^c\right)=\left|\right|\mathrm{\φ}\left(X^c\right)-\mathrm{\φ}\left(X^c\right)W^c{S}^c|{|}_F^2+2\mathrm{\α}\underset{n=1}{\overset{N}{\Σ}}|S_{\·n}^c|{|}_1+\mathrm{\β}|{\mathrm{\β}}^c|{|}_F^2\\ \left|\right|\mathrm{\φ}\left(X^c\right)W_{\·k}^c|{|}_2^2\≤1,\∀k=1,2,\mathrm{...},K\end{array}---\left(1\right)$

式中，α为稀疏编码算法中稀疏项约束的惩罚系数，β为稀疏编码算法中协同约束的惩罚系数，S^c为第c类核空间训练样本的稀疏表示矩阵，K为学习得到的词典的大小，是一个权重矩阵，其每一列表示核空间样本对构造词典中每个词条的贡献大小，词典B^c＝φ(X^c)W^c；

(3)对步骤(2)中约束条件的目标函数进行求解，即对公式(1)求解，其求解过程为：固定W^c，更新S^c；随机产生矩阵W^c，将其带入约束条件的目标函数，这时该目标函数转化成为一个弹性网络正则化最小二乘问题，即目标函数转化为：

$f\left(S^c\right)=\left|\right|\mathrm{\φ}\left(X^c\right)-\mathrm{\φ}\left(X^c\right)W^c{S}^c|{|}_F^2+2\mathrm{\α}\underset{n=1}{\overset{N_c}{\Σ}}|\left|S_{\·n}^c\right|{|}_1+\mathrm{\β}\left|S^c\right|{|}_F^2---\left(2\right)$

上述公式(2)可以简化为：

$\begin{array}{c}f\left(S^c\right)=trace\{\mathrm{\φ}{\left(X^c\right)}^T\mathrm{\φ}\left(X^c\right)-2\mathrm{\φ}{\left(X^c\right)}^T\mathrm{\φ}\left(X^c\right)W^c{S}^c\}\\ +trace\left\{S^{cT}\left(W^{cT}\mathrm{\φ}{\left(X^c\right)}^T\mathrm{\φ}\right(X^c\left)W^c\right)S^c\right\}+2\mathrm{\α}\underset{n=1}{\overset{N_c}{\Σ}}\left|\right|S_{\·n}^c|{|}_1+\mathrm{\β}|\left|S^c\right|{|}_F^2\\ =trace\left\{\mathrm{\κ}(X^c,X^c)\right\}-2trace\left\{\mathrm{\κ}(X^c,X^c)W^c{S}^c\right\}\\ +trace\left\{S^{cT}\left(W^{cT}\mathrm{\κ}\right(X^c,X^c\left)W^c\right)S^c\right\}+2\mathrm{\α}\underset{n=1}{\overset{N_c}{\Σ}}\left|\right|S_{\·n}^c|{|}_1+\mathrm{\β}|\left|S^c\right|{|}_F^2\\ =trace\left\{\mathrm{\κ}(X^c,X^c)\right\}-2\underset{n=1}{\overset{N_c}{\Σ}}{\[\mathrm{\κ}(X^c,X^c)W^c\]}_{n\·}{S}_{\·n}^c\\ +\underset{n=1}{\overset{N}{\Σ}}{S_{\·n}^c}^T\[W^{cT}\mathrm{\κ}(X^c,X^c)W^c\]S_{\·n}^c+2\mathrm{\α}\underset{k=1}{\overset{K}{\Σ}}\underset{n=1}{\overset{N_c}{\Σ}}\left|S_{kn}^c\right|+\mathrm{\β}\underset{k=1}{\overset{K}{\Σ}}\underset{n=1}{\overset{N_c}{\Σ}}{\left(S_{kn}^c\right)}^2\end{array}---\left(3\right)$

进一步把公式(3)分解成一系列子问题求解；针对S^c中的每一个元素进行求解，并剔除掉与求解无关的项，则公式(3)可以简化为：

$\begin{array}{c}f\left(S_{kn}^c\right)=-2{\[\mathrm{\κ}(X^c,X^c)W^c\]}_{nk}{S}_{kn}^c+{\left(S_{kn}^c\right)}^2{\[W^{cT}\mathrm{\κ}(X^c,X^c)W^c\]}_{kk}\\ +2\underset{l=1,l\≠k}{\overset{K}{\Σ}}{\[W^{cT}\mathrm{\κ}(X^c,X^c)W^c\]}_{lk}{S}_{kn}^c+2\mathrm{\α}\left|S_{kn}^c\right|+\mathrm{\β}{\left(S_{kn}^c\right)}^2\end{array}---\left(4\right)$

根据抛物线理论，很容易求出公式(4)的解；并且由于每个样本点是独立的，每次求解S^c的一行，其求解公式如下：

$\begin{array}{c}{S}_{k\·}^c=\frac{1}{1+\mathrm{\β}}\min \{{\[W^{cT}\mathrm{\κ}(X^c,X^c)\]}_{k\·}-{\[E{\stackrel{\‾}{S^c}}^k\]}_{k\·},-\mathrm{\α}\}\\ +\frac{1}{1+\mathrm{\β}}\max \{{\[W^{cT}\mathrm{\κ}(X^c,X^c)\]}_{k\·}-{\[E{\stackrel{\‾}{S^c}}^k\]}_{k\·},\mathrm{\α}\}\end{array}---\left(5\right)$

式中，I表示单位阵；

遍历S^c的每一列，完成S^c的一次更新；

(4)固定步骤(3)中更新后的S^c，更新W^c，这时约束条件的目标函数转换为一个l₂范数约束的最小二乘问题，即目标函数转化为：

$\begin{array}{c}f\left(W^c\right)=\left|\right|\mathrm{\φ}\left(X^c\right)-\mathrm{\φ}\left(X^c\right)W^c{S}^c|{|}_F^2\\ s.t.\left|\right|\mathrm{\φ}\left(X^c\right)W_{\·k}^c|{|}_2^2\≤1,\∀k=1,2,\mathrm{...},K.\end{array}---\left(6\right)$

上述公式(6)采用拉格朗日乘子的方法求解，最终求得的解为：

$W_{\·k}^c=\frac{\left(S_{\·k}^c\right)-{\[{\stackrel{\‾}{W^c}}^{k}F\]}_{\·k}}{\sqrt{{\left({S_{k\·}^c}^T-{\[{\stackrel{\‾}{W^c}}^{k}F\]}_{\·k}\right)}^T\mathrm{\κ}(X^c,X^c)\left({\left(S_{k\·}^c\right)}^T-{\[{\stackrel{\‾}{W^c}}^{k}F\]}_{\·k}\right)}}---\left(7\right)$

式中，F＝S^cS^cT,

(5)交替迭代步骤(3)和步骤(4)，最终得到最优稀疏编码词典B^c＝φ(X^c)W^c；

(6)按照步骤(1)至(5)获得每类样本的最优稀疏编码词典，将每类样本得到的最优稀疏编码词典放在一起，获得词典B＝[B¹,…,B^c,…,B^C]；

步骤二：对样本进行分类，其步骤为：

(1)读取待识别测试样本的图像特征，并对图像特征进行二范数归一化，定义y∈R^D×1表示一幅待识别的测试样本图像特征；

(2)将测试样本图像特征y映射到核空间φ(y)；

(3)使用步骤一中获得的词典B，对核空间φ(y)进行拟合，拟合函数为：

$f\left(s\right)=\left|\right|\mathrm{\φ}\left(y\right)-Bs|{|}_2^2+2\mathrm{\α}|\left|s\right|{|}_1+\mathrm{\β}\left|\right|s|{|}_2^2---\left(8\right)$

式中s表示核空间中测试样本图像特征y的稀疏编码；

(4)对步骤(3)中的拟合函数进行求解，求解结果为：

$\begin{array}{c}{s}_{\·k}=\frac{1}{1+\mathrm{\β}}\min \left\{{\[W^{cT}\mathrm{\κ}(X^c,y)\]}_{k\·}-{\[W^{c^T}\mathrm{\κ}(X^c,X^c)W^c{\stackrel{\‾}{s}}^k\]}_{k\·},-\mathrm{\α}\right\}\\ +\frac{1}{1+\mathrm{\β}}\max \left\{{\[W^{cT}\mathrm{\κ}(X^c,y)\]}_{k\·}-{\[W^{c^T}\mathrm{\κ}(X^c,X^c)W^c{\stackrel{\‾}{s}}^k\]}_{k\·},\mathrm{\α}\right\}\end{array}---\left(9\right)$

式中，s＝[s¹,…,s^c,…,s^C]；

(5)求核空间φ(y)在每类样本所构成子空间的拟合误差，用r(c)表示，其表达式为：

$\begin{array}{c}r\left(c\right)=\left|\right|\mathrm{\φ}\left(y\right)-B^c{s}^c|{|}_2^2\\ =\left|\right|\mathrm{\φ}\left(y\right)-\mathrm{\φ}\left(X^c\right)W^c{s}^c|{|}_2^2\end{array}---\left(10\right)$

(6)比较核空间φ(y)和每类样本的拟合误差，待识别图像则属于拟合误差最小的那个类别。