CN107545276A - 联合低秩表示和稀疏回归的多视角学习方法 - Google Patents

Abstract

本发明公开了一种联合低秩表示和稀疏回归的多视角学习方法，所述方法包括以下步骤：对带有图像记忆度分数标签的SUN数据集分别进行低级特征和高级属性特征的提取；将低秩表示、结合稀疏回归模型和多视角一致性损失三部分放在同一个框架下构成一个整体，构建联合低秩和稀疏回归的多视角模型；利用多视觉自适应回归算法解决自动预测图像的可记忆性的问题，在最优参数下得到图像底层特征、图像属性特征和图像记忆度的关系；组合图像的低级特征和高级属性特征，利用在最优参数下得到的关系结果，预测数据库测试集图像记忆度，并用相关评价标准来验证预测结果。本发明联合低秩表示和稀疏回归的多视角学习框架，准确预测图像区域的可记忆性。

Description

联合低秩表示和稀疏回归的多视角学习方法

技术领域

本发明涉及低秩表示和稀疏回归领域，尤其涉及一种联合低秩表示和稀疏回归的多视角学习方法。

背景技术

人类有记住成千上万图像的能力，然而并不是所有的图像都以同样的方式被储存在大脑中。一些有代表性的图片看一眼就能记住，而其他图像很容易从记忆中消失。图像记忆被用来测量在特定时间段之后图像被记住或被遗忘的程度。以前的研究工作已经表明，对图片的记忆力和图像的固有属性有关，即对图片的记忆力在不同的时间间隔内以及在不同观察者之间是一致性的。在这种情况下，就像研究许多其他高级图像属性(如人气，兴趣，情绪和美学)一样，一些研究工作开始探索图像内容表示和图像记忆之间的潜在相关性。

分析图像可记忆性可以应用在诸如用户界面设计、视频摘要、场景理解和广告设计等几个领域中。例如，可以通过选择有意义的图像来将可记忆性用作引导标准来总结图像集合或视频。通过提高消费者对目标品牌的记忆，可以设计难忘的广告帮助商人扩大影响力。

近来，低秩表现(LRR)已经成功应用于多媒体和计算机视觉领域。为了更好地处理特征表示问题，LRR用于通过将原始数据矩阵分解为低秩表示矩阵，同时消除不相关的细节，揭示嵌入数据中的底层低维子空间结构。传统方法通常不足以进行异常值的处理。为了解决这个问题，最近有一些研究也着重于稀疏回归学习。

然而，这些作品的主要缺点之一是特征表示和记忆预测在两个分开的阶段进行。也就是说，当确定用于图像可记忆性预测的特征组合的图案时，回归步骤的最终性能主要由处理的特征决定。虽然参考文献[1]提出了联合低秩和稀疏回归的特征编码算法来处理异常值。同样，参考文献[2]开发了一种用于降维的联合图嵌入和稀疏回归框架。但它们都是为视觉分类问题设计的，而不是图像记忆预测任务。

发明内容

本发明提供了一种联合低秩表示和稀疏回归的多视角学习方法，本发明联合低秩表示和稀疏回归的多视角学习框架，准确预测图像区域的可记忆性，详见下文描述：

一种联合低秩表示和稀疏回归的多视角学习方法，所述方法包括以下步骤：

对带有图像记忆度分数标签的SUN数据集分别进行低级特征和高级属性特征的提取；

将低秩表示、结合稀疏回归模型和多视角一致性损失三部分放在同一个框架下构成一个整体，构建联合低秩和稀疏回归的多视角模型；

利用多视觉自适应回归算法解决自动预测图像的可记忆性的问题，在最优参数下得到图像底层特征、图像属性特征和图像记忆度的关系；

组合图像的低级特征和高级属性特征，利用在最优参数下得到的关系结果，预测数据库测试集图像记忆度，并用相关评价标准来验证预测结果。

所述方法还包括：获取图像可记忆性数据集。

所述低级特征包括：尺度不变特征变换特征、搜索树特征、方向梯度直方图特征、以及结构相似性特征。

所述高级属性特征包括：327维场景类别属性特征、以及106维对象属性特征。

所述联合低秩和稀疏回归的多视角模型具体为：

其中：

A∈R^D×D是N个样本的低秩投影矩阵来捕获样本之间共享的底层低秩结构，E∈R^N×D是利用L₁范数来解决随机误差；为用作高级特征预测误差的损失函数；为用作低级特征预测误差的损失函数；为用于解决过拟合问题的图形正则化表示；X_H为高级属性特征；A_H为高级属性特征低秩表示的映射矩阵；E_H为是高级属性特征稀疏误差约束部分；β为控制稀疏的参数；w_H为高级属性特征的低秩表示和输出记忆度分数之间的线性依赖关系；A_l为低级特征低秩表示的映射矩阵；E_l为低级属性特征稀疏误差约束部分；X_l为低级属性特征；E_l为低级属性特征稀疏误差约束部分；w_l为低级属性特征的低秩表示和输出记忆度分数之间的线性依赖关系；y为训练样本的标签。

本发明提供的技术方案的有益效果是：

1、联合低秩表示和稀疏回归用于图像可记忆性预测，其中采用低等级约束来揭示嵌入原始数据的内在结构，利用稀疏约束去除异常值以及冗余信息，当低秩表示和稀疏回归共同执行时，所有特征共享的低秩表示可以捕获特征的内部结构，从而提高了预测的准确率；

2、本发明基于多视觉自适应回归(MAR)算法，以快速收敛来解决目标函数的优化问题。

附图说明

图1为一种联合低秩表示和稀疏回归的多视角学习方法的流程图；

图2为标有图像记忆度分数的数据库图像样例；

图3为算法收敛图；

图4为本方法与其他方法结果对比图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

实施例1

研究表明图像属性特征相比其原始底层特征是很高级别的语义特征，对图像的视觉特征进行研究并对图像记忆度进行预测，本发明实施例提出了一种用于图像可记忆性预测的联合低秩表示和稀疏回归的多视角学习方法，参见图1，该方法包括以下步骤：

101：获取图像可记忆性数据集；

其中，该图像可记忆性数据集^[1]包含来自SUN数据集^[11]的2,222张图像。图像的记忆得分通过Amazon Mechanical Turk的Visual Memory Game得到，图像可记忆性是从0到1的连续值。值越高，图像越难记忆。具有各种记忆得分的样本图像如图2所示。

102：对带有图像记忆度分数标签的SUN数据集分别进行低级特征和高级属性特征的提取；

其中，提取的低级特征包括：SIFT(尺度不变特征变换，Scale-invariant featuretransform，SIFT)、Gist(搜索树，Generalized Search Trees)、HOG(方向梯度直方图，Histogram of Oriented Gradient)和SSIM(结构相似性，structural similarityindex))特征，该4种低级特征共同构成了低级特征库。本发明实施例同时使用两种类型的高级属性特征，包括：327维场景类别属性特征，106维对象属性特征。

其中，场景类别属性涵盖327个场景类别，对象属性特征通过106个对象类别标记，具体的维数根据实际应用中的需要进行设定，本发明实施例对此不做限制。。

103：将低秩表示、稀疏回归模型和多视角一致性损失三部分放在同一个框架下构成一个整体，构建Mv-JLRSR(联合低秩和稀疏回归的多视角)模型；

104：利用多视觉自适应回归(MAR)算法解决自动预测图像的可记忆性的问题，在最优参数下得到图像底层特征、图像属性特征和图像记忆度的关系；

105：组合图像的低级特征和高级属性特征，利用在最优参数下得到的关系结果，预测数据库测试集图像记忆度，并用相关评价标准来验证预测结果。

综上所述，本发明实施例通过上述步骤101-步骤105采用低秩约束来揭示原始数据的内在结构并利用稀疏约束去除特征的异常值以及冗余信息，当低级代表和稀疏回归共同执行时，所有特征共享的最低等级表示不仅可以捕获所有模态的全局结构，而且可以表示回归的要求；由于拟订的目标函数不平滑，难以解决，因此利用多视角自适应回归(MAR)算法来解决自动预测图像的可记忆性问题，以快速收敛来解决优化问题。

实施例2

下面结合具体的计算公式对实施例1中的方案进行进一步地介绍，详见下文描述：

201：图像可记忆性数据集包含来自SUN数据集的2,222张图像；

其中，该数据集为本领域技术人员所公知，本发明实施例对此不做赘述。

202：对带有图像记忆度分数标签的SUN数据集的图片进行特征提取，提取的SIFT、Gist、HOG和SSIM特征构成低级特征库，并使用两种类型的高级属性特征，包括327维场景类别属性，106维对象属性

其中，上述数据集包括2222张各种环境下的图片，每张图片都标记好了图像记忆度分数，附图2展示了数据库中标有记忆度分数图片的样例。特征表示为D_i代表此类特征的维数，N代表数据库中所含图像个数(2222)。这些特征构成特征库B＝{B₁,...,B_M}。

203：建立Mv-JLRSR模型，在提取的低级特征和高级属性特征的基础上联合低秩表示和稀疏回归，建立更鲁棒的特征表示、以及建立准确的回归模型。

Mv-JLRSR模型所定义的一般框架如下所示：

其中，F(A,w)是用作预测误差的损失函数；L(A,E)表示基于低秩表示的特征编码器；G(A)是用于解决过拟合问题的图形正则化表示；A为低秩表示的映射矩阵；w为低秩特征表示和输出记忆度分数之间的线性依赖关系；E是稀疏误差约束部分。

图像可记忆性数据集^[1]包含来自SUN数据集^[11]的2,222张图像，图像的记忆得分通过Amazon Mechanical Turk的Visual Memory Game得到；结合自适应迁移学习的回归训练，采用线性回归的方法对提取的特征库进行训练。图像记忆度的分数预测分为两方面，一方面是直接利用特征表示来预测图像记忆度，得到每一类图像底层特征到图像记忆度的映射矩阵w_i，另一方面图像高级属性特征(在预测图像记忆度分数中也起到了非常重要的作用，结合低秩学习，得到每类图像属性与图像记忆度的关系；根据初始图像特征向量集X∈R^N×D，Mv-JLRSR模型的目标是在提取的视觉线索的基础上联合低秩表示和稀疏回归以增强鲁棒特征表示和准确回归模型。

对每一个部分进行具体介绍：

由于低秩约束可以去除噪声或冗余信息来帮助揭示数据的本质结构。因此，这些提取好的低级和高级特征可以被集成到特征学习中来处理这些问题。LRR假设原始特征矩阵包含所有样本共享的潜在最低秩结构分量及其唯一的误差矩阵：

其中，A∈R^D×D是N个样本的低秩投影矩阵，E∈R^N×D是用范数约束的唯一稀疏误差部分，以便处理随机误差，λ＞0是平衡参数，X为输入的特征；D为低秩约束后的特征维数；rank为特征的低秩表示法。

由于上述方程很难优化，因此采用核范数||A||_*(_*表示核范数是指矩阵奇异值的和)来逼近A的秩，因此L(A,E)的公式可以被定义如下：

在本发明实施例提出的框架中，将图像记忆预测的问题作为标准回归问题。提出了lasso^[5]回归方法，通过建立输入特征矩阵X与可记忆度分数向量y之间的线性关系v，最小化最小二乘误差来解决预测问题。在最小二乘误差部分加入岭正则化^[6]后，获得具有岭回归的典型最小二乘问题。

其中，α是预测误差部分和正则化部分之间的平衡参数。

从矩阵分解的角度来看，变换向量v可以被分解为两个分量的乘积，即应用低秩投影矩阵A来捕获样本之间共享的低秩结构，并将系数向量w应用于将变换后的样本与它们的记忆得分相关联。引入Q＝Aw并将损失函数F(A,w)定义为：

基于多元学习的思想，采用图形正则化来保持几何结构的一致性来解决这个问题。图形正则化的核心思想是样本在特征表示形式上是接近的，那么记忆得分也是接近的，反之亦然。通过最小化图形正则化器G(A)，实现特征和记忆度得分之间的几何结构一致性：

其中，L＝B-S是拉普拉斯算子，B是角矩阵，B_ii＝∑_jS_ij，S是高斯相似性函数所计算出的权重矩阵，它的计算由高斯相似性函数得到：

其中，y_i和y_j是第i个样本和第j个样本的流行度得分，N_K表示y_i是y_i的K临近数据，σ是一个半径参数，它被简单地设置为所有视频对上的欧氏距离的中值。

通常提取多个特征以表示来自不同视图的图像。这是因为这些多重表示可以提供兼容和补充信息。对于图像记忆预测任务，自然的选择是将这些多个表示集成在一起，以表示图像以获得更好的性能，而不是依赖于单个特征。本发明实施例提取的是高级的属性特征和低级的视觉特征。

因此定义Mv-JLRSR模型为：

其中：

A∈R^D×D是N个样本的低秩投影矩阵来捕获样本之间共享的底层低秩结构，E∈R^N×D是利用L₁范数来解决随机误差。

其中，为用作高级特征预测误差的损失函数；为用作低级特征预测误差的损失函数；为用于解决过拟合问题的图形正则化表示；X_H为高级属性特征；A_H为高级属性特征低秩表示的映射矩阵；E_H为是高级属性特征稀疏误差约束部分；β为控制稀疏的参数；w_H为高级属性特征的低秩表示和输出记忆度分数之间的线性依赖关系；A_l为低级特征低秩表示的映射矩阵；E_l为低级属性特征稀疏误差约束部分；X_l为低级属性特征；E_l为低级属性特征稀疏误差约束部分；w_l为低级属性特征的低秩表示和输出记忆度分数之间的线性依赖关系；y为训练样本的标签。

β||A_lw_l||+λ||X_lA_lw_l-y||_F是定义的误差函数，通过在输入特征矩阵(X_H和X_l)和可记忆度分数向量y之间建立线性向量v来解决预测问题。

是为了保证特征相近的样本记忆力分数也是接近的。

对Mv-JLRSR模型中F_H(φ_H)及F_L(φ_L)中的α，β，λ和φ初始化；分别固定A，E，w和Q并求导，不断重复求导过程直到误差达到设定的最小值。

下面具体介绍求解过程，利用多视觉自适应回归(MAR)算法^[7]来解决自动预测图像的可记忆性的问题，进而解决优化问题；

首先，介绍一个松弛变量Q来转换上述等价的问题：

s.t.X＝XA+E,Q＝Aw (9)

然后，引入两个松弛变量Y₁和Y₂以获得增广的拉格朗日函数：

其中＜,＞代表矩阵的内积操作，Y₁和Y₂代表拉格朗日算子矩阵，μ＞0是正惩罚参数，*是核范数表示；φ为图正则化的约束项；将上述方法合并为：

其中

本方法采用交替迭代的方法来求解。通过将二次项h(A,Q,E,w,Y₁,Y₂,μ)近似为二阶泰勒展开来分别处理每个子问题。为了更好地理解这个过程，引入了一个变量t，并定义了A_t,E_t,Q_t,w_t,Y_1,t,Y_2,t和μ作为变量的第t次迭代的结果，因此得到第t+1次迭代结果如下所示：

A的迭代结果：

其中，

然后固定w,A,Q得到E的优化结果如下：

通过固定E,A,Q，优化w结果如下：

上述问题实际上是众所周知的岭回归问题，其最优解是最后固定E,w,A，优化Q，可以得到：

此外，拉格朗日乘数Y₁和Y₂可以通过以下方案更新：

Y_1,t+1＝Y_1,t+μ_t(X-XA_t+1-E_t+1)

Y_2,t+1＝Y_2,t+μ_t(Q_t+1-A_t+1w_t+1)

其中，▽为求偏导的符号。

在所选评价标准下研究预测的分数与实际分数间的关系，得到算法性能结果。

其中，本发明实施例将数据库随机分为10组，对每一组都进行上述步骤得到10组相关系数，取平均值评价算法性能。本方法选择的评价标准有排序相关(RankingCorrelation)和R-value，在实施例3中还有详细介绍。

实施例3

下面结合具体的实验数据，图3至图4对实施例1和2中的方案进行可行性验证，详见下文描述：

图像可记忆性数据集包含来自SUN数据集的2,222张图像。图像的记忆得分通过Amazon Mechanical Turk的Visual Memory Game得到，图像可记忆性是从0到1的连续值。值越高，图像越难记忆，具有各种记忆得分的样本图像如图2所示。

本方法采取两种评估方法：

排序相关评估方法(Ranking Correlation，RC)：得到真实记忆度排序和预测记忆度分数排序关系，采用排序相关的Spearman相关系数的标准来衡量两种排序之间的相关系数。它的取值范围是[-1,1],值越高代表两种排序更接近：

其中，N是测试集图像个数，r₁中的元素r_1i是第i张图片在真实结果中排序的位置，r₂中的元素r_2i是第i张图片在预测结果中排序的位置。

R-value：评估预测分数与实际分数间的相关系数便于回归模型比较。R-value取值范围是[-1,1],1代表正相关，-1代表负相关：

其中，N是测试集图像个数，s_i是图像真实记忆度分数向量，是所有图像真实记忆度分数的均值；v_i是图像预测记忆度分数向量，是所有图像预测记忆度分数的均值。

实验中将本方法与以下四种方法进行对比：

LR(Liner Regression)：利用线性预测函数训练底层特征与记忆度分数之间的关系；

SVR(Support Vector Regression)：支持向量回归，将底层特征串在一起，结合RBF核函数学习非线性函数预测图像记忆度；

MRR^[9](Multiple Rank Regression)：采用多阶左投影向量和右投影向量建立回归模型；

MLHR^[10](Multi-Level via Hierarchical Regression)：基于分层回归的多媒体信息分析。

图3验证了算法的收敛性；图4展示了本方法与其他方法性能比较结果，可以看到本方法优于其他方法。对比方法只探究了底层特征与记忆度预测的关系。本方法将底层特征同图像属性特征结合在同一框架下对图像记忆度进行预测，得到一个较为稳定的模型。实验结果验证了本方法的可行性与优越性。

参考文献

[1]Zhang Z,Li F,Zhao M,et al.Joint low-rank and sparse principalfeature coding for enhanced robust representation and visual classification[J].IEEE Transactions on Image Processing,2016,25(6):2429-2443.

[2]Shi X,Guo Z,Lai Z,et al.A framework ofjoint graph embedding andsparse regression for dimensionality reduction[J].IEEE Transactions on ImageProcessing,2015,24(4):1341-1355.

[3]P.Isola,J.Xiao,A.Torralba,and A.Oliva,“What makes an imagememorable？”in Proc.Int.Conf.Comput.Vis.Pattern Recognit.,2011,pp.145–152.

[4]P.Isola,D.Parikh,A.Torralba,and A.Oliva,“Understanding theintrinsic memorability of images,”in Proc.Adv.Conf.Neural Inf.Process.Syst.,2011,pp.2429–2437.

[5]Tibshirani R.Regression shrinkage and selection via the lasso[J].Journal of the Royal Statistical Society.Series B(Methodological),1996:267-288.

[6]Hoerl A E,Kennard R W.Ridge regression:Biased estimation fornonorthogonal problems.Technometrics,1970,12(1):55-67.

[7]Purcell S,Neale B,Todd-Brown K,et al.PLINK:a tool set for whole-genome association and population-based linkage analyses.The American Journalof Human Genetics,2007,81(3):559-575.

[8]Q.You,H.Jin,and J.Luo,“Visual sentiment analysis by attending onlocal image regions,”in Thirty-FirstAAAI Conference onArtificialIntelligence,2017.

[9]Hou C,Nie F,Yi D,et al.Efficient image classification via multiplerank regression.IEEE Transactions on Image Processing,2013,22(1):340-352.

[10]Sundt B.A multi-level hierarchical credibility regression model[J].Scandinavian Actuarial Journal,1980,1980(1):25-32.

[11]J.Xiao,J.Hays,K.Ehinger,A.Oliva,A.Torralba et al.,“Sun database:Large-scale scene recognition from abbey to zoo,”inProc.Int.Conf.Comput.Vis.Pattern Recognit.,2010,pp.3485–3492.

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种联合低秩表示和稀疏回归的多视角学习方法，其特征在于，所述方法包括以下步骤：

对带有图像记忆度分数标签的SUN数据集分别进行低级特征和高级属性特征的提取；

将低秩表示、结合稀疏回归模型和多视角一致性损失三部分放在同一个框架下构成一个整体，构建联合低秩和稀疏回归的多视角模型；

利用多视觉自适应回归算法解决自动预测图像的可记忆性的问题，在最优参数下得到图像底层特征、图像属性特征和图像记忆度的关系；

组合图像的低级特征和高级属性特征，利用在最优参数下得到的关系结果，预测数据库测试集图像记忆度，并用相关评价标准来验证预测结果。

2.根据权利要求1所述的一种联合低秩表示和稀疏回归的多视角学习方法，其特征在于，所述方法还包括：获取图像可记忆性数据集。

3.根据权利要求1所述的一种联合低秩表示和稀疏回归的多视角学习方法，其特征在于，所述低级特征包括：尺度不变特征变换特征、搜索树特征、方向梯度直方图特征、以及结构相似性特征。

4.根据权利要求1所述的一种联合低秩表示和稀疏回归的多视角学习方法，其特征在于，所述高级属性特征包括：327维场景类别属性特征、以及106维对象属性特征。

5.根据权利要求1所述的一种联合低秩表示和稀疏回归的多视角学习方法，其特征在于，所述联合低秩和稀疏回归的多视角模型具体为：

其中：

A∈R^D×D是N个样本的低秩投影矩阵来捕获样本之间共享的底层低秩结构，E∈R^N×D是利用L₁范数来解决随机误差；为用作高级特征预测误差的损失函数；为用作低级特征预测误差的损失函数；为用于解决过拟合问题的图形正则化表示；X_H为高级属性特征；A_H为高级属性特征低秩表示的映射矩阵；E_H为是高级属性特征稀疏误差约束部分；β为控制稀疏的参数；w_H为高级属性特征的低秩表示和输出记忆度分数之间的线性依赖关系；A_l为低级特征低秩表示的映射矩阵；E_l为低级属性特征稀疏误差约束部分；X_l为低级属性特征；E_l为低级属性特征稀疏误差约束部分；w_l为低级属性特征的低秩表示和输出记忆度分数之间的线性依赖关系；y为训练样本的标签。