CN107545276B - 联合低秩表示和稀疏回归的多视角学习方法 - Google Patents
联合低秩表示和稀疏回归的多视角学习方法 Download PDFInfo
- Publication number
- CN107545276B CN107545276B CN201710648597.4A CN201710648597A CN107545276B CN 107545276 B CN107545276 B CN 107545276B CN 201710648597 A CN201710648597 A CN 201710648597A CN 107545276 B CN107545276 B CN 107545276B
- Authority
- CN
- China
- Prior art keywords
- low
- image
- features
- regression
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 14
- 238000011156 evaluation Methods 0.000 claims abstract description 8
- 238000012360 testing method Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 19
- 238000013507 mapping Methods 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 9
- 230000003190 augmentative effect Effects 0.000 claims description 3
- 230000002040 relaxant effect Effects 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 description 7
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种联合低秩表示和稀疏回归的多视角学习方法,所述方法包括以下步骤:对带有图像记忆度分数标签的SUN数据集分别进行低级特征和高级属性特征的提取;将低秩表示、结合稀疏回归模型和多视角一致性损失三部分放在同一个框架下构成一个整体,构建联合低秩和稀疏回归的多视角模型;利用多视觉自适应回归算法解决自动预测图像的可记忆性的问题,在最优参数下得到图像底层特征、图像属性特征和图像记忆度的关系;组合图像的低级特征和高级属性特征,利用在最优参数下得到的关系结果,预测数据库测试集图像记忆度,并用相关评价标准来验证预测结果。本发明联合低秩表示和稀疏回归的多视角学习框架,准确预测图像区域的可记忆性。
Description
技术领域
本发明涉及低秩表示和稀疏回归领域,尤其涉及一种联合低秩表示和稀疏回归的多视角学习方法。
背景技术
人类有记住成千上万图像的能力,然而并不是所有的图像都以同样的方式被储存在大脑中。一些有代表性的图片看一眼就能记住,而其他图像很容易从记忆中消失。图像记忆被用来测量在特定时间段之后图像被记住或被遗忘的程度。以前的研究工作已经表明,对图片的记忆力和图像的固有属性有关,即对图片的记忆力在不同的时间间隔内以及在不同观察者之间是一致性的。在这种情况下,就像研究许多其他高级图像属性(如人气,兴趣,情绪和美学)一样,一些研究工作开始探索图像内容表示和图像记忆之间的潜在相关性。
分析图像可记忆性可以应用在诸如用户界面设计、视频摘要、场景理解和广告设计等几个领域中。例如,可以通过选择有意义的图像来将可记忆性用作引导标准来总结图像集合或视频。通过提高消费者对目标品牌的记忆,可以设计难忘的广告帮助商人扩大影响力。
近来,低秩表现(LRR)已经成功应用于多媒体和计算机视觉领域。为了更好地处理特征表示问题,LRR用于通过将原始数据矩阵分解为低秩表示矩阵,同时消除不相关的细节,揭示嵌入数据中的底层低维子空间结构。传统方法通常不足以进行异常值的处理。为了解决这个问题,最近有一些研究也着重于稀疏回归学习。
然而,这些作品的主要缺点之一是特征表示和记忆预测在两个分开的阶段进行。也就是说,当确定用于图像可记忆性预测的特征组合的图案时,回归步骤的最终性能主要由处理的特征决定。虽然参考文献[1]提出了联合低秩和稀疏回归的特征编码算法来处理异常值。同样,参考文献[2]开发了一种用于降维的联合图嵌入和稀疏回归框架。但它们都是为视觉分类问题设计的,而不是图像记忆预测任务。
发明内容
本发明提供了一种联合低秩表示和稀疏回归的多视角学习方法,本发明联合低秩表示和稀疏回归的多视角学习框架,准确预测图像区域的可记忆性,详见下文描述:
对带有图像记忆度分数标签的SUN数据集分别进行低级特征和高级属性特征的提取;
将低秩表示、结合稀疏回归模型和多视角一致性损失三部分放在同一个框架下构成一个整体,构建联合低秩和稀疏回归的多视角模型;
利用多视觉自适应回归算法解决自动预测图像的可记忆性的问题,在最优参数下得到图像底层特征、图像属性特征和图像记忆度的关系;
组合图像的低级特征和高级属性特征,利用在最优参数下得到的关系结果,预测数据库测试集图像记忆度,并用相关评价标准来验证预测结果;
所述利用多视觉自适应回归算法解决自动预测图像的可记忆性的问题为:通过松弛变量Q来转换等价的问题:
s.t.X=XA+E,Q=Aw
其中,A为低秩表示的映射矩阵;w为低秩特征表示和输出记忆度分数之间的线性依赖关系;E是稀疏误差约束部分;α是预测误差部分和正则化部分之间的平衡参数;β为控制稀疏的参数;λ>0是平衡参数;X为输入的特征;y为可记忆度分数向量;*是核范数表示;φ为图正则化的约束项;L是拉普拉斯算子;
引入两个松弛变量Y1和Y2以获得增广的拉格朗日函数:
其中,<,>代表矩阵的内积操作,Y1和Y2代表拉格朗日算子矩阵,μ>0是正惩罚参数,将上述方法合并为:
其中
引入变量t,定义At,Et,Qt,wt,Y1,t,Y2,t和μ作为变量的第t次迭代的结果,得到第t+1次迭代结果如下所示:
A的迭代结果:
固定w,A,Q得到E的优化结果如下:
通过固定E,A,Q,优化w结果如下:
最后固定E,w,A,优化Q,得到:
Y1和Y2通过以下方案更新:
Y1,t+1=Y1,t+μt(X-XAt+1-Et+1)
Y2,t+1=Y2,t+μt(Qt+1-At+1wt+1)
所述联合低秩和稀疏回归的多视角模型具体为:
其中:
G(φH,φl)=tr[(XlAlwl)TXHAHwH]
为用作高级特征预测误差的损失函数;为用作低级特征预测误差的损失函数;为用于解决过拟合问题的图形正则化表示;XH为高级属性特征;AH为高级属性特征低秩表示的映射矩阵;EH为是高级属性特征稀疏误差约束部分;wH为高级属性特征的低秩表示和输出记忆度分数之间的线性依赖关系;Al为低级特征低秩表示的映射矩阵;El为低级属性特征稀疏误差约束部分;Xl为低级属性特征;wl为低级属性特征的低秩表示和输出记忆度分数之间的线性依赖关系。
所述方法还包括:获取图像可记忆性数据集。
所述低级特征包括:尺度不变特征变换特征、搜索树特征、方向梯度直方图特征、以及结构相似性特征。
所述高级属性特征包括:327维场景类别属性特征、以及106维对象属性特征。
本发明提供的技术方案的有益效果是:
1、联合低秩表示和稀疏回归用于图像可记忆性预测,其中采用低等级约束来揭示嵌入原始数据的内在结构,利用稀疏约束去除异常值以及冗余信息,当低秩表示和稀疏回归共同执行时,所有特征共享的低秩表示可以捕获特征的内部结构,从而提高了预测的准确率;
2、本发明基于多视觉自适应回归(MAR)算法,以快速收敛来解决目标函数的优化问题。
附图说明
图1为一种联合低秩表示和稀疏回归的多视角学习方法的流程图;
图2为标有图像记忆度分数的数据库图像样例;
图3为算法收敛图;
图4为本方法与其他方法结果对比图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面对本发明实施方式作进一步地详细描述。
实施例1
研究表明图像属性特征相比其原始底层特征是很高级别的语义特征,对图像的视觉特征进行研究并对图像记忆度进行预测,本发明实施例提出了一种用于图像可记忆性预测的联合低秩表示和稀疏回归的多视角学习方法,参见图1,该方法包括以下步骤:
101:获取图像可记忆性数据集;
其中,该图像可记忆性数据集[1]包含来自SUN数据集[11]的2,222张图像。图像的记忆得分通过Amazon Mechanical Turk的Visual Memory Game得到,图像可记忆性是从0到1的连续值。值越高,图像越难记忆。具有各种记忆得分的样本图像如图2所示。
102:对带有图像记忆度分数标签的SUN数据集分别进行低级特征和高级属性特征的提取;
其中,提取的低级特征包括:SIFT(尺度不变特征变换,Scale-invariant featuretransform,SIFT)、Gist(搜索树,Generalized Search Trees)、HOG(方向梯度直方图,Histogram of Oriented Gradient)和SSIM(结构相似性,structural similarityindex))特征,该4种低级特征共同构成了低级特征库。本发明实施例同时使用两种类型的高级属性特征,包括:327维场景类别属性特征,106维对象属性特征。
其中,场景类别属性涵盖327个场景类别,对象属性特征通过106个对象类别标记,具体的维数根据实际应用中的需要进行设定,本发明实施例对此不做限制。。
103:将低秩表示、稀疏回归模型和多视角一致性损失三部分放在同一个框架下构成一个整体,构建Mv-JLRSR(联合低秩和稀疏回归的多视角)模型;
104:利用多视觉自适应回归(MAR)算法解决自动预测图像的可记忆性的问题,在最优参数下得到图像底层特征、图像属性特征和图像记忆度的关系;
105:组合图像的低级特征和高级属性特征,利用在最优参数下得到的关系结果,预测数据库测试集图像记忆度,并用相关评价标准来验证预测结果。
综上所述,本发明实施例通过上述步骤101-步骤105采用低秩约束来揭示原始数据的内在结构并利用稀疏约束去除特征的异常值以及冗余信息,当低级代表和稀疏回归共同执行时,所有特征共享的最低等级表示不仅可以捕获所有模态的全局结构,而且可以表示回归的要求;由于拟订的目标函数不平滑,难以解决,因此利用多视角自适应回归(MAR)算法来解决自动预测图像的可记忆性问题,以快速收敛来解决优化问题。
实施例2
下面结合具体的计算公式对实施例1中的方案进行进一步地介绍,详见下文描述:
201:图像可记忆性数据集包含来自SUN数据集的2,222张图像;
其中,该数据集为本领域技术人员所公知,本发明实施例对此不做赘述。
202:对带有图像记忆度分数标签的SUN数据集的图片进行特征提取,提取的SIFT、Gist、HOG和SSIM特征构成低级特征库,并使用两种类型的高级属性特征,包括327维场景类别属性,106维对象属性
其中,上述数据集包括2222张各种环境下的图片,每张图片都标记好了图像记忆度分数,附图2展示了数据库中标有记忆度分数图片的样例。特征表示为Di代表此类特征的维数,N代表数据库中所含图像个数(2222)。这些特征构成特征库B={B1,...,BM}。
203:建立Mv-JLRSR模型,在提取的低级特征和高级属性特征的基础上联合低秩表示和稀疏回归,建立更鲁棒的特征表示、以及建立准确的回归模型。
Mv-JLRSR模型所定义的一般框架如下所示:
其中,F(A,w)是用作预测误差的损失函数;L(A,E)表示基于低秩表示的特征编码器;G(A)是用于解决过拟合问题的图形正则化表示;A为低秩表示的映射矩阵;w为低秩特征表示和输出记忆度分数之间的线性依赖关系;E是稀疏误差约束部分。
图像可记忆性数据集[1]包含来自SUN数据集[11]的2,222张图像,图像的记忆得分通过Amazon Mechanical Turk的Visual Memory Game得到;结合自适应迁移学习的回归训练,采用线性回归的方法对提取的特征库进行训练。图像记忆度的分数预测分为两方面,一方面是直接利用特征表示来预测图像记忆度,得到每一类图像底层特征到图像记忆度的映射矩阵wi,另一方面图像高级属性特征(在预测图像记忆度分数中也起到了非常重要的作用,结合低秩学习,得到每类图像属性与图像记忆度的关系;根据初始图像特征向量集X∈RN×D,Mv-JLRSR模型的目标是在提取的视觉线索的基础上联合低秩表示和稀疏回归以增强鲁棒特征表示和准确回归模型。
对每一个部分进行具体介绍:
由于低秩约束可以去除噪声或冗余信息来帮助揭示数据的本质结构。因此,这些提取好的低级和高级特征可以被集成到特征学习中来处理这些问题。LRR假设原始特征矩阵包含所有样本共享的潜在最低秩结构分量及其唯一的误差矩阵:
其中,A∈RD×D是N个样本的低秩投影矩阵,E∈RN×D是用l1范数约束的唯一稀疏误差部分,以便处理随机误差,λ>0是平衡参数,X为输入的特征;D为低秩约束后的特征维数;rank为特征的低秩表示法。
由于上述方程很难优化,因此采用核范数||A||*(*表示核范数是指矩阵奇异值的和)来逼近A的秩,因此L(A,E)的公式可以被定义如下:
在本发明实施例提出的框架中,将图像记忆预测的问题作为标准回归问题。提出了lasso[5]回归方法,通过建立输入特征矩阵X与可记忆度分数向量y之间的线性关系v,最小化最小二乘误差来解决预测问题。在最小二乘误差部分加入岭正则化[6]后,获得具有岭回归的典型最小二乘问题。
其中,α是预测误差部分和正则化部分之间的平衡参数。
从矩阵分解的角度来看,变换向量v可以被分解为两个分量的乘积,即应用低秩投影矩阵A来捕获样本之间共享的低秩结构,并将系数向量w应用于将变换后的样本与它们的记忆得分相关联。引入Q=Aw并将损失函数F(A,w)定义为:
基于多元学习的思想,采用图形正则化来保持几何结构的一致性来解决这个问题。图形正则化的核心思想是样本在特征表示形式上是接近的,那么记忆得分也是接近的,反之亦然。通过最小化图形正则化器G(A),实现特征和记忆度得分之间的几何结构一致性:
其中,L=B-S是拉普拉斯算子,B是角矩阵,Bii=∑jSij,S是高斯相似性函数所计算出的权重矩阵,它的计算由高斯相似性函数得到:
其中,yi和yj是第i个样本和第j个样本的流行度得分,NK表示yi是yi的K临近数据,σ是一个半径参数,它被简单地设置为所有视频对上的欧氏距离的中值。
通常提取多个特征以表示来自不同视图的图像。这是因为这些多重表示可以提供兼容和补充信息。对于图像记忆预测任务,自然的选择是将这些多个表示集成在一起,以表示图像以获得更好的性能,而不是依赖于单个特征。本发明实施例提取的是高级的属性特征和低级的视觉特征。
因此定义Mv-JLRSR模型为:
其中:
A∈RD×D是N个样本的低秩投影矩阵来捕获样本之间共享的底层低秩结构,E∈RN×D是利用L1范数来解决随机误差。
其中,为用作高级特征预测误差的损失函数;为用作低级特征预测误差的损失函数;为用于解决过拟合问题的图形正则化表示;XH为高级属性特征;AH为高级属性特征低秩表示的映射矩阵;EH为是高级属性特征稀疏误差约束部分;β为控制稀疏的参数;wH为高级属性特征的低秩表示和输出记忆度分数之间的线性依赖关系;Al为低级特征低秩表示的映射矩阵;El为低级属性特征稀疏误差约束部分;Xl为低级属性特征;El为低级属性特征稀疏误差约束部分;wl为低级属性特征的低秩表示和输出记忆度分数之间的线性依赖关系;y为训练样本的标签。
对Mv-JLRSR模型中FH(φH)及FL(φL)中的α,β,λ和φ初始化;分别固定A,E,w和Q并求导,不断重复求导过程直到误差达到设定的最小值。
下面具体介绍求解过程,利用多视觉自适应回归(MAR)算法[7]来解决自动预测图像的可记忆性的问题,进而解决优化问题;
首先,介绍一个松弛变量Q来转换上述等价的问题:
然后,引入两个松弛变量Y1和Y2以获得增广的拉格朗日函数:
其中<,>代表矩阵的内积操作,Y1和Y2代表拉格朗日算子矩阵,μ>0是正惩罚参数,*是核范数表示;φ为图正则化的约束项;将上述方法合并为:
其中
本方法采用交替迭代的方法来求解。通过将二次项h(A,Q,E,w,Y1,Y2,μ)近似为二阶泰勒展开来分别处理每个子问题。为了更好地理解这个过程,引入了一个变量t,并定义了At,Et,Qt,wt,Y1,t,Y2,t和μ作为变量的第t次迭代的结果,因此得到第t+1次迭代结果如下所示:
A的迭代结果:
然后固定w,A,Q得到E的优化结果如下:
通过固定E,A,Q,优化w结果如下:
最后固定E,w,A,优化Q,可以得到:
此外,拉格朗日乘数Y1和Y2可以通过以下方案更新:
Y1,t+1=Y1,t+μt(X-XAt+1-Et+1)
Y2,t+1=Y2,t+μt(Qt+1-At+1wt+1)
在所选评价标准下研究预测的分数与实际分数间的关系,得到算法性能结果。
其中,本发明实施例将数据库随机分为10组,对每一组都进行上述步骤得到10组相关系数,取平均值评价算法性能。本方法选择的评价标准有排序相关(RankingCorrelation)和R-value,在实施例3中还有详细介绍。
实施例3
下面结合具体的实验数据,图3至图4对实施例1和2中的方案进行可行性验证,详见下文描述:
图像可记忆性数据集包含来自SUN数据集的2,222张图像。图像的记忆得分通过Amazon Mechanical Turk的Visual Memory Game得到,图像可记忆性是从0到1的连续值。值越高,图像越难记忆,具有各种记忆得分的样本图像如图2所示。
本方法采取两种评估方法:
排序相关评估方法(Ranking Correlation,RC):得到真实记忆度排序和预测记忆度分数排序关系,采用排序相关的Spearman相关系数的标准来衡量两种排序之间的相关系数。它的取值范围是[-1,1],值越高代表两种排序更接近:
其中,N是测试集图像个数,r1中的元素r1i是第i张图片在真实结果中排序的位置,r2中的元素r2i是第i张图片在预测结果中排序的位置。
R-value:评估预测分数与实际分数间的相关系数便于回归模型比较。R-value取值范围是[-1,1],1代表正相关,-1代表负相关:
实验中将本方法与以下四种方法进行对比:
LR(Liner Regression):利用线性预测函数训练底层特征与记忆度分数之间的关系;
SVR(Support Vector Regression):支持向量回归,将底层特征串在一起,结合RBF核函数学习非线性函数预测图像记忆度;
MRR[9](Multiple Rank Regression):采用多阶左投影向量和右投影向量建立回归模型;
MLHR[10](Multi-Level via Hierarchical Regression):基于分层回归的多媒体信息分析。
图3验证了算法的收敛性;图4展示了本方法与其他方法性能比较结果,可以看到本方法优于其他方法。对比方法只探究了底层特征与记忆度预测的关系。本方法将底层特征同图像属性特征结合在同一框架下对图像记忆度进行预测,得到一个较为稳定的模型。实验结果验证了本方法的可行性与优越性。
参考文献
[1]Zhang Z,Li F,Zhao M,et al.Joint low-rank and sparse principalfeature coding for enhanced robust representation and visual classification[J].IEEE Transactions on Image Processing,2016,25(6):2429-2443.
[2]Shi X,Guo Z,Lai Z,et al.A framework of joint graph embedding andsparse regression for dimensionality reduction[J].IEEE Transactions on ImageProcessing,2015,24(4):1341-1355.
[3]P.Isola,J.Xiao,A.Torralba,and A.Oliva,“What makes an imagememorable?”in Proc.Int.Conf.Comput.Vis.Pattern Recognit.,2011,pp.145–152.
[4]P.Isola,D.Parikh,A.Torralba,and A.Oliva,“Understanding theintrinsic memorability of images,”in Proc.Adv.Conf.Neural Inf.Process.Syst.,2011,pp.2429–2437.
[5]Tibshirani R.Regression shrinkage and selection via the lasso[J].Journal of the Royal Statistical Society.Series B(Methodological),1996:267-288.
[6]Hoerl A E,Kennard R W.Ridge regression:Biased estimation fornonorthogonal problems.Technometrics,1970,12(1):55-67.
[7]Purcell S,Neale B,Todd-Brown K,et al.PLINK:a tool set for whole-genome association and population-based linkage analyses.The American JournalofHuman Genetics,2007,81(3):559-575.
[8]Q.You,H.Jin,and J.Luo,“Visual sentiment analysis by attending onlocal image regions,”in Thirty-First AAAI Conference on ArtificialIntelligence,2017.
[9]Hou C,Nie F,Yi D,et al.Efficient image classification via multiplerank regression.IEEE Transactions on Image Processing,2013,22(1):340-352.
[10]Sundt B.A multi-level hierarchical credibility regression model[J].Scandinavian Actuarial Journal,1980,1980(1):25-32.
[11]J.Xiao,J.Hays,K.Ehinger,A.Oliva,A.Torralba et al.,“Sun database:Large-scale scene recognition from abbey to zoo,”in Proc.Int.Conf.Comput.Vis.Pattern Recognit.,2010,pp.3485–3492.
本领域技术人员可以理解附图只是一个优选实施例的示意图,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (4)
1.一种联合低秩表示和稀疏回归的多视角学习方法,其特征在于,所述方法包括以下步骤:
对带有图像记忆度分数标签的SUN数据集分别进行低级特征和高级属性特征的提取;
将低秩表示、结合稀疏回归模型和多视角一致性损失三部分放在同一个框架下构成一个整体,构建联合低秩和稀疏回归的多视角模型;
利用多视觉自适应回归算法解决自动预测图像的可记忆性的问题,在最优参数下得到图像底层特征、图像属性特征和图像记忆度的关系;
组合图像的低级特征和高级属性特征,利用在最优参数下得到的关系结果,预测数据库测试集图像记忆度,并用相关评价标准来验证预测结果;
所述利用多视觉自适应回归算法解决自动预测图像的可记忆性的问题为:通过松弛变量Q来转换等价的问题:
s.t.X=XA+E,Q=Aw
其中,A为低秩表示的映射矩阵;w为低秩特征表示和输出记忆度分数之间的线性依赖关系;E是稀疏误差约束部分;α是预测误差部分和正则化部分之间的平衡参数;β为控制稀疏的参数;λ>0是平衡参数;X为输入的特征;y为可记忆度分数向量;*是核范数表示;φ为图正则化的约束项;L是拉普拉斯算子;
引入两个松弛变量Y1和Y2以获得增广的拉格朗日函数:
其中,<,>代表矩阵的内积操作,Y1和Y2代表拉格朗日算子矩阵,μ>0是正惩罚参数,将上述方法合并为:
其中
引入变量t,定义At,Et,Qt,wt,Y1,t,Y2,t和μ作为变量的第t次迭代的结果,得到第t+1次迭代结果如下所示:
A的迭代结果:
固定w,A,Q得到E的优化结果如下:
通过固定E,A,Q,优化w结果如下:
最后固定E,w,A,优化Q,得到:
Y1和Y2通过以下方案更新:
Y1,t+1=Y1,t+μt(X-XAt+1-Et+1)
Y2,t+1=Y2,t+μt(Qt+1-At+1wt+1)
所述联合低秩和稀疏回归的多视角模型具体为:
其中:
G(φH,φl)=tr[(XlAlwl)TXHAHwH]
2.根据权利要求1所述的一种联合低秩表示和稀疏回归的多视角学习方法,其特征在于,所述方法还包括:获取图像可记忆性数据集。
3.根据权利要求1所述的一种联合低秩表示和稀疏回归的多视角学习方法,其特征在于,所述低级特征包括:尺度不变特征变换特征、搜索树特征、方向梯度直方图特征、以及结构相似性特征。
4.根据权利要求1所述的一种联合低秩表示和稀疏回归的多视角学习方法,其特征在于,所述高级属性特征包括:327维场景类别属性特征、以及106维对象属性特征。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710648597.4A CN107545276B (zh) | 2017-08-01 | 2017-08-01 | 联合低秩表示和稀疏回归的多视角学习方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710648597.4A CN107545276B (zh) | 2017-08-01 | 2017-08-01 | 联合低秩表示和稀疏回归的多视角学习方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107545276A CN107545276A (zh) | 2018-01-05 |
CN107545276B true CN107545276B (zh) | 2021-02-05 |
Family
ID=60971226
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710648597.4A Active CN107545276B (zh) | 2017-08-01 | 2017-08-01 | 联合低秩表示和稀疏回归的多视角学习方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107545276B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108256486B (zh) * | 2018-01-18 | 2022-02-22 | 河南科技大学 | 一种基于非负低秩和半监督学习的图像识别方法及装置 |
CN108197320B (zh) * | 2018-02-02 | 2019-07-30 | 北方工业大学 | 一种多视图图像自动标注方法 |
CN109522956B (zh) * | 2018-11-16 | 2022-09-30 | 哈尔滨理工大学 | 一种低秩判别特征子空间学习方法 |
CN109583498B (zh) * | 2018-11-29 | 2023-04-07 | 天津大学 | 一种基于低秩正则化特征增强表征的时尚兼容度预测方法 |
CN109858543B (zh) * | 2019-01-25 | 2023-03-21 | 天津大学 | 基于低秩稀疏表征和关系推断的图像可记忆度预测方法 |
CN110619367B (zh) * | 2019-09-20 | 2022-05-13 | 哈尔滨理工大学 | 联合低秩约束跨视角判别子空间学习方法及装置 |
CN110727818B (zh) * | 2019-09-27 | 2023-11-14 | 天津大学 | 一种基于低秩嵌入表示的二进制图像特征编码方法 |
CN112990242A (zh) * | 2019-12-16 | 2021-06-18 | 京东数字科技控股有限公司 | 图像分类模型的训练方法和训练装置 |
CN111242102B (zh) * | 2019-12-17 | 2022-11-18 | 大连理工大学 | 基于判别性特征导向的高斯混合模型的细粒度图像识别算法 |
CN111259917B (zh) * | 2020-02-20 | 2022-06-07 | 西北工业大学 | 一种基于局部近邻成分分析的图像特征提取方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103400143A (zh) * | 2013-07-12 | 2013-11-20 | 中国科学院自动化研究所 | 一种基于多视角的数据子空间聚类方法 |
CN105809119A (zh) * | 2016-03-03 | 2016-07-27 | 厦门大学 | 一种基于稀疏低秩结构多任务学习的行为识别方法 |
CN106971200A (zh) * | 2017-03-13 | 2017-07-21 | 天津大学 | 一种基于自适应迁移学习的图像记忆度预测方法 |
-
2017
- 2017-08-01 CN CN201710648597.4A patent/CN107545276B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103400143A (zh) * | 2013-07-12 | 2013-11-20 | 中国科学院自动化研究所 | 一种基于多视角的数据子空间聚类方法 |
CN105809119A (zh) * | 2016-03-03 | 2016-07-27 | 厦门大学 | 一种基于稀疏低秩结构多任务学习的行为识别方法 |
CN106971200A (zh) * | 2017-03-13 | 2017-07-21 | 天津大学 | 一种基于自适应迁移学习的图像记忆度预测方法 |
Non-Patent Citations (1)
Title |
---|
Joint Low-Rank and Sparse Principal Feature Coding for Enhanced Robust Representation and Visual Classification;Zhao Zhang等;《IEEE Transactions on Image Processing》;20160325;第2429-2443页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107545276A (zh) | 2018-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107545276B (zh) | 联合低秩表示和稀疏回归的多视角学习方法 | |
CN111581510B (zh) | 分享内容处理方法、装置、计算机设备和存储介质 | |
CN107590505B (zh) | 联合低秩表示和稀疏回归的学习方法 | |
CN107480261B (zh) | 一种基于深度学习细粒度人脸图像快速检索方法 | |
US9633045B2 (en) | Image ranking based on attribute correlation | |
Wu et al. | Tag completion for image retrieval | |
Cong et al. | Towards scalable summarization of consumer videos via sparse dictionary selection | |
CN102567483B (zh) | 多特征融合的人脸图像搜索方法和*** | |
US20090150376A1 (en) | Mutual-Rank Similarity-Space for Navigating, Visualising and Clustering in Image Databases | |
US20120124037A1 (en) | Multimedia data searching method and apparatus and pattern recognition method | |
Li et al. | Detecting shot boundary with sparse coding for video summarization | |
CN105512674B (zh) | 基于密集匹配子自适应相似性度量的rgb-d物体识别方法和装置 | |
CN110633421A (zh) | 特征提取、推荐以及预测方法、装置、介质和设备 | |
CN114691973A (zh) | 一种推荐方法、推荐网络及相关设备 | |
Gao et al. | k-Partite graph reinforcement and its application in multimedia information retrieval | |
Panda et al. | Nyström approximated temporally constrained multisimilarity spectral clustering approach for movie scene detection | |
Li et al. | Learning hierarchical video representation for action recognition | |
Xu et al. | Instance-level coupled subspace learning for fine-grained sketch-based image retrieval | |
Zhang et al. | Second-and high-order graph matching for correspondence problems | |
CN106407281B (zh) | 图像检索方法及装置 | |
Wu et al. | Semisupervised feature learning by deep entropy-sparsity subspace clustering | |
Tkachenko et al. | Plackett-luce regression mixture model for heterogeneous rankings | |
Zhao et al. | Binary multi-view sparse subspace clustering | |
Zhu et al. | Multimodal sparse linear integration for content-based item recommendation | |
Singh et al. | Image collection summarization: Past, present and future |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |