CN108764351B - 一种基于测地距离的黎曼流形保持核学习方法及装置 - Google Patents

一种基于测地距离的黎曼流形保持核学习方法及装置 Download PDF

Info

Publication number
CN108764351B
CN108764351B CN201810542508.2A CN201810542508A CN108764351B CN 108764351 B CN108764351 B CN 108764351B CN 201810542508 A CN201810542508 A CN 201810542508A CN 108764351 B CN108764351 B CN 108764351B
Authority
CN
China
Prior art keywords
matrix
distance
kernel
learning
manifold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810542508.2A
Other languages
English (en)
Other versions
CN108764351A (zh
Inventor
牛菓
王修才
顾艳春
段志奎
陈建文
樊耘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan University
Original Assignee
Foshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan University filed Critical Foshan University
Priority to CN201810542508.2A priority Critical patent/CN108764351B/zh
Publication of CN108764351A publication Critical patent/CN108764351A/zh
Application granted granted Critical
Publication of CN108764351B publication Critical patent/CN108764351B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于测地距离的黎曼流形保持核学习方法及装置,用于解决数字图像的黎曼流形数据的核学习方法的两个问题:1)测度保持问题,通过参数化马氏距离学习的方式,使得黎曼流形上的对称正定矩阵变换到欧式空间上的距离与黎曼流形上的测地距离相等,根据Bregman优化算法求得马氏距离矩阵的最优解;2)固定核方法问题。通过核学习的方式;根据Bregman优化算法,进行核学习得到最优的核矩阵,使得核空间上的距离与测地距离保持一致,最终有效的解决了黎曼流形测度保持以及单一核局限性的问题。

Description

一种基于测地距离的黎曼流形保持核学习方法及装置
技术领域
本公开涉及机器学习及图像处理领域,具体涉及一种基于测地距离的黎曼流形保持核学习方法及装置。
背景技术
随着多媒体技术的快速发展以及互联网技术的迅猛发展,数字图像信息的采集,存储,传播以及访问呈现出***性的增长。数字图像不仅充斥在互联网上,而且在民用,商业,军事,医疗,生物等领域中都会产生大量的图像信息,包括日常生活中拍摄的照片,新闻图片,医学图片,生物图片,遥感图片等等。上述的种种情况,使得图像的处理变得越来越复杂。由于图像处理所面对的图像数据,数量多且维数高,如果采用传统方法对图像进行处理,会导致高昂的时间成本以及识别率不理想的情况发生。比如图像处理常用的方法里,将一张图像变换成一个行向量或者列向量,即使用一个行向量或列向量来表示一张图像,如果图像维数相对小一些或者维数不太高,这样变换后,运算量不会太大。但是随着互联网技术的迅速发展,图像越来越清晰,维数也越来越大,不再局限在几百维以内,而是几万,几十万维,甚至更大。如果此时再将图像变换成向量,进行后续的分类、识别等应用时,计算量剧增,导致高昂的时间成本产生。每个图像都会有自己的特征,一般情况下,对一个图像而言,常用特征提取方法有协方差描述子(文献1,Tuzel O.,Porikli F.,Meer F.,RegionCovariance:A Fast Descriptor for Detection and Classification,EuropeanConference on Computer Vision(ECCV),2006)、扩散张量描述子(文献2,Pennec X.,Fillard P.,Ayache N.,A Riemannian Framework for Tensor Computing,International Journal of Computer Vision(IJCV),2006),结构张量描述子(文献3,GohA.,Vidal R.,Clustering and dimensionality reduction on Riemannianmanifolds.Computer Vision and Pattern Recognition(CVPR),2008)等。使用协方差矩阵作为区域描述子不但可以融合图像里多个可能相关的特征,还可以从一个区域提取的单个协方差矩阵,来实现在不同的视角和姿势下该区域的匹配问题。
测度学习与核学习在机器学习中应用广泛。普遍认为测度学习来源于2002年Xing等人的工作(文献4,Xing E.P.,Jordan M.I.,Russell S.,Distance metric learningwith application to clustering with side-formation.Proceeding of the Advancesin Neural Information Proceeding Systems,2002)。Davis等人(文献5,Davis J.V.,Kulis B.,Jani P.,Information-theoretic metric learning,Proceedings of theInternational Conference on Machine Learning,2007)将测度学习问题转化为Bregman问题,并从信息论角度提出了信息理论度量学习。这样在距离函数约束条件下,测度学习变为通过最小化多变量高斯之间的微分相对熵的问题。Davis等人通过使用Bregman算法,将测度学习问题表述为一种特殊的Bregman优化问题,最后通过最小化LogDet散度,来学习数据之间的测度。现有的测度学习方法,大多依赖于马氏距离,且局限于低维数据。核学习(文献6Shawe-Taylor J.and Cristianini N.,Kernel methods for patternanalysis.Cambridge University Press,2004)在机器学习中也有广泛的应用。但由于核方法大多是直推式的,不能有效地拓展到新来的数据应用中。然而把测度学习方法引入到核学习,可以有效的改进现有的核方法。有些研究者在把测度学习作为线性转换学习问题时,联合核学习来改进算法。具体做法是将学习问题表示为满足一定线性条件下,最小化LogDet散度的问题。但是一般来讲,线性约束含有分类信息,需要在全监督或者半监督情形下进行。
发明内容
本公开的目的是针对现有技术的不足,提出一种基于测地距离的黎曼流形保持核学习方法及装置,通过把黎曼流形上的任意两点之间的测地距离引入测度学习,来优化初始核矩阵,进一步将核学习的问题表示为满足一定线性条件下,最小化LogDet散度的问题,最终根据得到的核矩阵进行数据分类。这样做的优点是:提出的约束条件是保持流形上的测地距离,即核空间上两点之间的距离等于其测地距离,并不含有分类信息,是一种无监督学习方式。同时根据得到的最优马氏距离,带入到线性变换K0=XTA*X,将K0作为初始矩阵,再进行核学习,这样使得最后得到的核矩阵满足核空间上两点之间的距离等于其测地距离,根据给定数据集,计算每个样本数据特征协方差矩阵,应用黎曼测地距离到测度学习,再根据得到最优测度来计算核学习问题的初始核矩阵,最后根据Bregman迭代方法求最优核矩阵,本发明提高流形学习分类方法的效率。
为了实现上述目的,本公开提供一种基于测地距离的黎曼流形保持核学习方法及装置,其中,所述方法包括以下步骤:
步骤1,根据数据样本集和协方差描述子计算每个样本数据的特征协方差矩阵;
步骤2,根据特征协方差矩阵计算黎曼测地距离;
步骤3,采用Bregman迭代算法对黎曼测地距离定义的初始核矩阵进行学习得到最优核矩阵;
步骤4,根据得到的最优核矩阵进行数据分类。
进一步地,在步骤1中,所述计算每个样本数据的特征协方差矩阵的方法为:
采用区域协方差算子方法计算每个样本的特征协方差矩阵,设I为一个三维颜色强度的样本图片,F为从I中抽取的W×H×d维的特征图像:F(x,y)=φ(I,x,y),如果I为一个三维图片,F是从I中截取的子图像的特征图像,F的大小为W×H×d维,x,y的大小范围在W,H内,d为F(x,y)中元素的个数,函数φ是图像强度,颜色,梯度,滤波器响应的映射其中一种,一般特征向量F(x,y):
Figure GDA0003150454250000031
(x,y)表示像素的位置,R(x,y),G(x,y),B(x,y)表示像素的颜色值,
Figure GDA0003150454250000032
分别表示相对x,y的一阶微分的范数,
Figure GDA0003150454250000033
分别表示相对x,y的二阶微分的范数,对于纹理识别任务,构造特征向量F(x,y):
Figure GDA0003150454250000034
其中,I(x,y)表示图像强度,在构造特征向量时,常用的特征值有图像强度值、相对x,y的一阶和二阶微分的范数,对于给定的矩形区域
Figure GDA0003150454250000036
{zk}是区域R中d维特征,k=1…n,n为正整数,用区域R中特征的d×d的协方差矩阵表示这个区域R:
Figure GDA0003150454250000035
u为特征点的均值,对于式中协方差矩阵的第(i,j)个元素表示为,
Figure GDA0003150454250000041
展开均值,上式可以改为,
Figure GDA0003150454250000042
计算各维特征的和
Figure GDA0003150454250000043
以及任意两个特征的乘积的和Z(i)Z(j),Z(i)Z(j),i=1…n,j=1…n,n为正整数,就可以得到区域协方差CR
假设给定的数据集为X={x1…xn},其中,xi表示数据样本,xi,i=1,…,n,n为正整数;
进一步地,根据特征协方差矩阵,计算黎曼测地距离。由步骤1得到特征协方差矩阵均为对称正定矩阵,而所有的对称矩阵就是一个黎曼流形。对任意两个对称正定矩阵Xi,Xj进行对数操作,可以得到Zi=log(Xi),Zj=log(Xj)。经过对数计算后,Zi,Zj依旧是一个矩阵。注意,这里的对数运算是黎曼流形特殊运算符,它是依赖数据的。进而,把Zi,Zj矩阵处理成一个列向量
Figure GDA0003150454250000044
新得到的列向量
Figure GDA0003150454250000045
可以看作是欧式空间中的点,利用参数化马氏距离形式,可以得到:
Figure GDA0003150454250000046
对上式矩阵A的学习,可以利用LogDet散度来解决。即,其中对于n×n矩阵A和A0,A和A0的LogDet散度为:
Dld(A,A0)=tr(AA0 -1)-log det(AA0 -1)-n。
为了预防最小化LogDet散度没有可行的解决方案,在表述形式中加入松弛变量γ来保证有最优解。在本发明里,为达到保持测地距离的目的,对称正定矩阵经变换之后的点在欧式空间上进行马氏距离的学习之后,得到
Figure GDA0003150454250000047
加上松弛变量γ后,矩阵A的学习问题可以表示为:
Figure GDA0003150454250000048
Figure GDA0003150454250000051
进一步地,在步骤2中,所述根据特征协方差矩阵计算黎曼测地距离方法为:
对任意两个对称正定矩阵Xi,Xj进行对数操作,可以得到Zi=log(Xi),Zj=log(Xj)。经过对数计算后,Zi,Zj依旧是一个矩阵。注意,这里的对数运算是黎曼流形特殊运算符,它是依赖数据的。进而,把Zi,Zj矩阵处理成一个列向量
Figure GDA0003150454250000052
新得到的列向量
Figure GDA0003150454250000053
可以看作是欧式空间中的点,利用参数化马氏距离形式,可以得到:
Figure GDA0003150454250000054
对上式矩阵A的学习,可以利用LogDet散度来解决。即,其中对于n×n矩阵A和A0,A和A0的LogDet散度为:Dld(A,A0)=tr(AA0 -1)-log det(AA0 -1)-n,为了预防最小化LogDet散度没有可行的解决方案,在表述形式中加入松弛变量γ来保证有最优解。在本发明里,为达到保持测地距离的目的,对称正定矩阵经变换之后的点在欧式空间上进行马氏距离的学习之后,得到
Figure GDA0003150454250000055
加上松弛变量γ后,矩阵A的学习问题可以表示为:
Figure GDA0003150454250000056
其中,ζ是变量ζij的列向量,
Figure GDA0003150454250000057
是欧式空间里两点(向量)之间马氏距离的定义,dA为马氏距离,黎曼流形上的数据之间的测地距离,不能直接采用欧式距离计算,所以这里我们先把流形数据转换到欧式空间,用马氏距离近似等于测地距离,即用
Figure GDA0003150454250000058
来保证,其中,dges为测地距离,所以矩阵A就包含有测距的距离信息。
进一步地,在步骤3中,初始核矩阵根据马氏距离的矩阵A,定义初始核矩阵
Figure GDA0003150454250000061
进一步地,在步骤3中,采用Bregman迭代算法对核矩阵进行学习,使得到的最优核矩阵K*逼近K0,最终得到的核矩阵满足核空间上的距离等于黎曼流形上的测地距离,对于n×n矩阵K和K0
K和K0的LogDet散度为:Dld(K,K0)=tr(KK0 -1)-log det(KK0 -1)-n,其中n为输入空间的维度,令
Figure GDA0003150454250000062
加上松弛变量γ后,表述形式为:
Figure GDA0003150454250000063
其中ζ是变量ζij的列向量,Xi,Xj为黎曼流形正定矩阵。
进一步地,在步骤3中,初始核矩阵根据马氏距离的矩阵A,定义初始核矩阵
Figure GDA0003150454250000064
为Xi,Xj的列向量,采用Bregman迭代算法对核矩阵进行学习,使得到的最优核矩阵K*逼近K0,使最终得到的核矩阵满足核空间上的距离等于黎曼流形上的测地距离,从而达到测地距离保持的目的。根据测度学习与核学习之间的联系
Figure GDA0003150454250000065
可以根据测度学习得到适合问题最优解A*,然后直接得到K*。本发明采用将得到的最优马氏矩阵带入线性变换
Figure GDA0003150454250000066
在LogDet散度下,进行核学习,得到最优的核矩阵,使得核空间上的距离与黎曼流形上的测地距离保持一致。
对于n×n矩阵K和K0,K和K0的LogDet散度为:
Dld(K,K0)=tr(KK0 -1)-logdet(KK0 -1)-n,其中n为输入空间的维度。
为了预防最小化LogDet散度没有可行的解决方案,在表述形式中加入松弛变量γ来保证可行方案的存在。本发明的约束条件是核空间上两点间的距离等于黎曼流形上两点间的测地距离,即令
Figure GDA0003150454250000067
加上松弛变量γ后,表述形式为:
Figure GDA0003150454250000068
Figure GDA0003150454250000069
其中ζ是变量ζij的列向量。
进一步地,根据得到的最优核矩阵K*,进行数据分类。
数据分类说明:采用线性分类,即可以直接计算两点之间的相似性,然后分类;采用核方法分类就是把数据影射到核空间,再分类,这是一种非线性分类方法。在这个过程中需要计算核矩阵(一般有直接采用核函数比如高斯核函数,或学习一个核函数或者核矩阵,我们这里属于第二种)。
本发明还提供了一种基于测地距离的黎曼流形保持核学习装置,所述装置包括:存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序运行在以下装置的单元中:
黎曼流形计算单元,用于根据数据样本集和协方差描述子计算每个样本数据的特征协方差矩阵;
黎曼测地距离计算单元,用于根据特征协方差矩阵计算黎曼测地距离;
迭代核优化单元,用于采用Bregman迭代算法对黎曼测地距离定义的初始核矩阵进行学习得到最优核矩阵;
最优核分类单元,用于根据得到的最优核矩阵进行数据分类。
本公开的有益效果为:本公开提出了一种新的在数字图像的黎曼流形数据上基于测地距离保持的核学习方法,解决核学习方法的两个问题:1)测度保持问题。根据黎曼流形上的Log-Euclidean测地距离,本文将对数对称正定矩阵处理成一个列向量,通过参数化马氏距离学习的方式,使得黎曼流形上的对称正定矩阵变换到欧式空间上的距离与黎曼流形上的测地距离相等。同时将马氏距离学习问题表述为最小化LogDet散度,根据Bregman优化算法求得马氏距离矩阵的最优解。2)固定核方法问题。本方法通过核学习的方式,找到适合问题最优的核。同时将核学习问题表述为最小化LogDet散度。将得到的最优马氏距离矩阵,根据马氏距离矩阵与核矩阵之间的线性变换关系,赋予核矩阵初值。然后根据Bregman优化算法,进行核学习得到最优的核矩阵,使得核空间上的距离与测地距离保持一致。最终有效的解决了黎曼流形测度保持以及单一核局限性的问题。
附图说明
通过对结合附图所示出的实施方式进行详细说明,本公开的上述以及其他特征将更加明显,本公开附图中相同的参考标号表示相同或相似的元素,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,在附图中:
图1所示为本公开的一种基于测地距离的黎曼流形保持核学习方法的流程图;
图2所示为本公开的一种基于测地距离的黎曼流形保持核学习装置图。
具体实施方式
以下将结合实施例和附图对本公开的构思、具体结构及产生的技术效果进行清楚、完整的描述,以充分地理解本公开的目的、方案和效果。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
如图1所示为根据本公开的一种基于测地距离的黎曼流形保持核学习方法的流程图,下面结合图1来阐述根据本公开的实施方式的一种基于测地距离的黎曼流形保持核学习方法。
本发明主要提供一种基于测地距离的黎曼流形保持核学习方法,所述方法的具体实施方式如下:
假设给定的数据集为X={x1…xn},其中xi表示数据样本,i=1,…,n,注意的样本数据是矩阵,不需要转换为向量。
计算每个样本的特征协方差矩阵。这里采用区域协方差算子方法。
设I为一维或者三维颜色强度的样本图片。F为从I中抽取的W×H×d维的特征图像:
F(x,y)=φ(I,x,y),其中W、H、d为空间的维度,
函数φ是任意的映射比如图像强度,颜色,梯度,滤波器响应等。
一般特征向量F(x,y):
Figure GDA0003150454250000081
(x,y)表示像素的位置,R(x,y),G(x,y),B(x,y)表示像素的颜色值,
Figure GDA0003150454250000082
分别表示相对x,y的一阶微分的范数,
Figure GDA0003150454250000083
分别表示相对x,y的二阶微分的范数。对于纹理识别任务,一般构造特征向量F(x,y):
Figure GDA0003150454250000091
I(x,y)表示图像强度,其他同上。在构造特征向量时,常用的特征值有图像强度值,相对x,y的一阶,二阶微分的范数。
对于给定的矩形区域
Figure GDA0003150454250000092
{zk}k=1…n是区域R中d维特征。用区域R中特征的d×d的协方差矩阵表示这个区域R:
Figure GDA0003150454250000093
u为特征点的均值。对于式中协方差矩阵的第(i,j)个元素表示为:
Figure GDA0003150454250000094
展开均值,上式可以改为:
Figure GDA0003150454250000095
计算各维特征的和
Figure GDA0003150454250000096
以及任意两个特征的乘积的和Z(i)Z(j)i,j=1…n,就可以得到区域协方差。
根据计算的特征协方差矩阵,在保持测地距离下,学习马氏距离。
对任意两个对称正定矩阵Xi,Xj进行对数操作,可以得到Zi=log(Xi),Zj=log(Xj)。经过对数计算后,Zi,Zj依旧是一个矩阵。进而,把Zi,Zj矩阵处理成一个列向量
Figure GDA0003150454250000097
新得到的列向量
Figure GDA0003150454250000098
可以看作是欧式空间中的点,利用参数化马氏距离形式,可以得到:
Figure GDA0003150454250000099
对上式矩阵A的学习,可以利用LogDet散度来解决。即,其中对于n×n矩阵A和A0,A和A0的LogDet散度为:
Dld(A,A0)=tr(AA0 -1)-log det(AA0 -1)-n,其中n为输入空间的维度。
为了预防最小化LogDet散度没有可行的解决方案,在表述形式中加入松弛变量γ来保证有最优解。在本发明里,为达到保持测地距离的目的,对称正定矩阵经变换之后的点在欧式空间上进行马氏距离的学习之后,得到
Figure GDA0003150454250000101
加上松弛变量γ后,矩阵A的学习问题可以表示为:
Figure GDA0003150454250000102
Figure GDA0003150454250000103
其中ζ是变量ζij的列向量。
最优化矩阵A的过程是一个迭代过程,步骤如下
Figure GDA0003150454250000104
Figure GDA0003150454250000111
根据得到最优的A,可以得到初始核矩阵,可以定义初始核矩阵
Figure GDA0003150454250000112
有了初始核矩阵,采用Bregman迭代算法对核矩阵进行学习,使得到的最优核矩阵K*逼近K0,最终得到的核矩阵满足核空间上的距离等于黎曼流形上的测地距离,从而达到测地距离保持的目的。
Bregman迭代算法一般的迭代过程为:
J:X->R,凸函数,非负。u∈X。
H:X->R,凸函数,非负。u∈X,f是已知常数(图像数据,是矩阵或向量)。
X:作用域,是凸集也是闭集。
注意:上述泛函会根据具体问题的不同具有不同的具体表达式。J、H、X是数据项。
首先,初始化相关的参数为零;
然后,再迭代公式u。直到uk满足收敛条件。
u是泛函J的Bregman距离。
p是泛函H的梯度。
Bregman迭代算法经过多次的迭代,就能够收敛到真实的最优解。
对于n×n矩阵K和K0,K和K0的LogDet散度为:
Dld(K,K0)=tr(KK0 -1)-log det(KK0 -1)-n,
其中n为输入空间的维度。
为了预防最小化LogDet散度没有可行的解决方案,在表述形式中加入松弛变量γ来保证可行方案的存在。本发明的约束条件是核空间上两点间的距离等于黎曼流形上两点间的测地距离,即令
Figure GDA0003150454250000121
加上松弛变量γ后,表述形式为:
Figure GDA0003150454250000122
Figure GDA0003150454250000123
其中ζ是变量ζij的列向量。
最优解K*的求解过程也是一个迭代过程,如下:
Figure GDA0003150454250000124
Figure GDA0003150454250000131
根据测度学习与核学习之间的联系
Figure GDA0003150454250000132
可以根据测度学习得到适合问题最优解A*,然后直接得到K*。本发明采用将得到的最优马氏矩阵带入线性变换
Figure GDA0003150454250000133
在LogDet散度下,进行核学习,得到最优的核矩阵,使得核空间上的距离与黎曼流形上的测地距离保持一致。
进一步地,根据得到的最优核矩阵K*,进行数据分类。
数据分类说明:采用线性分类,即可以直接计算两点之间的相似性,然后分类;采用核方法分类就是把数据影射到核空间,再分类,这是一种非线性分类方法。在这个过程中需要计算核矩阵(一般有直接采用核函数比如高斯核函数,或学习一个核函数或者核矩阵,我们这里属于第二种)。
本公开的实施例提供的一种基于测地距离的黎曼流形保持核学习装置,如图2所示为本公开的一种基于测地距离的黎曼流形保持核学习装置图,该实施例的一种基于测地距离的黎曼流形保持核学习装置包括:处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,例如读写程序。所述处理器执行所述计算机程序时实现上述各个读写方法实施例中的步骤。
所述装置包括:存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序运行在以下装置的单元中:
黎曼流形计算单元,用于根据数据样本集和协方差描述子计算每个样本数据的特征协方差矩阵;
黎曼测地距离计算单元,用于根据特征协方差矩阵计算黎曼测地距离;
迭代核优化单元,用于采用Bregman迭代算法对黎曼测地距离定义的初始核矩阵进行学习得到最优核矩阵;
最优核分类单元,用于根据得到的最优核矩阵进行数据分类。
所述一种基于测地距离的黎曼流形保持核学习装置可以运行于桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备中。所述一种基于测地距离的黎曼流形保持核学习装置,可运行的装置可包括,但不仅限于,处理器、存储器。本领域技术人员可以理解,所述例子仅仅是一种基于测地距离的黎曼流形保持核学习装置的示例,并不构成对一种基于测地距离的黎曼流形保持核学习装置的限定,可以包括比例子更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述一种基于测地距离的黎曼流形保持核学习装置还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器是所述一种基于测地距离的黎曼流形保持核学习装置运行装置的控制中心,利用各种接口和线路连接整个一种基于测地距离的黎曼流形保持核学习装置可运行装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现所述一种基于测地距离的黎曼流形保持核学习装置的各种功能。所述存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
尽管本公开的描述已经相当详尽且特别对几个所述实施例进行了描述,但其并非旨在局限于任何这些细节或实施例或任何特殊实施例,而是应当将其视作是通过参考所附权利要求考虑到现有技术为这些权利要求提供广义的可能性解释,从而有效地涵盖本公开的预定范围。此外,上文以发明人可预见的实施例对本公开进行描述,其目的是为了提供有用的描述,而那些目前尚未预见的对本公开的非实质性改动仍可代表本公开的等效改动。

Claims (4)

1.一种基于测地距离的黎曼流形保持核学习方法,其特征在于,所述方法包括以下步骤:
步骤1,根据数据样本集和协方差描述子计算每个样本数据的特征协方差矩阵;
步骤2,根据特征协方差矩阵计算黎曼测地距离;
步骤3,采用Bregman迭代算法对黎曼测地距离定义的初始核矩阵进行学习得到最优核矩阵;
步骤4,根据得到的最优核矩阵进行数据分类;
在步骤1中,所述计算每个样本数据的特征协方差矩阵的方法为:
采用区域协方差算子方法计算每个样本的特征协方差矩阵,设I为一个三维颜色强度的样本图片,F为从I中抽取的W×H×d维的特征图像:F(x,y)=φ(I,x,y),如果I为一个三维图片,F是从I中截取的子图像的特征图像,F的大小为W×H×d维,x,y的大小范围在W,H内,d为F(x,y)中元素的个数,函数φ是图像强度,颜色,梯度,滤波器响应的映射其中一种,一般特征向量F(x,y):
Figure FDA0003153306560000011
(x,y)表示像素的位置,R(x,y),G(x,y),B(x,y)表示像素的颜色值,
Figure FDA0003153306560000012
分别表示x,y的一阶微分的范数,
Figure FDA0003153306560000013
分别表示x,y的二阶微分的范数,对于纹理识别任务,构造特征向量F(x,y):
Figure FDA0003153306560000014
其中,I(x,y)表示图像强度,在构造特征向量时,常用的特征值有图像强度值、相对x,y的一阶和二阶微分的范数,对于给定的矩形区域
Figure FDA0003153306560000015
{zk}是区域R中d维特征,k=1…n,n为正整数,用区域R中特征的d×d的协方差矩阵表示这个区域R:
Figure FDA0003153306560000021
u为特征点的均值,对于式中协方差矩阵的第(i,j)个元素表示为,
Figure FDA0003153306560000022
展开均值,将上式改为,
Figure FDA0003153306560000023
计算各维特征的和
Figure FDA0003153306560000024
以及任意两个特征的乘积的和Z(i)Z(j),i=1…n,j=1…n,n为正整数,得到区域协方差CR
在步骤2中,所述根据特征协方差矩阵计算黎曼测地距离方法为:
假设给定的数据集为X={x1…xn},其中,xi表示数据样本,i=1,…,n,n为正整数;
对任意两个对称正定矩阵Xi,Xj进行对数操作得到Zi=log(Xi),Zj=log(Xj),经过对数计算后,Zi,Zj依旧是一个矩阵,进而,把Zi,Zj矩阵处理成一个列向量
Figure FDA0003153306560000025
新得到的列向量
Figure FDA0003153306560000026
作为欧式空间中的点,利用参数化马氏距离形式得到:
Figure FDA0003153306560000027
对上式矩阵A的学习利用LogDet散度来解决,即,其中,对于n×n矩阵A和A0,A和A0的LogDet散度为:Dld(A,A0)=tr(AA0 -1)-logdet(AA0 -1)-n,为了预防最小化LogDet散度没有可行的解决方案,在表述形式中加入松弛变量γ来保证有最优解,对称正定矩阵经变换之后的点在欧式空间上进行马氏距离的学习之后,得到
Figure FDA0003153306560000028
加上松弛变量γ后,矩阵A的学习问题表示为:
Figure FDA0003153306560000029
Figure FDA00031533065600000210
其中,ζ是变量ζij的列向量,
Figure FDA0003153306560000031
是欧式空间里两点的向量之间马氏距离的定义,dA为马氏距离,黎曼流形上的数据之间的测地距离,把流形数据转换到欧式空间,用马氏距离近似等于测地距离,即用
Figure FDA0003153306560000032
来保证,dges为测地距离,所以矩阵A就包含有测距的距离信息。
2.根据权利要求1所述的一种基于测地距离的黎曼流形保持核学习方法,其特征在于,在步骤3中,初始核矩阵根据马氏距离的矩阵A,定义初始核矩阵
Figure FDA0003153306560000033
3.根据权利要求1所述的一种基于测地距离的黎曼流形保持核学习方法,其特征在于,在步骤3中,采用Bregman迭代算法对核矩阵进行学习,使得到的最优核矩阵K*逼近K0,最终得到的核矩阵满足核空间上的距离等于黎曼流形上的测地距离,对于n×n矩阵K和K0
K和K0的LogDet散度为:Dld(K,K0)=tr(KK0 -1)-logdet(KK0 -1)-n,其中n为输入空间的维度,令
Figure FDA0003153306560000034
加上松弛变量γ后,表述形式为:
Figure FDA0003153306560000035
Xi,Xj为黎曼流形正定矩阵,其中ζ是变量ζij的列向量。
4.一种基于测地距离的黎曼流形保持核学习装置,其特征在于,所述装置包括:存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现权利要求1-3任一项所述一种基于测地距离的黎曼流形保持核学习方法的步骤。
CN201810542508.2A 2018-05-30 2018-05-30 一种基于测地距离的黎曼流形保持核学习方法及装置 Active CN108764351B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810542508.2A CN108764351B (zh) 2018-05-30 2018-05-30 一种基于测地距离的黎曼流形保持核学习方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810542508.2A CN108764351B (zh) 2018-05-30 2018-05-30 一种基于测地距离的黎曼流形保持核学习方法及装置

Publications (2)

Publication Number Publication Date
CN108764351A CN108764351A (zh) 2018-11-06
CN108764351B true CN108764351B (zh) 2021-08-31

Family

ID=64004432

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810542508.2A Active CN108764351B (zh) 2018-05-30 2018-05-30 一种基于测地距离的黎曼流形保持核学习方法及装置

Country Status (1)

Country Link
CN (1) CN108764351B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110348518A (zh) * 2019-07-12 2019-10-18 厦门大学 一种基于黎曼网络的矩阵词典摘要方法
CN112580436B (zh) * 2020-11-25 2022-05-03 重庆邮电大学 一种基于黎曼流形坐标对齐的脑电信号域适应方法
CN113255603B (zh) * 2021-06-29 2021-09-24 中国人民解放军国防科技大学 基于黎曼流形监督降维的增强矩阵恒虚警率检测方法
CN116687406B (zh) * 2023-05-06 2024-01-02 粤港澳大湾区精准医学研究院(广州) 情绪识别方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102298703A (zh) * 2011-04-20 2011-12-28 中科院成都信息技术有限公司 一种基于投影残差的分类方法
CN103500450A (zh) * 2013-09-30 2014-01-08 河海大学 一种多光谱遥感影像变化检测方法
CN106250918A (zh) * 2016-07-26 2016-12-21 大连理工大学 一种基于改进的推土距离的混合高斯模型匹配方法
CN107146219A (zh) * 2017-04-13 2017-09-08 大连理工大学 一种基于流形正则化支持向量机的图像显著性检测方法
CN107748871A (zh) * 2017-10-27 2018-03-02 东南大学 一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9135567B2 (en) * 2013-01-18 2015-09-15 International Business Machines Corporation Transductive lasso for high-dimensional data regression problems
US8983177B2 (en) * 2013-02-01 2015-03-17 Mitsubishi Electric Research Laboratories, Inc. Method for increasing resolutions of depth images
US10198695B2 (en) * 2013-03-15 2019-02-05 Sony Corporation Manifold-aware ranking kernel for information retrieval

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102298703A (zh) * 2011-04-20 2011-12-28 中科院成都信息技术有限公司 一种基于投影残差的分类方法
CN103500450A (zh) * 2013-09-30 2014-01-08 河海大学 一种多光谱遥感影像变化检测方法
CN106250918A (zh) * 2016-07-26 2016-12-21 大连理工大学 一种基于改进的推土距离的混合高斯模型匹配方法
CN107146219A (zh) * 2017-04-13 2017-09-08 大连理工大学 一种基于流形正则化支持向量机的图像显著性检测方法
CN107748871A (zh) * 2017-10-27 2018-03-02 东南大学 一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Sparse Coding on Symmetric Positive Definite Manifolds Using Bregman Divergences;Mehrtash T. Harandi .etc;《IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS》;20160630;第27卷(第6期);第1294-1306页 *
一种改进的局部切空间排列算法;顾艳春;《计算机应用研究》;20130331;第30卷(第3期);第728-731页 *
基于实对称矩阵判别学习的图像分类方法研究;仲硕;《中国优秀硕士学位论文全文数据库》;20170315;第I138-4559页 *
基于聚类与流形正则化的分类方法研究;刘兵;《中国博士学位论文全文数据库》;20140615;第I138-36页 *
基于黎曼流形稀疏编码的图像检索算法;王瑞霞等;《自动化学报》;20170531;第43卷(第5期);第778-788页 *

Also Published As

Publication number Publication date
CN108764351A (zh) 2018-11-06

Similar Documents

Publication Publication Date Title
Erichson et al. Randomized matrix decompositions using R
CN108764351B (zh) 一种基于测地距离的黎曼流形保持核学习方法及装置
Lasmar et al. Gaussian copula multivariate modeling for texture image retrieval using wavelet transforms
Uijlings et al. Video classification with densely extracted hog/hof/mbh features: an evaluation of the accuracy/computational efficiency trade-off
Fowlkes et al. Spectral grouping using the nystrom method
Wang et al. Linear neighborhood propagation and its applications
US10885379B2 (en) Multi-view image clustering techniques using binary compression
US20150074130A1 (en) Method and system for reducing data dimensionality
Yu et al. An improved LBP algorithm for texture and face classification
Tafti et al. A comparative study on the application of SIFT, SURF, BRIEF and ORB for 3D surface reconstruction of electron microscopy images
Wang Support vector machine algorithm in machine learning
Wang et al. Person re-identification in identity regression space
Huang et al. Extreme learning machine with multi-scale local receptive fields for texture classification
JP6713162B2 (ja) 画像認識装置、画像認識方法、及び画像認識プログラム
CN110032704A (zh) 数据处理方法、装置、终端及存储介质
Singh et al. A novel position prior using fusion of rule of thirds and image center for salient object detection
CN108388869B (zh) 一种基于多重流形的手写数据分类方法及***
Feragen et al. Geometries and interpolations for symmetric positive definite matrices
Tariq et al. T-clustering: Image clustering by tensor decomposition
Meng et al. Robust discriminant projection via joint margin and locality structure preservation
Wang et al. Semi-supervised adaptive feature analysis and its application for multimedia understanding
Phadikar et al. A comprehensive assessment of content-based image retrieval using selected full reference image quality assessment algorithms
Patlolla et al. GPU accelerated textons and dense sift features for human settlement detection from high-resolution satellite imagery
Rodríguez-Domínguez et al. Block-wise weighted sparse representation-based classification
Feng et al. The framework of learnable kernel function and its application to dictionary learning of SPD data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant