CN105320764B - 一种基于增量慢特征的3d模型检索方法及其检索装置 - Google Patents
一种基于增量慢特征的3d模型检索方法及其检索装置 Download PDFInfo
- Publication number
- CN105320764B CN105320764B CN201510702023.1A CN201510702023A CN105320764B CN 105320764 B CN105320764 B CN 105320764B CN 201510702023 A CN201510702023 A CN 201510702023A CN 105320764 B CN105320764 B CN 105320764B
- Authority
- CN
- China
- Prior art keywords
- model
- slow
- increment
- view
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000000605 extraction Methods 0.000 claims abstract description 32
- 238000004458 analytical method Methods 0.000 claims abstract description 23
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 17
- 239000011159 matrix material Substances 0.000 claims description 28
- 238000007781 pre-processing Methods 0.000 claims description 12
- 238000012163 sequencing technique Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 6
- 238000000513 principal component analysis Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000002087 whitening effect Effects 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 abstract 1
- 230000000007 visual effect Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 241000283690 Bos taurus Species 0.000 description 1
- 241000283086 Equidae Species 0.000 description 1
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 1
- 244000141359 Malus pumila Species 0.000 description 1
- 241000220324 Pyrus Species 0.000 description 1
- 240000003768 Solanum lycopersicum Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 235000021016 apples Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 235000021017 pears Nutrition 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 229940088594 vitamin Drugs 0.000 description 1
- 229930003231 vitamin Natural products 0.000 description 1
- 235000013343 vitamin Nutrition 0.000 description 1
- 239000011782 vitamin Substances 0.000 description 1
- 150000003722 vitamin derivatives Chemical class 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Library & Information Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于增量慢特征的3D模型检索方法及其检索装置,方法包括:运用有监督的增量慢特征分析方法,对预处理后的视图集进行增量慢特征提取;根据提取出的增量慢特征获取增量慢特征的排序,根据排序结果筛选增量慢特征并生成3D模型的增量慢特征库;利用最近邻算法对3D模型的增量慢特征库进行检索匹配,获取与候选模型相似的物体并输出。装置包括:提取模块、获取模块、生成模块以及匹配与输出模块。本发明降低了非刚性模型特征提取的难度,提高了特征提取的稳定性和准确性,为后续的3D模型检索提供了良好的条件,确保了检索结果更加高效准确。
Description
技术领域
本发明涉及图像检索领域,尤其涉及一种基于增量慢特征的3D模型检索方法及其检索装置。
背景技术
随着3D模型的广泛使用和传播,以及计算机图形学和空间可视化技术的发展,3D模型已经应用于社会生活的各个方面,如虚拟现实、三维动画及游戏、CAD、军事、分子生物学等。3D模型己经成为了继声音、图像、视频之后的第四种多媒体数据类型。目前有数以兆计的3D模型存在,同时每天都有大量的3D模型产生和传播,存在着对3D模型进行检索的迫切需求。常用的3D模型检索技术分为基于文本的检索和基于内容的检索。
基于文本的检索技术实现算法简单,且经过多年发展已经相当成熟。但是由于文本信息本身就无法全面表述三维模型的几何形状、拓扑结构、材质的颜色及纹理等丰富信息,并且需要耗费大量的时间、精力和相关领域经验丰富的专业人员参与,受地域、文化等多种因素的限制,注释信息会有一定的片面性和主观性,从而会影响检索结果的准确性。
基于内容的检索[1]是根据3D模型的实际内容进行自动检索,人工干预较少,检索更加精确。其主要划分为三大类:(1)基于形状的检索技术:基于形状的检索技术是提取3D模型的形状特征,并根据形状特征检索。其优点是从模型整体形状进行比较,忽略细节上的不同,比较接近人的视觉识别。这种方法的缺点是对于同种物体、不同形状的模型,提取的形状特征不同时可能会被认为不相似;(2)基于拓扑结构的检索技术:其优点是对于同种物体的不同形状模型,由于其拓扑结构相同,所以被认为是相似的;缺点是形状相似的模型可能会被认为是不同的;(3)基于图像比较的检索技术,也是如今研究的热点。
基于图像比较的检索技术主要通过将3D模型进行多视角采集,转化成2D图像,并借助成熟的2D图像检索技术进行3D模型检索。由于真实物体进行多视角采集时,随光照、角度等外界因素的变化导致视图视觉特征发生无规则变化。理想情况下,随着视角的渐变,视觉特征变化应该也是渐变的,但是现有的特征提取方法中,特征形式往往是突变的。
发明内容
本发明提供了一种基于增量慢特征的3D模型检索方法及其检索装置,本发明降低了非 刚性模型特征提取的难度,提高了特征提取的稳定性和准确性,为后续的3D模型检索提供了良好的条件,确保了检索结果更加高效准确,详见下文描述:
一种基于增量慢特征的3D模型检索方法,所述3D模型检索方法包括以下步骤:
运用有监督的增量慢特征分析方法,对预处理后的视图集进行增量慢特征提取;
根据提取出的增量慢特征获取增量慢特征的排序,根据排序结果筛选增量慢特征并生成3D模型的增量慢特征库;
利用最近邻算法对3D模型的增量慢特征库进行检索匹配,获取与候选模型相似的物体并输出。
其中,所述3D模型检索方法还包括:
获取数据库中物体的2D视图集V,对2D视图集进行预处理,使得所有3D模型的视图尺寸大小一致。
其中,所述运用有监督的增量慢特征分析方法,对预处理后的视图集进行增量慢特征提取的步骤具体为:
根据差分信号、协方差矩阵特征向量的第一个特征值、3D模型的第k张视图的第一个次要成分,获取3D模型第k张视图的次要成分;
通过3D模型的次要成分获得增量慢特征估计;
通过每张视图的主成分与每张视图的增量慢特征估计,获取多个增量慢特征。
其中,所述差分信号通过一个3D模型第k张视图的主成分z(k)以及第k-1张视图的主成分z(k-1)获取。
其中,所述主成分通过对协方差矩阵的特征向量进行白化和降维来获取;
其中,协方差矩阵的特征向量的获取包括:
对输入数据进行非线性扩展,生成扩展数据;
对扩展数据求其零均值,再通过直观无协方差的增量主要成分分析,获取输入数据的协方差矩阵的特征向量。
一种基于增量慢特征的3D模型检索装置,所述3D模型检索装置包括:
提取模块,用于运用有监督的增量慢特征分析方法,对预处理后的视图集进行增量慢特征提取;
获取模块,用于根据提取出的增量慢特征获取增量慢特征的排序;
生成模块,用于根据排序结果筛选增量慢特征并生成3D模型的增量慢特征库;
匹配与输出模块,用于利用最近邻算法对3D模型的增量慢特征库进行检索匹配,获取 与候选模型相似的物体并输出。
所述3D模型检索装置还包括:
预处理模块,用于获取数据库中物体的2D视图集V,对2D视图集进行预处理,使得所有3D模型的视图尺寸大小一致。
所述提取模块包括:第一获取子模块,用于根据差分信号、协方差矩阵特征向量的第一个特征值、3D模型的第k张视图的第一个次要成分,获取3D模型第k张视图的次要成分;
第二获取子模块,用于通过3D模型的次要成分获得增量慢特征估计;
第三获取子模块,用于通过每张视图的主成分与每张视图的增量慢特征估计,获取多个增量慢特征。
本发明提供的技术方案的有益效果是:
1、本发明解决了由于真实物体进行多视角采集时,随光照、角度等外界因素的变化导致视图视觉特征突变这一难题;
2、本发明利用图像灰度等级的变化反映物体图像本身的属性,能够更加准确的描述3D模型的2D图像,为后续物体的相似度匹配提供了良好的条件;
3、采用最近邻算法对特征进行匹配,降低了模型匹配的难度,同时提高了匹配效率,能够快速准确的匹配出3D模型之间的相似度。
附图说明
图1为本发明提供的基于增量慢特征的3D模型检索方法的流程图;
图2为本方法与其他两种方法的查全—查准率曲线的示意图;
图3为本发明提供的基于增量慢特征的3D模型识别装置的结构示意图;
图4为本发明提供的基于增量慢特征的3D模型识别装置的另一结构示意图;
图5为提取模块的示意图。
附图中,各部件的列表如下:
1:提取模块; 2:获取模块;
3:生成模块; 4:匹配与输出模块;
5:预处理模块; 11:第一获取子模块;
12:第二获取子模块; 13:第三获取子模块。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面对本发明实施方式作进一步地详细描述。
为了能够更加准确的检索到目标物体,解决特征突变这一难题,本发明实施例提出了一种新的特征提取方法,即增量慢特征提取方法。它是指从快速变化的输入信号中提取慢的或者不变的特征信息,并已经成功应用在细胞[2]和人体动作领域。当进行多视角采集图像时,由于外界因素的影响很容易引起视觉特征发生剧烈变化,但对于同一个物体而言,所描述的语义信息是不变的,仍然代表该物体,所以本发明实施例提出将增量慢特征应用于3D模型检索中。增量慢特征主要结合了直观无协方差的增量主成分分析(CCIPCA)[3]和次要成分分析(MCA)[4]两大部分,它与普通慢特征[5]相比,不仅具有普通慢特征全部的优点,而且不需要存储任何的输入数据和大量的协方差矩阵,可以直接对数据进行累计处理,得到全局最优解,大大提高了运算速率,并且更加适应不稳定的环境,最终得到变化速率顺次排列的特征。为后续相关的检索工作带来了便利,使检索效果更加精准。
实施例1
为了使模型检索更加的准确,即能很好的提高模型检索效率,又能降低外界因素对视图视觉特征的影响,参见图1,本方法包括以下步骤:
101:运用有监督的增量慢特征分析方法[6],对预处理后的视图集进行增量慢特征提取;
102:根据提取出的增量慢特征获取增量慢特征的排序,根据排序结果筛选增量慢特征并生成3D模型的增量慢特征库;
103:利用最近邻算法对3D模型的增量慢特征库进行检索匹配,获取与候选模型相似的物体并输出。
其中,该方法还包括:获取数据库中物体的2D视图集V,对2D视图集进行预处理,使得所有3D模型的视图尺寸大小一致。
其中,步骤101中的运用有监督的增量慢特征分析方法,对预处理后的视图集进行增量慢特征提取的步骤具体为:
根据差分信号、协方差矩阵特征向量的第一个特征值、3D模型的第k张视图的第一个次要成分,获取3D模型第k张视图的次要成分;
通过3D模型的次要成分获得增量慢特征估计;
通过每张视图的主成分与每张视图的增量慢特征估计,获取多个增量慢特征。
进一步地,差分信号通过一个3D模型第k张视图的主成分z(k)以及第k-1张视图的主成分z(k-1)获取。
其中,主成分通过对协方差矩阵的特征向量进行白化和降维来获取;协方差矩阵的特征向量的获取包括:
对输入数据进行非线性扩展,生成扩展数据;
对扩展数据求其零均值,再通过直观无协方差的增量主要成分分析,获取输入数据的协方差矩阵的特征向量。
综上所述,本发明实施例通过上述步骤101-步骤103降低了非刚性模型特征提取的难度,提高了特征提取的稳定性和准确性,为后续的3D模型检索提供了良好的条件,确保了检索结果更加高效准确。
实施例2
下面结合具体的计算公式、例子对实施例1中的方案进行详细描述,详见下文:
201:获取数据库中物体的2D视图集V;
本方法主要应用基于图像比较的检索技术,即将3D模型通过多视角采集形成2D视图集,利用成熟的2D技术对物体进行特征提取。因此每个3D模型都是由多个视图表示的,故视图集可以表示为其中vi表示第i个物体的视图集合;D表示视图的特征维数;fk表示一个物体的第k个视角;N表示3D模型的个数;M表示每个3D模型的视图个数;表示每个物体的视图集合的所属范围。
202:对视图集进行规范化的预处理,使所有3D模型的视图尺寸大小一致;
为了方便后续的特征提取,将对数据进行规范化的预处理,使视图集数据的大小一致,在本发明实施例中,将2D视图尺寸s×s统一设置为25×25进行说明,但当具体实现时,本发明实施方法对视图的尺寸规格和尺度变换方法不做任何限制。
同时,当视图集较大,每个视图尺寸过大时,建议合理选择数据尺寸,这样可以防止维数灾难,并提高数据处理的速率以得到最优结果。
203:运用有监督的增量慢特征分析方法,对视图集进行增量慢特征提取,同时得到增量慢特征变化大小的排序,根据排序结果得到3D模型的增量慢特征库;
增量慢特征分析方法[7]主要包括两种,(1)无监督的增量慢特征分析;(2)有监督的增量慢特征分析。无监督的增量慢特征分析是指将所有样本序列放在一起,经过增量慢特征函数学习得到增量慢特征模型,再将所有模型进行分类;而有监督的增量慢特征分析是指 将不同的样本序列分别进行增量慢特征函数的学习,直接得到不同的模型,本发明实施例利用有监督的增量慢特征分析方法,得到有监督的增量慢特征。
其中,有监督的增量慢特征分析方法的步骤具体为:
1)输入一个3D模型vd的2D视图,记为x(k)=[x1(k),…,xD(k)]T;
其中,x(k)为一个3D模型第k个视角的2D模型数据,即一个3D模型第k张视图;xD(k)为一个视角的2D模型的第D维特征;T代表矩阵转置,k的取值范围为[1,M],M表示用来描述每个3D模型的视图个数。
2)对输入数据x(k)进行非线性扩展,生成扩展数据;
h(x)=[x1,…,xD,x1x1,x1x2,…,xDxD],生成扩展数据h(x(k)):
h(x(k))=[x1(k),…,xD(k),x1(k)x1(k),x1(k)x2(k),…,xD(k)xD(k)] (1)
其中,h(x)为非线性扩展函数;xD(k)为一个3D模型的第k张视图的第D维特征;D为每个2D视图的特征维数;h(x(k))为第k个视图的扩展数据。
3)对扩展数据h(x(k))求其零均值u(k),再通过直观无协方差的增量主要成分分析(CCIPCA),获取输入数据的协方差矩阵的特征向量vd(k);
其中,h(x(k))为第k张视图的扩展数据;为第k张视图扩展数据的平均值,u(k)为第k张视图数据的零均值。vd(k)为输入数据的协方差矩阵的特征向量,即为第k张视图的第d个主要成分协方差矩阵的特征向量,其特征值为λd(k),特征向量vd(k)和特征值λd(k)满足如下公式:
E[u(k)u(k)T]vd(k)=λd(k)vd(k) (3)
其中,特征向量vd(k)是正交的,并且特征值满足λ1(k)≥λ2(k)≥...≥λd(k)。通过公式(2)的计算,可获得每幅视图的输入数据的零均值u(k),则公式(3)可以改写为:
λd(k)vd(k)=E[(u(k)·vd(k))u(k)] (4)
其中,vd(k)为第k张视图的第d个主要成分的协方差矩阵的特征向量,d的取值范围为 [1,J],J表示主要成分协方差矩阵特征向量的个数,u1(k)为第k张视图的第1个输入数据x1(k)的零均值。
初始化vd(k)=u1(k)=u(k),η表示慢特征的学习率,本实验定义η=0.005,具体实验时,可根据实验情况自行调整。最终直观无协方差主成分可由公式(5)和(6)进行迭代计算:
其中,vd(k-1)为第k-1张视图的第d个主要成分的协方差矩阵的特征向量,即第k张视图与其前一个视图,即第k-1张视图的特征向量有关系;ud(k)为第k张视图数据的第d维特征数据的零均值;ud+1(k)为第k张视图的第d+1维特征数据的零均值,即每个视图的后一维特征数据的零均值即第d+1维特征数据的零均值,与当前特征数据的零均值即第d个特征数据的零均值有关系。
4)对协方差矩阵的特征向量vd(k)进行白化和降维,获得主成分:z(k)=V(k)F(k)u(k);
其中,z(k)为一个3D模型第k张视图的主成分,创建对角矩阵λd(k)为协方差矩阵的特征向量vd(k)的特征值;利用公式(5)得到,即一个J维的2D视图的协方差矩阵的特征向量vd(k)之和,J≤D,即主成分特征向量的个数J小于输入视图的特征维数D。
5)通过一个3D模型第k张视图的主成分z(k)以及第k-1张视图的主成分z(k-1),获取差分信号公式如下:
其中,为一个3D模型第k张视图的主成分的差分信号;z(k-1)为一个3D模型的第k-1张视图的主成分。
6)根据差分信号协方差矩阵特征向量的第一个特征值λ1(k)、3D模型的第k张视图的第一个次要成分C1(k),获取3D模型第k张视图的次要成分Cd(k),通过3D模型的 次要成分分析(MCA),获得增量慢特征估计wd(k);
初始化对于每个d=1,…,J,令然后,使用公式(8)和(9)进行次要成分更新:
其中,为一个3D模型第k张视图主成分差分信号的转置;C1(k)为一个3D模型第k张视图的第一个次要成分;Cd(k)为一个3D模型第k张视图的第d个次要成分;λ1(k)为主成分协方差矩阵特征向量的第一个特征值;wd(k)为一个3D模型第k张视图的第d个增量慢特征估计,为wd(k)的转置;wd(k-1)为一个3D模型第k-1张视图的第d个增量慢特征估计;为wd(k-1)的转置,即每个3D模型的每张视图的增量慢特征估计与其前一张视图的增量慢特征估计有关。
7)通过每张视图的主成分z(k)与每张视图的增量慢特征估计wd(k),获取多个增量慢特征以及增量慢特征变化大小的排序,最终增量慢特征输出结果如下:
y(k)=z(k)W(k) (10)
其中,即一张视图的J个增量慢特征估计wd(k)之和,y(k)为最终的增量慢特征输出。重复步骤1)到步骤7)的操作,输入所有3D模型,获得3D模型的慢特征库。在本实验中,设置增量慢特征数目J=400,那么每个3D模型都会获得400个增量慢特征,但当具体实验时,增量慢特征数目的选取由实验者自行设置。
204:利用最近邻算法对3D模型的增量慢特征库进行检索匹配,获取与候选模型相似的物体并输出。
从3D模型的增量慢特征库中随机选择一张2D视图作为候选模型Q,再任选一张2D视图作为输入模型P,检索任务将候选模型Q与输入模型P进行匹配,最终从3D模型的增量慢特征库中找到与候选模型Q相似的物体。常用的模型匹配的方式有最近邻算法,豪斯多夫距离,加权二分图匹配等。
不失一般性的,采用最近邻算法(Nearest neighbor,简称NN)进行配准,即采用样本特征点的最近邻特征点距离与次近邻特征点距离的比值来对特征点进行匹配。最近邻特征点是指与样本特征点具有最短欧几里德距离的特征点,次近邻特征点是指具有比最近邻距离 稍长的欧几里德距离的特征点。用最近邻与次近邻比值来进行特征点的匹配可以取得很好的效果,从而达到稳定的匹配,具体步骤如下:
应用下述公式(11)将增量慢特征学习后的数据进行处理,计算不同的2D图像之间的特征点距离:
其中,yi和yj代表一个3D模型的两个不同2D图像,S1(yi,yj)代表2D图像yi和yj之间的相似度,代表yi特征的映射函数,代表yj特征的映射函数。根据S1(yi,yj),利用公式(12)计算不同3D模型的相似度,即最小的特征点距离。
其中,S2(P,Q)代表模型P和Q的相似度,n表示3D模型P的2D视图个数,m表示3D模型Q的2D视图个数,因为对前面的数据库进行了预处理,所以n等于m。最高相似度的检索模型可以用如下公式计算:
Q*=arg max S2(Qi,P) (13)
其中,Q*表示相似度最高的检索模型,Qi表示一个候选模型,P是输入模型,S2(Qi,P)表示候选模型和输入模型的相似度[8]。最后将查询目标与多视角模型库中所有模型的匹配概率降序排列,得到最终的检索结果。综上所述,本发明实施例通过上述步骤201-步骤204降低了非刚性模型特征提取的难度,提高了特征提取的稳定性和准确性,为后续的3D模型检索提供了良好的条件,确保了检索结果更加高效准确。
实施例3
在本实验中,本发明实施例采用现有的、网上所共享的、比较常用的苏黎世联邦理工学院(德语名Technische Hochschule Zürich,简称ETH)数据库和中国台湾大学(简称NTU)数据库进行实验,其中ETH数据库相对较小,模型较规范,包括80个3D模型,共8类每类10个物体,分别是苹果、小汽车、奶牛、杯子、小狗、马、梨、西红柿。NTU数据库共549个物体,47类,每一类的物体个数不等,该数据库是一个虚拟模型数据库,通过3D-MAX进行拍摄获取图像,本实验室采用60个虚拟摄像机进行不同视角图像获取,每个物体获得60个不同视角的视图,其中,虚拟摄像机个数即拍摄角度可以根据实验需求自行设置,本发明实施例不做具体限制。
本发明实施例将增量慢特征的算法首次应用到3D模型检索的特征提取中,通过相应的模型检索和模型评价,取得了非常好的结果,详见图2。
对比算法
实验中将本方法与以下二种方法进行对比:
SFA(Slow Feature Analysis),又称慢特征算法;
Zernike矩是图像的特征描述符之一,能够表示图像的基本特征,且Zernike矩已被证明在视图的平移、缩放和旋转中具有不变性,相比较于其它矩更适合进行图像特征的比较,已应用于各类目标识别和模型分析中。
评价方法
查全率和查准率是信息检索领域内的重要概念,二者是常用的评估算法的指标,并且能够清晰准确的反映检索效果。3D模型检索性能评估方法,包括平均查全率(AverageRecall,简称AR)和平均查准率(Average Precision,简称AP)评估,这些数值范围为[0,1]。AR和AP公式如下
其中,Rm表示没有检索到的并且是相关,Rd表示检索到的并且是相关,Rf表示检索到的但是不相关。不失一般性的,采用查准-查全曲线[8](Precision-Recall Curve)来衡量本方法的检索性能。查准-查全曲线是3D目标检索的性能评估的重要指标之一,以平均查全率为横坐标,平均查准率为纵坐标,且横纵坐标围成的面积越大,表明该方法性能越优良。
实验结果
从图2中可以看出,在相同的检索方式(NN)的前提下,本方法的特征明显高于SFA特征与Zernike特征。这是由于与普通SFA特征相比增量SFA更加适用于不稳定的环境,通过迭代的方式处理数据,保证了每个模型不同视角间的关系,减少了模型匹配的计算量,增加了匹配速率;而与Zernike特征相比,本方法解决视觉特征形式突变的现象,大幅度提升了检索性能。实验结果验证了本方法的可行性与优越性。
实施例4
一种基于增量慢特征的3D模型检索装置,参见图3,该3D模型检索装置包括:
提取模块1,用于运用有监督的增量慢特征分析方法,对预处理后的视图集进行增量慢特征提取;
获取模块2,用于根据提取出的增量慢特征获取增量慢特征的排序;
生成模块3,用于根据排序结果筛选增量慢特征并生成3D模型的增量慢特征库;
匹配与输出模块4,用于利用最近邻算法对3D模型的增量慢特征库进行检索匹配,获取与候选模型相似的物体并输出。
其中,参见图4,该3D模型检索装置还包括:
预处理模块5,用于获取数据库中物体的2D视图集V,对2D视图集进行预处理,使得所有3D模型的视图尺寸大小一致。
其中,参见图5,提取模块1包括:
第一获取子模块11,用于根据差分信号、协方差矩阵特征向量的第一个特征值、3D模型的第k张视图的第一个次要成分,获取3D模型第k张视图的次要成分;
第二获取子模块12,用于通过3D模型的次要成分获得增量慢特征估计;
第三获取子模块13,用于通过每张视图的主成分与每张视图的增量慢特征估计,获取多个增量慢特征。
本发明实施例对上述模块、子模块的执行主体不做限制,只要能实现上述功能的器件均可,可以为单片机或PC机等。
综上所述,本发明实施例通过上述模块、子模块降低了非刚性模型特征提取的难度,提高了特征提取的稳定性和准确性,为后续的3D模型检索提供了良好的条件,确保了检索结果更加高效准确。
本发明实施例对各器件的型号除做特殊说明的以外,其他器件的型号不做限制,只要能完成上述功能的器件均可。
参考文献
[1]Yang Y,Lin H,Zhang Y.Content-based 3-D model retrieval:a survey[J].Systems,Man,and Cybernetics,Part C:Applications and Reviews,IEEETransactions on,2007,37(6):1081-1098.
[2]Bengio Y,Bergstra J S.Slow,decorrelated features for pretrainingcomplex cell-like networks[C]//Advances in neural information processingsystems.2009:99-107.
[3]Franzius M,Wilbert N,Wiskott L.Invariant object recognition withslow feature analysis[M]//Artificial Neural Networks-ICANN 2008.SpringerBerlin Heidelberg,2008:961-970.
[4]Oja E.Principal components,minor components,and linear neuralnetworks[J].Neural Networks,1992,5(6):927-935.
[5]Zhang Z,Tao D.Slow feature analysis for human action recognition[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2012,34(3):436-450.
[6]Berkes P,Wiskott L.Slow feature analysis yields a rich repertoireof complex cell properties[J].Journal of Vision,2005,5(6):9.
[7]Franzius M,Wilbert N,Wiskott L.Invariant object recognition withslow feature analysis[M]//Artificial Neural Networks-ICANN 2008.SpringerBerlin Heidelberg,2008:961-970.
[8]Gao Y,Wang M,Zha Z J,et al.Less is more:efficient 3-d objectretrieval with query view selection[J].Multimedia,IEEE Transactions on,2011,13(5):1007-1018.
本领域技术人员可以理解附图只是一个优选实施例的示意图,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (3)
1.一种基于增量慢特征的3D模型检索方法,其特征在于,所述3D模型检索方法包括以下步骤:
运用有监督的增量慢特征分析方法,对预处理后的视图集进行增量慢特征提取;
根据差分信号、协方差矩阵特征向量的第一个特征值、3D模型的第k张视图的第一个次要成分,获取3D模型第k张视图的次要成分;
通过3D模型的次要成分获得增量慢特征估计;
通过每张视图的主成分与每张视图的增量慢特征估计,获取多个增量慢特征;
根据提取出的增量慢特征获取增量慢特征的排序,根据排序结果筛选增量慢特征并生成3D模型的增量慢特征库;
利用最近邻算法对3D模型的增量慢特征库进行检索匹配,获取与候选模型相似的物体并输出;
获取数据库中物体的2D视图集V,对2D视图集进行预处理,使得所有3D模型的视图尺寸大小一致;
所述差分信号通过一个3D模型第k张视图的主成分z(k)以及第k-1张视图的主成分z(k-1)获取;
所述利用最近邻算法对3D模型的增量慢特征库进行检索匹配的步骤具体为:
应用下述公式(1)将增量慢特征学习后的数据进行处理,计算不同的2D图像之间的特征点距离:
其中,yi和yj代表一个3D模型的两个不同2D图像,S1(yi,yj)代表2D图像yi和yj之间的相似度,代表yi特征的映射函数,代表yj特征的映射函数;根据S1(yi,yj),利用公式(2)计算不同3D模型的相似度,即最小的特征点距离;
其中,S2(P,Q)代表模型P和Q的相似度,n表示3D模型P的2D视图个数,m表示3D模型Q的2D视图个数,因为对前面的数据库进行了预处理,所以n等于m;最高相似度的检索模型可以用如下公式计算:
Q*=argmaxS2(Qi,P) (3)
其中,Q*表示相似度最高的检索模型,Qi表示一个候选模型,P是输入模型,S2(Qi,P)表示候选模型和输入模型的相似度;最后将查询目标与多视角模型库中所有模型的匹配概率降序排列,得到最终的检索结果。
2.根据权利要求1所述的一种基于增量慢特征的3D模型检索方法,其特征在于,所述主成分通过对协方差矩阵的特征向量进行白化和降维来获取;
其中,协方差矩阵的特征向量的获取包括:
对输入数据进行非线性扩展,生成扩展数据;
对扩展数据求其零均值,再通过直观无协方差的增量主要成分分析,获取输入数据的协方差矩阵的特征向量。
3.一种用于权利要求1所述的基于增量慢特征的3D模型检索方法的检索装置,其特征在于,所述检索装置包括:
预处理模块,用于获取数据库中物体的2D视图集V,对2D视图集进行预处理,使得所有3D模型的视图尺寸大小一致;
提取模块,用于运用有监督的增量慢特征分析方法,对预处理后的视图集进行增量慢特征提取;
第一获取子模块,用于根据差分信号、协方差矩阵特征向量的第一个特征值、3D模型的第k张视图的第一个次要成分,获取3D模型第k张视图的次要成分;
第二获取子模块,用于通过3D模型的次要成分获得增量慢特征估计;
第三获取子模块,用于通过每张视图的主成分与每张视图的增量慢特征估计,获取多个增量慢特征;
获取模块,用于根据提取出的增量慢特征获取增量慢特征的排序;
生成模块,用于根据排序结果筛选增量慢特征并生成3D模型的增量慢特征库;
匹配与输出模块,用于利用最近邻算法对3D模型的增量慢特征库进行检索匹配,获取与候选模型相似的物体并输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510702023.1A CN105320764B (zh) | 2015-10-26 | 2015-10-26 | 一种基于增量慢特征的3d模型检索方法及其检索装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510702023.1A CN105320764B (zh) | 2015-10-26 | 2015-10-26 | 一种基于增量慢特征的3d模型检索方法及其检索装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105320764A CN105320764A (zh) | 2016-02-10 |
CN105320764B true CN105320764B (zh) | 2019-05-07 |
Family
ID=55248150
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510702023.1A Active CN105320764B (zh) | 2015-10-26 | 2015-10-26 | 一种基于增量慢特征的3d模型检索方法及其检索装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105320764B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105843891A (zh) * | 2016-03-22 | 2016-08-10 | 浙江大学 | 一种增量式的在线特征提取分析方法及*** |
CN106844620B (zh) * | 2017-01-19 | 2020-05-12 | 天津大学 | 一种基于视图的特征匹配三维模型检索方法 |
CN107194950B (zh) * | 2017-04-26 | 2020-06-12 | 天津大学 | 一种基于慢特征分析的多人跟踪方法 |
CN109471420B (zh) * | 2018-09-21 | 2020-08-14 | 浙江大学 | 基于cva-sfa的智能电厂大型燃煤发电机组空气预热器控制性能监测方法 |
CN110415270B (zh) * | 2019-06-17 | 2020-06-26 | 广东第二师范学院 | 基于双学习映射增量降维模型的人体运动形态估算方法 |
CN112327701B (zh) * | 2020-11-09 | 2021-11-02 | 浙江大学 | 面向非线性动态工业过程的慢特征网络监测方法 |
CN114092837B (zh) * | 2021-11-05 | 2022-08-26 | 中国科学院空天信息创新研究院 | 一种基于长时间尺度的遗址环境遥感监测方法及*** |
CN114527731B (zh) * | 2022-02-22 | 2023-12-26 | 中国矿业大学 | 基于监督概率慢特征分析的工业过程运行状态评价方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101004748A (zh) * | 2006-10-27 | 2007-07-25 | 北京航空航天大学 | 基于二维草图的三维模型检索方法 |
CN101916284A (zh) * | 2010-08-19 | 2010-12-15 | 西北工业大学 | 基于形状朝向多分辨率分析的三维模型检索方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004164503A (ja) * | 2002-11-15 | 2004-06-10 | Olympus Corp | 三次元モデル検索方法、三次元モデル検索装置、三次元モデル検索プログラム、及び三次元モデル検索システム |
-
2015
- 2015-10-26 CN CN201510702023.1A patent/CN105320764B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101004748A (zh) * | 2006-10-27 | 2007-07-25 | 北京航空航天大学 | 基于二维草图的三维模型检索方法 |
CN101916284A (zh) * | 2010-08-19 | 2010-12-15 | 西北工业大学 | 基于形状朝向多分辨率分析的三维模型检索方法 |
Non-Patent Citations (2)
Title |
---|
Incremental Slow Feature Analysis;Varun Raj Kompella等;《Proceedings of the Twenty-Second International Joint Conference on Artificial Intelligence》;20110716;第1354-1359页 |
基于视图的三维模型检索技术研究;石林林;《万方数据库 华中科技大学硕士学位论文》;20150730;正文第24-49页 |
Also Published As
Publication number | Publication date |
---|---|
CN105320764A (zh) | 2016-02-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105320764B (zh) | 一种基于增量慢特征的3d模型检索方法及其检索装置 | |
Sun et al. | A multiscale spectral features graph fusion method for hyperspectral band selection | |
Xia et al. | Loop closure detection for visual SLAM using PCANet features | |
CN101996245B (zh) | 一种图形对象的形状特征描述与检索方法 | |
CN105205135B (zh) | 一种基于主题模型的3d模型检索方法及其检索装置 | |
CN106844620B (zh) | 一种基于视图的特征匹配三维模型检索方法 | |
CN104615998B (zh) | 一种基于多视角的车辆检索方法 | |
Li et al. | Hierarchical semantic parsing for object pose estimation in densely cluttered scenes | |
Li et al. | Multi-view-based siamese convolutional neural network for 3D object retrieval | |
Manisha et al. | Content-based image retrieval through semantic image segmentation | |
Su et al. | 3d-assisted image feature synthesis for novel views of an object | |
Kaur et al. | Comparative analysis of image classification techniques using statistical features in CBIR systems | |
CN113723558A (zh) | 基于注意力机制的遥感图像小样本舰船检测方法 | |
CN114842260B (zh) | 一种基于蓝图分离卷积的点云分类方法 | |
De Gregorio et al. | Skimap++: Real-time mapping and object recognition for robotics | |
Ouadiay et al. | 3d object categorization and recognition based on deep belief networks and point clouds | |
Li et al. | Recent advances on application of deep learning for recovering object pose | |
Wang et al. | Hypergraph based feature fusion for 3-D object retrieval | |
Yang et al. | Intelligent classification of point clouds for indoor components based on dimensionality reduction | |
Gong et al. | Adaptive Soft-Encoding: A General Unsupervised Feature Aggregation Method for Place Recognition | |
Rozsa et al. | Exploring in partial views: Prediction of 3D shapes from partial scans | |
Wang et al. | Saliency region detection method based on background and spatial position | |
Pourian et al. | Retrieval of images with objects of specific size, location, and spatial configuration | |
Ni et al. | Research on image segmentation algorithm based on fuzzy clustering and spatial pyramid | |
Jhansi et al. | An efficient sketch based image retrieval using cross-correlation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |