CN105243139B - 一种基于深度学习的三维模型检索方法及其检索装置 - Google Patents
一种基于深度学习的三维模型检索方法及其检索装置 Download PDFInfo
- Publication number
- CN105243139B CN105243139B CN201510651898.3A CN201510651898A CN105243139B CN 105243139 B CN105243139 B CN 105243139B CN 201510651898 A CN201510651898 A CN 201510651898A CN 105243139 B CN105243139 B CN 105243139B
- Authority
- CN
- China
- Prior art keywords
- view
- dimensional
- similarity
- features
- views
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000013135 deep learning Methods 0.000 title claims abstract description 20
- 238000013528 artificial neural network Methods 0.000 claims abstract description 17
- 230000000306 recurrent effect Effects 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 13
- 238000011176 pooling Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000002087 whitening effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 1
- 235000014443 Pyrus communis Nutrition 0.000 description 1
- 240000003768 Solanum lycopersicum Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Library & Information Science (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于深度学习的三维模型检索方法及其检索装置，检索方法包括：获取三维模型的一组二维视图集；训练一组用于卷积神经网络的滤波器模板；通过训练后的滤波器模板对二维视图集中的每一幅视图进行卷积，形成视图初级特征；将视图初级特征作为多个递归神经网络的输入，学习得到视图高级特征；用视图高级特征来表示视图，计算不同三维模型的视图间的相似度，进而计算不同三维模型间的相似度，降序排列得到最终的检索结果。检索装置包括：获取模块、训练模块、卷积模块、学习模块、计算模块和排序模块。本发明通过卷积神经网络和递归神经网络学习到的高级特征能够很好地表征数据内在结构规律，提高了三维模型检索的准确性和鲁棒性。
Description
技术领域
本发明涉及计算机视觉、神经网络技术和三维模型检索领域，尤其涉及一种基于深度学习的三维模型检索方法及其检索装置。
背景技术
随着三维建模技术的日益成熟，计算机软硬件技术和互联网的快速发展，因特网和专业领域数据库中的三维模型数量呈现出***式地增长。三维模型可以携带比文本和图像更多的信息，展示形式也更为丰富真实，促使其越来越广泛地应用于社会生产生活的各个领域[1]。面对当前多样化的三维模型大数据，领域内迫切需要有效并且高效的三维模型检索算法，该领域相关研究已成为近年来非常活跃的研究领域。
三维模型检索算法主要分为两大类：基于模型和基于视图。早期的工作主要集中在基于模型的检索方法上，包含低层次的基于特征以及高层次的基于结构。低层次的基于特征的方法利用几何矩[2]、表面分布[3]、体积信息和表面几何形状[4]来描述三维模型。高层次的基于结构的方法要求每个3D模型必须有明确的空间和结构信息，这限制了基于模型方法的实际应用。相比于基于模型的方法，基于视图的方法不强制要求虚拟的三维模型，所以更具灵活性。另外，二维图像的检索已经蓬勃发展了几十年，已经积累了丰富的技术基础，基于视图的方法可以利用现有的技术进行有效地检索[5]。
在大多数3D模型检索算法中，使用的都是设计好的特征，比如：基于方向直方图的SIFT(尺度不变特征变换)、SURF(加速健壮特征)，而这些特征存在局限性，比如SIFT只能对灰度图提取，而不能应用于RGB-D(三原色加距离)这种多模态的领域[6]。近年来，深度学习算法在特征学习领域十分热门，它可以通过迭代的方法，学习到鲁棒性很强的特征，用于表示不同的物体[7]。
发明内容
本发明提供了一种基于深度学习的三维模型检索方法及其检索装置，本发明利用深度学习技术，学习到的特征能够很好地表征数据内在结构规律，提高了三维模型检索的准确性和鲁棒性，详见下文描述：
一种基于深度学习的三维模型检索方法，所述三维模型检索方法包括以下步骤：
获取三维模型的一组二维视图集；训练一组用于卷积神经网络的滤波器模板；
通过训练后的滤波器模板对二维视图集中的每一幅视图进行卷积，形成视图初级特征；
将视图初级特征作为多个递归神经网络的输入，学习得到视图高级特征；
用视图高级特征来表示视图，计算不同三维模型的视图间的相似度，进而计算不同三维模型间的相似度，降序排列得到最终的检索结果。
其中，所述通过训练后的滤波器模板对二维视图集中的每一幅视图进行卷积，形成视图初级特征的步骤具体为：
对卷积后的特征进行池化降维处理，选择特定大小的区域作为池化区域，将池化后的卷积特征作为视图初级特征。
其中，所述用视图高级特征来表示视图，计算不同三维模型的视图间的相似度的步骤具体为：
其中，v，w是任意两个不同三维模型的任意两幅不同视图；是特征映射函数；分别是视图v，w的特征表示；P(v,w)是视图v，w间的相似度。
其中，所述计算不同三维模型间的相似度的步骤具体为：
其中，Q，M是两个不同的三维模型；n，m分别是Q，M中的视图数目；P(vi,wj)是Q中第i幅视图和M中第j幅视图间的相似度；S(Q,M)是三维模型Q，M间的相似度。
一种基于深度学习的三维模型检索装置，所述三维模型检索装置包括：
获取模块，用于获取三维模型的一组二维视图集；
训练模块，用于训练一组用于卷积神经网络的滤波器模板；
卷积模块，用于通过训练后的滤波器模板对二维视图集中的每一幅视图进行卷积，形成视图初级特征；
学习模块，用于将视图初级特征作为多个递归神经网络的输入，学习得到视图高级特征；
计算模块，用于用视图高级特征来表示视图，计算不同三维模型的视图间的相似度，进而计算不同三维模型间的相似度；
排序模块，用于降序排列得到最终的检索结果。
其中，所述卷积模块包括：
处理子模块，用于对卷积后的特征进行池化降维处理；
选择子模块，用于选择特定大小的区域作为池化区域，将池化后的卷积特征作为视图初级特征。
本发明提供的技术方案的有益效果是：运用SIFT描述子提取感兴趣点，进而提取感兴趣块，能够大幅度降低物体视图中子块信息的冗余度，同时提高了每个感兴趣块的有效性。本发明通过卷积神经网络和递归神经网络学习到的高级特征能够很好地表征数据内在结构规律，提高了三维模型检索的准确性和鲁棒性。
附图说明
图1为基于深度学习的三维模型检索方法的流程图；
图2为ETH(苏黎世联邦工业大学)数据库中三种特征的查准-查全曲线比较示意图；
图3为ETH数据库中三种方法的查准-查全曲线比较示意图；
图4为基于深度学习的三维模型检索装置的结构示意图；
图5为卷积模块的示意图。
附图中，各部件所代表的部件列表如下：
1：获取模块； 2：训练模块；
3：卷积模块； 4：学习模块；
5：计算模块； 6：排序模块；
31：处理子模块； 32：选择子模块。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
实施例1
本发明实施例提供了一种基于深度学习的三维模型检索方法，参见图1，该方法包括以下步骤：
101：获取三维模型的一组二维视图集；训练一组用于卷积神经网络的滤波器模板；
102：通过训练后的滤波器模板对二维视图集中的每一幅视图进行卷积，形成视图初级特征；
103：将视图初级特征作为多个递归神经网络的输入，学习得到视图高级特征；
104：用视图高级特征来表示视图，计算不同三维模型的视图间的相似度，进而计算不同三维模型间的相似度，降序排列得到最终的检索结果。
综上所述，本发明实施例通过上述步骤101-步骤104实现了通过卷积神经网络和递归神经网络学习到的高级特征能够很好地表征数据内在结构规律，提高了三维模型检索的准确性和鲁棒性。
实施例2
下面结合具体的计算公式、例子对实施例1中的方案进行详细描述，详见下文：
201：获取三维模型的一组二维视图集；
其中，一个三维模型的视图集是指表示该三维模型的相应的一组二维视图，能够从不同方向和位置表示该三维模型。这些二维视图可以通过摄像机对真实的三维模型拍摄获得。该步骤的具体操作过程为本领域技术人员所公知，本发明实施例对此不做赘述。
202：训练一组用于卷积神经网络的滤波器模板；
具体实现时，可以采用当前流行的特征点描述子获得一幅视图中的所有感兴趣点，不失一般性的，本发明实施例采用了应用广泛的尺度不变特征变换[8](Scale-invariant feature transform，简称SIFT)描述子。SIFT描述子提取的SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性；对视角变化、仿射变换、噪声也保持一定程度的稳定性。对所有的三维模型中的所有视图提取SIFT感兴趣点的操作，建立感兴趣点集。
分别以每一个感兴趣点为中心像素点，向中心像素点左、右、上、下各延伸4个像素单位，获得大小为9×9的感兴趣块，从而建立感兴趣块集。
对所有的感兴趣块进行亮度和对比度的归一化。具体操作为，对每一个感兴趣块，减去它的平均值并除以标准差。根据公式：
得到归一化后的感兴趣块。其中，x(i)是归一化后的第i个感兴趣块；是未归一化的第i个感兴趣块；mean代表求平均值；var代表求标准差。
对归一化后的感兴趣块进行白化操作，去除数据之间的相关性。不失一般性的，本发明实施例采用ZCA(改进的主成分分析)白化[9]方法。根据公式：
cov(x(i))＝VDV-1
对感兴趣块求其协方差矩阵，并做特征值分解。其中，cov代表求协方差；D是对角矩阵，对角线元素为特征值；V是与D对应的特征向量；V-1是V的逆矩阵。
根据公式
得到白化后的感兴趣块。其中，是白化后的第i个感兴趣块；εzca是一个很小的常数，本实施例中选择εzca＝0.1。
运用当前流行的聚类算法对所有感兴趣块进行聚类，不失一般性的，本发明实施例采用了经典的K-means[10]聚类方法。K-means聚类方法具体为：首先确定所要聚类的准确数目K，初始选择K个感兴趣块作为聚类中心，对剩余的每个感兴趣块，根据其与各聚类中心的距离，将它赋给最近的类。重新计算每个类中感兴趣块的平均值，形成新的聚类中心。重复进行此过程，直到聚类收敛为止。每一个聚类中心就是一个滤波器模板，所有的聚类中心集合构成了一组K个滤波器模板。本实施例中K＝128。
203：利用训练后的滤波器模板对步骤201中的每一幅视图进行卷积，形成视图初级特征；
对步骤201中的每一幅视图缩放到相同的大小(di×di，其中di为每一幅视图缩放后的边长)，运用步骤202中训练好的一组滤波器模板(K×df×df，其中df为每一个滤波器模板的边长)去卷积步骤201中缩放后的每一幅视图，卷积步长为sf，卷积后的特征大小为本发明实施例中选取di＝148，df＝9，sf＝1，因此卷积后的特征大小为128×140×140。
对卷积后的特征进行池化降维处理。选择特定大小的区域作为池化区域，计算该区域上的卷积特征的平均值作为新的特征值。设卷积后的特征大小为K×rc×rc(其中rc为卷积后某一维特征的边长)，池化块大小为dq×dq(其中dq为池化块的边长)，池化步长为sq，则池化后的特征大小则为本发明实施例中选取dq＝10，sq＝5，rc＝140，因此最终池化后的卷积特征为128×27×27，此为视图的初级特征。
204：将步骤203中获得的视图初级特征作为多个递归神经网络的输入，学习得到视图高级特征；
以单个递归神经网络为例，将步骤203中获得的视图初级特征分块，设每一幅视图的初级特征为K×rp×rp(其中rp为视图初级特征某一维的边长)，每一块的大小为K×db×db(其中db为分块后每一块某一维的边长)，共分成个块，作为单个递归神经网络的底层输入。根据公式
分别求得每一个块的输出，并作为下一层的输入。其中，f是激活函数，通常选用tanh函数或者sigmoid函数；W是随机生成的权重矩阵；是第i个块内的视图初级特征。得到大小为的第一层的第i个输出
将第一层的输出其中作为下一层的输入，重复进行上述过程，最终生成K维的视图高级特征。
N个递归神经网络将生成N个K维的视图高级特征，将这些视图高级特征串联构成NK维的视图高级特征。
本发明实施例中，rp＝27，db＝3，N＝64，f为sigmoid函数。公式如下
其中，x为输入特征；y为经过sigmoid函数变换后的输出特征。因此最终学习到的视图高级特征为64×128＝8192维。
205：使用步骤204中获得的视图高级特征来表示视图，计算不同三维模型的视图间的相似度，进而计算不同三维模型间的相似度，降序排列得到最终的检索结果；
(1)根据公式
计算不同三维模型的视图间的相似度。其中，v，w是任意两个不同三维模型的任意两幅不同视图；是特征映射函数，分别是视图v，w的特征表示；P(v,w)是视图v，w间的相似度。本发明实施例中，视图v，w的特征表示为步骤204中学习到的视图高级特征。
(2)根据公式
计算不同三维模型间的相似度。其中，Q，M是两个不同的三维模型；n，m分别是Q，M中的视图数目；P(vi,wj)是Q中第i幅视图和M中第j幅视图间的相似度；S(Q,M)是三维模型Q，M间的相似度。根据相似度从大到小排序，可得到所需要的三维模型的检索排序结果。
综上所述，本发明实施例通过上述步骤201-步骤205实现了通过卷积神经网络和递归神经网络学习到的高级特征能够很好地表征数据内在结构规律，提高了三维模型检索的准确性和鲁棒性。
实施例3
下面结合具体的图2和图3、计算公式和实验数据对实施例1和2中的方案进行可行性验证，详见下文描述：
1)实验数据库
实验所用数据库是网上共享的ETH数据库，该数据库中共有80个三维模型，包括8类，每类10个物体。分别是苹果、小汽车、奶牛、杯子、小狗、马、梨、西红柿。
2)评估标准
实验中运用到的评估标准为查准-查全曲线(Precision-Recall)：三维模型检索的性能评估方面的平均查全率(Average Recall，简称AR)和平均准确率(AveragePrecision，简称AP)。
根据以下公式求得AR和AP，做出查准-查全曲线：
其中，Recall是查全率；Nz是正确检索对象的数量；Nr是所有相关对象的数量。
其中，Precision是查准率；Nall是所有检索对象的数量。
其中，AR是平均查全率；Nm是三维模型类的数量；Recall(i)是第i类的回应值。
其中，AP是平均查准率；Precision(i)是第i类的精度值。
3)对比特征
Zernike(泽尔尼克)矩特征[11]：Zernike矩是图像的特征描述符之一，在视图的平移、缩放和旋转中具有不变性，已应用于各类目标识别和模型分析中。
HSV(色调饱和度亮度)颜色特征[12]：根据颜色信息将图像分割成若干区域，并将颜色分为多个子区段，每个区域进行颜色空间量化建立颜色索引，组合形成HSV特征。
4)对比方法
实验中将本方法与以下两种方法进行对比：
加权二分图[13]算法：运用挑选出的代表性视图构建加权二分图，通过改进的匈牙利算法计算相似度。
超图[14]算法：通过视图聚类产生超边，从而构建多组超图，在超图的基础上计算出不同三维模型之间的相似度。
5)实验结果
ETH数据库中三种特征的查准-查全曲线比较如图2所示。其中，纵坐标代表精度(Precision)，横坐标代表回应(Recall)。查准-查全曲线与横纵坐标所围面积越大，代表检索性能越优良。本方法特征与传统的Zernike矩特征、HSV颜色特征相比，检索性能显著提升，证明了基于深度学习的特征具有优越性，更能表征图像的内在结构。
ETH数据库中三种方法的查准-查全曲线比较如图3所示。相比于两种优秀的图结构算法，基于深度学习的本方法检索效果仍然优于加权二分图和超图方法。
综上所述，本发明实施例通过上述的实验过程、实验数据和仿真波形，验证了实施例1和2中方案的可行性，本发明实施例提供的三维模型检索方法满足了实际应用中的多种需要。
实施例4
一种基于深度学习的三维模型检索装置，参见图4，三维模型检索装置包括：
获取模块1，用于获取三维模型的一组二维视图集；
训练模块2，用于训练一组用于卷积神经网络的滤波器模板；
卷积模块3，用于通过训练后的滤波器模板对二维视图集中的每一幅视图进行卷积，形成视图初级特征；
学习模块4，用于将视图初级特征作为多个递归神经网络的输入，学习得到视图高级特征；
计算模块5，用于用视图高级特征来表示视图，计算不同三维模型的视图间的相似度，进而计算不同三维模型间的相似度；
排序模块6，用于降序排列得到最终的检索结果。
其中，参见图5，卷积模块3包括：
处理子模块31，用于对卷积后的特征进行池化降维处理；
选择子模块32，用于选择特定大小的区域作为池化区域，将池化后的卷积特征作为视图初级特征。
本发明实施例对上述模块、子模块的执行主体不做限制，可以为单片机、pc机等具有计算功能的器件，只要能完成上述功能的器件均可，
综上所述，本发明实施例通过上述模块、子模块实现了通过卷积神经网络和递归神经网络学习到的高级特征能够很好地表征数据内在结构规律，提高了三维模型检索的准确性和鲁棒性。
本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。
参考文献
[1]张飞.三维模型特征提取和相关反馈算法研究与实现[D].西北大学,2010.
[2]J.Tangelder and R.Veltkamp,“Polyhedral model retrieval usingweighted point sets,”Int.J.Image Graph.,vol.3,no.1,pp.209–229,2003.
[3]R.Osada,T.Funkhouser,B.Chazelle,and D.Dobkin,“Shapedistributions,”ACM Trans.Graph.,vol.21,no.4,pp.807–832,2002.
[4]A.E.Johnson and M.Hebert,“Using spin images for efficient objectrecognition in cluttered 3D scenes,”IEEE Trans.Pattern Anal.Mach.Intell.,vol.21,no.5,pp.433–449,May 1999.
[5]P.Daras and A.Axenopoulos,“A 3D shape retrieval frameworksupporting multimodal queries,”Int.J.Comput.Vis.,vol.89,nos.2–3,pp.229–247,2010.
[6]CHENG Y.,ZHAO X.,HUANG K.,TAN T.:Semi-supervised learning for RGB-D object recognition.In ICPR(2014),pp.2377–2382.
[7]Feng Wang,Lanfen Lin,and Min Tang.A new sketch-based 3d modelretrieval approach by using global and local features.Graphical Models,76(3):128–139,2014.
[8]Lowe,David G.(1999)."Object recognition from local scale-invariantfeatures".Proceedings of the International Conference on Computer Vision2.pp.1150–1157.doi:10.1109/ICCV.1999.790410.
[9]Alex Krizhevsky,Learning Multiple Layers of Features from TinyImages,2009.
[10]Hartigan,J.A.；Wong,M.A.(1979)."Algorithm AS 136:AK-MeansClustering Algorithm".Journal of the Royal Statistical Society,Series C 28(1):100–108.JSTOR 2346830.
[11]A.Khotanzad and Y.Hong,“Invariant image recognition by Zernikemoments,”IEEE Transactions on Pattern Analysis and Machine Intelligence,vol.12,no.5,pp.489–497,May 90.
[12]王彦林.基于HSV颜色特征图像检索算法在Matlab中的实现[J].电脑编程技巧与维护,2013:86-87.DOI:doi:10.3969/j.issn.1006-4052.2013.16.037.
[13]Y.Gao,Q.Dai,M.Wang,and N.Zhang,“3D model retrieval using weightedbipartite graph matching,”Signal Process.,Image Commun.,vol.26,no.1,pp.39–47,2011.
[14]Y.Gao,M.Wang,D.Tao,R.Ji,and Q.Dai,“3D object retrieval andrecognition with hypergraph analysis,”IEEE Trans.Image Process.,vol.21,no.9,pp.4290–4303,Sep.2012.
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于深度学习的三维模型检索方法，其特征在于，所述三维模型检索方法包括以下步骤：
获取三维模型的一组二维视图集；训练一组用于卷积神经网络的滤波器模板；
通过训练后的滤波器模板对二维视图集中的每一幅视图进行卷积，形成视图初级特征；
将视图初级特征作为多个递归神经网络的输入，学习得到视图高级特征，所述视图高级特征表征数据内在结构规律；
用视图高级特征来表示视图，计算不同三维模型的视图间的相似度，进而计算不同三维模型间的相似度，降序排列得到最终的检索结果；
所述计算不同三维模型间的相似度的步骤具体为：
其中，Q，M是两个不同的三维模型；n，m分别是Q，M中的视图数目；P(vi，wj)是Q中第i幅视图和M中第j幅视图间的相似度；S(Q，M)是三维模型Q，M间的相似度。
2.根据权利要求1所述的一种基于深度学习的三维模型检索方法，其特征在于，所述通过训练后的滤波器模板对二维视图集中的每一幅视图进行卷积，形成视图初级特征的步骤具体为：
对卷积后的特征进行池化降维处理，选择特定大小的区域作为池化区域，将池化后的卷积特征作为视图初级特征。
3.根据权利要求1所述的一种基于深度学习的三维模型检索方法，其特征在于，所述用视图高级特征来表示视图，计算不同三维模型的视图间的相似度的步骤具体为：
其中，v，w是任意两个不同三维模型的任意两幅不同视图；是特征映射函数；
分别是视图v，w的特征表示；P(v，w)是视图v，w间的相似度。
4.一种基于深度学习的三维模型检索装置，其特征在于，所述三维模型检索装置包括：
获取模块，用于获取三维模型的一组二维视图集；
训练模块，用于训练一组用于卷积神经网络的滤波器模板；
卷积模块，用于通过训练后的滤波器模板对二维视图集中的每一幅视图进行卷积，形成视图初级特征；
学习模块，用于将视图初级特征作为多个递归神经网络的输入，学习得到视图高级特征；
计算模块，用于用视图高级特征来表示视图，计算不同三维模型的视图间的相似度，进而计算不同三维模型间的相似度；
排序模块，用于降序排列得到最终的检索结果；
所述计算不同三维模型间的相似度的步骤具体为：
其中，Q，M是两个不同的三维模型；n，m分别是Q，M中的视图数目；P(vi，wj)是Q中第i幅视图和M中第j幅视图间的相似度；S(Q，M)是三维模型Q，M间的相似度。
5.根据权利要求4所述的一种基于深度学习的三维模型检索装置，其特征在于，所述卷积模块包括：
处理子模块，用于对卷积后的特征进行池化降维处理；
选择子模块，用于选择特定大小的区域作为池化区域，将池化后的卷积特征作为视图初级特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510651898.3A CN105243139B (zh) | 2015-10-10 | 2015-10-10 | 一种基于深度学习的三维模型检索方法及其检索装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510651898.3A CN105243139B (zh) | 2015-10-10 | 2015-10-10 | 一种基于深度学习的三维模型检索方法及其检索装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105243139A CN105243139A (zh) | 2016-01-13 |
| CN105243139B true CN105243139B (zh) | 2018-10-23 |
Family
ID=55040787
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510651898.3A Active CN105243139B (zh) | 2015-10-10 | 2015-10-10 | 一种基于深度学习的三维模型检索方法及其检索装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105243139B (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107122327B (zh) * | 2016-02-25 | 2021-06-29 | 阿里巴巴集团控股有限公司 | 一种利用训练数据训练模型的方法和训练*** |
| US10325351B2 (en) * | 2016-03-11 | 2019-06-18 | Qualcomm Technologies, Inc. | Systems and methods for normalizing an image |
| CN105868706A (zh) * | 2016-03-28 | 2016-08-17 | 天津大学 | 一种基于稀疏自编码的三维模型识别方法 |
| CN105868324B (zh) * | 2016-03-28 | 2019-08-27 | 天津大学 | 一种基于隐含状态模型的多视角目标检索方法 |
| WO2018031959A1 (en) * | 2016-08-12 | 2018-02-15 | Aquifi, Inc. | Systems and methods for automatically generating metadata for media documents |
| CN106250871A (zh) * | 2016-08-16 | 2016-12-21 | 桂林电子科技大学 | 城市管理案件分类方法及装置 |
| CN107066547A (zh) * | 2017-03-20 | 2017-08-18 | 天津大学 | 一种基于lire的三维模型检索方法 |
| CN107066559B (zh) * | 2017-03-30 | 2019-12-27 | 天津大学 | 一种基于深度学习的三维模型检索方法 |
| CN107133284A (zh) * | 2017-04-18 | 2017-09-05 | 天津大学 | 一种基于流行学习的视图三维模型检索方法 |
| CN112492290B (zh) * | 2018-09-30 | 2022-11-11 | Oppo广东移动通信有限公司 | 一种数据处理方法、服务器和计算机存储介质 |
| CN109472319B (zh) * | 2018-11-28 | 2021-08-31 | 佛山科学技术学院 | 一种三维模型分类方法以及检索方法 |
| CN110765854B (zh) * | 2019-09-12 | 2022-12-02 | 昆明理工大学 | 一种视频动作识别方法 |
| CN111382301B (zh) * | 2020-03-19 | 2024-02-02 | 辽宁石油化工大学 | 一种基于生成对抗网络的三维模型生成方法及*** |
| CN111709292B (zh) * | 2020-05-18 | 2023-05-26 | 杭州电子科技大学 | 基于递归图和深度卷积网络的压气机振动故障检测法 |
| CN113127663B (zh) * | 2021-04-01 | 2024-02-27 | 深圳力维智联技术有限公司 | 目标图像搜索方法、装置、设备及计算机可读存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7188103B2 (en) * | 2002-11-15 | 2007-03-06 | Olympus Corporation | Similarity search of three-dimensional model using two-dimensional image as search key |
| CN101004748A (zh) * | 2006-10-27 | 2007-07-25 | 北京航空航天大学 | 基于二维草图的三维模型检索方法 |
| CN101599077A (zh) * | 2009-06-29 | 2009-12-09 | 清华大学 | 一种三维对象检索的方法 |
-
2015
- 2015-10-10 CN CN201510651898.3A patent/CN105243139B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7188103B2 (en) * | 2002-11-15 | 2007-03-06 | Olympus Corporation | Similarity search of three-dimensional model using two-dimensional image as search key |
| CN101004748A (zh) * | 2006-10-27 | 2007-07-25 | 北京航空航天大学 | 基于二维草图的三维模型检索方法 |
| CN101599077A (zh) * | 2009-06-29 | 2009-12-09 | 清华大学 | 一种三维对象检索的方法 |
Non-Patent Citations (2)
| Title |
|---|
| Convolutional-Recursive Deep Learning for 3D Object Classification;Richard Socher等;《Nips》;20120131;第1-3页 * |
| 基于视图特征点分布的三维模型检索算法;潘翔等;《浙江工业大学学报》;20131231;第41卷(第6期);第642-643页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105243139A (zh) | 2016-01-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105243139B (zh) | 一种基于深度学习的三维模型检索方法及其检索装置 | |
| CN107066559B (zh) | 一种基于深度学习的三维模型检索方法 | |
| Li et al. | SHREC’14 track: Extended large scale sketch-based 3D shape retrieval | |
| Khan et al. | Painting-91: a large scale database for computational painting categorization | |
| Li et al. | SHREC’13 track: large scale sketch-based 3D shape retrieval | |
| CN104090972B (zh) | 用于三维城市模型检索的图像特征提取和相似性度量方法 | |
| US10353948B2 (en) | Content based image retrieval | |
| CN105205135B (zh) | 一种基于主题模型的3d模型检索方法及其检索装置 | |
| CN110942110A (zh) | 一种三维模型的特征提取方法和装置 | |
| CN111753119A (zh) | 一种图像搜索方法、装置、电子设备及存储介质 | |
| Xu et al. | Discriminative analysis for symmetric positive definite matrices on lie groups | |
| Lu et al. | Learning-based bipartite graph matching for view-based 3D model retrieval | |
| Jing et al. | ECFRNet: Effective corner feature representations network for image corner detection | |
| Tan et al. | Rapid fine-grained classification of butterflies based on FCM-KM and mask R-CNN fusion | |
| Arif et al. | OBJECT CLASSIFICATION VIA GEOMETRICAL, ZERNIKE AND LEGENDRE MOMENTS. | |
| Yang et al. | Bag of feature with discriminative module for non-rigid shape retrieval | |
| CN113011506A (zh) | 一种基于深度重分形频谱网络的纹理图像分类方法 | |
| CN113592030A (zh) | 基于复值奇异谱分析的图像检索方法和*** | |
| CN108897747A (zh) | 一种商标图形相似度比对方法 | |
| CN105844299A (zh) | 一种基于词袋模型的图像分类方法 | |
| Dalara et al. | Entity Recognition in Indian Sculpture using CLAHE and machine learning | |
| CN111898684A (zh) | 一种基于多维点云数据的生物种属鉴别方法 | |
| CN106845543B (zh) | 一种基于特征匹配的三维模型分类方法 | |
| MAHURKAR et al. | Novel Outline Tracing Techniques for Leaf Species Identification from Shrouded Leaves | |
| CN118154825B (zh) | 一种旋转不变的点云数据处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |