CN104850633A - 一种基于手绘草图部件分割的三维模型检索***及方法 - Google Patents

Abstract

本发明实施例公开了一种基于手绘草图部件分割的三维模型检索***及方法，其中，该***包括：预处理模块，用于对手绘查询草图进行去噪处理获得灰度图，并对所述灰度图进行二值化处理、边界扩展处理、图像孔洞填充处理，获得处理后的图像；部件标记模块，用于对处理后的图像进行等间隔采样，并对采样点添加部件标签；采样点特征提取模块，用于提取采样点的各种特征向量；部件分割模块，用于根据添加部件标签后的采样点的各种特征向量进行分割模型训练；相似度计算与总评分排序模块，用于进行部件局部相似度计算，按照总评分进行排序，并将排序结果返回给客户端。实施本发明实施例，可以使得基于手绘草图的三维模型检索更加精准有效。

Description

一种基于手绘草图部件分割的三维模型检索***及方法

技术领域

本发明涉及计算机图像处理技术领域，尤其涉及一种基于手绘草图部件分割的三维模型检索***及方法。

背景技术

近年来，伴随着计算机辅助设计、计算机辅助制造、虚拟现实、三维动画和三维游戏等领域的快速发展，互联网上的三维模型数量急剧增长。然而，三维模型不同于传统的图片、音频或视频等多媒体信息，它本身包含了许多细节信息难以用文字表达出来。

然而，目前的三维模型检索方法在应用上仍不尽如人意。一方面，当用户需要某种三维模型资源时，往往手边并没有现成的模型文件；另一方面，随着触摸屏和电子笔的快速普及，用户能轻松地通过手绘草图的方式勾勒出模型的轮廓。三维模型的手绘草图，可以视为是从某个视角投影视图的轮廓线。手绘草图可以是简单的外轮廓线，也可以包含内轮廓线的细节信息。由于手绘草图的用户美术基础不同，输入设备不同，描绘模型的详细程度自然也不尽相同。而三维模型的手绘草图通常包含重叠的、分离的或不闭合的部件轮廓线，现有的相关研究通常基于对手绘草图进行的手工分割或标记，虽然这些手工指定的信息有助于计算机对手绘草图进行分析，但是它通常要求用户手绘草图时遵循一定的规则约束，这在某种程度上限制了用户手绘的自由程度，或者说对用户的绘画基础提出了要求。

按照检索方式分类，目前的三维模型的检索主要分为两大类，分别是传统的基于文本的检索(Text-based Retrieval)方法和基于内容的检索(Content-based Retrieval)方法。

(1)基于文本的三维模型检索方法

基于文本的三维模型检索方法是基于关键词的，是目前最为普遍的检索方式。这需要对数据库中的三维模型人为地添加用以描述它的关键词，比如SketchUp的3D模型库(3D Warehouse)、TurboSquid的专业模型库和中国台湾大学的3D蛋白质检索***(3D Protein Retrieval System)等，现在能够在网上找到一些大型的商用的模型检索平台，它们大多是这类基于关键词的三维模型检索方式。

(2)基于内容的三维模型检索方法

基于内容的检索方法是三维模型检索的研究热点。如图1所示为基于内容的三维模型检索的基本框架，框架整体分为离线部分和在线部分。对于离线部分，每个3D模型都需要用形状描述符标示。为了提升检索效率，通常对数据库中各模型特征描述符建立索引。对于在线部分，进行查询表达的输入主要可分为两种方式：一种是提供一个与目标模型同类的三维模型；另一种是手绘目标模型的草图。在计算特征描述符后，将用户检索输入数据的描述符与数据库中模型特征描述符进行相似度比较，然后按照相似度大小递减的顺序将结果返回，并可视化地呈现给用户。

现有技术中存在的缺点：

(1)基于文本的三维模型检索方法

传统的基于文本关键词的方式并不能很好地适用在三维模型检索的场景里，其主要原因有三点：第一，三维模型具有复杂的拓扑结构、形状特征，且种类繁多，其本身蕴含很多细节信息难以用几个关键词来表达清楚。第二，给三维模型添加文本关键词的加标签过程需要手工完成，而互联网上三维模型数量快速增长，手工添加的方式较为繁琐，工作量也很大。第三，由于不同人对种类繁多的三维模型的理解不同，所想到的描述它的关键词也有较大差异，容易导致检索关键词与目标模型的标签不一致，且手工加关键词标签的方式受限于标签语言种类，也不便于进行国际化推广。正是基于这些原因，仅采用简单的关键词进行检索，成功率会很低，许多时候得不到想要的结果。比如，用户想要检索某种特定外形和图案的轿车，那么仅仅依靠关键词难以搜索到准确的、满意的结果。

(2)基于内容的三维模型检索方法

对于基于三维模型实例的模型检索，其缺点是用户在发起检索时，通常很难找到一个非常合适的模型实例作为输入，因为假如用户手头有非常合适的目标模型的话，那么也就没必要进行检索了。

对于基于手绘草图的三维模型检索，其缺点在于它通常没有考虑草图整体的结构，它只是基于区域局部来考虑的；它的另一个缺点就是对用户草图的风格比较敏感，如果用户在局部的轮廓线绘制风格差异较大，那么它提取的结果差异就会放大，这势必会影响最终的检索结果。

发明内容

本发明的目的在于克服现有技术的不足，本发明提供了一种基于手绘草图部件分割的三维模型检索***及方法，可以使得基于手绘草图的三维模型检索更加精准有效。

为了解决上述问题，本发明提出了一种基于手绘草图部件分割的三维模型检索***，所述***包括：

预处理模块，用于接收手绘查询草图，对所述手绘查询草图进行去噪处理获得灰度图，并对所述灰度图进行二值化处理、边界扩展处理、图像孔洞填充处理，获得处理后的图像；

部件标记模块，用于对所述处理后的图像进行等间隔采样，获得采样点，并对所述采样点添加部件标签；

采样点特征提取模块，用于提取所述采样点的各种特征向量；

部件分割模块，用于根据添加部件标签后的采样点的各种特征向量进行分割模型训练；

相似度计算与总评分排序模块，用于基于分割模型进行部件局部特征提取以及部件局部相似度计算，并对所述处理后的图像进行视图全局特征提取及视图全局相似度计算，按照总评分进行排序，并将排序结果返回给客户端。

优选地，所述预处理模块包括：

草图去噪处理单元，用于对所述手绘查询草图进行去噪处理获得灰度图；

二值化处理单元，用于对所述灰度图进行二值化处理；

边界扩展处理单元，用于对二值化处理后的图像四周进行空白填充处理；

图像孔洞填充处理单元，用于对空白填充处理后的图像进行图像孔洞填充处理。

优选地，所述部件标记模块包括：

轮廓线提取单元，用于对所述处理后的图像进行轮廓线提取；

采样单元，用于对提取轮廓线后的图像进行等间隔采样，获得采样点；

部件标记单元，用于对所述采样点添加部件标签。

优选地，所述采样点特征提取模块包括：

一元特征提取单元，用于对添加部件标签后的采样点进行一元特征提取；

二元特征提取单元，用于对添加部件标签后的采样点进行二元特征提取。

优选地，所述部件分割模块包括：

分割模型训练单元，用于根据添加部件标签后的采样点的各种特征向量进行分割模型训练；

部件分割单元，用于根据分割模型对添加部件标签后的采样点进行部件分割。

相应地，本发明还提供一种基于手绘草图部件分割的三维模型检索方法，所述方法包括：

接收手绘查询草图，对所述手绘查询草图进行去噪处理获得灰度图，并对所述灰度图进行二值化处理、边界扩展处理、图像孔洞填充处理，获得处理后的图像；

对所述处理后的图像进行等间隔采样，获得采样点，并对所述采样点添加部件标签；

提取所述采样点的各种特征向量；

根据添加部件标签后的采样点的各种特征向量进行分割模型训练；

基于分割模型进行部件局部特征提取以及部件局部相似度计算，并对所述处理后的图像进行视图全局特征提取及视图全局相似度计算，按照总评分进行排序，并将排序结果返回给客户端。

优选地，所述对所述手绘查询草图进行去噪处理获得灰度图，并对所述灰度图进行二值化处理、边界扩展处理、图像孔洞填充处理，获得处理后的图像的步骤，包括：

对所述手绘查询草图进行去噪处理获得灰度图；

对所述灰度图进行二值化处理；

对二值化处理后的图像四周进行空白填充处理；

对空白填充处理后的图像进行图像孔洞填充处理。

优选地，所述对所述处理后的图像进行等间隔采样，获得采样点，并对所述采样点添加部件标签的步骤，包括：

对所述处理后的图像进行轮廓线提取；

对提取轮廓线后的图像进行等间隔采样，获得采样点；

对所述采样点添加部件标签。

优选地，所述提取所述采样点的各种特征向量的步骤，包括：

对添加部件标签后的采样点进行一元特征提取；

对添加部件标签后的采样点进行二元特征提取。

优选地，所述根据添加部件标签后的采样点的各种特征向量进行分割模型训练的步骤，包括：

根据添加部件标签后的采样点的各种特征向量进行分割模型训练；

根据分割模型对添加部件标签后的采样点进行部件分割。

在本发明实施例中，综合利用手绘草图部件的几何信息、部件间的拓扑结构信息以及整幅视图的全局信息，并设置了三视图动态赋权的机制，放大重要视角在总评分中的影响，从而使得基于手绘草图的三维模型检索更加精准有效；另外，可单独用于草图理解、草图归类等手绘图部件分割的应用场景中。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是现有技术中基于内容的三维模型检索的基本框架示意图；

图2是本发明实施例的基于手绘草图部件分割的三维模型检索***的结构组成示意图；

图3是本发明实施例的基于手绘草图部件分割的三维模型检索***的内部处理过程示意图；

图4是本发明实施例中添加标签的效果示意图；

图5是本发明实施例的基于手绘草图部件分割的三维模型检索方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图2是本发明实施例的基于手绘草图部件分割的三维模型检索***的结构组成示意图，如图2所示，该***包括：

预处理模块1，用于接收手绘查询草图，对手绘查询草图进行去噪处理获得灰度图，并对灰度图进行二值化处理、边界扩展处理、图像孔洞填充处理，获得处理后的图像；

部件标记模块2，用于对预处理模块1处理后的图像进行等间隔采样，获得采样点，并对采样点添加部件标签；

采样点特征提取模块3，用于提取部件标记模块2所获得的采样点的各种特征向量；

部件分割模块4，用于根据添加部件标签后的采样点的各种特征向量进行分割模型训练；

相似度计算与总评分排序模块5，用于基于分割模型进行部件局部特征提取以及部件局部相似度计算，并对处理后的图像进行视图全局特征提取及视图全局相似度计算，按照总评分进行排序，并将排序结果返回给客户端。

图3为本发明实施例的基于手绘草图部件分割的三维模型检索***的内部处理过程，下面结合图2、图3对本发明实施例的***进行详细说明。

用户在检索时输入的手绘草图不同于三维模型的投影视图。由于用户通过鼠标、触摸屏或触控笔绘制草图，手绘草图往往不够精确，其轮廓线往往包含噪声，因此需要对用户手绘草图进行必要的预处理，才能进行接下来的处理程序。

其中，预处理模块1包括：

草图去噪处理单元，用于对手绘查询草图进行去噪处理获得灰度图；

二值化处理单元，用于对灰度图进行二值化处理；

边界扩展处理单元，用于对二值化处理后的图像四周进行空白填充处理；

图像孔洞填充处理单元，用于对空白填充处理后的图像进行图像孔洞填充处理。

草图去噪处理：由于手绘草图末端不闭合会对接下来特征提取产生影响，本发明实施例中进行预处理，记录用户绘图时每一笔画的起点和终点坐标，如果某一笔画的端点坐标与其他笔画的端点坐标间的欧氏距离小于30个像素的阈值，那么就在这两个点之间连线。

包围盒处理：由于不同草图的绘制部分大小不一，为了有效地、一致地进行后续的特征提取和机器学习，需要对视图进行包围盒处理，获取原始图像中有草图线条的局部区域。

保持比例缩放处理：为了满足图像尺度不变性，尽可能地让所有图的空白边界都最小化，需要进行保持比例缩放处理。用180除以包围盒最长边的长度作为缩放的比例因子，从而进行图像缩放。

二值化处理：手绘草图在缩放后变为了灰度图，需要进行二值化处理，以便于模型检索流程中的全局特征提取。

边界扩展处理：为了使得草图绘制区域居中，需要进行边界扩展处理，将图像四周填充空白，使得图像大小统一为200*200像素。

图像孔洞填充处理：由于草图的轮廓线包括外轮廓线和内轮廓线，对于模型检索场景，通常外轮廓线足够区分不同类别的模型，所以为使得手绘草图与投影视图在相似的细节展现程度情况下进行比较，需要先对其进行填充预处理。

进一步地，部件标记模块2包括：

轮廓线提取单元，用于对处理后的图像进行轮廓线提取；

采样单元，用于对提取轮廓线后的图像进行等间隔采样，获得采样点；

部件标记单元，用于对采样点添加部件标签。

(1)大类划分

数据库中的模型类别众多，拓扑结构千差万别，因此在部件标记前进行大类划分是必要的。大类划分的标准在于两个方面：一方面，应使得尽可能多的相似拓扑结构的模型归入同一个大类，一起进行部件分割的训练学习；另一方面，应使得数据库中所有模型划分出的大类数尽可能少，从而降低在线部分手绘草图按各个大类分割的总次数。

(2)基于等间隔的采样点设计和部件标签

考虑到后续对各个采样点的特征提取，要求采样点大小必须保证以下三个方面：采样点要足够密集，以免不同部件落入同一个采样点中，造成部件标签的不准确；采样点不宜过于密集，以免提取特征的总运算成本过高，导致在检索时无法实时响应；采样点的大小确定要考虑到多种一元特征在提取时的采样点大小，使得提取不同特征的采样点边长之间呈整数倍的关系，从而保证每个采样点能获得合理的、有效的特征组合。

基于上述这些原因，经过大量实验尝试，最终采用等间隔采样的方式，对每幅轮廓线沿轮廓线距离每10个像素提取1个采样点。对采样点添加部件标签，如头、躯体、四肢、尾巴等，用于对大类模型的视图做部件分割，用当前大类里各个视图采样点的局部特征向量进行训练。

(3)基于离散曲线演化模型和骨架信息的自动预分割

在基于视图进行部件分割的研究中，一个直观的想法就是基于视图轮廓线的几何特征进行分析，从而确定相邻部件之间的分割线，进而进行部件的分割。为了提高添加标签的效率，在本发明实施例中，采用基于离散曲线演化模型和骨架的视图部件自动分割方式，自动地进行部件的预分割。

由离散曲线演化模型的简化多边形的端点集合与骨架末端点集合的差集，并上以该集合中每一元素为切点的、以中轴为圆心的内切圆的其他所有切点，从而构成预分割点集。通过实验发现，该集合都是大多数模型的潜在分割点构成的集合，因此采用该集合作为轮廓线分段依据，按照轮廓线采样点顺序分段添加标记，免去了每个部件圈选多边形包围盒的过程，从而有效提升标记效率。

(4)部件标记小工具的设计

为了方便对采样点数据添加部件标签，采用了交互式添加与修改标记的方式。如图4所示是添加标签的示意图，采用鼠标点击划定部件多边形包围盒的方式，即可很方便地对部件所在的采样点进行标记。

在输出文件里不添加大类标签以及模型类的标签，主要是考虑在后期方便不断调整特征提取方式和参数，而只要包围盒和采样点的处理方式不变，采样点的部件标签就不受调整特征提取方法的影响。因此尽可能降低标签与特征提取部分的耦合度，把这两部分剥离开来，遵照统一的文件命名规则，分别写入同目录下的两个文件中，方便后期处理。加标签的工作完全地在交互式小工具里完成，与自动的特征提取过程互不干扰。

进一步地，采样点特征提取模块3包括：

一元特征提取单元，用于对添加部件标签后的采样点进行一元特征提取；

二元特征提取单元，用于对添加部件标签后的采样点进行二元特征提取。

(1)单个采样点自身的一元特征

一元特征用于表征每个采样点内部的特征。本发明实施例中所采用的一元特征都是基于采样点的，计算得到每个采样点的各种特征向量。下面将分别阐述本特征提取过程的细节。

2D形状直径特征：对每个采样点的计算依照其与相邻采样点之间连线的夹角，计算该点的切线方向，然后沿着与该切线垂直的方向，在图像mask内发出射线，交于图像另一侧的边缘点，计算在形状内部射线部分的长度。同样地，计算与垂线两侧成30°、60°夹角的方向引出的射线交于图像另一侧的边缘点，也同样计算长度值，最后求取这些距离值的平均值，作为该采样点处的2D形状直径特征，共1维。

采样点到图像中心点的距离特征：把采样点到图像中心点之间的欧氏距离作为一元特征的一部分。

平均欧氏距离特征：把基于采样点的平均欧氏距离度量，用来表征每个采样点距离其它采样点的远离程度。比如在一幅昆虫的视图中，昆虫腿的平均欧氏距离通常比其它部件更远。每个采样点的平均欧氏距离通过SC采样点的距离矩阵求得，若每个采样点内有多个采样点则采用样本点欧氏距离平均值。欧氏距离通过计算每个样本点到其它各个样本点的欧氏距离平均值来得到。同时计算了均值的平方以及第10、第20、第30直至第90分位点的数据，然后将这11个统计度量统一除以当前图像所有采样点欧氏距离中的最大值，从而进行归一化，构成11维向量。

形状上下文直方图特征：形状上下文算法在物体边缘线上等间隔地取采样点，计算每个采样点相对于其它各个采样点的欧氏距离和角度。

所在连通分支比重特征：由于有些手绘图和视图是由多个轮廓线构成，各个轮廓线段通常表征语义上独立的部件。本发明实施例中采用一个1维向量，用于表征当前采样点所在的连通分支占整幅图像的比例。首先，在提取轮廓线并下采样的阶段分别记录各段轮廓线的采样点数，然后通过判断当前采样点所在的轮廓线的采样点数占总采样点数的比例，从而得出一个与采样步长无关的比例特征，用以表征当前采样点所在的轮廓线在总轮廓线中的比重。在对昆虫类的实验中发现，具有较小连通分支比重特征的采样点通常是腿、触角等处在物体周边较为狭长的部件。

(2)邻接采样点之间的二元特征

二元特征是衡量每个采样点与邻接采样点之间的标签一致性的。因此，在计算二元特征前，需要先获取每个采样点在轮廓线上邻接点信息。由于采样点序列是有序的，所以邻接关系可以通过对采样点序列中相邻点的欧氏距离是否大于采样步长阈值来判定，若大于阈值则不为邻接点，反之则为邻接点。此外，考虑到一些模型具有多条轮廓线段，所以还需判断每段轮廓线的起始采样点与终止采样点之间是否邻接。二元特征需要有足够的区分度，即要求部件交界处采样点的二元特征和非部件交界处采样点的二元特征应当有较大差异。2D形状直径之差的绝对值以及切线方向之差的绝对值，作为二元特征。部件交汇处采样点的二元特征向量各分量值的数值较大；而不在部件交界点附近的采样点的二元特征各分量数值较小，故对部件的交界处有显著的区分度。

进一步地，部件分割模块4包括：

分割模型训练单元，用于根据添加部件标签后的采样点的各种特征向量进行分割模型训练；

部件分割单元，用于根据分割模型对添加部件标签后的采样点进行部件分割。

具体实施中，在添加部件标签后，采用条件随机场(CRF)模型，进行分割模型的训练。

(1)条件随机场模型

CRF模型的目标能量函数由一元项和二元项构成。其中一元项衡量采样点的一元特征及其标签的一致性；而二元项则由二元特征衡量采样点与邻接点之间的标签兼容性。

这里采用基于CRF模型的部件分割和标记方法，分别用于各个大类内部模型视图的部件分割的训练学习。计算所有采样点的最佳标签即要求最小化目标函数，如公式(1)所示：

$E(c;\mathrm{\θ})=\underset{i}{\mathrm{\Σ}}{a}_i{E}_1(c_i;x_i,{\mathrm{\θ}}_1)+\underset{i,j}{\mathrm{\Σ}}{l}_{\mathrm{ij}}{E}_2(c_i,c_j;y_{\mathrm{ij}},{\mathrm{\θ}}_2)---\left(1\right)$

目标函数包含两大部分，其中E₁为一元能量项，E₂为二元能量项。

一元能量项E₁：用以评估一个分类器。分类器以采样点的特征向量x作为输入，输出在该特征条件下，采样点标签的概率分布P(c|x,θ₁)。采用JointBoost分类器进行机器学习。如公式(2)所示为一元能量项的计算方式：

E₁(c；x,θ₁)＝-logP(c|x,θ₁)     (2)

在公式(2)中，x即为一元特征，每个标签c的一元能量项等于在该特征向量条件下，采样点标签概率分布的负对数。

二元能量项E₂：用来表征每个采样点与轮廓线上相邻采样点之间标记为不同标签的概率，其定义如公式(3)所示：

E₂(c,c'；y,θ₂)＝W(c,c')·[-κlogP(c≠c'|y,ξ)+μ]     (3)

在公式(3)中，y即为二元特征。P(c≠c'|y,ξ)表征标签不同的可能性大小，它是一个几何特征的函数。标签惩罚矩阵W(c,c')表示标签c与c'之间的兼容程度。它是对称矩阵，矩阵中每个元素都被初始化为9999，通过迭代地学习过程来获得每对标签间的惩罚值。

(2)条件随机场模型参数的迭代最优化学习方法

在提取到采样点的一元、二元特征后，采用迭代最优化的方式学习CRF模型的参数，将标记好的训练采样点集合随机地分为5等份，其中4份作为训练集，1份作为验证集。首先，用样本集训练JointBoost分类器，学习一元项和二元项的部分参数。然后，用验证集以迭代的方式优化分割结果，从而学习CRF模型二元项中剩余的参数。

将每个模型三个投影视图分割出的部件分别进行分类器的训练，在检索时也是三个视图分别计算落在相应类别中的投票数。这样比将视图部件特征全部放在一起进行训练的精度更高，且减小在线部分的计算量，从而提高检索效率。

采用部件分割可得到采样点部件标记序列。该序列记录了每个采样点的部件标签及其在图像中的坐标位置。

由于采样点标记结果是沿着轮廓线有序排列的，本发明实施例基于这个特点设计部件图生成算法，顺次读入每个采样点标记及其图像坐标点，记录每种部件标签的上一个采样点坐标位置，并基于此计算相邻同标签采样点之间的欧氏距离，如果距离小于轮廓线等间距采样步长，则在这两点间连接线段。若读入未生成部件图的新部件标签则相应新建该部件图矩阵。在读入采样点标记的同时也记录各个部件采样点数。迭代地进行该过程，直至采样点标记序列读取完。最后，对各部件的图像分别计算包围盒和扩展边界，使得部件居中，从而生成尺寸为100*100像素的部件图。各部件的权重即为该部件采样点数占总采样点数的比例。

采用的Zernike矩特征描述符，构成视图的全局特征。Zernike矩满足旋转不变性，对不同形状轮廓具有较好的区分度。Zernike矩有两个参数，即n和m，n表示Zernike矩的阶，m表示Zernike矩的重复数。每组n和m的组合可得到一个复数Zernike矩值，采用Zernike矩的幅度作为全局特征向量的分量。这种特征描述符选用的分量越多结果越精确，但分量越多计算耗时也随之增加。兼顾检索准确度和计算耗时两方面，选用10维的Zernike矩，其n和m值组合如表1所示。

表1 Zernike矩全局特征的n和m值组合

n值	3	5	7	9	11	4	6	8	10	12
											m值	3	3	3	3	3	4	4	4	4	4

对图像横向、纵向等分为32份，依次以200/32像素为步长移动块。在移动块的过程中，如果遇到块内无任何轮廓线的情形，则直接丢弃对该块的统计数据，从而避免由于图像局部空白而导致的特征分量大量为0的情况。

在离线部分，用K-means聚类算法对Gabor特征进行聚类，形成128个簇，将各个簇中心保存下来，构成词典。最后，统计距离各个簇中心最近的各个Gabor特征向量的个数。

部件标签直接的邻接关系提供了部件之间的拓扑结构，而拓扑结构特征对于部件的扭转具有很强的鲁棒性。比如，一匹奔跑的马的腿部和站立的马的腿部的几何特征差异较大，但不论是否是奔跑状态，腿部都与身体部件是邻接的。基于这一点特性建立部件之间拓扑结构的图模型，将部件作为图的节点，相邻部件之间连接边，用邻接表来实现。如果手绘草图该部件与投影视图相应部件的邻接部件不同，则对两图拓扑层面的差异进行惩罚，即减小相似度评分。

综合考虑底层几何信息以及部件间拓扑结构信息，按照该部件采样点数占所有部件总采样点数的比例，以及该部件在所有模型库中出现的比例确定该部件的权重值。公式(4)所示为部件权重的计算公式：

${w_{\mathrm{compo}}}_i=\frac{\mathrm{count}\left({\mathrm{samp}}_{{\mathrm{compo}}_i}\right)}{\underset{k=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{count}\left({\mathrm{samp}}_{{\mathrm{compo}}_k}\right)}---\left(4\right)$

公式(5)所示为草图与模型之间view视角的相似度评分的计算公式：

$\begin{array}{c}{s}_{\mathrm{view}}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_{i,\mathrm{view}}\·s_{\mathrm{view}}-\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{w}_{j,\mathrm{view}}\·0.5,\\ \mathrm{view}\∈\mathrm{front},\mathrm{side},\mathrm{top}\\ \mathrm{label}\left({\mathrm{compo}}_i\right)\∈\mathrm{labelSet}\left({\mathrm{proj}}_k\right)\\ \mathrm{label}\left({\mathrm{compo}}_j\right)\∉\mathrm{labelSet}\left({\mathrm{proj}}_k\right)\end{array}---\left(5\right)$

草图的部件拓扑结构可能与投影视图的拓扑结构不符合，这里采用合理的惩罚项，从而考量了拓扑结构差异。将拓扑结构邻接表中相应部件间进行比较，如果出现拓扑结构不一致的情形，则依照投影视图该部件的权重对相似度评分进行惩罚。

三维模型不同视角的投影视图所提供的信息量是不同的。比如，几乎无法从人的顶视图中获得部件信息，也无法看出其属于人的模型投影，而人的正视图则清晰地展现的头、躯体、四肢等语义部件。仅视图分割出的部件数客观地反映了投影视图所能提供的信息量。基于这个特点，如公式(6)所示分别计算正视图、侧视图和俯视图中分割出的部件数占三视图分割出总部件数的比例，分别作为正视图权重w_i,front、侧视图权重w_i,side和俯视图权重w_i,top，用公式(7)所示为当前大类中各模型整体相似度评分的计算公式：

$w_{i,v}=\frac{\mathrm{count}\left({\mathrm{compo}}_{i,v}\right)}{\underset{v=\mathrm{front},\mathrm{side},\mathrm{top}}{\mathrm{\Σ}}\mathrm{count}\left({\mathrm{compo}}_{i,v}\right)},v\∈\mathrm{front},\mathrm{side},\mathrm{top}---\left(6\right)$

${\stackrel{\‾}{s}}_{\mathrm{total}}=w_{i,\mathrm{front}}\·{\stackrel{\‾}{s}}_{\mathrm{front}}+w_{i,\mathrm{side}}\·{\stackrel{\‾}{s}}_{\mathrm{side}}+w_{i,\mathrm{top}}\·{\stackrel{\‾}{s}}_{\mathrm{top}}---\left(7\right)$

最后，按照总评分升序排序，将前200个模型返回给用户，分页将相应缩略图呈现在浏览器中，即完成了一次检索过程。

相应地，本发明实施例还提供一种基于手绘草图部件分割的三维模型检索方法，如图5所示，该方法包括：

S501，接收手绘查询草图，对手绘查询草图进行去噪处理获得灰度图，并对灰度图进行二值化处理、边界扩展处理、图像孔洞填充处理，获得处理后的图像；

S502，对处理后的图像进行等间隔采样，获得采样点，并对采样点添加部件标签；

S503，提取采样点的各种特征向量；

S504，根据添加部件标签后的采样点的各种特征向量进行分割模型训练；

S505，基于分割模型进行部件局部特征提取以及部件局部相似度计算，并对处理后的图像进行视图全局特征提取及视图全局相似度计算，按照总评分进行排序，并将排序结果返回给客户端。

其中，S501进一步包括：

对手绘查询草图进行去噪处理获得灰度图；

对灰度图进行二值化处理；

对二值化处理后的图像四周进行空白填充处理；

对空白填充处理后的图像进行图像孔洞填充处理。

S502进一步包括：

对处理后的图像进行轮廓线提取；

对提取轮廓线后的图像进行等间隔采样，获得采样点；

对采样点添加部件标签。

S503进一步包括：

对添加部件标签后的采样点进行一元特征提取；

对添加部件标签后的采样点进行二元特征提取。

S504进一步包括：

根据添加部件标签后的采样点的各种特征向量进行分割模型训练；

根据分割模型对添加部件标签后的采样点进行部件分割。

具体地，本发明方法实施例的实现过程可参见***相关功能模块的工作原理的相关描述，这里不再赘述。

在本发明实施例中，综合利用手绘草图部件的几何信息、部件间的拓扑结构信息以及整幅视图的全局信息，并设置了三视图动态赋权的机制，放大重要视角在总评分中的影响，从而使得基于手绘草图的三维模型检索更加精准有效；另外，可单独用于草图理解、草图归类等手绘图部件分割的应用场景中。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。

另外，以上对本发明实施例所提供的基于手绘草图部件分割的三维模型检索***及方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于手绘草图部件分割的三维模型检索***，其特征在于，所述***包括：

预处理模块，用于接收手绘查询草图，对所述手绘查询草图进行去噪处理获得灰度图，并对所述灰度图进行二值化处理、边界扩展处理、图像孔洞填充处理，获得处理后的图像；

部件标记模块，用于对所述处理后的图像进行等间隔采样，获得采样点，并对所述采样点添加部件标签；

采样点特征提取模块，用于提取所述采样点的各种特征向量；

部件分割模块，用于根据添加部件标签后的采样点的各种特征向量进行分割模型训练；

相似度计算与总评分排序模块，用于基于分割模型进行部件局部特征提取以及部件局部相似度计算，并对所述处理后的图像进行视图全局特征提取及视图全局相似度计算，按照总评分进行排序，并将排序结果返回给客户端。

2.如权利要求1所述的基于手绘草图部件分割的三维模型检索***，其特征在于，所述预处理模块包括：

草图去噪处理单元，用于对所述手绘查询草图进行去噪处理获得灰度图；

二值化处理单元，用于对所述灰度图进行二值化处理；

边界扩展处理单元，用于对二值化处理后的图像四周进行空白填充处理；

图像孔洞填充处理单元，用于对空白填充处理后的图像进行图像孔洞填充处理。

3.如权利要求1所述的基于手绘草图部件分割的三维模型检索***，其特征在于，所述部件标记模块包括：

轮廓线提取单元，用于对所述处理后的图像进行轮廓线提取；

采样单元，用于对提取轮廓线后的图像进行等间隔采样，获得采样点；

部件标记单元，用于对所述采样点添加部件标签。

4.如权利要求1所述的基于手绘草图部件分割的三维模型检索***，其特征在于，所述采样点特征提取模块包括：

一元特征提取单元，用于对添加部件标签后的采样点进行一元特征提取；

二元特征提取单元，用于对添加部件标签后的采样点进行二元特征提取。

5.如权利要求1所述的基于手绘草图部件分割的三维模型检索***，其特征在于，所述部件分割模块包括：

分割模型训练单元，用于根据添加部件标签后的采样点的各种特征向量进行分割模型训练；

部件分割单元，用于根据分割模型对添加部件标签后的采样点进行部件分割。

6.一种基于手绘草图部件分割的三维模型检索方法，其特征在于，

接收手绘查询草图，对所述手绘查询草图进行去噪处理获得灰度图，并对所述灰度图进行二值化处理、边界扩展处理、图像孔洞填充处理，获得处理后的图像；

对所述处理后的图像进行等间隔采样，获得采样点，并对所述采样点添加部件标签；

提取所述采样点的各种特征向量；

根据添加部件标签后的采样点的各种特征向量进行分割模型训练；

基于分割模型进行部件局部特征提取以及部件局部相似度计算，并对所述处理后的图像进行视图全局特征提取及视图全局相似度计算，按照总评分进行排序，并将排序结果返回给客户端。

7.如权利要求6所述的基于手绘草图部件分割的三维模型检索方法，其特征在于，所述对所述手绘查询草图进行去噪处理获得灰度图，并对所述灰度图进行二值化处理、边界扩展处理、图像孔洞填充处理，获得处理后的图像的步骤，包括：

对所述手绘查询草图进行去噪处理获得灰度图；

对所述灰度图进行二值化处理；

对二值化处理后的图像四周进行空白填充处理；

对空白填充处理后的图像进行图像孔洞填充处理。

8.如权利要求6所述的基于手绘草图部件分割的三维模型检索方法，其特征在于，所述对所述处理后的图像进行等间隔采样，获得采样点，并对所述采样点添加部件标签的步骤，包括：

对所述处理后的图像进行轮廓线提取；

对提取轮廓线后的图像进行等间隔采样，获得采样点；

对所述采样点添加部件标签。

9.如权利要求6所述的基于手绘草图部件分割的三维模型检索方法，其特征在于，所述提取所述采样点的各种特征向量的步骤，包括：

对添加部件标签后的采样点进行一元特征提取；

对添加部件标签后的采样点进行二元特征提取。

10.如权利要求6所述的基于手绘草图部件分割的三维模型检索方法，其特征在于，所述根据添加部件标签后的采样点的各种特征向量进行分割模型训练的步骤，包括：

根据添加部件标签后的采样点的各种特征向量进行分割模型训练；

根据分割模型对添加部件标签后的采样点进行部件分割。