CN104200240A - 一种基于内容自适应哈希编码的草图检索方法 - Google Patents

Abstract

本发明公开了一种基于内容自适应哈希编码的草图检索方法，其特征在于，包括以下具体步骤：基于外观约束和多样性约束，对被检索的草图或轮廓图根据其内容自适应地选取候选窗口用于特征提取，实现整个图像所包含的信息被均匀地分布到每个窗口里；基于关键点的显著性检测方法检测特征窗口的显著性；基于局部敏感的哈希算法将草图或轮廓图的局部视觉特征、显著性以及结构空间特征结合起来，编制成特征哈希码；将草图或轮廓图的特征哈希码进行索引，通过计算特征哈希码之间的汉明距离来度量草图之间的相似度，并将相似度高的返回给用户。采用本发明可具有更高的精度、更广泛的适应性和更强的匹配能力。

Description

一种基于内容自适应哈希编码的草图检索方法

技术领域

本发明涉及图像处理领域，尤其涉及的是一种基于内容自适应哈希编码的草图检索方法。 

背景技术

近几年，利用草图(例如手绘图形、图片和三维模型等视觉素材信息)作为输入来检索一直是计算机视觉领域的研究热点。这是因为随着触屏设备的日益普及，人们更加偏爱于使用手势、触摸笔等方式同计算机完成各类信息的输入及交互，这种方式能够更好地表达出用户的意图且操作极为简单。同时，通过手绘草图的方式进行各类检索任务，这为使用手持输入设备(如Apple iPhone/iPad、Microsoft Surface以及其它各类平板电脑等)的用户提供了很强的便捷性。 

在各类草图交互任务中，草图与手绘图形、图片以及3D模型等不同视觉信息载体的匹配问题在整个草图交互计算领域中占有重要的地位，同样这也是基于草图的检索方法的基础研究问题。为了在检索任务中得到尽量同人的认知、直观视觉感受一直的结果，需要有一种高效的算法能够准确、快速地度量输入草图与被检索信息之间的相似度，基于草图的检索方法研究就是旨在于解决这一问题。从实际价值来看，一方面，基于草图的检索方法与实际工程技术应用密切相关，不仅有很强的领域适用性，还是多种基于草图应用的主要核心技术。另一方面，它也具有很强的科学研究价值，其探索了计算机认知人为创作视觉图形的根本方法。 

在传统的检索任务中，一张草图通常被视为一系列手绘笔画的集合， 以此来表示一个物体的骨架、轮廓等信息。然而，物体所拥有的其它外观细节，诸如颜色、纹理等内容，在被转化为草图的过程中却不可避免地丢失了。由于该特性，基于草图的检索方法与传统的基于图片的检索算法相比有着很大的不同之处。最近一段时间以来，在该领域内所开展的研究工作一直试图回答一个问题：如何才能够合理地提取并比较每一张草图中所蕴含的特征信息呢？ 

近期，基于分割(segmentation)的方法被广泛地使用，并且在草图检索和识别领域已经证明这类算法是非常有效的。它们在实现的过程中通常会将草图包含的笔画进行分割，以此来降低计算复杂度。接着，再对分割后的笔画进行拓扑、几何形状等属性的提取。然而，针对草图进行精确的笔画分割是很难做到的，尤其对于包含自然景观的图片或者3D模型而言，这一步变得更为困难。这是因为此类视觉信息的轮廓特征通常包含了很多的噪音，要对它们进行完美的笔画分割几乎是个不可能完成的任务。因而，正是这一缺点极大地限制了基于笔画分割的一类方法在被用于基于草图对图片或者3D模型进行检索时的适用性。 

其它的研究工作借鉴于传统的图片检索算法，通过区域特征(patch)来比较草图的相似度完成检索任务。首先，一张草图被均等地划分成一个个小区域，然后从中提取出不同的视觉特征描述子。在通常情况下，这类方法将带有区域重叠的网格或者是稠密等大的窗口覆盖在整张草图上，以此来描述该草图的特征分布情况。这非常适用于普通的图片，因为一张图片往往包含了丰富的色彩或者纹理等细节特征，但是，对于仅仅包含有限笔画的草图这类稀疏的轮廓图像是不适用的。在这种情况下，一张草图所包含的大部分信息都会包含到几个非常显著的图像区域里面，而使得剩下的区域几乎空无一物。由于这种极度不平衡的现象，会产生许多无效的特征描述子，这些描述子在参与到之后的特征相似度计算中后会大大降低计算的有效性，而且，由于在使用哈希算法对它们进行索引之前需要对其进 行二值化，这会使得仅有的视觉信息进一步地被丢失，从而让情况变得更糟。 

基于区域特征的检索方法的另一个问题在于对草图之间相似度的计算方法比较薄弱，并不严格准确。一张手绘草图通常包含了各式各样的线条笔画而不是颜色或者纹理等内容来表现不同的物体，因而草图在两方面同传统的图片有着很大的不同之处：巨大的类内差异性(因为每个草图绘制者对于同样的东西都或多或少有着自己的主观理解)和较小的类间差异性(由于颜色或者纹理等这类重要视觉信息的缺失)。这就导致了即使是相同主题的草图依旧包含了大量不相似的区域特征。因此，“相似的图片往往包含了大量相似的区域特征”，这个在图片检索算法中被广泛使用的概念针对基于草图的检索方法而言并不准确，它对相似度的定义约束过于严格因而变得不够有效。 

因此，鉴于以上的分析可以发现，现有的基于草图的检索技术并不完善，还有待于改进和发展。本发明研究基于区域特征的检索方法，因为相比基于笔画分割的方法其适用性更高，并且集中解决了上述基于区域特征的检索方法中存在的两个问题。 

发明内容

本发明的目的在于提供一种基于内容自适应哈希编码的草图检索方法，旨在解决现有基于哈希编码的草图检索方法在提取视觉特征时并未兼顾草图自身内容分布特点，采用的方法会大大降低计算的有效性，且对草图之间相似度的计算方法比较薄弱，并不严格准确的问题。 

本发明的技术方案如下：一种基于内容自适应哈希编码的草图检索方法，其包括以下具体步骤： 

步骤A：基于外观约束和多样性约束，对被检索的草图或轮廓图根据其内容自适应地选取候选窗口用于特征提取，实现整个图像所包含的信息 被均匀地分布到每个窗口里； 

步骤B：基于关键点的显著性检测方法检测特征窗口的显著性； 

步骤C：基于局部敏感的哈希算法将草图或轮廓图的局部视觉特征、显著性以及结构空间特征结合起来，编制成特征哈希码； 

步骤D：将草图或轮廓图的特征哈希码进行索引，通过计算特征哈希码之间的汉明距离来度量草图之间的相似度，并将相似度高的结果返回给用户。 

所述的草图检索方法，其中，还可对图片和3D模型进行检索，在对图片和3D模型进行检索前，要对其进行预处理，把它们转化成轮廓线图像。 

所述的草图检索方法，其中，将图片和3D模型转化成轮廓线图像的方法分别为：对于图片要结合边缘提取算法以及图片的显著性检测算法计算出该图片的显著轮廓图；对于3D模型，依照基于视角的匹配算法计算出模型对应的轮廓投影图。 

所述的草图检索方法，其中，用于特征提取的候选窗口选取算法：首先为输入的草图设置初始化n*n的网格；再从网格中均匀采样m*m个初始种子；然后为每个网格中的窗口计算HOG特征h_i；最后计算全局HOG特征                                                   $H={\mathrm{\Σ}}_{i=1}^{n^2}{h}_i.$

所述的草图检索方法，其中，所述的外观约束记作C_app，具体表示为：C_app(h)：＝F_app(h)≥k_app×F_app(H) 

其中，   F_app是外观约束的目标方程，当F_app计算所得的值较高时，它表示该特征窗口所包含的视觉特征信息较多。 

所述的草图检索方法，其中，所述的多样性约束记作C_var，具体表示为： C_var(h):＝F_var(h)≤k_var×F_var(H) 

其中，    $F_{\mathrm{var}}\left(h\right)=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(b_i-F_{\mathrm{app}}\left(h\right))}^2,$ F_var是多样性约束的目标方程，如果F_var的值较低且F_app较高，则表明在窗口特征向量h中的每一个维度的值均较高。 

所述的草图检索方法，其中，基于关键点的显著性检测方法检测特征窗口的显著性的具体方法为：首先，使用Harris-Laplace检测器作为草图显著性提取工具，对于每个特征窗口w_i，定义其显著性k_i为： 

$k_i=1+\frac{\mathrm{Number}\left(S_i\right)}{\sqrt{\mathrm{Area}\left(w_i\right)}}$

其中，Number(S_i)表示在特征窗口w_i中使用Harris-Laplace检测器提取出的显著点个数；Area(w_i)是w_i包含像素点的个数。 

所述的草图检索方法，其中，编制成特征哈希码的方法为：令f_i为从特征窗口w_i中提取出的特征向量先将其二值化为向量   ；接着，遵循相似哈希算法的计算过程，根据每个窗口对应的   和k_i值计算得到该窗口的特征哈希码；然后，将草图分别在水平和垂直方向上一分为二，得到四个分隔的空间位置，对位于每个空间位置上的候选窗口分别进行哈希编码；最后，通过把四个空间位置上的哈希码依次首尾拼接从而得到表示整个草图的特征哈希码。 

所述的草图检索方法，其中，特征描述子还可选用尺度不变的特征描述子或局部线性Gabor特征描述子。 

所述的草图检索方法，其中，选用了未经归一化处理的HOG特征来描述每个子窗口所包含的视觉信息。 

本发明的有益效果：本发明通过在提取草图或轮廓图特征的过程中将其本身的内容分布状况考虑在内，使得所有的特征尽量均匀地分布到候选窗口内，且所提取出的特征向量更能表征单个草图其自身的特点。相比基于笔画分割的检索算法，这些特征受图片、3D模型轮廓图中包含的噪音和纹理等因素的影响较小；相比其它基于哈希的检索方法而言，本发明所提出的算法具有更高的精度、更广泛的适应性和更强的匹配能力。本方法的应用可以推广到其他以对特征信息进行哈希编码为关键技术的研究领域，具有普遍意义。 

附图说明

图1是使用本发明在多种数据集上进行检索的结果示意图。 

图2a、2b、2c是草图特征窗口选取策略示意图。 

图3a、3b、3c是草图显著窗口计算结果示意图。 

图4是草图区域特征哈希算法流程图。 

图5是计算图片轮廓图像中间结果示意图。 

图6a、6b是比较本方法不同组件性能的曲线图。 

图7a、7b是使用不同算法进行检索的性能比较曲线图。 

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。 

本发明所提出的基于草图的检索算法主要包含如下三个组成部分：结 合输入草图的自有特点，根据两类约束条件自适应地选取特征提取窗口；使用窗口所包含的关键点信息来自适应地检测每个特征窗口的显著性；把以上两类特征信息同草图的结构信息相结合，通过LSH算法将它们编制成哈希码以供创建特征索引。接下来，本说明书同样分成这几部分对本发明加以说明。 

如图2a所示，给定一个草图，首先将其分割成n*n的均匀网格。接着，如图2b所示，在这些网格的交叉点上均匀地选取m*m个点作为产生所有特征窗口的初始种子，然后，为处于草图(x，y)位置上的种子点定义为子窗口集合Δw(x，y，i)，Δw(x，y，i)表示了所有环绕在种子上的第i圈子窗口。如图2c所示，其中黑色圆点表示选取的种子点，则环绕该种子点最邻近的4个子窗口就是环绕该种子点的第1圈子窗口x，记为Δw(x，y，1)；环绕第1圈子窗口并与之最邻近的所有子窗口就是环绕该种子点的第2圈子窗口y，记为Δw(x，y，2)。 

为了给每一个初始种子最终产生合适大小的窗口w(x，y)，就需要依次迭代地把Δw(x，y，i)加入到w(x，y)，直到w(x，y)满足一定的条件约束表明其包含的特征信息已经充足，或者当w(x，y)变成一个非法的窗口时，例如窗口已经溢出整张草图的边缘或它变得过大(大于整张草图的四分之一)。 

因此，条件约束的选取和设计变得尤其重要，这直接关系到最终选取的特征窗口的好坏，如果约束过于严格则就会导致大部分的窗口所包含的特征信息不足；反之，特征窗口则会变得过大，以至于大量的区域被重复 地包含在多个窗口里，使得特征信息变得过分冗余，加大了后一步特征相似度比较的计算量。本发明提出了以下两种有效的约束策略。 

由于图像的HOG(Histogram of Oriented Gradients，梯度方向直方图)特征已经被广泛用于物体检测以及图像检索等计算机视觉研究领域且取得了很好的效果，因此，本方法选用了未经归一化处理的HOG特征来描述每个子窗口所包含的视觉信息。在标准的HOG特征计算过程中，往往采用归一化处理来去除光影对图像的影响，而草图均是由笔画和背景构成的黑白两色图像且不存在光照变换，因而使用未归一化的HOG特征并不影响特征提取的精度，而且得益于计算量的减少，从一定程度上加快了运算速度。记向量h＝{b₁，b₂，...b_n}为从窗口w(x，y)中提取出的HOG特征，Δh(x，y，i)为Δw(x，y，i)所对应窗口集合的HOG特征向量；记H为整张草图的HOG特征H向量，由于直方图是具有可加性的，因此当计算出草图中所有子窗口的HOG特征向量h_i后，可以通过将这些值累加直接得到全图的HOG直方图特征H，则其定义为   如下定义草图特征窗口的外观约束，记作C_app，其定义如下： 

C_app(h):＝F_app(h)≥k_app×F_app(H)················公式1 

其中，   F_app是外观约束的目标方程，本质上其计算了HOG特征h的均值。当F_app计算所得的值较高时，它表示该特征窗口所包含的视觉特征信息较多，相反，较低的F_app值则表示整个窗口几乎是空的。显然，约束条件C_app保证了每个特征窗口需要拥有足够丰富的视觉特征信 息。 

本方法提出的第二个约束称为多样性约束，记为C_var，其定义如下： 

C_var(h):＝F_var(h)≥k_var×F_var(H)····················公式2 

其中，    $F_{\mathrm{var}}\left(h\right)=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(b_i-F_{\mathrm{app}}\left(h\right))}^2,$ F_var是多样性约束的目标方程，其实际上是HOG特征h的方差。如果F_var的值较低且F_app较高的话，则表明在窗口特征向量h中的每一个维度的值均较高。因此，满足C_var约束的窗口将会包含更为多样化的特征，而不是单一方向的直线或线段等，这种多样性的特征在草图检索问题中已被证明是非常有用的。 

值得注意的是，参数k_app和k_var控制了草图全局HOG特征H对两种约束条件所产生的影响。通过具体实验发现将k_app和k_var分别设置为0.8和1将能够取得最好的检索性能。在定义了以上两类条件约束之后，以每个初始种子所在位置为起点，迭代地将周围的子窗口添加到其中直到每一处窗口都满足这两类条件约束，这样就完成了特征候选窗口的选取。遵循以上窗口选取策略的算法记为窗口条件约束选取算法，如下概括了上述整个算法的工作流程： 

步骤a：为输入草图初始化n*n的网格； 

步骤b：从网格中均匀采样m*m个初始种子； 

步骤c：为每个网格中的窗口计算HOG特征h_i； 

步骤d：计算全局HOG特征H。 

具体算法如下： 

由于上文提到了要“迭代地”使用“两个条件约束”来产生候选窗口，所以这里用伪代码提供了一种简单直观的实现方法示例，帮助使用者理解怎么使用两个条件约束。 

值得注意的是，约束C_app的目标方程F_app是可被增量化计算的，也就是说其满足等式： 

F_app(h+Δh)＝F_app(h)+F_app(Δh)·············公式3 

随着窗口不停地增长，只需要将增长部分子窗口所对应特征向量的F_app值加入到前一次迭代的结果中即可，而并不需要在每次迭代所得新窗口上重新计算F_app的值。因此，在每次迭代过程中验证特征窗口是否满足约束C_app是非常迅速的。尽管F_var并不能被增量化计算，但直到每个特征候选窗口在满足约束条件C_app之前其都不需要被计算，所以，总的来看，本方法的整个特征窗口的计算过程是相对快速的。 

在实验中可以看到，无论是选用尺度不变的特征描述子、局部线性Gabor特征描述子(Gabor Local Line-based Feature，GALIF)还是前文所述的HOG特征描述子，使用本发明上文提出的特征窗口选取策略均能够显著地提高检索的精度。 

在完成草图特征窗口的选取后，本方法还提出了一种检测每个窗口在输入草图中显著性的方法。对于草图而言，要表征其局部特点，使用基于特征点的显著性提取算法，例如多尺度高斯模型、Hessian算法以及Harris-Laplace检测器，要比使用基于区域的显著性提取算法来得更为有效。这是由于与包含连续区域的图片不同，一张草图通常包含了许多独立分开的线条与点。基于特征点的显著性提取算法正是被设计用来寻找图像中显著的点，所以非常适合于检测草图中的节点或者是拐点，这也是草图中所包含的关键信息所在。在本发明中，通过实验发现Harris-Laplace检测器在检测草图关键点时拥有着更好的性能，因此，使用其作为本发明的草图显著性提取方法。 

对于每个属于W的候选窗口w_i(其中W是由上文所述算法1返回的结果，是所有选取的特征窗口集合)，定义其显著性为k_i，根据如下公式计算可得： 

$k_i=1+\frac{\mathrm{Number}\left(S_i\right)}{\sqrt{\mathrm{Area}\left(w_i\right)}}$ ···············公式4 

其中，Number(S_i)表示在特征窗口w_i中使用Harris-Laplace检测器提取出的显著点个数；Area(w_i)是w_i包含像素点的个数。直观地来看，可得出：当一个窗口越小且包含越多的显著点的时候，该窗口就越显著。 

需要注意的是，为了防止特征窗口的显著性对于其大小、分辨率过于 敏感，上式采用窗口像素级面积的二次根号项来表征其大小。图3展示了为一张草图检测特征窗口显著性的中间结果，其中图3a是输入草图的示例；图3b中的空心圆点表示在此草图中使用Harris-Laplace检测器找出的所有关键点；图3c用方框标示出了通过公式4计算而得的前3个相互覆盖面积小于20％的最为显著的候选特征窗口。 

在计算候选特征窗口的视觉描述子以及其显著性之后，为了使得这些信息能够有效地被用于相似度比较以及索引之中，需要将这些内容有机地整合起来。基于哈希的相似度度量算法能够非常有效地检索大规模的数据集，同时保证极高的计算速度，因而，本发明使用了局部敏感的哈希算法来对提取出的特征进行编码，具体过程如下所述。本方法在实现过程中使用HOG作为窗口特征描述算法。 

令f_i为从特征窗口w_i中提取出的特征向量，则通过将f_i中前40％值最高的位设为1、其余的设置为-1，即可将f_i二值化为向量   。需要指出的是，得益于本算法提出的两种特征窗口选取约束条件，进而有效地保证了每个窗口能够包含足够多的特征信息，使得在二值化过程中，信息的损失被极大地降低。接着，本发明参照了相似哈希算法(Sim-hash)的计算过程，通过每个窗口对应的   和k_i值计算得到该窗口的特征哈希码。 

在实际计算中，将窗口显著性k_i作为   的权重。一张草图包含的空间信息在草图检索领域内已经被证明是非常有用的一类特征。因此，为了把草图中局部特征的空间关系包含到特征哈希码中，首先，将草图分别在水平和垂直方向上一分为二，得到四个分隔的空间位置，如图4中流程(a)所示。然后，按照上文所述的方法对位于每个空间位置上的候选窗口分别进行哈希编码，整个过程如图4中的流程(b)～(e)所示。最后，通过把四 个空间位置上的哈希码依次首尾拼接，如流程(f)所示，即可得到表示整个草图的特征哈希码了。给定任意两张草图、图片或3D模型投影的轮廓图像，它们特征哈希码之间的汉明距离(Hamming Distance)就是其相似度。 

以下部分介绍了本发明的具体实现细节，包括在检索之前对图片和3D模型的预处理过程、参数的具体设置、特征数据索引方案以及整个查询过程。 

草图通常是一种只包含轮廓线条的黑白图像，而图片往往包含了丰富的颜色和各式各样的纹理，3D模型则是一种在三维空间里的面片集合，显然，这三种数据的特征截然不同，无法直接对它们进行比较、检索。因此，在检索过程开始之间，为了能够让用户以草图作为输入来检索图片以及3D模型，需要对这两类信息进行预处理，将它们转化成类草图的轮廓图像。 

对于给定一副图片，首先使用Canny或其它图片边缘提取算法计算出整幅图片的轮廓图E_c，但是显然，该轮廓图像不可避免地包含了许多由于背景纹理所产生的错误边缘线条。为了找到图片表达的主体内容(也即该图片所希望被检索的部分)，需要使用图片的显著性检测算法将该部分内容标记出来，并把其对应的显著图记为S。接着，本方法还使用了最大值滤波器(Maximum Filter，MF)对S做了一次滤波处理，这样就能够稍加扩大图片的显著区域，避免由于算法的分割错误而导致图片主体内容的外轮廓丢失。最后，根据以下公式就能计算出该图片的显著轮廓图E了，计算过程如图5所示。 

对于给定的一个3D模型，本发明依照Mathias Eitz等人在论文“Sketch-Based Shape Retrieval”中所提出的基于视角的匹配(View-based matching)算法计算出模型对应的轮廓投影图。在计算过程中，为了保证投影提取结果的稳定性，本发明采用Lloyd松弛算法通过循环迭代，为每个3D模型从其对应的包围球面上均匀地采样出约14个投影视角。并且，启发性轮廓线(Suggestive Contours)被用来从模型投影图中提取出适当的轮 廓线条。 

之后，无论是依上述方法计算出的图片显著轮廓图还是3D模型的投影轮廓图，都用一个最小正方形包围盒将它们从原始结果中裁剪出来并缩放到160*160的分辨率，以此来减小图像尺寸大小及形变对检索结果产生的影响。接着，根据算法1的计算过程，将输入草图、图片或模型的轮廓图被分割成80*80的网格，从中均匀采样出15*15个种子。在每个特征子窗口中，计算包含8个方向的未归一化的HOG特征直方图作为约束条件中的h，因而每个特征向量包含了8个维度。之后所有的特征窗口都被缩放成了16*16的像素块，以便于接下来进行视觉特征提取。最后，由于之前未归一化的HOG特征直方图已被计算出来，对它们进行归一化后，HOG特征就能被用来描述每个特征窗口的特征向量f。 

给定任意的一个草图作为输入，度量数据库中所有草图、图片或模型的轮廓图和它之间特征哈希码的汉明距离，并由小到大排序，就能找到数据库中与该草图最相似的草图、图片或者3D模型。由于所有哈希码均是二值化的，因此仅借助简单的位移、与或运算就能非常迅速地计算出其之间的汉明距离，即使对特征数据不进行索引也能有着很高的检索速度。为了进一步加速检索性能，依照Norouzi等人提出的汉明空间哈希复索引算法(Fast Search in Hamming Space with Multi-Index Hashing)将其同本发明相结合，对特征数据进行了索引，这样就使得本方法能把每一次查询请求在次线性时间内完成。如下总结了本发明的整个检索方法的流程： 

首先，为数据库中的所有图片或者3D模型产生合适的轮廓图E；其次根据条件约束选取算法为所有轮廓图E产生候选特征窗口w；再为每个特征窗口w计算对应的HOG特征f以及显著性k；然后根据轮廓图E中的所有HOG特征f和显著性k为每个轮廓图E产生一个特征哈希码h；最后为所有的特征哈希码h创建索引I。 

根据检索过程的第二步至第四步为输入草图S计算出其特征哈希码h_s； 从索引I中计算出该次查询结果R并返回给用户 

为了支持以及验证本发明所提出的研究方法和关键技术，在三个被广泛使用的标准数据集上，将本方法分别同其它最新最前沿的基于草图的检索算法进行了性能比较。Magic Sketch数据集是由Liang等人建立的，其中总共包含了1100张草图，根据所绘内容它们分别被划分成55个类别。这些草图均以MPEG-CE1商标图像数据库、英国商标专利局的UK PTO商标数据库、冰箱电器元件图以及工程图纸为参考，选择其中有代表性的形状，由10个人绘制而得，该数据集被用来验证本方法所提出算法的各个组成部分的有效性。TU Berlin数据集是由Eitz等人所构建的，其中包含了31种不同的主题，每一个主题都拥有一张示例草图以及其对应的40张测试图片。该数据集是用来验证本方法被用于基于草图的图片检索任务时的有效性。PSB数据集同样是由Eitz等人所建立，其包含的每一张草图都易于识别，且对应于Princeton三维模型库(Princeton Shape Benchmark，PSB)中的一类3D模型。因此，该数据集可用于验证本方法被用于基于草图的3D模型检索任务时的有效性。 

为了评价本发明所提出的基于草图的检索技术的性能，本方法采用查全率(Recall)、查准率(Precision)和数据集基准得分(Benchmark Score)作为性能评价指标。为了更直观地评价已有方法，以曲线的形式(Precision-Recall曲线，PR曲线)给出查全率或查准率和候选图形结果集的大小之间的关系。随着返回结果数目的增多，查全率将逐渐增大而查准率则将逐步降低，这是由查准率和查全率的计算方法所决定。当返回结构数目的窗口增大时，查准率的分母越大，查准率越低；而对于查全率来说，窗口越大，返回的相关结果的个数就越多，查全率的分子就越大，查全率的值就越大。很明显，在查全率图和查准率图中，曲线越高则检索效果越好，因为在返回相同个数的候选矢量图形的情况下，曲线越高则代表相应的查全率或查准率越高；反之亦然。数据集基准得分是由Mathias Eitz等人在论文 “Sketch-Based Image Retrieval:Benchmark and Bag-of-Features Descriptors”中提出，是用于评价数据检索算法性能的另一种指标。该指标通过比较在使用同一检索数据集下给定的查询输入后，检索算法所得的排名结果和人工标注的真实结果间的Kendall等级相关系数来判断该检索算法的好坏。检索算法所得的基准得分越高，则表明该算法的检索结果越接近于人类的认知结果。除此以外，本发明还测试了检索算法完成一次检索任务所花费的时间，以评估所提出方案的运行时间性能。 

为了验证本算法所提出的用于选择特征窗口的两个约束C_app(公式1)和C_var(公式2)的有效性，首先，根据Konstantinos Bozas在论文“Large Scale Sketch Based Image Retrieval Using Patch Hashing”中提出的算法实现了一个使用重叠网格(Grid)进行特征提取的算法基准线。接着，将其同只使用约束C_app以及同时使用约束C_app和C_var的本算法进行了比较。为了验证本算法所提出的特征窗口显著性k_i的有效性，在以上的算法实现中k_i均被设置为1，并将它们同使用所有C_app、C_var和k_i的实现进行了比较。图6a显示了如上所述各类算法在Magic Sketch数据集上取得的检索性能，从中可以发现本算法提出的两个特征窗口选择约束是互补的，并且，移除C_app、C_var和k_i中任意一个组件都会使得本算法的检索性能有所降低。因此，本算法所提出的C_app、C_var和k_i是缺一不可的，每个组成部分均有其有效性。 

此外，为了进一步展示本方法的性能特点，将使用了SIFT、GALIF以及HOG特征描述子在均匀网格上进行特征提取后的检索算法实现分别同使用它们在本算法所选取出的特征提取区域上进行特征提取的算法实现进行了比较。图6b的PR曲线显示了上述算法实现在Magic Sketch数据集上的比较结果。从图中可以发现，无论使用何种特征描述子，在本算法所选取的特征提取区域上进行特征提取的结果均优于在均匀网格上的结果，从而证明了本方法对不同特征描述子的通用性。值得注意的是，得益于GALIF特征描述子使用了多方向、多尺度的特征采样策略来替代传统的直方图策略表 征视觉特征，因而从图中可以发现，结合本方法与GALIF特征描述子能够取得最佳的检索性能。但是，由于计算GALIF特征描述子会带来巨大的时间开销，因此，为了保证算法的可用性，在本方法的标准实现中，依旧使用HOG特征描述子来计算草图的视觉特征。 

在实验最后，将本算法还与其它最前沿的基于草图的检索算法进了比较。在TU Berlin数据集上，本算法同使用词袋模型(Bag-of-Words，BW)、关键形状(Key Shapes，KW)和最小哈希(Min-hash，MH)的检索算法进行了比较，数据集基准得分用于评判检索算法的性能，结果如表1所示。此外，在Magic Sketch数据集上，本算法同基于有偏SVM(BSVM)、几何空间关系(Spatial Relations，SR)以及几何空间邻近(Spatial Proximity，SP)的算法进行了比较；在PSB数据集上，本算法同基于扩散张量(Diffusion Tensor，DT)、网格SIFT(SIFT-Grid)和GALIF(GALIF-Grid)的检索算法进行了比较。在这两个数据集上，均使用标准的PR曲线来评价检索性能，结果分别如图7a和图7b所示。以上的实验结果均表明本方法相比于其它的检索算法有着更高的检索精度，性能更佳。参见图1，分别展示了本方法在不同数据集上的检索结果示例。 

表1不同算法的基准得分 

本发明所提出的基于草图的检索算法在Magic Sketch标准数据集上，约花费1.87秒完成一次草图检索任务。该结果是在配备了Intel 3.39GHz的四核CPU、16GB内存的台式电脑上实际测得的，实现代码使用MATLAB编程并 且未经过并行优化。值得注意的是，本方法在仍然能够满足基本实时性要求的前提下，相比其它算法有着更高的检索精度。 

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。 

Claims (10)

1.一种基于内容自适应哈希编码的草图检索方法，其特征在于，包括以下具体步骤： 

步骤A：基于外观约束和多样性约束，对被检索的草图或轮廓图根据其内容自适应地选取候选窗口用于特征提取，实现整个图像所包含的信息被均匀地分布到每个窗口里； 

步骤B：基于关键点的显著性检测方法检测特征窗口的显著性； 

步骤C：基于局部敏感的哈希算法将草图或轮廓图的局部视觉特征、显著性以及结构空间特征结合起来，编制成特征哈希码； 

步骤D：将草图或轮廓图的特征哈希码进行索引，通过计算特征哈希码之间的汉明距离来度量草图之间的相似度，并将相似度高的结果返回给用户。 

2.根据权利要求1所述的草图检索方法，其特征在于，还可对图片和3D模型进行检索，在对图片和3D模型进行检索前，要对其进行预处理，把它们转化成轮廓线图像。 

3.根据权利要求2所述的草图检索方法，其特征在于，将图片和3D模型转化成轮廓线图像的方法分别为：对于图片要结合边缘提取算法以及图片的显著性检测算法计算出该图片的显著轮廓图；对于3D模型，依照基于视角的匹配算法计算出模型对应的轮廓投影图。 

4.根据权利要求1所述的草图检索方法，其特征在于，用于特征提取的候选窗口选取算法：首先为输入的草图设置初始化n*n的网格；再从网格中均匀采样m*m个初始种子；然后为每个网格中的窗口计算HOG特征h_i；最后计算全局HOG特征                                                  

5.根据权利要求1或3所述的草图检索方法，其特征在于，所述的外观约束记作C_app，具体表示为：C_app(h)：＝F_app(h)≥k_app×F_app(H) 

其中，   F_app是外观约束的目标方程，当F_app计算所得的值较高时，它表示该特征窗口所包含的视觉特征信息较多。 

6.根据权利要求5所述的草图检索方法，其特征在于，所述的多样性约束记作C_var，具体表示为：C_var(h)：＝F_var(h)≤k_var×F_var(H) 

其中，F_var是多样性约束的目标方程，如果F_var的值较低且F_app较高，则表明在窗口特征向量h中的每一个维度的值均较高。 

7.根据权利要求1所述的草图检索方法，其特征在于，基于关键点的显著性检测方法检测特征窗口的显著性的具体方法为：首先，使用Harris-Laplace检测器作为草图显著性提取工具，对于每个特征窗口w_i，定义其显著性k_i为： 

其中，Number(S_i)表示在特征窗口w_i中使用Harris-Laplace检测器提 取出的显著点个数；Area(w_i)是w_i包含像素点的个数。 

8.根据权利要求1所述的草图检索方法，其特征在于，编制成特征哈希码的方法为：令f_i为从特征窗口w_i中提取出的特征向量先将其二值化为向量接着，遵循相似哈希算法的计算过程，根据每个窗口对应的和k_i值计算得到该窗口的特征哈希码；然后，将草图分别在水平和垂直方向上一分为二，得到四个分隔的空间位置，对位于每个空间位置上的候选窗口分别进行哈希编码；最后，通过把四个空间位置上的哈希码依次首尾拼接从而得到表示整个草图的特征哈希码。 

9.根据权利要求4所述的草图检索方法，其特征在于，特征描述子还可选用尺度不变的特征描述子或局部线性Gabor特征描述子。 

10.根据权利要求4所述的草图检索方法，其特征在于，选用了未经归一化处理的HOG特征来描述每个子窗口所包含的视觉信息。