CN103970771A - 一种人体的检索方法和*** - Google Patents

Abstract

本发明公开了一种人体的检索方法和***。包括：图片存在判断步骤，判断是否存在待查询人体的图片，如果存在进入第一检索步骤，否则进入第二检索步骤；第一检索步骤，使用待查询人体的人体底层表观特征对人体数据库中的人体进行筛选，生成第一检索结果；在第一检索结果中，使用待查询人体的人体高层属性特征的集合，对第一检索结果中的人体进行筛选，生成最终检索结果，检索结束；第二检索步骤，确定检索方式，根据检索方式使用待查询人体的人体高层属性特征对人体数据库中的人体进行筛选，生成人体数据库的最终检索结果，检索结束。本发明实现了更准确和更快速地进行人体检索。

Description

一种人体的检索方法和***

技术领域

本发明涉及计算机视觉领域，特别是涉及一种基于人体底层表观特征和人体高层属性特征的人体检索技术。

背景技术

近年来，随着譬如“7/7伦敦***案”和“莫斯科机场***案”等社会恐怖事件的出现，公共场所的安防问题被提升到一个新的高度。而监控摄像设备的普及，为预防和处理安防问题提供了一种新的途径，即通过检测同一个人在不同区域的出现频率和状态。一方面，在预防安防问题中，通过分析行人在不同位置上的出现频率和外观状况变化（比如：从有背包到丢包），可以找到可疑的、具有犯罪倾向的对象；另一方面，通过对发生犯罪的场所周围的监控摄像进行排查，搜索曾经出现过的行人的行走路线和出现时间，可以辅助搜索犯罪嫌疑人。由于视频数量非常庞大，通过人工查找的方法来处理这些问题变得非常困难；于是，设计自动的机器算法来在不同的时间、不同的摄像机和摄像环境下检索同一个人就成为了一个重点问题。除了安全防范之外，这种自动化的人体检索方法还可以应用于其它问题中，比如：搜索失踪或走失人员。

多摄像机网络的监控视频下的人体检索面临以下几方面的难点：首先，不同摄像机所处环境不同，不同时间光照情况不同，当行人在不同时间不同地点出现时，人体的表观受光照影响有较大差异；其次，不同摄像机下由于视角的差异导致外形差别较大，在无法将身体部分对齐的情况下，传统的基于人体底层表观特征的人体表观模型匹配准确性较差。在已有监控环境下的人体检索方面的研究中，已有工作大多数从设计区分能力较强的特征或者距离度量学习入手。但是，这些特征抽取方法往往只针对准正面的人体设计，而不适合进行跨视角的人体匹配；同时，利用人体底层表观特征的检索结果往往获得与待查询人体相似但明显不同的人体，例如：待查询人体为男性，搜索结果中的女性肯定不符合要求；最后，这些方法通常计算复杂性较高，不适合处理大量数据， 无法在线快速获取检索结果。

根据网络检索工具使用的一些经验，在大规模检索问题上，可以使用尽可能多的检索结果来提供充分的和被检索内容相似、相关的内容，但是在检索结果排序上要进行考究，尽可能让用户关注的检索结果处于比较靠前的位置上。

发明内容

本发明的主要目的是针对现有的基于示例的人体（待查询人体）的人体检索技术中人体底层表观特征匹配的不准确、实时性差等问题，提出了一种基于人体底层表观特征和人体高层属性特征的人体的检索方法和***，在通过传统人体底层表观特征进行检索的结果中，使用视角鲁棒的人体高层属性特征过滤掉一些与待查询人体的人体高层属性特征不同的检索结果，和/或根据人体高层属性特征的匹配程度对检索结果进行重新排序，来获得更加准确的检索结果。

本发明提供了一种人体的检索方法，包括：

图片存在判断步骤，判断是否存在待查询人体的图片，如果存在进入第一检索步骤，否则进入第二检索步骤；

第一检索步骤，使用所述待查询人体的人体底层表观特征对人体数据库中的人体进行筛选，生成第一检索结果；在所述第一检索结果中，使用所述待查询人体的人体高层属性特征的集合，对所述第一检索结果中的人体进行筛选，生成最终检索结果，检索结束；

第二检索步骤，确定检索方式，根据所述检索方式使用所述待查询人体的所述人体高层属性特征对人体数据库中的人体进行筛选，生成所述人体数据库的最终检索结果，检索结束。

所述第一检索步骤进一步为：

第一检索结果生成子步骤，计算所述人体数据库中的人体与所述待查询人体的所述人体底层表观特征的第一相似度，根据所述第一相似度对所述人体数据库中的人体进行筛选，生成所述第一检索结果；

第二检索结果生成子步骤，计算所述第一检索结果中的所述人体与所述待查询人体的每种人体高层属性特征的第二相似度，根据每种所述第二相似度对所述第一检索结果中的人体进行筛选，生成所述第二检索结果；

最终检索结果生成子步骤，计算所述第二检索结果中的所述人体和所述待查询人体的所述人体高层属性特征的集合的第一总属性距离，根据所述总属性距离对所述第二检索结果中的人体进行筛选，生成第三检索结果；使用所述第三检索结果中的所述人体的所述第一相似度和全部所述人体高层属性特征的第二相似度，计算所述第三检索结果中的所述人体的总相似度，根据所述总相似度对所述第三检索结果中的人体进行筛选，生成所述最终检索结果；其中，所述第一总属性距离为：所述第二检索结果中的所述人体的全部所述人体高层属性特征分别与所述待查询人体的所述人体高层属性特征的差的绝对值和的平均值。

所述第二检索步骤进一步为：

根据所述待查询人体的所述人体高层属性特征的数值类型确定检索方式，根据所述检索方式使用所述待查询人体的所述人体高层属性特征对人体数据库中的人体进行筛选，生成所述人体数据库的最终检索结果。

所述根据待查询人体的所述人体高层属性特征的数值类型确定检索方式进一步为：当所述数值类型为二值输出时，针对每种所述人体高层属性特征，对所述人体数据库中的所述人体建立倒排索引，采用一个或多个所述倒排索引的结果作为所述最终检索结果；当所述数值类型为概率输出时，计算所述人体数据库中的所述人体和所述待查询人体的所述人体高层属性特征的集合的第二总属性距离，根据所述第二总属性距离对所述人体数据库中的所述人体进行筛选，生成所述最终检索结果；其中，所述第二总属性距离为：所述人体数据库中的所述人体的全部所述人体高层属性特征分别与所述待查询人体的所述人体高层属性特征的差的绝对值和的平均值。

使用离线训练的人体属性分类器提取所述人体高层属性特征。

本发明还提供了一种人体的检索***，包括：

图片存在判断模块，用于判断是否存在待查询人体的图片，如果存在进入第一检索模块，否则进入第二检索模块；

第一检索模块，用于使用所述待查询人体的人体底层表观特征对人体数据库中的人体进行筛选，生成第一检索结果；在所述第一检索结果中，使用所述待查询人体的人体高层属性特征的集合，对所述第一检索结果中的人体进行筛选，生成最终检索结果，检索结束；

第二检索模块，用于确定检索方式，根据所述检索方式使用所述待查询人体的所述人体高层属性特征对人体数据库中的人体进行筛选，生成所述人体数据库的最终检索结果，检索结束。

所述第一检索模块进一步为：

第一检索结果生成子模块，用于计算所述人体数据库中的人体与所述待查询人体的所述人体底层表观特征的第一相似度，根据所述第一相似度对所述人体数据库中的人体进行筛选，生成所述第一检索结果；

第二检索结果生成子模块，用于计算所述第一检索结果中的所述人体与所述待查询人体的每种人体高层属性特征的第二相似度，根据每种所述第二相似度对所述第一检索结果中的人体进行筛选，生成所述第二检索结果；

最终检索结果生成子模块，用于计算所述第二检索结果中的所述人体和所述待查询人体的所述人体高层属性特征的集合的第一总属性距离，根据所述第一总属性距离对所述第二检索结果中的人体进行筛选，生成第三检索结果；使用所述第三检索结果中的所述人体的所述第一相似度和全部所述人体高层属性特征的第二相似度，计算所述第三检索结果中的所述人体的总相似度，根据所述总相似度对所述第三检索结果中的人体进行筛选，生成所述最终检索结果；其中，所述第一总属性距离为：所述第二检索结果中的所述人体的全部所述人体高层属性特征分别与所述待查询人体的所述人体高层属性特征的差的绝对值和的平均值。

所述第二检索模块进一步为：

根据所述待查询人体的所述人体高层属性特征的数值类型确定检索方式，根据所述检索方式使用所述待查询人体的所述人体高层属性特征对人体数据库中的人体进行筛选，生成所述人体数据库的最终检索结果。

所述根据待查询人体的所述人体高层属性特征的数值类型确定检索方式进一步为：当所述数值类型为二值输出时，针对每种所述人体高层属性特征，对所述人体数据库中的所述人体建立倒排索引，采用一个或多个所述倒排索引的结果作为所述最终检索结果；当所述数值类型为概率输出时，计算所述人体数据库中的所述人体和所述待查询人体的所述人体高层属性特征的集合的第二总属性距离，根据所述第二总属性距离对所述人体数据库中的所述人体进行筛选，生成所述最终检索结果；其中，所述第二总属性距离为：所述人体数据 库中的所述人体的全部所述人体高层属性特征分别与所述待查询人体的所述人体高层属性特征的差的绝对值和的平均值。

使用离线训练的人体属性分类器提取所述人体高层属性特征。

本发明的有益效果在于：

（1）利用基于人体高层属性特征的人体图像索引可以在较短的时间内完成检索，使得在线人体检索和大规模人体检索成为可能。

（2）使用人体高层属性特征对通过人体底层表观特征的检索结果进行过滤和/或重排序，减少了无关搜索结果的数量，提高了相关人体的结果排名，降低了用户查询负担。

（3）结合人体底层表观特征和人体高层属性特征来表示人体，获得了一种比较完备的人体表示，检索结果和待查询人体具有充分的一致性，提升了检索***的准确性。

（4）在没有待查询人体图像的情况下，可以利用人体高层属性特征的描述进行人体检索，去除对于待查询人体图像的依赖性。

附图说明

图1为本发明的一种人体的检索方法的示意图。

图2为本发明的一种人体的检索***的示意图。

图3为利用人体底层表观特征进行检索得到的结果。

图4、图5、图6和图7为逐步增加人体高层属性特征进行过滤的结果。

图8和图9为给定待查询人体的人体高层属性特征的值后进行过滤的结果。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，下面参照附图并举实施例，对本发明做进一步详细说明。

本发明以智能视频监控为应用背景，给定输入监控视频数据，使用一个在线的人体检测器检测视频中每一帧出现的行人，并记录下行人出现的图像位置，然后，离线地计算这些检测到的行人的人体底层表观特征和人体高层属性特征，将行人的图像位置、人体底层表观特征和人体高层属性特征存储到人体 数据库，该行人为人体数据库中一个检测到的人体。

图1为本发明的一种人体的检索方法的示意图。包括：图片存在判断步骤（S10）、第一检索步骤（S20）和第二检索步骤（S30）。其中，

图片存在判断步骤（S10），判断是否存在待查询人体的图片，如果存在进入第一检索步骤，否则进入第二检索步骤。

第一检索步骤（S20），使用待查询人体的人体底层表观特征对人体数据库中的人体进行筛选，生成第一检索结果；在第一检索结果中，使用待查询人体的人体高层属性特征的集合，对第一检索结果中的人体进行筛选，生成最终检索结果，检索结束。包括：

第一检索结果生成子步骤（S201），计算人体数据库中的人体与待查询人体的人体底层表观特征的第一相似度，根据第一相似度对人体数据库中的人体进行筛选，生成第一检索结果；

第二检索结果生成子步骤(S202)，计算第一检索结果中的人体与待查询人体的每种人体高层属性特征的第二相似度，根据每种第二相似度对第一检索结果中的人体进行筛选，生成第二检索结果；

最终检索结果生成子步骤(S203)，计算第二检索结果中的人体和待查询人体的人体高层属性特征的集合的第一总属性距离，根据第一总属性距离对第二检索结果中的人体进行筛选，生成第三检索结果；使用第三检索结果中的人体的第一相似度和全部人体高层属性特征的第二相似度，计算第三检索结果中的人体的总相似度，根据总相似度对第三检索结果中的人体进行筛选，生成最终检索结果；其中，第一总属性距离为：第二检索结果中的人体的全部人体高层属性特征分别与待查询人体的人体高层属性特征的差的绝对值和的平均值。

第二检索步骤（S30），确定检索方式，根据检索方式使用待查询人体的人体高层属性特征对人体数据库中的人体进行筛选，生成人体数据库的最终检索结果，检索结束。

根据待查询人体的人体高层属性特征的数值类型确定检索方式，根据检索方式使用待查询人体的人体高层属性特征对人体数据库中的人体进行筛选，生成人体数据库的最终检索结果。

根据待查询人体的人体高层属性特征的数值类型确定检索方式进一步为：当数值类型为二值输出时，针对每种人体高层属性特征，对人体数据库中的人 体建立倒排索引，采用一个或多个倒排索引的结果作为最终检索结果；当数值类型为概率输出时，计算人体数据库中的人体和待查询人体的人体高层属性特征的集合的第二总属性距离，根据第二总属性距离对人体数据库中的人体进行筛选，生成最终检索结果；其中，第二总属性距离为：人体数据库中的人体的全部人体高层属性特征分别与待查询人体的人体高层属性特征的差的绝对值和的平均值。其中，使用离线训练的人体属性分类器提取人体高层属性特征。

下面结合图3、图4、图5、图6、图7、图8和图9对本发明进行详细说明。

图片存在判断步骤（S10），判断是否存在待查询人体的图片，如果存在进入第一检索步骤，否则进入第二检索步骤。

在第一检索步骤（S20）的第一检索结果生成子步骤（S201）中，人体底层表观特征使用颜色直方图来表示，具体来说，对于待查询人体和人体数据库中的人体，分别用一个人体检测框来表示，将其对应的人体检测框内的每个像素的颜色值转换到HSV空间；再将人体检测框进行分块处理。分块处理，也就是将人体检测框平均划分为m*n的棋盘格块，最好为6*6的棋盘格块，再计算每个块对应的HSV颜色直方图，其中，每个颜色通道（H颜色通道、S颜色通道或V颜色通道）被量化为p个离散量级，最好为8个离散量级。颜色直方图记录了格块中每个颜色通道在其每个离散量级的出现频率（即格块中分布在每个颜色通道的每个离散量级的像素点的数量）。其中，m、n和p为自然数。

举例说明生成格块HSV颜色直方图的方法。对一帧720*576的图像划分成6*6的棋盘格块，那么每个格块的大小为120*96，即每个格块有11520个像素点。对图像的（i，j）格块进行如下处理来计算每种颜色通道的颜色直方图，其中，i、j为1至6中的自然数：

步骤1，获得格块的每个像素点的H、S和V颜色通道的像素值；

步骤2，将像素点的每种颜色通道的像素值换算成对应的颜色通道的离散量级；

步骤3：针对每种颜色通道，分别统计8个离散量级中每个离散量级对应的像素点的数量，每种颜色通道对应的8个离散量级对应的像素点的数量构成该种颜色通道的颜色直方图，是一个8元组。例如：待查询人体的人体检测框 的（i，j）格块的H颜色通道的颜色直方图为（X_h1,X_h2,X_h3,X_h4,X_h5,X_h6,X_h7,X_h8），人体数据库中的人体检测框的（i，j）格块的H颜色通道的颜色直方图为（Y_h1,Y_h2,Y_h3,Y_h4,Y_h5,Y_h6,Y_h7,Y_h8），S颜色通道的颜色直方图和V颜色通道的颜色直方图依此类推。

在第一检索步骤（S20）的第一检索结果生成子步骤（S201）的具体实现过程如下：根据待查询人体和人体数据库中的人体的人体底层表观特征，使用距离度量函数（例如：欧式距离或者余弦角度距离）来计算待查询人体和人体数据库中的人体的人体底层表观特征（颜色直方图）之间的第一相似度，并根据第一相似度从大到小将人体数据库中的人体进行排序，生成人体数据库的第一检测结果。

以距离度量函数的欧式距离为例，说明使用距离度量函数来计算待查询人体和人体数据库中的人体的人体底层表观特征（颜色直方图）的第一相似度的过程。其中，待查询人体的人体检测框的（i，j）格块的H颜色通道的颜色直方图为（X_h1,X_h2,X_h3,X_h4,X_h5,X_h6,X_h7,X_h8），人体检测框的（i，j）格块的S颜色通道的颜色直方图为（X_s1,X_s2,X_s3,X_s4,X_s5,X_s6,X_s7,X_s8），人体检测框的（i，j）格块的V颜色通道的颜色直方图为（X_v1,X_v2,X_v3,X_v4,X_v5,X_v6,X_v7,X_v8）；人体数据库中的人体的人体检测框的（i，j）格块的H颜色通道的颜色直方图为（Y_h1,Y_h2,Y_h3,Y_h4,Y_h5,Y_h6,Y_h7,Y_h8），人体检测框的（i，j）格块的S颜色通道的颜色直方图为（Y_s1,Y_s2,Y_s3,Y_s4,Y_s5,Y_s6,Y_s7,Y_s8），人体检测框的（i，j）格块的V颜色通道的颜色直方图为（Y_v1,Y_v2,Y_v3,Y_v4,Y_v5,Y_v6,Y_v7,Y_v8）。

那么，待查询人体和人体数据库中的人体的人体检测框的（i，j）格块的3种颜色通道的欧式距离为：

H颜色通道的距离d_Lh（公式1）：

$\sqrt{{(X_{h1}-Y_{h1})}^2+{(X_{h2}-Y_{h2})}^2+{(X_{h3}-Y_{h3})}^2+{(X_{h4}-Y_{h4})}^2+{(X_{h5}-Y_{h5})}^2+{(X_{h6}-Y_{h6})}^2+{(X_{h7}-Y_{h7})}^2+{(X_{h8}-Y_{h8})}^2},$

S颜色通道的距离d_Ls（公式2）：

$\sqrt{{(X_{s1}-Y_{s1})}^2+{(X_{s2}-Y_{s2})}^2+{(X_{s3}-Y_{s3})}^2+{(X_{s4}-Y_{s4})}^2+{(X_{s5}-Y_{s5})}^2+{(X_{s6}-Y_{s6})}^2+{(X_{s7}-Y_{s7})}^2+{(X_{s8}-Y_{s8})}^2},$

V颜色通道的距离d_Lv（公式3）：

$\sqrt{{(X_{v1}-Y_{v1})}^2+{(X_{v2}-Y_{v2})}^2+{(X_{v3}-Y_{v3})}^2+{(X_{v4}-Y_{v4})}^2+{(X_{v5}-Y_{v5})}^2+{(X_{v6}-Y_{v6})}^2+{(X_{v7}-Y_{v7})}^2+{(X_{v8}-Y_{v8})}^2},$

待查询人体和人体数据库中的人体的人体检测框的人体底层表观特征的总距离D_L（公式4）：

$D_L=w_{\mathrm{Lh}}\underset{i=1}{\overset{m*n}{\mathrm{\Σ}}}{d}_{\mathrm{Lhi}}+w_{\mathrm{Ls}}\underset{i=1}{\overset{m*n}{\mathrm{\Σ}}}{d}_{\mathrm{Lsi}}+w_{\mathrm{Lv}}\underset{i=1}{\overset{m*n}{\mathrm{\Σ}}}{d}_{\mathrm{Lvi}},$

其中，w_Lh、w_Ls和w_Lv分别为d_Lh、d_Ls和d_Lv权重，不小于0的实数，且w_Lh+w_Ls+w_Lv=1；i为1至m*n之间的自然数。

待查询人体和人体数据库中的人体的人体底层表观特征之间的第一相似度S₁为（公式5）：

S₁＝1/D_L。

根据S₁对人体数据库中的人体进行排序，生成人体数据库的第一检索结果。其中，排序方式为从大到小。

图3为利用人体底层表观特征进行检索得到的结果，即第一检索结果。

在第一检索步骤（S20）的第二检索结果生成子步骤（S202）中，对于人体高层属性特征的提取，本发明使用多个离线训练的人体属性分类器来做人体高层属性特征的分类。其中，对于每种人体高层属性特征的所有可能值，训练一个分类器，训练数据的正例来自于人体高层属性特征标注为正的上述人体检测框，负例来自于人体高层属性特征标注为其他值的上述人体检测框，人体属性分类器的输入特征为人体检测框的梯度方向直方图（HOG）。本发明的一实施例中，使用性别、年龄、上下半身衣服款式、背包类型作为人体高层属性特征，采用SVM（Support Vector Machine）分类器作为人体属性分类器。图像的（i，j）格块的梯度方向直方图（HOG）的计算方法与颜色直方图的计算方法类似，不同之处在于：在上述颜色直方图的计算方法的步骤1中获得格块的每个像素点的梯度方向值，再对梯度方向值进行后续的步骤2和3的操作。作为人体属性分类器的输入特征的人体检测框的梯度方向直方图（HOG）是根据m*n个格块的梯度方向直方图（HOG）生成的。

在第一检索步骤（S20）的第二检索结果生成子步骤（S202）的具体实现过程如下：根据待查询人体和第一检索结果中的人体的人体高层属性特征（使用人体属性分类器计算的人体高层属性特征），使用距离度量函数来计算待查询人体和第一检索结果中的人体的每种人体高层属性特征的第二相似度；过滤掉人体高层属性特征的第二相似度小于人体高层属性特征的第一阈值的第一检索结果中的人体，生成人体数据库的第二检索结果（在本发明的实验里，第一检测结果中与待查询人体具有不同人体底层表观特征的人体中，50%以上的 人体能够被作为误检而过滤掉）。

以距离度量函数的欧式距离为例，说明计算第一检索结果中的人体的人体高层属性特征和待查询人体的第二相似度的过程。计算人体高层属性特征距离d_H，d_H=（待查询人体的人体属性分类器的输出结果-第一检索结果中的人体的人体属性分类器的输出结果）的绝对值（公式6）。根据距离d_H计算第一检索结果中的人体的人体高层属性特征和待查询人体的人体高层属性特征的第二相似度s_H，s_H=1/d_H（公式7）。如果人体高层属性特征的第二相似度小于人体高层属性特征的第一阈值，则将其从第一检索结果中过滤掉，生成人体数据库的第二检索结果。

在第一检索步骤（S20）的最终检索结果生成子步骤（S203）的具体实现过程如下：计算第二检索结果中的人体与待查询人体之间的第一总属性距离；过滤掉第一总属性距离大于第二阈值的第二检索结果中的人体，生成人体数据库的第三检索结果；使用每个第三检索结果中的人体的第一相似度和全部所述人体高层属性特征的第二相似度计算总相似度，根据总相似度对第三检索结果中的人体进行排序获得最终检索结果。

首先，计算第二检索结果中的人体与待查询人体之间的第一总属性距离。第二检索结果中的人体和待查询人体的第一总属性距离为：全部人体高层属性特征距离d_H的和的平均值。

接着，过滤掉第一总属性距离大于第二阈值的第二检索结果中的人体，生成第三检索结果。

然后，计算第三检索结果中的人体与待查询人体的总相似度S₂。计算方法为：人体底层表观特征的第一相似度与全部人体高层属性特征的第二相似度和的线性加权和，即（公式8），其中q为人体高层属性特征的种类数，w₁和w₂分别为第一相似度和第二相似度和的权重，w₁+w₂=1，w₁和w₂为不小于0的实数，q为自然数。在本发明的一实施例中，w₁和w₂相等为0.5。

最后，根据总相似度S₂对第三检索结果中的人体进行排序获得最终检索结果。其中，排序方式为从大到小。

图4、图5、图6和图7为逐步增加人体高层属性特征进行过滤的结果。其中，图4的待查询人体的人体高层属性特征为“男性”，图5的待查询人体的 人体高层属性特征为“男性”和“短袖”，图6的待查询人体的人体高层属性特征为“男性”、“短袖”和“长裤”，图7的待查询人体的人体高层属性特征为“男性”、“短袖”、“长裤”和“背包”。

第二检索步骤（S30）的具体实现过程如下：针对没有待查询人体图片的情况，需要给定待查询人体的人体高层属性特征，根据人体高层属性特征的数值类型采用不同的检索方式，若数值类型为二值输出，则根据每种人体高层属性特征，为人体数据库中的人体建立倒排索引，并采用一种或多种人体高层属性特征的倒排索引的结果作为最终检索结果；若数值类型为概率输出，则对人体数据库中的人体图像进行第二总属性距离计算，并根据第二总属性距离从小到大对人体数据库中的人体进行排序。

其中，人体数据库中的人体的人体高层属性特征的提取方法与在第一检索步骤（S20）的第二检索结果生成子步骤（S202）的相同。

人体数据库中的人体和待查询人体的第二总属性距离为：人体数据库中的人体的全部人体高层属性特征分别与待查询人体的相应的人体高层属性特征的差的绝对值和的平均值。

图8和图9为给定待查询人体的人体高层属性特征后对人体数据库中的人体进行过滤的结果。其中，图8的待查询人体的人体高层属性特征为“红色上衣”和“黑色裤子”，图9的待查询人体的人体高层属性特征为“白色上衣”、“黑色裤子”和“女性”。

图2为本发明的一种人体的检索***的示意图。包括：图片存在判断模块（M1）、第一检索模块（M2）和第二检索模块（M3）。其中，

图片存在判断模块（M1），用于判断是否存在待查询人体的图片，如果存在进入第一检索模块（M2），否则进入第二检索模块（M3）。

第一检索模块（M2），用于使用待查询人体的人体底层表观特征对人体数据库中的人体进行筛选，生成第一检索结果；在第一检索结果中，使用待查询人体的人体高层属性特征的集合，对第一检索结果中的人体进行筛选，生成最终检索结果，检索结束。包括：

第一检索结果生成子模块（M21），用于计算人体数据库中的人体与待查询人体的人体底层表观特征的第一相似度，根据第一相似度对人体数据库中的人体进行筛选，生成第一检索结果；

第二检索结果生成子模块(M22)，用于计算第一检索结果中的人体与待查询人体的每种人体高层属性特征的第二相似度，根据每种第二相似度对第一检索结果中的人体进行筛选，生成第二检索结果；

最终检索结果生成子模块(M23)，用于计算第二检索结果中的人体和待查询人体的人体高层属性特征的集合的第一总属性距离，根据第一总属性距离对第二检索结果中的人体进行筛选，生成第三检索结果；使用第三检索结果中的人体的第一相似度和全部人体高层属性特征的第二相似度，计算第三检索结果中的人体的总相似度，根据总相似度对第三检索结果中的人体进行筛选，生成最终检索结果；其中，第一总属性距离为：第二检索结果中的人体的全部人体高层属性特征分别与待查询人体的人体高层属性特征的差的绝对值和的平均值。

第二检索模块（M3），用于确定检索方式，根据检索方式使用待查询人体的人体高层属性特征对人体数据库中的人体进行筛选，生成人体数据库的最终检索结果，检索结束。

根据待查询人体的人体高层属性特征的数值类型确定检索方式，根据检索方式使用待查询人体的人体高层属性特征对人体数据库中的人体进行筛选，生成人体数据库的最终检索结果。

根据待查询人体的人体高层属性特征的数值类型确定检索方式进一步为：当数值类型为二值输出时，针对每种人体高层属性特征，对人体数据库中的人体建立倒排索引，采用一个或多个倒排索引的结果作为最终检索结果；当数值类型为概率输出时，计算人体数据库中的人体和待查询人体的人体高层属性特征的集合的第二总属性距离，根据第二总属性距离对人体数据库中的人体进行筛选，生成最终检索结果；其中，第二总属性距离为：人体数据库中的人体的全部人体高层属性特征分别与待查询人体的人体高层属性特征的差的绝对值和的平均值。

其中，使用离线训练的人体属性分类器提取人体高层属性特征。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，任何所属技术领域的技术人员，若在不脱离本发明所提出技术特征的范围内，利用本发明所公开的技术内容所作出局部更动或修改的等效实施例，并且未脱离本发明的技术特征内容，均仍属于本发明技术特征的范围内。

Claims (10)

1.一种人体的检索方法，其特征在于，包括：

图片存在判断步骤，判断是否存在待查询人体的图片，如果存在进入第一检索步骤，否则进入第二检索步骤；

第一检索步骤，使用所述待查询人体的人体底层表观特征对人体数据库中的人体进行筛选，生成第一检索结果；在所述第一检索结果中，使用所述待查询人体的人体高层属性特征的集合，对所述第一检索结果中的人体进行筛选，生成最终检索结果，检索结束；

第二检索步骤，确定检索方式，根据所述检索方式使用所述待查询人体的所述人体高层属性特征对人体数据库中的人体进行筛选，生成所述人体数据库的最终检索结果，检索结束。

2.如权利要求1所述的人体的检索方法，其特征在于，所述第一检索步骤进一步为：

第一检索结果生成子步骤，计算所述人体数据库中的人体与所述待查询人体的所述人体底层表观特征的第一相似度，根据所述第一相似度对所述人体数据库中的人体进行筛选，生成所述第一检索结果；

第二检索结果生成子步骤，计算所述第一检索结果中的所述人体与所述待查询人体的每种人体高层属性特征的第二相似度，根据每种所述第二相似度对所述第一检索结果中的人体进行筛选，生成所述第二检索结果；

最终检索结果生成子步骤，计算所述第二检索结果中的所述人体和所述待查询人体的所述人体高层属性特征的集合的第一总属性距离，根据所述第一总属性距离对所述第二检索结果中的人体进行筛选，生成第三检索结果；使用所述第三检索结果中的所述人体的所述第一相似度和全部所述人体高层属性特征的第二相似度，计算所述第三检索结果中的所述人体的总相似度，根据所述总相似度对所述第三检索结果中的人体进行筛选，生成所述最终检索结果；其中，所述第一总属性距离为：所述第二检索结果中的所述人体的全部所述人体高层属性特征分别与所述待查询人体的所述人体高层属性特征的差的绝对值和的平均值。

3.如权利要求1所述的人体的检索方法，其特征在于，所述第二检索步骤进一步为：

根据所述待查询人体的所述人体高层属性特征的数值类型确定检索方式，根据所述检索方式使用所述待查询人体的所述人体高层属性特征对人体数据库中的人体进行筛选，生成所述人体数据库的最终检索结果。

4.如权利要求3所述的人体的检索方法，其特征在于，所述根据待查询人体的所述人体高层属性特征的数值类型确定检索方式进一步为：当所述数值类型为二值输出时，针对每种所述人体高层属性特征，对所述人体数据库中的所述人体建立倒排索引，采用一个或多个所述倒排索引的结果作为所述最终检索结果；当所述数值类型为概率输出时，计算所述人体数据库中的所述人体和所述待查询人体的所述人体高层属性特征的集合的第二总属性距离，根据所述第二总属性距离对所述人体数据库中的所述人体进行筛选，生成所述最终检索结果；其中，所述第二总属性距离为：所述人体数据库中的所述人体的全部所述人体高层属性特征分别与所述待查询人体的所述人体高层属性特征的差的绝对值和的平均值。

5.如权利要求1所述的人体的检索方法，其特征在于，使用离线训练的人体属性分类器提取所述人体高层属性特征。

6.一种人体的检索***，其特征在于，包括：

图片存在判断模块，用于判断是否存在待查询人体的图片，如果存在进入第一检索模块，否则进入第二检索模块；

第一检索模块，用于使用所述待查询人体的人体底层表观特征对人体数据库中的人体进行筛选，生成第一检索结果；在所述第一检索结果中，使用所述待查询人体的人体高层属性特征的集合，对所述第一检索结果中的人体进行筛选，生成最终检索结果，检索结束；

第二检索模块，用于确定检索方式，根据所述检索方式使用所述待查询人体的所述人体高层属性特征对人体数据库中的人体进行筛选，生成所述人体数据库的最终检索结果，检索结束。

7.如权利要求6所述的人体的检索***，其特征在于，所述第一检索模块进一步为：

第一检索结果生成子模块，用于计算所述人体数据库中的人体与所述待查询人体的所述人体底层表观特征的第一相似度，根据所述第一相似度对所述人体数据库中的人体进行筛选，生成所述第一检索结果；

第二检索结果生成子模块，用于计算所述第一检索结果中的所述人体与所述待查询人体的每种人体高层属性特征的第二相似度，根据每种所述第二相似度对所述第一检索结果中的人体进行筛选，生成所述第二检索结果；

最终检索结果生成子模块，用于计算所述第二检索结果中的所述人体和所述待查询人体的所述人体高层属性特征的集合的第一总属性距离，根据所述总属性距离对所述第二检索结果中的人体进行筛选，生成第三检索结果；使用所述第三检索结果中的所述人体的所述第一相似度和全部所述人体高层属性特征的第二相似度，计算所述第三检索结果中的所述人体的总相似度，根据所述总相似度对所述第三检索结果中的人体进行筛选，生成所述最终检索结果；其中，所述第一总属性距离为：所述第二检索结果中的所述人体的全部所述人体高层属性特征分别与所述待查询人体的所述人体高层属性特征的差的绝对值和的平均值。

8.如权利要求6所述的人体的检索***，其特征在于，所述第二检索模块进一步为：

根据所述待查询人体的所述人体高层属性特征的数值类型确定检索方式，根据所述检索方式使用所述待查询人体的所述人体高层属性特征对人体数据库中的人体进行筛选，生成所述人体数据库的最终检索结果。

9.如权利要求8所述的人体的检索***，其特征在于，所述根据待查询人体的所述人体高层属性特征的数值类型确定检索方式进一步为：当所述数值类型为二值输出时，针对每种所述人体高层属性特征，对所述人体数据库中的所述人体建立倒排索引，采用一个或多个所述倒排索引的结果作为所述最终检索结果；当所述数值类型为概率输出时，计算所述人体数据库中的所述人体和所述待查询人体的所述人体高层属性特征的集合的第二总属性距离，根据所述第二总属性距离对所述人体数据库中的所述人体进行筛选，生成所述最终检索结果；其中，所述第二总属性距离为：所述人体数据库中的所述人体的全部所述人体高层属性特征分别与所述待查询人体的所述人体高层属性特征的差的绝对值和的平均值。

10.如权利要求6所述的人体的检索方法，其特征在于，使用离线训练的人体属性分类器提取所述人体高层属性特征。