CN101406390B - 检测人体部位和人的方法和设备以及对象检测方法和设备 - Google Patents

Abstract

提供一种通过使用差分图像作为特征图像来检测人体部位和人的方法和设备。所述方法包括：计算被检测图像的差分图像；基于计算的被检测图像的差分图像使用与第一人体部位相应的第一人体部位模型检测所述第一人体部位，其中，所述第一人体部位模型是通过对所述第一人体部位的正样本和负样本的差分图像提取的特征集进行学习而得到的。

Description

检测人体部位和人的方法和设备以及对象检测方法和设备

技术领域

本发明涉及对象检测方法和设备，更具体地讲，涉及一种通过使用差分图像作为特征图像来检测人体部位和人的方法和设备以及对象检测方法和设备。

背景技术

对象检测对于视频分析技术(例如，基于内容的视频或图像对象恢复、视频监控、视频压缩以及自动辅助驾驶)非常重要。在现实世界中，人的检测是最具挑战性的检测类别之一。人的检测可被应用到三种情况：

第一种情况，用于确定在视场中是否存在人。例如，在协助驾驶时，当路上的行人靠近车辆时，***对驾驶员做出报警。这可被实现为集成成像装置的嵌入式智能装置。

第二种情况，用于静态相机或PTZ相机中同一人的相干跟踪。前者可收集人的移动轨迹，可适于智能行为分析。后者可将其姿态调整为跟踪移动的人，并使其在图像的中心以记录其细节或行为。这可被实现为通过互联网连接到存储装置或显示装置的智能相机或PTZ相机。

第三种情况，当机器人希望跟随人或试图注视人与人进行交流时。机器人尝试检测在其相机的图像中人的位置，并做出相应的行动，例如，移动、跟随、注视或调整其姿势。这可实现为集成在机器人的功能单元总的嵌入式装置。

各种类型和样式的服装导致人的局部和整体形貌具有很大的可变性，因此仅有很少的局部区域可称为其所属类别的特征，这需要即使在不同照明条件下的混乱的背景中也具有鲁棒性和可识别性的特征集。此外，整体形状经历由于各种可能的清晰度和大量成为阻碍的附属物导致的宽范围变形，或者可导致人的轮廓改变的在同一图像区域中出现多个人的阻碍导致的宽范围变形，这就需要从总的迹象(evidence)中克服少数干扰，推断正确的结果的算法。

已经对克服这些问题进行了各种尝试。这些尝试的示例包括：多视图人的头部检测的方法(公开在“multi-view human head detection in static images”，machine vision application 2005，作者为M.Chen等，以下称为R1)、使用运动和外貌信息的检测方法(公开在“international conference on computer vision2003”，作者为V.Paul等，以下称为R2)、使用梯度的柱状图检测人的方法(公开在“international conference on computer vision and pattern recognition”，作者为Q.Zhu等，以下称为R3)、使用边缘方位的统计分布的检测人的方法(公开在第20060147108A1号美国专利中，以下称为R4)。

前面的人检测方法不是使用全局模型(例如，整个身体外貌或轮廓检测器或局部特征的集合或者部位检测器)。前者提取人的整体特征并基于其外貌或轮廓建立全局模型[R1]。后者将人体分解为几个部分(例如，人的头部、人的躯干、人的腿和人的臂部)[R2、R3、R4]。通过部位检测来表现人的检测，并将研究内容简化为与人体部位相应的模型。模型学习方法通常包括SVM、Adaboosting和其他辅助方法。

我们知道，人脸检测近年来取得了很大的进展，其在实时处理中可以达到很高的检测率和较低的虚警率。然而，对于实际目的的应用，人的检测仍然需要做很多工作。首先，人检测器能够适应于人的外貌随着衣服样式和不同照明条件的改变，并且应该建立在可从人的外貌的各种变形捕捉特征形状的鲁棒型特征的基础上；最后，应该需要较少的计算量和实时处理。

发明内容

本发明的示例性实施例克服上述缺点以及上面没有描述的其他缺点。此外，本发明不需要克服上述缺点，本发明的示例性实施例可不克服上述任何问题。

根据本发明的一方面，提供一种检测图像中人体部位/人的方法，所述方法包括：计算被检测图像的差分图像；基于计算的被检测图像的差分图像使用与第一人体部位相应的第一人体部位模型检测所述第一人体部位，其中，所述第一人体部位模型是通过对从所述第一人体部位的正样本和负样本的差分图像提取的特征集进行学习而得到的。

根据本发明的另一方面，提供一种在图像中检测人体部位/人的设备，所述设备包括：图像处理器，计算图像的差分图像；训练DB，存储人体部位的正样本和负样本；子窗处理器，从图像处理器计算的训练DB中存储的人体部位的正样本和负样本的差分图像提取特征集；第一人体部位分类器，基于图像处理器计算的被检测图像的差分图像，使用第一人体部位模型，检测与所述第一人体部位分类器对应的第一人体部位，其中，所述第一人体部位模型是子窗处理器通过对从训练DB中存储的所述第一人体部位的正样本和负样本的差分图像提取的特征集进行学习而得到的。

根据本发明的另一方面提供一种在图像中检测人体部位/人的方法，所述方法包括：(a)计算被检测图像的差分图像；(b)基于计算的被检测图像的差分图像，使用与多个不同的人体部位一一对应的多个人体部位模型中的一个人体部位模型来检测与所述一个人体部位模型对应的人体部位，其中，所述多个人体部位模型的每个是通过对从所述多个人体部位模型的每个所对应的人体部位的正样本和负样本的差分图像提取的特征集进行学习而得到的；(c)重复步骤(b)，对于不同于步骤(b)中的所述一个人体部位的所述多个不同人体部位中的另一人体部位，使用与所述另一人体部位对应的人体部位模型检测所述另一人体部位，并基于所述检测到的另一人体部位，根据人体几何学从检测到的人体部位中去除虚警；(d)基于步骤(c)的结果，最终确定检测的人体部位，并根据人体几何学确定检测的人。

根据本发明的另一方面提供一种在图像中检测人体部位/人的设备，所述设备包括：多个人体部位检测器，与多个不同的人体部位一一对应，并检测对应的人体部位；确定器，根据人体几何学，基于多个人体部位检测器所检测到的人体部位，去除虚警，以确定被检测图像中的人体部位和人；其中，所述多个人体部位检测器的每个包括：图像处理器，计算图像的差分图像；训练DB，存储人体部位的正样本和负样本；子窗处理器，从图像处理器计算的训练DB中存储的人体部位的正样本和负样本的差分图像提取特征集；人体部位分类器，基于图像处理器计算的被检测图像的差分图像，使用人体部位模型，检测与所述人体部位分类器对应的人体部位，其中，所述人体部位模型是子窗处理器通过对从训练DB中存储的所述人体部位的正样本和负样本的差分图像提取的特征集进行学习而得到的。

根据本发明的另一方面，提供一种成像设备，包括：成像单元，拍摄对象的图像；检测单元，基于拍摄的对象的图像的差分图像，使用对象模型检测图像中拍摄对象的区域，其中，所述对象模型是通过对从所述拍摄的对象的正样本和负样本的差分图像提取的特征集进行学习而得到的；姿态参数计算单元，根据检测单元检测出来的拍摄的对象在图像中区域，计算产生调整成像设备姿态的参数，以便将对象置于图像的中心区域；控制单元，从所述姿态参数计算单元接收调整成像设备姿态的参数，调整成像设备的姿态；存储单元，存储拍摄的对象的图像；显示单元，显示拍摄的对象的图像。

根据本发明的另一方面，提供一种检测图像中对象的方法，所述方法包括：计算被检测图像的差分图像；基于计算的被检测图像的差分图像，使用对象模型检测所述对象，其中，所述对象模型是通过对从所述对象的正样本和负样本的差分图像提取的特征集进行学习而得到的。

根据本发明的另一方面，提供一种检测图像中对象的设备，所述设备包括：图像处理器，计算图像的差分图像；训练DB，存储对象的正样本和负样本；子窗处理器，从图像处理器计算的训练DB中存储的对象的正样本和负样本的差分图像提取特征集；对象分类器，基于计算的被检测图像的差分图像，使用对象模型检测所述对象，其中，所述对象模型是通过对从所述对象的正样本和负样本的差分图像提取的特征集进行学习而得到的。

附图说明

下面通过结合附图对示例性实施例进行的描述，本发明的这些和/或其他方面、特点和优点将会变得清楚和更加容易理解，其中：

图1是根据本发明的示例性实施例的头检测设备的框图；

图2是示出根据本发明示例性实施例的图像处理器110计算差分图像的方法的示图；

图3示出一些典型的具有与头部正样本的轮廓形状相似的轮廓形状的负样本；

图4示出以直线构造的对象的差分图像；

图5示出根据图2所示的方法计算的人的头部的差分图像的示例；

图6示出根据本发明示例性实施例的在特征提取方法中使用的子窗；

图7示出根据本发明示例性实施例人的头部的视图的划分；

图8示出根据本发明示例性实施例的用于检测人的头部的金字塔检测器；

图9是根据本发明示例性实施例的图8所示的金字塔检测器的检测的流程图；

图10是根据本发明示例性实施例的具有多人体部位检测器的检测器的框图；

图11是根据本发明示例性实施例的图1 0的具有多人体部位检测器的检测器的一个示例性的检测器的详细框图；

图12是根据本发明另一示例性实施例的具有多人体部位检测器的检测器的框图；

图13示出根据本发明示例性实施的成像设备的框图；

图14示出根据本发明示例性实施例的图13中的检测单元的框图。

具体实施方式

以下，参照附图更加全面地描述本发明，本发明的示例性实施例在附图中示出，其中，在整个附图中相同的标号代表相同的元件。以下，描述实施例以解释本发明。

图1是根据本发明的示例性实施例的头检测设备的框图。

参照图1，头部检测设备100包括：图像处理器110、训练DB 120、子窗处理器130和头部分类器140。

图像处理器110计算图像的差分图像。训练DB 120存储人的头部的正样本和负样本。子窗处理器130从由图像处理器110计算的存储在训练DB120中的人的头部的正样本和负样本的差分图像提取特征集。头分类器140基于图像处理器110计算的要被检测的输入图像的差分图像，使用从提取的特征集学习得到的头部模型检测人的头部区域。现在将参照图2详细描述图像处理器110的操作。

图2是示出根据本发明示例性实施例的图像处理器110计算差分图像的方法的示图。图像处理器110计算dx、dy、du和dv四个差分图像。

参照图2，差分图像dx的每个像素值是在原始图像中N*N相邻区域中在水平方向上的像素差。参照图2的dx，如果N等于3，则灰色矩形的像素值的和减去灰色圆形的像素值的和为差分图像dx的中心像素的值。差分图像dy的每个像素值是在原始图像中N*N相邻区域中在垂直方向上的像素差。参照图1的dy，如果N等于3，则灰色矩形的像素值的和减去灰色圆形的像素值的和为差分图像dy的中心像素的值。差分图像du的每个像素值是在原始图像中N*N相邻区域中在右-左对角线方向上的像素差。参照图1的du，如果N等于3，则灰色矩形的像素值的和减去灰色圆形的像素值的和为差分图像du的中心像素的值。差分图像dv的每个像素值是在原始图像中N*N相邻区域中在左-右对角线方向上的像素差。参照图1的dv，如果N等于3灰色矩形的像素值的和减去灰色圆形的像素值的和为差分图像dv的中心像素的值。以这样的方式，差分图像中的每个像素表示在目标方向上相邻区域中像素的平均灰度改变。

同时，可以以不同的尺度计算差分图像。例如，在图1的dx、dy、du和dv中，黑色矩形的像素值的和减去黑色圆形的像素值的和为5*5相邻区域的中心像素的值，用公式可表示为(2*n+1)*(2*n+1)，n＝1，2，...。对于多尺度，图像如同将被连续亚采样一样，例如，当n等于2时，表示每隔一个像素进行一次差值图像的计算。对于粗分辨率图像，以较大尺度(即，较大的相邻区域)计算差分图像，以减小提取特征时背景噪声的影响。同时，对于高分辨率图像，可以较小的尺度(即，较小的邻近区域)计算差分图像，以捕获局部细节。

假设图像宽度为w(0...w-1)个像素，高度为(0....h-1)个像素，从1至w-2的宽度以及1至h-2的高度计算差分图像，并且在计算时令超出图像边沿的像素值为0。例如，当对在宽度为1，高度为1的像素计算5*5相邻区域的水平方向的像素差时，5*5相邻区域只有部分在图像之内，令超出图像之外的两个像素的值为0。在以粗尺度计算差分图像之前，对源灰度图像亚采样。然后，根据上面介绍的计算特征图像。

图3示出一些典型的具有与头部正样本的轮廓形状相似的轮廓形状的负样本。尽管这些负样本由近似矩形的线构成，但是它们看起来像是人的头部的变形的形状，这对分类器的识别能力是一个挑战。这是因为通常在检测结果中出现的虚警主要包括具有与人的头部的形状相似的形状的对象。另一方面，这显示了特征转换以及提取的重要性。本发明提供减小该困难的较好的方法。

图4示出以直线构造的对象的差分图像。

参照图4，在图像中构造的直线对象可以分解为不同的差分图像。该分解为特征提取留下了较好的资源。差分图像dx保持有图像在水平方向上改变，差分图像dy保持有图像在垂直方向上改变。差分图像du和dv保持有图像在对角线方向上改变。图5示出根据图2所示的方法计算的人的头部的差分图像的示例。与图4中的差分图像相比，我们可以发现：尽管线条被分解，但头部的轮廓保持地较好。

图6示出根据本发明示例性实施例的在特征提取方法中被子窗处理器130使用的子窗。通过在训练图像上滑动单个窗，并将其宽度及高度改变为能够以图像比例调节的可能的比例来创建单个窗特征。通过在训练图像上滑动两个窗，将其宽度及高度改变为能够以图像尺度调节的可能的尺度，并在同一时间以同样的放大因数将双窗的宽度及高度改变为能够按尺度捕捉宽范围的隐藏模式的尺度来创建双窗特征。两个窗能够在水平和垂直方向上彼此相对地移动，以捕捉宽范围的隐藏模式。通过在训练样本上滑动这三个连接的窗来创建三窗特征。这三个窗在为了按尺度捕捉宽范围的模式而改变尺度期间具有相同的宽度和高度。第二窗可相对于第一窗和第三窗移动，以捕捉凸的和凹的轮廓。存在两种三窗特征，一种是三个窗的水平布局，另一种是三个窗的垂直布局。对于水平布局，第二窗可相对于第一窗和第三窗水平移动；对于垂直布局，第二窗可相对于第一窗和第三窗垂直移动。

假设f为提取的特征，G为差分图像，w为特征窗，OP¹为用于特征提取的算子，其包括‘+’和‘-’两个简单的算子。OP¹＝{+，-}。OP²为在本发明中使用的第二算子，其包括‘+’和‘-’以及主算子domin。两个简单的算子。OP²＝{+，-，domin}。

对于单个差分图像的特征提取，可通过分别与单特征窗、双特征窗和三特征窗相应的等式(1)、(2)(3)计算特征。a为四个差分图像中的一个。

$f_1^a=\underset{(i,j)\∈w_1}{\mathrm{\Σ}}{G}_a(i,j)---\left(1\right)$

$f_2^a=\left({\mathrm{OP}}^1\right)(\underset{(i,j)\∈w_1}{\mathrm{\Σ}}{G}_a(i,j),\underset{(i,j)\∈w_2}{\mathrm{\Σ}}{G}_a(i,j))---\left(2\right)$

$f_3^a=\left({\mathrm{OP}}^1\right)(\underset{(i,j)\∈w_1}{\mathrm{\Σ}}{G}_a(i,j),\underset{(i,j)\∈w_2}{\mathrm{\Σ}}{G}_a(i,j)\underset{(i,j)\∈w_3}{\mathrm{\Σ}}{G}_a(i,j),)---\left(3\right)$

对于双差分图像的特征提取，可通过分别与重叠在差分图像上的单特征窗、双特征窗和三特征窗相应的等式(4)、(5)(6)计算特征。a和b为四个差分图像中的任意两个图像。

$f_1^{\mathrm{ab}}=\left({\mathrm{OP}}^2\right)(f_1^a,f_1^b)---\left(4\right)$

$f_2^{\mathrm{ab}}=\left({\mathrm{OP}}^2\right)(f_2^a,f_2^b)---\left(5\right)$

$f_3^{\mathrm{ab}}=\left({\mathrm{OP}}^2\right)(f_3^a,f_3^b)---\left(6\right)$

对于三差分图像的特征提取，可通过分别与单特征窗、双特征窗和三特征窗相应的等式(7)、(8)(9)计算特征。a、b和c为四个差分图像中的任意三个图像。

$f_1^{\mathrm{abc}}=\left({\mathrm{OP}}^2\right)(f_1^a,f_1^b,f_1^c)---\left(7\right)$

$f_2^{\mathrm{abc}}=\left({\mathrm{OP}}^2\right)(f_2^a,f_2^b,f_2^c)---\left(8\right)$

$f_3^{\mathrm{abc}}=\left({\mathrm{OP}}^2\right)(f_3^a,f_3^b,f_3^c)---\left(9\right)$

对于四差分图像的特征提取，可通过分别与单特征窗、双特征窗和三特征窗相应的等式(10)、(11)(12)计算特征。a、b、c和d为四个差分图像。

$f_1^{\mathrm{abcd}}=\left({\mathrm{OP}}^2\right)(f_1^a,f_1^b,f_1^c,f_1^d)---\left(10\right)$

$f_2^{\mathrm{abcd}}=\left({\mathrm{OP}}^2\right)(f_2^a,f_2^b,f_2^c,f_2^d)---\left(11\right)$

$f_3^{\mathrm{abcd}}=\left({\mathrm{OP}}^2\right)(f_3^a,f_3^b,f_3^c,f_3^d)---\left(12\right)$

如等式(13)～(17)所示，算子1为加法算子和减法算子，算子2除了加法算子和减法算子还包括主算子。

OP¹(a，b)＝(a+b)or(a-b)    (13)

${\mathrm{OP}}^2(a,b)=(a+b)\mathrm{or}(a-b)\mathrm{or}\left(\frac{a}{a+b}\right)\mathrm{or}\left(\frac{b}{a+b}\right)---\left(14\right)$

OP¹(a，b，c)＝(a+b+c)or(2b-a-c)    (15)

OP²(a，b，c)＝(a+b+c)

OP²(a，b，c)＝2b-a-c    (16)

${\mathrm{OP}}^2(a,b,c)=\frac{\mathrm{aorborc}}{a+b+c}$

OP²(a，b，c，d)＝(a+b+c+d)    (17)

OP²(a，b，c，d)＝3a-b-c-d

OP²(a，b，c，d)＝3b-a-c-d

OP²(a，b，c，d)＝3c-a-b-d

OP²(a，b，c，d)＝3d-a-b-c

${\mathrm{OP}}^2(a,b,c,d)=\frac{a,b,\mathrm{cord}}{a+b+c+d}$

在图6中示出的在提取特征的方法中使用子窗仅是示例性的，而不是为了限制目的。本发明可以以其他数量和类型的子窗被实现。

子窗处理器130可通过扫描单个差分图、两个差分图像、三个差分图像或四个差分图像提取特征。特征集可以是从单个差分图、两个差分图像、三个差分图像或四个差分图像提取特征中的一个或从单个差分图、两个差分图像、三个差分图像或四个差分图像提取特征的任意组合。此外，为了获取更多的特征，可使用不同的尺度计算差分图像，对并从根据不同尺度计算的差分图像提取特征集。

对于提取的特征集，使用统计学习方法(例如，Adaboost、SVM等)选择有识别能力的特征，可产生最终的分类模型。在模式识别技术中，分类模型通常被实现为使用该模型的分类器。

在本发明的示例性实施例中，准备人的头部的正样本和负样本，并使用图像处理器110计算人的头部的正样本和负样本的差分图像。子窗处理器130基于计算的正样本和负样本的差分图像，使用上述特征提取方法创建具有大量特征的特征集，然后使用统计方法进行学习从而得到头部分类模型，从而获得使用该模型的头部分类器140。同样，对于人体的其他部位也可以用同样的方法获得该人体部位的模型及分类器。例如，对于人体躯干，准备人体躯干的正样本和负样本。子窗处理器130从人体躯干的正样本和负样本的差分图像中使用上面介绍的特征提取方法提取特征集。使用统计学习方法(例如，Adaboost、SVM等)选择有识别能力的特征，并产生最终的人体躯干模型及人体躯干分类器。

本领域的普通技术人员应该理解，图1所示的头部检测设备100仅是示例性的，可将头部检测设备100中的头部分类器140替换为其他人体部位的分类器(例如，人体躯干分类器、人体腿部分类器、人体臂部分类器以及整个人体分类器)，形成为其他人体部位的检测设备，以在图像中检测所述其他人体部位。

图1中的头部分类器140还可以是具有多个头部分类器的头部检测器，例如图8所示的金字塔检测器800。

图7示出根据本发明示例性实施例人的头部的视图的划分。图8示出根据本发明示例性实施例的用于检测人的头部的金字塔检测器。

参照图7，当轮廓形状随相机朝着人的头部的角度的改变时，头部视图被分类为八个划分，分别为前侧、左半侧、左侧、左后半侧、后侧、右后半侧、右侧和左半侧。八个离散的视图表示围绕人的头部获取的360度的所有视图。每个视图覆盖一定范围的视角，而不是特定视角点。例如，如果前侧视图表示0度，左侧表示90度，则前侧视图实际覆盖[-22.5，+22.5]度，左半侧视图实际覆盖[22.5，67.5]度，左侧视图实际覆盖[67.5，112.5]度。

通过对从人的头部的前侧、左半侧、左侧、左后半侧、后侧、右后半侧、右侧和左半侧的正样本和负样本的差分图像提取的特征集学习得到的第一头部模型以及使用第一头部模型的第一头部分类器。

通过对从人的头部的前侧和后侧的正样本和负样本的差分图像提取的特征集学习得到的第二头部模型以及使用第二头部模型的第二头部分类器。

通过对从人的头部的左侧和右侧的正样本和负样本的差分图像提取的特征集学习得到的第三头部模型以及使用第三头部模型的第三头部分类器。

通过对从人的头部的左半侧、左后半侧、右后半侧和左半侧的正样本和负样本的差分图像提取的特征集学习得到的第四头部模型以及使用第四头部模型的第四头部分类器。

在产生上述四个分类器的过程中，使用与产生图1中的分类器140的过程中提取特征集的方法相同的方法提取特征集。

上述第一、第二、第三和第四头部分类器分别对应于图8中的A、FP和HP分类器。

参照图8，在检测时，图像处理器110首先计算输入图像的四个差分图像，即，水平、垂直、左右对角线、右左对角线方向的差分图像，然后金字塔检测器800检测图像，在检测时金字塔检测器800在图像中搜索和测试每个可能的尺度和位置。通过金字塔检测器800评价的，被接受为人的头部候选。否则，被去除为虚警。

具体地说，分类器A首先在图像中搜索和测试人的头部的每个可能的尺度和位置(即，分类器A检测到的头部区域)。被分类器A检测到的头部区域将进一步被分类器F、P和HP进行评价。如果样本被分类器F、P和HP中的一个接受，则该样本被确定为该分类器所对应的头部视图的头部候选。分类器F、P和HP分别对分类器A接受的样本逐一评价，直至评价完分类器A接受的所有样本。

图9是根据本发明示例性实施例的图8所示的金字塔检测器800的检测的流程图。

参照图9，在训练过程中，准备人的头部的前侧、左半侧、左侧、左后半侧、后侧、右后半侧、右侧和左半侧的正样本和负样本。

如上所述，通过对从人的头部的前侧、左半侧、左侧、左后半侧、后侧、右后半侧、右侧和左半侧的正样本和负样本的差分图像提取的特征集学习得到的第一头部模型；通过对从人的头部的前侧和后侧的正样本和负样本的差分图像提取的特征集学习得到的第二头部模型；通过对从人的头部的左侧和右侧的正样本和负样本的差分图像提取的特征集学习得到的第三头部模型；通过对从人的头部的左半侧、左后半侧、右后半侧和左半侧的正样本和负样本的差分图像提取的特征集学习得到的第四头部模型。金字塔检测器800的分类器A、F、P和HP分别使用第一、第二、第三和第四头部模型。

在检测过程中，首先计算输入图像的四个差分图像，即，水平、垂直、左右对角线、右左对角线方向的差分图像。金字塔检测器800检测输入图像，并将检测到人的头部作为检测结果输出。

在本发明的另一示例性实施例中，使用至少一个除了人的头部以外的其他人体部位(例如，人的躯干、人的腿和人的臂部)的分类器(检测器)，根据人体几何学，从图8所示金字塔检测器800确定的人的头部区域进一步去除头部虚警，以提高人的头部检测的精度。此外，根据本发明示例性实施例的人的头部检测器可被用作人的检测器，这是因为当人的头部被检测到时，可确定人的存在。

图10是根据本发明示例性实施例的具有多人体部位检测器的检测器1000的框图。

参照图10，检测器1000包括三个部位检测器，其中的一个部位检测器作为主检测器。检测器1000用于在输入图像中检测与主检测器相应的人体部位。在本发明的示例性实施例中，部位检测器I作为主检测器使用。

以下，将描述检测器1000的操作。首先，将被检测的输入图像输入部位检测器I。部位检测器I在输入图像中检测与对应于部位检测器I的人体部位I相应的区域。随后，部位检测器II在输入图像中检测与对应于部位检测器II的人体部位II相应的区域。此时，根据人体几何学关系约束，基于部位检测器II检测的人体部位II的区域，从部位检测器I输出的人体部位I的部位候选的一部分被作为虚警去除(部位II的部位候选的一部分也被作为虚警去除)，同时保留与剩余的人体部位I的部位候选对应的人体部位II。部位检测器N在输入图像中检测与对应于部位检测器N的人体部位N相应的区域。此时，根据人体几何学约束，基于部位检测器N检测的人体部位N的区域，通过部位检测器II的评价的人体部位I的部位候选中的一部分被作为虚警去除(部位II的部位候选以及部位N的部位候选的一部分也被作为虚警去除)，并得到与剩余的人体部位I的部位候选对应的人体部位II和人体部位N。这样，与仅使用一个关于人体部位I的检测器的检测相比，将多个部位的检测器配合使用进行检测人体部位I，能够得到更精确的结果。此外，这样使用多个部位的检测器，可根据人体几何学将人以及其他人体部位从输入图像中检测出来。

如上所述，部位检测器II作为来自部位检测器I的部位候选的验证器。在该情况下，部位检测器II扫描来自部位检测器I的部位候选邻近区域来检测人体部位II。所述邻近区域是根据人体几何学关系约束来确定的。例如，如果部位检测器I是头部检测器，部位检测器II是躯干检测器，则基于来自部位检测器I的头部候选，根据人的头部与躯干的相对位置约束和尺寸约束可粗略地确定出在扫描空间(即，被检测的输入图像)中躯干的位置和大小，这可基于正训练样本进行统计分析而得到。

在本发明中，检测器1000所具有的部位检测器不限于三个，可以以小于或大于三个的部位检测器来实现检测器1000。所述部位检测器可以是头部检测器、躯干检测器、腿部检测器、臂部检测器以及整个人体检测器等。

图11是根据本发明示例性实施例的图10的具有多人体部位检测器的检测器1000的一个示例性的检测器1100的详细框图。

参照图11，检测器1100包括：确定器1110、头部检测器1120、腿部检测器1130以及躯干检测器1140。在本实施例中，以头部检测器1120为主检测器。

头部检测器1120可以是图1所示的头部检测设备100。腿部检测器1130和躯干检测器1140具有与图1的头部检测设备相同的结构。

头部检测器1120、腿部检测器1130以及躯干检测器1140的每个包括：图像处理器(未示出)、训练DB(未示出)、子窗处理器(未示出)，其具有与图1中的图像处理器110、训练DB 120、子窗处理器130相同的功能，因此将省略对其的详细描述。同时，头部检测器1120还包括根据从特征集学习得到的头部模型得到的头部分类器，其中，包括在头部检测器1120中的子窗处理器从存储在包括在头部检测器1120中的训练DB中的头部正样本和负样本的差分图像提取特征集，包括在头部检测器1120中的图像处理器计算头部正样本和负样本的差分图像。腿部检测器1130还包括根据从特征集学习得到的腿部模型得到的腿部分类器，其中，包括在腿部检测器1130中的子窗处理器从存储在包括在腿部检测器1130中的训练DB中的腿部正样本和负样本的差分图像提取特征集，包括在腿部检测器1130中的图像处理器计算腿部正样本和负样本的差分图像。躯干检测器1140还包括根据从特征集学习得到的躯干模型得到的躯干分类器，其中，包括在躯干检测器1140中的子窗处理器从存储在包括在躯干检测器1140中的训练DB中的躯干正样本和负样本的差分图像提取特征集，包括在躯干检测器1140中的图像处理器计算躯干正样本和负样本的差分图像。

首先，头部检测器1120、腿部检测器1130以及躯干检测器1140分别检测图像，以输出头部候选、腿部候选和躯干候选。

确定器1110基于来自头部检测器1120的头部候选和来自头部检测器1140的躯干候选，根据人体几何学(例如，人的头部与躯干的相对位置约束和尺寸约束)从检测到的头部候选中去除虚警。然后，确定器1110基于结合躯干候选去除了虚警的头部候选和腿部候选，根据人体几何学，进一步去除头部候选中的虚警，从而可将人的头部、躯干、腿部以及人检测出来。

在本发明的另一示例性实施例中，头部检测器1120也可以是图8所示的金字塔检测器800。

在本发明的另一示例性实施例中，在头部检测器1120、腿部检测器1130以及躯干检测器1140中不包括图像处理器、训练DB、子窗处理器，头部检测器1120、腿部检测器1130以及躯干检测器1140共用同一图像处理器、训练DB、子窗处理器。

图12是根据本发明另一示例性实施例的具有多人体部位检测器的检测器的框图。

参照图12，检测器1200包括：N(N为自然数)个部位检测器I-N。此外，检测器1200还包括图像处理器(未示出)、训练DB(未示出)和子窗处理器(未示出)，其具有与图1中的图像处理器110、训练DB 120、子窗处理器130相同的功能，因此将省略对其的详细描述。所述多个部位检测器I-N的每个可包括图像处理器、训练DB和子窗处理器，也可共用同一图像处理器、训练DB和子窗处理器。

此外，检测器1200还包括确定器(未示出)，根据人体几何学，基于部位检测器I-N所检测到的人体部位，去除检测到的人体部位中的虚警，以确定被检测图像中的人体部位和人。

检测器I包括m₁个关于人体部位I的分类器S11，S12，S13，...，S1m₁；检测器II包括m₂个关于人体部位II的分类器S21，S22，S23，...，S1m₂；...检测器n(n＝1，2，3...，n表示N个部位检测器中的第n个检测器)包括m_n个关于人体部位n的分类器S21，S22，S23，...，S1m_n；...检测器N包括m_N个关于人体部位N的分类器S11，S12，S13，...，S1m_N，(其中，m₁，m₂，...，m_N为自然数)。分类器的训练方法与关于图11中所述的多个部位的分类器的方法相同，所有省略对分类器的训练的描述。如图12所述，在检测器1200包括的N个部位检测器的每个中，分类器以其所需计算量的升序排列被使用。通常，分类器的计算量基本与其具有的特征的数量相应，因此分类器以其具有的特征数的升序排列。下面，将参照图12详细描述检测器1200的操作。

在将要被检测的图像输入检测器1200之后，首先在检测器I中通过多个前端分类器(即，S11和S12)检测图像，得到关于检测器I的人体部位I的候选(即，操作到达A点)。其后，在检测器II中通过多个端分类器(即，S21和S2)检测图像，得到关于检测器II的人体部位II的候选。然后确定器基于得到人体部位I的候选和人体部位II的候选，根据人体几何学，从人体部位I的候选中去除虚警(即，操作到达B点)。以这样的方式，依次使用剩余的检测器III-N的前端分类器，通过确定器进一步去除虚警(即，操作到达F点)。然后，操作到达K，再次使用检测器I中的分类器进行检测，通过确定器进一步去除虚警，接着依次使用检测器II至N，重复使用检测器I-N，直至使用过检测器I-N中所有的分类器。这种检测方式的原理是：通过首先配合地使用每个检测器的前端分类器(特征量较少的分类器)，可使用较少的计算量去除大部分的虚警，然后再逐步使用特征量较多的分类器，可极大的提高检测速度。对于同样的虚警，如果仅用检测器I，则需要使用分类器S11、S12和S13总共包括50个特征才被去除，如果使用检测器I的分类器S11、S12和检测器II的分类器S21，则仅需要5个特征就可去除该虚警。根据分类器中的特征数的预定的阈值，自动地从一个检测器切换到下一个检测器。尽管可以以不同的方式选择阈值，但其原理是相同的，即，在前端以较少的特征在不同的检测器之间切换来去除虚警。

在本发明的一个示例性实施例中，对于检测器1200中的所有分类器，以分类器具有的特征数的升序使用每一个分类器来进行检测。也就是说，在使用检测器1200进行检测时，不考虑分类器所属的部位检测器，而是以分类器具有的特征数的升序，首先使用特征数少的分类器来使用检测器1200中的每一个分类器。

本发明不限于人体部位和人的检测，可以应用于任何具有一定形状的对象的检测(例如，动物、植物、建筑物、自然景物、以及日常生产生活用品等)。

图13示出根据本发明示例性的具有对象检测功能的成像设备1300的框图。

参照图13，成像设备1300包括成像单元1301、对象检测单元1302、参数计算单元1303，控制单元1304、存储单元1305、显示单元1306和标注单元1307。该成像设备可以是PTZ(PAN，TILT，ZOOM)摄像机、静止监视摄像机、DC(数字相机)、拍照手机、DV(数字摄像机)和PVR(个人视频记录器)中的任何一种。

成像单元1301是硬件装置，例如CCD或COMS装置，用于感知并产生自然界的图像。

为了跟踪运动对象，有两种方法提供对象的运动区域的位置和尺寸。第一种方法是自动方法，使用嵌入对象检测功提取感兴趣的对象的区域的大小和位置。第二种方法是手动方法，用户或操作者在显示的图像(例如，触摸屏)上标注感兴趣的对象的区域。对于自动方法，使用根据本发明的对象方法，对象可被自动检测。标注单元1307将标注功能提供给用户或操作者，以使用户或操作者能够用笔或手指在图像上手动标注感兴趣的对象。

对象检测单元1302可从成像单元1301接收图像数据，也可接收用户例如以粗略标记的形式标注的感兴趣的对象区域的大小和位置信息。对象检测单元1302检测对象所在的精确的区域，参数计算单元1303根据1303提供的对象所在的区域计算产生调整成像设备姿态的参数。值得注意的是，当使用提供对象位置和大小的第一种方法(即，自动方法)时，标注单元1307是可选的。当有多个跟踪对象供选择时，例如有多个进行跟踪的运动对象时，用户可修改本发明中成像设备自动选择的跟踪对象。下面参照图14详细描述对象检测单元1302。

图14示出根据本发明示例性实施例的图13中的检测单元的框图。

参照图14，对象检测单元1302包括：图像处理器1410、训练DB 1420、子窗处理器1430、对象分类器1440和输出单元1450。

图像处理器1410使用图2描述的方法计算图13中的成像单元1301输出的图像的差分图像。训练DB 1420存储各种对象(例如，各种生物、植物、建筑物、自然景物、以及日常生产生活用品等)的正样本和负样本。子窗处理器1430使用图6描述的特征提取方法从由图像处理器1410计算的存储在训练DB 1420中的对象的正样本和负样本的差分图像提取特征集。对象分类器1440基于图像处理器1410计算的要被检测的输入图像的差分图像，使用从提取的特征集学习得到的对象模型检测图像中的对象区域。可使用与上述头部模型的学习方法相同的方法得到所述对象模型。输出单元1450输出来自对象分类器1440和/或标注单元1307的对象在图像中所在的区域。

对象检测单元1302也可以不包括训练DB 1420和子窗处理器1430，而将各种预定对象的分类模型(即，对象模型)预置在对象分类器1440中。对象分类器1440根据用户希望检测的对象类型来调用对象分类模型。

控制单元1304可调整成像设备的姿态，成像设备的姿态由PTZ摄像机的摆动、倾斜、缩放以及选择聚焦区域的操作控制，或者由静止监视摄像机、DC、DV或PVR的缩放和聚焦操作控制。控制单元1304从参数计算单元1303接收调整成像设备姿态的参数。对象检测单元1302可提供新的时间点或新的帧数据中对象的位置和尺寸信息。控制单元1304根据所述参数调整成像设备的姿态，以通过摆动/倾斜操作使得对象在图像中居中，通过选择聚焦区域的操作来选择感兴趣的对象的区域，并通过缩放操作来对感兴趣的对象的区域进行聚焦，以获得高图像质量的运动对象的细节。在选择聚焦区域的操作中，控制单元可控制成像设备选择对象所在的新的区域作为聚焦依据，以便对所述区域进行聚焦。另外，在控制单元控制成像设备选择聚焦区域时，成像设备除了可以将图像中心区域选择作为默认的成像聚焦区域，还可以动态地选择对象所在的新的图像区域作为成像聚焦区域，根据聚焦区域的图像数据信息，动态地调整成像设备的缩放倍数、焦距、摆动或倾斜参数，从而获得更好的成像效果。

对于握在用户手中的电子产品，诸如DC、DV或PVR，用户可手动调整其姿态，使得感兴趣的对象在图像中居中，本发明示例性实施例中的控制单元可以根据检测结果和参数计算单元的提供的参数，动态调整该成像设备的缩放倍数和聚焦参数。

存储单元1305存储图像或视频，显示单元1306将现场的图像或视频显示给用户。

根据本发明示例性实施例的检测单元1302也可被实现为软件，该软件用于连接到成像设备置和控制单元的嵌入式***，以调节成像设备姿态的参数。对于嵌入式成像设备***，它可接收视频作为输入，并且将命令发送到成像设备的控制单元，以调节成像设备的姿态、镜头聚焦区域等。

本发明具有以下的效果和优点：

(1)更少的计算量。差分图像的计算仅需要相邻像素的减法，而不要需要除法或反正切运算。

(2)完全表现。将源图像分为多个比例的多个子图像，完全地表现源图像而不需要量化。

(3)很强的区分能力。实验证明新的特征可降低复杂性提高效率。

(4)可根据用户的情况，对于人检测器自由地组合和使用多视图多部位检测器。

(5)多比例特征提取可降低背景噪声的影响。在粗比例的情况下，可抑制杂斑背景；在好的比例的情况下，可获取局部细节。

尽管已经参照其示例性实施例具体显示和描述了本发明，但是本领域的技术人员应该理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可以对其进行形式和细节上的各种改变。

Claims (46)

1.一种检测图像中人的方法，所述方法包括：

计算被检测图像的差分图像，其中，差分图像中的每个像素表示在目标方向上相邻区域中像素的平均灰度改变；

基于计算的被检测图像的差分图像使用与第一人体部位相应的第一人体部位模型检测所述第一人体部位，其中，所述第一人体部位模型是通过对从所述第一人体部位的正样本的差分图像和负样本的差分图像提取的特征集进行学习而得到的。

2.如权利要求1所述的方法，还包括：

基于计算的被检测图像的差分图像，使用与不同于所述第一人体部位的至少一个第二人体部位对应的第二人体部位模型检测所述第二人体部位，其中，所述第二人体部位模型是通过对从所述第二人体部位的正样本的差分图像和负样本的差分图像提取的特征集进行学习而得到的；

根据人体几何学的不同人体部位的空间位置和尺寸的约束，基于所述检测到的第二人体部位，从所述检测到的第一人体部位中去除虚警。

3.如权利要求1或2所述的方法，其中，所述差分图像包括在图像的水平方向、垂直方向、左-右对角线方向和右-左对角线方向上以至少一个尺度计算的差分图像。

4.如权利要求3所述的方法，其中，提取差分图像的特征集的步骤包括使用单窗或多窗在所述水平方向、垂直方向、左-右对角线方向和右-左对角线方向上的差分图像中的至少一个中提取所述特征集。

5.如权利要求4所述的方法，其中，所述第一人体部位是人的头部、人体躯干、人体腿部、人体臂部和整个人体之一。

6.如权利要求5所述的方法，其中，所述第一人体部位是人的头部。

7.如权利要求6所述的方法，其中，所述第一人体部位的正样本和负样本包括：人的头部的前侧、左侧、左半侧、左后半侧、后侧、右后半侧、右侧和右半侧的正样本和负样本。

8.如权利要求7所述的方法，其中，所述第一人体部位模型包括：

对从人的头部的前侧、左侧、左半侧、左后半侧、后侧、右后半侧、右侧和右半侧的正样本的差分图像和负样本的差分图像提取的特征集进行学习来得到用于检测头部的第一头部模型；

对从人的头部的前侧和后侧的正样本的差分图像和负样本的差分图像提取的特征集进行学习来得到用于检测人的头部的前侧和后侧的第二头部模型；

对从人的头部的左侧和右侧的正样本的差分图像和负样本的差分图像提取的特征集进行学习来得到用于检测人的头部的左侧和右侧的第三头部模型；

对从人的头部的左后半侧、左半侧、右后半侧和右半侧的正样本的差分图像和负样本的差分图像提取的特征集进行学习来得到用于检测人的头部的左后半侧、左半侧、右后半侧和右半侧的第四头部模型。

9.如权利要求8所述的方法，其中，基于计算的被检测图像的差分图像使用与第一人体部位相应的第一人体部位模型检测所述第一人体部位的步骤包括：

基于计算的被检测图像的差分图像，使用第一头部模型检测被检测图像中的头部；

基于计算的被检测图像的差分图像，使用第二、第三或第四头部模型对通过第一头部模型检测的头部进行评价，以分别去除人的头部的前侧和后侧虚警、人的头部的左侧和右侧虚警或人的头部的左后半侧、左半侧、右后半侧和右半侧虚警。

10.如权利要求2所述的方法，其中，所述第二人体部位包括：人体躯干、人体腿部、人体臂部和整个人体中的至少一个。

11.一种在图像中检测人的设备，所述设备包括：

图像处理器，计算图像的差分图像，其中，差分图像中的每个像素表示在目标方向上相邻区域中像素的平均灰度改变；

训练DB，存储人体部位的正样本和负样本；

子窗处理器，从图像处理器计算的训练DB中存储的人体部位的正样本的差分图像和负样本的差分图像提取特征集；

第一人体部位分类器，基于图像处理器计算的被检测图像的差分图像，使用第一人体部位模型，检测与所述第一人体部位分类器对应的第一人体部位，其中，所述第一人体部位模型是子窗处理器通过对从训练DB中存储的所述第一人体部位的正样本的差分图像和负样本的差分图像提取的特征集进行学习而得到的。

12.如权利要求11所述的设备，还包括：

至少一个第二人体部位分类器，基于图像处理器计算的被检测图像的差分图像，使用第二人体部位模型，检测第二人体部位，其中，所述第二人体部位模型是子窗处理器通过对从训练DB中存储的所述第二人体部位的正样本的差分图像和负样本的差分图像提取的特征集进行学习而得到的，其中，所述至少一个第二人体部位分类器的每个与不同于所述第一人体部位的至少一个第二人体部位的每个一一对应；

确定器，根据人体几何学的不同人体部位的空间位置和尺寸的约束，基于所述检测到的第二人体部位，从所述检测到的第一人体部位中去除虚警。

13.如权利要求11或12所述的设备，其中，所述图像处理器以至少一个尺度计算图像在水平方向、垂直方向、左-右对角线方向和右-左对角线方向上的差分图像。

14.如权利要求13所述的设备，其中，子窗处理器使用单窗或多窗在所述水平方向、垂直方向、左-右对角线方向和右-左对角线方向上的差分图像中的至少一个中提取所述特征集。

15.如权利要求14所述的设备，其中，所述第一人体部位是人的头部、人体躯干、人体腿部、人体臂部和整个人体之一。

16.如权利要求15所述的设备，其中，所述第一人体部位是人的头部。

17.如权利要求16所述的设备，其中，所述第一人体部位的正样本和负样本包括：人的头部的前侧、左侧、左半侧、左后半侧、后侧、右后半侧、右侧和右半侧的正样本和负样本。

18.如权利要求17所述的设备，其中，所述第一人体部位分类器包括：

第一头部分类器，基于头部的差分图像，使用对从人的头部的前侧、左侧、左半侧、左后半侧、后侧、右后半侧、右侧和右半侧的正样本的差分图像和负样本的差分图像提取的特征集进行学习得到的第一头部模型来检测头部；

第二头部分类器，基于头部的差分图像，使用对从人的头部的前侧和后侧的正样本的差分图像和负样本的差分图像提取的特征集进行学习得到的第二头部模型来检测头部的前侧和后侧；

第三头部分类器，基于头部的差分图像，使用对从人的头部的左侧和右侧的正样本的差分图像和负样本的差分图像提取的特征集进行学习得到的第三头部模型来检测头部的左侧和右侧；

第四头部分类器，基于头部的差分图像，使用对从人的头部的左后半侧、左半侧、右后半侧和右半侧的正样本的差分图像和负样本的差分图像提取的特征集进行学习得到的第四头部模型来检测人的头部的左后半侧、左半侧、右后半侧和右半侧。

19.如权利要求18所述的设备，其中，使用第二、第三和第四头部分类器对通过第一头部分类器检测的头部进行评价，以分别去除人的头部的前侧和后侧虚警、人的头部的左侧和右侧虚警和人的头部的左后半侧、左半侧、右后半侧和右半侧虚警。

20.如权利要求12所述的设备，其中，所述第二人体部位包括：人体躯干、人体腿部、人体臂部和整个人体中的至少一个。

21.一种在图像中检测人的方法，所述方法包括：

(a)计算被检测图像的差分图像，其中，差分图像中的每个像素表示在目标方向上相邻区域中像素的平均灰度改变；

(b)基于计算的被检测图像的差分图像，使用与多个不同的人体部位一一对应的多个人体部位模型中的一个人体部位模型来检测与所述一个人体部位模型对应的人体部位，其中，所述多个人体部位模型的每个是通过对从所述多个人体部位模型的每个所对应的人体部位的正样本的差分图像和负样本的差分图像提取的特征集进行学习而得到的；

(c)重复步骤(b)，对于不同于步骤(b)中的与所述一个人体部位模型对应的人体部位的所述多个不同人体部位中的另一人体部位，使用与所述另一人体部位对应的人体部位模型检测所述另一人体部位，并基于所述检测到的另一人体部位，根据人体几何学从检测到的人体部位中去除虚警；

(d)基于步骤(c)的结果，最终确定检测的人体部位，并根据人体几何学确定检测的人。

22.如权利要求21所述的方法，其中，所述差分图像包括图像的在水平方向、垂直方向、左-右对角线方向和右-左对角线方向上以至少一个尺度计算的差分图像。

23.如权利要水22所述的方法，其中，提取差分图像的特征集的步骤包括使用单窗或多窗在所述水平方向、垂直方向、左-右对角线方向和右-左对角线方向上的差分图像中的至少一个中提取所述特征集。

24.如权利要求23所述的方法，其中，所述多个不同的人体部位的每个对应多个人体部位模型。

25.如权利要求24所述的方法，其中，步骤(b)包括：针对所述多个不同的人体部位中的一个人体部位，以人体部位模型具有的特征的数量的升序，使用与所述一个人体部位对应的多个人体部位模型中的至少一个去除虚警。

26.如权利要求25所述的方法，其中，步骤(c)包括：针对所述多个不同的人体部位，以关于所述多个不同的人体部位的预定次序，重复步骤(b)，直至所述多个不同的人体部位所对应的人体部位模型都被使用过。

27.如权利要求24所述的方法，其中，步骤(b)和(c)还包括：以人体部位模型具有的特征的数量的升序，使用所有的人体部位模型，而不考虑人体部位模型所对应的人体部位的检测次序。

28.如权利要求26或27所述的方法，其中，所述多个不同的人体部位包括：人的头部、人体躯干、人体腿部、人体臂部和整个人体。

29.一种在图像中检测人的设备，所述设备包括：

多个人体部位检测器，与多个不同的人体部位一一对应，并检测对应的人体部位；

确定器，根据人体几何学，基于多个人体部位检测器所检测到的人体部位，去除虚警，以确定被检测图像中的人体部位和人；

其中，所述多个人体部位检测器的每个包括：

图像处理器，计算图像的差分图像，其中，差分图像中的每个像素表示在目标方向上相邻区域中像素的平均灰度改变；

训练DB，存储人体部位的正样本和负样本；

子窗处理器，从图像处理器计算的训练DB中存储的人体部位的正样本的差分图像和负样本的差分图像提取特征集；

人体部位分类器，基于图像处理器计算的被检测图像的差分图像，使用人体部位模型，检测与所述人体部位分类器对应的人体部位，其中，所述人体部位模型是子窗处理器通过对从训练DB中存储的所述人体部位的正样本的差分图像和负样本的差分图像提取的特征集进行学习而得到的。

30.如权利要求29所述的设备，其中，所述图像处理器以至少一个尺度计算图像在水平方向、垂直方向、左-右对角线方向和右-左对角线方向上的差分图像。

31.如权利要求30所述的设备，其中，子窗处理器使用单窗或多窗在所述水平方向、垂直方向、左-右对角线方向和右-左对角线方向上的差分图像中的至少一个中提取所述特征集。

32.如权利要求31所述的设备，其中，所述多个人体部位检测器的每个具有多个人体部位分类器。

33.如权利要求31所述的设备，其中，以所述多个不同的人体部位的预定次序，使用对应的人体部位检测器中的至少一个人体部位分类器进行检测，以所述预定次序重复检测所述多个不同的人体部位，直至所述在图像中检测人的设备中的所有的人体部位分类器都被使用，其中，在每个人体部位被检测之后，确定器基于检测结果去除虚警，其中，在使用人体部位检测器时，以该人体部位检测器中的人体部位分类器所使用的人体部位模型具有的特征的数量的升序，使用所述至少一个人体部位分类器。

34.如权利要求32所述的设备，其中，以人体部位分类器所使用的人体部位模型具有的特征的数量的升序，使用所有的人体部位分类器进行检测，而不考虑与人体部位分类器所对应的人体部位的检测次序，其中，在每个人体部位被检测之后，确定器基于检测结果去除虚警。

35.如权利要求33或34所述的设备，其中，所述多个不同的人体部位包括：人的头部、人体躯干、人体腿部、人体臂部和整个人体。

36.一种成像设备，包括：

成像单元，拍摄对象的图像；

检测单元，基于拍摄的对象的图像的差分图像，使用对象模型检测图像中拍摄的对象的区域，其中，所述对象模型是通过对从所述拍摄的对象的正样本的差分图像和负样本的差分图像提取的特征集进行学***均灰度改变；

姿态参数计算单元，根据检测单元检测出来的拍摄的对象在图像中的区域，计算产生调整成像设备姿态的参数，以便将对象置于图像的中心区域；

控制单元，从所述姿态参数计算单元接收调整成像设备姿态的参数，调整成像设备的姿态；

存储单元，存储拍摄的对象的图像；

显示单元，显示拍摄的对象的图像。

37.根据权利要求36所述的成像设备，还包括：

标注单元，将用户在图像上手动标注的对象区域提供给检测单元。

38.根据权利要求37所述的成像设备，其中，控制单元根据调整成像设备姿态的参数调整成像设备的摆动、倾斜、缩放和选择聚焦区域的操作中的至少一种。

39.根据权利要求38所述的成像设备，其中，在选择聚焦区域的操作中，控制单元控制成像设备选择对象所在的新的区域作为聚焦依据，以便对所述新的区域进行聚焦。

40.根据权利要求39所述的成像设备，其中，在控制单元控制成像设备选择聚焦区域时，成像设备将图像中心区域选择作为默认的成像聚焦区域，或者动态地选择对象所在的新的区域作为成像聚焦区域，根据聚焦区域的图像数据信息，动态地调整成像设备的缩放倍数、焦距、摆动或倾斜参数。

41.一种检测图像中对象的方法，所述方法包括：

计算被检测图像的差分图像，其中，差分图像中的每个像素表示在目标方向上相邻区域中像素的平均灰度改变；

基于计算的被检测图像的差分图像，使用对象模型检测所述对象，其中，所述对象模型是通过对从所述对象的正样本的差分图像和负样本的差分图像提取的特征集进行学习而得到的。

42.如权利要求41所述的方法，其中，所述差分图像包括在图像的水平方向、垂直方向、左-右对角线方向和右-左对角线方向上以至少一个尺度计算的差分图像。

43.如权利要求42所述的方法，其中，提取差分图像的特征集的步骤包括使用单窗或多窗在所述水平方向、垂直方向、左-右对角线方向和右-左对角线方向上的差分图像中的至少一个中提取所述特征集。

44.一种检测图像中对象的设备，所述设备包括：

图像处理器，计算图像的差分图像，其中，差分图像中的每个像素表示在目标方向上相邻区域中像素的平均灰度改变；

训练DB，存储对象的正样本和负样本；

子窗处理器，从图像处理器计算的训练DB中存储的对象的正样本的差分图像和负样本的差分图像提取特征集；

对象分类器，基于计算的被检测图像的差分图像，使用对象模型检测所述对象，其中，所述对象模型是通过对从所述对象的正样本的差分图像和负样本的差分图像提取的特征集进行学习而得到的。

45.如权利要求44所述的设备，其中，所述图像处理器以至少一个尺度计算图像在水平方向、垂直方向、左-右对角线方向和右-左对角线方向上的差分图像。

46.如权利要求45所述的设备，其中，子窗处理器使用单窗或多窗在所述水平方向、垂直方向、左-右对角线方向和右-左对角线方向上的差分图像中的至少一个中提取所述特征集。

Images