CN102147851B - 多角度特定物体判断设备及多角度特定物体判断方法 - Google Patents

Abstract

本发明提供一种多角度特定物体判断设备，包括：输入装置，用于输入图像数据；多个级联分类器组，其中每个级联分类器组由多个与同一检测角度相对应的分类器级联构成，不同分类器与不同特征相对应，各个分类器用于计算图像数据在相应特征方面属于相应检测角度的特定物体的置信度值，并根据置信度判断该图像数据是否属于特定物体，其特征在于，在级联分类器组的分类器之间，设置自适应姿态估计装置，用于根据该自适应姿态估计装置之前的与同一检测角度相应的各分类器计算的置信度值，判断图像数据是否进入该检测角度的位于该自适应姿态估计装置之后的各分类器。本发明还提供一种多角度特定物体判断方法。

Description

多角度特定物体判断设备及多角度特定物体判断方法

技术领域

本发明涉及一种多角度特定物体判断设备及多角度特定物体判断方法，更具体地说，本发明涉及一种可以在不影响判断精度的前提下，实现提升特定物体判断速度的多角度特定物体判断设备及多角度特定物体判断方法。

背景技术

快速而准确的物体检测算法是图像处理和视频内容分析领域中许多应用的基础性工作，所述应用诸如人脸检测和情感状态分析、视频会议控制和分析、行人保护***等等。Adaboost人脸检测算法可以有效地用于人脸的正面识别，市场上有很多基于该领域的产品出现，比如数字照相机中的人脸检测功能。但是，随着数字照相机和移动电话的迅速发展，仅仅进行正面的物体识别已经远不能满足需求，而是开始关注于多角度情况下的快速、准确的物体检测问题。

美国专利No.7,324,671 B2提出了可用于多角度人脸检测的算法和设备。在该专利中，人脸检测***通过一系列复杂度递增的强分类器把非人脸数据在层级分类器结构中前面的层级(复杂度较低的层级)中滤除掉。其层级分类器结构为金字塔结构，采用了由粗到精、由简单到复杂的策略，利用比较简单的特征(层级分类器结构中前面层级采用的特征)就可以滤除大量的非人脸数据，从而得到了实时多角度人脸检测***。该算法最大的问题在于，金字塔结构在检测过程中同时包含了大量的冗余信息，从而影响了检测的速度和精度。

美国专利No.7,457,432 B2提出了可用于特定物体检测的方法和设备。在该专利中，HAAR特征被作为弱特征采用。Real-Adaboost算法被用来对层级分类器结构中每层级的强分类器进行训练以进一步提升检测精度，LUT(查询表)数据结构被提出以提升特征选择的速度。其中，“强分类器”及“弱特征”均为本技术领域中普遍熟知的概念。该专利的主要缺点在于，该方法只适用于特定物体在一定的角度范围内的检测，主要是正面人脸识别，以致在一定程度上限制了它的应用。

专利申请公开WO No.2008/151470 A1提出了用于在复杂背景条件下进行鲁棒性人脸检测的算法和装置。其中，具有低计算复杂度和高冗余度的微特征结构被用来描述人脸特性。对于损失敏感的Adaboost算法被采用来选择最有效的人脸弱特征来形成层级分类器结构中每层级的强分类器，以区分人脸数据和非人脸数据。由于每层级的强分类器都可以在保证检测率的前提下尽可能多地降低对于非人脸数据的错误接受率，因此最终的分类器结构可以在只具有简单结构的情况下在复杂背景中得到很高的检测性能。其中，“弱特征”为本技术领域中普遍熟知的概念。该技术的主要缺点在于，该方法只可以用于特定物体在一定的角度范围内的检测，主要是正面人脸识别，以致在一定程度上限制了其应用。

尽管理论上由多个检测角度的分类器组成的层级分类器结构就可以实现多角度检测问题，但是通常的多角度检测的层级分类器结构无法克服如下两个主要问题：(1)由于增加了分类器的数目，造成分类器的判断时间增加，以致整个检测***检测速度慢，无法达到实时检测；(2)无法达到与某一特定角度下的单角度物体检测的精度同等的检测精度，也就是造成检测精度低。

发明内容

鉴于现有技术中存在的上述问题而作出本发明，本发明着眼于特定物体检测过程中对窗口图像是否为特定物体图像进行判断的关键环节，提供针对这一环节的多角度特定物体判断设备及多角度特定物体判断方法，通过采用多个级联分类器组形式的多层级分类器结构，改进对窗口图像是否为特定物体图像进行判断的速度及精度，以有助于加速检测过程并同时提高检测精度。

根据本发明的一个方面，提供一种多角度特定物体判断设备，包括：输入装置，用于输入图像数据；多个级联分类器组，其中每个级联分类器组由多个与同一检测角度相对应的分类器级联构成，不同分类器与不同特征相对应，各个分类器用于计算图像数据在相应特征方面属于相应检测角度的特定物体的置信度值，并根据置信度判断该图像数据是否属于特定物体，其特征在于，在级联分类器组的分类器之间，设置自适应姿态估计装置，用于根据该自适应姿态估计装置之前的与同一检测角度相应的各分类器计算的置信度值，判断图像数据是否进入该检测角度的位于该自适应姿态估计装置之后的各分类器。

根据本发明的另一个方面，提供一种多角度特定物体判断方法，包括：输入步骤，输入图像数据；多个并列的分类步骤，其中每个分类步骤由多个与同一检测角度相对应的子分类步骤依次构成，不同子分类步骤与不同特征相对应，在各个子分类步骤中计算图像数据在相应特征方面属于相应检测角度的特定物体的置信度值，并根据置信度判断该图像数据是否属于特定物体，其特征在于，在分类步骤的子分类步骤之间，执行自适应姿态估计步骤，根据该自适应姿态估计步骤之前的与同一检测角度相应的各子分类步骤计算的置信度值，判断是否对图像数据执行该检测角度的在该自适应姿态估计步骤之后的各子分类步骤。

通过本发明的上述方面，通过加入姿态估计，在结构的前层级中就可以放弃一些与输入数据姿态无关的分类器，从而加快判断速度；同时，自适应的姿态估计过程可以确保与输入数据姿态相近的分类器被选中以用于后续的判断，从而保证判断精度。从而，通过采用本发明的上述方面，有助于在保证检测精度的前提下，提升特定物体检测的速度。

通过阅读结合附图考虑的以下本发明的优选实施例的详细描述，将更好地理解本发明的以上和其他目标、特征、优点和技术及工业重要性。

附图说明

图1是示出现有的多角度特定物体判断设备的示意图。

图2是示出根据本发明实施例的多角度特定物体判断设备的示意图。

图3A和图3B示意性地说明物体相对于正面图像的旋转情况，图3A示出面内旋转的情况，图3B示出面外旋转的情况。

图4是示出从全图中提取窗口的示意图。

图5是示出窗口图像聚类效果的示意图。

图6是示出按照本发明实施例的自适应姿态估计装置的示意结构框图。

图7A和图7B示出了自适应姿态估计装置根据隶属度值选择级联分类器组的示例。

图8示出在输入正面人脸图像的情况下不同层级不同检测角度的分类器将其判断为非人脸的数目的示例。

图9示出在采用根据本发明实施例的自适应姿态估计装置的情况下对于其后相邻层级中的分类器使用情况的影响的例子。

图10示出了在未采用和采用自适应姿态估计装置的情况下、经过某层级分类器判断之后的输入图像数据的数目关于其最多将要进入下一层级的检测角度数目的分布的对比示例。

具体实施方式

图1是示出现有的多角度特定物体判断设备的示意图。其中，输入装置100用于输入图像数据；级联分类器组110、120、130分别对应于不同的检测角度，级联分类器组110由分类器111、112、......11n级联而成，级联分类器组120由分类器121、122、......12n级联而成，级联分类器组130由分类器131、132、......13n级联而成，n为自然数。分类器标号左起第2位数字代表该分类器的检测角度，左起第3位数字代表该分类器在相应的级联分类器组中的位置次序，也就是说，多个级联分类器组中左起第3位数字相同的分类器可以视为处于同一层级，同一组中位置不同的分类器采用的特征不同，而不同组中处于同一层级的分类器所采用的特征不必相同。而且，尽管图1中示出各个级联分类器组中均具有n个分类器，然而，本领域技术人员可以理解，由于不同检测角度采用的特征可能不同，各个级联分类器组中的分类器数目也可以不同，也就是，分类器不必然形成如图1所示的矩阵阵列，或者说分类器不必填满这样的矩阵。

而且，尽管图1中示出用于3个检测角度的3个级联分类器组，然而，对于本领域技术人员显而易见的是，也可以增加或减少检测角度，例如设置2个级联分类器组用于2个检测角度，或4个级联分类器组用于4个检测角度，或更多个级联分类器组用于更多个检测角度，或者甚至只设置1个级联分类器组用于单角度检测作为多角度特定物体判断设备的一种特殊形式。

所输入的图像数据分别进入各个级联分类器组，首先由各组中处于第1层级的分类器计算图像数据在相应特征方面属于相应检测角度的特定物体的置信度值，并根据置信度判断该图像数据是否属于特定物体，例如人脸。如果某个分类器将图像数据判断为非人脸，即判断结果为F(False)，则将其归为非人脸图像，该图像数据在相应检测角度的判断结束，如果该分类器将图像数据判断为人脸，即判断结果为T(True)，则图像数据进入该角度的下一分类器进行判断，依此类推，直到级联分类器组中最后一个分类器，例如处于第n层级的分类器将将图像数据判断为人脸，判断为T，则将该图像数据归为人脸图像。

其中，各个分类器可以是任意类型的强分类器，例如采用支持向量机(Support Vector Machine，SVM)、Adaboost等等的算法的公知的分类器。对于各个强分类器，可以使用多种表象局部纹理结构的弱特征或其组合来进行计算，所述弱特征诸如HAAR特征、多尺度LBP特征等等在本领域中通常采用的特征。

针对某特定物体的分类器基于某特定姿态下的某特定物体特性的训练而得到，其中，所谓姿态在本领域中通常是指物体相对于正面图像的旋转角度，如图3所示。图3A和图3B示意性地说明物体相对于正面图像的旋转情况。图3A示出面内旋转(rotation in plane，RIP)的情况，即以位于图中最上方的正面图像为基准，相对于垂直于图像平面的轴来旋转。图3B示出面外旋转(rotation off plane，ROP)的情况，即以位于图中正中央的正面图像为基准，在Pitch(俯仰)方向和Yaw(左右摇摆)方向的旋转。所谓正面图像是本领域的公知公认的概念，与正面图像有一微小旋转角度的图像在实践中也视为正面图像来处理。

在图1所示的相关现有技术中，以及在下文描述的本发明实施例中，均以人脸作为待处理等特定物体，然而，无论现有技术还是本发明均可以处理多种物体，例如人脸、手掌、行人等等。无论何物体、何特征、何角度，只要在处理任务之前事先指定，并通过采用样本进行训练，就可以得到相应的分类器，组成级联的分类器组，针对不同角度进行训练，即得到能够进行多角度判断或检测处理的多个级联分类器组。

图1示意性地示出的多角度特定物体判断设备可以用于例如用于对诸如静态图像和视频等等的多种数据介质进行处理，检测出其中的特定物体。可以选择采用窗口提取装置，先从整幅图像中提取窗口图像，将窗口图像数据作为图像数据输出到多角度特定物体判断设备来进行判断处理。图4是示意性地示出从全图中提取窗口的示意图，即，可以根据不同尺度以不同步长的窗口在全幅图像上遍历，得到一系列窗口图像。无论是对于经过提取所得到的窗口图像，还是甚至对于未提取窗口的整幅图像，多角度特定物体判断设备均可以按照同样的方式来处理。

多角度特定物体判断设备输出的结果是对于所输入的图像数据是否属于定物体或者说是否是该特定物体的图像的判断，判断为是(T)的所输入图像数据即可作为物体检测的结果来输出。然而，还可以选择采用聚类装置，用来把在原整幅图像中实际上是同一特定物体的多个判断为是(T)的窗口图像聚类为一个图像，使得一个特定物体只有一个检测出的结果。图5是示出窗口图像聚类效果的示意图。聚类前的多个表示为虚线框的窗口图像经过聚类成为一个实线框表示的窗口图像。可以通过本领域公知的现有技术来进行该聚类处理，例如K均值聚类。显然，只要是多角度特定物体判断设备判断为是(T)的窗口图像数据均被检测为属于该特定物体，不经过聚类处理也可以作为检测结果输出。

图2是示出根据本发明实施例的多角度特定物体判断设备的示意图。根据本发明实施例的多角度特定物体判断设备包括：输入装置200，用于输入图像数据；多个级联分类器组210、220、230，其中每个级联分类器组由多个与同一检测角度相对应的分类器级联构成，不同分类器与不同特征相对应，各个分类器用于计算图像数据在相应特征方面属于相应检测角度的特定物体的置信度值，并根据置信度判断该图像数据是否属于特定物体；在级联分类器组的分类器之间设置的自适应姿态估计装置250，用于根据该自适应姿态估计装置之前的与同一检测角度相应的各分类器计算的置信度值，判断图像数据是否进入该检测角度的位于该自适应姿态估计装置之后的各分类器。

级联分类器组210、220、230分别对应于不同的检测角度，级联分类器组210由分类器211、212、......21n级联而成，级联分类器组220由分类器221、222、......22n级联而成，级联分类器组230由分类器231、232、......23n级联而成，n为自然数。分类器标号左起第2位数字代表该分类器的检测角度，左起第3位数字代表该分类器在相应的级联分类器组中的位置次序，也就是说，多个级联分类器组中左起第3位数字相同的分类器可以视为处于同一层级，同一组中位置不同的分类器采用的特征不同，而不同组中处于同一层级的分类器所采用的特征不必相同。

如同图1所示的现有的多角度特定物体判断设备那样，尽管图2中示出根据本发明实施例的多角度特定物体判断设备中，各个级联分类器组中均具有n个分类器，然而，本领域技术人员可以理解，由于不同检测角度采用的特征可能不同，各个级联分类器组中的分类器数目也可以不同。

而且，尽管图2中示出用于3个检测角度的3个级联分类器组，然而，对于本领域技术人员显而易见的是，也可以增加或减少检测角度，例如设置2个级联分类器组用于2个检测角度，或4个级联分类器组用于4个检测角度，或更多个级联分类器组用于更多个检测角度，或者甚至只设置1个级联分类器组用于单角度检测作为多角度特定物体判断设备的一种特殊形式。

如同图1所示的现有的多角度特定物体判断设备那样，根据本发明实施例的多角度特定物体判断设备既可以处理整幅图像，也可以处理经窗口提取装置提取得到的窗口图像，无论对何种图像，根据本发明实施例的多角度特定物体判断设备均可以按照同样的方式来处理。而且，如同图1所示的现有的多角度特定物体判断设备那样，根据本发明实施例的多角度特定物体判断设备输出的结果是对于所输入的图像数据是否属于特定物体或者说是否是该特定物体的图像的判断，判断为是(T)的所输入图像数据即可作为物体检测的结果来输出，也可以选择采用聚类装置，把在原整幅图像中实际上是同一特定物体的多个判断为是(T)的窗口图像聚类为一个图像，使得一个特定物体只有一个检测出的结果。

通过对图1、图2所示的多角度特定物体判断设备进行比较，并且根据前文的描述可以理解，根据本发明实施例的多角度特定物体判断设备与现有技术的多角度特定物体判断设备中相同的部件可以具有相同的功能，各个分类器可以采用强分类器，经过相应训练可以处理各种特定物体，既可以是人脸，也可以是手掌、行人等等。本发明实施例的多角度特定物体判断设备相对于现有技术的一个区别在于，在级联分类器组的分类器之间设置的自适应姿态估计装置250，通过将一些与输入图像数据的姿态无关的分类器舍弃掉，来节省大量的检测时间，并且保留与输入数据姿态相近的分类器以用于后续的判断，从而保证判断精度。在图2所示的例子中，级联分类器组210中分类器212之后的分类器，如所示的分类器21n，由于被自适应姿态估计装置250判断为其检测角度与输入图像数据的姿态差距较大而在后续判断中被放弃使用，其余检测角度与输入数据姿态相近的例如级联分类器组220和230中的分类器被用来继续处理图像。显然，根据具体的实施环境，取决于输入图像的情况，可能是其它角度的分类器被放弃。值得注意的是，自适应姿态估计装置250用来选择与输入图像数据中物体姿态接近的检测角度的分类器，而非直接判断输入图像数据是否属于作为检测对象的特定物体。被自适应姿态估计装置之前的分类器判断为非特定物体图像的输入图像由于不再处理，因而不会进入自适应姿态估计装置250，因此，对于进入自适应姿态估计装置250、要由自适应姿态估计装置250处理的图像数据，均假定其为特定物体图像。

在各个级联分类器组中，可以按照所计算的特征复杂度升高的顺序排列分类器，也就是，在靠前的层级中的分类器计算的特征相对简单，计算复杂度较低，层级越靠后，分类器计算的特征越复杂，计算复杂度较高。然而，本领域技术人员可以理解，在级联分类器组中，分类器的排列可以按照任何次序，可以与所针对的特征没有任何关系，或者也可以按照特征的其它关系。，自适应姿态估计装置可以设置在级联分类器组内的任何位置，可以位于第一层级和第二层级之间，或者也可以位于第二层级和第三层级之间，本领域技术人员可以理解，位于其它层级之间也可以实现将一些与输入图像数据的姿态无关的分类器舍弃掉，起到节省检测时间提高判断精度的作用。

图6是示出按照本发明实施例的自适应姿态估计装置250的示意结构框图。自适应姿态估计装置250包括：归一化计算装置252，用于把所述自适应姿态估计装置之前的与同一检测角度相应的各分类器计算的置信度值进行归一化，获得置信度归一化值；融合计算装置254，用于融合由所述归一化计算装置获得的置信度归一化值，获得与检测角度相应的融合值；姿态估计装置256，用于根据融合计算装置获得的各个检测角度的融合值，计算图像数据关于各个检测角度的隶属度值；级联分类器组选择装置258，用于将各个检测角度的隶属度值分别与预定阈值进行比较，选择隶属度值大于预定阈值的检测角度的该自适应姿态估计装置之后的各分类器，供图像数据进入。

自适应姿态估计装置250位于每个级联分类器组中处于相同层级的分类器之间，因而自适应姿态估计装置250及其中的部件归一化计算装置252、融合计算装置254、姿态估计装置256、级联分类器组选择装置258均是针对同一层级之前的判断结果进行估计，也就是说，自适应姿态估计装置250及其部件执行的各个操作都是针对同一层级之前的各组中的分类器进行的。

归一化计算装置252的任务是将各个级联分类器组中在自适应姿态估计装置250之前的每一层级的强分类器的输出数据归一化到同一个度量空间。假定当前处理的第i个级联分类器组在归一化计算装置252之前有m个层级，m为自然数，当前针对第i个级联分类器组中的第j层级的分类器进行处理，其中i和j为正整数的索引量，该分类器计算得到的图像数据在相应特征方面属于相应检测角度的特定物体的置信度值为val_i，j。归一化计算装置252可以采用多种数据归一化方法，例如最大最小化算法Min-Max、或Z-score、MAD、Double-Sigmoid、及Tanh-estimator等等。

例如，在采用最大最小化的归一化方法的情况下，可以通过公式(1)计算该第i组的第j层级的分类器的归一化值nval_i，j。

nval_i，j＝(val_i，j-val_min)/(val_max-val_min)        (1)

其中，val_max，val_min是分类器训练过程中得到的值，具体地讲，val_max代表在关于与该第i个级联分类器组相应的检测角度的该第j个分类器所采用的特征进行的训练中所得的置信度值中的最大值，即该强分类器对所有输入的样本数据可以取得的最大值，val_min代表在对该分类器进行的训练中所得的置信度值中的最小值，即该强分类器对所有输入的样本数据可以取得的最小值。

在训练中采用了非人脸样本图像的情况下，由于对非人脸样本求得的置信度值变化范围相对较大，造成容易在数据度量的时候引入数据噪音，影响归一化结果的准确性。分类器对非人脸样本计算得到的分类结果即置信度基本为负值，而人脸样本所得的置信度基本为正值，为了解决此问题，可以使上述公式(1)中的val_min直接为零，以消除那些偏离正确数据分布的数据噪音对于归一化造成的影响。如此改进公式(1)后得到归一化公式(2)。

nval_i，j＝(val_i，j-0)/(val_max-0)        (2)

归一化计算装置252也可以采用例如Z-score归一化方法，在此情况下，可以通过公式(3)计算该第i组的第j层级的分类器的归一化值nval_i，j。

nval_i，j＝(val_i，j-μ)/σ        (3)

其中μ和σ分别为在关于与该第i个级联分类器组相应的检测角度的该第j个分类器所采用的特征进行的训练中所得的数值的算术平均值和均方差。

融合计算装置254的目的是进行数据融合，可以把各个级联分类器组在自适应姿态估计装置250之前所有层级的强分类器的计算结果进行融合，分别获得关于各个级联分类器组的融合值。融合计算装置254可以采用多种基于数据的融合方法，例如加法准则Sum、乘法准则Product、或者MAX等等。

例如，融合计算装置254采用加法准则将前层级强分类器的输出数据进行加法融合，不仅可以充分利用级联分类器组中前面各层级的历史信息，还可以进一步增强融合的鲁棒性，在此情况下，通过公式(4)来根据第i个级联分类器组在归一化计算装置252之前的m个层级的分类器的置信度归一化值nval_i，j求得融合值snval_i。

snval_i＝∑nval_i，j    (4)

或者，除了加法准则之外，融合计算装置254也可以采用例如乘法准则将前层级强分类器的输出数据进行加法融合，利用如下公式(5)，根据第i个级联分类器组在归一化计算装置252之前的m个层级的分类器的置信度归一化值nval_i，j求得融合值snval_i。

snval_i＝∏nval_i，j    (5)

姿态估计装置256可以自适应地根据融合计算装置254得到的融合结果来估计出该特征物体最合适的姿态，即所处理的图像数据中特定物体的实际角度，根据图像数据中特定物体的角度与相应检测角度的关系，计算图像数据关于相应检测角度的隶属度，其自适应性体现在，所采用的计算公式可以自适应地根据之前各个层级的分类器的数据分布来做出姿态估计。

例如，姿态估计装置256可以通过利用如下的自适应公式(6)，根据融合计算装置254求得的第i个级联分类器组中之前的m个分类器的置信度的融合值snval_i、自适应姿态估计装置250涵盖的所有检测角度的级联分类器组的之前的m个分类器的置信度的融合值中的最大值snval_max，求出图像数据关于与第i个级联分类器组相应的检测角度的隶属度值ratio_i。

ratio_i＝abs(snval_i-snval_max)/snval_i，(6)

其中，abs代表绝对值计算。

作为替代，姿态估计装置256也可以通过利用如下的自适应公式(7)，根据融合计算装置254求得的第i个级联分类器组中之前的m个分类器的置信度的融合值snval_i、自适应姿态估计装置250涵盖的所有检测角度的级联分类器的之前的m个分类器的置信度的融合值中的最大值snval_max，求出图像数据关于与第i个级联分类器组相应的检测角度的隶属度值ratio_i。

ratio_i＝snval_i/snval_max    (7)

级联分类器组选择装置258用来从多个检测角度中选择出最合适的一个或多个检测角度用于之后层级的物体识别判断，也就是，如果图像数据中特定物体的角度关于某检测角度的隶属度过低，则在后续层级的判断中不再使用该检测角度的分类器。

在对各个检测角度的分类器进行选择的过程中，利用预先定义的阈值thr来判断姿态估计装置256为各个角度计算的隶属度值是否可以通过级联分类器组选择装置258。例如，采用如下的公式(8)来判断是否选择第i个级联分类器组，如果ratio_i大于等于预定阈值thr，则选择结果res为1，表示在自适应姿态估计装置250之后继续采用第i个级联分类器组的分类器，如果ratio_i小于预定阈值thr，则选择结果res为0，表示在自适应姿态估计装置250之后不再采用第i个级联分类器组的分类器。

$\mathrm{res}=\left\{\begin{array}{cc}1,& \mathrm{ifrati}{o}_i\&GreaterEqual;\mathrm{thr}\\ 0,& \mathrm{ifrati}{o}_i<\mathrm{thr}\end{array}\right.---\left(8\right)$

显然，本领域技术人员可以理解，上述判断标准可以改为如果ratio_i大于预定阈值thr，则选择结果res为1，如果ratio_i小于等于预定阈值thr，则选择结果res为0。

其中，判断阈值thr通过采用一定量的样本数据进行训练得到，该阈值确定为，需要保证训练样本数据集合中的大部分正样本通过上述计算所得到的上述隶属度值可以大于此阈值而通过判断，例如，保证人脸图像样本中的95％可以判断为是人脸数据，显然，本领域技术人员可以理解，该阈值也可以确定为保证人脸图像样本中80％、90％等高比例的人脸数据可以判断为是人脸数据。

图7A和图7B示出了自适应姿态估计装置根据隶属度值选择级联分类器组的示例。在图7A和图7B所示的示例中，采用了对应于5个检测角度的5个级联分类器组，每个级联分类器组对应图中的一个柱，柱的高度代表相应级联分类器组的通过前述计算得到的隶属度值，由虚线框包围则代表相应检测角度被选择。在图7A的示例中，第4号的级联分类器组的隶属度值明显高于其它检测角度的隶属度值，只有第4级联分类器组的隶属度值可以大于预定阈值，因而只有该检测角度被选择通过判断。而在图7B的示例中，第3号和第4号的级联分类器组的隶属度值均可以大于预定阈值，而该两组被选择通过判断。

图8示出在输入正面人脸图像的情况下不同层级不同检测角度的分类器将其判断为非人脸的数目的示例。图8中，I、II、III分别代表第1层级、第2层级和第3层级，数字1、2、3、4、5分别代表5个检测角度，其中1对应于正面F的检测角度，2、3相应的检测角度为某两个面外旋转ROP的检测角度，而4、5的检测角度为某两个面内旋转RIP的角度，柱的高度体现在输入为正面人脸图像的情况下将其判断为非人脸的分类器数目。需要指出的是，关于图8的实验中，未采用自适应姿态估计装置。在输入为正面人脸图像的情况下，在各层级中均是被检测角度为面内旋转RIP角度的分类器判断为非人脸的情况较多，被检测角度为面外旋转ROP角度的分类器判断为非人脸的情况显著减少，而几乎可以通过检测角度为正面的分类器。这表明不同检测角度的分类器可以检测的姿态之间是具有一定的重叠区间的，这也解释了按照本发明实施例的自适应姿态估计装置250可以如图7B那样选择多个角度的级联分类器组的原因。

图9示出在采用根据本发明实施例的自适应姿态估计装置的情况下对于其后相邻层级中的分类器使用情况的影响的例子。图9中，数字1、2、3分别代表在3次实验中一个自适应姿态估计装置的***位置分别位于第1层级和第2层级之间、第2层级和第3层级之间、第3层级和第4层级之间，图9中体现的是检测角度为正面的级联分类器组的情况，而输入也是一定数目的正面人脸的样本图像，每个***位置对应的两个柱代表在自适应姿态估计装置之后相邻的相应层级(从左至右分别对应第2、3、4层级)中进行分类判断的次数与没有自适应姿态估计装置的情况下该层级中进行分类判断的次数的对比，每个***位置对应的两个柱中左侧的代表没有自适应姿态估计装置加入的情况，右侧的代表加入后的情况。图9表明，在未加入自适应姿态估计装置之前在相应层级中要进行的分类判断，在加入自适应姿态估计装置之后该层级中几乎仍然保留进行。也就是说在加入自适应姿态估计装置的情况下，本应采用的分类器几乎保留用来进行分类判断，被自适应姿态估计装置误放弃的情况极少，误放弃的原因在于实际情况中的正面人脸的样本图像几乎会与理想中的正面成一微小角度，因而被自适应姿态估计装置确定为属于其它角度，而这样的图像在实践中仍然可能通过其它检测角度的级联分类器组的判断。也就是说在加入自适应姿态估计装置因而放弃了一定检测角度的级联分类器组的情况下，并不影响设备的判断及检测精度。

图10示出了在未采用和采用自适应姿态估计装置的情况下、经过某层级分类器判断之后的输入图像数据的数目关于其最多将要进入下一层级的检测角度数目的分布的对比示例。在关于图10的实验中，在第2层级和第3层级之间加入自适应姿态估计装置。图10的横轴反映在通过第2层级的分类器判断之后输入图像数据最多将要进入第3层级的多少个检测角度的分类器，数字1、2、3、4、5分别代表输入图像数据最多将要进入1、2、3、4、5个检测角度的分类器，每个检测角度数目对应的两个柱分别代表在未采用自适应姿态估计装置的情况下和采用自适应姿态估计装置的情况下最多将要进入相应数目的检测角度的分类器的输入图像数据的数目。

从图10可以发现，在未采用自适应姿态估计装置的例如图1所示那样的现有的多角度特定物体判断设备中，输入图像大部分可以进入第3层级的多达3或4个检测角度的分类器，而在采用自适应姿态估计装置的例如图2所示那样的本发明实施例的多角度特定物体判断设备中，输入图像大部分仅仅可以进入第3层级的1或2个检测角度的分类器，特别是大量图像只能进入一个检测角度的分类器。从而减少后续层级的计算量，提高判断检测速度。在各级联分类器组设置为特征计算复杂度随层级加深而加大的情况下，该性能更加显著。

在关于图10的实验中，采用5个级联分类器组，并采用500个输入图像数据，对于每个输入图像数据都有5个处于第1层级的分类器，因此在最初层级共有2500个分类器的计算量。在3个层级之后，在未加入自适应姿态估计装置的情况下，在剩下的所有层级要进行1749次分类器的计算，而在加入自适应姿态估计装置的情况下，在剩下的所有层级要进行1082次分类器的计算。也就是说，在之后层级的运算中，40％的时间由于该自适应姿态估计装置的加入而被省略了，从而加快了检测的速度。

本发明还可以实施为一种多角度特定物体判断方法，包括：输入步骤，可以由前述输入装置执行，输入图像数据；多个并列的分类步骤，可以分别由前述的多个级联分类器组执行，其中每个分类步骤由多个与同一检测角度相对应的子分类步骤依次构成，各个子分类步骤可以分别由前述各个分类器执行，不同子分类步骤与不同特征相对应，在各个子分类步骤中计算图像数据在相应特征方面属于相应检测角度的特定物体的置信度值，并根据置信度判断该图像数据是否属于特定物体；在分类步骤的子分类步骤之间执行的自适应姿态估计步骤，可以由前述自适应姿态估计装置执行，根据该自适应姿态估计步骤之前的与同一检测角度相应的各子分类步骤计算的置信度值，判断是否对图像数据执行该检测角度的位于该自适应姿态估计步骤之后的各子分类步骤。

其中，所述自适应姿态估计步骤包括：归一化计算步骤，可以由前述归一化计算装置执行，把在所述自适应姿态估计步骤之前的与同一检测角度相应的各子分类步骤中计算的置信度值进行归一化，获得置信度归一化值；融合计算步骤，可以由前述融合计算装置执行，融合在所述归一化计算步骤中获得的置信度归一化值，获得与检测角度相应的融合值；姿态估计步骤，可以由前述姿态估计装置执行，根据在融合计算步骤中获得的各个检测角度的融合值，计算图像数据关于各个检测角度的隶属度值；分类步骤选择步骤，可以由前述分类步骤选择装置执行，将各个检测角度的隶属度值分别与预定阈值进行比较，选择适合度值大于预定阈值的检测角度的该自适应姿态估计步骤之后的各子分类步骤，来处理图像数据。

其中，在分类步骤中，按照特征复杂度升高的顺序排列子分类步骤。以及其中，各个分类步骤中排列次序相同的子分类步骤确定为属于同一层级，所述自适应姿态估计步骤在第一层级和第二层级之间或第二层级和第三层级之间执行。

在说明书中说明的一系列操作能够通过硬件、软件、或者硬件与软件的组合来执行。当由软件执行该一系列操作时，可以把其中的计算机程序安装到内置于专用硬件的计算机中的存储器中，使得计算机执行该计算机程序。或者，可以把计算机程序安装到能够执行各种类型的处理的通用计算机中，使得计算机执行该计算机程序。

例如，可以把计算机程序预先存储到作为记录介质的硬盘或者ROM(只读存储器)中。或者，可以临时或者永久地存储(记录)计算机程序到可移动记录介质中，诸如软盘、CD-ROM(光盘只读存储器)、MO(磁光)盘、DVD(数字多功能盘)、磁盘、或半导体存储器。可以把这样的可移动记录介质作为封装软件提供。

本发明已经参考具体实施例进行了详细说明。然而，很明显，在不背离本发明的精神的情况下，本领域技术人员能够对实施例执行更改和替换。换句话说，本发明用说明的形式公开，而不是被限制地解释。要判断本发明的要旨，应该考虑所附的权利要求。

Claims (8)

1.一种多角度检测对象判断设备，包括：

输入装置，用于输入图像数据；

多个级联分类器组，其中每个级联分类器组由多个与同一检测角度相对应的分类器级联构成，不同分类器与不同特征相对应，各个分类器用于计算图像数据在相应特征方面属于相应检测角度的检测对象的置信度值，并根据置信度判断该图像数据是否属于检测对象，其特征在于，

在级联分类器组的分类器之间，设置自适应姿态估计装置，用于根据该自适应姿态估计装置之前的与同一检测角度相应的各分类器计算的置信度值，判断图像数据是否进入该检测角度的位于该自适应姿态估计装置之后的各分类器，

其中，所述自适应姿态估计装置包括：

归一化计算装置，用于把所述自适应姿态估计装置之前的与同一检测角度相应的各分类器计算的置信度值进行归一化，获得置信度归一化值；

融合计算装置，用于融合由所述归一化计算装置获得的置信度归一化值，获得与检测角度相应的融合值；

姿态估计装置，用于根据融合计算装置获得的各个检测角度的融合值，计算图像数据关于各个检测角度的隶属度值；

级联分类器组选择装置，用于将各个检测角度的隶属度值分别与预定阈值进行比较，选择隶属度值大于预定阈值的检测角度的该自适应姿态估计装置之后的各分类器，供图像数据进入。

2.根据权利要求1所述的多角度检测对象判断设备，其中，在级联分类器组中，按照特征复杂度升高的顺序排列分类器。

3.根据权利要求2所述的多角度检测对象判断设备，其中，各个级联分类器组中排列位置相同的分类器确定为属于同一层级，所述自适应姿态估计装置位于第一层级和第二层级之间或第二层级和第三层级之间。

4.根据权利要求1所述的多角度检测对象判断设备，其中，所述检测对象为人脸。

5.根据权利要求1所述的多角度检测对象判断设备，其中，所述分类器为强分类器。

6.一种多角度检测对象判断方法，包括：

输入步骤，输入图像数据；

多个并列的分类步骤，其中每个分类步骤由多个与同一检测角度相对应的子分类步骤依次构成，不同子分类步骤与不同特征相对应，在各个子分类步骤中计算图像数据在相应特征方面属于相应检测角度的检测对象的置信度值，并根据置信度判断该图像数据是否属于检测对象，其特征在于，

在分类步骤的子分类步骤之间，执行自适应姿态估计步骤，根据该自适应姿态估计步骤之前的与同一检测角度相应的各子分类步骤计算的置信度值，判断是否对图像数据执行该检测角度的在该自适应姿态估计步骤之后的各子分类步骤，

其中，所述自适应姿态估计步骤包括：

归一化计算步骤，把在所述自适应姿态估计步骤之前的与同一检测角度相应的各子分类步骤中计算的置信度值进行归一化，获得置信度归一化值；

融合计算步骤，融合在所述归一化计算步骤中获得的置信度归一化值，获得与检测角度相应的融合值；

姿态估计步骤，根据在融合计算步骤中获得的各个检测角度的融合值，计算图像数据关于各个检测角度的隶属度值；

分类步骤选择步骤，将各个检测角度的隶属度值分别与预定阈值进行比较，选择隶属度值大于预定阈值的检测角度的该自适应姿态估计步骤之后的各子分类步骤，来处理图像数据。

7.根据权利要求6所述的多角度检测对象判断方法，其中，在分类步骤中，按照特征复杂度升高的顺序排列子分类步骤。

8.根据权利要求7所述的多角度检测对象判断方法，其中，各个分类步骤中排列次序相同的子分类步骤确定为属于同一层级，所述自适应姿态估计步骤在第一层级和第二层级之间或第二层级和第三层级之间执行。

Images