CN102272774B - 用于提供面部姿态估计的方法、装置和计算机程序产品 - Google Patents

Abstract

一种用于提供用于面部检测的面部姿态估计的方法可以包括：利用检测器中的分类器的选择的部分来确定图像中候选面部的粗略姿态信息；至少部分地基于所确定的粗略姿态信息来确定所述候选面部的精细姿态信息；以及采用所述检测器中所述分类器的另一部分来至少部分地基于所述精细姿态信息来执行面部检测，以确定所述候选面部是否对应于面部。还提供了一种与所述方法相对应的装置和计算机程序产品。

Description

用于提供面部姿态估计的方法、装置和计算机程序产品

技术领域

本发明的实施例总体上涉及图像处理技术，并且更具体地，涉及用于提供面部姿态估计的方法、装置和计算机程序产品。

背景技术

面部检测和识别正在变成越来越重要的技术。在这个方面中，例如，面部检测可以在生物测定、用户界面、游戏和诸如创建用于接入移动域中的社区的上下文的其它领域中是有用的。面部检测还可以与诸如元数据标准化的主动性有关的发展是重要的。

尽管面部检测技术继续改进，但是很多当前方法要求高计算能力(例如，通过以多标度的穿越方式扫描图像来检测面部的统计方法)或经受有限的面部检测性能(例如，具有面部检测的相对高错误警报的基于结构的方法)。此外，一些统计面部检测机制由于关于正面面部检测的多视角面部检测而具有变差的性能。作为另一复杂的问题，在特定图像中遇到的面部可能不总是朝向相对于相机的同一方向，这可能负面地影响面部检测。例如，平面内旋转(例如，沿从面部到观察者的轴旋转的面部)可能在一些情况下使面部检测复杂化。

因此，持续开发设备的趋势增加了在其创建内容、存储内容和/或应请求相对快地接收内容方面的能力，在现代社会正变得日益普遍的向电子设备(例如移动电子设备，如移动电话)的趋势、以及对用于解锁这样的设备的能力的接口和接入机制的持续改进的驱动可能期望提供在面部检测领域的进一步改进。

发明内容

因此，提供了一种用于实现改进的面部检测机制的方法、装置和计算机程序产品。在这个方面中，在一些示例性实施例中，提供了一种机制，该机制能够合并统计和结构面部检测方法的某些方面的融合，以便实现与两者相关联的优点，同时减少与其相关联的缺点。同样，本发明的实施例可以提供用于甚至在不同状况下(例如，具有不同的头部姿态或面部表情)检测面部的相对健壮的能力。

在示例性实施例中，提供了一种提供用于在面部检测中使用的面部姿态估计的方法。该方法可以包括：利用检测器中的分类器的选择的部分来确定图像中候选面部的粗略姿态信息；至少部分地基于所确定的粗略姿态信息来确定所述候选面部的精细姿态信息；以及采用所述检测器中所述分类器的另一部分来至少部分地基于所述精细姿态信息来执行面部检测，以确定所述候选面部是否对应于面部。

在另一示例性实施例，提供了一种用于提供用于在面部检测中使用的面部姿态估计的计算机程序产品。该计算机程序产品包括其中存储了计算机可执行程序代码指令的至少一个计算机可读存储介质。所述计算机可执行程序代码指令可以包括用于以下的程序代码指令：利用检测器中的分类器的选择的部分来确定图像中候选面部的粗略姿态信息；至少部分地基于所确定的粗略姿态信息来确定所述候选面部的精细姿态信息；以及采用所述检测器中所述分类器的另一部分来至少部分地基于所述精细姿态信息来执行面部检测，以确定所述候选面部是否对应于面部。

在另一示例性实施例中，提供了一种用于提供用于在面部检测中使用的面部姿态估计的装置。该装置可以包括处理器。该处理器可以被配置成：利用检测器中的分类器的选择的部分来确定图像中候选面部的粗略姿态信息；至少部分地基于所确定的粗略姿态信息来确定所述候选面部的精细姿态信息；以及采用所述检测器中所述分类器的另一部分来至少部分地基于所述精细姿态信息来执行面部检测，以确定所述候选面部是否对应于面部。

在又一示例性实施例中，提供了一种用于提供用于在面部检测中使用的面部姿态估计的装置。该装置可以包括：用于利用检测器中的分类器的选择的部分来确定图像中候选面部的粗略姿态信息的部件；用于至少部分地基于所确定的粗略姿态信息来确定所述候选面部的精细姿态信息的部件；以及用于采用所述检测器中所述分类器的另一部分来至少部分地基于所述精细姿态信息来执行面部检测，以确定所述候选面部是否对应于面部的部件。

本发明的实施例可以提供用于例如在移动或固定环境中采用的方法、装置和计算机程序产品。结果，例如，计算设备用户可以享受用于面部检测的改进的能力。

附图说明

因此，已经一般地描述了本发明，现在将参照附图，附图不一定按比例绘制，并且在附图中：

图1图示了根据本发明的示例性实施例的将旋转平面划分成多个扇区的例子；

图2示出了根据本发明的示例性实施例的用于姿态估计的统计机制的例子；

图3图示了根据本发明的示例性实施例的用于面部检测的结构和统计方法的融合的一个例子；

图4示出了根据本发明的示例性实施例的图示用于面部检测的结构和统计方法的融合的一个例子的框图；

图5图示了按照本发明的示例性实施例的基于推动切换的姿态估计器的例子；

图6图示了根据本发明的示例性实施例的用于提供面部姿态估计的装置的框图；

图7示出了结合本发明的示例性实施例使用粗略姿态估计器可以实现的粗略姿态估计的例子；以及

图8是根据本发明的示例性实施例的根据用于提供用于在面部检测中使用的面部姿态估计的示例性方法的流程图。

具体实施方式

在下文中将参照附图更全面地描述本发明的一些实施例，在附图中示出了本发明的一些而不是所有的实施例。事实上，本发明的各种实施例可以以很多不同的形式来体现，并且不应当被解释为限于在此阐述的实施例；而是，提供这些实施例，使得该公开将满足可应用的法律要求。全文中相同的附图标记指的是相同的元件。如在此使用的，术语“数据”、“内容”、“信息”和类似术语可以可互换地使用以表示能够按照本发明的实施例发射、接收和/或存储的数据。此外，如在此使用的，提供术语“示例性”不是为了传达任何定性的估计，而是仅传达对例子的说明。另外，在此以相对的含义使用术语“近”和“远”，以便表示对象相对于彼此距离某个点更近和更远，而不是以其它方式表示任何特定或可定量的位置。因此，任何这样的术语的使用不应当被视为限制本发明的实施例的精神和范围。

本发明的一些实施例可以提供由此可以体验关于面部检测和/或识别的改进的机制。在这个方面中，例如，一些实施例可以提供实时或接近实时的面部检测方案，其可以适合于手持或其它计算设备上的元数据指配、生物测定学、游戏和多种其它活动。

对于采用的很多图像来说，图像中的一个或多个个体可以具有各种不同的用于定义其各自的姿态或面部表情的平面内和平面外旋转。定义图像中面部的姿态的这些旋转可能使面部检测和识别复杂化。已经针对处理这些情形的各种技术开发了两个基本类别的响应。在这个方面中，第一类别包括使用多个训练检测器的姿态估计。对于该方法，给定具有各种姿态的相应训练集合来训练多个面部检测器。该训练集合包括朝向各种不同平面内和/或平面外旋转量的多个面部(例如，各种姿态)。然后可以尝试使图像块经过训练检测器，并且图像块所经过的并且被识别为面部的那个图像块可以指示其中的面部的相应姿态。图1示出了将旋转平面划分成20个扇区的例子。对于每个扇区，可以基于具有相应姿态的面部来训练面部检测器。如可从图1看出的，每个扇区定义了特定平面内旋转和特定平面外旋转。通过继续进行所有的扇区和考虑每个扇区内的公差，20个训练检测器能够检测图像内具有各种不同姿态的面部，以在多视角面部检测应用或***中提供面部姿态信息的估计。

然而，该方法的一个缺点是该方法仅提供姿态范围，并且不一定是精确的姿态信息。另外，在扇区的数目和检测器训练中收敛的难度之间存在折衷。例如，图1的扇区A覆盖平面内旋转从-45°至45°的姿态变化。因此，用于提供用于训练检测器的训练例子的相应训练数据库必须包括用于覆盖该范围内的递增改变的很多例子，由于相对大的模式变化这可能导致训练中难以收敛。通过增加扇区的数目以便使收敛更容易可能部分地解决了该缺点。然而，增加扇区的数目(例如，双倍)可以提供姿态估计所消耗的时间上的相应增加(例如，双倍)。该时间消耗上的增加对于实时***可能是不可容忍的。

用于多视角面部检测的另一类方法可以包括通过训练姿态分类器来进行姿态估计。在这个方面中，对于图像块，可以由姿态分类器来初始估计姿态。然后，将图像块发送到所分类姿态的相应面部检测器，以检验该图像块是否包括面部。在包括二十个扇区(例如，扇区A)的图1的示例实施例中，姿态分类器被训练以区分相应的20个姿态。该方法也仅提供姿态范围而不是精确姿态。同时，训练唯一姿态分类器以区分多达20个姿态可能是难以实现的任务，因为其涉及多个类别分类问题，这在模式分析中是经典难题。在一些情况下，可以训练20个姿态分类器并且使用每个分类器来将一个姿态和剩余姿态进行分类。然而，这种解决方案也潜在地是耗时的并且因此可能在实时场景中不是高效有用的。

因此，本发明的实施例可能旨在解决与训练收敛、姿态估计中的粗略精度或缺少准确度以及姿态估计中的低时间效率中的难题有关的问题。特别地，本发明的实施例可以提供基于结构的和基于统计的面部检测方法的唯一融合。在这个方面中，本发明的实施例可以初始地采用使用统计方法的粗略姿态确定，然后使用结构方法的精细姿态确定以分析面部的图像块。然后，规格化的数据(例如，旋转到垂直)可以用于(例如，使用另一统计方法)分析图像块中面部的存在。因此，一些实施例提供在执行基于姿态的面部检测应用之前的精细姿态确定。因此，本发明的实施例可以提供在基于面部的引用的工作负担上具有相对低增加的精细姿态信息。一般地说，本发明的实施例可以称为涉及基于推动切换的面部姿态估计器，因为在两个不同方法之间推动信息，并且然后使得方法切换将信息推动回到原始方法。

面部检测在一些情况下可以使用形成检测器的级联分类器来实现。在这个方面中，如图1的例子中所示出的，通过级联弱分类器可以形成20个不同的检测器。弱分类器可以被定义为仅与真正分类略微相关的分类器。相反，强分类器可以是与真正分类任意地充分相关的分类器。弱分类器可能比强分类器更容易创建。然而，在一些情况下，多个弱分类器可以以较少成本提供与由强分类器提供的结果相当的结果。

图2图示了可以结合图1的例子使用的用于姿态估计的潜在机制。在这个方面中，n个检测器(例如，在图1的例子中是20个检测器)可以由对具有特定姿态或姿态范围的面部训练的弱分类器的级联集合组成，以检测具有与相应训练姿态类似的特性的面部。同样，对于相应特定姿态，可以训练每个检测器。因此，例如，如果图像块经过检测器1并且导致面部检测，则可以说所检测到的面部具有与用于训练检测器的训练面部相关联的姿态的相应类似姿态(例如，姿态1)。同时，如果图像块没有生成与检测器1有关的面部检测，则图像块可以仍然利用用于其它检测器中的任何一个或多个(例如，检测器2至检测器n)的相应姿态来生成面部检测。因此，在操作中，图像块可以被输入到所有的检测器中，以便实现被配置成利用各种相应姿态来检测可能面部的多视角面部检测器。基于检测面部的检测器，用于每个可能面部的姿态信息可能是可同时确定的。

由于面部检测是基于面部的应用的中心，所以在执行面部检测之前初始地确定面部信息可能是有益的。可以使用诸如图2中示出的机制的统计方法以相对粗略的方式来完成姿态确定的执行。基于确定的粗略姿态信息，然后可以使用基于结构的方法来完成精细姿态信息，由此融合了统计方法和结构方法。图3图示了根据示例性实施例的用于面部检测的结构和统计方法的融合的一个例子。在这个方面中，如图3所示，可以通过每个包括一系列级联的弱分类器的若干检测器来执行姿态估计的统计方法20(例如，类似于图2中所示的初始阶段)，其中，每个检测器对应于特定姿态范围(例如，覆盖平面外旋转角度和/或平面内旋转角度的预定范围)。作为图像块经过统计方法20的结果，粗略姿态信息22可以经过结构方法24以得到精细姿态信息26。在规格化块之后，可以对已规格化的块30采用统计方法28(例如，类似于来自图2的实施例的剩余阶段或部分)，以在没有很大地增加开销成本的情况下提供可能相对准确和稳健的面部检测输出32。

图3中示出的实施例的特性方面涉及包括若干弱分类器的检测器与基于结构的方法的组合，以形成姿态估计器。因此，可以通过采用用于粗略姿态确定的图2的统计方法的一个或多个初始阶段并且然后采用用于执行精细姿态确定的结构方法来实现本发明的实施例。然后，用于面部检测的统计方法的剩余弱分类器中的一些或所有弱分类器可以用于在每个各自检测器中的相应面部检测。然而，如图4所示，分离的通用统计方法可以用于与图3的统计方法20和统计方法28相关联的各个操作，而不是使用图2中示出的统计方法的一部分。

图4示出了具有示例图像块的参照图3描述的例子的框图。在这个方面中，可以使用统计方法42来分析图像块40用于粗略姿态确定。例如，可以实现指示具有大约90和135度之间平面内旋转并且几乎没有平面外旋转的姿态的粗略姿态确定。然后，可以采用结构方法44来获得135度平面内旋转和无平面外旋转的精细姿态确定。然后，可以将图像块46旋转成垂直用于规格化，并且可以采用另一统计方法48(或相同统计方法的一部分)用于面部检测。如从图2-4可以看出的，本发明的实施例可以执行在没有要求分离的姿态分类器的情况下用于基于面部应用的面部检测。因此，相对于现有方法可以增加本发明的示例性实施例的时间效率。

图5图示了按照本发明的示例性实施例的基于推动切换的姿态估计器的例子。在这个方面中，如图5所示，对于给定图像块，可以初始采用基于统计的方法(例如，如以上参照图3描述的基于Adaboost(自适应增强)的统计方法50)用于粗略姿态估计52。粗略姿态估计52可以提供给基于结构的检测方法54以产生精细姿态估计56。通过基于结构的方案可以将块旋转成垂直，并且将块推动回基于Adaboost的统计方法50用于面部检测、识别等。

如上所述，Adaboost可以是可以结合本发明的实施例的统计方法的例子。统计方法的其它例子可以包括Gentle-Boost、realBoost、FloatBoost等。同时，示例性结构方法可以包括采用在各个不同方位提供覆盖各个不同的平面内旋转角度的检测器、以及采用图像的特征可以与其进行比较的一系列不同方位的面部模板。在一些情况下，采用基于结构的方案的结果可以是将分析的图像块旋转成垂直。

图6图示了根据本发明的示例性实施例的用于实现面部检测的面部姿态估计的装置的示意框图的一个例子。现在将参照图6描述本发明的示例性实施例，其中显示了用于实现面部检测的面部姿态估计的装置的特定元件。可以在移动终端(例如，移动电话、游戏设备、个人数字助理(PDA)等)或移动和固定的各种其它设备(诸如，例如网络设备、个人计算机、膝上型计算机、数字相机等)上采用图6的装置。替代地，可以在设备的组合上采用这些实施例。因此，本发明的一些实施例可以整体体现在单个设备处或由处于客户端/服务器关系中的设备来体现。此外，应当注意，下述设备或元件可能不是强制性的，并且因此一些设备或元件在某些实施例中可以省略。

现在参考图6，提供了一种用于实现用于面部检测的面部姿态估计的装置。该装置可以包括处理器70、用户接口72、通信接口74和存储器设备76或以其它方式与其通信。存储器设备76可以包括例如易失性和/或非易失性存储器。存储器设备76可以被配置成存储用于使得该装置能够执行按照本发明的示例性实施例的各种功能的信息、数据、应用、指令等。例如，存储器设备76可以被配置成缓冲用于由处理器70处理的输入数据。另外或替代地，存储器设备76可以被配置成存储用于由处理器70执行的指令。作为又一替代，存储器设备76可以是存储信息和/或媒体数据的多个数据库中的一个。

处理器70可以以很多不同的方式来体现。例如，处理器70可以被体现为各种处理装置，诸如处理元件、协处理器、控制器、或包括诸如ASIC(专用集成电路)、FPGA(现场可编程门阵列)的集成电路的各种其它处理设备、硬件加速器等。在示例性实施例中，处理器70可以被配置成执行在存储器设备76中存储的或以其它方式可接入处理器的指令。同样，不管通过硬件还是软件方法、或通过其组合来配置，处理器70可以表示在相应配置的同时能够执行根据本发明的实施例的操作的实体。因此，当处理器70被体现为ASIC、FPGA等时，处理器70可以被具体地配置用于进行在此描述的操作的硬件。替代地，当处理器70被体现为软件指令的执行器时，所述指令可以具体地配置处理器70，其另外可以是专用处理元件，以执行在此描述的算法和操作。

同时，通信接口74可以是被配置成从与所述装置通信的网络和/或任何其它设备或模块接收数据和/或向其发射数据的任何装置，诸如以硬件、软件或硬件和软件的组合体现的设备或电路。在这个方面中，通信接口74可以包括例如用于使得能够与无线通信网络(例如，网络78)通信的天线(或多个天线)和支持硬件和/或软件。在固定环境中，通信接口74可以替代地或还支持有线通信。同样，通信接口74可以包括用于支持经由电缆、数字订户线路(DSL)、通用串行总线(USB)、以太网或其他机构进行通信的通信调制解调器和/或其它硬件/软件。

用户接口72可以与处理器70进行通信，以在用户接口72处接收用户输入的指示，和/或向用户提供可听的、可视的、机械的或其它输出。同样，用户接口72可以包括例如键盘、鼠标、操纵杆、显示器、触摸屏、麦克风、扬声器、或其它输入/输出机构。在所述装置被体现为服务器或一些其它网络设备的示例性实施例中，用户接口72可以被限制或消除。然而，在所述装置被体现为移动终端或个人计算机的实施例中，除了其它设备或元件之外，用户接口72可以包括扬声器、麦克风、显示器和键盘等中的任何一个或所有。

在示例性实施例中，处理器70可以被体现为、包括或以其它方式控制粗略姿态估计器80、精细姿态估计器82、面部检测器84，以及在一些情况下还有候选旋转器86。然而，候选旋转器86在一些实例中可以是精细姿态估计器82的一部分。如下所述，粗略姿态估计器80、精细姿态估计器82、面部检测器84和候选旋转器86每个可以是被配置成分别执行粗略姿态估计器80、精细姿态估计器82、面部检测器84和候选旋转器86的相应功能的任何装置，诸如以硬件、软件或硬件和软件的组合体现的设备或电路(例如，在软件控制下操作的处理器70、具体地被配置成执行在此描述的操作的体现为ASIC或FPGA的处理器70、或其组合)。

在示例性实施例中，粗略姿态估计器80、精细姿态估计器82、面部检测器84和候选旋转器86中的任何一个或所有可以包括用于提供面部检测服务的各个部分的指令、代码、模块、应用和/或电路。然而，应当注意，与粗略姿态估计器80、精细姿态估计器82、面部检测器84和候选旋转器86相关联的代码、电路和/或指令不一定是模块化的。此外，如下面所讨论的，在一些情况下，粗略姿态估计器80和面部检测器84可以每个都实现基于相同统计方法或方案的部分(例如，包括一系列级联的检测器)，并且在一些情况下，所实现的部分可以重叠。在一些实施例中，经由处理器70进行粗略姿态估计器80、精细姿态估计器82、面部检测器84和候选旋转器86之间的通信。然而，粗略姿态估计器80、精细姿态估计器82、面部检测器84和候选旋转器86替代地彼此直接通信，或在其它实施例中可能彼此没有通信。

在示例性实施例中，粗略姿态估计器80采用面部检测的基于置信度或基于统计的方法的一系列训练检测器，用于确定特定图像块内任何识别的面部的姿态的估计。然而，粗略姿态估计器80没有实现基于统计的方法的检测器的所有分类器。实际上，可以仅采用选择数目的分类器，以由于避免了使用检测器的所有分类器而在相对短的时间中得到大致的姿态估计。

给定用于面部相关应用的图像块，典型训练检测器可以用于确定图像块是否包括面部。然而，给定典型的基于统计的方法方案中的训练检测器的数目以及其中训练分类器的相应数目，如果使用所有分类器来分析图像块，则时间效率可能较低。因此，相比于用于姿态确定的全套训练分类器，本发明的实施例可以利用更少的分类器，结合结构方法细化由采用的统计方法的训练分类器确定的姿态信息。因此，粗略姿态估计器80可以被配置成快速地执行粗略姿态估计以能够通过改进检测速度来改进实时性能。

粗略姿态估计器80可以被配置成采用用于包括相对小姿态变化的训练的数据。即使在训练数据中示出了相对小姿态变化，给定训练范围以外的面部，由于训练数据和估计面部之间的类似性在外观和结构两者上最高，所以相对于其相应姿态正确地分类给定面部的概率相对较高。

示例性的基于统计的方法可以包括多个检测器，其中每个检测器是具有m个级联的训练检测器D_n＝{C₁，C₂，...，C_m}，其中，C_i＝{W₁，W₂，...，W_t}是具有t个弱分类器的第i级联。在一些实施例中，在每个检测器中的弱分类器的数目多于1000。每个弱分类器将通常贡献置信度分数，该置信度分数指示测试图像块很可能是具有与相应分类器相关联的姿态的面部的程度。例如，对于Gentle-Boost统计方法，W_i的定义可以是：

$W_i=\frac{P_{+}-P_{-}}{P_{+}+P_{-}}---\left(1\right)$

其中P₊和P_-是分割区域的正概率和负概率。其可以进一步被记为：

$W_i=\frac{P_{+}}{P_{+}+P_{-}}-\frac{P_{-}}{P_{+}+P_{-}}---\left(2\right)$

所以W_i实际上是要测量的规格化分数，在特定分割中，该概率是更占主导性。如果置信度分数大，则更可能的是，正在分析的图像块包括具有与相应分配器相关联的姿态的面部。在检测器D_j中的每个弱分类器W_ji贡献了分数，并且这些分数与规则(例如，下面的求和规则)融合以产生可靠的置信度分数：

$\stackrel{\‾}{w_j}=\frac{\underset{i}{\mathrm{\Σ}}{W}_{\mathrm{ji}}}{N}---\left(3\right)$

其中N是用于姿态估计的弱分类器的数目。因此，可以通过以下来确定图像块I的姿态：

$\mathrm{Pos}\left(I\right)=\arg \max \left(\stackrel{\‾}{W_j}\right).---\left(4\right)$

通过仅实现N个弱分类器(例如，在一个例子中是6个)，可以通过利用用于姿态估计的每个训练检测器的弱分类器的一小部分(例如，在一个例子中仅是前6个弱分类器)来确定姿态。因此，不必训练额外的姿态分类器并且仍然可以实现相对快的执行。因此，粗略姿态估计器80被配置成实现用于基于统计的分析方案的每个检测器的所选择部分的分类器，以便获得用于实现相对良好(虽然粗略)姿态估计性能的置信度分数。

图7示出了使用粗略姿态估计器80可以实现的粗略姿态估计的例子。注意到，如图7所示，在一些实施例中，至少部分地通过实现检测器的覆盖范围上的减少可以增加收敛性能。例如，图1的扇区A覆盖从-45度到45度的平面内旋转，这可能要求相对大量的训练数据以在这样的范围上实现可靠的姿态检测和面部检测。同时，在本发明的示例性实施例中，覆盖范围可以减少到-15度到15度的平面内旋转，因为已旋转的面部可以由精细姿态估计器82通过结构方法来校准(因此，通过结构方法可以完成将在-15度到15度覆盖区域之外指示的面部旋转成在-15度到15度覆盖区域之内)。因此，按照本发明的实施例，训练检测器不必具有检测面部的大旋转的能力。在实践中，因此，粗略姿态估计器80可以在每个检测器中实现较少的分类器(例如，N可以更小)。

精细姿态估计器82可以被配置成实现基于结构的分析方案，以提供包括在特定图像块中检测到的任何面部的姿态的相对准确指示的精细姿态信息。基于结构的分析方案可以是上述例子中的一个或任何其它基于结构的分析方案。虽然一些实施例可以使用统计方案来估计粗略姿态信息，但是利用基于结构的方案可以实现粗略姿态信息的细化。在这个方面中，例如，如果面部具有相对大的旋转，则面部可能不太可能通过仅使用由粗略姿态估计器80采用的基于统计的方法来正确地分类(例如，通过与相应姿态相关联的检测器的分类器)，因为为了确保良好的收敛，通常在训练数据中仅允许很小的姿态变化。因此，本发明的实施例利用基于结构的分析方案来得到精细姿态信息。在一些实施例中，面部可以被旋转成垂直以实现面部检测。在一些情况下，在精细姿态估计器82确定相对准确的姿态以定义用于相应面部候选的姿态信息的操作之前或之后，可以通过候选旋转器86来完成所述旋转成垂直。通过垂直地对准面部候选，可以更好地实现结构方法以分析图像块的结构特征，以确定准确的姿态信息。

面部检测器84可以被配置成检测具有使用由粗略姿态估计器80使用的基于统计的分析方案已经做出的精细姿态确定的垂直对准图像块中的面部候选。在一些情况下，面部检测器84可以使用粗略姿态估计器80初始没有使用的剩余级联弱分类器的所有或一部分弱分类器。然而，在其它情况下，采用统计方法的检测器的不相关集合可以被采用。在操作中，在已经检测到候选面部之后，候选旋转器86可以将所检测到的候选旋转成垂直的，之后面部检测器84可以更容易和更快地确定所述候选是否对应于面部。在示例性实施例中，图6的装置可以与媒体捕获模块(例如，相机)通信，以接收用于在在此描述的分析中使用的图像数据。然而，在替代实施例中，图6的装置可以从存储位置(例如，存储器设备76)或另一设备接收图像。

如上所述，在一些实施例中，粗略姿态估计器80和面部检测器84可以利用Adaboost或另一基于统计的分析方案。然而，Adaboost仅是粗略姿态估计器80和面部检测器84的具体实现的一个例子，并且替代地可以采用其它机构。Adaboost(自适应增强)是可以结合其它学习机制以改善性能而利用的机器学习算法。在示例性实施例中，可以结合用于姿态估计的基于结构的分析方案来使用Adaboost。然后，在从与已经使用具有相对小姿态变化的面部数据集训练的Adaboost相关联的检测器使用选择的分类器确定了粗略姿态信息之后，基于结构的分析方案可以细化姿态信息，以提供精细姿态信息并且将相应的图像块旋转成垂直。然后，可以采用其它Adaboost分类器以完成对垂直旋转的图像的面部检测。

通过基于结构的分析方案进行图像的垂直旋转可能使得基于统计的分析方案不必利用具有大旋转角度的训练数据。因此，在每个检测器中可能需要训练更少的弱分类器，并且检测器可以更快地实现收敛。根据使用基于统计的分析方案初始获取粗略姿态信息的一些实施例，细化了基于结构的分析方案的搜索范围以便找到精确的旋转角度。因此，基于输入图像块的大小，适当的操作器可以被构造成更好地估计结构信息以改进基于结构的分析方案的效率。此外，本发明的一些实施例融合了用于确定姿态信息的基于统计的和基于结构的分析方案，以增大面部检测。

在一些情况下，本发明的实施例可以在没有附加基于面部的应用的额外计算负担的情况下减少了相对准确地完成姿态估计所需要的时间。在这个方面中，如在此描述的基于推动切换的面部姿态估计器融合了基于统计的和结构的分析方案用于可靠的姿态估计。因此，例如，可以改进检测器训练中的收敛性能，可以更快地和更准确地确定姿态估计，并且这么做需要训练额外的姿态分类器。

在一些情况下，由精细姿态估计器82采用的基于结构的分析方案可以利用用于精细姿态信息确定的眼睛定位。同样，对于眼睛看不到的地方的特定面部旋转，精细姿态信息可能不是可确定的。在这样的情形下，可以仅提供粗略姿态信息。

本发明的实施例可以结合多视角面部检测和识别来利用，并且还可以集合人机接口(HCI)应用，以便提供用于移动电话操作、游戏和使用计算机执行任务的用户接口。

图8是根据本发明的一些示例性实施例的***、方法和程序产品的流程图。将理解，可以通过诸如硬件、固件和/或包括一个或多个计算机程序指令的软件的各种装置来实现流程图的每个框或步骤以及流程图中框的组合。例如，可以通过计算机程序指令来实现上述过程中的一个或多个。在这个方面中，体现上述过程的计算机程序指令可以由移动终端的存储器设备或采用本发明的实施例的其它装置来存储，并且由移动终端中的处理器或其它装置来执行。如将理解的，任何这样的计算机程序指令可以被加载到计算机或其它可编程装置(即，硬件)上，以产生机器，使得在计算机上执行的(例如，经由处理器)指令或其它可编程装置创建用于实现在流程图框(多个)或步骤(多个)中指定的功能的装置。这些计算机程序指令还可以存储在计算机可读存储器中，其可以引导计算机(例如，处理器或另一计算设备)或其它可编程装置以特定方式起作用，使得在计算机可读存储器中存储的指令产生包括用于实现在流程图框(多个)或步骤(多个)中执行的功能的指令装置的制品。计算机程序指令还可以被加载到计算机或其它可编程装置上，以使得在计算机或其它可编程装置上执行一系列操作步骤，以产生计算机实现的处理，使得在计算机或其它可编程装置上执行的指令提供用于实现在流程图框(多个)或步骤(多个)中指定的功能的步骤。

因此，流程图的框或步骤支持用于执行所指定的功能的装置的组合、用于执行所指定的功能的步骤的组合、以及用于执行所指定的功能的程序指令装置。还将明白，可以通过执行所指定的功能或步骤的基于专用硬件的计算机***、或专用硬件和计算机指令的组合来实现流程图的一个或多个框或步骤、以及流程图中的框或步骤的组合。

在这个方面中，如例如图8中图示的用于提供用于面部检测的姿态估计的方法的一个实施例可以包括：在操作100，利用检测器中分类器的选择的部分(例如，与基于统计分析方案相关联的)来确定用于图像中的候选面部的粗略姿态信息。该方法可以进一步包括：至少部分地基于在操作110确定的粗略姿态信息来确定用于候选面部的精细姿态信息(例如，通过采用基于结构的分析方案)；以及在操作120，采用检测器中的分类器的另一部分来至少部分地基于精细姿态信息执行面部检测，以确定候选面部是否对应于面部。

在一些实施例中，该方法可以包括进一步的可选操作，在图8的虚线中示出了其例子。在各种替代实施例中可以以任何顺序和/或彼此相结合地执行可选操作。同样，该方法可以进一步包括以下操作：在操作115，在执行面部检测之前，将图像旋转成垂直。

在一些实施例中，可以如下所述修改或进一步详述以上操作中的某些操作。应当理解，可以下面的修改和详述中的每一个，并且以上操作单独或结合在此描述的特征当中的任何其它特征。在这个方面中，例如，通过采用基于结构的分析方案来确定用于候选面部的精细姿态信息包括利用面部模板。在一些情况下，基于统计的分析方案可以是Adaboost。在示例性实施例中，利用分类器的所选择的部分可以包括利用基于统计的分析方案的检测器中的N个初始分类器。替代地或另外，采用基于统计的分析方案的另一部分可以包括利用没有用于确定粗略姿态信息的剩余分类器的至少一部分。

在示例性实施例中，用于执行以上图8的方法的装置可以包括处理器(例如，处理器70)，该处理器被配置成执行上述操作中的一些或每一个操作。该处理器例如可以被配置成通过执行硬件实现的逻辑功能、执行存储的指令、或执行用于执行每个操作的算法来执行操作(100-120)。替代地，该装置可以包括用于执行上述每个操作的装置。在这个方面中，根据示例实施例，用于执行操作100-120的装置的例子可以包括例如处理器70、粗略姿态估计器80、精细姿态估计器82、面部检测器84、候选旋转器86和/或由如上所述用于处理信息的处理器70执行的算法。

受益于在前述描述和关联附图中呈现的教导的这些发明所属领域的技术人员将会想到在此阐述的本发明的很多修改和其它实施例。因此，应当明白，本发明并不限于公开的具体实施例并且修改和其它实施例意在被包括在所附权利要求的范围之内。此外，尽管前述描述和关联附图描述了在元件和/或功能的某些示例性组合的上下文中的示例性实施例，但是应当理解，在没有背离所附权利要求的范围的情况下，可以通过替代实施例来提供元件和/或功能的不同组合。在这个方面中，例如，预计与以上明确描述的那些不同的元件和/或功能的组合也可以在所述权利要求的一些中阐述。尽管在此采用了具体术语，但是它们仅用于通用和描述性含义并不用于限制目的。

Claims (12)

1.一种用于图像处理的装置，包括：

用于利用在基于统计的分析方案的检测器中的分类器的所选部分来确定图像中候选面部的粗略姿态信息的构件；

用于通过利用基于结构的分析方案，至少部分地基于所确定的粗略姿态信息来确定所述候选面部的精细姿态信息的构件；以及

用于通过基于统计的分析方案采用所述检测器中的所述分类器的另一部分来至少部分地基于所述精细姿态信息来执行面部检测，以确定所述候选面部是否对应于面部的构件。

2.根据权利要求1所述的装置，其中，进一步包括：用于在执行所述面部检测之前，将所述图像旋转成垂直的构件。

3.根据权利要求1所述的装置，其中，包括：用于采用自适应增强，作为由所述检测器采用的基于统计的分析方案的构件。

4.根据权利要求1所述的装置，其中，包括：用于通过利用面部模板来确定所述候选面部的精细姿态信息的构件。

5.根据权利要求1所述的装置，其中，包括：用于通过利用在基于统计的分析方案的所述检测器中的N个初始分类器来使用分类器的所选部分的构件。

6.根据权利要求1所述的装置，其中，包括：用于通过利用没有用于确定所述粗略姿态信息的剩余分类器的至少一部分来采用所述分类器的另一部分的构件。

7.根据权利要求1所述的装置，其中，包括：相对于所述面部来进行面部识别的构件。

8.一种用于图像处理的方法，包括：

利用在基于统计的分析方案的检测器中的分类器的所选部分来确定图像中候选面部的粗略姿态信息；

通过利用基于结构的分析方案，至少部分地基于所确定的粗略姿态信息来确定所述候选面部的精细姿态信息；以及

通过基于统计的分析方案采用所述检测器中的所述分类器的另一部分来至少部分地基于所述精细姿态信息来执行面部检测，以确定所述候选面部是否对应于面部。

9.根据权利要求8所述的方法，进一步包括：在执行所述面部检测之前，将所述图像旋转成垂直。

10.根据权利要求8所述的方法，其中，确定所述候选面部的精细姿态信息包括利用面部模板。

11.根据权利要求8所述的方法，其中，利用分类器的所选部分包括利用在基于统计的分析方案的所述检测器中的N个初始分类器。

12.根据权利要求8所述的方法，其中，采用所述分类器的另一部分包括利用没有用于确定所述粗略姿态信息的剩余分类器的至少一部分。