CN101281595A - 用于面部确认的装置和方法、以及计算机程序 - Google Patents

Abstract

本发明披露了一种用于面部确认的装置和方法以及计算机程序，该用于面部确认的装置用于注册人的面部图像、接收其中将执行面部识别的运动图像、并在所接收的运动图像中执行面部确认。该装置包括以下元件。面部注册单元注册人的面部作为为图像。面部检测单元在输入运动图像的一个帧中检测面部。面部跟踪单元跟踪在输入运动图像的帧中检测到的面部。面部识别单元将通过面部跟踪装置跟踪到的检测到的面部与注册在面部注册装置中的注册的面部进行比较，从而识别面部。稳定化单元稳定面部识别装置进行的面部识别的结果。

Description

用于面部确认的装置和方法、以及计算机程序

相关申请的交叉参考

本发明包含于2007年4月4日向日本专利局提交的日本专利申请JP 2007-098086的主题，其全部内容结合于此作为参考。

技术领域

本发明涉及一种用于识别包括在所拍摄的图像中的面部的面部确认装置和方法、以及计算机程序，具体地，涉及一种用于在运动图像中连续执行面部确认的面部确认装置和方法、以及计算机程序。

更明确地，本发明涉及一种用于在整个运动图像中稳定识别同一个人的面部确认装置和方法、以及计算机程序，具体地，涉及一种用于在人的面部在每帧上移或下移、或左移或右移、或者面部的大小在每帧变化的情况下，连续识别同一个人的面部确认装置和方法、以及计算机程序。

背景技术

面部确认技术可广泛应用于人机界面，例如，对人不会带来任何负担的个人识别***和性别确定***。最近的数码相机具有面部识别功能。那些相机可以识别对象并基于识别的结果来执行各种相机控制，诸如自动调焦、自动曝光和图像质量调节。

用于面部确认的多数相关技术方法使用帧作为静态图像来执行面部检测和识别。通常，使用正面图像(full-face images)来执行面部确认。面部识别是为了确定注册的面部图像是否与输入面部图像匹配。优选地，将注册的面部图像与输入面部图像比较后示出了具有与注册的面部图像相同取向和大小的面部。根据对象的识别结果，所拍摄的图像可以被分类、组织并使相互关联。这项技术的一个可能应用是对拍摄图像中的各个人分配重要等级并在对分配了最高重要等级的主要人物锁定聚焦和曝光的同时控制摄影操作、或执行适于主要人物的诸如图像质量调节的图像处理。

第2002-333652号日本未审查专利申请公开披露了一种用于预先记录关于对象特征的信息、根据图像数据检测面部、在检测面部中检测具有与预定特征相匹配的特征的对象、并聚焦于检测对象上的成像装置。除了关于物体特征的信息外，此成像装置还记录重要等级。当在拍摄的图像数据中存在多个对象(人物)时，成像装置以重要性递减的顺序来确定对象的特征是否与预定特征匹配。

利用上述面部确认技术的数码摄像机同样可以对运动图像执行各种相机控制，诸如自动调焦、自动曝光和图像质量调节，并且还可以使用与特定人物相关的信息来作为用于视频数据管理的信息。那些数码相机可以用于对人进行监视或侦察的安全***。

当在运动图像中连续执行面部确认时，对象面部的取向和面部的大小可以随着对象的运动而变化。换句话说，对象的面部可以在每帧上移或下移、或左移或右移，或者面部的大小可以在每帧变化。因此，每帧的面部识别很可能导致错误识别。例如，即使在运动图像中拍摄的是同一个人，但是这个人也会被错误地识别为另一个人。或者，不同的人被错误地识别为同一个人。另外，与人的运动相关联的包括照明和背景的周围环境的影响会使视频图像产生改变。这个改变会导致在图像确认处理中产生噪音。

对整个运动图像的面部识别的结果包括可以正确识别人物的帧(或场)和执行了错误识别的帧(或场)。在许多情况下，识别并不稳定一致。当面部识别的结果由于通过(例如)摄像机拍摄的运动图像中帧的不同而不同时，诸如自动调焦、自动曝光和图像质量调节的各种相机控制是不稳定的。

面部确认概括地分为两种模式，即，学习模式和确认模式。在学习模式中，注册了对象(人)的面部。在确认模式中，将检测面部与注册面部进行比较来确认面部，即，识别人。然而，如果在运动图像流中持续使用旧的注册面部时，就难以响应对象(人)的运动而引起的检测面部的取向或大小的改变。不幸的是，错误识别的可能性逐渐增加。

发明内容

需要提供一种能够在运动图像中连续执行面部确认的良好的面部确认装置和方法、以及计算机程序。

另外，需要提供一种能够在整个运动图像中稳定识别同一个人的良好的面部确认装置和方法、以及计算机程序。

另外，需要提供一种能够在人的面部在每帧上移或下移、或左移或右移、或者面部的大小在每帧变化的情况下连续识别同一个人的良好的面部确认装置和方法、以及计算机程序。

鉴于上述问题作出本发明。本发明的实施例提供了一种用于预先注册人的面部图像、接收其中将执行面部识别的运动图像、并在所接收的运动图像中执行面部确认的面部确认装置。该装置包括以下元件。面部注册单元注册人的面部作为图像。面部检测单元在输入运动图像的一个帧中检测面部。面部跟踪单元跟踪在输入运动图像的帧中的检测面部。面部识别单元将通过面部跟踪单元跟踪的检测面部与面部注册单元中注册的注册面部进行比较，从而识别面部。稳定化单元稳定面部识别单元进行的面部识别的结果。

将面部识别技术应用于数码相机使相机能够执行相机控制，诸如自动调焦、自动曝光和图像质量调节。在处理通过数码摄像机拍摄的运动图像时，很难在多个帧(或场)中执行面部识别。

例如，跟踪技可以将用于跟踪包括在拍摄图像中的特定检测的面部，并识别检测面部。然而，对象(例如，人)的面部可以在运动图像的每帧上移或下移、或左移或右移，或者面部的大小可以在每帧变化。因此，每帧的面部识别可能导致错误识别。例如，即使在运动图像中拍摄的是同一个人，但是这个人可能被错误识别为另一个人。或者，不同的人被错误地识别为同一个人。通常，面部识别是为了确定注册面部图像是否与输入面部图像相匹配。优选地，将注册面部图像与输入面部图像相比示出的是具有与注册的面部图像相同的取向和大小的面部。

根据本发明的上述实施例，当在输入运动图像的一个帧中检测面部时，面部确认装置将跟踪目标固定到检测面部，即，针对检测面部进行的跟踪被锁定，并将被跟踪的检测面部与注册面部进行比较，以在下一帧中执行跟踪的同时识别面部。该装置包括用于稳定面部识别单元的面部识别结果的稳定化单元。

稳定化单元可以在运动图像的每个预定帧周期将其面部已被面部识别单元识别的人的被注册在面部注册单元中的注册面部更新为这个人的当前检测面部。有利地，可以在多个帧中稳定面部识别的结果，从而使面部识别的结果对应于由人(物体)的运动引起的检测到的面部的取向或大小的改变。

当针对面部跟踪单元进行的跟踪被锁定的检测面部的面部识别结果满足预定可靠性标准时，稳定化装置可以将面部识别锁定在检测面部上。关于面部识别的结果的可靠性标准可以包括面部识别单元的成功面部识别的次数或作为被识别的人的面部识别的得分的累积值。此后，稳定化单元可以将注册面部更新为锁定了面部识别的检测面部。

将锁定面部识别的面部，即，识别目标面部对应于最新锁定了跟踪的面部。原因如下：当在跟踪期间解锁了对检测面部的跟踪锁定时，检测面部上的面部识别锁定也被解锁。因此，稍后将锁定面部识别的面部对应于最新锁定了跟踪的面部。当面部识别锁定被解锁且再次锁定面部识别时，显然从先前帧跟踪的检测面部(即，已锁定跟踪的面部)不同于再次锁定了面部识别的面部。因此，从面部识别的目标中去除已锁定了跟踪的检测面部。

在将面部识别锁定在检测面部之前，除了成功面部识别的次数或作为面部识别得分的累积值之外，稳定化单元可以估计属性信息，例如，经过面部识别的人的年龄或性别。稳定化单元可以基于估计的结果来确定面部识别是否被锁定在检测面部上。因此，可以从注册面部更新的目标中去除无需经过面部识别的人(或具有低重要性的人)。

尽管稳定化单元在每个预定帧周期内将注册的面部更新为锁定了面部识别的面部，但是只要满足预定条件，例如，只要对检测到的面部的面部识别的精确度足够高，那么稳定化单元就可以更新注册面部。因此，可以防止注册面部被改变成不利于面部识别的检测面部。可以在随后的处理中确保面部识别的精确度。

在本实例中，例如，可以基于检测面部的大小和检测面部的偏转角和俯仰角中的至少一个来确定面部识别的精确度是否高。

本发明的另一个实例提供了以计算机可读形式描述以使计算机执行用于预先注册人的面部图像、接收其中将执行面部识别的运动图像、并在所接收的运动图像中执行面部确认的处理的电脑程序。该程序包括以下步骤：(a)在面部注册单元中注册人的面部作为图像，(b)在输入运动图像的一个帧中检测面部，(c)跟踪在输入运动图像的帧中的检测面部，(d)将在步骤(c)中跟踪的检测面部与面部注册单元中注册的注册面部进行比较，从而识别面部，和(e)在运动图像的每个预定帧周期内，将其面部已在步骤(d)中识别的人的被注册到面部注册单元中的注册面部更新为该人的当前检测面部，从而稳定面部识别的结果。

本发明的本实施例定义了以计算机可读形式描述以使计算机执行预定处理的计算机程序。换句话说，将根据本发明的本实施例的计算机程序安装到计算机中使计算机实现合作操作，从而可以获得与根据本发明的先前实施例的面部确认装置相同的优点。

本发明的实施例可以提供一种能够在运动图像中连续执行面部确认的良好的面部确认装置和方法、以及计算机程序。

另外，本发明的实施例可以提供一种能够在整个运动图像中稳定识别同一个人的良好的面部确认装置和方法、以及计算机程序。

另外，本发明的实施例可以提供一种能够在人的面部在每帧上移或下移、或左移或右移、或面部的大小在每帧变化的情况下连续识别同一个人的良好的面部确认装置和方法以及计算机程序。

根据结合附图的本发明的优选实施例的以下详细描述将显而易见本发明的其他特征和优点。

附图说明

图1图解示出了面部注册的流程；

图2图解示出了在输入图像中检测面部并识别检测面部作为注册面部的面部识别处理的流程；

图3是示出了用于执行面部注册和面部识别的面部确认***的功能结构图；

图4是稳定面部识别的结果的处理的流程图；

图5是阐述根据跟踪锁定将面部识别锁定在某个注册面部上的状态的示图；

图6是示出了在每个预定场周期内更新与图5中同一个人的注册面部的状态的示图；以及

图7示出了用于基于检测面部的大小和偏转角来确定阈值T的阈值曲线T的实例。

具体实施方式

接下来将参考附图来详细描述本发明的实施例。

面部识别***执行在输入图像中检测面部区域的面部检测处理和识别包括在检测面部区域中的面部的面部识别过程。输入面部图像可以包括人的面部或动物的面部。面部检测处理在于检测在给定图像(对应于静态图像或运动图像的一个画面(场或帧))中的人的面部，并获得面部的位置和大小。在一个图像中可以存在多个面部。面部识别处理在于识别检测面部，即，确定检测面部是否与先前注册的面部相同。

为了执行面部确认，注册将识别的人的图像。随后，执行在输入图像中检测面部的面部检测处理，然后，执行确定检测面部是否与注册面部相同的面部识别处理。

面部注册对应于学习模式，其中，执行使用学习图像来生成用于面部识别的确认器的学习确认过程的处理。图1图解示出了面部注册的流程。参看图1，在包括将识别的人的面部的输入图像中检测面部。随后，从对应于面部的区域中提取特征点。基于这些特征点使面部归一化。用确认器来计算特征。存储面部作为注册面部。

面部识别对应于确认模式，其中，执行使用在上述学习模式中生成的确认器以确定所确认的图像是否包括注册面部的识别图像的处理。

图2图解示出了在输入图像中检测面部以及确定检测面部是否被识别为注册面部的面部识别处理的流程。

首先，在输入图像中检测面部。随后，执行面部跟踪，从而能够在整个输入运动图像上连续检测同一个人的面部。

当将跟踪目标固定在检测面部时，即，锁定对检测面部的跟踪时，为在多个帧(或场)中的检测面部相同的面部分配相同的面部ID。连续跟踪检测面部，直至对检测面部的跟踪锁定被解锁。

随后，从包含检测面部的区域中提取特征点。基于提取的特征点使面部归一化来执行面部识别。在此情况下，将检测面部的特征与注册特征进行比较来执行面部识别。使面部识别的结果稳定化。

术语“稳定化”指将面部识别目标固定在将识别的人的锁定了跟踪的检测面部(即，锁定对检测面部的面部识别)，并在每个预定帧(场)周期内，将该人的注册面部更新为当前的检测面部，以稳定多个帧(场)中的面部识别的结果，从而使面部识别的结果与人(对象)的运动带来的检测面部的取向或大小的改变相对应。在更新同一个人的注册面部之前，确定是否满足了预定标准，例如，对检测面部执行的面部识别的精确度是否足够高，以在随后的处理中确保面部识别的精确度。

当在跟踪检测面部期间解锁跟踪锁定时，对检测面部的面部识别锁定也被解锁。因此，随后将锁定面部识别的面部对应于最新被锁定跟踪的面部。

根据本发明的实施例，在运动图像中检测面部的面部检测处理采用了跟踪技术，并且面部识别过程包括稳定化。因此，可以在运动图像中连续识别同一个人的面部，在运动图像中，人的面部的取向或大小可以经常变化。

在根据本发明实施例的面部确认处理中，跟踪同一个人在运动图像的多个帧中的面部限于特定跟踪技术。例如，可以使用检测在一连串图像中的各个面部图像并跟踪面部图像的图像处理方法，上述方法在第2006-031678号日本未审查专利申请公开中有所披露。

图3示出了用于执行面部注册和面部识别的面部确认***的功能结构。参看图3，50表示的面部确认***包括图像获取单元51、面部检测单元52、面部图像转换单元53、面部确认处理单元54、面部注册数据库55和结果输出单元56。面部确认***在两个模式(即，确认然后注册包括在输入图像中的面部的学习模式、和将包括在输入图像中的面部与每个注册面部进行比较来识别具有检测面部的人的确认模式)中的任一个模式下操作。学习模式包括使用学习图像生成用于在确认模式下进行确认处理的确认器的学习确认过程的处理。确认模式包括使用在学习模式下生成的确认器来确定所确认的图像是否包括注册人的面部的识别图像的处理。

例如，当将面部确认***安装在数码摄像机上时，图像获取单元51获取已经过信号处理的拍摄图像。假定所获取的图像至少包括人的面部。在学习模式下，从拍摄图像中获取某个人的多个学习图像，以使这个人的面部的大小或取向随着图像的不同而不同。另外，获取每个均不包括人的面部的多个图像。在确认模式下，获得包括将确认的人的面部的拍摄图像。将通过图像获取单元51获取的图像提供给面部检测单元52。

面部检测单元52分析从图像获取单元51提供的图像，以从该图像中提取人的面部(面部的位置和大小)，因而，检测了代表所提取人的面部的图像片断(image segment)，即，“面部图像片断”。尽管从图像获取单元51提供的图像均包括将识别的人(或如宠物的动物)的面部，但是在某些图像中可以不仅包括面部还可以包括对象的全身。面部检测单元52确定在该图像中确定对应于人的面部的区域并提取代表该人面部的面部图像片断。将检测到的面部图像片断提供给在面部图像转换单元53中的特征点提取部61和面部对准部62。

面部图像转换单元53包括特征点提取部61和面部对准部62。

特征点提取部61从由面部检测单元52提供的每个面部图像片断中提取用于对准的特征点(下文中，“对准特征点”)，对准特征点被面部对准部62用于进行渐变。对准特征点可以是人面部的一部分，诸如眼、鼻或口，即，面部特征部分。可以将面部特征部分进一步分成子部分。不仅面部特征部分，子部分也可以被提取来作为对准特征点。例如，可以使用称为主动表观模型(AAM)的方法来确定特征位置。

面部对准部62分析从面部检测单元52提供的面部图像片断和由特征点提取部61根据面部图像片断提取的对准特征点来确定检测面部的取向，即，检测面部围绕每个翻滚轴、俯仰轴和偏转轴中的每个的旋转角。然后，面部对准部62执行渐变，例如，仿射转换，从而将面部特征位置与参考位置对准。

例如，代表从前面观察的面部的面部图像片断经过渐变，使右眼与左眼水平间隔开预定距离，鼻子位于右眼与左眼之间的中点下方，且嘴巴位于鼻子下方。当从面部检测单元52提供的检测面部图像片断代表不面向正面的面部时，将该面部图像片断转换成基本上代表面向正面的图像。换句话说，即使包括在通过图像获取单元51所获取的图像中的面部图像片断代表不面向正面的面部，配置在面部图像变形单元53下游的面部识别处理单元54仍然识别面部图像片断所代表的面部。

可以通过移动眼睛来校正检测面部围绕翻滚轴的倾斜。另一方面，当检测面部围绕偏转轴旋转时，代表面部的面部图像片断具有少量面部信息。因此，面部围绕偏转轴的旋转显著影响了面部识别的可信度。根据本发明的本实施例，检测面部围绕滚动轴、俯仰轴和偏转轴中的每个的旋转角被输出作为面部确认的结果。那些参数值用于稍后描述的包括在对运动图像的面部识别处理中的稳定化。

如上所述，面部图像转换单元53从面部图像片断所代表的检测面部中提取特征点，并转换面部图像片断，以使特征点与各个参考位置对准，并将得到的面部图像片断提供给面部确认处理单元54。面部确认处理单元54包括局部特征计算部71、确认器生成部72、学习数据存储部73和面部确认部74。

局部特征计算部71计算在提供的面部图像片断的多个特征点中的局部特征。用于获得局部特征的特征点可以与通过特征点提取部61提取的那些对准特征点相同或不同。

局部特征计算部71包括伽柏过滤器(Gabor filter)，该过滤器用作具有不同取向选择性和不同频率分量以提取面部图像片断的特征的多个过滤器。已知人的视觉细胞包括对垂直线敏感的细胞和对水平线敏感的细胞，即，对特定方向具有选择性的细胞。伽柏过滤器是空间过滤器，空间过滤器用作每个均具有与以上相似的取向选择性的多个过滤器，并且伽柏过滤器使用伽柏函数来空间表示，其中，伽柏函数用作窗口函数以及正弦或余弦函数用作频率响应的基本函数。例如，过滤器的窗口的大小固定为24×24。假定设置五个不同频率f和八个不同角θ，那么构建出具有40个不同取向选择性的伽柏过滤器。

伽柏过滤器运算是应用伽柏过滤器的像素与伽柏过滤器系数的卷积。可以将伽柏过滤器系数分为频率响应是余弦函数的实部和频率响应是正弦函数的虚部。将实部与虚部经过卷积以获得两个分量，并将这些分量组成纯量值(scalar value)，从而用作伽柏过滤的结果。在改变频率f和角θ的同时，使用最多40个不同类型的伽柏过滤器来执行上述运算，从而可以获得用作最多40个纯量值的特征向量(称为“伽柏节”)。获得伽柏节作为在面部图像数据上以水平和垂直方向的规则间隔检测到的特征提取位置的每个中的局部特征。即使特征提取位置被一定程度地移动或变形，到那时伽柏节的特征不会改变。

在学习模式下，局部特征计算部71将在各个特征点中具有40或小于40个参数值的多个特征向量提供给确认器生成部72。在确认模式下，基于学习数据存储部73中存储的确认特征，局部特征计算部71计算与各个特征点相关联的局部特征，并将获得的局部特征点提供给面部确认部74。每个确认特征是表示通过确认器生成部72通过学习生成的确认器中使用哪个特征点的哪些局部特征(伽柏过滤器的哪个部分)的信息。因此，在每个特征点中，可以不仅相对于基于具有所有尺寸的特征向量的相关系数，还可以基于包括具有某些尺寸的特征向量的多个相关系数，执行确认器生成和对面部确认执行的相关系数计算。换句话说，具有不同维数的多个特征可以用于学习和确认。

在学习模式下，确认器生成部72基于Adaboost使用局部特征计算部71计算的学习图像的特征和预先保持的学习模型特征来执行统计学习过程。在确认模式下，确认器生成部72生成用于确认的确认器并将所产生的确认器和与确认器有关的信息(表示确认器的可信度的相关值和数据)存储到学习数据存储部73中。另外，在确认器的学习过程中，确认器生成部72提取显著影响目标面部图像部的确认的模型特征，并将所提取的用作表示在确认器中使用了哪个特征点的哪些局部特征(伽柏过滤器的哪个矩形区域)的信息的模式特征来作为确认特征提供给学习数据存储部73，从而使学习数据存储部73存储所提供的数据。

Adaboost是由Freund等人(1996)提出的一种理论，其中，许多“优于随机推测的差分类器(也称为差学习器)”组成了强分类器。确认器生成部72生成的确认器对应于“优于随机推测的差分类器”。生成每个确认器以使确认器加权先前的确认器的确认不好的确认。在确认过程中，根据各个差确认器的可信度获得可靠性，并基于这些可靠性来执行多数决定。

学习数据存储部73存储由确认器生成部72生成的确认器、与各个确认器有关的信息块和确认特征。

在确认模式下，面部识别部74使用学习数据存储部73中所存储的确认器来计算在局部特征计算部71计算出的每个特征与面部注册数据库55中注册的注册面部图像数据之间的相关系数，以确定是否将具有检测面部的人识别为注册的人，然后，将确定结果提供给结果输出单元56。具体地，基于存储在学习数据存储部73中的确认器的可靠性，面部识别部74通过对确认器的决定结果的多数决定来确定是否将具有检测面部的人识别为注册的人。

面部注册数据库55注册与用于确认注册的人必需的特征有关的信息。面部注册数据库55可以在表示注册的人的面部的面部图像片断中的任何特征点注册所有上述伽柏节。面部注册数据库55至少可以注册关于与确认特征对应的特征的信息。

结果输出单元56输出从面部确认部74提供的确定结果。例如，当在面部注册数据库55中注册了与包括在输入图像中的面部图像匹配的注册面部图像时，从面部注册数据库55读出信息，例如，与确定为匹配图像的注册面部图像有关的人的名字。从结果输出单元56输出诸如名字的信息。根据本发明的本实施例，当在确认模式下输入运动图像流(即，通过图像获取单元51获取的运动图像流)时，结果输出单元56输出被分配给检测面部的面部ID和其他参数值，例如，每帧或预定帧间隔的检测面部的大小和面部确认的可信度。

接下来参考第2006-332302号日本专利申请(该申请指派给了与本申请相同的代理人)，详细描述面部确认***。

根据本发明的本实施例的面部确认方法的主要特征在于，该方法包括稳定了在运动图像流中的面部识别的结果的处理(也称为稳定化)。在本实例中，稳定化是通过跟踪人的面部检测在整个运动图像流上的同一个人的面部。

图4是稳定面部识别结果的处理(稳定化)的流程。在图4中，数值作为实例而示出，例如，“0”表示固定阈值，“3”表示连续成功的次数，“20”表示得分，“5场”表示更新次数，以及“±15”度表示偏转角。

在这个处理中，作为对运动图像流中的被跟踪的检测面部的面部识别的结果，图3所示的面部识别***50提供了检测面部的面部ID和其他参数值，例如，面部在一帧中的位置、检测面部围绕翻滚轴、俯仰轴和偏转轴中的每个的旋转角度、检测面部的大小和表示面部确认的可信度的参数值。在运动图像流的每个帧或以预定帧间隔输入面部识别的结果。

首先，例如，使用固定阈值确定面部确认***中的面部识别是否已经成功(步骤S1)。

当确定了面部识别已成功(步骤S1中，是)时，计算成功识别的面部的连续次数，即，连续成功的次数。

随后，累积面部识别的得分和阈值(步骤S3)。在本实例中，例如，根据输入面部图像片断的大小、和偏转角和俯仰角中的至少一个来动态控制阈值。稍后将详细描述该控制过程。

确定是否通过跟踪面部在运动图像流中稳定检测到同一个人的面部。具体地，检查连续成功的次数是否超出预定值(在此情况下为3)，或者面部识别的得分是否高于预定值(在此情况下为20)。图5示出了根据面部的跟踪锁定将面部识别锁定在某个注册面部上的状态。

当确定通过跟踪面部稳定检测到同一个人的检测面部时(步骤S4中，是)，确定是否没有对其他人锁定面部识别(步骤S5)。原因在于假定了在根据本实施例***中，注册的人数是一。如果注册了多个人，那么在步骤S5中检查锁定了面部识别的人数是否等于或大于注册的人数。

另外，确定将锁定面部识别的面部(即，识别目标面部)是否对应于最新锁定了跟踪的面部(步骤S6)。原因如下：当在面部跟踪期间解锁了对检测面部的跟踪锁定时，如上所述还解锁了其上的面部识别锁定。因此，稍后锁定面部识别的面部对应于最新锁定跟踪的面部。当解锁面部识别锁定并且再次锁定面部识别时，显然从先前帧跟踪的检测面部(即，已锁定了跟踪的检测面部)与再次锁定面部识别的面部不同。因此，从面部识别的目标中去除了已锁定跟踪的检测面部。

当满足上述条件时(步骤S6中，是)，面部识别被锁定在将要识别的面部上(步骤S8)，该面部被注册为跟踪目标面部。然后，跟踪并识别注册面部，直到该面部上的跟踪锁定被解锁。

可选地，在对将被识别的面部锁定面部识别之前，可以将累积的得分与累积的阈值进行比较，从而仅当累积的得分高于累积的阈值高时，锁定面部识别(步骤S7)。或者，可以提供待识别的人的年龄或性别或关于这个人的其他属性信息，作为用于确定是否锁定了面部识别的附加条件。因此，可以从面部识别的目标中去除无需识别的人(或具有低重要性的人)，从而不对这个人锁定面部识别。

另外，以规则间隔更新注册面部(步骤S9中，是)。根据本发明的实施例，每五场解锁面部识别锁定，并尝试将注册面部更新为被识别人的当前检测面部。在本实例中，对应于更新注册面部之间的“五场”的时间指在成功更新之后的第五场。如果更新失败，那么在每场就检查是否可以更新注册面部。

如果在成功更新之后过去预定时间，那么只要满足预定条件(例如，此对检测面部的面部识别的精确度足够高)，注册面部就会被更新。具体地，将面部识别得分与计算阈值进行比较，其中，根据包括在本帧(场)中的检测面部的大小或偏转角来控制计算阈值(步骤S10)。当面部识别得分高于阈值(步骤S10中，是)时，注册面部被更新为检测面部(步骤S11)。

如上所述，每隔预定帧(场)周期，将被识别人的注册面部更新为当前检测面部。因此，可以根据由对象(人)的运动带来的检测面部的取向或大小的改变，稳定在多个帧(场)内的面部识别的结果。图6示出了每个预定场周期更新与图5同一个人的注册面部。

基于检测面部的大小或偏转角来控制阈值的原因在于，大小和偏转角会显著影响面部识别的精确度。图7示出了基于检测面部的大小和偏转角来确定阈值T的阈值曲线T的实例。在此时检测面部的面部识别的精确度足够高的情况下更新注册面部。因此，可以在随后的处理中确保面部识别的精确度。

最后，无论在步骤S8中是否将面部识别锁定在检测面部上，都要存储(步骤S11)本帧中的检测面部的面部ID和参数值，例如，面部识别得分、累积的得分、累积的阈值，以用于对下一帧(场)进行处理。

在本发明的实施例中，假设面部检测器传输的是关于输入面部的大小的信息和关于输入面部的偏转角的信息，那么就基于输入(检测)面部的大小和偏转角来控制阈值。如果面部检测器传输的是关于输入图像的俯仰角的信息和其他信息，那么可以将那些信息块用于阈值控制。

关于在步骤S10和S11中对注册面部的更新，用于估计输入面部的面部识别得分的阈值可以是固定的。在本发明的实施例中，如上所述根据检测面部的大小和偏转角来控制阈值。原因在于面部识别的精确度取决于检测面部的大小和偏转角。例如，可用下面两种控制阈值的方法。

(1)在测试运动图像中预先测量出每个输入面部的大小和偏转角(和与面部识别有关的其他信息)和对应的面部识别得分。计算出用于根据输入图像的大小和偏转角(和与面部识别有关的其他信息)获得面部识别得分的改变的近似表达式。例如，可以根据面部识别的得分随着输入面部的大小的增加而增加的事实和面部识别得分随着偏转角的增加而减少的事实得出近似表达式。

(2)将上述方法(1)中描述的近似表达式用作初始控制表达式。同时记录在输入的运动图像中的输入面部的大小和偏转角(和与面部识别有关的其他信息)。在校正方法(1)中的近似表达式的同时动态控制阈值。

本领域技术人员应了解，根据设计要求和其它因素，可以进行各种修改、组合、子组合和改进，均应包含在本发明的权利要求或等同物的范围内。

Claims (8)

1.一种面部确认装置，用于预先注册人的面部图像、接收其中将执行面部识别的运动图像、并在所接收的运动图像中执行面部确认，所述面部确认装置包括：

面部注册装置，注册人的面部作为图像；

面部检测装置，在输入运动图像的帧中检测面部；

面部跟踪装置，跟踪在所述输入运动图像的帧中检测到的检测面部；

面部识别装置，将所述面部跟踪装置跟踪的所述检测面部与在所述面部注册装置中注册的所述注册面部进行比较，从而识别所述面部；以及

稳定化装置，稳定所述面部识别装置进行的面部识别的结果。

2.根据权利要求1所述的面部确认装置，其中，在所述运动图像的每个预定帧周期内，所述稳定化装置将其面部已被所述面部识别装置识别的所述人的被注册到所述面部注册装置中的所述注册面部更新为所述人的当前检测面部。

3.根据权利要求2所述的面部确认装置，其中，当针对所述面部跟踪装置进行的跟踪被锁定的所述检测面部的面部识别结果满足预定的可靠性标准时，所述稳定化装置锁定对所述检测面部的面部识别，并将所述注册面部更新为锁定了面部识别的所述检测面部。

4.根据权利要求2所述的面部确认装置，其中，只要针对所述检测面部的面部识别的精确度足够高，所述稳定化装置就将所述注册面部更新为所述检测面部。

5.根据权利要求4所述的面部确认装置，其中，当将所述注册面部更新为所述检测面部时，基于所述检测面部的偏转角和俯仰角中的至少一个以及所述检测面部的大小，所述稳定化装置确定所述面部识别的精确度是否高。

6.一种面部确认方法，用于预先注册人的面部图像、接收其中将执行面部识别的运动图像、并在所接收的运动图像中执行面部确认，所述面部确认方法包括以下步骤：

(a)在面部注册装置中注册人的面部作为图像；

(b)在输入运动图像的帧中检测面部；

(c)跟踪在所述输入运动图像的帧中检测到的检测面部；

(d)将在所述步骤(c)中跟踪的所述检测面部与在所述面部注册装置中注册的所述注册面部进行比较，从而识别所述面部；以及

(e)在所述运动图像的每个预定帧周期内，将其面部已在所述步骤(d)中识别的所述人的被注册到所述面部注册装置中的所述注册面部更新为所述人的当前检测面部，从而稳定面部识别的结果。

7.一种计算机程序，以计算机可读形式描述以使计算机执行用于预先注册人的面部图像、接收其中将执行面部识别的运动图像、并在所接收的运动图像中执行面部确认的处理，所述程序包括以下步骤：

(a)在面部注册装置中注册人的面部作为图像；

(b)在输入运动图像的帧中检测面部；

(c)跟踪在所述输入运动图像的帧中检测到的检测面部；

(d)将在所述步骤(c)中跟踪的所述检测面部与在所述面部注册装置中注册的所述注册面部进行比较，从而识别所述面部；以及

(e)在所述运动图像的每个预定帧周期内，将其面部已在所述步骤(d)中识别的所述人的被注册到所述面部注册装置中的所述注册面部更新为所述人的当前检测面部，从而稳定面部识别的结果。

8.一种面部确认装置，用于预先注册人的面部图像、接收其中将执行面部识别的运动图像、并在所接收的运动图像中执行面部确认，所述面部确认装置包括：

面部注册单元，注册人的面部作为图像；

面部检测单元，在输入运动图像的帧中检测面部；

面部跟踪单元，跟踪在所述输入运动图像的帧中检测到的检测面部；

面部识别单元，将所述面部跟踪单元跟踪的所述检测面部与在所述面部注册单元中注册的所述注册面部进行比较，从而识别所述面部；以及

稳定化单元，稳定所述面部识别单元进行的面部识别的结果。

Images