CN104081415A - 用于管理参考面孔数据库以用于在有限的存储器环境下提高面孔识别性能的方法、装置和计算机可读记录介质 - Google Patents

Abstract

本公开的多种实施例提供一种用于管理参考面孔数据库以用于在有限的存储器环境中提高面孔识别性能的方法，所述方法包括：获取新输入面孔图像；参考用于面孔识别的参考面孔数据库中存在的注册的面孔图像的分类条件，确定与输入面孔图像相关的分类条件；以及如果与输入面孔图像相关的分类条件是特定分类条件且参考面孔数据库中特定分类条件对应的面孔图像的值小于预设阈值，则选择该输入面孔图像作为可以附加地注册到参考面孔数据库的图像。

Description

用于管理参考面孔数据库以用于在有限的存储器环境下提高面孔识别性能的方法、装置和计算机可读记录介质

技术领域

本公开涉及一种方法、装置和计算机可读记录介质以用于附加地登记和删除面孔图像以提高使用面孔识别从数字图像拾取设备（数字摄像机、数字照相机、照相电话等）获取的多媒体内容（图片或电影图像）中包含的面孔的识别率，而更确切地来说，附加地登记和删除面孔图像以选择要在数据库中附加地登记的面孔图像并以此面孔图像替换先前存储的面孔图像以便提高使用具有有限存储资源的数字图像拾取设备拍摄图片时的面孔识别的性能。

背景技术

与包括智能电话、数字摄像机、数字照相机等的照相电话市场的扩大同步，用于图片拍摄或移动图像的技术已经有诸多发展。这些技术之一是用于识别使用数字图像拾取设备拍摄的图像中的人的面孔以便自动对该面孔对焦或在此人做出特定面孔表情时对此人自动拍照的技术。

但是，在普通环境中，从多样性角度、多种面孔表情和来自多种方向的光照（自然光、人工光等）拍摄的面孔图像是识别面孔时的性能下降原因。为了克服上面的难题所做的工作中，在数据库中登记用于面孔识别的基本参考面孔图像的情况下，可以通过预先登记尽可能多的多样性面孔图像来获得性能上的提高。但是，因为如数字照相机或照相电话的数字图像拾取设备的存储资源有限，存在没有足够资源来存储所有可用面孔图像的问题。

相应地，需要一种高效方法用于在新近拍摄或输入的面孔图像中选择并登记将有效地提高面孔识别操作的性能的面孔图像，并鉴于有限的存储器资源，删除先前存储的一些面孔图像。

发明内容

技术问题

因此，本公开的目的在于解决上述问题。

此外，本公开的另一个目的在于提供一种方法以用于选择并登记在即使利用相机拍摄面孔图像时姿态、面孔表情、光照角度等变化的环境下仍提供高面孔识别率的面孔图像。

本公开的又一个目的在于提供一种方法以用于删除对于在先前登记的面孔图像中间识别面孔所最不需要的已登记面孔，以便高效地使用数字图像拾取设备的有限的存储器资源。

技术方案

如下是用于实现上述目的的本公开的代表性配置。

根据方面公开的一个方面，提供一种管理参考面孔数据库以用于在有限的存储器环境中提高面孔识别性能的方法。 该方法包括获取新输入面孔图像；参考用于面孔识别的参考面孔数据库中先前登记的面孔图像的分类条件确定与输入面孔图像相关的分类条件；以及如果与输入面孔图像相关的分类条件是特定分类条件以及与该特定分类条件相关的面孔图像不如参考面孔数据库中的预设阈值充分，则选择输入面孔图像作为可以在参考面孔数据库中附加地登记的图像。

根据本发明公开的另一个方面，提供一种用于管理参考面孔数据库以用于在有限的存储器环境中提高面孔识别性能的装置。该装置包括用于记录用于面孔识别的面孔图像的参考面孔数据库；以及附加登记面孔选择单元，该附加登记面孔选择单元用于如果获取了输入面孔图像，则参考参考面孔数据库中先前登记的面孔图像的分类条件确定与新输入面孔图像相关的分类条件；以及如果与输入面孔图像相关的分类条件是特定分类条件且与该特定分类条件相关的面孔图像不如参考面孔数据库中的预设阈值充分，则选择该输入面孔图像作为可以在参考面孔数据库中附加地登记的图像。

此外，提供用于实现本公开的其它方法和装置以及用于执行上述方法的计算机可读记录介质。

技术效果

根据本公开，因为可以选择最有效的面孔图像并将其在参考面孔数据库中附加地登记以用于面孔识别，所以在使用数字图像拾取设备对人拍照时能够以高识别率提供面孔识别。再者，能够高效率地使用不充足的存储器资源，因为从先前登记的面孔图像中删除一些最不有效的图像，以用于要新添加到参考面孔数据库的面孔图像。

附图说明

图1是示出根据本公开实施例的数字装置的配置的示意图。

图2是示出根据本公开的实施例的选择要附加地登记的面孔图像的方法的流程图。

图3是参考面孔数据库的示意图，其示出使用根据本公开的实施例的方法由数字装置选择要附加地登记的面孔图像的过程。

图4是根据本公开的另一个实施例的选择要附加地登记的面孔图像的方法的流程图。

图5到8是示出根据本公开的实施例的从参考面孔数据库中先前登记的面孔图像中选择和删除对于识别面孔不有效的面孔图像的方法的流程图。

具体实施方式

在本公开的下文详细描述中，参考了附图，这些附图通过说明的方式示出可以实施本公开的特定实施例。这些实施例予以充分详细地描述，以使本领域技术人员能够实现本公开。应该理解，虽然不同，但是本公开的多种实施例不一定是互相排斥性的。例如，在不背离本发明的精神和范围的前提下，与一个实施例结合在本文描述的特定特征、结构和特性可以在另一些实施例中实现。此外，应该理解，在不背离本发明的精神或范围的前提下，每个公开的实施例内的个体元件的位置或布置可以修改。因此，下文详细描述不应视为在限制意义上的，并且本公开的范围由所附权利要求书来定义，所附权利要求书连同与权利要求书所要求保护的等效的完整范围来适当地解释。在附图中，相似的参考数字指代通过多样化方式的相同或相似的功能。

下文中，将参考附图详细地描述本公开的多种实施例，以便本领域技术人员能够容易地实现本公开。

为了在使用相机拍照时聚焦在人或特定面孔表情的面孔上，首先应该通过将检测的面孔与数据库中包含的先前存储的参考面孔图像比较来检测和识别所拍摄的图像中包含的人的面孔。但是，如果面孔识别的参考面孔图像是仅以一个面孔表情拍摄以及在相同光照下姿态（pose）的图像，则面孔识别率不可能不相当地低。这是因为，虽然存储在数据库中的参考面孔图像中包含某人A的图像，但是如果此人A的面孔是以与数据库中存储的同一个人的参考面孔图像的面孔表情、姿态和光照方向不同的面孔表情、姿态和光照方向拍摄，则很可能的是拍摄的图像中此人A无法被正确地识别。可以将对应的此人的多种面孔图像存储在数据库中以便增强面孔识别率。但是，存在问题，因为便携式设备，即数字相机或照相电话的存储器存储空间太小以致于无法存储所有多种面孔图像。

本公开提出一种方法，该方法（a）选择最有效的面孔图像，并在参考面孔数据库中附加地登记所选择的面孔图像以用于面孔识别，以便增强使用有限存储器存储空间时的面孔识别率，以及（b）从先前登记的面孔图像中删除一些最不有效的图像，以用于要新添加到参考面孔数据库的面孔图像。本公开还提出应用上文方法的装置和用于记录和实现该方法的计算机可读记录介质。

图1是示出根据本公开实施例的数字装置100的配置的示意图。

参考图1，数字装置100包括参考面孔数据库110、附加登记面孔选择单元120、预先登记面孔替换单元130、通信单元140和控制单元150。

根据本公开的实施例，参考面孔数据库110、附加登记面孔选择单元120、预先登记面孔替换单元130、通信单元140和控制单元150的至少其中一些可以是包含在数字装置100中的程序模块或可以与数字装置100通信。但是，图1举例说明全部包含在数字装置100中的参考面孔数据库110、附加登记面孔选择单元120、预先登记面孔替换单元130、通信单元140和控制单元150。这些程序模块的至少其中一些可以采用操作***、应用程序或其它程序模块的形式包含在数字装置100中，并且可以物理上存储在多种公知的存储器装置中。此外，可以这些程序模块的至少其中一些存储在能够与数字装置100通信的远程存储器装置中。此类程序模块综合性地包括用于此后将描述但不限于此的执行特定任务或执行特定抽象数据类型的例程、子例程、程序、对象、组件、数据结构等。

首先，参考面孔数据库110可以记录特定人的面孔的每个角度的数据，如从人正面拍摄的照片、面孔向右边旋转45度拍摄的照片、面孔向左边旋转45度拍摄的照片、面孔向右边旋转90度拍摄的照片、面孔向左边旋转90度拍摄的照片等（参见此后图3的描述）。此处，前文提到的角度仅作为示例来给出，且除此之外，还可以使用三维扩展的多种修改，例如面孔向上扬起30度拍摄的照片、面孔向上倾斜60度拍摄的照片等。

此外，参考面孔数据库110可以记录投射在特定人的面孔上的每个角度的光的数据，如利用从人正面投射的光拍摄的照片、利用从面孔的右边投射的光拍摄的照片、利用从面孔的左边投射的光拍摄的照片、利用从面孔的下面投射的光拍摄的照片、利用从面孔的上面投射的光拍摄的照片等（未示出）。此处，前文提到的角度仅作为示例来给出，且除此之外，三维扩展的多种修改，例如利用从面孔左上方30度投射光的照片、利用从面孔右下方60度投射光的照片、利用在面孔前方与右边之间的中间投射光的照片等也是可能的。此外，人的照片可以根据所使用的光源的类型（室内和室外光源、自然光、环境光等）进行分类和记录。

接下来，如果输入特定的人的新输入面孔图像，则附加登记面孔选择单元120可以执行确定是否要在参考面孔数据库110中存储新输入面孔图像的功能。在此实例中，附加登记面孔选择单元120还可以在复查如上所述的参考面孔数据库110中先前存储的该特定的人的面孔图像之后，确定是否要在参考面孔数据库110中存储新输入面孔图像。

图2是根据本公开的实施例的选择要附加地登记的面孔图像的方法的流程图。

为了选择要建议和登记为新输入面孔图像的面孔图像，根据本公开的实施例的附加登记面孔选择单元120提供一种部件用于识别新输入面孔图像是否具有面孔识别的新登记条件，并且在确定新输入面孔图像的条件满足的情况下选择该新输入面孔图像作为在参考面孔数据库110中登记的候选面孔。

参考图2，根据本公开的实施例的附加登记面孔选择单元120首先从参考面孔数据库110外部接收新面孔图像，参考面孔数据库110存储先前登记的面孔图像（S201）。从外部接收的新面孔图像可以是新拍摄的图像或先前存储在外部存储器空间中的图像。此外，甚至参考面孔数据库110中已存储的数据也可以执行步骤S201，在尚未确定此类数据是否满足新登记条件的情况下即可这么做。

接下来，确定新输入面孔图像的条件是否是参考面孔数据库110中先前登记的面孔图像中存在的条件（S202）。

这里，新输入面孔图像的条件是基于输入面孔图像的特征将新输入面孔图像分类的标准，以及可以包括与外部环境相关的条件，例如，拍摄姿势，即输入面孔图像中显示的姿态或面孔表情、拍摄面孔图像的角度、照射在面孔上的光的方向等。例如，当根据面孔表情将新输入面孔图像分类时，该标准可以是笑容面孔、无表情面孔、生气面孔、皱眉面孔等，以及基于这些标准将面孔图像分类。此外，当根据拍摄面孔的角度将新输入面孔图像分类时，该标准可以是是否从正面拍摄面孔，是否从左边或右边拍摄面孔，是否从正面稍斜向左边或右边拍摄面孔，是否从正面非常大地斜向左边或右边拍摄面孔，是否从正面稍上方拍摄面孔，是否从正面稍下方拍摄面孔，是否从正面显著上方拍摄面孔，是否从正面显著下方拍摄面孔或是否从正面的左上方、左下方、右上方或右下方等拍摄面孔，并基于这些标准将输入面孔图像分类。当根据图像光照方向将新输入面孔图像分类时，该标准可以是面孔的正面方向、面孔的背面方向、面孔的左边或右边方向、面孔的上边或下边方向等，并且以基于这些标准将输入面孔图像分类。 

确切的来说，在人A的输入面孔图像的情况中，根据多种特征将输入面孔图像分类，并且确定参考面孔数据库110是否已经存储人A的具有与输入面孔图像的上面分类的条件相同的条件的面孔图像（例如，输入面孔图像的姿态、面孔表情以及光照角度）。例如，在参考面孔数据库110中登记的人A的面孔图像中仅包含从右边和正面拍摄的面孔图像的情况中，如果新近输入的面孔图像是从人A的面孔左边拍摄的图像，则因为从左边拍摄的面孔图像的数据未包含在参考面孔数据库110中（即，因为从左边拍摄人A的面孔的条件是参考面孔数据库110中未包含的条件），所以可以选择该新输入面孔图像作为可以在参考面孔数据库110中附加地登记的图像，并在其中将该图像登记（S203）。 

此外，不仅可以将这些实施例的多种方面应用于上文描述的特有情况，还可以应用于如下的常见情况。例如，当参考在参考面孔数据库110中先前登记的面孔图像的分类条件确定与输入面孔图像相关的分类条件，以及与该输入面孔图像相关的分类条件是特定分类条件，则可考虑一种方法：在与该特定分类条件相关的面孔图像不如参考面孔数据库中的预设阈值充分时将输入面孔图像选择为可以在参考面孔数据库中附加地登记的图像。此处，与特定分类条件相关的面孔图像是否不如预设阈值充分可以仅针对特定的人来确定或可以考虑普通人来确定。 

图3是使用根据本公开的实施例的方法由附加登记面孔选择单元120选择要附加地登记的面孔图像的过程的示意图。 

图3中选择面孔图像的方法示出基于拍摄面孔的角度来确定面孔图像是否是新面孔图像的示例。参考图3，当对于人A，有介于用于面孔识别的参考面孔数据库110中先前存储的面孔图像中的面孔图像a至d（面孔图像a是正面的图片，面孔图像b是向右边旋转45度的面孔的图片，面孔图像c是向左边旋转45度的面孔的图片，以及面孔图像d是向右边旋转90度的面孔的图片），如果新近输入面孔图像是人A的面孔图像且与面孔图像e相同（面孔图像e是向左边旋转90度的面孔的图片），根据本公开的附加登记面孔选择单元120确定面孔图像e中包含的人A的面孔图像的拍摄角度是属于与人A先前存储在参考面孔数据库110中的面孔图像的拍摄角度不同的类别还是属于包含参考面孔数据库110中存储的面孔图像的拍摄角度的相同类别。在此实例中，当确定新面孔图像的拍摄角度包含在参考面孔数据库110中存储的面孔图像的拍摄角度类别中（两个拍摄角度不一定完全彼此匹配，以及如果它们仅在识别面孔时足够的相似性范围内），则将其确定为参考面孔数据库110中先前存储的面孔图像类型。例如，如果人A的新近输入面孔图像f（未示出）是向右边旋转50度的面孔的图片，则因为该新面孔图像在与参考面孔数据库110中先前存储的人A的面孔图像ｂ相似的范围内，所以附加登记面孔选择单元120可以不在参考面孔数据库110中登记新近输入面孔图像f。 

但是，如图3所示，因为新近输入面孔图像e的拍摄角度是人A的面孔向左边旋转90度的照片的拍摄角度，并且因此不包含在参考面孔数据库110中先前登记的人A的面孔图像的拍摄角度中，所以附加登记面孔选择单元120可以将人A的新输入面孔图像e添加到参考面孔数据库110。 

虽然在图3中仅基于拍摄角度将面孔图像分类以及标识新面孔图像并将其附加地登记，但是可以通过将拍摄角度、面孔表情、光照等的至少其中一些组合来使用根据本公开的实施例的用于选择要新近登记的面孔图像的拍摄装置。这是因为如果光照方向不同，则如数字相机的拍摄装置可能将相同拍摄角度的图像确定为不同的面孔，且相应地面孔识别概率可能降低。因此，如果基于不同条件确定其中对各拍摄角度或面孔表情应用不同光照方向的多种面孔图像并对应于每个条件将该多种面孔图像记录在参考面孔数据库110中，则面孔识别率将被增强。 

图4是示出根据本公开的另一个实施例的选择要附加地登记的面孔图像的方法的流程图。 

为了选择要建议和登记为新面孔图像的面孔图像，根据本公开的其它实施例的附加登记面孔选择单元120可以提出一种方法：基于特定的面孔识别度量将参考面孔数据库110外部的至少一个候选面孔图像成群（cluster），然后自动建议能够用于容易地识别这些其它面孔图像的代表性面孔图像。 

虽然图2的实施例中选择面孔图像的方法包括通过个别性地确定新输入面孔图像来确定是否要将从参考面孔数据110外部接收的新输入面孔图像确定为要在参考面孔数据库110中记录的面孔图像，但是根据如图4所示的本公开的其它实施例的选择面孔图像还可以包括从参考面孔数据库110外部接收多个新面孔图像，选择代表这些新面孔图像的面孔图像，以及将所选择的面孔图像建议为要在参考面孔数据库110中登记的面孔图像。 

参考图4，根据本公开的其它实施例的附加登记面孔选择单元120首先从参考面孔数据库110外部接收一个或多个新输入面孔图像（S401）。然后，附加登记面孔选择单元120通过基于面孔识别度量将新输入面孔图像成群来将接收的新输入面孔图像划分成多组相似图像（S402）。成群是指计算每个图像的面孔识别的匹配值，并基于计算的匹配值将这些输入面孔图像分组成多组高度相似的图像或分组成在关键点的描述符之间具有短距离（例如，欧几里德距离）的多组图像。即，传递的新输入面孔图像是彼此不同的图像，并且不同的图像需要分组成相似类型的多组面孔图像，即相似类型的姿态或面孔表情、相似类型的拍摄角度、相似类型的光照等。 

然后，附加登记面孔选择单元120分组的面孔图像中选择与质心图像或均值图像对应的面孔图像作为该组的代表性面孔图像（S403）。此过程意味着能够最充分代表按相似图像分组的面孔图像中的组的标准面孔图像被选择为该组的代表性图像。例如，可以将在成群过程中在各图像中计算的匹配值中具有最接近于质心匹配值或均值的匹配值的面孔图像选择为该组的代表性面孔图像。换言之，按正面的面孔图像分组的面孔图像实际不是全部相同的图像，并且具有不同的面孔表情或稍微不同的拍摄角度，并且这可以是选择分组的面孔图像的标准图像为代表性图像的过程。 

附加登记面孔选择单元120选择此类面孔图像作为能够添加到参考面孔数据库110中先前登记的面孔图像的图像，并在参考面孔数据库110中登记这些面孔图像（S404）。 

除了上文描述的实施例外，还可以使用如下的修改的示例。例如，在参考面孔数据库110中附加地登记代表性面孔图像时，参考参考面孔数据库110中先前登记的面孔图像的分类条件来确定与这些代表性面孔图像相关的分类条件。如果与代表性面孔图像相关的分类条件是特定分类条件，则仅在与该特定分类条件相关的面孔图像不如参考面孔数据库110中的预设阈值充分时才可以将该代表性面孔图像在参考面孔数据库110中附加地登记。 

预先登记面孔替换单元130可以从参考面孔数据库110中存储的面孔图像中选择并删除数量与添加的新输入面孔图像一样多的或数量与确保期望的额外存储空间所需的参考面孔数据库110中先前存储的面孔图像（即，可以说，通过删除先前登记的图像来以新登记的输入面孔图像代替来替换为有效的面孔数据用于面孔识别）。 

图5是示出根据本公开的实施例的由预先登记的面孔替换单元130从参考面孔数据库110中先前登记的面孔图像中选择要被新输入面孔图像替换的面孔图像（即，删除的面孔图像）的方法的流程图。 

根据本公开的实施例的预先登记的面孔替换单元130可以选择在参考面孔数据库110中存储最长时间的面孔图像作为要以新输入面孔图像替换的先前登记的面孔图像中的图像。 

参考图5，根据本公开的实施例的预先登记的面孔替换单元130首先按存储的次序将参考面孔数据库110中先前存储的面孔图像评级，以便选择要替换的先前登记的面孔图像（S501）。在此实例中，还可以假定简单地引用有关以存储的次序已确定的评级的信息的情况。然后，可以选择（S502）最旧的先前登记的面孔图像，并将其删除。在此实例中，还可以用新输入面孔图像替换所选择的先前登记的面孔图像（S503）。 

图6是示出根据本公开的另一个实施例的由预先登记的面孔替换单元130从先前登记的面孔图像中选择要被新输入面孔图像替换的面孔图像的方法的流程图。 

从先前登记的面孔图像中选择要被新输入面孔图像替换的面孔图像可以包括通过对成功面孔识别操作中完成的匹配次数计数来选择和替换面孔图像，并将具有最小匹配次数的先前登记的面孔图像确定为对识别性能贡献最小。 

参考图6，在一些实施例中，预先登记的面孔替换单元130首先对参考面孔数据库110中先前登记的每个面孔图像被用于面孔识别的次数进行计数，以便选择要替换的先前登记的图像（S601）。例如，如果参考面孔数据库110中存储20个面孔图像，则从预设时间点到当前时间点以累计方式对第一到第二十个面孔图像中每一个面孔图像被用于面孔识别的次数进行计数（即，参考面孔数据库110中被用作相似性匹配的目标以识别新近输入图像面孔的身份的每个面孔图像多少次被用于相似性匹配）。  

然后，预先登记的面孔替换单元130可以选择具有用于面孔识别的最小次数的先前登记的面孔图像（S602）并将其删除。在此点处，还可以用新输入面孔图像替换（S603）所选择的先前登记的面孔图像。 

即，例如，虽然参考面孔数据库110中存储的先前登记的面孔图像中有从上方拍摄的图像，但是新近拍摄的图像中非常少有从上方拍摄的图像。换言之，可能存在这样的情况：从上方拍摄的先前登记的图像非常罕见地被用于面孔识别。在此类情况中，预先登记的面孔替换单元130将该先前登记的面孔图像确定为最识别性能贡献最小，并将该先前登记的面孔图像选择为要删除或替换的目标。 

图7是示出根据本公开的又一个实施例的由预先登记的面孔替换单元130从先前登记的面孔图像中选择要被新输入面孔图像替换的面孔图像的方法的流程图。 

为了从先前登记的面孔图像中选择要用新输入面孔图像替换的面孔图像，在一些实施例中，预先登记的面孔替换单元130可以通过比较面孔图像并选择最相似的面孔图像之一作为要替换的面孔来复查参考面孔数据库110中存储的面孔图像之间的相似性。如果有两个或更多个全同的面孔图像，则这可能导致与只有一个全同的面孔图像的情况相比，在保持相同的面孔识别率的同时占用参考面孔数据库110中更多空间，并且因此确定可以删除这些全同的面孔图像的其中之一。 

参考图7，选择要替换的先前登记的面孔图像的方法首先包括确定参考面孔数据库110中先前登记的面孔图像之间的相似程度（S701）并选择最相似的面孔图像（S702）。在此实例中，确定相似性的过程可以使用参考面孔数据库110中登记的面孔图像中用于面孔识别的匹配值之间的差（例如，标定人A的面孔图像）以在匹配值之间的差小时，确定两个对应面孔图像之间的相似性为高。然后，最终可以将确定为彼此最相似的两个面孔图像之一选择为要替换的图像（S703），并且可以将此图像删除。在此实例中，还可以用新输入面孔图像替换所选择的先前登记的面孔图像（S704）。 

图8是示出根据本公开的又一个实施例的由预先登记的面孔替换单元130从先前登记的面孔图像中选择要被新输入面孔图像替换的面孔图像的方法的流程图。 

为了从先前登记的面孔图像中选择要用新输入面孔图像替换的面孔图像，根据其它实施例，预先登记的面孔替换单元130可以计算参考面孔数据库110中存储的面孔图像的类别内的变化，并将具有最小变化值的面孔图像选择为要替换的图像。 

再有，在此方法中，如果与图7的实施例中一样，有两个或更多个全同的面孔图像，这可能导致与只有一个全同的面孔图像的情况相比，在保持相同的面孔识别率的同时占用参考面孔数据库110中更多空间，并且因此可以确定可以删除这些全同的面孔图像的其中之一。但是，通过计算整个分类内的变化具有最小变化值的面孔图像可以被选择，而无需逐个地确定参考面孔数据库110中的面孔图像之间的相似性。 

参考图8，根据本公开的其它实施例的预先登记的面孔替换单元130首先计算参考面孔数据库110中先前登记的面孔图像之间的类别内的变化（S801），并选择具有最小变化值的面孔图像（S802）以便选择要替换的先前登记的面孔图像。在此点处，计算类别中的变化的过程可以使用公知的变化值计算过程。变化值还可以通过如下步骤来获得：选择先前登记的面孔图像之一，计算所选面孔图像以外的先前登记的面孔图像的面孔识别匹配值的平均值，并且计算一个选择的先前登记的面孔图像的面孔识别匹配值与其它面孔识别匹配值的平均值之间的差。作为备选，可以通过如下步骤来获得变化值：计算每个面孔识别匹配值之间的差并对全体面孔识别匹配值进行平均而不是排除先前登记的面孔图像之一。

然后，可以用新面孔图像替换所选择的图像（S803），并删除所选择的图像。在此点处，还可以用新输入面孔图像替换所选择的先前登记的面孔图像。 

选择新图像为面孔图像的方法可以是如图2和图4中所描述的那样附加地登记，如图5至图8所描述的那样选择要替换的图像的方法可以进行组合并以多种方式来予以使用。 

上文描述的根据本公开的实施例可以采用程序命令的形式来实现，这些程序命令可以通过多种计算机组件来执行并记录在计算机可读记录介质中。该计算机可读记录介质可以单独地或以组合的方式包含程序命令、数据文件、数据结构等。计算机可读记录介质中记录的程序命令可以是专门设计和配置成用于本公开的程序命令或公知为计算机软件领域的技术人员所使用的程序命令。该计算机可读记录介质包括，例如，磁介质，如硬盘、软盘和磁带，光记录介质，如CD-ROM和DVD，磁光介质，如光盘，以及专门配置成存储和执行程序命令的硬件装置，如ROM、RAM、闪存等。程序命令包括，例如，计算机使用解释器等执行的高级语言代码以及编译器生成的机器代码。可以将硬件装置配置成使用一个或多个软件模块来工作，以便执行根据本公开的处理，以及反之。  

在前文论述中，虽然本公开是与特定内容，如特定组件、多种实施例和附图结合来描述的，但是它们仅是为了帮助理解本公开而提供的，并且本公开并不局限于这些实施例。将显见的是，本领域技术人员能够依据这些描述对其进行多种修改和更改。 

因此，本公开的精神不应局限于上述实施例，并且所附权利要求书以及对其相等或等效地修改所得将视为落在本公开的范围内。

Claims (42)

1. 一种用于管理参考面孔数据库以用于在有限的存储器环境中提高面孔识别性能的方法，所述方法包括：

获取新输入面孔图像；

参考用于面孔识别的所述参考面孔数据库中先前登记的面孔图像的分类条件，确定与所述输入面孔图像相关的分类条件；以及

如果与所述输入面孔图像相关的所述分类条件是特定分类条件且与所述特定分类条件相关的面孔图像不如所述参考面孔数据库中的预设阈值充分，则选择所述输入面孔图像作为可以在所述参考面孔数据库中附加地登记的图像。

2. 如权利要求1所述的方法，其中所述参考面孔数据库中先前登记的所述面孔图像的所述分类条件包括所述输入面孔图像的面孔表情、拍摄所述面孔图像的角度、在所述面孔图像上的光投射的方向以及光源的类型的至少其中之一。

3. 如权利要求1所述的方法，其中基于所述输入面孔图像中包含的人的身份，确定与所述特定分类条件相关的所述面孔图像是否不如所述参考面孔数据库中的所述预设阈值充分。

4. 如权利要求1所述的方法，还包括在所述参考面孔数据库中附加地登记所述输入面孔图像时选择并删除所述参考面孔数据库中先前登记的所述面孔图像的其中一个或多个。

5. 如权利要求4所述的方法，其中所述删除的步骤包括：

在所述参考面孔数据库中先前登记的所述面孔图像中选择最旧的面孔图像；以及

删除所选择的面孔图像。

6. 如权利要求4所述的方法，其中所述删除的步骤包括：

对所述参考面孔数据库中先前登记的所述面孔图像的每一个面孔图像从预设时间点到当前为止被用于相似性匹配以便识别新近输入图像中包含的面孔的身份的次数进行计数；

在所述参考面孔数据库中先前登记的所述面孔图像中选择具有用于所述相似性匹配的最少次数的图像；以及

删除所选择的面孔图像。

7. 如权利要求4所述的方法，其中所述删除的步骤包括：

确定所述参考面孔数据库中先前登记的所述面孔图像之间的相似性；

选择所述参考面孔数据库中所述先前登记的面孔图像之间具有最接近相似性的面孔图像；

进一步选择所选择的面孔图像的其中之一；以及

删除所进一步选择的面孔图像。

8. 如权利要求7所述的方法，其中在所述确定相似性的步骤中，使用所述参考面孔数据库中先前登记的所述面孔图像中用于面孔识别的匹配值之间的差，当所述匹配值之间的差小时，确定两个对应面孔图像之间的相似性为高。

9. 如权利要求4所述的方法，其中所述删除的步骤包括：

计算所述参考面孔数据库中先前登记的所述面孔图像之间的类别中的变化；

选择具有最小变化值的面孔图像；以及

删除所选择的面孔图像。

10. 如权利要求9所述的方法，其中所述计算变化的步骤包括：

选择所述参考面孔数据库中先前登记的所述面孔图像的其中之一；

计算除所选择的面孔图像以外的所述先前登记的面孔图像的面孔识别匹配值的平均值；以及

计算所述一个所选择的先前登记的面孔图像的面孔识别匹配值与所述其它面孔识别匹配值的平均值之间的差。

11. 如权利要求9所述的方法，其中所述计算变化的步骤包括：

计算所述参考面孔数据库中先前登记的所述面孔图像的面孔识别匹配值的平均值；以及

计算所述面孔识别匹配值的所述平均值与所述先前登记的面孔图像的每一个的面孔识别匹配值之间的差。

12. 一种用于管理参考面孔数据库以用于在有限的存储器环境中提高面孔识别性能的方法，所述方法包括：

获取一个或多个新输入面孔图像；

通过基于特定面孔识别度量将所述输入面孔图像成群来将所述输入面孔图像分组成多组相似图像；

在所述分组的输入面孔图像中选择与质心面孔图像或均值面孔图像对应的面孔图像作为代表性面孔图像；以及

在用于面孔识别的所述参考面孔数据库中附加地登记所选择的代表性面孔图像。

13. 如权利要求12所述的方法，其中所述分组的步骤包括：

计算各输入面孔图像中用于面孔识别的匹配值；以及

基于所计算的匹配值将所述输入面孔图像分组成多组高度相似图像。

14. 如权利要求13所述的方法，其中在所述选择面孔图像作为代表性面孔图像的步骤中，选择在所计算的匹配值中具有最接近于质心匹配值或均值匹配值的匹配值的面孔图像作为所述代表性面孔图像。

15. 如权利要求12所述的方法，其中所述在所述参考面孔数据库中附加地登记所选择的代表性面孔图像的步骤包括：

参考所述参考面孔数据库中先前登记的所述面孔图像的分类条件，确定与所述代表性面孔图像相关的分类条件；以及

如果与所述代表性面孔图像相关的所述分类条件是特定分类条件，且与所述特定分类条件相关的面孔图像不如所述参考面孔数据库中的预设阈值充分，则将所述代表性面孔图像在所述参考面孔数据库中附加地登记。

16. 如权利要求12所述的方法，还包括在所述参考面孔数据库中附加地登记所述输入面孔图像时，选择并删除所述参考面孔数据库中先前登记的所述面孔图像的其中一些。

17. 如权利要求16所述的方法，其中所述删除的步骤包括：

从所述参考面孔数据库中先前登记的所述面孔图像中选择最旧的面孔图像；以及

删除所选择的面孔图像。

18. 如权利要求16所述的方法，其中所述删除的步骤包括：

对所述参考面孔数据库中先前登记的所述面孔图像的每一个面孔图像从预设时间点到当前为止用于相似性匹配以便识别新近输入图像中包含的面孔的身份的次数进行计数；

在所述参考面孔数据库中先前登记的所述面孔图像中选择具有用于所述相似性匹配的最少次数的图像；以及

删除所选择的面孔图像。

19. 如权利要求16所述的方法，其中所述删除的步骤包括：

确定所述参考面孔数据库中先前登记的所述面孔图像之间的相似性；

选择所述先前登记的面孔图像之间具有最接近相似性的面孔图像；

选择所选择的面孔图像的其中之一；以及

删除所选择的面孔图像。

20. 如权利要求19所述的方法，其中所述确定相似性的步骤包括，使用所述参考面孔数据库中先前登记的所述面孔图像中用于面孔识别的所述匹配值之间的差，当所述匹配值之间的差越小时，确定两个对应面孔图像之间的相似性越高。

21. 如权利要求16所述的方法，其中所述删除的步骤包括：

计算所述参考面孔数据库中先前登记的所述面孔图像之间的类别中的变化；

选择具有最小变化值的面孔图像；以及

删除所选择的面孔图像。

22. 如权利要求21所述的方法，其中所述计算变化的步骤包括：

选择所述参考面孔数据库中先前登记的所述面孔图像的其中之一；

计算除所选择的面孔图像以外的所述先前登记的面孔图像的面孔识别匹配值的平均值；以及

计算所述一个所选择的先前登记的面孔图像的面孔识别匹配值与所述其它面孔识别匹配值的所述平均值之间的差。

23. 如权利要求21所述的方法，其中所述计算变化的步骤包括：

计算所述参考面孔数据库中先前登记的所述面孔图像的面孔识别匹配值的平均值；以及

计算所述面孔识别匹配值的所述平均值与所述先前登记的面孔图像的每一个的面孔识别匹配值之间的差。

24. 一种用于在有限的存储器环境中提高面孔识别性能的参考面孔数据库管理装置，所述装置包括：

参考面孔数据库，所述参考面孔数据库配置成记录用于面孔识别的面孔图像；以及

附加登记面孔选择单元，所述附加登记面孔选择单元配置成，如果需要输入面孔图像，则参考在所述参考面孔数据库中先前登记的面孔图像的分类条件，确定与所述新输入面孔图像相关的分类条件，以及配置成，如果与所述输入面孔图像相关的所述分类条件是特定分类条件且与所述特定分类条件相关的面孔图像不如所述参考面孔数据库中的预设阈值充分，则选择所述输入面孔图像作为可以在所述参考面孔数据库中附加地登记的图像。

25. 如权利要求24所述的装置，其中所述参考面孔数据库包含所述输入面孔图像的面孔表情、拍摄所述面孔图像的角度、在所述面孔图像上的光投射的方向以及光源的类型的至少其中之一，作为所述先前登记的面孔图像的所述分类条件。

26. 如权利要求24所述的装置，其中所述附加登记面孔选择单元配置成基于所述输入面孔图像中包含的人的身份，确定与所述特定分类条件相关的所述面孔图像是否不如所述参考面孔数据库中的所述预设阈值充分。

27. 如权利要求24所述的装置，还包括预先登记的面孔替换单元，所述预先登记的面孔替换单元配置成在所述参考面孔数据库中附加地登记所述输入面孔图像时，选择并删除所述参考面孔数据库中先前登记的所述面孔图像的其中一些。

28. 如权利要求27所述的装置，其中所述预先登记的面孔替换单元配置成从所述参考面孔数据库中先前登记的所述面孔图像中选择并删除最旧的面孔图像。

29. 如权利要求27所述的装置，其中所述预先登记的面孔替换单元配置成对所述参考面孔数据库中先前登记的所述面孔图像的每一个面孔图像从预设时间点到当前为止用于相似性匹配以便识别新近输入图像中包含的面孔的身份的次数进行计数；以及配置成在所述参考面孔数据库中先前登记的所述面孔图像中选择并删除具有用于所述相似性匹配的最少次数的图像。

30. 如权利要求27所述的装置，其中所述预先登记的面孔替换单元配置成确定所述参考面孔数据库中先前登记的所述面孔图像之间的相似性，以及选择并删除所述先前登记的面孔图像之间具有最接近相似性的面孔图像。

31. 如权利要求30所述的装置，其中在确定所述相似性时，所述预先登记的面孔替换单元配置成，使用所述参考面孔数据库中先前登记的所述面孔图像中用于面孔识别的所述匹配值之间的差，当所述匹配值之间的差小时，确定两个对应面孔图像之间的相似性为高。

32. 如权利要求27所述的装置，其中所述预先登记的面孔替换单元配置成计算所述参考面孔数据库中先前登记的所述面孔图像之间的类别中的变化，以及选择并删除具有最小变化值的面孔图像。

33. 如权利要求32所述的装置，其中在计算所述变化值时，所述预先登记的面孔替换单元配置成选择所述参考面孔数据库中先前登记的面孔图像之一，计算所选择的面孔图像以外的所述先前登记的面孔图像的面孔识别匹配值的平均值，并且计算一个选择的先前登记的面孔图像的面孔识别匹配值与所述其它面孔识别匹配值的平均值之间的差。

34. 如权利要求32所述的装置，其中在计算所述变化时，所述预先登记的面孔替换单元配置成计算所述参考面孔数据库中先前登记的所述面孔图像的面孔识别匹配值的平均值，以及计算所述面孔识别匹配值的所述平均值与所述先前登记的面孔图像的每一个的面孔识别匹配值之间的差。

35. 一种用于在有限的存储器环境中提高面孔识别性能的参考面孔数据库管理装置，所述装置包括：

参考面孔数据库，所述参考面孔数据库配置成记录用于面孔识别的面孔图像；以及

附加登记面孔单元，所述附加登记面孔单元配置成，如果需要输入面孔图像，则通过基于特定面孔识别度量将所述输入面孔图像成群来将一个或多个新输入面孔图像分组成多组相似图像，以及配置成在所述分组的输入面孔图像中选择与质心面孔图像或均值面孔图像对应的面孔图像作为代表性面孔图像，以及将所选择的代表性面孔图像在所述参考面孔数据库中附加地登记。

36. 如权利要求35所述的装置，其中所述附加登记面孔选择单元配置成计算各输入面孔图像中用于面孔识别的匹配值，以及基于所计算的匹配值将所述输入面孔图像划分成多组高度相似图像。

37. 如权利要求36所述的装置，其中所述附加登记面孔选择单元配置成，选择在所计算的匹配值中具有最接近于质心匹配值或均值匹配值的匹配值的面孔图像作为所述代表性面孔图像。

38. 如权利要求35所述的装置，其中在所述参考面孔数据库中附加地登记所选择的代表性面孔图像时，所述附加登记面孔选择单元参考所述参考面孔数据库中先前登记的面孔图像的分类条件来确定与所述代表性面孔图像相关的分类条件，以及如果与所述代表性面孔图像相关的分类条件是特定分类条件，且与所述特定分类条件相关的面孔图像不如所述参考面孔数据库中的预设阈值充分，则将所述代表性面孔图像在所述参考面孔数据库中附加地登记。

39. 如权利要求35所述的装置，还包括预先登记的面孔替换单元，所述预先登记的面孔替换单元用于在所述参考面孔数据库中附加地登记所述输入面孔图像时，选择并删除所述参考面孔数据库中先前登记的所述面孔图像的其中一个或多个。

40. 如权利要求39所述的装置，其中所述预先登记的面孔替换单元配置成对所述参考面孔数据库中先前登记的所述面孔图像的每一个面孔图像从预设时间点到当前为止用于相似性匹配以便识别新近输入图像中包含的面孔的身份的次数进行计数，以及配置成在所述参考面孔数据库中先前登记的所述面孔图像中选择并删除具有用于所述相似性匹配的最少次数的图像。

41. 如权利要求39所述的装置，其中所述预先登记的面孔替换单元配置成计算所述参考面孔数据库中先前登记的所述面孔图像之间的类别中的变化，以及选择并删除具有最小变化值的面孔图像。

42. 一种用于记录计算机程序的计算机可读记录介质，所述计算机程序用于根据权利要求1至23中任一项所述的方法选择和替换面孔图像。