CN101427262A - 用于基于面部识别提供用户简档的方法和装置 - Google Patents

Abstract

本发明公开了一种为电子设备提供用户建档的方法和***。由成像设备捕获面部表征数据。成像设备聚焦于用户的面部以捕获面部表征数据。确定面部特征数据库是否包括与面部表征数据相匹配的用户面部特征数据。当面部表征数据与存储在面部特征数据库中的用户面部特征数据相匹配时，加载用户偏好数据至电子设备的存储模块。当面部表征数据与面部特征数据库中的用户面部特征数据不匹配时，在用户简档数据库中添加新的用户简档。

Description

用于基于面部识别提供用户简档的方法和装置

背景

1.技术领域

本公开涉及用户建档、识别、以及认证。特别地，其涉及使用可视电话***或图象捕获设备的用户建档、识别以及认证。

2.背景技术

视听会议性能通常利用基于诸如在个人计算机(“PCs”)或可视电话中的***的计算机来实现。一些可视电话和其它视频会议***提供了存储用户偏好的能力。通常，在可视电话以及其它电子设备中建立用户偏好，从而由最终用户建立的偏好成为被视频会议或电子设备所采用的偏好。此外，这些***通常需要用户的充分交互。这种交互可能会繁重以及费时。

此外，在可视电话中由拍摄装置捕获的图像通过视频会议网络简单地被传输到目的可视电话。同样，用户的面部表情和特征除了用于传输至其它视频会议方之外，没有被记录下来以用于任何其它目的。最后，当前的可视电话以及其它电子设备仅允许为单个用户建立用户偏好。

发明内容

本发明公开了一种为电子设备提供用户建档的方法和***。面部表征数据由成像设备捕获。该成像设备聚焦于用户的面部以捕获面部表征数据。对关于面部特征数据库中是否包括与该面部表征数据相匹配的用户面部特征数据进行确定。当面部表征数据与面部特征数据库中的用户面部特征数据匹配时，用户偏好数据被载入电子设备的存储器模块。当面部表征数据与面部特征数据库中的用户面部特征数据不匹配时，一个新的用户简档被添加到用户简档数据库。

用户建档***，其包括面部识别模块、面部特征数据库、用户建档模块、以及用户建档数据库。该面部识别模块接收面部表征数据，该面部表征数据由成像设备捕获。该成像设备聚焦于用户的面部以捕获面部表征数据。该面部特征数据库存储多个用户记录，多个用户记录中的每一个存储面部表征数据。此外，多个用户记录的每一个可以与电子设备的多个用户的每一个相对应。该用户建档模块加载用户偏好数据至电子设备的存储器模块。当面部表征数据与面部特征数据库中的用户面部特征数据相匹配时，该用户偏好数据被载入电子设备。当面部画像数据与面部特征数据库中的用户面部特征数据不匹配时，该用户建档模块创建一个新的用户简档。最后，用户建档数据库存储多个用户简档以及对应的用户偏好数据，该用户简档与电子设备的多个用户中的每一个相对应。

附图说明

通过实例，现在将利用附图进行参考。

图1示例了一个显示人脸图像的可视电话。

图2示例了面部识别和建档单元的组件和***设备。

图3示例了用于面部识别和基于面部识别的用户建档的过程的流程图。

图4A-4C示例了可与面部识别和建档单元相连接的电子设备的实例。

图5示例了通过计算机网络与面部识别和建档单元交互的个人数字助理。

图6示例了面部识别和建档***的结构图。

具体实施方式

本发明公开了一种用于自动面部识别和用户建档的方法和设备。该***和方法可被应用于一个或多个提供建立定制偏好的选项的电子***。这些***可以是个人计算机、电话、可视电话、自动柜员机、个人数字助理、媒体播放器以及其它。

电子***通常不存储和管理设置和用户特定信息或者多个用户。相反，当前的***提供具有有限的接口能力的用户界面。在此公开的方法和设备基于面部识别自动地维护多个用户的偏好和设置。与当前难于进行操作和维护的***不同，在此公开的***和方法基于用户动作、命令、访问信息的顺序等自动地产生用户偏好以及设置。一旦面部识别模块识别出一个重现的用户的面部，则用户建档模块将为该重现的用户收集用户特定动作以产生和获悉用户偏好。如果用户没有被面部识别模块识别出来，将产生一个新的用户简档，并且将设置、属性、偏好等作为这个新的用户档案的一部分进行存储。

图1示例了一个显示人脸图像的可视电话。利用拍摄装置110以及面部识别和建建档单元100的可视电话104可被配置用于捕获用户面部、面部表情、以及其它可以独一无二地标识该用户的面部特征。该面部识别和建建档单元100从拍摄装置110接收到一个捕获图像，并保存表征该用户面部的数据。在一个实施例中，拍摄装置110以及面部识别和建档单元100安装于可视电话104中。在其它实施例中，拍摄装置110以及面部识别和建档单元100安装于与可视电话104分隔开的外壳中。

在一个实例中，仅当用户与其他的可视电话用户进行视频会议通信时，可视电话102才捕获用户的面部。因此，视频识别和建档的执行不会干扰用户的视频会议会话。所以，识别和建档对于用户来说是被透明地执行的过程。当用户在一个视频会议中时，面部识别和建建档单元100将基于用户动作产生用户偏好和设置。在其它实施例中，当用户正在操作可视电话102时，可视电话102捕捉用户的面部，而不是必须在一个视频会议期间。同样，面部识别和建档单元100收集与可视电话102和用户之间的任何交互相对应的用户动作和行为数据。

例如，在视频会议呼叫过程中，用户可将音量设置在某个级别上。这个动作由面部识别和建档单元100记录下来并与该用户的简档相关联。然后，当该用户返回以进行另外一个视频会议呼叫时，用户面部被面部识别和建档单元100识别出来，并且音量被自动地设置在该用户在上次会议呼叫时设置的级别上。

在其他实例中，在视频会议的呼叫过程中，近端的呼叫者和远端的呼叫者都被面部识别和建档单元100识别出。该近端用户可以是一个以前曾被面部识别和建档单元100识别过的用户。当该近端用户接收到来自远端呼叫者的呼叫时，面部识别和建档单元100搜索远端呼叫者简档以及加载关于与该远端用户进行通信的近端用户的偏好。此外，该远端呼叫者偏好和数据同样也可被载入以用于被面部识别和建档单元100快速获取或访问。面部识别和建档单元100可被配置为载入任何数量的可成为会议呼叫参与方的用户简档。参加会议呼叫的用户的简档、数据以及其他相关信息可以或者不可以被会议呼叫中的其他用户所用，这取决于安全设置等。

而在另外的实例中，可为每个用户记录输出的可视电话呼叫日志。自动地为与每个用户通信的参与方保存联系信息。当该用户返回参加另一视频会议呼叫时，呼叫日志中的所有被联系方的联系信息可以被自动加载。在一个实施例中，面部识别和建档单元100为多个用户存储用户简档。因此，如果第二用户由相同的可视电话100参加视频会议呼叫，可视电话100将识别出该第二用户的面部，并且立即加载与第二用户相对应的联系列表。同样，通过执行面部识别和自动地产生用户简档，只需要最小的用户交互。

图2示例了面部识别和简档单元的组件和***设备。面部识别和建档单元100可包括面部特征数据库102，用户简档数据库104，面部识别模块106、用户维护模块108、处理器112和随机访问存储器114。

面部特征数据库102可为用户简档数据库104中的每个用户存储面部特征数据。在一实施例中，每个用户具有多个相关的面部特征。在另一实施例中，每个用户具有存储在面部特征数据库102中的面部特征图像。面部识别模块106包括用于存储与每个用户相关的面部特征的逻辑。在一实施例中，该逻辑包括将用户的面部特征与拍摄装置110捕获的面部特征进行比较。如果预定义数量的面部特征超过了相似度阈值，则被捕获的面部被鉴定为属于与被认为与所捕获面部相似的面部特征相关联的用户。在另一实施例中，如果至少一个面部特征超过了相似度阈值，则被捕获面部被鉴定为与被认为与用户面部中的面部特征相似的面部特征相关联的用户。在另一实施例中，面部识别模块106包括基于模板匹配算法进行运算的逻辑。预先为每个用户建立的模板可被配置为识别模块106的一部分，并且执行一个比较以确定差异百分比。

如果用户未被识别为一个已存在用户，则添加新用户、以及相关联的面部特征和特点。在一实施例中，如果预定义数量的面部特征没有超过相似度阈值，那么被捕获的面部作为一个新用户与新捕获的面部特征一块添加。在另一实施例中，如果至少一个面部特征超过相似度阈值，那么被捕获面部被作为一个新用户与新捕获面部特征一块添加。

在一个实例中，面部识别模块106将用户的5个面部特征(例如眼睛、鼻子、嘴巴和下巴)的图像存储在面部特征数据库102中。在另一实例中，面部识别模块106存储用户的每个面部特征的度量。然而在另一实例中，面部识别模块106存储用户的每个面部特征的蓝图。在另一实例中，面部识别模块106存储用户面部的单个图像。在另一实施例中，如果用户是一个新用户则面部识别模块106存储新的面部特征数据。一个或多个已存在的面部识别方案可被用于执行面部识别。

用户简档数据库104可存储用户偏好、选择性标识码、预先定义的命令、以及其他用户特定数据。用户维护模块108包括执行用户建档的逻辑。在一实施例中，维护模块包括基于用户标识符提取用户简档的逻辑。用户标识符可以是，例如，存储在面部特征数据库102中的用户面部特征。在另一实施例中，维护模块108包括在用户简档下保存用户设置的逻辑。在另一实施例中，维护模块108包括将用户操作解释为用户偏好并且在用户简档下保存用户偏好的逻辑。而在另一实施例中，维护模块108包括如果用户未与已存在的用户简档关联则增加一新用户的逻辑。

面部识别和建档单元100可被连接到一个或多个用于输入和输出的***设备上。例如，拍摄装置110通过通信总线116与面部识别和简档单元相连。拍摄装置110捕获人脸并产生用户面部的图像。在一个实施例中，拍摄装置110将捕获的数据传送给面部识别模块104而不对被捕获的图像进行任何预先分类和预处理。在另一实施例中，拍摄装置110被配置为仅向面部识别模块106传送类似人脸的图像。在另一实例中，键盘120、麦克风118、显示器122和扬声器124通过通信总线116连接到面部识别和建档单元100。各种其他输入和输出设备可以与面部识别和建档单元100通信。各种输入形式的输入设备可被用来监视和获悉用户行为和偏好。

在一实施例中，面部识别和建档单元100被分隔成位于两个分隔开的外壳中的两个组件。面部识别模块106和面部特征数据库102安装在第一外壳中。用户简档数据库104和用户维护模块108可安装在第二外壳中。

在一实施例中，面部识别需要接收用户面部的捕获图像，例如通过拍摄装置110，以及通过在面部特征数据库102中搜索所提供的图像来检验所提供的图像是否对应于被授权的用户。如果用户未被识别，则该用户基于被捕获的脸部特征作为一个新用户被添加。确定被捕获图像中的面部特征是否与面部特征数据库102中已存在用户的面部特征相对应，是由面部识别模块106来执行。如前面所述，面部识别模块106可包括用于将已捕获的用户面部与存储在面部特征数据库102中的表示已授权用户面部的面部特征数据相比较的操作逻辑。在一实施例中，面部特征数据库102包括一个相关数据库，其包括在用户简档数据库104中被建档的每个用户的面部特征数据。在另一实施例中，面部特征数据库102可以是用于存储表示已授权用户面部的数据的只读存储器(ROM)查找表。

进一步，用户建档可由用户维护模块108实施。在另一实施例中，用户简档数据库104是其中存储了用户偏好、预先配置的功能命令、相关许可等的只读存储器，。例如设置，如预览***开/关、用户界面偏好、铃声偏好、呼叫历史日志、电话簿和联系列表、好友列表记录、优选图标、优选的字符图示、聊天室历史日志、电子邮件地址、日程表等等。用户维护模块108获得并存储数据至用户简档数据库104以更新预先设置的命令、偏好等。如前面所述，用户维护模块108包括确定被包括在用户简档中的用户动作的操作逻辑。

此外，面部识别和建档单元100包括计算机处理器112，其与面部识别模块106和用户维护模块108交换数据。计算机处理器112执行操作，例如通过面部识别模块106比较输入图像、以及通过用户维护模块108请求用户偏好、简档和与已存在用户相关的其它数据。

图3示例了面部识别和基于面部识别的用户建档的过程的流程图。在一实施例中，该过程由面部识别和建档单元100执行。过程300在过程块304开始，其中拍摄装置110捕获用户的面部图像。在一实施例中，过程块304中，用户面部被面部识别模块106捕获，该面部识别模块106被配置为丢弃任何未被识别为人脸形状的输入图像。在一实施例中，如果拍摄装置110检测到在拍摄装置110附近有一物体，拍摄装置110仅捕获用户脸部图像。在一实施例中，拍摄装置110被配置为如果拍摄装置110正在聚焦一个类似于面部的形状则进行检测。在另一实施例中，拍摄装置110将所有被捕获的数据提交给面部识别模块106，其中执行是否检测到面部的确定。然后，过程300进行到过程块306。

在过程块306，根据配置在面部识别模块106中的逻辑，将表示被扫描面部图像的数据与存储在面部特征数据库102中的面部特征数据进行比较。同样，在判决过程块306，对表示被扫描面部图像的数据是否与存储在面部特征数据库102中的面部特征数据相匹配进行判断。然后，过程300继续到过程块308。

在过程块308，如果表示被扫描面部图像的数据与存储在面部特征数据库102中的至少一个表示参考面部特征的图像的数据相匹配，那么将用户偏好加载到电子设备中。在一实施例中，对是否在用户简档数据库102中预设定和存储了用户偏好作出确定。如果已经存在用户偏好，那么用户简档和对应的偏好被载入至电子设备。在另一实施例中，如果不存在预先建立的用户偏好，那么收集用户的后续请求、动作、命令和输入，以产生和维护用户简档。在一实施例中，用户偏好被自动地产生。与所识别用户面部相对应的面部表情、动作、命令等被自动地收集并存储在用户简档数据库中。为每个用户存储的数据可包括呼叫历史日志、用户数据、用户联系信息、以及当用户使用该可视电话时所获悉的其它信息。无需用户交互便可产生用户简档。然后，过程300继续到过程块310。

在过程块310，如果表示所扫描面部图像的数据与存储在面部特征数据库102中的至少一个表示参考面部特征图像的数据不匹配，那么该用户被作为一个新用户添加至用户简档数据库104。表示用户面部的面部特征数据被添加面部特征数据库102。此外，用户简档数据库104包括一个新的记录，其可基于用户面部或面部特征作为关键字。因此，每当添加一个新用户，就创建具有相关面部特征和偏好的新记录。基于用户特定的面部特征，多个用户可访问***以及创建一个用户帐户。

图4A、4B、4C和4D示例了可与面部识别和建档单元100相连的电子设备的实例。在一实施例中，面部识别和建档单元100被集成在电子设备中，这样组件都在相同的外壳中。在另一实施例中，面部识别和建档单元100被安置在与电子设备分隔开的外壳中。

图4A示例了与面部识别和建档单元100交互的个人计算机402。可基于由面部识别和建档单元100建立的不同配置来操作个人计算机402。在一实施例中，个人计算机包括一个拍摄装置110，其提供被捕获面部的图像或个人计算机的每个用户的面部特征。如上面所解释的，可基于用户面部或面部特征来产生和存储用户简档。当用户与个人计算机402交互时，新的设置、偏好和其他用户特定数据被面部识别和建档单元100获悉、产生和存储。在与个人计算机402的未来交互中，面部识别和建档单元100将获得用户偏好并将它们载入用于与被识别的用户进行交互。例如，一旦用户被识别以及偏好参数被载入，则字体大小、壁纸图像、优选的因特网下载文件夹等由个人计算机402载入和提供。

图4B示例了与面部识别和建档单元100交互的自动柜员机404。可基于由面部识别和建档单元100建立的不同配置来操作该自动柜员机404。在一实施例中，自动柜员机404包括拍摄装置110，其提供被捕获的面部图像或自动柜员机404的每个用户的面部特征。如以上所解释的，可基于用户面部或面部特征来产生和存储用户简档。当用户与自动柜员机404进行交互时，新设置、偏好以及其他用户特定数据被面部识别和建档单元100获悉、产生和存储。在与自动柜员机404的未来交互中，面部识别和建档单元100可获得用户偏好并将其载入用于与被识别用户进行交互。例如，一旦用户被识别和偏好参数被载入，那么显示字体大小、声音激活、频繁使用的菜单项等等便被自动柜员机404载入和提供。

图4C示例了一个与面部识别和建档单元100交互的电视单元406。可基于由面部识别和建档单元100建立的不同配置来操作电视单元406。在一实施例中，电视单元406包括拍摄装置110，其提供被捕获面部的图像或电视单元406的每个用户的面部特征。如上述所解释的，基于用户的面部或面部特征来产生和存储用户简档。当用户与电视单元406进行交互时，由面部识别和建档单元100来获悉、产生和存储新的设置、偏好和其它用户特定数据。在与电视单元406的未来交互中，面部识别和建档单元100可获取用户偏好并将其载入用于与被识别用户进行交互。例如，一旦用户被识别以及偏好参数被载入，则喜欢的频道、声音偏好、颜色、对比度、优选的音量级别等可由电视单元406载入和提供。

图4D示例了与面部识别和建档单元100进行交互的个人数字助理408。可基于由面部识别和建档单元100所建立的不同配置来操作个人数字助理408。在一实施例中，个人数字助理408包括拍摄装置110，其提供被捕获面部图像或个人数字助理408的每个用户的面部特征。如以上所解释的，基于用户面部或面部特征来产生和存储用户简档。当用户与个人数字助理408进行交互时，由面部识别和建档单元100来获悉、产生和存储新的设置、偏好和其它用户特定数据。在与个人数字助理408的未来交互中，面部识别和建档单元100可获取用户偏好并将其载入用于与被识别用户进行交互。例如，一旦用户被识别以及偏好参数被载入，那么字体大小、壁纸图像和优选的因特网下载文件夹可被个人数字助理408载入和提供。

图5示例了通过计算机网络与面部识别和简档单元进行交互的个人数字助理502。在一实施例中，该面部识别和建档单元100位于服务器504中。面部识别和建档单元100与服务器504通过网络210进行通信，例如局域网(“LAN”)、广域网(“WAN”)、因特网、电缆、卫星等等。个人数字助理502可集成有图像设备，如拍摄装置110，在另一实施例中，拍摄装置110被连接到个人数字助理，但是并没有集成在同一外壳中。

个人数字助理502可与面部识别和建档单元100进行通信，以提供用户面部特征、用户操作和如上所讨论的其它数据。此外，面部识别和建档单元100存储用户简档、识别新的和已存在的用户面部特征、以及与个人数字助理502交换其它数据。

图6示例了面部识别和建档***600的结构图。特别的，面部识别和建档***600可被用于基于用户动作、命令、访问信息的顺序等自动地产生用户简档和设置，并利用面部识别在用户之间进行区分。在一个实施例中，面部识别和建档***600采用通用目的的计算机或任何其它硬件等同物实现。

因此，面部识别和建档***600包括处理器(CPU)112，内存114，如随机访问存储器(RAM)和/或只读存储器(ROM)，面部识别模块106，以及各种输入/输出设备602(如，存储设备，其包括但是并不限于，磁带驱动器、软盘驱动器、硬盘驱动器或光盘驱动器，接收器，发送器，扬声器，显示器，图像捕获传感器，比如那些在数字静态拍摄装置或数字视频拍摄装置中使用的，时钟，输出端口，用户输入设备(例如键盘、键盘，鼠标以及类似物，或用于捕获语音命令的麦克风))。

应当理解，面部识别模块106可由一个或多个通过通信信道连接到处理器112的物理设备来实现。可选择的，面部识别模块106可一个或多个软件应用程序(或甚至是软件和硬件的组合，如，采用专用集成电路(ASIC))来代表，其中，软件从存储介质中被载入(例如，磁或光驱动器或磁盘)，以及由处理器112在面部识别和建档***600的存储器114中执行。同样，本发明的面部识别模块106(包括相关数据结构)可以存储于计算机可读介质上，例如，RAM存储器，磁或光驱动器或磁盘以及类似物。

虽然此处公开了某些示例性的实施例和方法，很显然，对于本领域技术人员而言，根据前述公开的内容对实施例和方法进行变化和修改而不背离本发明公开的实际精神和范围。还存在本发明公开的许多其它实例，其中每个均与其它仅在细节方面存在不同。因此，意图是本发明公开的内容应当仅限于由附属的权利要求和可适用法律的规则和原理要求的范围之内。

Claims (10)

1.一种为电子设备提供用户建档的方法，包括：

由成像设备捕获面部表征数据，其中所述成像设备聚焦于所述用户的面部，以捕获所述面部表征数据；

确定面部特征数据库是否包括与所述面部表征数据相匹配的用户面部特征数据；

当所述面部表征数据与所述面部特征数据库中的用户面部特征数据相匹配时，加载用户偏好数据至所述电子设备中；以及

当所述面部表征数据与所述面部特征数据库中的用户面部特征数据不匹配时，在所述用户简档数据库中添加新的用户简档。

2.根据权利要求1所述的方法，进一步包括：基于与所述电子设备的用户交互，将新用户偏好数据存储至所述新的用户简档中。

3.根据权利要求1所述的方法，进一步包括：基于与所述电子设备的用户交互，将新用户历史数据存储至所述新的用户简档中。

4.根据权利要求1所述的方法，进一步包括：在所述用户简档数据库中定位与匹配的用户面部特征数据相对应的的已存在的用户简档。

5.根据权利要求1所述的方法，其中加载用户偏好数据至所述电子设备的步骤包括：加载存在于电子设备存储器模块中的用户的已存在面部特征数据。

6.根据权利要求1所述的方法，其中确定所述面部特征数据库是否包括与所述面部表征数据相匹配的用户面部特征数据的步骤是由所述电子设备中的面部识别模块来执行的。

7.根据权利要求1所述的方法，其中所述用户偏好数据和所述历史数据存储于所述用户简档数据库中。

8.根据权利要求1所述的方法，其中添加到所述用户简档数据库的所述新的用户简档基于所述面部表征数据是唯一可标识的。

9.根据权利要求1所述的方法，其中所述用户偏好数据包括声音偏好、颜色偏好、或视频偏好。

10.一种用户建档***，包括：

接收面部表征数据的面部识别模块，所述面部表征数据由成像设备捕获，其中所述成像设备聚焦于所述用户的面部，以捕获所述面部表征数据；

存储多个用户记录的面部特征数据库，所述多个用户记录中的每一个存储面部表征数据，其中所述多个用户记录中的每一个与所述电子设备的多个用户中的每一个用户相对应；

加载用户偏好数据至所述电子设备中的用户建档模块，当所述面部表征数据与所述面部特征数据库中的用户面部特征数据相匹配时，所述用户偏好数据被加载至所述电子设备的所述存储器模块中，其中当所述面部表征数据与所述面部特征数据库中的用户面部特征数据不匹配时，所述用户建档模块创建新的用户简档；以及

用户建档数据库，该用户建档数据库存储多个用户简档以及对应的用户偏好数据，所述用户简档与所述电子设备的所述多个用户中的每一个用户相对应。

Images