CN1846228A

CN1846228A - 带有用户验证功能的电子设备

Info

Publication number: CN1846228A
Application number: CNA2004800250124A
Authority: CN
Inventors: 山田伸; 森田芳; 长尾健司; 山冈恩; 早田启介
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2003-09-01
Filing date: 2004-08-30
Publication date: 2006-10-11
Also published as: WO2005022462A1; EP1662438A1

Abstract

本发明提供了利用脸部图像信息验证用户的电子设备。用户可以欣赏验证图像的登记和验证操作。将通过图像拾取部分(5)输入的脸部图像数据与非易失性存储器(4)中的相关数据相比较，以便进行用户验证。电子设备(100)具有模仿角色和是否在显示部分(6)上显示它的功能。此外，电子设备(100)具有判断是否应该和可以拍摄用户的新脸部图像，以便提高正确验证的百分比的获取开始判断功能。当判断应该和可以拍摄新脸部图像时，在显示部分(6)上显示角色图像和通知用户是否开始获取相关数据。此外，当进行相关处理时，在显示部分(6)上显示角色图像。

Description

带有用户验证功能的电子设备

技术领域

本发明涉及带有用户验证功能的电子设备，即，利用用户的脸部图像进行验证处理的电子设备。

背景技术

当对像蜂窝式电话等那样的电子设备的使用施加限制，以防除了电子设备的用户之外的其它任何人使用电子设备时，需要进行用户验证。利用口令的方法和利用诸如指纹、声纹和虹膜等指示人体特征的生物信息的方法被称为用户验证方法。

在专利文件1中公开了应用利用指纹的用户验证技术的蜂窝式电话。另外，在专利文件2中公开了将脸部图像作为生物信息用于验证的技术。

但是，当使用指纹、声纹或虹膜等时，需要精度相当高的装置来输入这样的信息，从而使成本升高。当将脸部图像用作生物信息时，像配备在蜂窝式移动电话中那样的照相机可以用作输入装置。但是，为了利用脸部图像进行绝对用户验证，有必要登记多个供核实用的图像。也就是说，为验证拾取的脸部图像随它们的拍摄地点、时间等而彼此不同。因此，重要的是事先在数种条件下拾取脸部图像。登记这样的多个脸部图像增加了用户的负担，也难以确定需要登记多少脸部图像。

另一方面，可以轻松地采用基于口令的用户验证，但对用户来说这并不有趣。

至于在使用户感到有趣的同时防止非法使用的技术，在专利文件3中公开了在宠物饲养游戏转到预定状态的条件下，中止电话功能的蜂窝式电话。在这种蜂窝式电话中，在宠物饲养游戏转到预定状态之前，要求经过预定时间。在要求经过的时间内存在着安全问题。顺便提一下，作为与诸如宠物之类的虚拟角色进行通信的电子设备，除了专利文件3中的那个之外，还提出了在专利文件4和专利文件5中公开的那些。

(专利文件1)已公开日本专利第2002-44727号；

(专利文件2)已公开日本专利第2002-261914号；

(专利文件3)已公开日本专利第2002-169132号；

(专利文件4)国际公布第00/53281号小册子；

(专利文件5)已公开日本专利第2001-51970号。

本发明就是在考虑了前述情况之后开发出来的。本发明的目的是提供利用脸部图像的信息进行用户验证和在使用户感到有趣的同时可以进行验证图像登记和验证操作的电子设备。

发明内容

根据本发明的电子设备是带有用户验证功能的电子设备，用户验证功能具有验证用户和确定用户是否是正当用户的功能，该电子设备包括：可以拾取用户的脸部图像的图像拾取装置；参考图像存储装置，用于存储作为正当用户的脸部的图像数据的参考数据；验证处理装置，用于进行包括获取上述参考数据的获取处理和用上述参考数据核实图像拾取装置拾取的输入图像数据的核实处理的用户验证处理；获取开始确定装置，用于进行确定是否必须获取新参数数据的必需确定处理和确定是否可以拾取用作必要参考数据的来源的脸部图像的可能确定处理；角色模仿装置，用于模仿角色；和可以显示上述角色模仿装置模仿的上述角色的图像的显示装置，其中，当在上述必需确定处理和上述可能确定处理中断定必须获取上述新参数数据和可以拾取用作上述必要参考数据的来源的脸部图像时，上述验证处理装置将角色图像显示在上述显示装置上和通知用户是否开始上述获取处理。根据本发明，在通过与角色进行通信使用户感到有趣的同时，进行获取用户的参考数据的处理。另外，当必需确定处理中的判据被设置成在期望提高正确核实的百分比的情况下断定必须获取新参数数据时，无需使用户有目的地这样做，可以自然地提高正确核实的百分比。于是，可以减少用户在获取参考数据的处理期间，也就是说，在登记脸部图像的处理期间的麻烦。

在根据本发明的电子设备中，上述验证处理装置包括在上述获取处理和上述瞄准处理期间通过在上述显示装置上显示上述角色图像对用户作出响应的处理。根据本发明，在通过与虚拟角色进行通信使用户感到有趣的同时，进行用户验证处理。另外，在以相同的方式通过与虚拟角色进行通信使用户感到有趣的同时，也可以进行参考数据获取处理。于是，可以减少用户在验证期间的麻烦。

在根据本发明的电子设备中，上述参考数据包括每个脸部局部的局部区域图像数据或每个脸部局部的特征数据，并且上述验证处理装置的上述验证处理包括计算从上述输入图像数据中提取的每个脸部局部的图像数据与上述参考数据之间的相似度。根据本发明，可以只通过用图像拾取装置拍摄脸部来进行核实处理。于是，无需将困难的操作强加给用户就可以进行核实。

在根据本发明的电子设备中，从在不同拍摄日期和时间或在不同拍摄地点拾取的多个图像数据当中创建上述参考数据。根据本发明，按照拍摄条件***地存储参考数据。于是，可以提高利用脸部图像验证用户的精度。

在根据本发明的电子设备中，上述验证处理装置的上述获取处理包括支持在预定拍摄日期和时间或在预定拍摄地点拾取正当用户的脸部图像的处理。根据本发明，可以有效地存储每种拍摄条件的参考数据。

根据本发明的电子设备的特征在于，上述必需确定处理或上述可能确定处理基于利用拍摄日期和时间或拍摄地点的信息的确定。根据本发明，可以在多个拍摄日期和时间或在多个拍摄地点拾取正当用户的脸部图像。于是，可以提高验证用户的精度。

根据本发明，可以提供利用脸部图像信息进行用户验证和在使用户感到有趣的同时可以进行验证图像登记和验证操作的电子设备。

附图说明

图1是示出根据本发明一个实施例的配有照相机蜂窝式电话的示意性配置的图形；

图2是举例示出根据本发明一个实施例的配有照相机蜂窝式电话中的参考数据项的图形；

图3是举例示出根据本发明一个实施例的配有照相机蜂窝式电话中参数数据的拍摄日期和时间和拍摄地点的设定类别的图形；

图4是操作根据本发明一个实施例的配有照相机蜂窝式电话的操作部分时的示意性操作流程图；

图5是根据本发明一个实施例的配有照相机蜂窝式电话中脸部图像数据核实处理的示意性操作流程图；

图6是根据本发明一个实施例的配有照相机蜂窝式电话中参考数据存储处理的示意性操作流程图；和

图7是示出根据本发明一个实施例的配有照相机蜂窝式电话中当按照操作部分的操作作出响应时显示部分的显示例子的视图。

顺便提一下，附图中的标号1代表控制部分；2代表ROM(只读存储器)；3代表RAM(随机访问存储器)；4代表非易失性存储器；5代表图像拾取部分；6代表显示部分；7代表操作部分；10代表内部总线；20代表通信部分；21代表天线；30代表语音处理部分；31代表麦克风；32代表扬声器；和100代表配有照相机蜂窝式电话。

具体实施方式

下面参照附图描述本发明的实施例。在这个实施例中，可应用电子设备是配有照相机蜂窝式电话。但是，可应用对象可以不局限于配有照相机蜂窝式电话，只要它带有图像拾取装置即可。

图1是示出根据本发明一个实施例的作为电子设备的配有照相机蜂窝式电话的示意性配置的图形。图1中的配有照相机蜂窝式电话100包括控制部分1、ROM 2、RAM 3、非易失性存储器4、图像拾取部分5、显示部分6、操作部分7、内部总线10、通信部分20、天线21、语音处理部分30、麦克风31和扬声器32。

控制部分1整体控制蜂窝式电话100的操作。控制部分1主要由执行预定程序的处理器(未示出)构成。控制部分1控制数据或命令通过内部总线10在蜂窝式电话100的各个部件之间的相互传送。另外，控制部分1具有利用图像拾取部分5拾取的用户的脸部图像数据和存储在非易失性存储器4中的正当用户的脸部图像数据的验证处理功能。并且，控制部分1具有确定是否有必要和是否可以拾取用户的新脸部图像数据的获取开始确定功能。另外，控制部分1具有模仿虚拟角色的功能。模仿虚拟角色的功能可以用与饲养游戏功能的方法相似的方法实现。因此，省略对模仿虚拟角色的功能的详细描述。当输出模仿角色的行为的图像时，通过显示单元6输出该图像。当输出模仿角色的行为的语音时，通过语音处理部分30和扬声器32输出该语音。

ROM 2存在要由构成控制部分1的处理器执行的程序或要用在蜂窝式电话100中的各类数据。RAM 3是临时存储数据的存储器。当控制部分1进行各种处理时，RAM 3还用作工作存储器。非易失性存储器4由例如EEPROM(电可擦除可编程只读存储器)组成。非易失性存储器4存储如后所述的作为正当用户的脸部图像数据的参考数据和输出模仿虚拟角色的图像时的图像数据等。当用户使用配有照相机蜂窝式电话100时，非易失性存储器4还用于各种数据文件。

图像拾取部分5包括透镜等的光学***、图像拾取器件和图像处理部分(都未示出)等。图像拾取部分5根据拍摄的图像信号输出数字图像数据。图像拾取部分5与已经配备在现有配有照相机蜂窝式电话中的那个类似。图像拾取部分5在正常拍摄模式下的操作也与现有配有照相机蜂窝式电话中的操作类似。也就是说，在显示部分6中显示拍摄模式下的整个图像。当操作操作部分7的快门按钮时，将基于那里拍摄图像信号的数字图像数据临时存储在RAM 3中。当从操作部分7给出保存数据的指令时，交数据存储在非易失性存储器4中。顺便提一下，进行这样拍摄操作的配有照相机蜂窝式电话是众所周知的。因此，省略其详细描述。

图像拾取部分5用于获取存储在非易失性存储器中的参考数据。另外，图像拾取部分5还用于获取要用于验证蜂窝式电话100的用户的脸部图像数据。当图像拾取部分5用于这样的验证处理时，用户往往一边观看显示部分6的显示屏一边操作图像拾取部分5。因此，最好使图像拾取部分5的透镜瞄准显示部分6的显示表面侧。这种配置可以按如下达到。也就是说，当配备多个图像拾取部分5时，图像拾取部分5之一用于拍摄显示单元6的显示表面侧。可替代地，当使图像拾取部分5的拍摄方向可变时，在验证处理期间将拍摄方向设置在拍摄显示单元6的显示表面侧上。

显示部分6显示蜂窝式电话100的各种类型信息。显示部分6由在上面进行显示的液晶显示面板和驱动这个液晶显示面板的显示控制电路(都未示出)构成。

操作部分7用于使用户输入操作蜂窝式电话100的命令或数据。操作部分7包括输入电话号码或各种数据的十键式数字键盘和各种功能键等。这些键具有按照操作模式改变的功能。这些键还具有在正常拍摄模式下作为快门按钮或变焦按钮的功能，并且在如后所述的验证处理中作为拍摄图像或输入各种数据的输入键的功能。另外，这些键还用于与控制部分1模仿的虚拟角色进行通信的数据输入。

与天线21连接的通信部分20与外界进行无线通信。通信部分20从天线21发送在载波上的发送数据，并且解码从天线21接收的接收数据。当解码数据是语音数据时，将数据发送到语音处理部分30。当解码数据是其它数据时，在控制部分1的控制下通过内部总线将数据发送到控制部分1、RAM 3、非易失性存储器4等。另一方面，发送数据直接从语音处理部分30或通过内部总线10从另一个部件输入。

语音处理部分30将从麦克风31输入的语音信号转换成数字数据，并且将数字数据作为发送数据输出到通信部分20。另外，语音处理部分30将从通信部分20输出的接收数据(语音数据)转换成模拟音频数据，并且将模拟音频数据输出到扬声器32。并且，语音处理部分30在将通过内部总线10输入的数字数据转换成音频信号，并且将音频信号输出到扬声器32的同时，还可以通过内部总线10将基于来自麦克风31的音频信号的数字数据发送到控制部分1等。

接着，对图1中的配有照相机蜂窝式电话100的操作加以描述。这个蜂窝式电话100不仅具有利用语音进行呼叫的功能，而且具有利用图像拾取部分5的照相机功能和利用通信部分20的数据通信功能。这些功能可以通过操作操作部分7的预定键有选择地激活。顺便提一下，语音呼叫功能、照相机功能和数据通信功能与现有技术中的那些相似，因此，省略其描述。另外，蜂窝式电话100还具有可以对除了正当用户之外的其它任何用户的使用施加限制的用户验证功能。对使用的限制可以施加在蜂窝式电话100的所有功能上，或施加在一部分功能上。用户是否是正当用户不仅可以通过将用户的脸部图像与正当用户的脸部图像相比较确定，而且可以通过输入口令确定。

正当用户的脸部图像数据用于基于用户的脸部图像与其比较的验证。并首先，对要存储在非易失性存储器4中的参考数据加以描述。蜂窝式电话100的正当用户用图像拾取部分5拍摄至少一张他/她脸部的图像。将脸部图像的图像数据或特征数据事先存储成参考数据。

例如，参考数据包括个别脸部信息和平均脸部信息。个别脸部信息是如图2所示的每个项目的通过分析每个拍摄脸部图像的数据获得的数据。例如，对于像眼睛、鼻子、嘴巴、耳朵和眉毛等那样的项目，可以将这些顶点坐标用作参考数据。对于轮廓，可以将轮廓线上的多个点的坐标用作参考数据。对于发型，可以将用二元区分发区和其它区域的数据用作参考数据。并且，对于部件布局数据，可以将像眼睛、鼻子和嘴巴等那样的代表性部分的相对位置数据用作参考数据。顺便提一下，对于眼睛、鼻子、嘴巴、耳朵和眉毛等项目，不仅它们的顶点坐标可以用作参考数据，而且它们的简化图像也可以用作参数数据。例如，对于眼睛，可以将围绕眼睛切出包括眼睛、然后简化的图像用作参考数据。

将个别参考数据与为验证用户拍摄和获取的脸部图像数据相比较。因此，计算出相似度。为了确定用户是否是正当用户，最好事先存储拍摄日期和时间或拍摄地点不同的多个脸部图像。图3举例示出了拍摄日期和时间和拍摄地点的设定类别。当事先为这些类别的每种组合存储一段或数段脸部图像数据或特征数据时，可以预期，与拍摄条件和用户脸部条件等无关，有把握确定用户是否是正当用户。

顺便提一下，最好在为多个类别存储了正当用户的数段参考数据之后，使利用脸部图像数据的验证变得可用。但是，只有在存储了一段参考数据之后才可以使验证变得可用。可替代地，可以在只有为拍摄日期和时间和拍摄地点的设定类别的预定种组合获取脸部图像之后才使脸部图像验证变得有效。在这种情况下，用户可以享受验证他自己的脸部图像拍摄，仿佛在玩一种游戏。

平均脸部信息按如下获得。也就是说，为如图2所示的每个项目分析正当用户的数段脸部图像数据。从数段脸部图像数据中获得每个项目的那些数据的平均值。于是，平均脸部信息指的是正当用户的平均脸部图像的特征。

随后，参照图4到6，对蜂窝式电话100的操作加以描述。图4是示出用户操作操作部分7时的示意性操作流程的图形。图4中的操作由控制部分1的程序控制。如下的描述是在这样的假设下作出的，蜂窝式电话100对于电话呼叫功能之外的所有其它功能，具有对除了正当用户之外的其它任何人的使用施加限制的功能，并且确定用户是否是正当用户的验证基于用户的脸部图像数据的输入或口令的输入。

当操作操作部分7时，确定该操作是否是涉及电话呼叫处理的操作(步骤S401)。也就是说，确定该操作是否是接收呼叫的入局呼叫操作或是该操作是否是发送呼叫的操作。当断定该操作不是电话呼叫操作时，确定蜂窝式电话100是否被设置在功能限制模式下，也就是说，蜂窝式电话100是否被设置在对除了正当用户之外的其它任何人的使用施加限制的模式下(步骤S402)。

当蜂窝式电话100被设置在功能限制模式下时，确定利用脸部图像的用户验证是否可用(步骤S403)。在这个步骤中，例如，确定如图3所示的拍摄日期和时间和拍摄地点的设置类别的预定种组合的参考数据是否已经存储在非易失性存储器4中。顺便提一下，这样的确定不总是必不可少。如果至少一段参考数据已经存储在非易失性存储器4中，则可以使用户验证变得可用。

当利用脸部图像的用户验证可用时，在步骤S404中获取用户的脸部图像和输入获取脸部图像的数据。对于要获取的脸部图像，可以在显示部分6上显示模仿虚拟角色的行为的图像，以便指出获取用于验证的图像和有关拍摄方法的信息等的必要性。另外，可以从扬声器32输出语音信息。

图7示出了在那种情况下的显示例子。在图7的例子中，控制部分1模仿的角色是一只猫。在操作操作部分7之前，显示如图7(a)所示猫睡着或自由玩耍的图像。当需要利用脸部图像的验证处理时，猫像图7(b)所示那样，面向前方和提出问题等。

然后，猫作出像“只有X(正当用户的名字)先生可以使用我。你是X先生吗？”那样的询问。当用户操作预定键(例如，“判决键”)给出提示用户是X先生的响应时，猫给出“我将确认一下。请面对我”的响应。因此，蜂窝式电话100转到利用图像拾取部分5的脸部图像拍摄状态。一旦转到脸部图像拍摄状态，可以像图7(c)所示那样显示要拍摄的画面成分。

用户操作快门按钮拾取用户的脸部图像。当图像数据被存储在RAM 3中时，在步骤S405中，进行存储在RAM 3中的图像数据与存储在非易失性存储器4中的参考数据之间的核实处理。因此，确定拍摄的和输入的脸部图像数据是否是正当用户的脸部图像数据。以后将对核实处理和有关用户是否是正当用户的确定加以描述。

当断定输入脸部图像数据是正当用户的脸部图像时(步骤S406)，猫作出像“你肯定是X先生。你可以使用我。”等那样的响应，并且更新存储在非易失性存储器4中的参考数据(步骤S407)。

可以跳过这个更新处理，或者，可以只对在还没有存储的日期和时间或地点拍摄的脸部图像进行这个更新处理。

顺便提一下，控制部分1模仿的角色可以是像猫那样的实际动物的模仿、虚拟动物的模仿、或像机器人那样的非动物的模仿。在各种游戏机中这样显示模拟角色的图像的技术是众所周知的。因此，省略对这种技术的描述。来自角色的消息不仅可以通过书面文字显示，而且可以通过语音输出。

在步骤S408中，可以按照操作部分7进行各种处理，以便用户可以使蜂窝式电话100进行所需处理。用户可以进行操作以设置或释放功能限制模式。另外，在这种状态下，如有必要，蜂窝式电话100可以进行参考数据存储处理(步骤S409)。以后将对步骤S409的存储处理加以描述。

接着，在步骤S410中，确定是否进行蜂窝式电话100的终止操作。当进行终止操作时，处理例程终止。当不进行终止操作时，处理例程返回到步骤S408。

当在步骤S406中断定输入的脸部图像数据不同正当用户的脸部图像时，显示输入口令的要求。例如，显示像“你真的是X先生吗？如果你是X先生，请输入口令。”那样的指令。

当输入口令时(步骤S411)，进行口令检验处理(步骤S412)，以便确定用户是否是正当用户。顺便提一下，事先设置要检验的口令和将其存储在非易失性存储器4中。

当作为口令检验的结果，断定输入口令的用户是正当用户时(步骤S406)，给出像“你真的是X先生。你可以使用我。”等那样的响应，并且处理例程转到步骤S408。相反，当断定用户不是正当用户时，在步骤S414中进行错误管理处理。在这个步骤中，例如，给出像“你的眼睛不同。你不是X先生。你不能使用我。”等那样的响应，并且显示屏转到猫自由行动的显示屏。

当在步骤S402中断定蜂窝式电话100未被设置在功能限制模式下时，处理例程转到步骤S408，等待操作部分7上的操作。另一方面，当在步骤S401中断定操作部分7上的操作是涉及电话呼叫处理的操作时，进行电话呼叫处理(步骤S415)，直到在步骤S416中检测到呼叫终止操作。

接着，参照图5的示意性流程图描述步骤S405中的脸部图像数据核实处理。在步骤S501中，从存储在RAM 3中的脸部图像数据中提取脸部的每个局部的图像数据。提取的项目是如图2所示的项目。然后，针对每个项目将提取的数据与参考数据相比较，以便获得每个项目的相似度(步骤S502)。在步骤S503中，根据每个项目的相似度计算指示已经获取了脸部图像的用户是正当用户的可能性的匹配分。

在与参考数据的比较中，将提取的数据与参考数据的个别脸部信息相比较。然后，获取两者基本上相互一致的项目的数量(相似度不小于阈值)，并且将该数字当作匹配分。当基于与任何一段个别脸部信息的相似度的匹配分高时，断定用户是正当用户。

当作为与个别脸部信息的比较结果，不能获得足够高的匹配分时，将提取的数据与包括在正当用户的数段脸部图像数据上每个项目的分析结果的平均值的平均脸部信息相比较。然后，将每个项目的相似度的加权平均当作匹配分。当匹配分高时，以与根据个别脸部信息相同的方式断定用户是正当用户。但是，可以加上所有项目的相似度不低于预定值的条件。

顺便提一下，核实处理中的上述判据是示范性的，可以按照所需验证精度等适当地改变它。例如，可以首先进行与平均脸部信息的比较。可替代地，可以同时进行与个别脸部信息的比较和与平均脸部信息的比较两者，以便当从两者得出的匹配分不低于预定值时，断定用户是正当用户。

可替代地，可以将参考数据的统计数字用于比较。例如，将参考数据设计成包括分别与脸部局部对应的简化图像。在这种情况下，可以安排与一个脸部的每个局部相对应的每个简化图像的像素的密度值来创建n维列矢量 x。从非易失性存储器4中读取与脸部的同一个局部相对应的P(倘若 p小于 x)个简化图像，以便创建由简化图像的每个像素中的密度值组成的矢量x_f( f是不小于1和不大于 p的自然数)。获取x_f的平均矢量 m，并且计算p个矢量(x_f-m)的方差-协方差矩阵∑的本征矢量1_f。当λ表示本征值和I表示单位矩阵时，矩阵∑的本征矢量是满足如下方式的矢量：

(∑-λ_JI)l_J＝0。众所周知，每个本征矢量1_j和每个本征值λ_j可以利用雅可比(Jacobi)方法等计算。并且，可以创建排列本征矢量而成的p行p列矩阵A＝(1₁，1₂，...1_p)的转置矩阵A^t和排列相对于参考数据的简化图像中的相应像素的平均密度值的位移而成的p行p列矩阵X＝(x₁-m，x₂-m，...x_p-m)的转置矩阵X^t，将两个转置矩阵相乘以获得p行n列矩阵A^tX^t。然后，将在A^tX^t中的每列的范数下归一化成1的矩阵当作变换矩阵B。这里，变换矩阵B的每列指的是构成上述矩阵X的每个列矢量(x_f-m)( f是不小于1和不大于 p的自然数)的主分量方向。接着，从与存储在RAM 3中的脸部图像数据的每个脸部局部相对应的简化图像的相应像素的密度值当中创建矢量 y。计算这个矢量 y与属于同一局部的参考数据的矢量x_f( f是不小于1和不大于 p的自然数)的平均矢量 m之间的差值(y-m)。然后，将这个差值(y-m)左乘变换矩阵B，并且进一步左乘上述变换矩阵的转置矩阵B^t。因此，获得矢量B^tB(y-m)。这对应于将表达存储在RAM 3中的脸部图像数据的每个脸部局部的矢量(y-m)投影到构成上述矩阵X的列矢量(x_f-m)( f是不小于1和不大于 p的自然数)张开的空间的处理。然后，计算矢量(B_tB(y-m)-(y-m))的范数。这个范数等于投影中垂直线的长度。于是，该范数可以用作参考数据的脸部局部与存储在RAM3中的脸部图像数据的脸部局部之间的相似度。

随后，参照图6中的示意性流程图描述步骤S409中的参考数据存储处理。在步骤S601中，确定是否必须存储参考数据。当在图4中的步骤S403中断定利用脸部图像的验证不可用时，断定必须存储参考数据。尽管断定利用脸部图像的验证可用，但当未足够地存储拍摄日期和时间和拍摄地点的设定类别的组合(参照图3)的参考数据时，断定必须存储参考数据。顺便提一下，当根据核实结果的记录日志，正确验证的百分比低时，可以断定必须存储参考数据。

接着，在步骤S602中，确定可以拍摄所需脸部图像。例如，假设蜂窝式电话100中的时钟装置(未示出)在需要假日白天参考数据的时候，示出平日或晚上。在这样的情况下，不能获取所需参考数据。因此，不拍摄图像。顺便提一下，为了频率比所需少给出可以拍摄脸部图像的判决，当自从向用户询问他是否可以拍摄脸部图像以来，还没有经过至少预定时间时，可以强制断定“不能拍摄所需脸部图像”。

当可以拍摄所需脸部图像时，在步骤S603中向用户作出他是否可以拍摄图像的询问。这个询问通过在显示部分6上显示模仿虚拟角色的行为的图像作出。由于除了电话呼叫处理之外的其它处理是在图4中的步骤S409中执行的，使模拟角色在用户的操作之间的间隔内作出想要拍摄脸部图像的响应是容易和可能的。

顺便提一下，如图3所示的拍摄日期和时间和拍摄地点是根据配备在蜂窝式电话100中的时钟装置(未示出)等确定的。另外，在室外还是在室内可以根据图像拾取装置检测的照度和用户所作的设置等确定。用户所作的设置的例子包括白平衡的设置(电灯泡、晴天、或多云)或闪光灯的ON/OFF设置。当在蜂窝式电话100中不可能确定或确定不正确时，根据步骤S603中的询问进行确定。

在步骤S603中，虚拟角色给出像“我现在想要拍摄你的脸部。你准备好了吗？”或“如果你现在在室外，我想要拍摄你的脸部。你准备好了吗？”那样的询问。

当在步骤S604中检测到同意拍摄的操作(通过操作部分7等的判决键作出同意拍摄的响应)时，蜂窝式电话100在步骤S605中转到脸部图像拍摄状态。在这种情况下，可以展示拍摄指导。例如，拍摄指导的展示可以根据与步骤S404中的显示相似的显示(参见图7(c))。顺便提一下，催促用户输入口令和根据口令确定用户是否是正当用户的处理可以正好在蜂窝式电话100转到脸部图像拍摄状态之前进行。

当用户操作快门按钮拍摄用户的脸部图像时，将脸部图像的数据存储在RAM 3中和为如图2所示的每个项目分析脸部图像的数据，并且将分析结果存储在非易失性存储器4中(步骤S606)。然后，在步骤S607中，确定是否必须拍摄多个脸部图像。只要确定必须拍摄多个脸部图像，处理例程返回到步骤S603，重复拍摄。

尽管参照本发明的特定实施例已经详细描述了本发明，但对于本领域的普通技术人员来说，显而易见，可以对本发明作出各种改变或修改，而不偏离本发明的精神和范围。

本申请基于2003年9月1日提出的日本专利申请第2003-308616号，特此全文引用，以供参考。

工业可应用性

本发明可应用于利用脸部图像信息等进行用户验证的电子设备。

Claims

1.一种带有用户验证功能的电子设备，用户验证功能具有验证用户和确定用户是否是正当用户的功能，包括：

可以拾取用户的脸部图像的图像拾取装置；

参考图像存储装置，用于存储表达正当用户的脸部的参考数据；

验证处理装置，用于进行包括获取参考数据的获取处理和用参考数据核实图像拾取装置拾取的输入图像数据的核实处理的用户验证处理；

获取开始确定装置，用于进行确定是否必须获取新参数数据的必需确定处理和确定是否可以拾取用作必要参考数据的来源的脸部图像的可能确定处理；

角色模仿装置，用于模仿角色；和

可以显示角色模仿装置模仿的角色的图像的显示装置，

其中，当在必需确定处理和可能确定处理中断定必须获取新参数数据和可以拾取用作必要参考数据的来源的脸部图像时，验证处理装置将角色图像显示在显示装置上，并通知用户是否开始上述获取处理。

2.根据权利要求1所述的电子设备，

其中，验证处理装置包括在获取处理和瞄准处理期间通过在显示装置上显示角色图像对用户作出响应的处理。

3.根据权利要求1或2所述的电子设备，

其中，参考数据包括每个脸部局部的局部区域图像数据或每个脸部局部的特征数据，和

其中，验证处理装置的验证处理包括计算从输入图像数据中提取的每个脸部局部的图像数据与参考数据之间的相似度。

4.根据权利要求1到3的任何一项所述的电子设备，

其中，从在不同拍摄日期和时间或在不同拍摄地点拾取的多个图像数据当中创建参考数据。

5.根据权利要求4所述的电子设备，

其中，验证处理装置的获取处理包括支持在预定拍摄日期和时间或在预定拍摄地点拾取正当用户的脸部图像的处理。

6.根据权利要求1到5的任何一项所述的电子设备，

其中，必需确定处理或可能确定处理基于利用拍摄日期和时间或拍摄地点的信息的确定。