JP2003317100A

JP2003317100A - 情報端末装置、認証システム、及び登録・認証方法

Info

Publication number: JP2003317100A
Application number: JP2002224573A
Authority: JP
Inventors: Hiroshi Furuyama; 浩志古山; Kenji Nagao; 健司長尾; Shin Yamada; 伸山田; Toshiaki Akimoto; 俊昭秋元
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2002-02-22
Filing date: 2002-08-01
Publication date: 2003-11-07

Abstract

(57)【要約】【課題】携帯端末装置を用いた個人認証において、カ
メラを用いて生体情報を抽出する際に、撮影条件が変わ
ったときでも、認証結果が異ならないようにする。【解決手段】ユーザーの生体情報を入力する入力手段
１と、入力した生体情報を表示する生体情報確認手段５
と、入力した生体情報をもとに予め登録されたユーザー
を認証するための認証手段４を備える。生体情報確認手
段５は、表示手段２と、入力した生体情報の大きさや位
置を指定するための指標を表示する指標表示手段３を備
える。この指標表示手段３は、ユーザーが入力した生体
情報の状況を確認する機能と、生体情報を入力する際に
入力する生体情報の大きさや位置を指定する機能を備え
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ユーザーの生体情
報を用いて個人認証を行う機能を有する情報端末装置、
認証システム、及び登録・認証方法に関する。

【０００２】

【従来の技術】従来の個人認証を行う機能を有する情報
端末装置及び認証システムにおけるユーザー認証の手段
は、アクセストークン型と記憶データ型の２つに分類さ
れる。アクセストークン型には、スマートカード、クレ
ジットカード、キー等があり、記憶データ型にはパスワ
ード、ユーザー名、個人認証番号等がある。

【０００３】アクセストークン型の問題点は容易に紛失
したり、盗まれることにある。一方、記憶データ型の問
題点は忘れる、あるいは忘れるのを恐れて安易なデータ
を設定することにある。両者を組み合せた手段を用いる
ことによって安全性は高まるが、同様の問題点は残る。

【０００４】バイオメトリクス技術は身体の特徴（生体
情報）を個人認証の手段とする技術であり、上記のよう
な紛失の問題、記憶の問題の解決が可能となる。具体的
な生体情報として、指紋、手形、顔、虹彩、網膜、声紋
等が知られている。

【０００５】顔画像を利用したユーザー認証としては、
テレビ電話装置のように装置本来の機能実現のために必
要な撮像手段（テレビカメラ）を装備した携帯型情報処
理装置で、この撮像手段から取り込まれる画像データを
利用してセキュリティ機能を実現する携帯型情報処理装
置（特開２０００−１３７８０９号公報）などが知られ
ている。

【０００６】また、近年、急速に普及している携帯電
話、あるいは携帯型パソコンにおいても、画像の入出力
機能と画像伝送機能を付加することにより、上記従来例
のユーザー認証技術を利用することも可能である。

【０００７】

【発明が解決しようとする課題】しかしながら、上記従
来例では予め登録されたユーザーの顔画像データ（また
は顔画像データから抽出した特徴パラメータ）と、認証
する際に入力するユーザーの顔画像データ（または顔画
像データから抽出した特徴パラメータ）とを照合するこ
とによりユーザー認証を行うため以下のような課題が存
在する。

【０００８】（１）認識精度の課題例えば、携帯端末に取り付けたカメラを使って顔といっ
た生体情報を抽出する場合、照明条件が変わる、背景が
変わる、あるいは自分の顔を取り込むカメラの方向、距
離が変わるため、登録した画像と同一人物であるという
認識結果を得ることが難しくなる。つまり、本人が認証
拒否される機会が従来のアクセストークン型、記憶デー
タ型に比べ増えるという問題が発生する。

【０００９】（２）生体情報の認識にかかるセキュリテ
ィの課題例えば顔認識を行うための顔画像を入力する際、本人で
はなく、他人が本人の写真を用いて本人になりすますと
いった問題が考えられる。

【００１０】本発明は上記２つの課題を解決するため
の、顔画像などの生体情報入力インタフェースを有する
情報端末装置、認証システム、及び登録・認証方法を提
供することを目的とする。

【００１１】

【課題を解決するための手段】これらの従来の課題を解
決する本発明に係る情報端末装置は、ユーザーの生体情
報を入力するための入力手段と、その入力した生体情報
を表示する表示手段と、その入力した生体情報をもとに
予め登録されたユーザーを個人認証するための認証手段
とを有し、その表示手段は入力した生体情報の大きさや
位置を指定するための指標を表示することを特徴とす
る。

【００１２】そのように入力する生体情報の大きさや位
置を指定するための指標を表示するとともに入力した生
体情報の結果を表示することによって、ユーザーが、照
明の当たり方、および入力した顔の大きさ、向きなどの
ずれを確認できる入力インタフェースを提供することに
より、簡単に照明条件、カメラの方向、距離、顔などの
位置を調節することができ、ユーザーの認証に適した条
件で生体情報を取り込むことが可能となる。

【００１３】また、上記情報端末装置と、その情報端末
から通信網を介して入力した生体情報をデータベースに
登録し、その生体情報と、既に登録されたデータベース
からの各生体情報とから各個人の識別関数を学習する学
習手段と、その生体情報及び各個人の識別関数とＩＤを
管理するシステム管理手段とを有する登録用サーバーと
を具備することにより、精度の高い認証システムが可能
となる。

【００１４】

【発明の実施の形態】本発明の情報端末装置は、入力さ
れたユーザーの生体情報を表示する表示手段と、その生
体情報をもとに予め登録されたユーザーを個人認証する
ための認証手段とを有し、その表示手段はその生体情報
の大きさと位置を指定するための指標を表示している。
これにより、生体情報の入力を正確に行うことができ
る。

【００１５】また、本発明の情報端末装置は、その生体
情報は、ユーザーの顔画像、及びユーザーの顔画像と音
声のいずれか一方である。これにより、入力はカメラや
マイクを使った非接触入力ができ、特別な入力装置を必
要としない。

【００１６】また、本発明の情報端末装置は、その指標
が、両目の位置を規定している。これにより、認証に適
したサイズと顔向きの顔画像を入力することができると
いう作用を有する。

【００１７】また、本発明の情報端末装置は、生体情報
を評価する評価手段を更に備えている。これにより、抽
出した生体情報の認証対象としての適否を判定すること
が出来、ユーザーに指示すべき内容を決定することが可
能になる。

【００１８】また、本発明の情報端末装置の評価手段
は、顔位置検出、顔サイズ検出、顔向き検出、光源方向
検出及び、瞬き検出の少なくともいずれか一つを有して
いる。これにより、抽出した生体情報の認証対象として
の適否を判定することが出来、ユーザーに指示すべき内
容を決定することが可能になる。

【００１９】また、本発明の情報端末装置は、生体情報
を入力する際に、ユーザーに指示を与える指示手段を、
更に備えている。これにより、抽出精度を上げるために
ユーザーが適当な対応を行うことができる。

【００２０】また、本発明の情報端末装置は、その指示
手段は、瞬きを行う指示、体の向きを変える指示、顔を
上下または左右に動かす指示及び、位置を移動する指示
のうちのいずれかを与える。これらにより、写真を使っ
て本人に成りすますのを牽制することや、顔にあたる照
明の条件を変えることにより認証精度を向上させること
や、顔の上下または左右の向きが原因となる認証精度の
低下を防ぐことができる。

【００２１】また、本発明の情報端末装置の指示手段に
おいて、ユーザーに与える指示は、評価手段における検
出結果をフィードバックする指示である。これによっ
て、評価手段が評価結果により決定した指示をユーザー
に伝えることができる。

【００２２】また、本発明の情報端末装置は、顔画像を
鏡像に変換して表示している。これにより、カメラから
取り込んだ自分自身の顔の位置を中央に合わせやすくす
ることができる。

【００２３】また、本発明の情報端末装置は、通信手段
を備えた携帯情報端末や、携帯型パソコンおよび携帯電
話のいずれかである。これにより、携帯型の端末により
どこでも生体情報の入力を正確に行うことができる。

【００２４】また、本発明の情報端末装置は、指標が２
つ以上の、点、円、十字あるいは多角形である。これに
より、生体情報の大きさと位置を正確に指定することが
できる。

【００２５】本発明の認証システムは、本発明の情報端
末装置と、その情報端末装置から通信網を介して入力し
た生体情報をデータベースに登録し、その生体情報と既
に登録されたデータベースからの各生体情報から各個人
の識別関数を学習する学習手段と、その生体情報及びそ
の識別関数とＩＤを管理するシステム管理手段とを有す
る登録用サーバーとを具備している。これにより、ネッ
トワーク上のサービス、例えば、電子商取引、エレクト
ロニックバンキングにアクセスするための個人認証手段
としての機能できる。

【００２６】また、本発明の認証システムは、個人の生
体情報が、一定期間毎に更新される。これにより、一定
期間毎に個人の生体情報を更新され、安全性が確保でき
る。

【００２７】また、本発明の認証システムは、登録用サ
ーバーが、各情報端末装置に、一定期間毎に個人の生体
情報を更新するように促している。これにより、より安
全な認証が可能となる。

【００２８】また、本発明の登録・認証方法は生体情報
の大きさと位置を指定するための指標を表示するステッ
プと、この指標に基づいて入力されたユーザーの生体情
報を表示するステップと、この生体情報が指標に対して
許容するか否かを評価するステップと、この評価結果が
許容範囲でない場合はユーザーに改善のための指示を与
え、許容範囲内の場合は生体情報を登録処理あるいは、
予め登録された情報を基に認証処理するステップと、登
録処理あるいは認証処理後に顔の向きを変える指示と瞬
きを行う指示との少なくともいずれか一つを指示し、指
示通りに変更したかを認識する本人へのなりすましの検
出をするステップと、このなりすましを検出したときに
登録処理あるいは認証処理を中止するステップとを有し
ている。これにより、顔画像の抽出精度が向上し、登録
や認証の正確さを増すことができる。また、他人が本人
になりすましていても区別しやすくなる。

【００２９】また、本発明の登録・認証方法は、顔の向
きを変える指示と瞬きを行う指示との少なくとも１つを
ランダムに指示する。これにより、なりすまし検知をよ
り効果的に行うことができる。

【００３０】以下、本発明の実施の形態について図面を
参照しながら説明する。

【００３１】（実施の形態１）図１は、本発明の実施の
形態１における認証機能を有する情報端末装置の機能構
成図を示す。図１における情報端末装置６は、生体情報
を入力する入力手段１と、ユーザーが入力した生体情報
の状況を確認する生体情報確認手段５と入力した生体情
報を評価する評価手段７と、ユーザーにこの評価結果に
従った指示を与える指示手段８と、評価された生体情報
をもとに予め登録されたユーザーを認証するための認証
手段４とを備えその生体情報確認手段５は入力した生体
情報を表示する表示手段２と、入力した生体情報の大き
さや位置を指定するための２つの点等の指標を表示する
指標表示手段３とから構成されている。ここで指標とは
両目の位置を合わせるための印であり、図２２（Ａ）に
示すような２つ点の他に、図２３（Ａ）に示すような円
や、図２３（Ｂ）に示すような十字や、図２３（Ｃ）に
示すような多角形などであるが、位置を決めるための印
となるものであればよく、これらに限定されるものでは
ない。

【００３２】本発明の情報端末装置６としては、携帯情
報端末（PDA）、携帯電話、携帯型パソコン等が含まれ
るが、これに限定されるものではない。

【００３３】図２は、本発明の実施の形態１における情
報端末装置の１例として携帯電話１００１を使った顔に
よる個人認証の登録・認証システムの構成を示し、以下
に説明する。

【００３４】このシステムは携帯電話１００１と、登録
用サーバー２０１とがネットワーク１０１で接続された
構成になっている。登録用サーバー２０１は顔認証用に
登録した画像を用いて学習を行う機能を備えており、シ
ステム管理部２０２、顔画像登録・更新部２０３、顔画
像データベース２０４、データ入出力部２０５から構成
されている。データ入出力部２０５は携帯電話１００１
から送信されるデータの受信と、登録用サーバー２０１
で処理した結果を携帯電話１００１に送信する機能を備
えている。

【００３５】システム管理部２０２は、顔画像の登録に
関わる個人情報の管理と登録処理の管理を行う機能を備
え、個人情報管理部２０６と登録ログ管理部２０７とか
ら構成される。個人情報管理部２０６は個人情報とし
て、所有者氏名、携帯電話番号、利用者氏名とユーザー
ＩＤを管理する機能を備え、登録ログ管理部２０７は、
ユーザーＩＤ、登録画像ＩＤ、登録日、更新日、学習結
果ＩＤを管理する機能を備えている。顔画像登録・更新
部２０３は、登録顔画像を用いて学習を行い、入力画像
に対し、本人かどうかを判定する関数を求める機能を備
えている。顔画像データベース２０４は、登録顔画像や
学習によって得られた関数を蓄積する機能を備えてい
る。なお、携帯電話１００１にはＩＣカード５０が装着
可能になっている。

【００３６】また、図３は情報端末装置としてカメラ付
き携帯電話１００１の概観図である。図３においてカメ
ラ付き携帯電話１００１は、スピーカー１１、ディスプ
レイ１２、顔画像を取り込むためのカメラ１３、マイク
１４、アンテナ１５、ボタン１６、ＩＣカード５０、Ｉ
Ｃカード読取りインタフェース５１から構成されてい
る。カメラ付き携帯電話１００１の全体のデータ処理は
図５に示すデータ処理部１７で行う。データ処理部１７
は機器制御部１８およびデータ記憶部１９からなる。

【００３７】図５は、本発明の実施の形態１におけるカ
メラ付き携帯電話１００１の機能構成を示している。

【００３８】図５において、データ処理部１７は、カメ
ラ１３やマイク１４やボタン１６からの入力データ、あ
るいはＩＣカード５０からＩＣカード読取りインタフェ
ース５１を介して入力したデータを処理し、スピーカー
１１やディスプレイ１２やアンテナ１５に出力する機能
を備え、機器制御部１８とデータ記憶部１９から構成さ
れている。機器制御部１８は様々なプログラムを用いて
データを処理するだけでなく、携帯電話１００１の機器
制御も行う。データ記憶部１９は、機器制御部1８で用
いる様々なプログラムと、カメラ1３やマイク1４やボタ
ン1６から入力したデータと、機器制御部1８で処理した
結果データを蓄積できる。

【００３９】顔認証部２０は、登録画像を学習した結果
を記憶する学習済み関数記憶部２２と、ＩＣカード５０
から読み込んだ登録画像と学習済み関数記憶部２２から
読み込んだ学習結果を用いて、カメラ１３から取り込ん
だ顔画像の認証を行う認証部２１とから構成されてい
る。

【００４０】図５の個人認証機能つき携帯電話１００１
において、カメラ１３は入力手段１を構成し、ディスプ
レイ１２は表示手段２と指標表示手段３とを構成し、ス
ピーカー１１あるいはディスプレイ１２は指示手段８を
構成し、データ処理部１７は評価手段７を構成し、顔認
証部２０は認証手段４を構成している。

【００４１】次に、本発明の実施の形態１の動作につい
て説明する。

【００４２】まず、登録の動作を図６（Ａ）、図７及
び、図８を用いて説明する。図６（Ａ）は、顔画像の登
録シーケンスを表しており、携帯電話１００１と登録用
サーバー２０１との間のコマンド、携帯電話１００１で
の顔画像抽出処理６０１、登録用サーバー２０１での顔
画像学習処理６０２から構成されている。

【００４３】顔画像抽出処理６０１では、テンプレート
マッチングにより、顔領域の抽出処理を行う。テンプレ
ートマッチングの処理は以下のとおりである。予め複数
の画像から顔領域を抽出し、顔領域画像の濃淡パターン
からなる特徴ベクトルｘの平均ベクトルｘ_mを標準パタ
ーンとして用意する。入力画像（N×M画素）の中心座標
（X_c、Y_c：0＜X_c＜M、0＜Y_c＜N）が、縦ｎ画素、横ｍ画
素（N＞ｎ、M＞ｍ）のサイズで切り出す画像の中心とな
るように入力画像を切り出し、それを標準パターン画像
と同じサイズに変換する。その後、濃淡パターンからな
る特徴ベクトルｘ_iを算出し、標準パターンの特徴ベク
トルｘ_mと入力画像の特徴ベクトルｘ_iの類似度（例え
ば、後述のユークリッド距離の逆数）が、予め設定した
しきい値以上であったら、顔画像抽出結果として出力す
る。また、同様の手法を用いて、顔領域抽出の後に、目
の抽出機能を有することも可能である。

【００４４】携帯電話１００１のボタン６を操作するこ
とにより、機器制御部１８はデータ記憶部１９から登録
用プログラムを読み出し、そして実行する。ただし、本
人以外が操作するのを避けるため、本人だけが記憶して
いる番号を入力した場合のみ、登録用プログラムを読み
出す。機器制御部１８は登録用サーバー２０１に登録要
求６０３を送信し、登録用サーバー２０１からの要求受
付応答６０４を受信すると顔画像抽出処理６０１を開始
する。

【００４５】一方、登録用サーバー２０１は登録要求６
０３を受信すると、システム管理部２０２が個人情報の
照合を行い、新規登録か、登録情報の更新かを判断す
る。新規登録の場合は、受信した個人情報を追加し、登
録ログを新規に作成する。登録準備が完了すると、登録
用サーバー２０１は登録要求受付ＩＤを含む要求受付応
答６０４を携帯電話１００１へ送信する。

【００４６】顔画像抽出処理６０１について図７、図２
２（Ａ）、図２２（Ｂ）を用いて説明する。

【００４７】図７は、顔画像抽出処理６０１のフロー図
である。機器制御部１８はディスプレイ１２の表示切替
え（現在の表示からカメラ入力表示への切替え）を行う
(ｓｔｅｐ１)。カメラ入力表示への切替え時には、ディ
スプレイ１２にカメラ入力画像の左右反転した鏡像を表
示する。機器制御部１８はディスプレイ１２に顔あるい
は目の位置を決めるための２つの点などの指標２２１７
を表示する(ｓｔｅｐ２)。なお、この目の位置を示す２
点の間隔及び画面上の表示位置は、サンプル顔画像の目
の間隔の平均値から求めるのが好ましい。

【００４８】そして次に、カメラ１３から入力する登録
者の顔が画面いっぱいに収まるように指示を出す(ｓｔ
ｅｐ３)。指示の方法は、ディスプレイ１２に指示を表
示する、あるいはスピーカー１１を使って音声で指示を
行う。

【００４９】次に、機器制御部１８は生体情報を取り込
み（ｓｔｅｐ４）、この生体情報と予め用意してあるテ
ンプレートとのマッチング処理を行う（ｓｔｅｐ５）。
この処理で求めた類似度と所定のしきい値との比較を行
い（ｓｔｅｐ６）、類似度が小さい場合は生体情報が正
常でないと判断し、ユーザーに改善のために顔の向きを
変える、顔を上下あるいは左右に動かす、体の向きを変
える、位置を移動するといった指示を出し（ｓｔｅｐ
７）、ｓｔｅｐ４に戻る。

【００５０】類似度が大きい場合は生体情報が正常であ
ると判断し、次に顔の向きを変える、あるいは瞬きをす
るといった本人へのなりすましを防止するための指示を
出す（ｓｔｅｐ８）。この指示の結果、なりすましであ
ると検出した場合は登録処理を終了し、検出しなかった
場合はｓｔｅｐ１２へ進む。このなりすまし防止の指示
は顔の向きを変える指示と、瞬きをする指示との少なく
ともいずれかひとつをランダムに行うのが好ましい。こ
れはなりすまし防止に対する準備を行う機会を、少なく
することができるからである。

【００５１】図２２（Ａ）は入力顔画像の例で、入力顔
画像が小さく、かつ、２つの点等の指標２２１７からず
れている場合の例である。機器制御部１８が顔画像抽出
処理６０１にて、顔領域２２１８、および目を抽出し
（ｓｔｅｐ４）、抽出した目の中心座標２２１９と前述
の指標２２１７との距離が、予め設定したしきい値より
も大きいことを検出した（ｓｔｅｐ５）場合は、前述の
ように顔を上下あるいは左右に動かすようにディスプレ
イ１２、あるいはスピーカー１１より指示を出す（以下
「顔（目）位置検出」という）（ｓｔｅｐ７）。次に、
テンプレートとして指標と同一サイズの顔画像および、
指標より大きい例えば、指標プラスしきい値のサイズの
顔画像、あるいは小さい例えば、指標マイナスしきい値
のサイズの顔画像をあらかじめ用意しておき、入力画像
から抽出した顔画像とそれぞれのサイズのテンプレート
顔画像との間で前述のテンプレートマッチングの場合と
同様にして類似度の算出を行い、入力画像と指標と同一
サイズのテンプレート間の類似度が、大きいサイズのテ
ンプレート間との類似度よりも低い場合（ｓｔｅｐ６）
には、カメラから遠のくようにディスプレイ１２あるい
はスピーカー１１より指示を出し（ｓｔｅｐ７）、入力
画像と指標と同一サイズのテンプレート間の類似度が、
小さいサイズのテンプレート間との類似度よりも低い場
合（ｓｔｅｐ６）には、カメラに近づくように指示を出
す（以下「顔サイズ検出」という）（ｓｔｅｐ７）。こ
のように検出結果をフィードバックした指示を出すこと
が可能である。また、このようなテンプレートを用いな
い方法としては、抽出した左目の中心座標と左目の指標
２２１７との距離と、右目の中心座標と右目の指標２２
１７との距離とがそれぞれしきい値よりも大きいか小さ
いかを検出したり、あるいはしきい値との差分の比率を
算出することにより、顔を上下左右あるいは近づくこと
や遠のくことの指示をだすことができる。

【００５２】また、上記の例では、顔（目）位置検出の
後に、顔サイズ検出を行っているが、逆の手順も可能で
ある。

【００５３】そして、入力顔画像が図２２（Ｂ）に示す
ような認識処理のために適当な位置、および大きさとな
るように、顔画像取り込み（ｓｔｅｐ４）からマッチン
グ処理（ｓｔｅｐ６）までと指示（ｓｔｅｐ７）とを繰
り返す。なお、顔あるいは目の位置を決めるための指標
２２１７は、位置を決めるための指標となるものであれ
ば限定されるものではない。

【００５４】前述の機器制御部１８の動作は、顔（目）
位置と顔サイズの検出を適用した場合の例であるが、更
に以下のようにして「顔向き検出」を適用することも可
能である。

【００５５】顔向き検出では、あらかじめテンプレート
として正面および、例えば上、下、左、右、左上、右
上、左下、右下等、複数の向きの顔画像を用意して入力
画像から抽出した顔画像とそれぞれの向きのテンプレー
ト顔画像との間で前述と同様に類似度の算出を行い、入
力画像と正面の顔画像のテンプレート間の類似度が、他
の向きのテンプレート間との類似度よりも低い場合に
は、同様に顔の向きを移動する、あるいは体の向きを移
動するよう指示を出す。

【００５６】また、光源方向が正面および、例えば上、
下、左、右、左上、右上、左下、右下等、光源方向が異
なる複数の顔画像をあらかじめテンプレートとして用意
することにより、顔向き検出と同様な手法で光源方向を
検出し、光源方向が正面でない場合は同様に顔の向きを
移動する、あるいは体の向きを移動するよう指示を出す
ことも可能である（以下「光源検出」という）。

【００５７】以上の顔（目）位置検出、顔サイズ検出、
顔向き検出及び、光源方向検出はシーケンシャルに行う
ことも、またこれら全てのテンプレートを同時に比較し
てまとめて指示を出すことも可能である。

【００５８】なお、顔（目）位置検出と顔サイズ検出を
行った後に、顔向き検出や光源方向検出を行う場合に
は、後述するＫＬ展開による類似度比較を行うほうが上
記のテンプレートマッチングによるものよりも好まし
い。

【００５９】さらに、本人になりすまして登録や認証を
することの防止のために目の抽出機能を有する場合は、
スピーカー１１あるいはディスプレイ１２より瞬きをす
る指示を出し（ｓｔｅｐ８）、機器制御部１８で瞬きを
検出する（ｓｔｅｐ９）ことも可能である。但し、この
検出は顔（目）位置検出、顔サイズ検出を行って正しい
位置にユーザーが移動した後に行う必要がある。

【００６０】この瞬き検出（ｓｔｅｐ９）は以下のよう
にして行う。すなわち、あらかじめテンプレートとして
目を開いている目画像、および目を閉じている目画像を
用意して、時間的に連続する入力画像から抽出した目画
像に対してそれぞれテンプレート画像との間で前述と同
様にして類似度の算出を行い、類似度の値により入力画
像が目を開いている状態か、閉じている状態かの判定を
行う。そして、入力画像の目の開閉の状態が、目を開い
ている→目を閉じている→目を開いているという状態の
時間シーケンスが検出された場合、瞬きをしたものと判
定する。この判定で瞬きを検出しなかった場合、本人へ
のなりすましをしていると判断し、登録を終了する。ま
た、このなりすまし防止の方法としては、前述した顔向
き検出や光源方向検出も有効である。これらにより、例
えば顔写真を用いてなりすまそうとすることを防止でき
る。

【００６１】以上のように、生体情報の大きさを指定す
ることにより、入力される生体情報の画像の解像度を、
認証に必要な所定の値で得ることができるようになる。
また、生体情報の位置を指定することにより、認証の対
象である生体情報のみを正確に抽出することができるよ
うになり、ノイズの少ない良好な情報を入手できるとい
う効果が得られる。これら、大きさと位置の両方を指定
することによってはじめて、解像度の高い、ノイズが少
ない、認証に最適な生体情報を得ることが出来るように
なる。

【００６２】更に、顔を上下または左右に動かす指示を
行うことにより、顔の向きや光源方向などによる認証精
度の低下を防ぐことも可能になる。

【００６３】また、これらの指定により、取得する顔画
像の大きさと位置を、登録時と認証時で一致させること
が可能になり、これによっても認証性能を向上させるこ
とができる。

【００６４】更に、瞬きを行う指示、体の向きを変える
指示、顔を上下または左右に動かす指示及び、位置を移
動する指示のうちの少なくともいずれかひとつを与える
ことにより、写真を使って本人に成りすますのを牽制す
ることも可能になる。

【００６５】次に、機器制御部１８は入力された顔画像
を圧縮し(ｓｔｅｐ１０)、データ記憶部１９に十分な記
憶容量がない場合（ｓｔｅｐ１１）はｓｔｅｐ１３へ進
み、十分な記憶容量がある場合（ｓｔｅｐ１１）は一旦
データ記憶部１９に蓄積する(ｓｔｅｐ１２)。そして、
登録に必要な個人情報、登録要求受付ＩＤとともに顔画
像情報を登録用サーバー２０１に送信する(ｓｔｅｐ１
３)。ここで、登録に必要な個人情報とは、個人情報管
理部２０６で管理している情報である。

【００６６】登録用サーバー２０１は、顔画像情報６０
５を受信すると、顔画像登録処理を開始する。

【００６７】以下、顔画像登録処理を説明する。登録用
サーバー２０１は、顔画像を顔画像データベース２０４
に記録し、顔画像受信応答６０６を携帯電話１００１に
送信する。一方、顔画像受信応答６０６を送信した登録
用サーバー２０１において、システム管理部２０２は顔
画像登録・更新部２０３に登録画像ＩＤを渡す。登録画
像ＩＤを受け取った顔画像登録・更新部２０３は顔画像
データベース２０４から登録画像を読み出し、学習処理
６０２を行う。

【００６８】学習処理６０２のフロー図を図８に示す。

【００６９】学習処理６０２では、まず登録画像から生
成したベクトルを顔画像データベース２０４から読み出
し、複数の顔画像の濃淡パターンからなる特徴ベクトル
ｘ_fの分散共分散行列Ｗを用い、（式１）から固有ベク
トルｌ_fを算出しておく。

【００７０】（Ｗ−λ_jI）ｌ_j＝0 （１）ここで、λは固有値、Iは単位行列である。

【００７１】さらに固有値寄与率Ｃ_jを（式２）から算
出し、その上位ｎ個の固有ベクトルからなる行列A=（ｌ
₁、ｌ₂、・・・・、ｌ_n）を変換行列（以下、この変換
行列を学習済み関数と呼ぶ）として求める(ｓｔｅｐ１
４)。

【００７２】C_j＝λ_j/tr（Ｗ）（２）また、ここで、ｔｒ（Ｗ）は分散共分散行列Ｗのトレー
スを意味する。

【００７３】この学習済み関数は、ユーザーの識別に使
用される識別関数である。

【００７４】次に、本人の登録画像のベクトルｘ_sと
（式３）とから、本人の登録画像の特徴ベクトルｙ_sを
生成する。この固有空間にマッピングするための学習済
み関数Aが学習結果となる(ｓｔｅｐ１５)。

【００７５】ｙ_s＝A^tｘ_s （３）これらｓｔｅｐ１４及びｓｔｅｐ１５の処理をＫＬ展開
（Karhunen-Loeve 展開）と呼ぶ。学習処理６０２が終
了すると、顔画像登録・更新部２０３はシステム管理部
２０２にこの学習結果と判定のためのしきい値を渡す。
システム管理部２０２は学習結果ＩＤを、学習結果と判
定のためのしきい値に付与し、顔画像データベース２０
４に蓄積する。さらに、システム管理部２０２はデータ
入出力部２０５を介して学習結果と判定のためのしきい
値を登録完了応答６０７として携帯電話１００１に送信
する。

【００７６】携帯電話１００１において、機器制御部１
８は登録用サーバー２０１からの顔画像受信応答６０６
を受信すると、データ記憶部１９に記録した顔画像を消
去する。また、登録完了応答６０７を受信すると、デー
タ処理部１７は受信した学習結果と判定のためのしきい
値を学習済み関数記憶部２２に記録する。機器制御部1
８はユーザーに登録が完了したことをスピーカー１１ま
たはディスプレイ１２を用いて伝える。機器制御部１８
は登録処理を終了し、デフォルトの状態に復帰する。デ
フォルトの状態とは、携帯電話１００１の電源を入れた
時の初期状態と同様の状態である。

【００７７】なお、登録用サーバー２０１は、顔画像デ
ータベース２０４に蓄積した画像の中から本人の画像を
1枚抽出し、登録画像または登録画像の特徴ベクトルを
ＩＣカード５０に書き込む。この時、登録画像以外に個
人情報もＩＣカード５０に書き込む。ＩＣカード５０は
本人に送付される。

【００７８】なお、登録用サーバー２０１は、以前に登
録された以降、一定期間経過後に新たに入力した本人の
画像をＩＣカード５０に書き込む、あるいは、一定期間
経過するごとに携帯電話１００１を経由してユーザーに
登録画像を入力するよう促す機能を有する。

【００７９】次に、認証の動作について図９（Ａ）と図
９（Ｂ）を用いて説明する。

【００８０】携帯電話１００１のボタン１６を操作する
ことにより、機器制御部１８はデータ記憶部１９から認
識用プログラムを読み出し、実行する。また、ユーザー
は登録画像が記録されたＩＣカード５０をＩＣカード読
取りインタフェース５１に挿入する。

【００８１】顔画像抽出処理９０１と顔画像認識処理９
０２のフロー図を図１０に示す。

【００８２】まず、登録時と同様に顔画像抽出処理９０
１を行う(ｓｔｅｐ２１)。

【００８３】次に、顔画像を使った顔画像認識処理９０
２を行う。機器制御部１８は顔認証部２０に対して顔画
像認識処理９０２の開始を指示する(ｓｔｅｐ２２)。こ
の開始指示(ｓｔｅｐ２２)には抽出した顔画像の格納位
置が含まれる。認証部２１は抽出画像のベクトルを生成
する(ｓｔｅｐ２３)。

【００８４】同様に、機器制御部１８は登録画像をＩＣ
カード５０から読み出し、登録画像のベクトルを生成す
る(ｓｔｅｐ２４)。ただし、あらかじめ登録画像の特徴
ベクトルが生成され、ＩＣカード５０に記録されている
場合にはこの処理は不要である。

【００８５】機器制御部１８は、学習済み関数記憶部２
２から学習済み関数Ａと判定のためのしきい値を読み出
す。登録画像のベクトルｘ_sと抽出画像のベクトルｘ_iと
学習済み関数Ａを用いて、登録画像の特徴ベクトルｙ_s
を（式３）から、そして、抽出画像の特徴ベクトルｙ_i
を（式４）からそれぞれ求める(ｓｔｅｐ２５)。

【００８６】ｙ_i＝A^tｘ_i （４）求められた登録画像の特徴ベクトルｙ_sと抽出画像の特
徴ベクトルｙ_iを用いて類似度を計算し、類似度がしき
い値より大きいか小さいかによって本人かどうかを判定
する。類似度は、登録画像と入力画像、それぞれのベク
トルに対して、ＫＬ展開を行った結果である特徴ベクト
ルｙ_s、ｙ_iを用いて、例えば、出力結果のユークリッド
距離ｄの逆数として求める。認証部２１は判定結果を機
器制御部１８に送信する(ｓｔｅｐ２６)。

【００８７】ここで、ユークリッド距離ｄは、（式５）
によって求められる。

【００８８】

【数１】

【００８９】本人と判定された場合、機器制御部１８は
携帯電話１００１のプログラムを全て有効にする(ｓｔ
ｅｐ２７)。本人と判定されなかった場合、ｓｔｅｐ２
１に戻る。

【００９０】なお、上記実施の形態１では、本人の登録
画像としきい値を用いて本人かどうかの判定を行ってい
たが、しきい値を用いない方法もある。登録画像とし
て、本人の画像と他人の画像を複数枚用い、抽出した画
像と本人の画像との類似度が最も大きい場合に本人と判
定し、他人の画像との類似度が最も大きい場合には他人
と判定してもよい。

【００９１】また、このｓｔｅｐ２１の顔画像抽出処理
を再度行う際に、顔を上下、あるいは左右に動かすなど
の指示を与えることも出来る。この指示は先の認証処理
において検出した顔画像の向きに基づいて行うことが可
能である。

【００９２】認証機能付携帯電話１００１は、この顔画
像認識処理９０２の結果を認識成功通知９０３として、
登録用サーバー２０１に送信する。また、図９（Ｂ）に
示すように、この顔画像認識処理９０２の結果が認証失
敗であったとき、認証機能付携帯電話１００１は登録用
サーバー２０１に認識失敗通知９０４を送信する。

【００９３】なお、実施の形態１では、情報端末装置と
して通信機能を有する携帯電話１００１を用いたが、図
７のｓｔｅｐ１からｓｔｅｐ１２に示した顔画像抽出処
理６０１はこれに限らず通信機能を有しない情報処理装
置においても同様の機能を実現し、効果を得ることがで
きる。すなわち、図７に示した顔画像抽出処理６０１は
認証部２１による認証結果が精度良く行えるように機器
制御部１８がユーザーに指示を与えたり、ディスプレイ
に指標を表示しており、これらの機能の実現には通信機
能は関係していない。

【００９４】また、本実施の形態１では登録および認証
のための情報端末として、機器制御部１８が入力画像か
ら抽出した顔画像を評価し、その結果をもとにして、ユ
ーザーに指示を出す処理を示した。しかし、登録機能を
有せず、認証機能のみを有する情報端末では、機器制御
部１８が有する評価機能を認証部２１が有し、この認証
部２１にて認証に失敗し、再認証のために画像入力を行
う際に同様な指示を出す処理とすることも可能である。

【００９５】なお、本実施の形態１では機器制御部１８
や認証部２１が入力画像を評価する機能を有している
が、この機能は必須ではなく単にユーザーが指標に顔あ
るいは目を合わせるように指示し、認証の結果を通知す
ることも可能である。

【００９６】（実施の形態２）図１１は、本発明の実施
の形態２における複数認証機能付き携帯電話の機能構成
図を示す。また、図１２は、本発明の実施の形態２にお
ける登録・認証システムを示すシステム構成図を示す。
実施の形態２において、実施の形態１との構成の違い
は、携帯電話１００２の構成と登録用サーバー３０１の
構成であり、その他は同じ構成となっている。したがっ
て、実施の形態２では実施の形態１と異なる構成につい
てのみ図１１と図１２を用いて説明する。

【００９７】携帯電話１００２と携帯電話１００１との
構成の違いは、携帯電話１００２が話者の声を用いて認
証を行う話者認証部２３が追加されている点である。話
者認証部２３は登録音声を学習した結果を記憶する学習
済み関数記憶部２５と、ＩＣカード５０からＩＣカード
読取りインタフェース５１により読み込んだ登録音声と
学習済み関数記憶部２５から読み込んだ学習結果を用い
て、マイク１４から入力した話者の音声の認証を行う認
証部２４とから構成されている。

【００９８】また、登録用サーバー３０１と登録用サー
バー２０１の構成の違いは、登録用サーバー３０１が顔
画像を蓄積するための顔画像データベース２０４が顔画
像と音声を蓄積する顔画像・音声データベース３０２に
なっている点と音声の学習処理を行う音声登録・更新部
３０３が追加されている点である。

【００９９】次に、本発明の実施の形態２の動作につい
て図６（Ｂ）を用いて説明する。顔画像の登録動作は実
施の形態１と同様である。ここでは音声の登録動作を説
明する。

【０１００】図６（Ｂ）は、音声の登録シーケンスを表
しており、携帯電話１００２と登録用サーバー３０１と
の間のコマンド、携帯電話１００２での音声抽出処理６
０８、登録用サーバー３０１での音声学習処理６０９か
ら構成されている。

【０１０１】携帯電話１００２のボタン１６を操作する
ことにより、顔画像登録時と同様に、機器制御部１８は
データ記憶部１９から登録用プログラムを読み出し、実
行する。ただし、本人以外が操作するのを避けるため、
本人だけが記憶している番号を入力した場合のみ、登録
用プログラムを読み出す。

【０１０２】機器制御部１８は登録用サーバー３０１に
生体情報を音声として、登録要求６１０を送信し、登録
用サーバー３０１からの要求受付応答６１１を受信する
と音声抽出処理６０８を開始する。一方、登録用サーバ
ー３０１は登録要求を受信すると、システム管理部２０
２が個人情報の照合を行い、新規登録か、登録情報の更
新かを判断する。新規登録の場合は、受信した個人情報
を追加し、登録ログを新規に作成する。登録準備が完了
すると、登録用サーバー３０１は登録要求受付ＩＤを含
む要求受付応答６１１を携帯電話１００２へ送信する。

【０１０３】音声抽出処理６０８について図１３を用い
て説明する。機器制御部１８は登録開始の指示をディス
プレイ１２に表示する、あるいはスピーカー１１を使っ
て音声で指示を行う(ｓｔｅｐ５１)。

【０１０４】ユーザーは指示に従ってマイク１４から音
声を入力する。機器制御部１８は入力された音声を圧縮
し(ｓｔｅｐ５２)、データ記憶部１９に十分な容量があ
れば圧縮した音声を一旦データ記憶部１９に蓄積する
(ｓｔｅｐ５３)。登録に必要な個人情報、登録要求受付
ＩＤとともに音声情報６１２は公開鍵暗号方式を用いて
暗号化し(ｓｔｅｐ５４)、登録用サーバー３０１に送信
する(ｓｔｅｐ５５)。ただし、データ記憶部１９に十分
な記憶容量がない場合は、蓄積処理を行わない。

【０１０５】登録用サーバー３０１は、音声を顔画像・
音声データベース３０２に記録し、音声受信応答６１３
を携帯電話１００２に送信する。一方、受信応答を送信
した登録用サーバー３０１において、システム管理部２
０２は音声登録・更新部３０３に登録画像ＩＤを渡す。
登録画像ＩＤを受け取った音声登録・更新部３０３は顔
画像・音声データベース３０２から登録音声を読み出
し、音声学習処理６０９を行う。

【０１０６】音声学習処理６０９のフロー図を図１４に
示す。まず、顔画像・音声データベース３０２から読み
出した登録音声の声紋グラフを作成する(ｓｔｅｐ１０
１)。声紋グラフとは、音声の時系列データを周波数成
分に分解し、これを時系列に並べたベクトルである。登
録音声に使用する言葉は、あらかじめ用意された中から
ユーザーが選択する。声紋グラフを、実施の形態１と同
様にＫＬ展開し、固有ベクトルからなる変換行列を学習
済み関数Ａとして求める (ｓｔｅｐ１０２)。

【０１０７】次に、本人の登録音声のベクトルｘ_sと
（式３）により、本人の登録音声の特徴ベクトルｙ_sを
生成する。この固有空間にマッピングするための学習済
み関数Ａを学習結果とする(ｓｔｅｐ１０３)。

【０１０８】音声学習処理６０９が終了すると、音声登
録・更新部３０３はシステム管理部２０２に学習結果と
判定のためのしきい値を渡す。システム管理部２０２は
学習結果ＩＤを学習結果と判定のためのしきい値に付与
し、顔画像・音声データベース３０２に蓄積する。さら
に、システム管理部２０２はデータ入出力部２０５を介
して学習結果と判定のためのしきい値を登録完了応答６
１４として携帯電話１００２に送信する。

【０１０９】携帯電話１００２において、機器制御部１
８は登録用サーバー３０１からの音声受信応答６１３を
受信すると、データ記憶部１９に記録した音声を消去す
る。また、登録完了応答６１４を受信すると、データ処
理部１７は受信した学習結果と判定のためのしきい値を
学習済み関数記憶部２５に記録する。機器制御部１８は
ユーザーに登録が完了したことをスピーカー１１または
ディスプレイ１２を用いて伝える。機器制御部１８は登
録処理を終了し、デフォルトの状態に復帰する。デフォ
ルトの状態とは、携帯電話１００２の電源を入れた時の
初期状態と同様の状態である。

【０１１０】なお、登録用サーバー３０１は、顔画像・
音声データベース３０２に蓄積した音声の中から本人の
音声を１つ（１単語分）抽出し、登録音声または登録音
声の特徴ベクトルをＩＣカード５０に書き込む。この
時、登録音声以外に個人情報もＩＣカード５０に書き込
む。ＩＣカード５０は本人に送付される。この時、既に
登録されている顔画像がある場合、ユーザーの希望によ
り、登録音声とともに登録画像を1枚のＩＣカード５０
に書き込むことも可能である。

【０１１１】次に、認証の動作について図１５を用いて
説明する。携帯電話１００２のボタン１６を操作するこ
とにより、機器制御部１８はデータ記憶部１９から認識
用プログラムを読み出し、実行する(ｓｔｅｐ１５３)。
また、ユーザーは登録画像あるいは登録音声が記録され
たＩＣカード５０をＩＣカードインタフェース５１に挿
入する(ｓｔｅｐ１５２)。どちらの認証を用いるかはユ
ーザーが選択できる(ｓｔｅｐ１５１)。選択は、認識用
プログラムを読み出す前に行う。

【０１１２】認証が成功した場合、機器制御部１８は携
帯電話１００２のプログラムを全て有効にする(ｓｔｅ
ｐ１５４)。認証に失敗した場合、処理を継続するかど
うかの判断を行い（ｓｔｅｐ１５５）、継続する場合に
はｓｔｅｐ１５１に戻る。顔画像を使った認証動作は実
施の形態１で説明したので、ここでは、話者認証の動作
を説明する。

【０１１３】話者認識処理のフロー図を図１６に示す。

【０１１４】まず、登録時と同様に音声抽出処理６０８
を行う(ｓｔｅｐ２０１)。次に、話者認識処理を行う。
機器制御部１８は話者認証部２３に対して認証処理の開
始を指示する(ｓｔｅｐ２０２)。この開始指示には抽出
した音声の格納位置が含まれる。認証部２４は抽出した
音声グラフのベクトルを生成する(ｓｔｅｐ２０３)。同
様に、機器制御部１８は登録音声をＩＣカード５０から
読み出し、登録音声のベクトルを生成する(ｓｔｅｐ２
０４)。ただし、あらかじめ登録音声の特徴ベクトルが
生成され、ＩＣカード５０に記録されている場合にはこ
の処理は不要である。

【０１１５】機器制御部１８は、学習済み関数記憶部２
５から学習済み関数Ａと判定のためのしきい値を読み出
し、登録音声のベクトルと抽出音声のベクトルから学習
済み関数Ａを用いて登録音声の特徴ベクトルと抽出音声
の特徴ベクトルを求める(ｓｔｅｐ２０５)。求められた
登録音声の特徴ベクトルと抽出音声の特徴ベクトルを用
いて類似度を計算し、類似度がしきい値より大きいか小
さいかによって本人かどうかを判定する。類似度の計算
は例えば、出力結果のユークリッド距離の逆数を用い
る。認証部２４は判定結果を機器制御部１８に送信する
(ｓｔｅｐ２０６)。

【０１１６】なお、本実施の形態のように顔画像認識、
話者認識に関わるアルゴリズムを共通化することにより
コストを下げる効果がある。

【０１１７】更に、認証に失敗して継続（再認証）する
場合、認証を失敗する要因の一つである、登録時と認証
時の照明条件や背景の不一致が、体を動かす等の指示に
より改善されることが期待でき、これらの要因による認
証の失敗が繰り返されないという効果も有する。

【０１１８】（実施の形態３）本発明の実施の形態３の
構成について図１７を用いて説明する。

【０１１９】実施の形態１との構成の違いは、認証機能
が登録・認証サーバー４０１にあるという点である。

【０１２０】図１７において、携帯電話１００３、登録
・認証サーバー４０１がネットワーク１０１で接続され
た構成になっている。登録・認証サーバー４０１は登録
・認証サーバー４０１全体を管理するシステム管理部４
０２と顔画像の登録学習と認証を行う登録・認証部４０
３とユーザーの顔画像を蓄積する顔画像データベース４
０４とから構成され、システム管理部４０２は顔画像認
証を人手によって実施するための個人認証サポート部４
０５と登録ユーザーの住所、氏名、電話番号、登録日を
含む個人情報蓄積部４０６と認証日時、認証判定を含む
認証ログ蓄積部４０７と、ディスプレイ４０８から構成
され、登録・認証部４０３は個人認証を行う個人認証部
４０９と顔画像の学習処理を行う顔画像登録部４１０と
から構成される。

【０１２１】携帯電話１００３の機能構成を図４に示
す。

【０１２２】携帯電話１００３は、スピーカー１１、デ
ィスプレイ１２、顔画像を取り込むためのカメラ１３、
マイク１４、アンテナ１５、ボタン１６、ＩＣカード読
取りインタフェース５１、データ処理部１７から構成さ
れ、さらにデータ処理部１７は機器制御部１８とデータ
記憶部１９から構成されている。

【０１２３】次に、本発明の実施の形態３の動作につい
て説明する。登録動作は実施の形態１とほぼ同様であ
り、登録・認証サーバー４０１は登録用サーバー２０１
の機能を全て備えている。ここでは登録動作の実施の形
態１との相違のみを記述する。

【０１２４】実施の形態１では登録画像をＩＣカード５
０に記録する動作を行っていたが、実施の形態３では行
わない。さらに、実施の形態１では機器制御部１８は登
録完了応答を受信すると、データ処理部１７は受信した
学習結果と判定のためのしきい値を学習済み関数記憶部
２２に記録していたが、実施の形態３ではこの動作は行
わない。

【０１２５】次に、認証動作について図１８を用いて説
明する。携帯電話１００１のボタン１６を操作すること
により、機器制御部１８はデータ記憶部１９から認識用
プログラムを読み出し、実行する。まず、登録時と同様
に顔画像抽出処理１８０１を行う。次に機器制御部１８
は登録・認証サーバー４０１に対して認証要求１８０２
を送信する。認証要求１８０２には抽出した顔画像が含
まれている。

【０１２６】登録・認証サーバー４０１における顔画像
認識処理１８０４のフロー図を図１９に示す。システム
管理部４０２は登録・認証部４０３に受信した顔画像を
出力し、認証処理１８０４の開始を指示する(ｓｔｅｐ
３０１)。個人認証部４０９は抽出した顔画像のベクト
ルを生成する(ｓｔｅｐ３０２)。また、個人認証部４０
９は顔画像データベース４０４から登録画像を読み出
し、登録画像のベクトルを生成する(ｓｔｅｐ３０３)。
ただし、あらかじめ登録画像の特徴ベクトルが生成さ
れ、顔画像データベース４０４に記録されている場合に
はこの処理は不要である。

【０１２７】個人認証部４０９は、顔画像登録部４１０
から学習済み関数Ａと判定のためのしきい値を読み出
し、登録画像のベクトルと抽出画像のベクトルは学習済
み関数Ａを用いて、登録画像の特徴ベクトルと抽出画像
の特徴ベクトルを（式３）と（式４）とからそれぞれ求
める(ｓｔｅｐ３０４)。求められた登録画像の特徴ベク
トルと抽出画像の特徴ベクトルを用いて類似度を計算
し、類似度がしきい値より大きいか小さいかによって本
人かどうかを判定する(ｓｔｅｐ３０５)。類似度の計算
は例えば、出力結果のユークリッド距離の逆数を用い
る。

【０１２８】この顔画像認識処理１８０４が終了する
と、その結果を登録・認証サーバー４０１は携帯電話１
００１に認識応答１８０３を送信する。

【０１２９】この認証に成功した場合、携帯電話１００
１の機器制御部１８は携帯電話１００１のプログラムを
全て有効にする。また、認証に失敗した場合、ユーザー
は３つの選択が可能である。一つは、再度顔画像抽出１
８０１を行い、認証を行う、一つは登録・認証サーバー
４０１に認証サポート要求を送信する、一つは顔画像認
証１８０４をやめてＩＤ入力による認証に切替える、で
ある。顔画像認証１８０４は照明条件や顔の向きによっ
て認識に失敗する可能性があるので、照明条件を変えて
再度認証を行うことによって認証に成功する可能性があ
る。また、以下に説明するような、認証サポート要求を
行うことで、応答時間の遅れはあるが、登録・認証サー
バー４０１側の第三者によって確実に認証されるので安
全性は高い。また、ＩＤ入力による認証に切替えた場合
はユーザーの手間はかかるが、確実な認証が期待でき
る。

【０１３０】ここでは、認証サポート要求を行う時の動
作について説明する。認証サポート要求には携帯電話Ｉ
Ｄ、認証ログ、緊急度といった情報が含まれる。登録・
認証サーバー４０１は認証サポート要求を受信すると、
個人認証サポート部４０５のキューに追加する。個人認
証サポート部４０５は緊急度に応じてキューから認証サ
ポート要求を読み出す。個人認証サポート部４０５は認
証ログを用いて登録画像と入力画像をディスプレイ４０
８に表示する。個人認証サポート担当者は目視によって
ディスプレイ４０８に表示された画像を確認し、判定結
果は携帯電話ＩＤを用いて携帯電話１００３に送信す
る。

【０１３１】（実施の形態４）本発明の実施の形態４の
構成について図２０を用いて説明する。本実施の形態の
特徴は、携帯電話１００４のみの構成になっている点で
ある。

【０１３２】図２０において、携帯電話１００４はスピ
ーカー１１、ディスプレイ１２、顔画像を取り込むため
のカメラ１３、マイク１４、アンテナ１５、ボタン１
６、データ処理部１７、顔認証部２０とから構成され、
データ処理部１７は、機器制御部１８とデータ記憶部１
９から構成されている。機器制御部1８は様々なプログ
ラムを用いてデータを処理するだけでなく、携帯電話１
００４の機器制御も行う。

【０１３３】データ記憶部１９は、機器制御部１８で用
いる様々なプログラムと、カメラ１３、マイク１４、ボ
タン１６から入力したデータと、機器制御部１８で処理
した結果データを蓄積できる。顔認証部２０は、認証の
ための学習関数を記憶する学習済み関数記憶部２２と、
データ記憶部１９から読み込んだ登録画像と学習済み関
数記憶部２２から読み込んだ学習結果を用いて、カメラ
１３から取り込んだ顔画像の認証を行う認証部２１とか
ら構成されている。

【０１３４】次に、本発明の実施の形態４の動作につい
て説明する。まず、学習済み関数に関して説明する。学
習済み関数は工場出荷時にあらかじめデフォルトの関数
を学習済み関数記憶部２２に記録しておく。この学習済
み関数の学習には本人の顔画像が用いられていないの
で、識別能力は低いものである。

【０１３５】次に、顔画像の登録動作について図２１を
用いて説明する。ユーザーがボタン１６を操作すること
により、機器制御部１８はデータ記憶部１９から登録用
プログラムを読み出し、実行する。ただし、本人以外が
操作するのを避けるため、本人だけが記憶している番号
を入力した場合のみ、登録用プログラムを読み出す。

【０１３６】機器制御部１８は、ディスプレイ１２の表
示切替え（現在の表示からカメラ入力表示への切替え）
を行う(ｓｔｅｐ４０１)。ディスプレイ１２に目の位置
を決めるための指標を表示し(ｓｔｅｐ４０２)、カメラ
１３から入力する登録者の目の位置が指標である２つの
点に合うように指示を出す(ｓｔｅｐ４０３)。指示の方
法は、ディスプレイ１２に指示を表示する、あるいはス
ピーカー１１を使って音声で指示を行う。指示内容はそ
の他に、瞬きをする、顔の向きを変える、顔を上下に動
かす、体の向きを変える、位置を移動する、といったも
のも含む。機器制御部１８は入力された顔画像をディス
プレイ１２に表示し、ユーザーが確認できるようにする
(ｓｔｅｐ４０４)。ユーザーのボタン操作により確認処
理を行うと、機器制御部１８は顔画像を圧縮し(ｓｔｅ
ｐ４０５)、データ記憶部１９に蓄積する(ｓｔｅｐ４０
６)。

【０１３７】認証の動作は、実施の形態１と同様であ
る。

【０１３８】本発明の実施の形態１と実施の形態４を組
み合せることにより、サービス内容を２段階に設定でき
る。一つは、携帯電話だけで認証を行うことが可能なサ
ービスであり、登録画像のみを更新することが可能であ
る。さらに認識率を向上させたいユーザーは実施の形態
１の構成で本人の画像を用いた学習を行い、認証を行う
サービスを受けることが可能である。

【０１３９】

【発明の効果】以上のように本発明の情報端末装置及び
認証システムによれば、顔画像入力を行う時、顔あるい
は目の位置を決めるための２つの点等の指標を表示した
り、顔の向きを変える、瞬きをする、顔を上下に動か
す、体の向きを変える、位置を移動するという指示を与
えることで、照明条件や顔の向きが変わるので、顔画像
の抽出精度が向上する。また、例え写真を使って他人が
本人になりすましていても、写真と生体とを区別しやす
くするという有利な効果が得られる。

【図面の簡単な説明】

【図１】本発明による認証機能を有する情報処理装置の
機能構成図

【図２】本発明の実施の形態１における登録・認証シス
テムのシステム構成図

【図３】本発明の実施の形態１におけるカメラ付き携帯
電話の概観図

【図４】本発明の実施の形態３におけるカメラ付き携帯
電話の機能構成図

【図５】本発明の実施の形態１における認証機能付き携
帯電話の機能構成図

【図６】（Ａ）本発明の実施の形態１における顔画像の
登録処理を説明するための登録シーケンス図（Ｂ）本発明の実施の形態２における音声の登録処理を
説明するための登録シーケンス図

【図７】本発明の実施の形態１における顔画像抽出処理
を説明するためのフロー図

【図８】本発明の実施の形態１における顔画像学習処理
を説明するためのフロー図

【図９】（Ａ）本発明の実施の形態１における認識処理
が成功したときのシーケンスを説明するための認識シー
ケンス図（Ｂ）本発明の実施の形態１における認識処理が失敗し
たときのシーケンスを説明するための認識シーケンス図

【図１０】本発明の実施の形態１における顔画像認識処
理を説明するためのフロー図

【図１１】本発明の実施の形態２における複数認証機能
付き携帯電話の機能構成図

【図１２】本発明の実施の形態２における登録・認証シ
ステムを示すシステム構成図

【図１３】本発明の実施の形態２における音声抽出処理
を説明するためのフロー図

【図１４】本発明の実施の形態２における音声学習処理
を説明するためのフロー図

【図１５】本発明の実施の形態２における認証動作を説
明するためのフロー図

【図１６】本発明の実施の形態２における話者認識処理
を説明するためのフロー図

【図１７】本発明の実施の形態３による登録・認証シス
テムを示すシステム構成図

【図１８】本発明の実施の形態３における認識処理を説
明するための認識シーケンス図

【図１９】本発明の実施の形態３における顔画像認識処
理を説明するためのフロー図

【図２０】本発明の実施の形態４による認証機能付き携
帯電話の機能構成図

【図２１】本発明の実施の形態４における顔画像登録処
理を説明するためのフロー図

【図２２】（Ａ）本発明の実施の形態１における第１の
例である入力顔画像図（Ｂ）本発明の実施の形態１における第２の例である入
力顔画像図

【図２３】（Ａ）本発明の実施の形態１における入力顔
画像図（Ｂ）本発明の実施の形態１における入力顔画像図（Ｃ）本発明の実施の形態１における入力顔画像図

【符号の説明】

１入力手段２表示手段３指標表示手段４認証手段５生体情報確認手段６情報端末装置７評価手段８指示手段１１スピーカー１２ディスプレイ１３カメラ１４マイク１５アンテナ１６ボタン１７データ処理部１８機器制御部１９データ記憶部２０顔認証部２１認証部２２学習済み関数記憶部２３話者認証部２４認証部２５学習済み関数記憶部２９認証機能切替部５０ＩＣカード５１ＩＣカード読取りインタフェース１０１ネットワーク２０１登録用サーバー２０２システム管理部２０３顔画像登録・更新部２０４顔画像データベース２０５データ入出力部２０６個人情報管理部２０７登録ログ管理部３０１登録用サーバー３０２顔画像・音声データベース３０３音声登録・更新部４０１登録・認証サーバー４０２システム管理部４０３登録・認証部４０４顔画像データベース４０５個人認証サポート部４０６個人情報蓄積部４０７認証ログ蓄積部４０８ディスプレイ４０９個人認証部４１０顔画像登録部１００１携帯電話１００２携帯電話１００３携帯電話１００４携帯電話２２１７指標２２１８顔領域２２１９目の中心座標

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｌ 9/32 Ｈ０４Ｌ 9/00 ６７３Ｄ (72)発明者山田伸大阪府門真市大字門真1006番地松下電器産業株式会社内 (72)発明者秋元俊昭大阪府門真市大字門真1006番地松下電器産業株式会社内Ｆターム(参考） 5B043 AA09 BA04 DA05 GA02 5B047 AA23 CA12 CB21 5B085 AA08 AE15 AE23 AE25 BC01 BE01 BE04 BG02 5J104 AA07 KA01 KA16 PA02

Claims

【特許請求の範囲】

【請求項１】入力されたユーザーの生体情報を表示す
る表示手段と、前記生体情報をもとに予め登録されたユ
ーザーを個人認証するための認証手段とを有し、前記表
示手段は前記生体情報の大きさと位置を指定するための
指標を表示する情報端末装置。
【請求項２】前記生体情報は、ユーザーの顔画像及
び、ユーザーの顔画像と音声のいずれか一方である請求
項１に記載の情報端末装置。
【請求項３】前記指標は、両目の位置を規定している
請求項１に記載の情報端末装置。
【請求項４】前記生体情報を評価する評価手段を更に
備える請求項１から請求項３のいずれかに記載の情報端
末装置。
【請求項５】前記評価手段は、顔位置検出、顔サイズ
検出、顔向き検出、及び光源方向検出の少なくともいず
れか一つを有する請求項４に記載の情報端末装置。
【請求項６】生体情報を入力する際に、ユーザーに指
示を与える指示手段を更に備える請求項１から請求項５
のいずれかに記載の情報端末装置。
【請求項７】前記指示手段は、体の向きを変える指
示、顔を上下または左右に動かす指示、及び位置を移動
する指示のうちの少なくともいずれかひとつを与える請
求項６に記載の情報端末装置。
【請求項８】前記指示手段がユーザーに与える指示
は、前記評価手段における検出結果をフィードバックす
る指示であることを特徴とする請求項６と請求項７との
いずれか一方に記載の情報端末装置。
【請求項９】前記顔画像を鏡像に変換して表示する請
求項２に記載の情報端末装置。
【請求項１０】請求項１から請求項９のいずれかに記
載の情報端末装置は、通信手段を備えた携帯情報端末と
携帯型パソコン、及び携帯電話のいずれかである情報端
末装置。
【請求項１１】前記指標が、２つ以上の、点、円、十
字あるいは多角形である請求項１から請求項１０のいず
れかに記載の情報端末装置。
【請求項１２】請求項１から請求項１１のいずれかに
記載の情報端末装置と、前記情報端末装置から通信網を
介して入力した前記生体情報をデータベースに登録し、
前記生体情報と既に登録されたデータベースからの各生
体情報から各個人の識別関数を学習する学習手段と、前
記生体情報、前記識別関数及び、ＩＤを管理するシステ
ム管理手段とを有する登録用サーバーとを具備する認証
システム。
【請求項１３】個人の前記生体情報が一定期間毎に更
新される請求項１２に記載の認証システム。
【請求項１４】前記登録用サーバーが各情報端末装置
に一定期間毎に個人の前記生体情報を更新するように促
す請求項１３に記載の認証システム。
【請求項１５】生体情報の大きさと位置を指定するた
めの指標を表示するステップと、前記指標に基づいて入
力されたユーザーの生体情報を表示するステップと、前
記生体情報が指標に対して許容するか否かを評価するス
テップと、前記評価結果が許容範囲でない場合はユーザ
ーに改善のための指示を与え、許容範囲内の場合は前記
生体情報を登録処理あるいは、予め登録された情報を基
に認証処理するステップと、前記登録処理あるいは認証
処理後に顔の向きを変える指示と瞬きを行う指示との少
なくともいずれか一つを指示し、指示通りに変更したか
を認識する本人へのなりすましの検出をするステップ
と、前記なりすましを検出したときに前記登録処理ある
いは認証処理を中止するステップとを有する登録・認証
方法。
【請求項１６】前記顔の向きを変える指示と前記瞬き
を行う指示との少なくとも１つをランダムに指示する請
求項１５に記載の登録・認証方法。