JPH06119433A - 人物認証装置 - Google Patents

Abstract

(57)【要約】 【目的】 人物の認証を行なうときに姿勢や表情を拘束
せずに、認証率の低下が発生しない人物認証装置を提供
することにある。 【構成】 画像データ入力部と、入力された画像データ
から顔領域を検出する手段と、顔領域からあらかじめ決
められた特徴量を得る手段と、得られた特徴量の有効性
を判定するためのデータを保持する手段と、このデータ
を用いての有効性を判定する処理部と、この判定結果に
従って認証許可信号と画像入力信号を発生する手段と、
得られた特徴量とあらかじめ記録されていた特徴量とを
比較して人物の認証を行なう認証処理部と、認証結果を
提示する提示手段とを有する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は人物の顔画像を入力し、
その特徴量を計測して認証を行なう人物認証装置に関す
る。

【０００２】

【従来の技術】人物の認証は、セキュリティの一手段と
して考えられ、顔画像を用いるシステムはユーザーに対
して負担を与えないので有望視されている。

【０００３】従来は、入力された画像データの中から顔
領域と背景領域を分離し、あらかじめ決められた顔画像
データの特徴量を計測し、装置に登録されている基準特
徴量と比較を行ない人物の認証を行った。しかしなが
ら、現状では次のような問題がある。

【０００４】１）基準特徴量を計算した画像データを撮
影した条件と、認証用の画像データを撮影したときの条
件（背景、照明条件、距離、カメラアングル等）の違い
から、認証正解率が大きく左右される。 ２）画像データ撮影時の条件が同じでも、人間の姿勢に
より得られる特徴量が異なるため、認証正解率が大きく
左右される。

【０００５】３）顔の位置や状態を正面顔や横顔に限定
しても、顔の表情の変化（目を閉じている、笑ってい
る、口を大きく開けている）により得られる特徴量が異
なるため、認証正解率が大きく左右される。 これらの問題に対して従来では以下の解決方法が考えら
れた。１の問題は、実際に認証を行なう条件で、基準画
像の撮影を行ない特徴量の計算を行なうことである程度
解決できる。

【０００６】２の問題は、そのような誤差が生じないよ
うに人物の姿勢を正面顔や横顔に限定し認証を行なって
いた。最近では、姿勢を分類し、各姿勢に応じた顔画像
を準備し、各画像の特徴量を計算し基準値として装置に
登録しておき、認証時にすべての姿勢の登録値と比較を
行ない認証を行なう装置が提案されている。また、目と
口の位置より顔の姿勢を判定し、顔画像のデータに対し
て線形変換を行ない正面顔とし、得られた画像から特徴
量を計算し認証を行なう装置も考案されている。

【０００７】３の問題に対しては、問題２と同じように
顔の表現を分類し、各表現に応じた基準画像を準備し、
各画像の特徴量を計算し基準値として装置に登録しお
き、認証時にすべての表現の登録値と比較を行ない認証
を行なう装置が考えられる。

【０００８】しかしながら、認証時に、使用者の姿勢や
表現を拘束するのは、ヒューマンインターフェースの観
点から見れば、ユーザーに負担を与えるので良い装置で
あるとは言いがた。

【０００９】また、複数の基準画像を作成し、各データ
の特徴量を計算し装置に記録しておくことは、記録すべ
きデータの増加と、認証時の計算量の増加と言う問題が
生じる。更に、顔の状態を検出し線形変換を行なう方式
は、変換時に計算誤差が生じる可能性がある。以上のこ
とを考慮すると人物認証を、一枚の画像データで行なう
ことに問題があると考えられる。

【００１０】

【発明が解決しようとする課題】上述した様に従来方式
によれば、問題を回避するために認証時に使用者の姿勢
や表情を拘束しなければならなかった。また、複数の基
準画像を準備し、各々の画像についての特徴量を計算し
登録しておく装置も考案されたが、すべての姿勢や表現
の画像の特徴量を登録し比較するのは、記録すべきデー
タの増加と、計算量の増加という問題が生じる。本発明
の目的は、人物の認証を行なう時に使用者の姿勢を拘束
せず、記録すべきデータ量や計算量が増加しない人物認
証装置を提供することにある。

【００１１】

【課題を解決するための手段】本発明は、目的を達成す
るために、複数の画像データから認証を行なうことを特
徴としている。このため、本発明では入力された画像デ
ータから背景領域と顔領域とを分離する手段と、顔領域
の中から決められた特徴量を計測する手段と、得られた
基準特徴量を用いてあらかじめ決められた評価式の計算
を行う手段と、判定のための基準データを保持する手段
と、評価式の値と基準データの比較を行ない、入力され
た画像データが決められた条件を満足するかどうか判定
を行なう手段を具備することを特徴とする。さらに、入
力画像が有効であると判定されたなら得られた特徴量を
用いて認証を行なう手段と、無効であると判定されたな
ら、再度画像データの入力を行う手段を具備することを
特徴とする。

【００１２】

【作用】本発明では、基準特徴量を計算したときに、姿
勢や表情の特徴量を決められた評価式により計算し、判
定用の値として装置に保持しておく。認証時には、計測
された特徴量を同じ評価式を用いて計算し、装置に記録
されている判定用の値と比較する。この時、２つのデー
タの関係が、決められた条件を満たしているなら、その
画像データが姿勢や表現の面で認証用の画像データとし
て有効であると判定できる。つまり、基準特徴量を計算
した時と同じような画像データを得る手段を用いること
により、高い認証率の装置の提供を行なう。この時、画
像データが無効であると判定されたなら、その画像デー
タを破棄し、新たな画像データの入力を行なう。この処
理を有効な画像データが得られるまで繰り返すことによ
り顔の姿勢や変化による特徴量の変化を防ぐことができ
る。

【００１３】つまり、人物の認証をある時刻の画像デー
タを一枚で行なうのではなく、ある一定の決められた時
間、複数の画像データの入力を行ない、あらかじめ決め
られた条件を満たした画像データを使用して認証を行な
う。それゆえ、認証時に装置の都合に使用者が合わせる
のではなく、装置の方が認証用の画像データを自動的に
選別するためユーザーの負担の少ない装置を提供でき
る。

【００１４】

【実施例】以下、本発明の実施例を図面を参照して説明
する。図１は、本発明の構成の一例を示すブロック図で
ある。

【００１５】カメラが入力されたアナログ信号は、画像
入力部１でディジタル信号に変換されメモリ２に記録さ
れる。次に顔領域検出部３は、エンモリ２の全体画像に
対して決められた演算を行なうことにより図２に示す領
域を切り出し、メモリ４に記録を行なう。

【００１６】領域処理部５は、顔領域データに対して決
められた演算を行なうことにより、有効判定用データを
計算し有効判定部６に送る。また、領域の特徴を示す特
徴量を計算し認証部７に送る。

【００１７】有効判定部６は、領域処理部５からのデー
タを用いてあらかじめ決められた演算を行ない、その結
果をあらかじめ決められた値と比較して、入力された画
像が認証に有効であるかの判定を行ない、その結果を制
御部８に送る。制御部８は、有効であれば認証部７に認
証有効信号を発生し、無効の場合は画像入力部１に画像
入力指示信号を発生する。

【００１８】認証部７は、領域の特徴量と特徴量記録部
９に記録されている基準値との演算を行ない人物の判定
を行なう。その結果をインデックス信号として制御部８
に送る。

【００１９】制御部８は、ＣＰＵやＲＯＭ、ＲＡＭで構
成され、あらかじめ決められた処理手順に従うことでこ
の装置を動かすに必要な信号を発生させる。また、認証
部７より送られたインデックス信号に基づき認証結果表
示部１０に必要な信号を送る。認証結果表示部１０は、
送られた信号を基に結果を表示する手段を有する物であ
る。次に、各ブロックの処理内容と処理手段を、以下に
詳しく述べる。図３に画像入力部１の構成の一例をブロ
ック図で示す。

【００２０】画像入力部は、Ａ／Ｄ変換部１１、マトリ
ックス部１２、メモリ２（図１と同じもの）より構成さ
れ、制御部からの入力指示信号を検知すると、カメラか
らのアナログ信号を一フレーム分ディジタル信号に変換
してメモリ２に記録を行なう。この時カメラからのアナ
ログＲＧＢ入力信号を、Ａ／Ｄ変換部１１でディジタル
信号に変換し、マトリックス部で以下の式を用いて、
Ｙ、ＲＹ、ＢＹ信号に変換しメモリ２に記録する。 Ｙ＝０．２９９＊Ｒ＋０．５８４＊Ｇ＋０．１１７＊Ｂ ＲＹ＝Ｒ−Ｙ ＢＹ＝Ｂ−Ｙ 図４に顔領域検出部３の構成の一例をブロック図で示
す。

【００２１】この例では顔領域検出部は、極座標変換部
２１、画素有効判定部２２、顔領域決定部２３、メモリ
２，４，２４により構成される。（メモリ２，４は図１
と同じもの）

【００２２】極座標変換部２１でメモリ２に記録された
ＲＹ信号とＢＹ信号から以下の処理をおこないＰＨＳ信
号を作成し、画素有効判定部２２でＰＨＳ信号、ＲＹ信
号、ＢＹ信号を用いて有効画素の判定を行なう。 ＰＨＳ＝ＡＴＡＮ（ＢＹ／ＲＹ） ＲＹ！＝０ ＰＨＳは色相を現す信号と定義し、ＲＹ信号が０であれ
ば、変換を行なわない。画素有効判定部２２は、以下の
規則を用いて有効無効の判定を行ない、判定結果はメモ
リ２に記録する。 １ 輝度信号の値があらかじめ決められた値より小さい
場合は、無効画素とする。 ２ ＲＹ信号が０の場合は無効画素とする。 ３ ＰＨＳ信号があらかじめ決められた範囲内の値でな
ければ無効画素とする。 顔領域決定部２３は、メモリ４のデータを調べ、あらか
じめ決められた大きさを満たす領域を抽出し顔領域とす
る。

【００２３】この時顔領域の座標値と幅、高さのデータ
は、有効判定部６に送られる。またこのデータを用い
て、顔領域に当たるデータを、メモリ２から抽出しメモ
リ２４に記録を行なう。図５から図６に領域処理部５の
構成の例をブロック図で示す。

【００２４】図５は、顔領域からあらかじめ決めらえた
複数の領域（Ｎ個）を検出し、認証を行なう装置の領域
処理部の構成の一例である。Ｎ個の領域処理部３１は、
それぞれ、あらかじめ決められた処理に従い、決められ
た領域を検出し、各領域毎に処理を行ない、判定用デー
タと特徴量を検出する。この時各処理部はメモリ２４の
顔領域のデータを入力とし、演算で得られた判定用デー
タを有効判定部６に送り、特徴量を認証部７に送る。

【００２５】図６に、左目の領域処理を例に、領域処理
部のより詳しいブロック図を示す。この時領域処理部
は、左目領域検出部３２、正規化部３３、線形変換部３
４、演算部３５により構成される。

【００２６】左目領域検出部は、メモリ２４の顔領域の
中からあらかじめ決められた処理に従い、左目領域の検
出を行ない、領域の座標値と幅と高さのデータを判定用
データとして、有効判定部６に送る。正規化部３３は、
検出された左目領域の画像データに対して、領域のサイ
ズを有効判定部６より送られた正規化基準データを基に
正規化を行なう。また、領域の輝度信号の平均値があら
かじめ決められた値になるように、データの最大値およ
び最小値も決められた値になるようデータを調整する。

【００２７】線形変換部３４は、正規化されたデータに
対して線形変換を行ない、他の空間に変換する処理を行
なう。線形変換の例としては、ＤＦＦＴやＤＣＴがあ
り、２次元周波数空間にデータを変換をする。演算部３
５は、あらかじめ決められた係数を選択し特徴量として
認証部７に送る。図７に選択する一例を示す。

【００２８】また、領域ではなく、決められた特徴点を
用いる方法を図８に示す。この例では、口領域検出部４
１で得られた口領域の位置情報をもちいて、口の中心座
標から水平左右方向に検索を行ない、頬位置検出部４２
で頬の端の検出を行なう。そして、口の中心点からの距
離を有効判定部からの基準データを用いて正規化部４３
で正規化を行ない。判定用データとして有効判定部に送
ると共に特徴量として認証部に送る。図９に有効判定部
６の構成の一例をブロック図で示す。有効判定部は、正
規化処理部５１と有効判定処理部５２、基準データ記録
部５３より構成される。

【００２９】正規化処理部５１は、各領域から送られた
判定用データにあらかじめ決められた演算を行ない、入
力された画像データの条件と基準値を作成した時の条件
を合わすために、得られたデータを基に正規化用の基準
データを作成し、判定用データの正規化を行なう。

【００３０】有効判定処理部５２は、基準データ記録部
５３の判定用基準値と正規化された判定用データの比較
を行なうことにより入力された画像データの有効無効を
判定する。判定結果は、制御部９に送られる。以下に、
有効判定処理を行なうアルゴリズムの例を述べる。

【００３１】領域に左目領域と右目領域と口領域、特徴
点に左頬端、右頬端を用い、各領域の位置情報や領域の
高さ幅のデータを用いて有効無効の判定方法を行なう一
実施例を示す。図１０，１１に基準データの名称を表す
図を示す。まず１から４までの処理を行ない、基準デー
タの作成と正規化を行なう。 １ 各領域の中心点を求める ｌｅｙｅ＿ｃｅｎｔｏｒ＿ｘ，ｌｅｙｅ＿ｃｅｎｔｏｒ
＿ｙ ｒｅｙｅ＿ｃｅｎｔｏｒ＿ｘ，ｒｅｙｅ＿ｃｅｎｔｏｒ
＿ｙ ｍｏｕｎｔ＿ｃｅｎｔｏｒ＿ｘ，ｍｏｕｔｈ＿ｃｅｎｔ
ｏｒ＿ｙ ２ 口領域の左端から左頬までの距離の計測 口領域の右端から右頬までの距離の計測 ｔｏ＿ｌｅｆｔ＝ｍｏｕｔｈ＿ｃｅｎｔｏｒ＿ｘ−ｌｅｆｔ＿ｅｄｇｅ＿ｘ ｔｏ＿ｒｉｇｈｔ＝ｒｉｇｈｔ＿ｅｄｇｅ＿ｘ−ｍｏｕｔｈ＿ｒｅｇｉｏｎ＿ ｘ ３ 左目領域と右目領域の位置関係より顔の中心位置を
決定し、両領域間の値を正規化基準用データとする。 ｆａｃｅ＿ｃｅｎｔｏｒ＿ｘ＝（ｌｅｙｅ＿ｃｅｎｔｏｒ＿ｘ＋ｒｅｙｅ＿ｃ ｅｎｔｏｒ＿ｘ）／２ ｆａｃｅ＿ｃｅｎｔｏｒ＿ｙ＝（ｌｅｙｅ＿ｃｅｎｔｏｒ＿ｙ＋ｒｅｙｅ＿ｃ ｅｎｔｏｒ＿ｙ）／２ ｂａｓｅ＿ｗｉｄｔｈ＝ｒｅｙｅ＿ｃｅｎｔｏｒ＿ｘ−ｌｅｙｅ＿ｃｅｎｔｏ ｒ＿ｘ ４ すべての判定用データを正規化基準用データを用い
て正規化を行なう。

【００３２】次に、正規化された判定用データに対して
決められた演算を行ない、あらかじめ決められた基準値
を満たす場合は有効とし、それ以外は、無効の判定を行
なう。以下に判定用演算の例を示す。 １ 左目領域の中心点のｙ座標と右目領域の中心点のｙ
座標の差を計算し、あらかじめ決められた値を越えたな
ら無効とする。 ２ 口領域の左端から左頬までの距離と口領域の右端か
ら右頬までの距離の差を計算し、あらかじめ決められた
値を越えたなら無効とする。 ３ 顔の中心点のｘ座標と口の中心点のｘ座標の差を計
算し、あらかじめ決められた値を越えたなら無効とす
る。 図１２に認証部７の構成の一例をブロック図で示す。認
証部７は、重み付け処理部６１、認証処理部６２、基準
特徴量記録部６３より構成される。認証部７は、制御部
からの有効信号を調べ、有効であれば、以下の手順で認
証作業を行なう。

【００３３】各領域処理部および特徴点処理部から送ら
れた特徴量は、重み付け処理部６１であらかじめ決めら
れた重み付けを行なわれた後、一つの認証用ベクトルに
まとめられる。認証処理部１２では、検出された認証用
ベクトルと基準特徴量記録部６３に記録されている基準
ベクトルとの演算を行なう。

【００３４】演算手段としては、各ベクトル値の２乗誤
差を用いる方法が考えられる。すべての基準ベクトルと
の演算終了後、最小の値を示した基準ベクトルを示すイ
ンデックス信号を制御部８に送る。

【００３５】この時、演算結果が基準特徴量記録部６３
に記録された、有効判定基準値を満たさない場合は、あ
らかじめ決められた信号をインデックス信号として制御
部８におくる。図１３に認証結果表示部の構成を示す。

【００３６】制御部８は、認証部７から送られたインデ
ックス信号に基づいて、記録されているインデックスと
人物の対応データから、人物の真疑を決定する。その
後、表示部に必要なデータを送る。この時、インデック
ス信号がある決められた値であれば、認証に失敗したと
判定し、あらかじめ決められた指示に従い、データを表
示部に送る。次に、本発明を実現する他の実施例を述べ
る。

【００３７】上記実施例では、特徴量として各領域の周
波数空間での係数を使用したが、各領域の位置座標や幅
や高さを用いるシステムも考えられる。図１４にその処
理を行なうための領域処理部のブロック図を示す。

【００３８】又、上記実施例では、顔領域の検出は、色
を手掛かりに検出したが、複数の入力画像データから差
分データを計算し、２値化を行ないある大きさを持つ領
域を検出する方法も考えられる。

【００３９】更に、上記実施例は、時間軸で有効なフレ
ームの検出を行ない、有効フレームであると判定された
なら、その時の画像を認証用画像として用い認証を行な
う方式である。しかしながら他の実施例として、各領域
毎に有効無効の判定を行ない、有効な領域に対してはそ
の時の特徴量を保持し、それ以上の処理を行なわず、無
効な領域がなくなるまで画像の入力を行ない、すべての
領域が有効になれば、保持されている特徴量を用いて認
証を行なう装置も考えられる。他の実施例として、目の
領域が有効なフレームと、口の領域が有効なフレームを
上下に合成して一枚の入力画像として用いる装置も考え
られる。

【００４０】上記実施例では、各処理の段階で複数の非
線形処理を行なうが、場合によりあらかじめ決められた
条件を満足しない時もある。図１５にブロック図を示す
ように、各処理の後に得られる数値および特徴量に対し
て、有効範囲をあらかじめ決めておき、その範囲を越え
る数値が検出されたなら、処理に失敗したと判定し、有
効判定部に無効信号を発生する手段を有する実施例も考
えられる。

【００４１】

【発明の効果】本発明の人物認証装置によれば、従来の
人物認証装置と比較して、使用者に姿勢や表情を強要し
ないのでヒューマンインターフェースの面で優れた装置
である。また、使用者の姿勢や表情の変化に対して認証
率の低下が発生しない装置である。今後、高度情報化社
会において、セキュリティの強化が必要とされることが
予想され、より柔軟なシステムが要求される。本発明は
そのようなシステムに効果的である。

【図面の簡単な説明】

【図１】本発明の一実施例の全体構成を示すブロック
図。

【図２】画像データに対して顔領域の切り出しの様子を
示す図。

【図３】画像入力部の構成を示す図。

【図４】顔領域検出部の構成の一例を示す図。

【図５】領域処理部の構成を示すブロック図。

【図６】左目の領域処理を例とした領域処理部のより詳
細なブロック図。

【図７】特徴量として係数を選択する様子を示す図。

【図８】口領域の位置情報を用いて特徴量を算求する方
法を示す図。

【図９】有効判定部の構成を示すブロック図。

【図１０】顔領域の基準データの名称を示す図。

【図１１】顔領域の基準データの名称を示す他の図。

【図１２】認証部の構成を示すブロック図。

【図１３】認証結果表示部の構成を示すブロック図。

【図１４】領域処理部の他の例を示すブロック図。

【図１５】本発明の他の実施例の全体構成を示すブロッ
ク図。

【符号の説明】

１…画像入力部 ２，４…メモリ ３…顔領域検出部 ５…領域処理部 ６…有効判定部 ７…認証部 ８…制御部 ９…特徴量記録部 １０…認証結果表示部

Claims (3)

【特許請求の範囲】
1. 【請求項１】 画像データを入力するための入力手段
   と、人物の認証に用いるための基準特徴量を保持する記
   憶手段と、入力された画像データから顔領域と背景領域
   とを分離する分離手段と、分離された顔領域から予め決
   められた特徴量を計測する計測手段と、計測された特徴
   量と基準特徴量とを比較し人物の認証を行なう認証手段
   と、認証結果を出力する出力手段とを具備したことを特
   徴とする人物認証装置。
2. 【請求項２】 計測された特徴量の有効性を判断するた
   めの値を保持する手段と、計測された特徴量に対して予
   め決められた演算を行なう手段と、演算で得られた値と
   前記判断するための値とを比較し画像データの有効性を
   判断する手段とを更に備えたことを特徴とする請求項１
   記載の人物認証装置。
3. 【請求項３】 画像データが無効と判断された場合、前
   記認証手段は計測された特徴量と基準特徴量との比較処
   理を行なわず、前記入力手段は再び画像データを入力す
   るものである請求項２記載の人物認証装置。