JP2004110813A - 人物認証装置 - Google Patents

Abstract

【課題】認証精度を向上させる人物認証装置を提供する。
【解決手段】　予め人物の顔画像を記憶した特徴量記憶部５と、人物認証を行うための顔画像データを入力する入力部１と、前記顔画像データから前記人物の顔画像の特徴量を検出した後，前記特徴量を演算処理する演算処理手段２、３、４と、その演算処理結果が前記人物の顔画像に一致するかどうかを判別して一致データに基づいて人物の顔表情データを入力する入力部１１と、前記顔表情データから前記顔表情の特徴量を検出した後，前記特徴量を演算処理する演算処理手段１２、１３、１４と、入力部１１から出力される画像データを演算処理した結果が前記人物の顔表情に一致するかどうかを判別して一致データを出力する認証部１７と、からなる。
【選択図】図１

Description

　本発明は、人物の顔画像から特徴量を抽出して認証を行う人物認証装置に関する。

　従来の人物認証装置においては、認証精度の向上のために複数の画像データを用いて、認証にふさわしい画像データから特徴量を検出することを特徴としている。

　特開平６−２５９５３４号公報（特許文献１）には、カメラから入力された信号をディジタル信号に変換し、決められた信号フォーマットに変換した画像データをフレーム単位で入力する画像データ入力部と、前記画像データの中から顔領域を検出する顔領域検出部と、前記顔領域から特徴量を検出する特徴量検出部と、人物認証を行う判定基準値を記憶する判定基準値記録部と、前記特徴量を前記判定基準値と比較することにより前記特徴量が有効か否かを判定する有効フレーム判定部と、前記有効フレーム判定部の判定結果が無効の場合、入力指示信号を前記画像データ入力部に送り、有効の場合、有効画像データの枚数を増やし、特徴量記録指示信号及び演算開始信号を出力すると共に前記入力指示信号を前記画像データ入力部に送る制御部と、前記有効フレーム判定部で有効と判定された場合、前記特徴量記録指示信号に基づいて前記特徴量を複数フレーム分蓄える有効特徴量記録部と、前記制御部から出力される演算開始信号に基づいて、前記複数フレーム分の特徴量に演算を施すことにより認証用特徴量を得る認証用特徴演算部と、予め顔特徴量を記憶した顔特徴量記録部と、前記顔特徴量記録部に記憶された顔特徴量と前記認証用特徴量を比較することにより前記人物の認証を行う認証部と、からなるので、認証率の精度が向上する人物認証装置が開示されている。
特開平６−２５９５３４号公報

　　しかしながら、認証率を向上させるために有効画像データが多量に必要とされるため、複雑な画像処理構成となっていた。

　そこで、本発明は上記問題に鑑みて成されたものであり、認証精度を向上させる人物認証装置を提供することを目的とするものである。

　本発明における第１の発明は、予め人物の顔画像データを記憶した第１特徴量記録部と、
　人物認証を行うための顔画像データを入力する第１画像データ入力部と、前記顔画像データから前記人物の顔画像の特徴量を検出した後，前記特徴量を演算処理する第１演算処理手段と、前記第１演算処理手段から出力された演算結果が前記第１特徴量記録部に記憶された前記人物の顔画像に一致するかどうかを判別して、一致した場合には、一致データを出力し、一致しない場合には、前記第１画像データ入力部に前記人物認証条件を変えて再度人物画像データを入力する第１認証部と、予め人物の顔表情データを記憶した第２特徴量記録部と、前記一致データに基づいて前記人物の顔表情データを入力する第２画像データ入力部と、前記顔表情データから前記顔表情の特徴量を検出した後，前記特徴量を演算処理する第２演算処理手段と、前記第２演算処理手段から出力された演算結果が前記第２特徴量記録部に記憶された前記人物の顔表情データに一致するかどうかを判別して、一致した場合には、一致データを出力し、一致しない場合には前記第２画像データ入力部に前記人物の顔表情条件を変えて再度人物画像データを入力する前記人物を特定する第２認証部と、からなることを特徴とする人物認証装置を提供する。
　第２の発明は、予め人物の第１の顔画像データを記憶した第１特徴量記録部と、人物認証を行うための前記第１の顔画像データを入力する第１画像データ入力部と、前記顔画像データから前記第１の顔画像の特徴量を検出した後，前記特徴量を演算処理する第１演算処理手段と、前記第１演算処理手段から出力された演算結果が前記第１特徴量記録部に記憶された前記人物の第１の顔画像に一致するかどうかを判別して、一致した場合には、一致データを出力し、一致しない場合には、前記第１画像データ入力部に前記人物認証条件を変えて再度人物画像データを入力する第１認証部と、予め前記人物の顔画像に部材を付加合成した第２の顔画像データを記憶した第２特徴量記録部と、前記一致データに基づいて前記人物の第３の顔画像データを入力する第２画像データ入力部と、前記第２画像データ入力部から出力された前記人物の第３の顔画像データが前記第２特徴量記録部に記憶された前記第２の顔画像データに一致するかどうかを判別して、一致した場合には、一致データを出力し、一致しない場合には前記第２画像データ入力部に前記人物の顔画像に部材を付加する条件を変えて再度人物の顔画像データを入力する前記人物を特定する第２認証部と、からなることを特徴とする人物認証装置を提供する。

　本発明によれば、第１段階で人物の外形を認証した後、第２段階で予め登録された人物の顔表情と一致するかどうかを判断して、人物を認証するので、人物認証精度を向上させることができる。また、顔表情の代りに予め第２特徴量記録部に記憶させた前記人物の顔画像に部材を付加合成した第２の顔画像を用いる場合には、演算処理手段が不用となり迅速に人物認証を行うことができる。

　本発明の実施形態における人物認証装置について図１〜図４を用いて説明する。
　図１は、本発明の実施形態における人物認証装置を示す概略ブロック図である。
　図２は、顔の特徴量を示す図である。図３は、第１の顔表情を示す図である。図４は、第２の顔表情を示す図である。

　図１に示すように、本発明の実施形態の人物認証装置は、カメラから入力された人物認証信号をディジタル信号に変換し、決められた信号フォーマットに変換した人物画像データをフレーム単位で入力する第１画像データ入力部１と、人物画像データから顔画像のみを検出する第１顔領域検出部２と、第１顔領域検出部２から出力される顔画像の中から顔領域を調べ、エッジ情報を用いて、図２に示す顔の特徴点の眉８、目９、口１０等の特徴量を検出する第１特徴量検出部３と、からなる。

　第１特徴量検出部３で検出された特徴量から明るさの調整、ノイズ除去、エッジ強調等の画像処理を行った後、顔領域の各部の相対距離、位置等の演算を行う第１特徴量演算画像処理部４と、予め当該人物の顔画像データを記憶した第１顔特徴量記録部５と、第１顔特徴量記録部５に記憶された当該人物の顔画像データと第１特徴量演算画像処理部４で行った演算結果とを比較して、その結果が当該人物と一致した場合には、その一致データを出力すると共に第１特徴量記録部５のデータを更新し、一致しない場合には、第１制御部７を介して撮像条件等を変えて、第１画像データ入力部１に再度人物画像データを入力するようにする第１認証部６と、からなる。

　更に、第１認証部６から出力された一致データに基づいて、カメラから人物の顔表情信号を入力した後、この人物の顔表情信号をディジタル信号に変換し、決められた信号フォーマットに変換された顔表情データをフレーム単位で入力する第２画像データ入力部１１と、顔表情データから顔表情のみを検出する第２顔領域検出部１２と、第２顔領域検出部１２から出力される顔表情の中から顔領域を調べ、エッジ情報を用いて、図３或いは図４に示す顔の特徴点の眉、目、瞳、口、舌等の特徴量を検出する第２特徴量検出部１３と、からなる。

　更に、第２特徴量検出部１３で検出された特徴量から明るさの調整、ノイズ除去、エッジ強調等の画像処理を行った後、各部の相対距離、位置等の演算を行う第２特徴量演算画像処理部１４と、予め顔表情の顔表情データを記憶した第２特徴量記録部１５と、第２特徴量記録部１５に記憶された顔表情データと第２特徴量演算画像処理部１４で行った演算結果とを比較して、その結果が当該人物と一致した場合には、前記人物を特定するデータを出力すると共に第２特徴量記録部１５のデータを更新し、一致しない場合には、第２制御部１７を介して撮像条件等を変えて、第２画像データ入力部１１に再度人物画像データを入力するようにする第２認証部１６と、からなる。

　第１及び第２制御部７、１７は、ＣＰＵやＲＯＭ、ＲＡＭ等で構成され、予め決められた処理手順に従ってこの装置を動かすための信号を発生させるためのもので、ここでは、第１及び第２認証部６、１６から出力された画像データに基づいて、明るさやカメラの方向等の撮像条件等を変えて、人物画像データを取り直すための信号を第１及び第２画像データ入力部１、１１に出力する。

　上記した（人物画像）の特定の場合には、眉８の特徴量としては、眉頭、眉尻、その中間等があり、目９の特徴量としては、目頭、目尻、その中間、上瞼、下瞼等があり、口１０の特徴量としては、口角、上唇、下唇、開口等がある。
　また、（顔表情）の特定の場合には、眉８の特徴量としては、上げる、下げる、寄せる等があり、目９の特徴量としては、開く、閉じる等があり、口１０の特徴量としては、開く、閉じる等があり、瞳の特徴量としては、上、下、左、右、寄せる、白目等があり、舌の特徴量としては、出す（上、下、左、右、中央）、出さない等がある。

　次に、その動作について説明する。
　本発明の実施形態の動作は、人物画像を特定する（第１段階）を行った後、顔表情を特定する（第２段階）を行って人物認証を行う。
　予め当該人物の顔画像データを第１特徴量記録部５に記憶させておく。また、予め当該人物が作った顔表情データを第２特徴量記録部１５に記憶させておく。
（第１段階）
　まず、カメラの前に人物を立たせ、人物画像データを第１画像データ入力部１にフレーム単位で入力する。第１顔領域検出部２で第１画像データ入力部１に入力された人物画像データの中から顔画像のみを検出する。第１特徴量検出部３で第２顔領域検出部２から出力された顔画像の中から顔領域を調べ、エッジ情報を用いて、図２に示す顔の特徴点の眉８、目９、口１０等の特徴量を検出する。第１特徴量検出部３で検出された特徴量から画像処理を行った後、各部の相対距離、位置等の演算を第１特徴量演算画像処理部４で行う。

（第２段階）
　次に、第１認証部６で第１顔特徴量記録部５に記憶された当該人物の顔画像データと第１特徴量演算画像処理部４で行った演算結果とを比較して、その結果が当該人物と一致した場合には、一致結果を出力すると共に第１特徴量記録部５のデータを更新し、一致しない場合には、第１制御部７を介して撮像条件等を変えて、第１画像データ入力部１に再度人物画像データを入力するようにする。

　第２画像データ入力部１１で第１認証部６から出力された一致データに基づいて、カメラから人物の顔表情信号を入力した後、この人物の顔表情信号をディジタル信号に変換し、決められた信号フォーマットに変換された顔表情データをフレーム単位で入力する。
　更に、第２顔領域検出部１２で顔表情データから顔表情のみを検出する。そして、第２特徴量検出部１３で第２顔領域検出部１２から出力される顔表情から顔領域を調べ、エッジ情報を用いて、図３或いは図４に示す顔の特徴点の眉、目、瞳、口、舌等の特徴量を検出する。

　第２特徴演算画像処理部１４で第２特徴量検出部１３で検出された特徴量から明るさの調整、ノイズ除去、エッジ強調等の画像処理を行った後、各部の相対距離、位置等の演算を行う。第２認証部１６で第２特徴量記録部１４に記憶された当該人物の顔表情データと第２特徴量演算画像処理部１４で行った演算結果とを比較して、その結果が当該人物と一致した場合には、一致結果を出力して人物を特定するデータを出力すると共に第２特徴量記録部１５のデータを更新し、一致しない場合には、第２制御部１７を介して撮像条件等を変えて、第２画像データ入力部１１に再度人物画像データを入力するようにする。

　この結果、最終的に当該人物が本人と認証されて、例えば扉の鍵が解除されることになる。第２特徴量記録部１５に図３に示す顔表情データが記憶されている場合に第２特徴量演算画像処理部１４から図４に示す顔表情のデータが出力されると、第２認証部１６で当該人物と一致しないと判断され、例えば扉の鍵が解除されない。

　本発明の実施形態によれば、当該人物に良く似た替え玉をカメラの前に立たせたり、当該人物の写真をカメラの前にかざして第１段階をパスしても、第２段階の顔表情の判定はどのような顔表情を登録したかは本人しか知ることができない情報であるので、人物認証の精度を向上させることができる。更に、例え、登録時の表情を聞き出して（例えば、左目を閉じて寄り目にして舌を出す）真似をしても本人でなければ正確に再現できないことから暗証鍵として有効に機能させることができる。

　次に、実施形態の第１変形例について図５乃至図９を用いて説明する。
　実施形態と同一構成には同一符号を付し、その説明を省略する。
　図５は、本発明の実施形態の第１変形例を示す概略ブロック図である。図６は、顔画像にほくろを付加した変更顔画像データを示す図である。図７は、図６の変更顔画像データを分割した領域を示す図である。図８は、顔画像にしわを付加した場合を示す図である。図９は、顔画像にひげを付加した場合を示す図である。
　図５に示すように、第１変形例は、本発明の実施形態において、第２顔領域検出部１２及び第２特徴量演算画像処理部１４を不要とし、顔表情データの代りに当該人物の顔画像データに部材を付加して前記当該人物の顔画像データと異ならせた変更顔画像データを用い、この変更顔画像データが第２特徴量記録部１５に予め登録しておいた当該人物の変更顔画像データと一致するかどうかで人物認証を行うものであり、それ以外は同様である。

　次に、その動作について説明する。
　第１変形例は、実施形態における（第１段階）と同様な操作を行った後、変更顔画像によって当該人物を特定する（第２段階）を行って人物認証を行う。
　（第１段階）は実施形態と同様であるので、その説明を省略し、変更顔画像を特定する（第２段階）についてだけ説明する。

（第２段階）
　まずは、予め当該人物の顔画像データの所定位置に部材を付加合成した変更顔画像データを第２特徴量記録部１５に記憶させておく。
　実施形態の（第１段階）と同様な操作を行った後、第１認証部６において、第１顔特徴量記録部５に記憶された顔画像データと第１特徴量演算画像処理部４で行った演算結果とを比較して、その一致割合がしきい値ｍ（％）（ｍは任意の有理数）以上の場合には、一致結果を出力すると共に必要に応じて第１特徴量記録部５のデータを更新し、しきい値ｍ以下の場合には、第１制御部７を介して撮像条件等を変えて、第１画像データ入力部１に再度人物画像データを入力するようにする。

　第２画像データ入力部１１において、第１認証部６から出力された一致データに基づいて、当該人物の顔画像データに部材を付加合成した変更顔画像データを入力した後、この人物の変更顔画像データをディジタル信号に変換し、決められた信号フォーマットに変換された変更顔画像データをフレーム単位で入力する。この場合は、図６に示すように、顔画像にほくろ１８を付加合成して変更顔画像データとしている。

　更に、図７に示すように、第２特徴量検出部１３で変更顔画像データを１６分割の領域１９に分割し、付加された部材が分割された領域１９のうちのどこに位置するのかを検出する。
　そして、第２認証部１６において、第２特徴量検出部１３で検出された変更顔画像データに付加合成された部材の付加位置が第２特徴記録部１５に記憶されている変更顔画像データに付加された部材位置とを比較して、その結果が一致した場合には、一致結果を出力して人物を特定するデータを出力すると共に必要に応じて第２特徴量記録部１５の変更顔画像データを更新し、一致しない場合には、第２制御部１７を介して再度訂正した修正画像データを第２画像データ入力部１１に入力するようにする。

　この結果、最終的に当該人物が本人と認証されて、例えば扉の鍵が解除されることになる。第１変形例においても、実施形態と同様な効果が得られる。
　なお、図８及び図９に示すように、ほくろ１８以外にも、しわ２０やひげ２１の形状を変化させて変更顔画像とすることもできる。

　次に、実施形態の第２変形例について図１０〜図１２を用いて説明する。
　第１変形例と同一構成には同一符号を付し、その説明を省略する。
　図１０は、本発明の実施形態の第２変形例を示す概略ブロック図である。図１１は、入力端末の表示画面を示す図である。図１２は、変更顔画像データが予め記憶されている顔画像データと一致した場合を示す図である。
　図１０に示すように、第２変形例は、第１変形例において、第２画像データ入力部１１の代りにアイテム入力部２２を用いて人物認証を行うものであり、それ以外は同様である。図１１に示すように、入力端末の表示画面には、顔画像表示部２３と帽子、眼鏡、ひげ、ペン、色パレット等のアイテム群２４が表示される。

　次に、その動作について説明する。
　第１変形例と同様に、（第１段階）は実施形態と同様であるので、その説明を省略し、変更顔画像を特定する（第２段階）についてだけ説明する。以下では、第２特徴量記録部１５に記録されている顔画像データをＡ、アイテム入力部２２に入力される変更顔画像データをＢとする。

（第２段階）
　まずは、予め当該人物の顔画像データにアイテム群２４中から選択した１つのアイテムを付加合成した顔画像データＡを第２特徴量記録部１５に記憶させておく。
　図１０に示すように、実施形態の（第１段階）と同様な操作を行った後、第１認証部６で第１顔特徴量記録部５に記憶された顔画像データと第１特徴量演算画像処理部４で行った演算結果とを比較して、その結果が当該人物と一致した場合には、一致結果を出力すると共に必要に応じて第１特徴量記録部５のデータを更新し、一致しない場合には、第１制御部６を介して撮像条件等を変えて、第１画像データ入力部１に再度人物画像データを入力するようにする。

　アイテム入力部２２において、第１認証部６から出力された一致データに基づいて、前記入力端末から選択したアイテムを当該人物の顔画像データに付加して得られた変更顔画像データＢを入力した後、この人物の変更顔画像データＢをディジタル信号に変換し、決められた信号フォーマットに変換された変更顔画像データをフレーム単位で入力する。この場合には、図１１に示すように、照会アイコン２５を押して選択アイテムとして眼鏡を付加して変更顔画像データＢ（図１２）としている。

　更に、第２特徴量検出部１３で当該人物の顔画像に付加したアイテムを検出する。そして、第２認証部１６において、第２特徴量検出部１３で検出された変更顔画像データＢに付加されたアイテムと第２特徴記録部１５に記憶されている顔画像データＡに付加されたアイテムとを比較して、その結果が一致した場合には、一致結果を出力して人物を特定するデータを出力すると共に第２特徴量記録部１５の顔画像データＡを更新し、一致しない場合には、第２制御部１７を介して再度訂正した修正画像データをアイテム入力部２２に入力するようにする。一致する場合には、図１２に示すように、顔画像データＡと変更顔画像データＢが一致する。

　この結果、最終的に当該人物が本人と認証されて、例えば扉の鍵が解除されることになる。第１変形例においても、第２変形例と同様な結果が得られる。

　セキュリティの高い人物認証装置に適用できる。

本発明の実施形態における人物認証装置を示す概略ブロック図である。 顔の特徴量を示す図である。 第１の顔表情を示す図である。 第２の顔表情を示す図である。 本発明の実施形態の第１変形例を示す概略ブロック図である。 顔画像データにほくろを付加した変更顔画像を示す図である。 図６の変更顔画像データを１６分割した領域を示す図である。 顔画像にしわを付加した場合を示す図である。 顔画像にひげを付加した場合を示す図である。 本発明の実施形態の第２変形例を示す概略ブロック図である。 入力端末の表示画面を示す図である。 変更顔画像データが予め記憶されている顔画像データと一致した場合を示す図である。

符号の説明

　１…第１画像データ入力部、２…第１顔領域検出部、３…第１特徴量検出部、４…第１特徴量演算画像処理部、５…第１特徴量記録部、６…第１認証部、７…第１制御部、８…眉、９…目、１０…口、１１…第２画像データ入力部、１２…第２顔領域検出部、１３…第２特徴量検出部、１４…第２特徴量演算画像処理部、１５…第２特徴量記録部、１６…第２認証部、１７…第２制御部、１８…ほくろ、１９…領域、２０…しわ、２１…ひげ、２２…アイテム入力部、２３…画像表示部、２４…アイテム群、２５…照会アイコン

Claims (2)

1. 　予め人物の顔画像データを記憶した第１特徴量記録部と、
   　人物認証を行うための顔画像データを入力する第１画像データ入力部と、
   　前記顔画像データから前記人物の顔画像の特徴量を検出した後，前記特徴量を演算処理する第１演算処理手段と、
   　前記第１演算処理手段から出力された演算結果が前記第１特徴量記録部に記憶された前記人物の顔画像に一致するかどうかを判別して、一致した場合には、一致データを出力し、一致しない場合には、前記第１画像データ入力部に前記人物認証条件を変えて再度人物画像データを入力する第１認証部と、
   　予め人物の顔表情データを記憶した第２特徴量記録部と、
   　前記一致データに基づいて前記人物の顔表情データを入力する第２画像データ入力部と、
   　前記顔表情データから前記顔表情の特徴量を検出した後，前記特徴量を演算処理する第２演算処理手段と、
   　前記第２演算処理手段から出力された演算結果が前記第２特徴量記録部に記憶された前記人物の顔表情データに一致するかどうかを判別して、一致した場合には、一致データを出力し、一致しない場合には前記第２画像データ入力部に前記人物の顔表情条件を変えて再度人物画像データを入力する前記人物を特定する第２認証部と、
   からなることを特徴とする人物認証装置。
2. 　予め人物の第１の顔画像データを記憶した第１特徴量記録部と、
   　人物認証を行うための前記第１の顔画像データを入力する第１画像データ入力部と、
   　前記顔画像データから前記第１の顔画像の特徴量を検出した後，前記特徴量を演算処理する第１演算処理手段と、
   　前記第１演算処理手段から出力された演算結果が前記第１特徴量記録部に記憶された前記人物の第１の顔画像に一致するかどうかを判別して、一致した場合には、一致データを出力し、一致しない場合には、前記第１画像データ入力部に前記人物認証条件を変えて再度人物画像データを入力する第１認証部と、
   　予め前記人物の顔画像に部材を付加合成した第２の顔画像データを記憶した第２特徴量記録部と、
   　前記一致データに基づいて前記人物の第３の顔画像データを入力する第２画像データ入力部と、
   　前記第２画像データ入力部から出力された前記人物の第３の顔画像データが前記第２特徴量記録部に記憶された前記第２の顔画像データに一致するかどうかを判別して、一致した場合には、一致データを出力し、一致しない場合には前記第２画像データ入力部に前記人物の顔画像に部材を付加する条件を変えて再度人物の顔画像データを入力する前記人物を特定する第２認証部と、
   からなることを特徴とする人物認証装置。
   

Images