JP2007094637A - 顔画像認証装置 - Google Patents

Abstract

【課題】様々な顔向き条件および照明条件の組合せで顔画像による個人認証を行った場合でも、登録者を拒否する可能性を低減させる。
【解決手段】撮影した顔画像から顔特徴量を演算し（Ｓ２１１)、この顔特徴量と既登録の顔特徴量との類似度を演算し（Ｓ２１２)、類似度が類似度最大値Ｐmaxより大きい場合は（Ｓ２１３)、類似度を類似度最大値Ｐmaxに設定する（Ｓ２１４)。類似度最大値Ｐmaxが第１閾値Ｔｈ１以上である場合は（Ｓ２１５)、顔画像の顔向き条件の演算（Ｓ２１６)および照明条件の演算（Ｓ２１７)を実行し、顔向き条件および照明条件の組合せに対応して顔特徴量が未登録である場合（Ｓ２１８)、顔特徴量を顔向き条件および照明条件の組合せに対応させて追加登録する（Ｓ２１９)。類似度最大値Ｐmaxが第２閾値Ｔｈ２未満である場合（Ｓ２２０)、登録者であるとは認証せず（Ｓ２２２)、類似度最大値Ｐmaxが第２閾値Ｔｈ２以上である場合（Ｓ２２０)、登録者であると認証する（Ｓ２２１)。
【選択図】図５

Description

本発明は顔画像認証装置に関し、特に車両に乗車する運転者などの個人認証に好適な顔画像認証装置に関する。

車両のセキュリティシステムや利便システムとして、運転者の顔画像を利用した個人認証の活用が、数多く提案されている。

顔画像による個人認証の従来技術としては、オフィスへの入退室管理などのセキュリティ確保を目的とした顔認証システムがあり（例えば、特許文献１，特許文献２等参照）、車両用セキュリティシステムへの適用も提案されている。

特開２００５−１１５４８１号公報 特開２００４−１５７６０２号公報

上述した従来の認証技術の多くは、顔画像の陰影などを個人に依存する特徴量として捕らえ、予め登録した顔特徴量と比較することで、認証を行うようにしているが、顔画像の陰影などは、顔向き条件および照明条件の組合せによって大きく変わるため、あらかじめ顔特徴量を登録した際の顔向き条件および照明条件の組合せと異なる顔向き条件および照明条件の組合せで作動させた場合、顔特徴量の本人らしさが低下し、本人であっても認証を拒否されてしまう不具合が発生する。例えば、予め登録した顔特徴量が顔を上に向けて撮影した顔画像に基づく場合には、顔を下に向けて撮影したときの本人の顔画像の顔特徴量とは異なってくるので、本人棄却率が高くなる。また、予め登録した顔特徴量が真昼の外光下で顔を撮影した顔画像に基づく場合には、夕暮れのときに撮影した本人の顔画像の顔特徴量とは異なってくるので、本人棄却率が高くなる。特に、車両の運転者の個人認証システムに用いた場合には、右ハンドル車では、右窓側から顔に当たる外光量が多くならざるを得ず、天気のときと曇天のときとで撮影した本人の顔画像の顔特徴量とは異なってくるおそれがあり、正確な個人認証を行うことができないという問題点があった。

一方、そのような顔向き条件および照明条件の組合せで本人が認証を拒否されることを避けるため、本人判定閾値を低く設定すると、他人を受け入れる確率が高くなり、本来の個人認証性能を低下させてしまう不具合が発生する。

初期登録する時点で、多様な顔向き条件および照明条件での顔特徴量を登録しておけば、以上のような問題点を回避することが可能であるが、多様な顔向き条件および照明条件の組合せでの顔特徴量をあらかじめ登録することは、照明条件を整えることが困難である上に、登録者本人への負担も大きいので、実際に実施するのは困難であるという課題がある。

そこで、本発明は、多様な顔向き条件および照明条件の組合せでの顔特徴量を自動的に登録する顔画像認証装置を提供することを目的とする。

本発明は、上記問題を鑑みてなされたものであり、被撮影者の通常の振る舞いにおける顔画像を継続的に撮影し、その顔画像における顔向き条件および照明条件の組合せが、前記記憶手段に登録されている登録者の顔画像の顔特徴量の顔向き条件および照明条件の組合せと一致するかどうかを判定し、その顔向き条件および照明条件の組合せと一致する顔向き条件および照明条件の組合せが登録されていない場合に、被撮影者の顔画像の顔特徴量を前記記憶手段に追加登録し、様々な顔向き条件および照明条件の組合せでの顔画像の顔特徴量を登録させる。様々な顔向き条件および照明条件の組合せでの顔特徴量を登録することで、様々な顔向き条件および照明条件の組合せで顔画像による個人認証を行った場合でも、登録者を拒否する可能性を低減させることができる顔画像認証装置を提供することを目的とする。

課題を解決するための手段及び発明の効果

上記課題を解決するため、請求項１の顔画像認証装置は、登録者の顔画像の顔特徴量を顔向き条件および照明条件の組合せ毎に登録する記憶手段と、被撮影者の顔を撮影する顔撮影手段と、登録者の操作に基づいて前記顔撮影手段により撮影された発明者の顔画像の顔特徴量を、顔画像撮影時の顔向き条件および照明条件の組合せに対応させて前記記憶手段に初期登録する顔画像初期登録手段と、被撮影者の所定の動作を契機として前記顔撮影手段により撮影された被撮影者の顔画像の顔特徴量が前記記憶手段に登録されている登録者の顔画像の顔特徴量と類似する場合に、被撮影者の顔画像の顔特徴量を、登録者の顔画像の顔特徴量として、顔画像撮影時の顔向き条件および照明条件の組合せに対応させて前記記憶手段に追加登録する顔画像追加登録手段と、前記顔撮影手段により撮影された被撮影者の顔画像の顔特徴量が前記記憶手段に登録されている登録者の顔画像の顔特徴量のいずれかと類似する場合に、被撮影者は登録者であると認証する認証手段と、を備えることを特徴とする。請求項１記載の顔画像認証装置によれば、顔撮影用カメラで撮影した登録者の顔画像が予め登録されている顔向き条件および照明条件の組合せにて登録されているかどうかを判定し、登録されている顔向き条件および照明条件の組合せでない場合には、再度、登録者の顔画像を所定顔向き条件および照明条件の組合せにて追加登録するようにしたことにより、被撮影者の顔を顔撮影用カメラで撮影した顔画像を利用して個人認証を行うシステムにおいて、被撮影者の顔画像における顔向き条件および照明条件の組合せが、登録者の顔画像の顔特徴量の顔向き条件および照明条件の組合せと一致するかどうかを判定し、その顔向き条件および照明条件の組合せと一致する顔向き条件および照明条件の組合せが登録されていない場合に、被撮影者の顔画像の顔特徴量を前記記憶手段に追加登録し、様々な顔向き条件および照明条件の組合せでの顔画像の顔特徴量を登録させる。様々な顔向き条件および照明条件の組合せでの顔特徴量を登録することで、様々な顔向き条件および照明条件の組合せで顔画像による個人認証を行った場合でも、登録者を拒否する可能性を低減させることができる。

請求項２記載の顔画像認証装置は、請求項１記載の顔画像認証装置において、前記顔画像初期登録手段が、登録者の顔画像から顔特徴量を演算する顔特徴量演算手段と、登録者の顔画像から顔向き条件を演算する顔向き条件算出手段と、登録者の顔画像から照明条件を演算する照明条件算出手段と、前記顔特徴量を前記顔向き条件および前記照明条件の組合せに対応させて前記記憶手段に登録する顔特徴量・顔向き条件・照明条件記憶手段とを含むことを特徴とする。請求項２記載の顔画像認証装置によれば、顔特徴量を顔向き条件および照明条件の組合せに対応させて記憶手段に登録するようにしたことにより、どの条件で顔特徴量が登録されているかを明らかにすることができる。

請求項３の顔画像認証装置では、請求項１または２記載の顔画像認証装置において、前記顔画像追加登録手段が、被撮影者の顔画像から顔特徴量を演算する顔特徴量演算手段と、前記顔特徴量演算手段により演算された顔特徴量と前記記憶手段に登録されている顔特徴量との類似度を演算する顔特徴量類似度比較手段と、前記顔特徴量類似度比較手段により演算された類似度が類似度最大値より大きい場合に当該類似度を類似度最大値に設定する類似度最大値設定手段と、前記類似度最大値設定手段により設定された類似度最大値が第１閾値以上である場合に被撮影者の顔画像から顔向き条件を演算する顔向き条件算出手段と、被撮影者の顔画像から照明条件を演算する照明条件算出手段と、前記顔向き条件および前記照明条件の組合せに対応させて顔特徴量が未登録である場合に前記顔特徴量演算手段により演算された顔特徴量を前記顔向き条件および前記照明条件の組合せに対応させて前記記憶手段に登録する顔特徴量・顔向き条件・照明条件記憶手段とを含むことを特徴とする。請求項３記載の顔画像認証装置によれば、演算された顔特徴量と記憶手段に登録されている顔特徴量との類似度を演算し、演算された類似度が類似度最大値より大きい場合に当該類似度を類似度最大値に設定し、類似度最大値が第１閾値以上である場合に、今回の被撮影者が本来の登録者であると判定して顔特徴量の追加登録を許可し、顔画像の顔向き条件の演算および顔画像の照明条件の演算を実行し、算出された顔向き条件および照明条件の組合せに対応して顔特徴量を記憶手段に登録するようにしたことにより、類似度の低い顔特徴量の登録を防止することができる。

請求項４の顔画像認証装置は、請求項１ないし３のいずれか１項に記載の顔画像認証装置において、前記認証手段が、前記類似度最大値と登録者と認証する類似度の下限値である第２閾値とを比較し、前記類似度最大値が前記第２閾値以上である場合は被撮影者を登録者と認証することを特徴とする。請求項４記載の顔画像認証装置によれば、類似度最大値が第２閾値以上である場合に被撮影者を登録者と認証するようにしたことにより、最も確実性の高い類似度を用いて被撮影者を登録者と認証するので、登録者を拒否する可能性を低減させることができる。

請求項５の顔画像認証装置は、請求項１ないし４のいずれかに１項に記載の顔画像認証装置において、被撮影者の顔を照明する照明手段を備えることを特徴とする。請求項５記載の顔画像認証装置によれば、照明手段により被撮影者の顔を照明することができるので、より鮮明な顔画像を得ることができ、顔画像による個人認証の精度をさらに向上させることができる。

様々な顔向き条件および照明条件の組合せで顔画像による個人認証を行った場合でも、登録者を拒否する可能性を低減させるという目的を、被撮影者の顔を適時撮影し、被撮影者の顔画像の顔特徴量を記憶手段に追加登録し、様々な顔向き条件および照明条件の組合せでの顔画像の顔特徴量を登録することで達成した。

以下、本発明の実施例１について図面を参照しながら詳細に説明する。

図１は、本発明の実施例１に係る顔画像認証装置を示すブロック図である。本実施例１に係る顔画像認証装置は、車両の運転席に対応するインスツルメントパネル内に配設された画像処理装置１０と、画像処理装置１０とから起動されるＬＥＤ（Light Emitting Diode)電流制御装置２０と、ＬＥＤ電流制御装置２０と接続され、車両の運転席に着座した運転者の顔を照明するように運転席に対応するインスツルメントパネルに組み込まれたＬＥＤ３０と、車両の運転席に着座した運転者の顔を撮影できるように運転席に対応するインスツルメントパネルに組み込まれた、例えばＣＣＤ（Charge Coupled Device）カメラ等でなる顔撮影用カメラ４０とから構成されている。

図２を参照すると、画像処理装置１０は、ＣＰＵ（Central Processing Unit)１１と、画像処理プログラム１００を格納するＲＯＭ（Read Only Memory)１２と、ＣＰＵ１１の動作データを一時的に格納するためのＲＡＭ（Random Access Memory)１３と、登録者の顔画像の顔特徴量ならびに顔向き条件および照明条件の組合せを登録するＥＥＰＲＯＭ（Electrically Erasable &Programmable Read Only Memory)等でなる不揮発性メモリ１４とを含んで構成されている。

図３を参照すると、画像処理プログラム１００には、顔画像登録起動信号入力手段１０１と、顔画像登録終了信号入力手段１０２と、撮影トリガー入力手段１０３と、登録条件読出し手段１０４と、他の機器への通信手段１０５と、画像入力手段１０６と、顔特徴量演算手段１０７と、顔特徴量類似度比較手段１０８と、第１閾値記憶手段１０９と、第２閾値記憶手段１１０と、顔向き条件算出手段１１１と、照明条件算出手段１１２と、顔特徴量・顔向き条件・照明条件記憶手段１１３と、登録条件類似度比較手段１１４とを含んで構成されている。

図４は、顔画像初期登録処理（顔画像初期登録手段）を示すフローチャートである。

図５は、顔画像追加登録処理（顔画像追加登録手段）を示すフローチャートである。なお、実施例１では、顔画像による個人認証処理の登録者判定閾値として、顔画像の追加登録を許可する類似度の下限値である第１閾値Ｔｈ１と、顔画像による個人認証において登録者と判定する類似度の下限値である第２閾値Ｔｈ２とを有しており、第１閾値Ｔｈ１＞第２閾値Ｔｈ２（閾値が大きい方が厳しいとする)としてある。例えば、第１閾値Ｔｈ１は登録者棄却率０.５％、第２閾値Ｔｈ２は登録者棄却率２％となるように設定されている。

図６は、顔特徴量を不揮発性メモリ１４に登録する顔向き条件および照明条件の組合せを例示する概念図である。均等照明，右顔面が明るい照明，左顔面が明るい照明，顔面下半分が明るい照明の４つ照明条件下で、それぞれ上下顔向きが−３０°から＋３０°まで１０°毎で、かつ左右顔向きが−３０°から＋３０°まで１０°毎に顔特徴量が登録されるようになっている。なお、この実施例では、登録する情報量を削減するため、均等照明，右顔面が明るい照明，左顔面が明るい照明，顔面下半分が明るい照明の各照明条件下で、（−３０°，−３０°），（−３０°，＋３０°），（＋３０°，−３０°），（＋３０°，＋３０°）の４つの顔向きの近傍の条件は除かれている。

次に、このように構成された本実施例１に係る顔画像認証装置の動作について、図４および図５のフローチャートを参照しながら説明する。

（１) 顔画像初期登録処理（図４参照)

本発明の実施にあたっては、少なくとも１つ以上の顔向き条件および照明条件の組合せでの登録者の顔画像の顔特徴量ならびに顔画像撮影時の顔向き条件および照明条件の組合せが初期登録されていることが前提となるので、画像処理装置１０は、まず、図４に示す顔画像初期登録処理を実行する。

車両の運転席に着座した者（顔画像初期登録処理では、登録者という)が自身の顔画像を登録するために顔画像登録ボタン等を操作すると、画像処理装置１０は、顔画像登録起動信号入力手段１０１により顔画像登録起動信号を入力して（図４のＳ１０１)、画像処理プログラム１００を起動する（図４のＳ１０２)。なお、顔画像登録起動信号入力手段１０１は、暗証番号などによる認証手段を有し、その認証結果をもって、画像処理プログラム１００を起動するようになっている。

次に、画像処理装置１０は、ＬＥＤ電流制御装置２０を起動する（図４のＳ１０３)。これにより、ＬＥＤ３０の発光が可能となる。

続いて、画像処理装置１０は、顔撮影用カメラ４０を起動する（図４のＳ１０４)。これにより、登録者の顔の撮影が可能になる。

次に、登録者が撮影ボタン等を操作すると、画像処理装置１０は、撮影トリガー信号入力手段１０３により撮影トリガー信号を入力し（図４のＳ１０５)、ＬＥＤ３０を発光させると同時に、顔撮影用カメラ４０により登録者の顔画像を撮影する（図４のＳ１０６)。撮影された登録者の顔画像は、画像入力手段１０６により顔撮影用カメラ４０から画像処理装置１０に入力されて、ＲＡＭ１３上に一時的に格納される。

続いて、画像処理装置１０は、顔特徴量演算手段１０７により、ＲＡＭ１３上に一時的に格納された顔画像から顔特徴量を演算する（図４のＳ１０７)。詳しくは、顔特徴量演算手段１０７は、まず、ＲＡＭ１３上に一時的に格納された顔画像から登録者の顔領域を検出する。例えば、あらかじめ用意されたテンプレートを、顔画像中を移動させながら相関値を求めることにより、最も高い相関値を持った場所を顔領域とする。なお、その他に、固有空間法や部分空間法を利用した顔領域抽出法などを使用してもよい。次に、顔特徴量演算手段１０７は、検出された顔領域の部分の中から、目、鼻、口といった顔部品の位置を検出する。この検出方法としては、例えば、文献（福井和広、山口修：「形状抽出とパターン照合の組合せによる顔特徴点抽出」、電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ２１７０−２１７７（１９９７））などに記載された方法を用いることができる。続いて、顔特徴量演算手段１０７は、検出された顔部品の位置を基に、顔領域を一定の大きさ、形状に切り出し、その濃淡情報を顔の特徴量として用いる。たとえば、ｍピクセル×ｎピクセルの領域の濃淡値をそのまま情報として用い、ｍ×ｎ次元の情報を特徴ベクトルとして用いることができる。

次に、画像処理装置１０は、顔向き条件算出手段１１１により、ＲＡＭ１３上に一時的に格納された顔画像から顔向き条件を演算する（図４のＳ１０８)。詳しくは、顔向き条件算出手段１１１は、顔のテンプレートによる顔検出と、目、鼻などの顔部品の検出座標の相対位置によって顔の向きを調べる。

続いて、画像処理装置１０は、照明条件算出手段１１２により、ＲＡＭ１３上に一時的に格納された顔画像から照明条件を演算する（図４のＳ１０９)。例えば、照明条件算出手段１１２は、顔画像を左上四半部，右上四半部，左下四半部，右下四半部の４つの画像領域に分け、各画像領域の明度の平均値を比較することにより、均等照明，右顔面が明るい照明，左顔面が明るい照明，顔面下半分が明るい照明の４つ照明条件のいずれであるかを決定する。

次に、画像処理装置１０は、顔特徴量・顔向き条件・照明条件記憶手段１１３により、ステップＳ１０７で演算した顔特徴量を、ステップＳ１０８で演算した顔向き条件、およびステップＳ１０９で演算した照明条件の組合せに対応させて不揮発性メモリ１４に登録する（図４のＳ１１０)。この際、登録条件類似度判定手段１１４により、図６に示した顔向き条件および照明条件の組み合わせの中から、演算した顔向き条件および演算した照明条件の組合せに最も近い顔向き条件および照明条件の組み合わせが選定される。

そして、画像処理装置１０は、登録者に顔画像の初期登録を終了するか否かを問い合せ（図４のＳ１１１)、登録者の顔画像登録終了ボタン等の操作に基づく顔画像登録終了信号を、顔画像登録終了信号入力手段１０２により入力しないかぎり（図４のＳ１１１：Ｎｏ)、ステップＳ１０５に制御を戻して、ステップＳ１０５〜Ｓ１１１を繰り返す。

顔特徴量の顔向き条件および照明条件の組合せに対応する登録を１回以上行った後に、登録者が顔画像登録終了ボタン等を操作すると、画像処理装置１０は、顔画像登録終了信号入力手段１０２により顔画像登録終了信号を入力し（図４のＳ１１１：Ｙｅｓ)、顔画像初期登録処理を終了する（図４のＳ１１２)。

（２) 顔画像追加登録処理（図５参照)

車両への人の乗車意図を契機として、画像処理装置１０は、顔画像追加登録処理を実行する。

車両の運転席に人（顔画像追加登録処理では、被撮影者という）が乗り込むと、運転席シートに内蔵したセンサ（例えば荷重センサなど)により被撮影者の運転席への着座が検出され（図５のＳ２０１)、画像処理装置１０は、画像処理プログラム１００を起動する（図５のＳ２０２)。なお、被撮影者の運転席への着座検出に代えて、車両ドアの開錠等を契機として顔画像登録起動信号を入力するようにしてもよい。このように、被撮影者からの指示なしに、被撮影者の運転席への乗車意図によって、画像処理プログラム１００を自動的に起動する点は、本発明の特徴である。

次に、画像処理装置１０は、登録条件読出し手段１０４により、不揮発性メモリ１４から顔特徴量が未登録の顔向き条件および照明条件の組合せを読み出す（図５のＳ２０３)。

続いて、画像処理装置１０は、すでに顔特徴量が登録されている顔向き条件および照明条件の組合せの数（条件登録数）を演算し（図５のＳ２０４)、顔向き条件および照明条件の組合せが１つ以上登録されているかどうかを判定する（図５のＳ２０５)。

顔特徴量が登録されている顔向き条件および照明条件の組合せが１つも無い場合は（図５のＳ２０５：Ｎｏ)、画像処理装置１０は、他の機器への通信手段１０５により、顔画像初期登録処理（図４参照)が実施されていないことを他の機器（例えば、メータ装置，カーナビゲーション装置，携帯電話機等）に送信して被撮影者，車両オーナ等に報知した後（図５のＳ２２６)、顔画像追加登録処理を終了する（図５のＳ２２７)。

顔特徴量が登録されている顔向き条件および照明条件の組合せが１つ以上有る場合は（図５のＳ２０５：Ｙｅｓ)、画像処理装置１０は、不揮発性メモリ１４から登録されている顔特徴量ならびに顔向き条件および照明条件の組合せを読み出す（図５のＳ２０６)。

次に、画像処理装置１０は、今回の顔画像による個人認証動作における類似度最大値Ｐmaxを０に初期設定する（図５のＳ２０７)。

続いて、画像処理装置１０は、ＬＥＤ電流制御装置２０を起動する（図５のＳ２０８)。これにより、ＬＥＤ３０の発光が可能となる。

次に、画像処理装置１０は、顔画像撮影用カメラ４０を起動する（図５のＳ２０９)。これにより、被撮影者の顔の撮影が可能になる。

続いて、画像処理装置１０は、撮影トリガー入力手段１０３により撮影トリガー信号を自動的に入力してＬＥＤ３０を発光させると同時に顔画像撮影用カメラ４０のシャッターを作動させ、被撮影者の顔画像を撮影する（図５のＳ２１０)。撮影された被撮影者の顔画像は、画像入力手段１０６により、顔撮影用カメラ４０から画像処理装置１０に入力され、ＲＡＭ１３上に一時的に格納される。

次に、画像処理装置１０は、顔特徴量演算手段１０７により、ＲＡＭ１３上に一時的に格納された被撮影者の顔画像から顔特徴量を演算する（図５のＳ２１１)。なお、顔特徴量の演算については、すでにステップＳ１０７で詳述した。

続いて、画像処理装置１０は、顔特徴量類似度比較手段１０８により、ステップＳ２１１で演算された顔特徴量と、不揮発性メモリ１４に初期登録されている顔特徴量との類似度を演算する（図５のＳ２１２)。詳しくは、顔特徴量類似度比較手段１０８は、部分空間法や複合類似度法などの方法を用いて顔特徴量の類似度を演算する。たとえば、文献（前田賢一、渡辺貞一：「局所的構造を導入したパターン・マッチング法」、電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ６８−Ｄ，Ｎｏ．３，ｐｐ３４５−３５２（１９８５））に記載されている相互部分空間法を用いることができる。この方法では、演算された顔特徴量も、初期登録されている顔特徴量も部分空間として表現され、２つの部分空間のなす「角度」を類似度として定義する。なお、相関値やユークリッド距離といった他の尺度で類似度を定義してもよいことはもちろんである。

次に、画像処理装置１０は、演算された類似度が類似度最大値Ｐmaxより大きいかどうかを判定し（図５のＳ２１３)、大きい場合は（図５のＳ２１３：Ｙｅｓ)、演算された類似度を類似度最大値Ｐmaxに設定する（図５のＳ２１４)。演算された類似度が類似度最大値Ｐmax以下の場合には（図５のＳ２１３：Ｎｏ)、ステップＳ２１４をスキップする。

続いて、画像処理装置１０は、類似度最大値Ｐmaxと、第１閾値記憶手段１０９に記憶されている、顔画像の追加登録を許可する類似度の下限値である第１閾値Ｔｈ１とを比較する（図５のＳ２１５)。

類似度最大値Ｐmax が第１閾値Ｔｈ１以上である場合（図５のＳ２１５：Ｙｅｓ)、画像処理装置１０は、ステップＳ２１６に制御を移し、顔向き条件算出手段１１１による被撮影者の顔画像の顔向き条件の演算（図５のＳ２１６：図４のＳ１０８と同様)、照明条件算出手段１１２による被撮影者の顔画像の照明条件の演算（図５のＳ２１７：図４のＳ１０９と同様)を実行し、算出された顔向き条件および照明条件の組合せに対応して顔特徴量が未登録であるかどうかを判定する（図５のＳ２１８)。顔向き条件および照明条件の組合せに対応して顔特徴量が未登録である場合は（図５のＳ２１８：Ｙｅｓ)、画像処理装置１０は、顔特徴量・顔向き条件・照明条件記憶手段１１３により、被撮影者の顔画像の顔特徴量を顔向き条件および照明条件の組合せに対応させて不揮発性メモリ１４に登録し（図５のＳ２１９)、ステップＳ２２０に制御を移す。この際、登録条件類似度判定手段１１４により、図６に示した顔向き条件および照明条件の組み合わせの中から、演算した顔向き条件および演算した照明条件の組合せに最も近い顔向き条件および照明条件の組み合わせが選定される。顔向き条件および照明条件の組合せに対応して顔特徴量がすでに登録されている場合は（図５のＳ２１８：Ｎｏ)、画像処理装置１０は、登録者の顔画像の顔特徴量を不揮発性メモリ１４に登録することなしに、ステップＳ２２０に制御を移す。

一方、類似度最大値Ｐmaxが第１閾値Ｔｈ１未満である場合は（図５のＳ２１５：Ｎｏ)、画像処理装置１０は、ステップＳ２１６〜Ｓ２１９を実行することなく、ステップＳ２２０に制御を移す。

ステップＳ２２０では、画像処理装置１０は、類似度最大値Ｐmaxと、第２閾値記憶手段１１０に記憶されている、顔画像による個人認証において登録者と認証する類似度の下限値である第２閾値Ｔｈ２とを比較する。

類似度最大値Ｐmaxが第２閾値Ｔｈ２未満である場合は（図５のＳ２２０：Ｎｏ)、画像処理装置１０は、被撮影者の顔画像を登録者以外の顔画像であると判定し、すなわち被撮影者を登録者であるとは認証せずに（図５のＳ２２２)、認証結果を他の機器に送信する（図５のＳ２２３)。

他方、類似度最大値Ｐmaxが第２閾値Ｔｈ２以上である場合は（図５のＳ２２０：Ｙｅｓ)、画像処理装置１０は、被撮影者の顔画像を登録者の顔画像であると判定し、すなわち被撮影者を登録者と認証し（図５のＳ２２１)、認証結果を他の機器に送信する（図５のＳ２２３)。

次に、画像処理装置１０は、類似度最大値Ｐmaxが第２閾値Ｔｈ２以上で、かつ、同じ被撮影者が継続して運転席に着座中であるかを判定する（図５のＳ２２４)。同じ被撮影者が継続して運転席に着座中であるかどうかは、例えば、シートに内蔵した荷重センサにより、被撮影者が離席していないことを検出して判断する。

類似度最大値Ｐmaxが第２閾値Ｔｈ２以上で、かつ、同じ被撮影者が継続して運転席に着座中であると判定された場合は（図５のＳ２２４：Ｙｅｓ)、画像処理装置１０は、撮影インターバルの演算後（図５のＳ２２５)、ステップＳ２１０に制御を戻し、ステップＳ２１０〜Ｓ２２４が再度実行する。これにより、顔画像が未登録の顔向き条件および照明条件の組合せに対応させて、顔画像を自動的に順次登録することができる。

類似度最大値Ｐmaxが第２閾値Ｔｈ２以上で、かつ、同じ被撮影者が継続して運転席に着座中であると判定されなかった場合は（図５のＳ２２４：Ｎｏ)、画像処理装置１０は、顔画像追加登録処理を終了する（図５のＳ２２７)。

以上のような一連の動作を繰り返すことで、登録者が面倒な顔画像の登録操作を繰り返すことなしに、様々な顔向き条件および照明条件の組み合わせでの顔特徴量を自動的にαに追加登録することができる。このため、顔画像による個人認証時には、自動的に登録された複数の顔特徴量に基づいて認証がなされるため、顔画像撮影時の顔向き条件および照明条件の組合せが理想的な顔向き条件および照明条件の組合せから多少外れていても、登録者を棄却する可能性を低減することができる。

なお、本実施例１では、車両の運転者の顔を顔撮影用カメラ４０で撮影した顔画像を利用して個人認証を行うシステムを前提として説明したが、本発明の適用対象が車両での個人認証に限定されるわけではないことはいうまでもない。例えば、図書館，美術館等の入館管理システム、会社，研究所等の入退室管理システム、カメラ付携帯電話機での個人認証システム等の様々な分野で本発明を適用することができる。

以上、本発明の実施例を説明したが、これはあくまでも例示にすぎず、本発明はこれに限定されるものではなく、特許請求の範囲の趣旨を逸脱しない限りにおいて、当業者の知識に基づく種々の変更が可能である。

本発明の実施例１に係る顔画像認証装置の構成を示すブロック図。 図１中の画像処理装置の構成を示す回路ブロック図。 図２中の画像処理プログラムの構成を示すブロック図。 本実施例１に係る顔画像認証装置における顔画像初期登録処理を示すフローチャート。 本実施例１に係る顔画像認証装置における顔画像追加登録処理を示すフローチャート。 図５の顔画像追加登録処理における顔画像を登録する顔向き条件および照明条件の組合せの例を示す図。

符号の説明

１０ 画像処理装置
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ 不揮発性メモリ
２０ ＬＥＤ電流制御装置
３０ ＬＥＤ
４０ 顔撮影用カメラ
１００ 画像処理プログラム
１０１ 顔画像登録起動信号入力手段
１０２ 顔画像登録終了信号入力手段
１０３ 撮影トリガー入力手段
１０４ 登録条件読出し手段
１０５ 他の機器への通信手段
１０６ 画像入力手段
１０７ 顔特徴量演算手段
１０８ 顔特徴量類似度比較手段
１０９ 第１閾値記憶手段
１１０ 第２閾値記憶手段
１１１ 顔向き条件算出手段
１１２ 照明条件算出手段
１１３ 顔特徴量・顔向き条件・照明条件記憶手段
１１４ 登録条件類似度比較手段

Claims (5)

1. 登録者の顔画像の顔特徴量を顔向き条件および照明条件の組合せ毎に登録する記憶手段と、
   被撮影者の顔を撮影する顔撮影手段と、
   登録者の操作に基づいて前記顔撮影手段により撮影された発明者の顔画像の顔特徴量を、顔画像撮影時の顔向き条件および照明条件の組合せに対応させて前記記憶手段に初期登録する顔画像初期登録手段と、
   被撮影者の所定の動作を契機として前記顔撮影手段により撮影された被撮影者の顔画像の顔特徴量が前記記憶手段に登録されている登録者の顔画像の顔特徴量と類似する場合に、被撮影者の顔画像の顔特徴量を、登録者の顔画像の顔特徴量として、顔画像撮影時の顔向き条件および照明条件の組合せに対応させて前記記憶手段に追加登録する顔画像追加登録手段と、
   前記顔撮影手段により撮影された被撮影者の顔画像の顔特徴量が前記記憶手段に登録されている登録者の顔画像の顔特徴量のいずれかと類似する場合に、被撮影者は登録者であると認証する認証手段と、
   を備えることを特徴とする顔画像認証装置。
2. 前記顔画像初期登録手段が、登録者の顔画像から顔特徴量を演算する顔特徴量演算手段と、登録者の顔画像から顔向き条件を演算する顔向き条件算出手段と、登録者の顔画像から照明条件を演算する照明条件算出手段と、前記顔特徴量を前記顔向き条件および前記照明条件の組合せに対応させて前記記憶手段に登録する顔特徴量・顔向き条件・照明条件記憶手段とを含む請求項１記載の顔画像認証装置。
3. 前記顔画像追加登録手段が、被撮影者の顔画像から顔特徴量を演算する顔特徴量演算手段と、前記顔特徴量演算手段により演算された顔特徴量と前記記憶手段に登録されている顔特徴量との類似度を演算する顔特徴量類似度比較手段と、前記顔特徴量類似度比較手段により演算された類似度が類似度最大値より大きい場合に当該類似度を類似度最大値に設定する類似度最大値設定手段と、前記類似度最大値設定手段により設定された類似度最大値が第１閾値以上である場合に被撮影者の顔画像から顔向き条件を演算する顔向き条件算出手段と、被撮影者の顔画像から照明条件を演算する照明条件算出手段と、前記顔向き条件および前記照明条件の組合せに対応して顔特徴量が未登録である場合に前記顔特徴量演算手段により演算された顔特徴量を前記顔向き条件および前記照明条件の組合せに対応させて前記記憶手段に登録する顔特徴量・顔向き条件・照明条件記憶手段とを含む請求項１または２記載の顔画像認証装置。
4. 前記認証手段が、前記類似度最大値と登録者と認証する類似度の下限値である第２閾値とを比較し、前記類似度最大値が前記第２閾値以上である場合は被撮影者を登録者と認証する請求項１ないし３のいずれか１項に記載の顔画像認証装置。
5. 被撮影者の顔を照明する照明手段を備える請求項１ないし４のいずれかに１項に記載の顔画像認証装置。

Images