JP2006085289A - 顔認証システムおよび顔認証方法 - Google Patents

Abstract

【課題】認証時の撮影装置が複数種類ある顔認証システムにおいて、登録時と認証時の撮影環境の差異だけでなく、認証時の撮影装置間の撮影環境の差異による認証精度の低下やばらつきを軽減する
【解決手段】照合部１２が、照合データと、登録サーバＳ２０のパターン展開部２２によってレンズ歪に応じた複数のパターンに展開された画像に基づく登録データとの照合を行い、その結果に基づいて認証部４が認証処理を行うので、各認証端末Ｓｎの認証用カメラ２のカメラ特性（レンズ歪特性）に最も近いパターンの下での照合を行うことが可能になる。
【選択図】 図２

Description

本発明は、顔認証システムおよび顔認証方法に関するものであり、特に詳細には、登録用撮像装置によって撮像された被認証者の顔画像を表す登録データと、登録用撮像装置とは機種が異なる２種以上の認証用撮像装置のいずれかによって撮像された被認証者の認証時における顔画像を表す照合データとを照合する顔認証システムおよび顔認証方法に関するものである。

被認証者が本人であることを認証する際に、顔や指紋、虹彩、声紋、筆跡等の生体情報を利用し、予め登録しておいた被認証者の生体情報と、認証時に取得した被認証者の生体情報とを照合し、両生体情報の類似度に基づいて認証を行う生体認証システムが知られており、この生体認証システムは、コンピュータへのログインやオンライン取引時の認証といった情報セキュリティ、入退室管理、勤怠管理、機器の動作制御等の様々な分野における利用が提案されている。

ところで、被認証者の顔の情報を利用して認証を行う顔認証システムでは、予め登録しておく登録画像は高性能カメラで撮影し、認証時の入力画像は安価なカメラで撮影することが考えられるので、カメラの機器性能による解像度、画質の相違により照合精度が著しく低下し誤認識してしまうという問題があった。

そこで、入力画像（認証側）と登録画像の撮影環境、撮影条件等が異なっていても高精度の照合処理を可能とするため、認証時においてカメラで撮影した被認証者の顔画像を解析し、環境パラメータ及び対象状態パラメータを推定し、推定した入力画像の上記パラメータを調整して撮影環境と対象物状態に対応する照合画像を生成して照合する方法が知られている。さらに、登録画像として異なる対象状態パラメータを持つ画像を複数登録しておき、照合時に複数の登録画像のうち入力画像のパラメータともっとも近いパラメータを持つ登録画像を選定し、選定した登録画像から入力画像の撮影環境・撮影状態に合わせた照合画像を生成して照合する方法も知られている（例えば、特許文献１）。

ここで、環境パラメータとしては、撮影時の撮影場所の照明条件（照度、光源の位置、光源の種類等）を表す照明パラメータや、カメラの機器性能（カメラの解像度、カメラのピント、カメラの露光度合い等）を表すカメラパラメータが想定されており、対象状態パラメータとしては、撮影方向、撮影ポジション、カメラとの距離、カメラに対する方向等を表すポジションパラメータや、眼鏡、ひげ、ピアスなどの被認証者に対する付随物の有無を表す付随物パラメータ、人物顔画像の表情を表す表情パラメータが想定されている。
特開２０００−３０６０９５号公報

前述のように、生体認証システムの適用分野は多岐にわたっており、例えば、被認証者が、１つの生体情報を用いて、入退室とコンピュータへのログイン、勤怠管理、機器操作を行うような、統合型の生体認証システムも考えられ、この場合には、認証時の撮影装置が複数種類あり、その認証時の撮影装置間でも、撮影環境、特にカメラの機器性能に差異が生じうる。

しかしながら、特許文献１記載の発明は、登録時と認証時の撮影環境の差異に着目しており、認証時の撮影装置が複数種類あり、認証時の撮影装置間でも、撮影環境、特にカメラの機器性能に差異が生じうることは想定していない。

本発明はこのような事情に鑑みてなされたものであり、認証時の撮影装置が複数種類ある顔認証システムにおいて、登録時と認証時の撮影環境の差異だけでなく、認証時の撮影装置間の撮影環境の差異による認証精度の低下やばらつきを軽減する顔認証システムおよび顔認証方法を提供することを目的とする。

本発明は、登録用撮像装置によって撮像された被認証者の顔画像を表す登録データと、登録用撮像装置とは機種が異なる２種以上の認証用撮像装置のいずれかによって撮像された被認証者の認証時における顔画像を表す照合データのいずれか一方のデータに基づいて、認証用撮像装置の機種に固有の特性を表すカメラ特性に応じた複数のパターン毎の被認証者の顔画像を表す複数のデータを生成し、前記一方に対する他方のデータと生成された複数のデータとを照合し、照合によって得られる両データの類似の程度を表す類似度に基づいて、被認証者が本人であるかどうか認証することを特徴とする。

すなわち、本発明の第１の顔認証システムは、被認証者の顔を登録用撮像装置により撮像して得られる被認証者の顔画像に基づいて、認証用撮像装置の機種に固有の特性を表すカメラ特性に応じた複数のパターン毎の被認証者の顔画像を表す登録データを生成する画像処理手段と、生成された複数のパターン毎の登録データを記憶する登録データ記憶手段と、被認証者の認証時に、登録用撮像装置とは機種が異なる２種以上の認証用撮像装置のいずれかにより撮像して得られる被認証者の顔画像を表す照合データを取得する照合データ取得手段と、登録データ記憶手段に記憶されている複数のパターン毎の登録データと照合データとを照合し、両データの類似の程度を表す類似度を求める照合手段と、求められた類似度が最も高くなる登録データと照合データの組合せにおける類似度に基づいて被認証者が本人であるかどうかを認証する認証手段とを設けたことを特徴とする。

本発明の第２の顔認証システムは、被認証者の顔を登録用撮像装置により撮像して得られる被認証者の顔画像を表す登録データを記憶する登録データ記憶手段と、被認証者の認証時に、登録用撮像装置とは機種が異なる２種以上の認証用撮像装置のいずれかにより撮像して得られる被認証者の顔画像を表す照合データを取得する照合データ取得手段と、登録データ記憶手段に記憶された登録データに基づいて、認証用撮像装置の機種に固有の特性を表すカメラ特性に応じた複数のパターン毎の登録データを生成する画像処理手段と、生成された複数のパターン毎の登録データと照合データとを照合し、両データの類似の程度を表す類似度を求める照合手段と、求められた類似度が最も高くなる登録データと照合データの組合せにおける類似度に基づいて被認証者が本人であるかどうかを認証する認証手段とを設けたことを特徴とする。

本発明の第３の顔認証システムは、被認証者の顔を登録用撮像装置により撮像して得られる被認証者の顔画像を表す登録データを記憶する登録データ記憶手段と、被認証者の認証時に、登録用撮像装置とは機種が異なる２種以上の認証用撮像装置のいずれかにより撮像して得られる被認証者の顔画像を表す照合データを取得する照合データ取得手段と、その照合データに基づいて、認証用撮像装置の機種に固有の特性を表すカメラ特性に応じた複数のパターン毎の照合データを生成する画像処理手段と、登録データと生成された複数のパターン毎の照合データとを照合し、両データの類似の程度を表す類似度を求める照合手段と、求められた類似度が最も高くなる登録データと照合データの組合せにおける類似度に基づいて被認証者が本人であるかどうかを認証する認証手段とを設けたことを特徴とする。

ここで、「カメラ特性」は認証用撮像装置毎に決まったものとなるので、ある被認証者がある認証用撮像装置で認証用の顔画像を撮影し、照合を行った結果、特定のカメラ特性のパターンを表すデータとの照合を行ったときの類似度が最高になった場合、その被認証者が認証用の撮影を行った認証用撮像装置で撮影された顔画像の照合の際には、その特定のカメラ特性のパターンを表すデータを用いると、他のパターンを表すデータを用いたときよりも類似度が高くなると推定される。

そこで、第１の顔認証システムにおいて、登録データ記憶手段が、カメラ特性に応じた複数のパターンを識別するパターン識別情報とそのパターン毎の登録データとを関連づけて記憶するようにし、照合データによって表される顔画像を撮像した認証用撮像装置を識別する装置識別情報と、照合手段によって求められた類似度が最も高くなる登録データと照合データの組合せにおける登録データのパターンのパターン識別情報とを関連づけて記憶する装置パターン記憶手段を設け、照合手段が、照合データによって表される顔画像を撮像した認証用撮像装置の装置識別情報と関連づけられたパターン識別情報を装置パターン記憶手段から取得し、そのパターン識別情報と関連づけられた登録データを登録データ記憶手段から取得し、その登録データと照合データとの照合を最初に行うようにすることが好ましい。

同様に、第２の顔認証システムにおいて、照合データによって表される顔画像を撮像した認証用撮像装置を識別する装置識別情報と、照合手段によって求められた類似度が最も高くなる登録データと照合データの組合せにおける登録データのパターンのパターン識別情報とを関連づけて記憶する装置パターン記憶手段を設け、照合手段が、照合データによって表される顔画像を撮像した認証用撮像装置の装置識別情報と関連づけられたパターン識別情報を装置パターン記憶手段から取得し、そのパターン識別情報で識別されるパターンの登録データと照合データとの照合を最初に行うようにすることが好ましい。

第３の顔認証システムにおいては、照合データによって表される顔画像を撮像した認証用撮像装置を識別する装置識別情報と、照合手段によって求められた類似度が最も高くなる登録データと照合データの組合せにおける照合データのパターンのパターン識別情報とを関連づけて記憶する装置パターン記憶手段を設け、照合手段が、照合データ取得手段によって取得された照合データによって表される顔画像を撮像した認証用撮像装置の装置識別情報と関連づけられたパターン識別情報を装置パターン記憶手段から取得し、そのパターン識別情報で識別されるパターンの照合データと登録データとの照合を最初に行うようにすることが好ましい。

次に、本発明による顔認証システムおよび顔認証方法の詳細について説明する。

「カメラ特性」とは、撮像装置の機種に固有の特性を表すものであり、レンズ、撮像素子、信号処理系の特性を意味する。具体例としては、レンズ歪、シャープネス、明るさ分布、色収差、レンズ収差等が挙げられる。

「登録データ」や「照合データ」は、被認証者から取得した顔画像をそのまま用いてもよいし、取得した顔情報から得た特徴量を用いてもよい。また、ある基本となる顔画像と、その顔画像を他のパターンでの顔画像に変換するためのパラメータとを組み合わせたものを用いてもよい。

本発明の顔認証システムおよび顔認証方法では、カメラ特性に応じた複数のパターンに展開されたデータセットを用いて照合を行う。具体的なシステムの態様としては、画像処理手段が、登録データを登録データ記憶手段に記憶させる前に１つの登録データから複数の登録データに展開する場合と、認証時に１つの登録データから複数の登録データに展開する場合と、認証時に１つの照合データから複数の照合データに展開する場合があるが、いずれの場合においても、認証用撮像装置のカメラ特性に最も近いパターンの下での照合を行うことが可能になるので、登録時と認証時の撮影環境の差異だけでなく、認証時の撮影装置間の撮影環境の差異による認証精度の低下やばらつきも軽減することができる。

さらに、登録データ記憶手段が、パターン識別情報とそのパターン毎の登録データとを関連づけて記憶するようにし、認証用撮像装置を識別する装置識別情報と、照合手段によって求められた類似度が最も高くなる登録データと照合データの組合せにおける一方のデータのカメラ特性のパターン識別情報とを関連づけて記憶する装置パターン記憶手段を設け、照合手段が、装置パターン記憶手段によって照合データのための撮像で用いられた認証用撮像装置の装置識別情報と関連づけられたパターン識別情報を取得し、取得したパターン識別情報と関連づけられた登録データを用いた照合を最初に行うようにした場合には、認証用撮像装置毎に、最も類似度が高くなると推定されるパターンの下での照合を優先的に行うため、照合処理の効率が向上する。

以下、図面を参照しつつ、本発明の実施の形態について説明する。

本発明の実施形態となる統合型顔認証システムは、被認証者が入力するＩＤ番号と、認証用カメラによって撮影される顔画像とに基づいて、施設への入退室やコンピュータへのログイン等の複数の認証を行うことができるものである。図１は、このシステムの設置例を示す模式図である。図に示したように、この施設には、被認証者の登録データを得るための登録用撮影を行う登録用撮影室Ｒ１と、人事部門のパーソナルコンピュータ（ＰＣ）が設置されている人事室Ｒ２と、研究開発部門のＰＣが設置されている研究開発室Ｒ３と、サーバコンピュータが設置されているサーバ室Ｒ４がある。施設の入口や、人事室Ｒ２、研究開発室Ｒ３、サーバ室Ｒ４の入口には、各々、入退室管理端末Ｓ１〜Ｓ４が設置されている。人事室Ｒ２と研究開発室Ｒ３に設置されているＰＣは、各々、顔画像を用いたログインの認証を行うログイン認証ＰＣ Ｓ５、Ｓ６である。サーバ室Ｒ１０のサーバコンピュータは、登録用撮影室Ｒ１で得られた登録データを保管するとともに、入退室管理端末Ｓ１〜Ｓ４、ログイン認証ＰＣ Ｓ５、Ｓ６からの要求に応じて照合処理を行うセンター照合サーバＳ１０である。また、登録用撮影室Ｒ１には、登録データの生成を行う登録サーバＳ２０が設置されている。

図２は、本発明の第１の実施形態となる統合型顔認証システムの構成を模式的に示すブロック図である。図に示すように、このシステムは、入退室管理端末Ｓ１〜Ｓ４、ログイン認証ＰＣ Ｓ５、Ｓ６（図ではＳｎ）、センター照合サーバＳ１０と、登録サーバＳ２０からなるものであり、これらはＬＡＮ等のネットワーク（図示なし）によって互いに通信可能になっている。なお、本発明の説明に必要な入退室管理端末Ｓ１〜Ｓ４およびログイン認証ＰＣ Ｓ５、Ｓ６の構成はほぼ同じであるため、以下の説明では、これらをまとめて認証端末Ｓｎと呼ぶ。

認証端末Ｓｎは、ＩＤ番号の入力を受け付けるＩＤ番号入力部１と、被認証者の顔画像を撮影する認証用カメラ２と、撮影された顔画像から特徴量を算出し、照合データとして出力する特徴量算出部３と、センター照合サーバＳ１０による照合処理の結果として出力される、登録データと照合データの類似度に基づいて、撮影された被認証者が本人であるかどうかを認証する認証部４と、センター照合サーバ１０とのネットワーク経由での通信を行うための通信インターフェース（図示なし）とからなる。

ＩＤ番号入力部１は、ＩＤ番号の入力のためのテンキーと、テンキーで入力された内容を認証端末Ｓｎのメモリに記憶させるための入力インターフェースとからなる。

認証用カメラ２は、デジタルスチルカメラであるが、その機種は、各認証端末により異なる。特徴量算出部３と認証部４は、認証端末Ｓｎで実行されるプログラムによって各々の機能が実現される。認証端末Ｓｎを操作する被認証者が正面を向いて撮影できるように設置されている。

センター照合サーバＳ１０は、被認証者のＩＤ情報毎に登録データを管理する登録データベース１１と、登録データベース１１に記憶された登録データと照合データを照合して類似度を算出する照合部１２と、認証端末Ｓｎや登録サーバＳ２０とのネットワーク経由での通信を行うための通信インターフェース（図示なし）とを備えたサーバコンピュータである。照合部１２は、センター照合サーバＳ１０で実行されるプログラムによってその機能が実現される。

登録サーバＳ２０は、登録データのもとになる被認証者の顔画像を撮影する登録用カメラ２１と、撮影された被認証者の顔画像に基づき、複数のレンズ歪パターンに展開した画像を生成するパターン展開部２２と、各パターンの画像から特徴量を算出し、登録データとして出力する特徴量算出部２３と、全パターンの登録データを被認証者のＩＤ情報と関連づけて記録する登録部２４と、センター認証サーバＳ１０とのネットワーク経由での通信を行うための通信インターフェース（図示なし）とを備えたサーバコンピュータである。パターン展開部２２と特徴量算出部２３と登録部２４は、登録サーバＳ２０で実行されるプログラムによって各々の機能が実現される。

登録用カメラ２１はデジタルスチルカメラであり、高品質な画像を得て照合精度を向上させるため、認証用カメラ２よりも高性能なものとなっている。

次に、このシステムで行われる処理の流れと処理の内容の詳細について説明する。

まず、被認証者の顔画像を表す登録データをセンター照合サーバＳ１０の登録データベース１１に予め登録しておく必要がある。被認証者は登録用撮影室Ｒ１に入室する。

登録用カメラ２１は、複数の照明条件、撮影角度、被写体状態（眼鏡の有無等）における被認証者の顔画像の撮影を行い、複数の顔画像データを取得する。

そして、パターン展開部２２は、得られた複数の顔画像データの各々について、複数のレンズ歪パターンの各々によって顔画像を歪ませる画像処理を行い、入力される各画像データにつき、互いに異なる複数のレンズ歪パターンによって歪ませられた画像データを得る。この画像処理には、レンズ歪を補正するための所定の位置補正パラメータや歪みパラメータを用いて入力画像を人為的に歪ませる公知の処理方法を採用することができる（例えば、特開2002-158915号公報）。

なお、登録用カメラ２１やパターン展開部２２は、各撮影パターン、または展開パターン（レンズ歪パターン）を識別可能なパターンＩＤを各画像と関連づける処理を同時に行う。パターンＩＤの具体例としては、６桁の数字の先頭から２桁ずつを、各照明条件を識別する値、被写体状態を識別する値、レンズ歪パターンを識別する値というように割り当てたものが考えられる。このパターンＩＤの利用については、第２の実施形態で詳しく説明する。第１の実施形態では、このパターンＩＤを付与する処理は必須の構成要素ではない。

次に、特徴量算出部２３は、生成された画像データの各々について、顔領域を抽出し、目、鼻、口等の特徴点を抽出し、抽出された各特徴点の位置、形状、サイズ等をパラメータ化して特徴ベクトル（特徴量）を求め、これを登録データとして出力する。なお、具体的な特徴量算出処理方法については公知の処理方法を採用することができる（例えば、特開平09-251534号公報）。

そして、登録部２４は、生成された複数の登録データの各々を、被認証者のＩＤ番号、パターンＩＤと関連づけてセンター照合サーバＳ１０の登録データベース１１に格納する。なお、被認証者のＩＤ番号は、登録サーバのキーボード等から入力するようにしてもよいし、ＩＤ番号が記憶されたＩＣカード等をカードリーダで読み取って入力するようにしてもよい。

次に、被認証者が認証端末Ｓｎで認証を受ける際に行われる認証処理について説明する。

まず、被認証者が認証端末Ｓｎのテンキーを操作して自らのＩＤ番号を入力することにより、ＩＤ番号入力部１はＩＤ番号の入力を受け付け、認証端末Ｓｎのメモリに記憶させる。次に、認証用カメラ２が被認証者の顔を撮影する。特徴量算出部３は、撮影された被認証者の顔画像の画像データを読み込み、この画像データに基づいてこの被認証者の認証カメラ２による撮影時における顔の特徴量を求め、照合データとして出力する。なお、この特徴量を求める処理は、登録サーバＳ２０の特徴量算出部２３が行う処理と同じである。照合データとＩＤ番号は、センター照合サーバＳ１０に送信される。

センター照合サーバＳ１０の照合部１２は、まず、登録データベース１１に対して、認証端末Ｓｎから受信した被認証者のＩＤ番号を検索キーとして検索を行い、該当する登録データを取得し、順次、受信した照合データとの照合を行い、両データの類似度を算出する。具体的には、両データの特徴ベクトルの類似度を算出する。ここで、類似度としては、画像間の相関値や特徴空間中でのユークリッド距離などの統計的な距離を用いることができる（前述の特開平09-251534号公報等参照）。

ここで、算出された類似度が所定の閾値Th以上であった場合には、登録データの取得を中止し、照合の結果、類似度が所定の閾値Th以上となる登録データと照合データの組合せがあった旨を認証端末Ｓｎに送信する。一方、被認証者のＩＤ番号と関連づけられたすべての登録データとの照合の結果、算出された類似度が所定の閾値Th以上とならなかった場合には、その旨を認証端末Ｓｎに送信する。

認証端末Ｓｎは、照合の結果をセンター認証サーバＳ１０から受信し、類似度が所定の閾値Th以上となる登録データと照合データの組合せがあった場合には、認証成功と判定し、入退室管理端末の場合には入室を許可し、ログイン認証ＰＣの場合には、ログインを許可する。一方、類似度が所定の閾値Th以上とならなかった場合には、入退室管理端末の場合には入室を拒絶し、ログイン認証ＰＣの場合には、ログインを拒絶する。

本発明の第１の実施形態となる統合型顔認証システムには、多様な認証端末Ｓｎがあり、認証用カメラ２の機種もそれぞれ異なっている。したがって、認証時に得られる画像はレンズ歪の度合の異なる多様なものとなり、照合データもその影響を受けたものとなる。そこで、このシステムでは、照合データと、登録サーバＳ２０のパターン展開部２２によってレンズ歪に応じた複数のパターンに展開された画像に基づく登録データとの照合を行い、その結果に基づいて認証処理を行うので、各認証端末Ｓｎの認証用カメラ２のカメラ特性に最も近いパターンの下での照合を行うことが可能になり、登録時と認証時の撮影環境の差異だけでなく、認証時のカメラ間の撮影環境の差異による認証精度の低下やばらつきも軽減することができる。

上記の第１の実施形態では、パターン展開部２２がレンズ歪に応じて複数のパターンの画像に展開しているが、このレンズ歪は認証用カメラ２毎に固有のものであり、同じ認証用カメラ２で撮影すれば、撮影された被認証者にかかわらず同じレンズ歪となる。そこで、以下では、第２の実施形態として、この点に着目して、照合処理をさらに効率化することを試みる。

本発明の第２の実施形態となる統合型顔認証システムでは、図３（ａ）に示すように、照合処理の際に、登録データと照合データの類似度が最も高くなったときの登録データのパターン識別番号（パターンＩＤ）と、照合データを送信してきた認証端末Ｓｎの認証用カメラ２を識別する番号（認証カメラＩＤ）とを関連づけて優先照合管理テーブルに登録し、同じ認証端末Ｓｎ（認証用カメラ２）から送信されてきた照合データの照合行う際には、この管理テーブルを参照して、最初の照合で用いる登録データを決定することを特徴とする。

図４は、本発明の第２の実施形態となる統合型顔認証システムの構成を模式的に示すブロック図である。図に示すように、第１の実施形態と比べると、上述の優先照合管理テーブル１３がセンター照合サーバＳ１０に付加された点のみが相違する。この優先照合管理テーブル１３は、センター照合サーバＳ１０のメモリ上に構成されるものであってもよいし、ハードディスク上にファイル、データベース（テーブル）として構成されるものであってもよい。

次に、この優先照合管理テーブル１３に関連する処理について詳細に説明する。

ある認証端末Ｓｎから初めて送信されてきた照合データの照合を行う場合、優先照合管理テーブル１３には、その認証端末Ｓｎの認証カメラＩＤが登録されていないので、照合部１２は、被認証者のＩＤ番号と関連づけられた登録データを登録データベース１１から順に取得し、順次照合を行う。

照合部１２は、最も類似度が高くなった登録データと照合データの組合せの際の登録データのパターンＩＤと、照合データを送信してきた認証端末Ｓｎの認証カメラＩＤとを関連づけて、図３（ａ）のように、優先照合管理テーブル１３に登録する。

一方、照合データを送信してきた認証端末Ｓｎの認証カメラＩＤが優先照合管理テーブル１３に登録されている場合には、照合部１２は、優先照合管理テーブル１３の該当エントリを読み込み、最適パターンＩＤ、すなわち、その認証カメラＩＤを有する認証端末Ｓｎから送信されてきた照合データに対する過去の照合処理において、最も類似度が高くなった登録データと照合データの組合せの際の登録データのパターンＩＤを取得する。そして、照合データと同時に送信されてきた被認証者のＩＤ番号とこのパターンＩＤとを検索キーとして登録データベース１１にアクセスし、該当する登録データを取得し、取得した登録データと照合データとの照合を行う。なお、この照合の結果、類似度が所定の閾値Th未満となった場合には、照合部１２は、被認証者のＩＤ番号のみを検索キーとして登録データベース１１にアクセスし、その被認証者の他の登録データを取得し、順次照合を行えばよい。また、その結果、類似度が所定の閾値Th以上となった場合には、照合部１２は、このときの認証カメラＩＤを有する優先照合管理テーブル１３のエントリの最適パターンＩＤをこのときの登録データのパターンＩＤに更新する。

以上のように、本発明の第２の実施形態では、登録データベース１１が、パターンＩＤとそのパターンＩＤで識別されるパターンの登録データとを関連づけて記憶するようにし、認証用カメラ２を識別する認証カメラＩＤと、照合部１２によって求められた類似度が最も高くなる登録データと照合データの組合せにおけるパターンＩＤとを関連づけて記憶する優先照合管理テーブル１３を設け、照合部１２が、照合データのための撮影で用いられた認証用カメラ２の認証カメラＩＤと優先照合制御テーブル１３によって関連づけられたパターンＩＤを取得し、そのパターンＩＤと登録データベース１１によって関連づけられた登録データを用いた照合を最初に行うようにしたので、認証用カメラ２（認証端末Ｓｎ）毎に、最も類似度が高くなると推定されるパターンの登録データとの照合を優先的に行うことが可能になり、照合処理の効率が向上する。

ここで、登録データは、レンズ歪に応じて複数のパターンに展開されたものであり、レンズ歪は、認証用カメラ２毎に決まるものであるから、照合の際の上記の優先度制御も認証用カメラ２の単位で行うことができるため、ある認証者がその認証端末Ｓｎ（認証用カメラ２）で初めて認証を行う場合であっても、その認証端末Ｓｎ（認証用カメラ２）で、他の被認証者が認証を行った実績があれば、優先照合管理テーブル１３には、優先的に照合を行うべき登録データのパターンが登録されているので、最初からそのパターンの登録データとの照合を行うことができ、照合処理が効率化される。

なお、優先照合管理テーブル１３は、例えば、図３（ｂ）のように構成することも可能である。図３（ｂ）では、認証カメラＩＤ毎、登録データのパターンＩＤ毎に、照合時の平均類似度を管理するようにしている。これにより、照合部１２は、照合データを送信してきた認証端末Ｓｎの認証用カメラ２の認証カメラＩＤを検索キーとして優先照合管理テーブル１３にアクセスし、登録データのパターンＩＤ毎の平均類似度を取得できるので、平均類似度の高いパターンＩＤの登録データから順に照合を行うことが可能になり、照合処理の効率がよりいっそう向上する。

次に、上記の実施形態の変形例について説明する。

図５は、第１の変形例となる統合型顔認証システムの構成を示すブロック図である。この例では、登録サーバＳ２０のパターン展開部２２をなくし、登録用カメラ２１で撮影された画像から特徴量が算出されるようにしてある。さらに、認証端末Ｓｎにパターン展開部５を設けてある。パターン展開部５が行う処理はパターン展開部２２が行っていた処理と同じである。したがって、認証用カメラ２で撮影された顔画像の画像データは、パターン展開部５によって、複数のレンズ歪パターンの各々に応じて顔画像を歪ませる画像処理が行われ、レンズ歪パターンが異なる複数の画像データが出力される。これら複数の画像データは特徴量算出部３によって、各々、特徴量が算出され、複数の照合データとして出力される。照合部１２では、複数の照合データの各々と登録データベース１１の被認証者の登録データとの間で順次照合処理を行い、上記の実施形態と同様に、算出された類似度が所定の閾値Th以上であった場合にはその時点で照合処理を中止し、認証部４による認証処理を行う。このように、登録データではなく、認証時に撮影された画像の画像データに対して、パターン展開部５がレンズ歪に応じた複数のパターンに展開し、照合データを複数生成するようにした場合も、上記の実施形態と同様に、各認証端末Ｓｎの認証用カメラ２のカメラ特性に最も近いパターンの下での照合を行うことが可能になり、登録時と認証時の撮影環境の差異だけでなく、認証時のカメラ間の撮影環境の差異による認証精度の低下やばらつきも軽減することができる。

図６は、第２の変形例となる統合型顔認証システムの構成を示すブロック図である。この変形例では、センター照合サーバＳ１０をなくし、登録サーバＳ２０のパターン展開部２２や特徴量算出部２３もなくし、各被認証者の登録時に撮影された画像の画像データ（登録画像データ）をＩＣカードＳ３０の登録データ記憶部に記録し、照合処理は認証端末Ｓｎの照合部８で行うようにしている。さらに、パターン展開部６や第２特徴量算出部７を認証端末Ｓｎに設けてある。パターン展開部６や第２特徴量算出部７の機能は第１の実施形態のパターン展開部２２や特徴量算出部２３と同じである。なお、ＩＣカードＳ３０は被認証者によって所持されるものであり、登録データ記憶部３１の記憶容量の制限により、登録時に撮影される画像は、他の実施形態よりも少なくなる。

以下、この変形例における処理の流れについて説明する。

まず、被認証者は、ＩＣカードＳ３０を認証端末Ｓｎのカードリーダ（図示なし）に挿入する。これに応じて、パターン展開部６は、ＩＣカードＳ３０の登録データ記憶部３１から登録画像データを読み込み、複数のレンズ歪パターンの各々に応じて顔画像を歪ませる画像処理を行い、レンズ歪パターンが異なる複数の画像データを出力する。第２特徴量算出部７は、出力された各々の画像データから特徴量を算出し、複数の登録データとして出力する。照合部８は、第１特徴量算出部３から第１の実施形態と同様に出力される照合データと、第２特徴量算出部７から出力された登録データの各々と順次照合を行い、算出された類似度が所定の閾値Th以上であった場合には、登録データの取得を中止し、認証部４による認証処理を行う。

以上のように、第２の変形例でも、他の実施形態と同様に、各認証端末Ｓｎの認証用カメラ２のカメラ特性に最も近いパターンの下での照合を行うことが可能になり、登録時と認証時の撮影環境の差異だけでなく、認証時のカメラ間の撮影環境の差異による認証精度の低下やばらつきも軽減することができる。また、この変形例では、登録画像データのパターン展開を照合時に行うため、登録データを複数記憶しておく必要がなくなるので、登録データベース１１のような大容量のデータベースを準備する必要がなくなり、システムの小型化には有効である。

また、この第２の変形例においても、優先照合管理テーブル９を利用することにより、より効率的なパターン展開を実現することができる。第２の変形例の場合、優先照合管理テーブル９は認証端末Ｓｎ毎に実装されるため、各認証端末Ｓｎでは、自らの端末の認証用カメラ２で撮影された顔画像に基づく照合データの照合に最適なパターンＩＤのみを記憶しておけばよい。そして、照合部８は、優先照合管理テーブル９を参照し、照合に最適なパターンＩＤを取得し、取得したパターンＩＤによって識別されるレンズ歪のパターンの画像処理のみをパターン展開部６に行わせるようにする。このようにすることにより、パターン展開部６は、必要なパターンの展開のみを行うことになるので、処理負荷が軽減される。なお、第１の変形例の場合においても、第２の変形例と同様の優先照合管理テーブル９を認証端末Ｓｎにもたせ、パターン展開部５がこの優先照合管理テーブル９にアクセスすることによって、照合に最適なレンズ歪パターンの画像データを優先的に生成することが可能になり、処理負荷の軽減に資する。

なお、既に取得した画像に対して画像処理を施してレンズの歪みを補正する際に、レンズとの距離が同じである被写体の像の歪みを補正することができるが、例えば、前と後に、レンズとの距離が違う２人の人物を撮像して得た画像においては、２人の人物の像の歪み具合が違っており、この歪み具合の違いをも補正するためには、２人の人物間の距離が必要とされる。また、顔画像の場合は、各顔パーツの凹凸具合が異なるので、その凹凸具合に起因する歪み具合も異なる。レンズ歪のパターン展開においてこのようなケースまで考慮すると、パターンの数が膨大なものとなってしまう。したがって、このようなケースにも対応するのであれば、例えば位置センサーなどで被認証者の部位からレンズまでの距離を測定し、凹凸がある部分の歪み具合の違いを解消するように補正するのが現実的である。

本発明の第１の実施形態となる統合型顔認証システムの設置例を模式的に示したブロック図 本発明の第１の実施形態となる統合型顔認証システムの構成を模式的に示すブロック図 本発明の第２の実施形態における優先照合管理テーブルの具体例を示す図 本発明の第２の実施形態となる統合型顔認証システムの構成を模式的に示すブロック図 本発明の実施形態の第１の変形例となる統合型顔認証システムの構成を模式的に示すブロック図 本発明の実施形態の第２の変形例となる統合型顔認証システムの構成を模式的に示すブロック図

符号の説明

Ｓ１，Ｓ２，Ｓ３，Ｓ４ 入退室管理端末
Ｓ５，Ｓ６ ログイン認証ＰＣ
Ｓｎ 認証端末
Ｓ１０ センター照合サーバ
Ｓ２０ 登録サーバ
Ｓ３０ ＩＣカード
１ ＩＤ番号入力部
２ 認証用カメラ
３ （第１）特徴量算出部
４ 認証部
５ パターン展開部
６ パターン展開部
７ 第２特徴量算出部
８ 照合部
９ 優先照合管理テーブル
１１ 登録データベース
１２ 照合部
１３ 優先照合管理テーブル
２１ 登録用カメラ
２２ パターン展開部
２３ 特徴量算出部
２４ 登録部
３１ 登録データ記憶部

Claims (7)

1. 被認証者の顔を登録用撮像装置により撮像して得られる該被認証者の顔画像に基づいて、認証用撮像装置の機種に固有の特性を表すカメラ特性に応じた複数のパターン毎の前記被認証者の顔画像を表す登録データを生成する画像処理手段と、
   生成された前記複数のパターン毎の前記登録データを記憶する登録データ記憶手段と、
   前記被認証者の認証時に、前記登録用撮像装置とは機種が異なる２種以上の認証用撮像装置のいずれかにより撮像して得られる該被認証者の顔画像を表す照合データを取得する照合データ取得手段と、
   前記複数のパターン毎の登録データと前記照合データとを照合し、両データの類似の程度を表す類似度を求める照合手段と、
   前記類似度に基づいて前記被認証者が本人であるかどうかを認証する認証手段とを備えたことを特徴とする顔認証システム。
2. 前記登録データ記憶手段は、前記パターンを識別するパターン識別情報と前記登録データとを関連づけて記憶するものであり、
   前記照合データによって表される前記顔画像を撮像した認証用撮像装置を識別する装置識別情報と、前記類似度が最も高くなる前記登録データと前記照合データの組合せにおける前記登録データの前記パターンを表す前記パターン識別情報とを関連づけて記憶する装置パターン記憶手段をさらに備え、
   前記照合手段は、前記照合データによって表される前記顔画像を撮像した認証用撮像装置を表す前記装置識別情報と関連づけられたパターン識別情報を前記装置パターン記憶手段から取得し、該パターン識別情報と関連づけられた登録データを前記登録データ記憶手段から取得し、該登録データと前記照合データとの照合を最初に行うものであることを特徴とする請求項１記載の顔認証システム。
3. 被認証者の顔を登録用撮像装置により撮像して得られる該被認証者の顔画像を表す登録データを記憶する登録データ記憶手段と、
   前記被認証者の認証時に、前記登録用撮像装置とは機種が異なる２種以上の認証用撮像装置のいずれかにより撮像して得られる該被認証者の顔画像を表す照合データを取得する照合データ取得手段と、
   前記登録データに基づいて、認証用撮像装置の機種に固有の特性を表すカメラ特性に応じた複数のパターン毎の登録データを生成する画像処理手段と、
   前記複数のパターン毎の登録データと前記照合データとを照合し、両データの類似の程度を表す類似度を求める照合手段と、
   前記類似度に基づいて前記被認証者が本人であるかどうかを認証する認証手段とを備えたことを特徴とする顔認証システム。
4. 前記照合データによって表される前記顔画像を撮像した認証用撮像装置を識別する装置識別情報と、前記類似度が最も高くなる前記登録データと前記照合データの組合せにおける前記登録データの前記パターンを表す前記パターン識別情報とを関連づけて記憶する装置パターン記憶手段をさらに備え、
   前記照合手段は、前記照合データによって表される前記顔画像を撮像した認証用撮像装置を表す前記装置識別情報と関連づけられたパターン識別情報を前記装置パターン記憶手段から取得し、該パターン識別情報で識別されるパターンの登録データと前記照合データとの照合を最初に行うものであることを特徴とする請求項３記載の顔認証システム。
5. 被認証者の顔を登録用撮像装置により撮像して得られる該被認証者の顔画像を表す登録データを記憶する登録データ記憶手段と、
   前記被認証者の認証時に、前記登録用撮像装置とは機種が異なる２種以上の認証用撮像装置のいずれかにより撮像して得られる該被認証者の顔画像を表す照合データを取得する照合データ取得手段と、
   前記照合データに基づいて、認証用撮像装置の機種に固有の特性を表すカメラ特性に応じた複数のパターン毎の照合データを生成する画像処理手段と、
   前記登録データと前記複数のパターン毎の照合データとを照合し、両データの類似の程度を表す類似度を求める照合手段と、
   前記類似度に基づいて前記被認証者が本人であるかどうかを認証する認証手段とを備えたことを特徴とする顔認証システム。
6. 前記照合データによって表される前記顔画像を撮像した認証用撮像装置を識別する装置識別情報と、前記類似度が最も高くなる前記登録データと前記照合データの組合せにおける前記照合データの前記パターンを表す前記パターン識別情報とを関連づけて記憶する装置パターン記憶手段をさらに備え、
   前記照合手段は、前記照合データ取得手段によって取得された照合データによって表される前記顔画像を撮像した認証用撮像装置を表す前記装置識別情報と関連づけられたパターン識別情報を前記装置パターン記憶手段から取得し、該パターン識別情報で識別されるパターンの照合データと前記登録データとの照合を最初に行うものであることを特徴とする請求項５記載の顔認証システム。
7. 登録用撮像装置によって撮像された被認証者の顔画像を表す登録データと、前記登録用撮像装置とは機種が異なる２種以上の認証用撮像装置のいずれかによって撮像された前記被認証者の認証時における顔画像を表す照合データのいずれか一方のデータに基づいて、認証用撮像装置の機種に固有の特性を表すカメラ特性に応じた複数のパターン毎の前記被認証者の顔画像を表す複数のデータを生成し、前記一方に対する他方のデータと前記生成されたデータとを照合し、該照合によって得られる前記両データの類似の程度を表す類似度に基づいて、前記被認証者が本人であるかどうか認証することを特徴とする顔認証方法。

Images