JP2007058397A - 認証システム、登録システム及び証明用媒体 - Google Patents

Abstract

【課題】ＩＤカードを利用した精度の高い認証システムを提供する。
【解決手段】顔認証システム１は、ＩＤカード９に記録されているＩＤ情報からＩＤカードに記録されている人物の顔の３次元情報と２次元情報とを有する登録顔特徴量ＥＢ２を取得するとともに、認証対象者ＨＭｂから直接取得した２枚の画像（照合画像ＥＣ１）に基づいて認証対象者ＨＭｂの顔の３次元情報と２次元情報とを有する認証顔特徴量ＥＣ２を取得し、登録顔特徴量ＥＢ２と認証顔特徴量ＥＣ２とを比較することで、認証対象者ＨＭｂがＩＤカード９に記録された人物と同一人物であるか否かの認証（照合）を行うので、精度の高い認証を行うことができる。
【選択図】図１

Description

本発明は、証明用媒体を用いた顔の認証技術に関する。

近年、ネットワーク技術等の発展によって電子化された様々なサービスが普及し、人に頼らない非対面での本人認証技術の必要性が高まっている。これに伴い、人物の生体特徴によって自動的に個人の識別を行うバイオメトリクス認証技術（生体認証技術）の研究が盛んに行われている。バイオメトリクス認証技術の一つである顔認証技術は、非接触型の認証方法であり、監視カメラによるセキュリティ或いは顔をキーとした画像データベース検索等、様々な分野での応用が期待されている。

一方、従来からクレジットカード、ＩＤカード等の使用に際して、カードの所有者が正当な所有者であるか否かを正確に識別するニーズが存在し、このような識別に用いる識別情報として、カード所有者の顔画像と顔の代表的な部位における２次元の特徴情報とをＩＤカードに記録する技術が提案されている（特許文献１参照）。

特開２００３−３１７０３６号公報

しかしながら、上記識別情報は、基本的に顔の２次元情報に基づく情報であるため、当該識別情報を用いた認識精度は十分に高いものではないという問題がある。

そこで、本発明は上記課題に鑑みてなされたものであり、顔の２次元情報だけを用いる場合よりも、高い精度の認証を行うことが可能な技術を提供することを課題とする。

上記の課題を解決するため、請求項１の発明は、本人証明用のＩＤ情報を記録した証明用媒体を用いた認証システムであって、前記証明用媒体から前記ＩＤ情報を読み取る手段と、前記ＩＤ情報に基づいて、前記証明用媒体に記録された人物の特徴を表す第１の特徴情報を取得する手段と、前記証明用媒体を所持する認証対象者の特徴を表す第２の特徴情報を取得する手段と、前記第１の特徴情報と前記第２の特徴情報とを用いて、前記証明用媒体に記録された人物と前記認証対象者とが同一人物であるか否かについての認証動作を行う認証手段とを備え、前記第１の特徴情報及び前記第２の特徴情報は、それぞれ、顔の３次元情報と顔の２次元情報とを含むように構成され、前記認証手段は、前記第１の特徴情報に含まれる３次元情報と前記第２の特徴情報に含まれる３次元情報とを照合するとともに、前記第１の特徴情報に含まれる２次元情報と前記第２の特徴情報に含まれる２次元情報とを照合することによって、前記認証動作を行うことを特徴とする。

また、請求項２の発明は、請求項１の発明に係る認証システムにおいて、前記ＩＤ情報は、前記証明用媒体に登録されている所定人物の顔における複数の代表点の３次元座標情報と前記所定人物の顔を撮影した少なくとも１枚の画像とを含むことを特徴とする。

また、請求項３の発明は、請求項２の発明に係る認証システムにおいて、前記少なくとも１枚の画像は、前記証明用媒体上に顔写真として付されていることを特徴とする。

また、請求項４の発明は、請求項２の発明に係る認証システムにおいて、前記少なくとも１枚の画像は、前記証明用媒体において画像データとして記録されていることを特徴とする。

また、請求項５の発明は、請求項４の発明に係る認証システムにおいて、前記証明用媒体から読み出された画像データを可視化して表示する表示手段、をさらに備えることを特徴とする。

また、請求項６の発明は、請求項２から請求項５のいずれかの発明に係る認証システムにおいて、前記ＩＤ情報は、前記複数の代表点の前記画像上における位置を表す２次元座標を含むことを特徴とする。

また、請求項７の発明は、請求項２から請求項５のいずれかの発明に係る認証システムにおいて、前記ＩＤ情報は、前記少なくとも１枚の画像を撮影したときのカメラの位置姿勢を示すパラメータを含むことを特徴とする。

また、請求項８の発明は、本人証明用の情報を記録する証明用媒体であって、所定人物の顔における複数の代表点の３次元座標情報と前記所定人物の顔を撮影した少なくとも１枚の画像とを含む情報を記録することを特徴とする。

また、請求項９の発明は、顔認証用の情報を証明用媒体へ登録する登録システムであって、登録対象者の顔を異なる位置から撮影した複数の画像を取得する手段と、前記複数の画像に基づいて登録対象者の顔における複数の代表点の３次元座標情報を取得する手段と、前記複数の画像のうち少なくとも１枚の画像と前記３次元座標情報とを含む情報を前記証明用媒体に記録する手段とを備えることを特徴とする。

請求項１から請求項７に記載の発明によれば、証明用媒体に記録されているＩＤ情報から顔の３次元情報と２次元情報とを取得するとともに、当該証明用媒体を所有する認証対象者から顔の３次元情報と２次元情報とを取得し、これら３次元情報同士と２次元情報同士とを照合することによって認証対象者が証明用媒体に記録された人物と同一人物であるか否かを判断するので、精度の高い認証を行うことが可能となる。

また、請求項８に記載の発明によれば、所定人物の顔における複数の代表点の３次元座標情報と前記所定人物の顔を撮影した少なくとも１枚の画像とを含む情報が証明用媒体に記録されるため、当該情報を読み出して利用可能な認証システムにおいて、高精度の認証が可能となる。

また、請求項９に記載の発明によれば、登録対象者の顔を異なる位置から撮影した複数の画像を取得し、当該複数の画像から登録対象者の顔における複数の代表点の３次元座標情報を取得するとともに、当該複数の画像のうち少なくとも１枚の画像と３次元座標情報とを含む情報を証明用媒体に記録するので、当該証明用媒体を用いた認証システムにおいて、高精度の認証が可能となる。

また特に、請求項３に記載の発明によれば、証明用媒体上に顔写真が付されているため、目視による照合が可能となる。

また特に、請求項５に記載の発明によれば、証明用媒体から読み出された画像データを可視化して表示することが可能であるため、目視による照合が可能となる。

また特に、請求項６に記載の発明によれば、所定人物の顔を撮影した少なくとも１枚の画像上における当該顔の複数の代表点の２次元座標がＩＤ情報に含まれるので、複数の代表点の画像上における位置を表す２次元座標を算出する処理を行わずに済むため、認証動作を高速化できる。

また特に、請求項７に記載の発明によれば、少なくとも１枚の画像を撮影したときのカメラの位置姿勢を示すパラメータがＩＤ情報に含まれるので、複数の代表点の画像上における位置を表す２次元座標を容易に算出することが可能となり、認証動作を高速化できる。

以下、本発明の実施形態を図面に基づいて説明する。

＜実施形態＞
＜動作概要＞
図１は、本発明の実施形態に係る顔認証システム１の全体動作を示す図である。

図１に示されるように、顔認証システム１は、２つのサブシステムである顔登録システムＳＹＳ１と顔照合システムＳＹＳ２とを備えている。

顔登録システムＳＹＳ１においては、登録対象者ＨＭａから取得した２枚以上の入力画像ＥＢ１に基づいて３次元情報等の所定形式の情報（以下、「ＩＤ情報」とも称する）が生成される。そして、当該ＩＤ情報がＩＤカード９等の証明用情報記録媒体（以下、単に「証明用媒体」とも称する）に記録される。

顔照合システムＳＹＳ２においては、証明用媒体（ＩＤカード９）に記録されたＩＤ情報から得られる３次元情報及び２次元情報に基づいて登録顔特徴量ＥＢ２が取得（生成）されるとともに、認証対象者ＨＭｂから直接取得した２枚以上の照合画像ＥＣ１から得られる３次元情報と２次元情報とに基づいて認証顔特徴量ＥＣ２が取得（生成）される。そして、証明用媒体に記録された人物の特徴を表す登録顔特徴量ＥＢ２の３次元情報と証明用媒体を所持する認証対象者の特徴を表す認証顔特徴量ＥＣ２の３次元情報とを照合するとともに、当該登録顔特徴量ＥＢ２の２次元情報と当該認証顔特徴量ＥＣ２の２次元情報とを照合する。これによって、認証対象者が証明用媒体に記録された人物と同一人物であるか否かを判断する認証判定が行われる。

このように、顔認証システム１においては、登録対象者ＨＭａから取得した所定形式のＩＤ情報を用いて証明用媒体（ＩＤカード９）を作成し（顔登録システムＳＹＳ１）、当該ＩＤカードを用いて、ＩＤカード所有者（認証対象者ＨＭｂ）の認証動作が実行される（顔照合システムＳＹＳ２）。

以下では、顔登録システムＳＹＳ１と顔照合システムＳＹＳ２とについて、この順序で詳述する。また、本実施形態形態に係る顔認証システム１においては、証明用媒体として、ＩＤカード９を用いている。

＜顔登録システムＳＹＳ１の概要＞
図２は、顔登録システムＳＹＳ１を示す構成図である。図２に示すように顔登録システムＳＹＳ１は、コントローラ１０ａと２台の画像撮影カメラ（以下、単に「カメラ」とも称する）ＣＡ１及びＣＡ２とＩＤカードライタ９ａとで構成されている。

カメラＣＡ１とカメラＣＡ２とは、それぞれ異なる位置から所定人物である登録対象者ＨＭａの顔を撮影できるように配置されている。カメラＣＡ１とカメラＣＡ２とによって登録対象者ＨＭａの顔画像が撮影されると、当該撮影により得られる登録対象者ＨＭａの外観情報すなわち２種類の顔画像がコントローラ１０ａに通信線を介して送信される。そして、コントローラ１０ａの所定の処理によって、ＩＤカード９に記録する所定形式の情報（ＩＤ情報）が生成され、当該ＩＤ情報が、ＩＤカードライタ９ａによって、ＩＤカード９に記録（登録）される。なお、各カメラ又はＩＤカードライタ９ａとコントローラ１０ａとの間のデータ通信方式は有線方式に限定されず、無線方式であってもよい。

図３は、コントローラ１０ａの構成概要を示す図である。図３に示されるように、コントローラ１０ａは、ＣＰＵ２と、記憶部３と、メディアドライブ４と、液晶ディスプレイなどの表示部５と、キーボード６ａ及びポインティングデバイスであるマウス６ｂなどの入力部６と、ネットワークカードなどの通信部７とを備えたパーソナルコンピュータなどの一般的なコンピュータで構成される。記憶部３は、複数の記憶媒体、具体的には、ハードディスクドライブ（ＨＤＤ）３ａと、ＨＤＤ３ａよりも高速処理可能なＲＡＭ（半導体メモリ）３ｂとを有している。また、メディアドライブ４は、ＣＤ−ＲＯＭ、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク、メモリカードなどの可搬性の記録媒体８からその中に記録されている情報を読み出すことができる。なお、このコントローラ１０ａに対して供給される情報は、記録媒体８を介して供給される場合に限定されず、ＬＡＮ及びインターネットなどのネットワークを介して供給されてもよい。

次に、コントローラ１０ａが備える各種機能について説明する。

図４は、コントローラ１０ａが備える各種機能を示すブロック図である。

コントローラ１０ａの備える各種機能は、コントローラ１０ａ内のＣＰＵ等の各種ハードウェアを用いて所定のソフトウェアプログラム（以下、単に「プログラム」とも称する）を実行することによって、実現される機能を概念的に示すものである。

図４に示されるように、コントローラ１０ａは、画像入力部１１と顔領域検索部１２と顔部位検出部１３と３次元再構成部１４と出力部１５とを備えている。

画像入力部１１は、カメラＣＡ１及びＣＡ２によって撮影された２枚の画像をコントローラ１０ａに入力する機能を有している。

顔領域検索部１２は、入力された顔画像から顔領域を特定する機能を有している。

顔部位検出部１３は、特定した顔領域から顔の特徴的な部位（例えば、目、眉、鼻、口等）の位置を検出する機能を有している。

３次元再構成部１４は、入力画像から得られる顔の特徴的な部位の座標から各部位の３次元における座標を算出する機能を有している。この３次元座標算出機能は、カメラパラメータ記憶部１０１等に格納されているカメラ情報を用いて実現される。

出力部１５は、３次元再構成部１４で得られた３次元座標値等で構成される立体的構成に関連する情報（以下、「３次元情報」とも称する）及び画像入力部１１に入力された画像等をＩＤ情報として出力する機能を有している。

次に、ＩＤカード９について説明する。

図５（ａ）は、ＩＤカード９の構成を示す外観図であり、図５（ｂ）は、ＩＤカード９の機能構成を示すブロック図である。

図５に示されるように、ＩＤカード９は、その表面に顔写真５２と電極端子５３等のデータ入出力部５５とを備えている。

ここにおいて、ＩＤカード９上に顔写真５２が付されるので、第三者（入室管理者等）の目視による照合が可能になる。詳細には、ＩＤカード９を所持する認証対象者が当該ＩＤカード９の真の所有者か否かを、顔認証用のコントローラ１０ｂ（後述）を用いることなく、容易に判断することが可能になる。あるいは、目視による照合動作をコントローラ１０ｂを用いた照合とともに加重的に行うことなども可能になる。

さらに、ＩＤカード９は、その内部にＩＣチップ等の記録部５４を有している。これにより、ＩＤカード９は、ＩＤカードライタ９ａ等を介してデータ入出力部５５からＩＤ情報等を記録部５４に記録（保持）し、データ入出力部５５からＩＤカードリーダ等を介すことによって当該ＩＤ情報を出力することができる。

以下では、上述した顔登録システムＳＹＳ１によって実現される動作について説明する。

＜顔登録システムＳＹＳ１の動作＞
図１に示されるように、顔登録システムＳＹＳ１におけるコントローラ１０ａは、カメラＣＡ１及びＣＡ２から入力された２枚の画像（入力画像ＥＢ１）からＩＤ情報を生成することができる。ＩＤ情報としては、後述するように、入力画像ＥＢ１から算出される顔の各特徴点の３次元座標を含む３次元情報ＥＡ１と２枚の入力画像ＥＢ１のうち少なくとも１枚の画像（例えば１枚の登録画像ＥＢ１ａ）とを用いればよい。また、さらにカメラパラメータ等の補足情報ＥＰをも加えた情報をＩＤ情報として用いるようにしてもよい。

以下では、コントローラ１０ａが備えるＩＤ情報生成動作について説明する。

具体的には、カメラＣＡ１及びＣＡ２で撮影した所定人物を登録対象者ＨＭａとして、実際に登録動作を行う場合について説明する。ここでは、３次元情報として、カメラＣＡ１，ＣＡ２による画像を利用して三角測量の原理によって計測された３次元形状情報を用い、２次元情報としてテクスチャ（輝度）情報を用いる場合を例示する。

図６は、顔登録システムＳＹＳ１におけるコントローラ１０ａの動作を示すフローチャートである。図７は、顔画像における特徴的な部位の特徴点（代表点）を示す図である。図８は、２次元画像中の特徴点から三角測量の原理を用いて３次元座標を算出する様子を示す模式図である。なお、図８中の符号Ｇ１は、カメラＣＡ１により撮影されコントローラ１０ａに入力された画像Ｇ１を示し、符号Ｇ２は、カメラＣＡ２により撮影されコントローラ１０ａに入力された画像Ｇ２を示している。また、画像Ｇ１、Ｇ２中の点Ｑ２０は、図７における口の右端に相当する。

図６に示されるように、コントローラ１０ａは、ステップＳＰ１からステップＳＰ４までの工程において、登録対象者ＨＭａの顔を撮影した画像に基づいて、登録対象者ＨＭａに関するＩＤ情報を生成し、さらにステップＳＰ５においてＩＤ情報を出力することで、ＩＤカード９への顔登録を実現する。

まず、ステップＳＰ１において、カメラＣＡ１及びＣＡ２によって撮影された所定の人物（登録対象者ＨＭａ）の顔画像（画像Ｇ１及び画像Ｇ２）が、通信線を介しコントローラ１０ａに入力される。顔画像を撮影するカメラＣＡ１及びカメラＣＡ２は、それぞれ、２次元画像を撮影可能な一般的な撮影装置で構成される。また、当該各カメラＣＡｉの位置姿勢等を示すカメラパラメータＢｉ（ｉ＝１・・Ｎ）は既知であり、予めカメラパラメータ記憶部１０１（図３）に記憶されている。ここで、Ｎはカメラの台数を示している。本実施形態ではＮ＝２の場合を例示しているが、Ｎ≧３としてもよい（３台以上のカメラを用いてもよい）。また、カメラパラメータＢｉについては後述する。

次に、ステップＳＰ２において、カメラＣＡ１及びＣＡ２より入力された２枚の画像（画像Ｇ１及び画像Ｇ２）それぞれにおいて、顔の存在する領域が検出される。顔領域検出手法としては、例えば、予め用意された標準の顔画像を用いたテンプレートマッチングにより、２枚の画像それぞれから顔領域を検出する手法を採用することができる。

次に、ステップＳＰ３において、ステップＳＰ２で検出された顔領域画像の中から、顔の特徴的な部位の位置が検出される。例えば、顔の特徴的な部位としては、目、眉、鼻又は口等が考えられ、ステップＳＰ３においては、図７に示されるような上記各部位の特徴点（代表点）Ｑ１〜Ｑ２３の座標が算出される。特徴部位は、例えば、特徴部位の標準的なテンプレートを用いて行うテンプレートマッチングにより検出することができる。また、算出される特徴点（代表点）の座標は、カメラより入力された画像Ｇ１、Ｇ２上の座標として表される。例えば、図７における口の右端に相当する特徴点Ｑ２０に関して、図８中に示すように、２枚の画像Ｇ１，Ｇ２のそれぞれにおける座標値が求められる。具体的には、画像Ｇ１の左上の端点を原点Ｏとして、特徴点Ｑ２０の画像Ｇ１上の座標（ｘ１，ｙ１）が算出される。画像Ｇ２においても同様に特徴点Ｑ２０の画像Ｇ２上の座標（ｘ２，ｙ２）が算出される。

次のステップＳＰ４（３次元再構成工程）では、ステップＳＰ３において検出された各特徴点（代表点）Ｑｊの各画像Ｇｉ（ｉ＝１，...，Ｎ）における２次元座標Ｕｉ^(j)と、各画像Ｇｉを撮影したカメラのカメラパラメータＢｉとに基づいて、各特徴点Ｑｊの３次元座標Ｍ^(j)（ｊ＝１・・・ｍ）が算出される。なお、ｍは特徴点の数を示している。

以下、３次元座標Ｍ^(j)の算出について具体的に説明する。

各特徴点Ｑｊの３次元座標Ｍ^(j)と各特徴点Ｑｊの２次元座標Ｕｉ^(j)とカメラパラメータＢｉとの関係は式（１）のように表される。

なお、μｉは、スケールの変動分を示す媒介変数である。また、カメラパラメータ行列Ｂｉは、予め３次元座標が既知の物体を撮影することにより求められる各カメラ固有の値であり、３×４の射影行列で表される。

例えば、上記式（１）を用いて３次元座標を算出する具体的な例として、特徴点Ｑ２０の３次元座標Ｍ⁽²⁰⁾を算出する場合を図８を用いて考える。式（２）は画像Ｇ１上の特徴点Ｑ２０の座標（ｘ１，ｙ１）と特徴点Ｑ２０を３次元空間で表したときの３次元座標（ｘ，ｙ，ｚ）との関係を示している。同様に、式（３）は、画像Ｇ２上の特徴点Ｑ２０の座標（ｘ２，ｙ２）と特徴点Ｑ２０を３次元空間で表したときの３次元座標（ｘ，ｙ，ｚ）との関係を示している。

上記式（２）及び式（３）中の未知数は、２つの媒介変数μ１、μ２と３次元座標Ｍ⁽²⁰⁾の３つの成分値ｘ，ｙ，ｚとの合計５つである。一方、式（２）及び式（３）に含まれる等式の数は６であるため、各未知数つまり特徴点Ｑ２０の３次元座標（ｘ，ｙ，ｚ）を算出することができる。また、同様にして、全ての特徴点Ｑｊについての３次元座標Ｍ^(j)を取得することができる。

そして、ステップＳＰ５では、ＩＤ情報が出力される。前述のとおり本実施形態ではＩＤ情報として、ステップＳＰ４で算出された登録対象者の顔の各特徴点Ｑｊの３次元座標Ｍ^(j)を含む３次元情報と、カメラより入力された２枚の入力画像ＥＢ１のうち少なくとも１枚の画像（例えば画像Ｇ１）とを用いるため、出力工程（ステップＳＰ５）において当該３次元情報と少なくとも１枚の画像（登録画像ＥＢ１ａ）の画像データとが所定形式のＩＤ情報として出力される。

また、上記２種類の情報に加えて以下の補足情報ＥＰを含む情報をＩＤ情報として出力するようにしてもよい。補足情報としては、登録画像ＥＢ１ａを撮影したカメラのカメラパラメータＢａ、及び／又は、登録画像ＥＢ１ａにおける顔の各特徴点Ｑｊの２次元座標Ｕ^(j)（上記ステップＳＰ３で算出）等が挙げられる。

このように出力されたＩＤ情報は、ＩＤカードライタ９ａ等によってＩＤカード９に記録される。また、顔写真５２はＩＤカード９上に印刷出力される。なお、ＩＤカード９の表面に付される顔写真５２は、登録画像ＥＢ１ａと同一の画像であることが好ましい。

また、顔写真５２は、上述のようにＩＤカード９上に直接印刷されることによってＩＤカード９上に付されていてもよく、あるいは別紙への印刷物がＩＤカード９に貼付されることによってＩＤカード９上に付されたものとして構成されてもよい。また、本実施形態においては、後述するようにＩＤカード９内に記憶された画像データがコントローラ１０ｂによる照合に用いられ、顔写真５２自体はコントローラ１０ｂによる照合には用いられないので、ＩＤカード９に付されている顔写真５２は、必ずしも精緻であることを要さず、視覚による識別が可能な程度の解像度を有していればよい。

以上のように、顔登録システムＳＹＳ１は、次述の顔照合システムＳＹＳ２に用いられる登録対象者ＨＭａの顔情報を所定形式のＩＤ情報としてＩＤカード９に記録することができる。

＜顔照合システムＳＹＳ２の概要＞
次に、顔照合システムＳＹＳ２について説明する。顔照合システムＳＹＳ２では、上述の通り、上記顔登録システムＳＹＳ１で作成されたＩＤカードを用いて認証（照合）動作が行われる。なお、以下の説明においては、顔登録システムＳＹＳ１との相違点を中心に説明し、共通する部分については、同じ符号を付して説明を省略する。

図９は、顔照合システムＳＹＳ２を示す構成図である。

図９に示される顔照合システムＳＹＳ２の構成において、顔登録システムＳＹＳ１と異なる点は、外部機器としてＩＤカードリーダ９ｂがコントローラ１０ｂに接続されている点である。

ＩＤカードリーダ９ｂは、認証対象者ＨＭｂが所持するＩＤカード９のＩＤ情報を読み取り、コントローラ１０ｂに送信する。そして、コントローラ１０ｂにおいては、カメラＣＡ１及びＣＡ２で撮影される２種類の顔画像と当該ＩＤ情報とを用いて、ＩＤカード所有者（認証対象者ＨＭｂ）の顔認証（照合）が行われる。

次に、コントローラ１０ｂが備える各種機能について説明する。

図１０は、コントローラ１０ｂが備える各種機能を示す図である。図１１は、個人認証部２１の詳細な機能構成を示すブロック図である。

コントローラ１０ｂは、図３に示されるコントローラ１０ａと同様のハードウェア構成を有している。コントローラ１０ｂの各種機能は、コントローラ１０ｂ内のＣＰＵ等の各種ハードウェアを用いて所定のソフトウェアプログラム（以下、単に「プログラム」とも称する）を実行することによって、実現される機能を概念的に示すものである。

図１０に示されるように、コントローラ１０ｂは、コントローラ１０ａが備える各種機能（画像入力部１１、顔領域検索部１２、顔部位検出部１３）に加えて個人認証部２１と認証結果出力部２２とを備えている。また、上記各機能を備えるコントローラ１０ｂには、２台のカメラ（ＣＡ１，ＣＡ２）から取得される認証対象者ＨＭｂの２枚の画像と、ＩＤカード９に記録されている登録者のＩＤ情報とが入力され、それぞれの入力情報に対して上記各機能部を用いた処理が行われる。

個人認証部２１は、顔の認証を主たる目的として構成され、各個人を顔画像を用いて認証する機能を有している。この個人認証部２１の詳細については、次述する。

認証結果出力部２２は、個人認証部２１で得られた認証結果を出力する機能を有している。

次に、個人認証部２１の詳細構成について図１１を用いて説明する。

図１１に示すように、個人認証部２１は、上述の３次元再構成部１４と最適化部３１と補正部３２と特徴抽出部３３と情報圧縮部３４と比較部３５とを有している。

３次元再構成部１４は、コントローラ１０ａにおける３次元再構成部１４と同様の機能を有し、入力画像から得られる顔の特徴的な部位の座標から各部位の３次元における座標を算出する機能を有している。

最適化部３１は、顔の特徴的な部位の３次元座標を用いて３次元モデルデータベース１０２に格納されている顔の標準的な立体モデル（「標準立体モデル」あるいは「標準モデル」とも称する）から、個別モデルを生成する機能を有している。

補正部３２は、生成された個別モデルを補正する機能を有している。

これらの各処理部１４，３１，３２によって、入力された各情報は、正規化され、相互比較しやすい状態に変換される。また、各処理部の機能によって作成された個別モデルは、３次元情報と２次元情報との双方を含むものとして形成される。「３次元情報」は、３次元座標値等で構成される立体的構成に関連する情報であり、「２次元情報」は、表面情報（テクスチャ情報）及び／又は平面的な位置情報等で構成される平面的構成に関連する情報である。

特徴抽出部３３は、上記各処理部１４，３１，３２において作成された個別モデルから３次元情報と２次元情報とを抽出する特徴抽出機能を有している。

情報圧縮部３４は、特徴抽出部３３で抽出された３次元情報と２次元情報とをそれぞれ、顔認証用の適切な顔特徴量に変換することで、顔認証（照合）に用いる３次元情報と２次元情報とをそれぞれ圧縮する機能を有している。この情報圧縮機能は、圧縮情報記憶部１０３に格納された情報等を用いて実現される。

比較部３５は、上記各機能部によって得られるＩＤ情報に基づく登録顔特徴量ＥＢ２と、上記各機能部によって認証対象者ＨＭｂから直接得られる認証対象者ＨＭｂの認証顔特徴量ＥＣ２との類似度を計算し、顔の認証（照合）を行う機能を有している。

＜顔照合システムＳＹＳ２の動作＞
図１に示されるように、顔照合システムＳＹＳ２におけるコントローラ１０ｂは、ＩＤカード９に記録されたＩＤ情報から３次元情報と２次元情報とを取得し、登録顔特徴量ＥＢ２を生成する（ＰＨＡ１）。また、コントローラ１０ｂは、認証対象者ＨＭｂから直接取得した２枚の画像（照合画像ＥＣ１）から得られる３次元情報と２次元情報とに基づいて認証顔特徴量ＥＣ２を生成し、登録顔特徴量ＥＢ２と認証顔特徴量ＥＣ２とを比較することで認証（照合）判定を行う（ＰＨＡ２）。

以下では、顔照合システムＳＹＳ２におけるコントローラ１０ｂの全体動作を登録顔特徴量生成動作ＰＨＡ１と認証（照合）動作ＰＨＡ２とに大別してそれぞれ説明する。

図１２は、登録顔特徴量生成動作ＰＨＡ１を示すフローチャートである。

図１２に示されるように、コントローラ１０ｂは、ステップＳＰ１１からステップＳＰ１６までの工程において、ＩＤ情報に基づいてモデルフィッティングに用いる情報を取得し、さらにステップＳＰ１７からステップＳＰ２０の工程を経ることで、登録顔特徴量の生成を実現する。

まず、ステップＳＰ１１において、ＩＤカード９に記録されているＩＤ情報がＩＤカードリーダ９ｂを介して読み出される。

次に、ステップＳＰ１２において、ステップＳＰ１１で読み出されたＩＤ情報に、登録画像ＥＢ１ａにおける顔の特徴点Ｑｊの２次元座標Ｕ^(j)が含まれているか否かが判断される。当該２次元座標Ｕ^(j)が含まれている場合には、ステップＳＰ１７へ移行し、含まれていない場合には、当該２次元座標Ｕ^(j)を算出するためにステップＳＰ１３へ移行する。このように、ＩＤ情報に顔の特徴点Ｑｊの２次元情報Ｕ^(j)が含まれている場合には、ステップＳＰ１３からステップＳＰ１６の処理を省くことが可能となり、登録顔特徴量生成動作ＰＨＡ１を高速化できる。

そして、ステップＳＰ１３において、ステップＳＰ１１で読み出されたＩＤ情報に、登録画像ＥＢ１ａを撮影したときのカメラのカメラパラメータＢａが含まれているか否かが判断される。当該カメラパラメータＢａが含まれている場合にはステップＳＰ１４へ移行する。このように、ＩＤ情報に登録画像ＥＢ１ａを撮影したときのカメラのカメラパラメータＢａが含まれている場合には、ステップＳＰ１５及びステップＳＰ１６の処理を省くことが可能となり、登録顔特徴量生成動作ＰＨＡ１を高速化できる。

ステップＳＰ１４においては、当該カメラパラメータＢａを用いて登録画像ＥＢ１ａにおける顔の特徴点Ｑｊの２次元座標Ｕ^(j)が算出される。具体的には、ＩＤ情報に含まれるＩＤカード９所有者の顔の特徴点Ｑｊについての３次元座標Ｍ^(j)とカメラパラメータＢａとが既知であることから、上述のステップＳＰ４で用いた式（１）の関係を利用して、登録画像ＥＢ１ａにおける顔の特徴点Ｑｊの２次元座標Ｕ^(j)を算出することができる。

一方、ステップＳＰ１３においてカメラパラメータＢａが含まれていないと判断されると、ステップＳＰ１５へ移行する。

ステップＳＰ１５においては、登録画像ＥＢ１ａに対して既述のステップＳＰ２と同様の処理が行われ、登録画像ＥＢ１ａにおける顔の領域が検出される。

さらに、ステップＳＰ１６において、既述のステップＳＰ３と同様の処理が行われ、ステップＳＰ１５で検出された顔領域画像の中から、顔の特徴的な部位の位置すなわち登録画像ＥＢ１ａにおける顔の各特徴点Ｑｊの２次元座標Ｕｉ^(j)が検出される。

このように、ステップＳＰ１２からステップＳＰ１６までの工程において、ＩＤ情報に基づいて登録画像ＥＢ１ａにおける顔の各特徴点Ｑｊの２次元座標Ｕｉ^(j)が取得される。これによって、登録画像ＥＢ１ａにおける顔の各特徴点Ｑｊの登録画像ＥＢ１ａ上での２次元位置とＩＤ情報の３次元情報に含まれる顔の各特徴点Ｑｊの３次元空間内での３次元位置との対応関係を特定することが可能となり、次述のモデルフィッティングにおいて２次元情報の貼り付け処理が可能となる。

次のステップＳＰ１７では、モデルフィッテングが行われる。この「モデルフィッティング」は、予め準備された一般的（標準的）な顔のモデルである「（顔の）標準モデル」を、ＩＤ情報及び当該ＩＤ情報から取得された情報を用いて変形することによって、ＩＤカード９に記録されたＩＤ情報が反映された「個別モデル」を生成する処理である。具体的には、ＩＤ情報の３次元情報に含まれる３次元座標Ｍ^(j)を用いて標準モデルの３次元情報を変更する処理と、ＩＤ情報の登録画像ＥＢ１ａから得られる後述のテクスチャ情報を用いて標準モデルの２次元情報を変更する処理とが行われる。

図１３は、３次元の顔の標準モデルを示す図である。

図１３に示される顔の標準モデルは、頂点データとポリゴンデータとで構成され、３次元モデルデータベース１０２（図１１）としてコントローラ１０ｂの記憶部３等に保存されている。頂点データは、標準モデルにおける特徴部位の頂点（以下、「標準制御点」とも称する）ＣＯｊの座標の集合であり、ＩＤ情報の３次元情報に含まれる顔の各特徴点Ｑｊの３次元座標と１対１に対応している。ポリゴンデータは、標準モデルの表面を微小な多角形（例えば、三角形）のポリゴンに分割し、ポリゴンを数値データとして表現したものである。なお、図１３では、各ポリゴンの頂点が標準制御点ＣＯｊ以外の中間点によっても構成される場合を例示しており、中間点の座標は標準制御点ＣＯｊの座標値を用いた適宜の補完手法によって得ることが可能である。

ここで、標準モデルから個別モデルを構成するモデルフィッティング処理について詳述する。

まず、標準モデルの各特徴部位の頂点（標準制御点ＣＯｊ）を、ＩＤ情報の３次元情報に含まれる顔の各特徴点Ｑｊに移動させる。具体的には、各特徴点Ｑｊの３次元座標値を、対応する標準制御点ＣＯｊの３次元座標値として代入し、移動後の標準制御点（以下、「個別制御点」とも称する）Ｃｊを得る。これにより、標準モデルを３次元座標Ｍ^(j)で表した個別モデルに変形することができる。なお、個別モデルにおける個別制御点Ｃｊ以外の中間点の座標は、個別制御点Ｃｊの座標値を用いた適宜の補間手法によって得ることが可能である。

また、この変形（移動）による各頂点の移動量から、後述のステップＳＰ１８において用いられる、標準モデルを基準にした場合の個別モデルのスケール、傾き及び位置を求めることができる。具体的には、標準モデルにおける所定の基準位置と、変形後の個別モデルにおける対応基準位置との間のずれ量によって、個別モデルの標準モデルに対する位置変化を求めることができる。また、標準モデルにおける所定の２点を結ぶ基準ベクトルと、変形後の個別モデルにおける当該所定の２点の対応点を結ぶ基準ベクトルとの間のずれ量によって、個別モデルの標準モデルに対する傾きの変化及びスケール変化を求めることができる。例えば、右目の目頭の特徴点Ｑ１と左目の目頭の特徴点Ｑ２との中点ＱＭの座標と標準モデルにおいて中点ＱＭに相当する点の座標とを比較することによって個別モデルの位置を求めることができ、さらに、中点ＱＭと他の特徴点とを比較することによって個別モデルのスケール及び傾きを算出することができる。

次の式（４）は、標準モデルと個別モデルとの間の対応関係を表現する変換パラメータ（ベクトル）ｖｔを示している。式（４）に示すように、この変換パラメータ（ベクトル）ｖｔは、両者のスケール変換指数ｓｚと、直交３軸方向における並進変位を示す変換パラメータ（ｔｘ，ｔｙ，ｔｚ）と、回転変位（傾き）を示す変換パラメータ（φ，θ，ψ）とをその要素とするベクトルである。

上述のようにして、ＩＤ情報の３次元情報に含まれる３次元座標Ｍ^(j)を用いて標準モデルの３次元情報を変更する処理が行われる。

また、登録画像ＥＢ１ａにおける各特徴点を頂点とする領域内の各画素の輝度値が、各領域の有する情報（以下、「テクスチャ情報」とも称する）として取得され、当該各テクスチャ情報が、個別モデル上の対応する領域（ポリゴン）に貼り付け（マッピング）られる。なお、個別モデルと登録画像ＥＢ１ａとの間で互いに対応する領域は、上述のとおり特徴点Ｑｊを利用した対応関係を用いて特定される。

また、立体モデル（個別モデル等）上でテクスチャ情報が貼り付けられる各領域（ポリゴン）は「パッチ」とも称せられる。

以上のようにして、モデルフィッティング処理（ステップＳＰ１７）が行われる。

次のステップＳＰ１８においては、標準モデルを基準にして個別モデルの補正が行われる。本工程では、３次元情報に関する位置（アライメント）補正と、２次元情報に関するテクスチャ補正とが実行される。

アライメント（顔向き）補正は、上記ステップＳＰ１７において求められる標準モデルを基準にした際の個別モデルのスケール、傾き及び位置を基にして行われる。より詳細には、標準モデルを基準にした際の標準モデルと個別モデルとの関係を示す変換パラメータｖｔ（式（４）参照）を用いて個別モデルを座標変換することで、標準モデルの姿勢と同じ姿勢を有する３次元顔モデルを作成することができる。すなわち、このアライメント補正によって、ＩＤ情報の３次元情報を適切に正規化することができる。

次に、テクスチャ補正について説明する。テクスチャ補正においては、テクスチャ情報の正規化が行われる。

テクスチャ情報の正規化は、個別モデルの各個別制御点（特徴点）と標準モデルにおける各対応点（対応標準位置）との対応関係を求めてテクスチャ情報を標準化する処理である。これによって、個別モデルにおける各パッチのテクスチャ情報を、パッチ形状の変化（具体的には、顔の表情の変化）及び／又は顔の姿勢の変化の影響を受けにくい状態に変更することができる。

ここでは、個別モデルにおける各パッチのテクスチャ情報を（当該個別モデルの作成に用いた）元の標準モデルに貼り付けた立体モデルを、サブモデルとして、当該個別モデルとは別個に生成する場合を例示する。サブモデルに貼り付けられた各パッチのテクスチャ情報は、当該各パッチの形状及び顔の姿勢が正規化された状態を有している。

詳細には、個別モデルの各個別制御点（特徴点）を元の標準モデルにおける各対応点に移動させた上で認証対象者に関するテクスチャ情報を標準化する。また、より詳細には、個別モデルにおける各パッチ内の各画素の位置を当該パッチの個別制御点Ｃｊの３次元座標に基づいて正規化し、元の標準モデルにおいて対応するパッチ内の対応する位置に個別モデルの各画素の輝度値（テクスチャ情報）を貼り付ける。

図１４は、所定パッチにおけるテクスチャ情報の正規化を示す概念図である。この図１４を用いて、テクスチャ情報の正規化について、より詳細に説明する。

例えば、或る個別モデルにおけるパッチＫＫ２と元の標準モデルにおけるパッチＨＹとが対応しているとする。このとき、個別モデルにおけるパッチＫＫ２内の位置γＫ２は、パッチＫＫ２の個別制御点Ｃｊ（ｊ＝Ｊ１、Ｊ２、Ｊ３）のうちの異なる２組の点を結ぶ独立したベクトルＶ２１，Ｖ２２の線形和で表現される。また、標準モデルにおけるパッチＨＹ内の位置γＨＹは、当該ベクトルＶ２１，Ｖ２２の線形和における各係数と同じ係数を用いて、対応ベクトルＶ０１，Ｖ０２の線形和で表現される。これにより、両位置γＫ１，γＨＹとの対応関係が求められ、パッチＫＫ２内における位置γＫ２のテクスチャ情報を、パッチＨＹ内の対応する位置γＨＹに貼り付けることが可能となる。このようなテクスチャ情報の貼り付け処理を個別モデルのパッチＫＫ２内の全テクスチャ情報について実行すると、個別モデルにおけるパッチ内のテクスチャ情報が、サブモデルにおけるパッチ内のテクスチャ情報に変換され、正規化された状態で得られることになる。

このサブモデルにおける顔の２次元情報（テクスチャ情報）は、顔の姿勢変動及び顔の表情変化等による影響を受けにくいという特質を有している。例えば、同一人物に関する２つの個別モデルにおける姿勢及び表情が互いに異なる場合、上述のテクスチャ情報の正規化を行わないときには、両個別モデルにおけるパッチの対応関係（例えば、図１４において、本来はパッチＫＫ１とパッチＫＫ２とが対応すること）等を正確に得ることができず、別人物であるとして誤判定する可能性が高くなる。これに対して、上述のテクスチャ情報の正規化を行えば、顔の姿勢が統一され、各パッチの対応位置関係をより正確に得ることができるので、姿勢変化による影響を受けにくくなる。また、上述のテクスチャ情報の正規化によれば、顔の表面を構成する各パッチの形状は、標準モデルにおける各対応パッチの形状と同一になる（図１４参照）ため、各パッチの形状が統一（正規化）され、表情変化による影響を受けにくくなる。例えば、微笑している人物の個別モデルは、笑っていない（無表情の）標準モデルを用いることによって、笑っていない状態のサブモデルに変換されて標準化される。これによれば、微笑によるテクスチャ情報の変化（例えば、ほくろの位置の変化）の影響が抑制される。このように、上述の正規化されたテクスチャ情報は、個人認証（照合）に有効な情報となる。

また、サブモデルに貼り付けられたテクスチャ情報は、比較しやすいように、図１５に示すような投影画像にさらに変更することもできる。

図１５は、テクスチャ補正されたテクスチャ情報、すなわち、サブモデルに貼り付けられたテクスチャ情報を、当該サブモデルの周囲に配置した円筒面に投影した画像である。この投影画像のテクスチャ情報は、正規化されており形状及び姿勢に依存しないという特質を有しているため、個人識別に用いる情報として非常に有用である。

以上のようにステップＳＰ１８においては、ＩＤカード９に記録されているＩＤ情報に基づく３次元情報と２次元情報とが、正規化された状態で生成される。

次のステップＳＰ１９（図１２）においては、ＩＤカード９に記録されている登録者のＩＤ情報に基づく特徴を表す情報として、３次元形状情報（３次元情報）とテクスチャ情報（２次元情報）とが抽出される。

３次元情報としては、個別モデルにおけるｍ個の個別制御点Ｃｊの３次元座標ベクトルが抽出される。具体的には、式（５）に示されるように、ｍ個の個別制御点Ｃｊ（ｊ＝１，...，ｍ）の３次元座標（Ｘｊ，Ｙｊ，Ｚｊ）を要素とするベクトルｈ^S（以下、「３次元座標情報」とも称する）が３次元情報（３次元形状情報）として抽出される。

また、２次元情報としては、個人認証（照合）にとって重要な情報となる顔の特徴的な部分つまり個別制御点付近のパッチ又はパッチのグループ（局所領域）が有するテクスチャ（輝度）情報（以下、「局所２次元情報」とも称する）が抽出される。ここでは、テクスチャ情報（局所２次元情報）として、上述のサブモデルにマッピングされた情報が用いられる。

局所２次元情報は、例えば、正規化後の特徴的な部位の個別制御点を示す図１６中のグループＧＲ（個別制御点Ｃ２０、Ｃ２２及びＣ２３を頂点とするパッチＲ１と個別制御点Ｃ２１、Ｃ２２及びＣ２３を頂点とするパッチＲ２）から構成される領域、又は、単に一つのパッチからなる領域等の各局所領域が有する各画素の輝度情報として構成される。局所２次元情報ｈ^(k)（ｋ＝１，...，Ｌ；Ｌは局所領域数）は、それぞれ、当該局所領域内の画素数をｎ、各画素の輝度値をＢＲ１，...，ＢＲｎとすると、式（６）のようなベクトル形式で表される。また、局所２次元情報ｈ^(k)をＬ個の局所領域について集めた情報は、総合的な２次元情報であるとも表現される。

以上のように、ステップＳＰ１９においては、ＩＤカード９に記録されている登録者のＩＤ情報に基づく特徴を表す情報として、３次元形状情報（３次元情報）とテクスチャ情報（２次元情報）とが抽出される。

次のステップＳＰ２０においては、ステップＳＰ１９で抽出された情報を、認証に適した状態に変換する次述の情報圧縮処理が行われる。

情報圧縮処理は、３次元形状情報ｈ^S及び各局所２次元情報ｈ^(k)のそれぞれに対して同様の手法を用いて行われるが、ここでは、局所２次元情報ｈ^(k)に対して情報圧縮処理を施す場合について詳細に説明する。

局所２次元情報ｈ^(k)は、複数のサンプル顔画像から予め取得される当該局所領域の平均情報（ベクトル）ｈave^(k)と、複数のサンプル顔画像をＫＬ展開することによって予め算出される当該局所領域の固有ベクトルのセットで表現される行列Ｐ^(k)（次述）とを用いて式（７）のように基底分解された形式で表すことができる。この結果、局所２次元顔情報量（ベクトル）ｃ^(k)が、局所２次元情報ｈ^(k)についての圧縮情報として取得される。

上述のように式（７）中の行列Ｐ^(k)は、複数のサンプル顔画像から算出される。具体的には、行列Ｐ^(k)は、複数のサンプル顔画像をＫＬ展開することによって求められる複数の固有ベクトルのうち、固有値の大きい数個の固有ベクトル（基底ベクトル）のセットとして求められる。これらの基底ベクトルは、圧縮情報記憶部１０３に記憶されている。顔画像についてのより大きな特徴を示す固有ベクトルを基底ベクトルとしてその顔画像を表現することによれば、顔画像の特徴を効率的に表現することが可能となる。

例えば、図１６に示されているグループＧＲからなる局所領域の局所２次元情報ｈ^(GR)を基底分解された形式で表現する場合を考える。当該局所領域の固有ベクトルのセットＰが、３つの固有ベクトルＰ１、Ｐ２及びＰ３によってＰ＝（Ｐ１，Ｐ２，Ｐ３）と表現されているとすると、局所２次元情報ｈ^(GR)は、当該局所領域の平均情報ｈave^(GR)と固有ベクトルのセットＰ１，Ｐ２，Ｐ３を用いて式（８）のように表される。平均情報ｈave^(GR)は、様々なサンプル顔画像についての複数の局所２次元情報（ベクトル）を対応要素ごとに平均して得られるベクトルである。尚、複数のサンプル顔画像は、適度なばらつきを有する標準的な複数の顔画像を用いればよい。

また、上記式（８）は、顔情報量ｃ^(GR)＝（ｃ１，ｃ２，ｃ３）^Tによって元の局所２次元情報を再現することが可能であることを示している。すなわち、顔情報量ｃ^(GR)は、グループＧＲからなる局所領域の局所２次元情報ｈ^(GR)を圧縮した情報といえる。

上記のようにして取得された局所２次元顔情報量ｃ^(GR)をそのまま認証動作に用いてもよいが、この実施形態ではさらなる情報圧縮を行う。具体的には、局所２次元顔情報量ｃ^(GR)が表す特徴空間を個人間の分離を大きくするような部分空間へと変換する処理を更に行う。より詳細には、式（９）に表されるようベクトルサイズｆの局所２次元顔情報量ｃ^(GR)をベクトルサイズｇの局所２次元特徴量ｄ^(GR)に低減させる変換行列Ａを考える。これにより、局所２次元顔情報量ｃ^(GR)で表される特徴空間を局所２次元特徴量ｄ^(GR)で表される部分空間に変換することができ、個人間の情報の相違が顕著になる。

ここで、変換行列Ａはｆ×ｇのサイズを有する行列である。重判別分析（ＭＤＡ：Multiple Discriminant Analysis）法を用いて、特徴空間から級内分散と級間分散との比率（Ｆ比）の大きい主成分をｇ個選び出すことによって、変換行列Ａを決定することができる。

また、上述した局所２次元情報ｈ^(GR)について行った情報圧縮処理と同様の処理を他の全ての局所領域にも実行することによって、各局所領域についての局所２次元顔特徴量ｄ^(k)を取得することができる。また、３次元形状情報ｈ^Sに対しても同様の手法を適用することにより３次元顔特徴量ｄ^Sを取得することができる。

上記ステップＳＰ２０を経て取得される３次元顔特徴量ｄ^Sと局所２次元顔特徴量ｄ^(k)とを組み合わせた顔特徴量ｄは、ベクトル形式で式（１０）のように表すことができる。

以上に述べたステップＳＰ１１〜ＳＰ２０の工程において、ＩＤ情報からＩＤカード９に登録されているＩＤ情報に基づく顔特徴量ｄが登録顔特徴量ＥＢ２として生成される。

そして、次述の認証（照合）動作ＰＨＡ２において、この登録顔特徴量ＥＢ２を用いてＩＤカード９を所有している認証対象者ＨＭｂの顔認証（照合）が行われる。

次に、認証（照合）動作ＰＨＡ２について説明する。

図１７は、認証（照合）動作ＰＨＡ２を示すフローチャートである。なお、以下の認証（照合）動作ＰＨＡ２の説明においては、既述の工程と同様の処理については説明を省略する。

図１７に示されるように、コントローラ１０ｂは、ステップＳＰ３１からステップＳＰ３８までの工程において、認証対象者ＨＭｂから直接取得される２枚の照合画像ＥＣ１に基づいて認証対象者ＨＭｂの認証顔特徴量ＥＣ２を生成し、さらにステップＳＰ３９からステップＳＰ４０の工程において、登録顔特徴量ＥＢ２と認証顔特徴量ＥＣ２とを比較することで認証対象者ＨＭｂの認証（照合）を実現する。

まず、ステップＳＰ３１において、ステップＳＰ１と同様にカメラＣＡ１及びＣＡ２によって撮影された認証対象者ＨＭｂの顔画像（画像Ｇ１１及び画像Ｇ１２）が、通信線を介しコントローラ１０ｂに入力される。

次に、ステップＳＰ３２において、ステップＳＰ２と同様の処理が行われ、入力された２枚の画像（画像Ｇ１１及び画像Ｇ１２）それぞれにおいて、顔の存在する領域が検出される。

ステップＳＰ３３では、ステップＳＰ３と同様の処理が行われ、ステップＳＰ３２で検出された顔領域画像の中から、顔の特徴的な部位の位置すなわち各特徴点Ｑｊの２枚の画像それぞれにおける２次元座標Ｕ^(j)が検出される。

次のステップＳＰ３４では、ステップＳＰ４と同様の処理が行われ、各特徴点Ｑｊの３次元座標Ｍ^(j)が算出される。

ステップＳＰ３５では、ステップＳＰ１７と同様の処理が行われ、標準モデルから認証対象者ＨＭｂの顔に関する入力情報が反映された個別モデルが生成される。

ステップＳＰ３６では、ステップＳＰ１８と同様の処理が行われ、個別モデルの３次元情報と２次元情報とが適切に正規化され、認証（照合）に有効な情報となる。

次のステップＳＰ３７においては、ステップＳＰ１９と同様の処理が行われ、認証対象者ＨＭｂの特徴を表す情報として、３次元形状情報（３次元情報）とテクスチャ情報（２次元情報）とが抽出される。

次のステップＳＰ３８においては、ステップＳＰ２０と同様に、ステップＳＰ３７で抽出された情報を、認証に適した状態に変換する情報圧縮処理が行われ、認証対象者ＨＭｂの顔特徴量ｄが認証顔特徴量ＥＣ２として生成される。

そして、次のステップＳＰ３９〜ＳＰ４０においては、この認証顔特徴量ＥＣ２を用いて認証（照合）が行われる。

具体的には、認証対象者ＨＭｂの認証顔特徴量ＥＣ２とＩＤカード９に記録されている登録者のＩＤ情報に基づく登録顔特徴量ＥＢ２との類似度である総合類似度Ｒｅが算出され（ステップＳＰ３９）、その後、この総合類似度Ｒｅに基づいて認証対象者ＨＭｂとＩＤ情報との比較（判定）動作等（ステップＳＰ４０）が行われる。この総合類似度Ｒｅは、３次元顔特徴量ｄ^Sから算出される３次元類似度Ｒｅ^Sと、局所２次元顔特徴量ｄ^(k)から算出される局所２次元類似度Ｒｅ^(k)とに加えて、３次元類似度Ｒｅ^Sと局所２次元類似度Ｒｅ^(k)との重みを規定する重み付け係数（以下、単に「重み係数」とも称する）を用いて算出される。なお、本実施形態における重み係数ＷＴ及びＷＳは、予め決定されている所定の値を用いる。

ステップＳＰ３９では、登録顔特徴量生成動作ＰＨＡ１において生成されたＩＤ情報に基づく登録顔特徴量ＥＢ２と、上記ステップＳＰ３１〜ステップＳＰ３８を経て算出された認証対象者ＨＭｂの認証顔特徴量ＥＣ２との類似性の評価が行われる。具体的には、登録されている登録顔特徴量ＥＢ２（ｄ^SM及びｄ^(k)M）と認証対象者ＨＭｂの認証顔特徴量ＥＣ２（ｄ^SI及びｄ^(k)I）との間で類似度計算が実行され、３次元類似度Ｒｅ^Sと局所２次元類似度Ｒｅ^(k)とが算出される。

３次元類似度Ｒｅ^Sは、式（１１）に示されるように対応するベクトル同士のユークリッド距離Ｒｅ^Sを求めることによって取得される。

また、局所２次元の類似度Ｒｅ^(k)は、式（１２）に示されるように対応する局所領域同士における特徴量の各ベクトル成分ごとのユークリッド距離Ｒｅ^(k)を求めることによって取得される。

そして、式（１３）に示されるように、３次元の類似度Ｒｅ^Sと局所２次元の類似度Ｒｅ^(k)とを、重み係数ＷＴ及びＷＳを用いて合成し、認証対象者ＨＭｂとＩＤカード９に記録されている登録者との類似度である総合類似度Ｒｅを取得することができる。

次に、ステップＳＰ４０においては、総合類似度Ｒｅに基づいて認証（照合）判定が行われる。

具体的には、入力された顔（認証対象者ＨＭｂの顔）がＩＤカード９に記録されている人物（登録者）の顔と同一であるか否かが判定されればよいため、ＩＤ情報に基づく登録顔特徴量ＥＢ２と認証対象者ＨＭｂの認証顔特徴量ＥＣ２との類似度Ｒｅを一定の閾値と比較することで、認証対象者ＨＭｂとＩＤカード９に記録されている人物との同一性が判定される。詳細には、類似度Ｒｅが一定の閾値ＴＨ１よりも小さいときに認証対象者ＨＭｂがＩＤカード９に記録されている人物と同一人物であると判定される。

このように、コントローラ１０ｂにおいては、ＩＤカード９に記録されているＩＤ情報から登録顔特徴量ＥＢ２を生成するとともに、認証対象者ＨＭｂから直接取得した２枚の画像（照合画像ＥＣ１）に基づいて認証顔特徴量ＥＣ２を生成し、登録顔特徴量ＥＢ２と認証顔特徴量ＥＣ２とを比較することで、認証対象者ＨＭｂがＩＤカード９に記録された人物と同一人物であるか否かの認証（照合）を行うことができる。

ここで、登録顔特徴量ＥＢ２を第１の特徴情報とし、認証顔特徴量ＥＣ２を第２の特徴情報とすると、コントローラ１０ｂは、第１の特徴情報と第２の特徴情報とを用いて認証動作を行うことが可能であると表現できる。

以上のように、顔認証システム１は、顔登録システムＳＹＳ１において登録対象者ＨＭａの顔の３次元情報と２次元情報とを所定の形式でＩＤ情報としてＩＤカード９に記録し、顔照合システムＳＹＳ２において、当該ＩＤ情報から得られる３次元情報と２次元情報とを用いて認証（照合）動作を行うので精度の高い認証を行うことができる。

＜変形例＞
以上、この発明の実施の形態について説明したが、この発明は、上記に説明した内容に限定されるものではない。

例えば、上記実施形態においては、パッチ内の各画素の輝度値を２次元情報としていたが、各パッチが有する色合いを２次元情報として用いてもよい。

また、上記実施形態においては、１回の撮影によって得られる認証顔特徴量ＥＣ２を用いて類似度計算を行っていたがこれに限定されない。具体的には、認証対象者ＨＭｂの撮影を２度行い、２回の撮影で得られる顔特徴量同士の類似度を算出することで、取得した認証顔特徴量ＥＣ２の値が妥当であるか否かを判断することができる。これにより、取得した認証顔特徴量ＥＣ２の値が不適当であった場合、再度撮影をやり直すことができる。

また、上記実施形態では、ステップＳＰ１９及びステップＳＰ３８において変換行列Ａを決定する手法としてＭＤＡ法を用いていたがこれに限定されず、例えば、所定の特徴空間から級間分散と級内分散との差が大きくなるような射影空間を求めるＥＭ（Eigenspace Method）法を用いてもよい。

また、上記実施形態においては、複数台のカメラより入力される複数の画像を用いて顔の３次元形状情報を取得しているがこれに限定されない。具体的には、図１８に示されるようなレーザ光出射部Ｌ１とカメラＬＣＡとから構成される３次元形状測定器を用いてレーザ光出射部Ｌ１の照射するレーザの反射光をカメラＬＣＡによって計測することにより、登録対象者ＨＭａ或いは認証対象者ＨＭｂの顔の３次元形状情報を取得してもよい。但し、上記実施形態のようにカメラ２台を含む入力装置を用いて３次元の形状情報を取得する手法によれば、レーザ光を用いる入力装置に比べて、比較的簡易な構成で３次元の形状情報を取得することができる。

また、上記実施形態においては、顔写真５２をＩＤカード９上に付するとともに、顔画像（入力画像ＥＢ１）の画像データをテクスチャ情報に関するＩＤ情報としてＩＤカード９内に記録していたが、これに限定されない。

例えば、顔写真５２をＩＤカード９上に付することなく、顔画像の画像データをテクスチャ情報に関するＩＤ情報としてＩＤカード９内に記録するようにしてもよい。また、この場合において、コントローラ１０ｂの表示部５等（図９参照）にＩＤ情報に含まれる登録画像ＥＢ１ａの画像データを可視化して顔写真として表示するようにしてもよい。これによれば、ＩＤカード９上の顔写真５２を用いることなく第三者の目視による照合が可能となる。詳細には、ＩＤカード９を所持する認証対象者が当該ＩＤカード９の真の所有者か否かを容易に判断することなどが可能になる。

あるいは、逆に、テクスチャ情報に関する画像データをＩＤカード９内に記録することなく、当該ＩＤカード９に印刷等によって付されている顔写真自体をテクスチャ情報に関するＩＤ情報としてＩＤカード９上に記録するようにしてもよい。また、この場合には、ＩＤカードリーダ９ｂに内蔵されたスキャナ等でＩＤカード９表面の顔写真を読み取ることによって、当該顔写真から２次元情報を取得することができる。これによれば、画像データをＩＤカードに記録しておくことを要しないため、ＩＤカード９の記憶容量（メモリ容量）が少ない場合に有効である。なお、高精度の２次元情報を取得するため、ＩＤカード９に付された顔写真は精緻な（高解像度の）画像であることが好ましい。

また、上記実施形態においては、ＩＤ情報の３次元情報ＥＡ１として入力画像ＥＢ１から算出される顔の各特徴点の３次元座標を用いていたが、これに限定されない。具体的には、上述の最適化部３１（図１１）と補正部３２と特徴抽出部３３と情報圧縮部３４と同様の機能部をコントローラ１０ａに設け、図１２に示されるステップＳＰ１７からステップＳＰ２０までの各処理と同様の処理がコントローラ１０ａによって実行されるようにし、３次元情報ＥＡ１として予め圧縮された情報（３次元顔特徴量ｄ^S等）をＩＤカード９に記録するようにしてもよい。

また、上記実施形態においては、ＩＤ情報として登録画像ＥＢ１ａを用いていたが、これに限定されない。具体的には、上述の最適化部３１と補正部３２と特徴抽出部３３と情報圧縮部３４と同様の機能部をコントローラ１０ａに設け、図１２に示されるステップＳＰ１７からステップＳＰ２０までの各処理と同様の処理がコントローラ１０ａによって実行されるようにし、予め圧縮された２次元情報（局所２次元顔特徴量ｄ^(k)等）をＩＤカード９に記録するようにしてもよい。

また、上記実施形態においては、ＩＤ情報をＩＤカード９内部のＩＣチップ等の記録部５４に記録していたが、これに限定されず、当該ＩＤ情報をＩＤカード９の表面にコード化してプリントしてもよく、或いは、磁気ストライプ等に記録する態様であってもよい。

また、上記実施形態においては、ＩＤ情報を保持（登録）する証明用情報記録媒体（証明用媒体）としてＩＤカード９を用いていたが、これに限定されず、ＩＣタグ等を用いてもよい。

本発明の実施形態に係る顔認証システムを示す概念図である。 顔登録システムを示す構成図である。 コントローラの構成概要を示す図である。 コントローラが備える各種機能を示すブロック図である。 ＩＤカードの構成を示す図である。 顔登録システムコントローラの動作を示すフローチャートである 顔画像における特徴的な部位の特徴点を示す図である。 ２次元画像中の特徴点から３次元座標を算出する模式図である。 顔照合システムを示す構成図である。 コントローラが備える各種機能を示す図である。 個人認証部の詳細な機能構成を示すブロック図である。 登録顔特徴量生成動作を示すフローチャートである。 ３次元の顔の標準モデルを示す図である。 所定パッチにおけるテクスチャ情報の正規化を示す概念図である。 テクスチャ情報を示す図である。 正規化後の特徴的な部位の個別制御点を示す図である。 認証（照合）動作を示すフローチャートである。 レーザ光出射部とカメラとから構成される３次元形状測定器を示す図である。

符号の説明

１ 顔認証システム
ＳＹＳ１ 顔登録システム
ＳＹＳ２ 顔照合システム
５２ 顔写真
５３ 電極端子
９ ＩＤカード
９ａ カードライタ
９ｂ カードリーダ
ＣＡ１ カメラ
ＣＡ２ カメラ
ＨＭａ 登録対象者
ＨＭｂ 認証対象者

Claims (9)

1. 本人証明用のＩＤ情報を記録した証明用媒体を用いた認証システムであって、
   前記証明用媒体から前記ＩＤ情報を読み取る手段と、
   前記ＩＤ情報に基づいて、前記証明用媒体に記録された人物の特徴を表す第１の特徴情報を取得する手段と、
   前記証明用媒体を所持する認証対象者の特徴を表す第２の特徴情報を取得する手段と、
   前記第１の特徴情報と前記第２の特徴情報とを用いて、前記証明用媒体に記録された人物と前記認証対象者とが同一人物であるか否かについての認証動作を行う認証手段と、
   を備え、
   前記第１の特徴情報及び前記第２の特徴情報は、それぞれ、顔の３次元情報と顔の２次元情報とを含むように構成され、
   前記認証手段は、前記第１の特徴情報に含まれる３次元情報と前記第２の特徴情報に含まれる３次元情報とを照合するとともに、前記第１の特徴情報に含まれる２次元情報と前記第２の特徴情報に含まれる２次元情報とを照合することによって、前記認証動作を行うことを特徴とする認証システム。
2. 請求項１に記載の認証システムにおいて、
   前記ＩＤ情報は、前記証明用媒体に登録されている所定人物の顔における複数の代表点の３次元座標情報と前記所定人物の顔を撮影した少なくとも１枚の画像とを含むことを特徴とする認証システム。
3. 請求項２に記載の認証システムにおいて、
   前記少なくとも１枚の画像は、前記証明用媒体上に顔写真として付されていることを特徴とする認証システム。
4. 請求項２に記載の認証システムにおいて、
   前記少なくとも１枚の画像は、前記証明用媒体において画像データとして記録されていることを特徴とする認証システム。
5. 請求項４に記載の認証システムにおいて、
   前記証明用媒体から読み出された画像データを可視化して表示する表示手段、
   をさらに備えることを特徴とする認証システム。
6. 請求項２から請求項５のいずれかに記載の認証システムにおいて、
   前記ＩＤ情報は、前記複数の代表点の前記画像上における位置を表す２次元座標を含むことを特徴とする認証システム。
7. 請求項２から請求項５のいずれかに記載の認証システムにおいて、
   前記ＩＤ情報は、前記少なくとも１枚の画像を撮影したときのカメラの位置姿勢を示すパラメータを含むことを特徴とする認証システム。
8. 本人証明用の情報を記録する証明用媒体であって、
   所定人物の顔における複数の代表点の３次元座標情報と前記所定人物の顔を撮影した少なくとも１枚の画像とを含む情報を記録することを特徴とする証明用媒体。
9. 顔認証用の情報を証明用媒体へ登録する登録システムであって、
   登録対象者の顔を異なる位置から撮影した複数の画像を取得する手段と、
   前記複数の画像に基づいて登録対象者の顔における複数の代表点の３次元座標情報を取得する手段と、
   前記複数の画像のうち少なくとも１枚の画像と前記３次元座標情報とを含む情報を前記証明用媒体に記録する手段と、
   を備えることを特徴とする登録システム。