JP3590321B2 - 人物照合システム - Google Patents
人物照合システム Download PDFInfo
- Publication number
- JP3590321B2 JP3590321B2 JP2000088689A JP2000088689A JP3590321B2 JP 3590321 B2 JP3590321 B2 JP 3590321B2 JP 2000088689 A JP2000088689 A JP 2000088689A JP 2000088689 A JP2000088689 A JP 2000088689A JP 3590321 B2 JP3590321 B2 JP 3590321B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- face
- person
- image
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Collating Specific Patterns (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、データベースを用いて人物の検索や照合を行うためのシステムに関する。
【０００２】
【従来の技術】
今日の犯罪捜査においては、防犯カメラ又はビデオで撮影された犯人の顔と、これとは別に用意された写真やデジタル画像等の２次元画像に写った被疑者の顔との異同識別を行うための鑑定の機会が増加しており、この鑑定の結果が事件の解決に大きく貢献することも多い。このような鑑定をより効率よく行うには、多数の人物の個人情報とともに各人物の顔画像を保存したデータベースや、そのデータベースを用いた検索、照合等のデータ処理を行うための管理システムの構築及び整備が不可欠である。このようなデータベース及びそのための管理システムを含むシステムを本明細書では人物照合システムと呼ぶ。
【０００３】
犯罪捜査において従来より用いられている人物検索照合システムでは、人物の属性情報（性別、生年月日、身体的特徴、住所等）とともにその人物の顔の正面及び右斜め側面の画像データ（又は顔の前記２面を写した写真の保管先を特定するためのデータ）がデータベースに保存されている。このシステムを用いた検索照合作業はおよそ次のような手順で行われる。
（１）犯人に関する情報に基づいて検索を行い、被疑者を絞り込む。
（２）絞り込んだ被疑者の顔画像をデータベースから読み出す（又は、被疑者の顔写真の所在を示すデータを読み出し、その写真を実際に取って来る）。
（３）読み出した顔画像（又は取って来た顔写真）をビデオカメラ等で撮影された犯人の顔画像と一つ一つ照合し、人物の異同を操作者が目で判断する。
【０００４】
【発明が解決しようとする課題】
上記システムには、検索のための情報が少ない場合、被疑者の十分な絞り込みができず、犯人の顔画像を多数の被疑者の顔画像と一つ一つ照合するために多大な時間と労力が費やされるという問題がある。
【０００５】
一方、２つの２次元顔画像を照合して２つの顔の一致度を自動的に評価する様々な顔画像照合装置が従来より提案されており、これを人物検索照合システムに応用することにより顔画像の照合作業を省力化することが考えられる。しかし、従来の顔画像照合装置では、２つの顔の向き及び大きさがほぼ一致している場合にはある程度正しい照合結果が期待できるが、そうでない場合、照合結果は正しくならない。
【０００６】
本発明はこのような課題を解決するために成されたものであり、その目的とするところは、人物の顔に関するデータを保存したデータベースを用いた人物照合システムにおいて、データベースに登録された多数の人物と照合元画像（例えば犯人の顔画像）に写った人物との照合及び異同識別の作業を効率よく行うことができるシステムを提供することにある。
【０００７】
【課題を解決するための手段】
上記課題を解決するために成された本発明に係る人物照合システムは、多数の人物に関するデータを保存したデータベース、前記データベースを管理するサーバ、及び、情報通信用ネットワークを通じて前記サーバへの問合せデータの送信を行うためのクライアントを含む人物照合システムにおいて、前記データベースには人間の顔の特徴点のうち同一平面上にない４個の特徴点を含む複数の指定特徴点の３次元座標データ、及び３次元的な識別用顔モデルを生成するための３次元座標データである顔モデルデータ、が各人物毎に保存されており、前記クライアントは第一の人物の顔を写した２次元画像である照合元画像において、該第一の人物の顔の指定特徴点の２次元座標データである照合元座標データ、及び、該人物の顔の２次元的な識別用顔モデルを生成するための２次元座標データである顔モデルデータを取得するためのデータ取得手段、及び前記照合元座標データ及び顔モデルデータを含む問合せデータを前記ネットワーク経由で前記サーバへ送信する問合せ手段、を備え、前記サーバは前記問合せデータから前記第一の人物の顔の照合元座標データ及び顔モデルデータを抽出するデータ抽出手段、前記データベースに登録された多数の人物の各々を第二の人物として順次選択し、該第二の人物の顔の指定特徴点の３次元座標データ及び顔モデルデータを読み出すデータ読出手段、前記データ読出手段により読み出された指定特徴点の３次元座標データを用いて３次元仮想空間内に前記指定特徴点を含む前記第二の人物の顔の定位用顔モデルを生成し、該定位用顔モデルの向きを所定範囲内で変化させながら各向きにおける該定位用顔モデルの所定投影面への投影像を生成し、該投影像における前記第二の人物の顔の指定特徴点の位置関係と前記照合元画像における前記第一の人物の顔の指定特徴点の位置関係との一致の度合を示すチェック値を算出し、該チェック値が最適化されるような前記定位用顔モデルの最適な向きを決定する向き決定手段、前記データ読出手段により読み出された顔モデルデータを用いて前記３次元仮想空間において前記最適向きを向いた前記第二の人物の顔の３次元的な識別用顔モデルを生成し、該３次元的な識別用顔モデルを前記投影面へ投影することにより該モデルの投影像を生成し、前記データ抽出手段から受け取った顔モデルデータを用いて前記第一の人物の識別用顔モデルを生成し、前記第二の人物の識別用顔モデルの投影像及び第一の人物の識別用顔モデルを用いて前記二人の人物の顔の一致度を示す評価値を算出する一致度評価手段、前記評価値が所定条件を満たしたときに前記第二の人物を候補として選択する選択手段、及び前記選択手段による選択結果に関する情報を含むデータを前記ネットワーク経由で前記クライアントへ送信する応答手段、を備えることを特徴とする。
【０００８】
【発明の実施の形態】
本発明に係るシステムのデータベースには、多数の人物の各々について、その人物の顔の指定特徴点の３次元座標データ及びその人物の識別用顔モデルを生成するための顔モデルデータが保存されている。これらのデータについてまず説明する。
【０００９】
本発明において、指定特徴点とは、人間の顔の形態学的特徴点から選定された複数の特徴点であって、３次元空間内で同一平面上にない４個の特徴点を含むものをいう。例えば人間の顔の形態学的特徴点としては、瞳の中心、目頭、目尻、上瞼の先端、耳朶の上端又は下端、耳の孔、鼻の尖端、鼻の上端の付け根、上下の***の合わせ目の中心、口の左端又は右端、下顎尖端部の中心等が挙げられるが、このうち、例えば左右の瞳の中心、鼻の先端及び顎の先端の４点を選べば、それらは同一平面上にない４個の点であるから、本発明にいう指定特徴点といえる。
【００１０】
人物の顔の指定特徴点は、その顔の定位用顔モデルを生成するために用いられる。ここで、定位用顔モデルとは、主として上記複数の指定特徴点から構成される３次元仮想空間内の構造体で、元となる顔の向き及びその向きを規定する軸を中心とした回転位置を設定／取得するために用いられる。
【００１１】
例えば、ある人物（第二の人物。例えば被疑者）の顔の３次元形状データが予め取得済みである場合、そのデータを用いて様々な向きを向いたその人物の３次元顔貌像をコンピュータで再現することができる。そして、所定の投影面に対するその顔貌像の向きを照合元画像に写った人物（第一の人物。例えば犯人）の顔の向きと一致させれば、第一の人物の顔と同じ向きを向いた第二の人物の顔画像が投影面に生成される。そして、この投影面上の顔画像を第一の人物の顔と照合すれば、高い精度で二人の人物の異同を識別することができる。このような工程において、第一の人物の顔と同じ向きを向くような第二の人物の顔の向き（すなわち最適向き）を求める処理においては、３次元形状データを全て用いる必要はなく、定位用顔モデルを用いればよい。このようにすれば、データ処理の負荷が少なくなり、最適向きを高速で求めることができる。
【００１２】
指定特徴点の選定に際しては、次のようなことを考慮することが好ましい。まず、指定特徴点には、顔を斜めから見たときに顔の他の部位の背後に隠れてしまう可能性が少ないような部位を含めることが好ましい。このような部位の例としては、鼻の尖端、鼻の上端の付け根、上瞼の先端等が挙げられる。また、目や耳のように左右一対となった顔の部位の一方を指定特徴点とする場合は、他方も同様に指定特徴点とすることが好ましい。このようにすれば、データ処理に必要な座標データの欠損が発生しにくくなる。更にまた、指定特徴点は、顔の中の狭い領域に集中させず、相互に適度な間隔をおいて顔の全面に分布するようにすることが好ましい。そのためには、例えば、目、耳、鼻、口といった顔の各部位毎に指定特徴点を設定するようにすればよい。このようにすれば、後述するデータ処理において座標データから求められるパラメータの精度が高まる。
【００１３】
また、本発明において、識別用顔モデルとは、人間の顔の所定の形態学的特徴に基づく照合及び異同識別に用いられる適宜抽象化された２次元又は３次元顔モデルのことをいい、顔モデルデータとはそのような識別用顔モデルを生成するためのデータのことをいう。
【００１４】
顔モデルデータの形態は、人間の顔のどの形態学的特徴に着目して照合を行うかにより決定される。例えば、顔の構成要素（眉、目、鼻、口、耳又はそれらの細部）の２次元的又は３次元的な位置関係（配置）に着目して人物の異同識別を行う場合、それら構成要素の２次元座標データ又は３次元座標データが顔モデルデータとなる。また、顔の特定の構成要素（例えば耳）の形状に着目して人物の異同識別を行う場合、その構成要素の形状に関するデータを顔モデルデータとする。
【００１５】
次に、本発明のクライアント及びサーバの構成について説明する。
【００１６】
クライアントは、例えば、画像を表示するための表示手段（ＣＲＴ、ＬＣＤ等）、その表示装置の画面上の任意の点を指定するための入力手段（マウス等）及びネットワークを通じた通信手段（通信制御装置等）を備える一般的なパーソナルコンピュータ上で所定のプログラムを動作させることにより実現される。この場合、データ取得手段は、例えば
照合元画像（例えば、防犯カメラで撮影された犯人の画像）を表示手段の画面上に表示する手順、
使用者が入力手段を操作して表示手段の画面に写った人物の顔（本発明にいう第一の人物の顔）の指定特徴点（複数）を指定したときにその点の画面上での２次元座標を照合元座標データとして取得する手順、及び
使用者が入力手段を操作して表示手段の画面に映った人物の顔の２次元的な識別用顔モデルの生成に用いられる特徴点を指定したときにその点の画面上での２次元座標を顔モデルデータとして取得する手順、
を含む処理をコンピュータに実行させることにより実現できる。
【００１７】
サーバは、クライアントからの問合せに応じて、データベースに登録された多数の人物を対象とする検索及び照合処理を行い、その検索結果をクライアントへ返す。このサーバの構成及び作用について詳細に説明する。
【００１８】
データ抽出手段は、ネットワーク経由でクライアントから送信されてきた問合せデータを解析し、そこから前記照合元座標データ、顔モデルデータ及びその他の検索条件データを抽出する。
【００１９】
データ読出手段は、データベースに登録された多数の人物の各々を第二の人物として順次選択し、その人物の顔の指定特徴点の３次元座標データを読み出す。なお、問合せデータに照合元座標データ以外の検索条件データが含まれている場合、データ読出手段は、まずその検索条件データに基づく人物の検索（絞り込み）を行い、条件を満たした人物のデータのみ読み出すようにしてもよい。
【００２０】
向き決定手段は、データ抽出手段及びデータ読出手段から受け取ったデータを用いて以下のような手順を含む処理を実行する。
【００２１】
（ステップＳ１）データ読出手段から受け取ったデータを用いて３次元仮想空間内に定位用顔モデルを生成する。
【００２２】
（ステップＳ２）定位用顔モデルの向きを所定範囲内で様々に変化させながら、すなわち、定位用顔モデルの３次元的な回転位置を様々に変化させながら、定位用顔モデルの所定平面（投影面）への投影像を仮想的に生成し、その投影像における各指定特徴点の前記平面上での２次元座標データを算出する。このデータを以下では照合先座標データとよぶ。
【００２３】
（ステップＳ３）上記のようにして得られた照合先座標データ及びデータ抽出手段から受け取った照合元座標データに基づいて、上記照合元画像における前記指定特徴点の位置関係と上記投影像における前記指定特徴点の位置関係との一致の度合を示すチェック値を算出する。そして、所定範囲内の各向き毎に上記チェック値を算出し、最適なチェック値を与える向きを求める。これが本発明にいう最適向きである。
【００２４】
上記チェック値は、指定特徴点の選択に応じて様々な方法で定義することが可能である。例えば、指定特徴点のうち３つを選んでそれらの位置関係を示すチェック値を定義することを考えてみる。この場合、第一の画像における３つの指定特徴点Ａ、Ｂ、Ｃの位置関係と第二の画像における３つの指定特徴点Ｄ、Ｅ、Ｆとの位置関係が一致するということは、第一の画像上に描いた三角形ＡＢＣと第二の画像上に描いた三角形ＤＥＦとが互いに相似になる、ということを意味する。一般に２つの三角形の相似条件は、
対応する２つの角の角度（α，β）が等しい、
対応する２辺の比（１：ρ）とその間の角の角度（γ）が等しい、又は
対応する３辺の比（１：ρ１：ρ２）が等しい、
というように、２つの変数を用いて表現できる。そこで、チェック値（Ｋ）を、例えば、上記条件（１）に基づいて、
Ｋ＝（α２−α３）２−（β２−β３）２
と定義する。ここで、α２及びβ２は三角形ＡＢＣの２つの角（例えば、角Ａと角Ｂ）の大きさであり、α３及びβ３は、三角形ＡＢＣの前記２つの角に対応する三角形ＤＥＦの２つの角（角Ｄと角Ｅ）の大きさである。このようにチェック値Ｋを定義した場合、本発明に言う「チェック値の最適化」とは、変数Ｋの値を最小化することを意味する。
【００２５】
一致度評価手段は、上記のように最適向きが求められた後、データ読出手段及びデータ抽出手段から受け取ったデータを用いて以下のような手順を含む処理を実行する。
（ステップＳ４）データ読出手段により読み出された顔モデルデータを用いて、３次元仮想空間において上記最適向きを向いた第二の人物の顔の３次元的な識別用顔モデルを生成する。
（ステップＳ５）上記３次元的な識別用顔モデルを、上記投影面へ投影することにより第二の人物の２次元的な識別用顔モデルを生成する。
（ステップＳ６）データ抽出手段から受け取った顔モデルデータを用いて第一の人物の２次元的な識別用顔モデルを生成する。
（ステップＳ７）上記２つの２次元的な識別用顔モデルを用いて第一及び第二の人物の顔の一致度を示す評価値を算出する。
【００２６】
選択手段は、上記のように求められた評価値が所定条件を満たすかどうかを判定し、その条件が満たされたときに、その評価値を得た第二の人物を候補として選択する。
【００２７】
応答手段は、選択手段による選択結果に関するデータをネットワーク経由でクライアントへ送信する。選択結果に関するデータには、例えば、選択手段により候補として選択された人物の数、各人物の属性データ（氏名、性別、生年月日、身体的特徴等）、各人物の顔画像データ等が含まれる。
【００２８】
本発明に係るシステムにおいて、データベースには各人物の顔の３次元形状データを更に保存し、サーバには、選択された各人物の最適向きを向いた２次元顔画像である候補顔画像をその人物の顔の３次元形状データから生成する顔画像生成手段を備え、応答手段はその候補顔画像のデータをクライアントへ送信するようにしてもよい。
【００２９】
【発明の効果】
以上のように、本発明に係るシステムでは、指定特徴点で構成される定位用顔モデルを用いて２つの顔の向きを一致させてから、識別用顔モデルにより２つの顔の一致度を評価するという構成を採用したため、ある人物とデータベースに登録された多数の人物との照合及び異同識別処理を、人間の顔の形態学的特徴に関する僅かな量のデータ（例えば、数１０個程度の座標データ）のみに基づいて高速且つ高精度に行うことができる。
【００３０】
【実施例】
図１に本発明の一実施例である人物照合システムの概略構成を示す。本実施例の人物照合システム１は、情報通信用ネットワーク２、サーバ３、クライアント端末４Ａ及び４Ｂ、及び、サーバ３により管理されるデータベース５を含む。データベース５にはＮ人の人物のデータが保存されている（すなわち、データベースの大きさはＮ）。このデータには、各人物の属性データ、顔の定位用特徴点の３次元座標データ、識別用特徴点の３次元座標データ及び３次元形状データが含まれている。
【００３１】
属性データは、例えば、各人物の氏名、性別、生年月日、身体的特徴等のデータである。定位用特徴点は本発明にいう指定特徴点に相当するもので、その３次元座標データを用いて各人物の定位用顔モデルが生成される。識別用特徴点の３次元座標データは本発明にいう顔モデルデータに相当するもので、これを用いて各人物の識別用顔モデルが生成される。３次元形状データは、３次元仮想空間において各人物の顔の３次元顔貌像を生成するために用いられる。なお、顔の定位用特徴点の座標データ、識別用特徴点の座標データ及び３次元形状データは、人物の顔の形態学的特徴に関するデータを論理的に区別したものであって、実体としてはこれらのデータに重複があってもよい。例えば、３次元形状データに含まれる多数の点の一部を識別用特徴点とし、さらにその識別用特徴点の一部を定位用特徴点とすることも可能である。
【００３２】
クライアント端末４Ａは、ネットワーク２経由でサーバ３へ新たな登録用データを送信するためのデータ送信機能を有する。登録用データには、新たな人物の属性データ、その人物の顔の定位用特徴点の３次元座標データ、識別用特徴点の３次元座標データ及び３次元形状データが含まれる。３次元形状データは、クライアント端末４Ａに接続された顔形状測定装置６を用いて採取される。定位用特徴点及び識別用特徴点の３次元座標データは、例えば次のような手順で採取される。まず、所定のプログラムにより上記３次元形状データから顔の３次元像を生成し、その３次元像を表示装置の画面に表示する。次に、操作者が入力装置（マウス等）を操作して画面上の各特徴点を順次指定する。特徴点（定位用又は識別用）が指定される度に、プログラムが指定された点の画面上での２次元座標を取得し、３次元形状データに含まれる多数の点の３次元座標データから前記２次元座標に対応するものを特定する。こうして特定された３次元座標データを特徴点の３次元座標データとする。
【００３３】
図２はクライアント端末４Ｂの機能的構成を示すブロック図である。機能的に見ると、クライアント端末４Ｂは、データ処理部３１、使用者がデータ処理部３１へ命令や情報を送るための入力部３２、写真やビデオ映像等から得られた２次元画像データを記憶するための２次元画像データ記憶部３３、ネットワーク２を通じての他のコンピュータと通信するための通信部３４、画像や文字等を表示するための表示部３５、及び、サーバ３から送信されてきたデータを保存するための受信データ保存部３６から主として構成される。このうち、データ処理部３１は、プロセッサ（図示せず）で所定のプログラムを実行することにより構成され、２次元画像データ記憶部３３は、クライアント端末４Ｂに内蔵されたメモリやハードディスク等（いずれも図示せず）を利用して構成される。入力部３２はキーボード４１及びマウス４２を含み、表示部３５はディスプレイ４３を含む。受信データ保存部３６はハードディスク等を利用して構成される。
【００３４】
以下では、顔の定位用特徴点の２次元座標データを採取する場合を例に取って、特徴点の２次元座標データの採取手順の一例を説明する。なお、以下に説明するような作業の前に、クライアント端末４Ｂの操作者は、録画装置７又はイメージスキャナ８で採取されたある人間の顔の２次元画像（照合元画像）のデータをクライアント端末４Ｂの本体に内蔵された記憶装置（例えば、ハードディスク。図示せず）に予め保存しておくものとする。
【００３５】
まず、クライアント端末４Ｂにおいてクライアント用プログラムを起動すると、ディスプレイ４３の画面上に図３のようなメインウィンドウ５０が表示される。ウィンドウ５０には５個のコマンドボタン５１〜５５、データ取得モード切換用のラジオボタン５６が配置されている。使用者はマウス４２を適宜操作することにより、コマンドボタン５１〜５５のクリック、ラジオボタン５６のクリックを行うことができる。この他、ウィンドウ５０には、照合元画像を表示するための画像表示領域５７及び検索結果等の情報を表示するための情報表示領域５８が設けられている。画像表示領域５７上の点の位置は水平右向きのＸ２軸及び垂直下向きのＹ２軸から成る２次元座標系により表される。
【００３６】
ディスプレイ４３の画面にウィンドウ５０が表示されたら、以下のような手順で検索問合せ用のデータの採取及び送信を行う。
【００３７】
まず、使用者が画像選択ボタン５１をクリックすると、データ処理部３１は、２次元画像データ記憶部３３に保存されたデータから所望の顔のデータを選択するためのダイアログボックス（図示せず）をディスプレイ４３の画面に表示する。そして、そのダイアログボックスで使用者が先に採取した顔のデータを選択すると、データ処理部３１は、そのデータを所定の方法で処理し、選択された顔の画像を画像表示領域５７に表示する。このように画像表示領域５７に表示された画像を以下では２Ｄ画像とよぶ。この２Ｄ画像は本発明にいう照合元画像に相当する。図４に２Ｄ画像の一例を示す。なお、図４の２Ｄ画像２２の中の文字、直線、矢印及びハッチングを施した円は、本実施例の説明のために追加したもので、これらは２Ｄ画像２２には含まれない。
【００３８】
２Ｄ画像２２がディスプレイ４３の画面に表示されたら、使用者は２Ｄ画像２２に写った顔の定位用特徴点を以下のように指定する。まず、使用者がラジオボタン５６を「定位用データ取得」にセットする。これにより、データ処理は、２Ｄ画像２２上で定位用特徴点を指定するためのモードに入る。このモードで、使用者は、予め定められた複数の定位用特徴点（顔の部位）を２Ｄ画像２２内で探し、それらの特徴点を順次クリックする。本実施例では、図５（Ａ）に示した７個の特徴点、すなわち、鼻根点Ｐ０１、鼻尖点Ｐ０２、口裂正中点Ｐ０３、右目上中心点Ｐ０４、左目上中心点Ｐ０５、右耳朶点Ｐ０６及び左耳朶点Ｐ０７を順次クリックするものとする。各特徴点がクリックされる度毎に、データ処理部３１は、その特徴点のＸ２座標及びＹ２座標を取得し、座標データをメモリに保存する。このようにして、７個の特徴点Ｐ０１〜Ｐ０７の座標データ（Ｘ２ｊ，Ｙ２ｊ）を取得する（ｊは１から７までの整数）。なお、図４を見ると、２Ｄ画像２２は正面からではなく斜めから見た顔を撮影したものであるため、左耳朶点Ｐ０７は見えない。このように２Ｄ画像２２内で見えない特徴点がある場合は、顔の外の余白の適宜箇所をクリックする。これにより、その点は欠損点とされ、後述するデータ処理の対象外となる。全ての定位用特徴点の指定が完了したら、使用者は確定ボタン５２をクリックする。これにより、定位用特徴点の座標データ取得処理は完了する。
【００３９】
次に、使用者は、ラジオボタン５６を「識別用データ取得」にセットする。これにより、データ処理は、２Ｄ画像２２に写った顔の識別用特徴点を指定するためのモードに入る。このモードで、使用者は、予め定められた複数の識別用特徴点を２Ｄ画像２２内で探し、それらの特徴点を順次クリックする。なお、本実施例では、図５（Ｂ）に示した１５個の特徴点、すなわち、右内眼角点Ｐ11、左内眼角点Ｐ12、右外眼角点Ｐ13、左外眼角点Ｐ14、右鼻翼点Ｐ15、左鼻翼点Ｐ16、鼻下点Ｐ17、口裂正中点Ｐ18、右口角点Ｐ19、左口角点Ｐ20、右頬骨弓点Ｐ21、左頬骨弓点Ｐ22、右下顎角点Ｐ23、左下顎角点Ｐ24及びオトガイ点Ｐ25を順次クリックするものとする。各特徴点がクリックされる度毎に、データ処理部３１は、その特徴点のＸ2座標及びＹ2座標を取得し、座標データをメモリに保存する。このようにして、１５個の特徴点Ｐ11〜Ｐ25の座標データ（Ｘ2k，Ｙ2k）を取得する（ｋは１１から２５までの整数）。なお、図示していないが、図４の２Ｄ画像２２では左頬骨弓点Ｐ22及び左下顎角点Ｐ24は顔の背後に隠れて見えないため欠損点とし、処理対象外とする。全ての定位用特徴点の指定が完了したら、使用者は確定ボタン５２をクリックする。これにより、識別用特徴点の座標データ取得処理は完了する。
【００４０】
次に、使用者は属性入力ボタン５３をクリックすると、データ処理部３１はディスプレイ４３の画面上に人物の属性データを入力するウィンドウ（図示せず）を表示する。もし照合元画像に写った人物の何らかの属性データがある場合、使用者は上記のように表示されたウィンドウで人物の属性データを入力する。この属性データは、データ処理部３１によりメモリに保存される。
【００４１】
以上の作業が全て完了したら、使用者は、送信ボタン５４をクリックする。すると、データ処理部３１は、先にメモリに保存した７個の定位用特徴点の２次元座標データ（Ｘ２ｊ，Ｙ２ｊ）、１５個の識別用特徴点の２次元座標データ（Ｘ２ｋ，Ｙ２ｋ）及び属性データを含む問合せデータを作成し、そのデータを通信部３４へ送る。通信部３４はネットワーク２を通じてそのデータをサーバ３へ送信する。
【００４２】
図６に問合せデータを受け取ったサーバ３が実行する処理のフローチャートを示す。なお、以下の説明では、データベース５に登録された人物に１からＮの識別番号を割り当て、処理対象とする人物の識別番号を示す識別子をＩとし、その人物を「人物（Ｉ）」と表記するものとする。
【００４３】
（ステップＳ１２、Ｓ１４）
問合せデータを受け取ると、サーバ３は、まず、その問合せデータを解析し、７個の定位用特徴点の２次元座標データ（Ｘ２ｊ，Ｙ２ｊ）、１５個の識別用特徴点の２次元座標データ（Ｘ２ｋ，Ｙ２ｋ）及び属性データを抽出する。こうして抽出されたデータを照合元人物のデータと呼ぶ。照合元人物のデータ抽出後、サーバ３は上記識別子Ｉの値を１に初期化する。
【００４４】
以下の、ステップＳ１５〜Ｓ２９では、データベース５に登録されたＮ人の人物を順次選択してそのデータを読み出し、照合元人物と選択された人物との照合及び異同識別を行う。
【００４５】
（ステップＳ１５、Ｓ１６）
まず、サーバ３は、データベース５から人物（Ｉ）の７個の定位用特徴点の３次元座標データ（Ｘ３ｊ，Ｙ３ｊ，Ｚ３ｊ）、１５個の識別用特徴点の３次元座標データ（Ｘ３ｋ，Ｙ３ｋ，Ｚ３ｋ）を読み出す（ステップＳ１５）。次に、サーバ３は、定位用特徴点の座標データ（Ｘ３ｊ，Ｙ３ｊ，Ｚ３ｊ）を用いて３次元仮想空間内に定位用顔モデルを生成する（ステップＳ１６）。定位用顔モデルの例を図５（Ａ）に示す。図５（Ａ）に示した定位用顔モデル２１は、７個の特徴点Ｐ０１〜Ｐ０７を３次元仮想空間Ｘ３−Ｙ３−Ｚ３に配置して成る抽象的モデルである（図５（Ａ）にて破線で示した顔貌像は定位用顔モデル２１の構成要素ではない）。
【００４６】
（ステップＳ１８）
次に、サーバ３は、定位用顔モデルの最適向き（３次元的回転位置）を決定する処理（以下、定位処理と呼ぶ）を実行する。定位処理の詳細なフローを図７に示す。この定位処理（ステップＳ４１〜Ｓ４７）は、およそ次のような考え方に基づいて進められる。すなわち、３次元仮想空間において、図５（Ａ）のように正面を向いた状態を顔の基準状態とし、その状態から顔をＸ３軸の回りに角度αだけ、Ｙ３軸の回りに角度βだけ、そしてＺ３軸の回りに角度γだけ回転させることを考える。このとき、３つの回転角α、β及びγを適切に設定すれば、顔のＸ３−Ｙ３平面（以下、投影面とする）への投影像に写った顔の向きを、図４の画像表示領域５７に表示された２Ｄ画像２２に写った顔の向きと一致させることができる。このような考え方に基づき、以下に説明する定位処理では、上記３つの回転角α、β、γを求めることを目的としたデータ処理が行われる。
【００４７】
（ステップＳ４１）
このステップでは、いずれかの特徴点が座標系の原点と一致するように各座標系の原点の再設定を行う。本実施例では、原点と一致させる特徴点として鼻根点Ｐ０１を選択するものとする。この処理は、具体的には、３次元仮想空間においてＸ３−Ｙ３−Ｚ３座標系を平行移動させてその原点を定位用顔モデル２１の鼻根点Ｐ０１と一致させるとともに、画像表示領域５７においてＸ２−Ｙ２座標系を平行移動させてその原点を２Ｄ画像２２の鼻根点Ｐ０１と一致させる座標変換処理である。この座標変換処理は、後述する計算処理を簡単にするために行われるものである。
【００４８】
更に、３次元仮想空間の座標系については、鼻尖点Ｐ０２、左右の耳朶点Ｐ０６及びＰ０７のＹ３座標が全て同一となり、且つ、鼻根点Ｐ０１、鼻尖点Ｐ０２及び口裂正中点Ｐ０３のＸ３座標が全て同一となるように、座標系全体をＸ３軸回り及びＹ３軸回りにそれぞれ回転させる座標変換処理を行う。この回転処理も、後述する計算処理を簡単にするために行われるものである。なお、この回転処理の後の状態がすなわち先に説明した基準状態である。
【００４９】
（ステップＳ４２）
このステップでは、２Ｄ画像２２の水平基準線の傾きを計算する。より具体的には、例えば、２Ｄ画像２２の２つの目上中心点Ｐ０４及びＰ０５を通る直線を水平基準線とし、その直線と、左目上中心点Ｐ０５を通る水平線とが成す角度θ２３を求める。
【００５０】
（ステップＳ４３）
このステップでは、基準状態にある定位用顔モデル２１をＸ３軸の回りに回転させるべき方向Ｄ１及びＹ３軸の回りに回転させるべき方向Ｄ２を以下のようにして求める。
【００５１】
まず、方向Ｄ１は次のように求める。すなわち、基準状態においては定位用顔モデル２１の鼻尖点Ｐ０２のＹ３座標は左右の耳朶点Ｐ０６及びＰ０７のＹ３座標と同じである。そして、定位用顔モデル２１をＸ３軸を中心としてある方向に回転させて斜め下に向ける（顔を前に傾ける）と、鼻尖点Ｐ０２のＹ３座標が左右の耳朶点Ｐ０６及びＰ０７のＹ３座標よりも大きくなり、同モデルを逆方向に回転させて斜め上に向ける（顔を後ろへ傾ける）と、鼻尖点Ｐ０２のＹ３座標が左右の耳朶点Ｐ０６及びＰ０７のＹ３座標よりも小さくなる。このことを踏まえ、２Ｄ画像２２の２つの目上中心点Ｐ０４及びＰ０５を通る直線がＸ２軸と平行になるような座標変換処理（画像の回転処理）を行った上で、鼻尖点Ｐ０２のＹ２座標と右耳朶点Ｐ０６（右耳朶点Ｐ０６が欠損点である場合は、左耳朶点Ｐ０７）のＹ２座標とを比較する。そして、鼻尖点Ｐ０２のＹ２座標が右耳朶点Ｐ０６のＹ２座標よりも小さいときは方向Ｄ１を正とし、逆のときは方向Ｄ１を負とする。
【００５２】
一方、方向Ｄ２は次のように求める。すなわち、基準状態においては定位用顔モデル２１の鼻尖点Ｐ０２のＸ３座標は鼻根点Ｐ０１及び口裂正中点Ｐ０３のＸ３座標と同じである。そして、３Ｄ顔貌像をＹ３軸を中心としてある方向に回転させて左に向けると、鼻尖点Ｐ０２は直線Ｐ０１−Ｐ０３に対して左耳朶点Ｐ０７と同じ側に移動し、３Ｄ顔貌像を逆方向に回転させて右に向けると、鼻尖点Ｐ０２は直線Ｐ０１−Ｐ０３に対して左耳朶点Ｐ０７とは反対側に移動する。このことを踏まえ、２Ｄ画像２２において、鼻根点Ｐ０１と口裂正中点Ｐ０３とを通る直線に対して鼻尖点Ｐ０２が左耳朶点Ｐ０７と同じ側にあるかどうかを判定することにより方向Ｄ２を決定する。鼻尖点Ｐ０２が直線Ｐ０１−Ｐ０３に対して左耳朶点Ｐ０７と同じ側にあるときは方向Ｄ２を正とし、反対側にあるときは方向Ｄ２を負とする。
【００５３】
（ステップＳ４４）
このステップでは、定位用顔モデル２１のＸ３軸回りの回転角α及びＹ３軸回りの回転角βの最適値を求める処理を行う。この処理は、３次元仮想空間において定位用顔モデル２１の回転角α及びβを微小量ずつ段階的に変化させながら、各段階毎に所定のチェック値を計算し、そのチェック値の最適値を与えるような回転角α及びβを最適回転角として選択する、という手順で実行される。なお、回転角α及びβを変化させる範囲は、ステップＳ４３で求めた方向Ｄ１及びＤ２に基づいて定める。例えば、Ｄ１及びＤ２がともに正である場合は、α及びβともに０°から１８０°まで正方向に変化させ、Ｄ１が正でＤ２が負である場合は、αを０°から１８０°まで正方向に変化させる一方、βは０°から−１８０°まで負方向に変化させる。このように回転角を変化させる範囲を変数Ｄ１及びＤ２に基づいて限定することにより、データ処理にかかる時間が短縮されるだけでなく、チェック値が発散して最適値が求められなくなるといった事態も起こりにくくなる。
【００５４】
本実施例においては、上記チェック値を次のように定義する。まず、２Ｄ画像２２の左右の目上中心点Ｐ０４及びＰ０５を通る直線と鼻尖点Ｐ０２及び右耳朶点Ｐ０６（右耳朶点Ｐ０６が欠損点である場合は、左耳朶点Ｐ０７）を通る直線とが成す角度θ２１と、鼻根点Ｐ０１から鼻尖点Ｐ０２及び口裂正中点Ｐ０３を望む角の角度θ２２とを計算する。また、定位用顔モデル２１をＸ３軸回り及びＹ３軸回りに回転させたときの投影面への投影像においても、同様に、左右の目上中心点Ｐ０４及びＰ０５を通る直線と鼻尖点Ｐ０２及び右耳朶点Ｐ０６を通る直線とが成す角度θ３１と、鼻根点Ｐ０１から鼻尖点Ｐ０２及び口裂正中点Ｐ０３を望む角の角度θ３２とを計算する。このようにして得られたθ２１、θ２２、θ３１及びθ３２の値を用いて、チェック値Ｋを次式
Ｋ＝（θ３１−θ２１）２＋（θ３２−θ２２）２
で定義する。この場合、Ｋの値が最小となるような回転角α及びβが最適回転角として選択される。
【００５５】
（ステップＳ４５）
このステップでは、定位用顔モデル２１のＺ３軸回りの回転角γを次のように計算する。すなわち、上述のように定位用顔モデル２１のＸ３軸回り及びＹ３軸回りの最適回転角α及びβが計算されたら、基準状態からその回転角分だけ定位用顔モデル２１を回転させる。次に、このように回転させた定位用顔モデル２１の投影像において、左右の目上中心点Ｐ０４及びＰ０５を通る直線と水平線とが成す角度θ３３を計算する。そして、θ３３と先に求めたθ２３との差
θ２３−θ３３
を、Ｚ３軸回りの回転角γとする。
【００５６】
（ステップＳ４６）
このステップでは、定位用顔モデル２１の投影像の大きさを２Ｄ画像２２のそれとほぼ同じにするための拡大縮小率Ｒを計算する。拡大縮小率Ｒとしては、例えば、２Ｄ画像２２における所定の２つの特徴点（例えば左右の目上中心点Ｐ０４及びＰ０５）の距離と、定位用顔モデル２１の投影像におけるその距離との間の比を用いる。また、同一直線上にない３点を含む複数の特徴点の座標を用いて拡大縮小率Ｒを計算してもよい。例えば、２Ｄ画像２２において、鼻根点Ｐ０１から鼻尖点Ｐ０２、口裂正中点Ｐ０３、右目上中心点Ｐ０４及び左目上中心点Ｐ０５までの距離をそれぞれＬ２、Ｌ３、Ｌ４及びＬ５とし、これら４個の距離値の和をＬ０とする。同様に、定位用顔モデル２１の投影像において、鼻根点Ｐ０１から鼻尖点Ｐ０２、口裂正中点Ｐ０３、右目上中心点Ｐ０４及び左目上中心点Ｐ０５までの距離をそれぞれＭ２、Ｍ３、Ｍ４及びＭ５とし、これら４個の距離値の和をＭ０とする。こうして得られたＬ０及びＭ０の比を拡大縮小率Ｒとする。このようにすると、２つの特徴点を用いる場合に比べて、計算にかかる負荷をほとんど増大させることなく、拡大縮小率Ｒの計算精度を求めることができる。特に、上記の例のように、顔面上で略水平方向の距離（Ｌ２、Ｌ３、Ｍ２、Ｍ３）と略垂直方向の距離（Ｌ４、Ｌ５、Ｍ４、Ｍ５）に基づいて拡大縮小率Ｒを求めるようにすれば、誤差がより小さくなる。
【００５７】
（ステップＳ４７）
このステップでは、定位用顔モデル２１の鼻根点Ｐ０１のＸ３座標及びＹ３座標が、２Ｄ画像２２の鼻根点Ｐ０１のＸ２座標及びＹ２座標と一致するように、定位用顔モデル２１をＸ３−Ｙ３平面に沿って平行移動させるべき距離Ｄｉｓｔを計算する。この距離が求められたら、処理は図６のメインルーチンへ戻る。
【００５８】
（ステップＳ２０）
定位処理により３次元仮想空間内の回転角（α，β，γ）、拡大縮小率Ｒ及び平行移動距離Ｄｉｓｔが求められたら、サーバ３は、人物（Ｉ）の識別用特徴点の座標データ（Ｘ３ｋ，Ｙ３ｋ，Ｚ３ｋ）を用いて３次元仮想空間内に識別用顔モデルを生成する。識別用顔モデルの例を図５（Ｂ）に示す。図５（Ｂ）に示した識別用顔モデル２３は、１５個の特徴点Ｐ１１〜Ｐ２５を３次元仮想空間Ｘ３−Ｙ３−Ｚ３に配置して成る抽象的モデルである（図５（Ｂ）にて破線で示した顔貌像は識別用顔モデル２３の構成要素ではない）。
【００５９】
こうして識別用顔モデル２３を生成したら、サーバ３は、そのモデル２３を３次元仮想空間内で回転角（α，β，γ）だけ回転する処理、比率Ｒで拡大縮小する処理、及び、Ｘ３−Ｙ３平面に沿って距離Ｄｉｓｔだけ平行移動する処理を行う。この結果、識別用顔モデル２３の投影像は、２Ｄ画像２２に写った顔の像と照合可能な大きさ、位置及び向きを有する像となる。以上の処理を行った後、サーバ３は、識別用顔モデル２３の各識別用特徴点の新たなＸ３座標及びＹ３座標（Ｘ’３ｋ，Ｙ’３ｋ）を取得する。
【００６０】
（ステップＳ２２）
識別用顔モデル２３の新たな座標データ（Ｘ’３ｋ，Ｙ’３ｋ）が求められたら、サーバ３は、そのデータと、先に問合せデータから抽出された照合元人物の識別用特徴点の座標データ（Ｘ２ｋ，Ｙ２ｋ）とを用いて、照合元人物の顔と人物（Ｉ）の顔との一致度を示すマッチング値Ｍを求める。ここでは、マッチング値Ｍとして、照合元人物の識別用特徴点の座標値（Ｘ２ｋ，Ｙ２ｋ）と人物（Ｉ）の識別用特徴点の座標値（Ｘ’３ｋ，Ｙ’３ｋ）との相関係数を用いるものとする
【００６１】
（ステップＳ２４〜Ｓ３０）
マッチング値Ｍが求められたら、サーバ３は、その値が所定値よりも大きいか否かを判定する（ステップＳ２４）。Ｍが所定値より大きいときは、サーバ３は、照合元人物と人物（Ｉ）との一致度が高いと判断し、その人物（Ｉ）の識別子をメモリ上の候補リストに登録する（ステップＳ２６）。その後、サーバ３は、識別子Ｉの値とデータベース５の大きさＮとを比較することにより、データベース５に登録された全ての人物に対して照合処理が終わったかどうかを判定する（ステップＳ２８）。Ｉの値がＮより小さいときは未処理の人物が残っているから、サーバ３は識別子Ｉに１を加算し（ステップＳ２９）、ステップＳ１５へ戻って次の人物に対する照合処理を行う。Ｉの値がＮ以上である場合、サーバ３は、ネットワーク２を通じてクライアント端末４Ｂへ応答データを送信する（ステップＳ３０）。
【００６２】
サーバ３からクライアント端末４Ｂへ送られた応答データは、クライアント端末４Ｂの通信部３４からデータ処理部３１へ送られる。データ処理部３１はその応答データを解析し、検索結果を情報表示領域５８に表示する。図３の例では、検索結果を４つのフィールドを有する表形式で表示している。
【００６３】
上記表の第１フィールドには候補リストに登録された各人物の識別番号（ＩＤ）が、また第２フィールドには氏名が表示される。ここで、氏名の文字列（氏名リンク）はいわゆるハイパーリンクであり、これをクリックすると、その人物の属性に関する詳細なデータが画面上の別ウィンドウ（図示せず）に表示される。なお、この詳細データは、上記応答データに予め含めておいてもよいが、使用者が氏名リンクをクリックしたときに、その詳細データの取得を希望する新たな問合せデータをサーバ３へ送ることにより、その都度サーバ３から詳細データを取得するようにしてもよい。
【００６４】
上記表の第３フィールドはマッチング値Ｍであり、この値が降順で並ぶように（つまり、一致度が高い順で）候補者が表示されている。
【００６５】
上記表の第４フィールドに表示された「画像」という文字列は、顔画像へのハイパーリンクであり、これをクリックすると、その人物の顔画像（２Ｄ画像２２に写った顔と同じ向きを向いた候補者の顔画像。以下、候補顔画像とする）が、別ウィンドウ（後述）に表示される。
【００６６】
候補顔画像は、サーバ３において、データベース５に保存された３次元形状データを用いて次のように生成される。まず、３次元形状データを用いて３次元仮想空間内に３次元顔貌像を生成する。次に、その３次元顔貌像に対し、回転角（α，β，γ）だけ回転する処理、比率Ｒで拡大縮小する処理、及び、Ｘ３−Ｙ３平面に沿って距離Ｄｉｓｔだけ平行移動する処理を行う。そして、３次元顔貌像のＸ３−Ｙ３平面への投影像を候補顔画像とする。
【００６７】
なお、候補顔画像のデータは、上記応答データに予め含めておいてもよいが、使用者が画像リンクをクリックしたときに、その詳細データの取得を希望する新たな問合せデータをサーバ３へ送ることにより、その都度サーバ３から詳細データを取得するようにしてもよい。
【００６８】
図８に候補顔画像を表示するウィンドウの一例を示す。図８のウィンドウ６０には、２つの画像表示領域６１及び６２が設けられている。第一の画像表示領域６１は図３のウィンドウ５０に設けられた画像表示領域５７のコピーであり、ここに２Ｄ画像２２が表示される。第二の画像表示領域６２には候補顔画像６３が表示される。
【００６９】
また、ウィンドウ６０には、縦ワイプボタン６４及び横ワイプボタン６５が用意されている。縦ワイプボタン６４及び横ワイプボタン６５には、上述のようにして得られた候補顔画像６３を２Ｄ画像２２に重畳して整合性チェック用の合成画像を生成する機能が割り当てられている。例えば、使用者が縦ワイプボタン６４をクリックすると、図９に示したように、第二の画像表示領域６２を上下に分割する水平な分割線７１が生成され、上下の分割領域には候補顔画像６３の上部及び２Ｄ画像２２の下部（又は、２Ｄ画像２２の上部及び候補顔画像６３の下部）がそれぞれ表示される。そして、分割線７１をマウスカーソル７２でＹ２軸方向にドラッグすること（縦ワイプ動作）により、上下の画像の輪郭線や目鼻等の位置の整合性を目で確認することができる。同様に、横ワイプボタン６５をクリックすると、垂直な分割線７３で画像表示領域６２が左右に分割され、その分割線７３をマウスカーソル７２でＸ２軸方向にドラッグすること（横ワイプ動作）ができるようになる。
【００７０】
以上、本発明の実施例である人物照合システム１について説明したが、このシステムは更に様々に変形可能であることは言うまでもない。例えば、定位用顔モデルに対する定位処理（ステップＳ４１〜Ｓ４７）においては、２Ｄ画像２２の撮影時における撮像機器から被写体までの距離を考慮した遠近補正処理を行うことが好ましい。これについて以下に説明する。
【００７１】
例えば、図１０のように、カメラ８１で顔８２を撮影した画像においては、カメラ８１に近い顔の部位（例えば右頬８３）に比べて、カメラから遠い顔の部位（例えば右耳８４）が実際よりも小さく写る。そこで、カメラから被写体（顔）までの距離が判明している場合には、定位用顔モデル２１を生成する際に、撮像機器から顔の各部位までの距離に基づいた補正（各定位用特徴点のＺ３座標の補正）を行うのである。
【００７２】
上記のような処理を、例えば、ステップＳ４５とＳ４６の間で行うようにすると、拡大縮小率の計算精度がより高まる。また、ステップＳ４４の処理（チェック値の最適値を与えるような３Ｄ顔貌像のＸ３軸回り及びＹ３軸回りの回転角α及びβを計算する）において、回転角α及びβを段階的に変化させる度毎に遠近補正処理を行い、チェック値を調べるようにすれば、回転角α及びβの計算精度も高まる。なお、上記のような遠近補正処理をサーバ３に行わせるようにするには、クライアント端末４Ｂからサーバ３へ送信する問合せデータに撮像機器から被写体までの距離のデータを含めるようにする。
【００７３】
また、上記実施例では、問合せデータに含まれる照合元人物の属性データはサーバ３においては特に利用されていないが、例えば、図６のステップＳ１５とステップＳ１６の間に、人物（Ｉ）が照合元人物と同じ属性データを持つか否かを判定するステップを追加し、同じ属性データを持つ人物（Ｉ）についてのみステップＳ１６以降の処理を行うようにしてもよい。
【００７４】
また、上記実施例では、照合元人物が写った一枚の画像から各種データを取得してサーバ３へ送るものとしたが、同一の照合元人物が写った複数の画像がある場合は、全ての画像のデータを利用することにより、照合精度がより高くなることが期待できる。このような場合を想定し、上記システム１において、第一の画像のデータに基づいて候補者として選択された人物のみを対象として第二の画像のデータに基づく絞り込み検索を行うことができるようにしてもよい。また、複数の画像（画像１、画像２、…、画像ｍ）から取得した全ての照合元人物データ（データ１、データ２、…、データｍ）をクライアント４Ｂからサーバ３へ一括して送信し、サーバ３においては、各人物（Ｉ）に対する照合処理において、上記データのそれぞれについてマッチング値を算出し、全てのマッチング値の平均値を、照合元人物と人物（Ｉ）とのマッチング値Ｍとするようにしてもよい。
【００７５】
また、上記実施例では、サーバ３がデータベース５に保存された３次元形状データから最適向きを向いた顔の２次元画像（候補顔画像）のデータを生成し、各候補者の属性データとともにクライアント端末４Ｂへ送信するものとしたが、サーバ３が候補顔画像のデータではなく各候補者の顔の３次元形状データをクライアント端末４Ｂへ送信し、クライアント端末４Ｂ側でも３次元形状データを用いた各種処理を行うようにしてもよい。このような形態のシステムについて以下に説明する。
【００７６】
まず、クライアント端末４Ｂの使用者は、上述したような手順で照合元人物に関するデータ（属性データ、定位用特徴点座標、識別用特徴点座標）を取得した後、全受信ボタン５５をクリックする。すると、クライアント端末４Ｂからサーバ３へ、全ての候補者のデータ（属性データ、定位用特徴点座標、識別用特徴点座標、３次元形状データ）の一括送信を要求する信号が送られる。この信号を受けたサーバ３は、データベース５から各候補者のデータを読み出し、クライアント端末４Ｂへ送信する。クライアント端末４Ｂのデータ処理部３１は、通信部３４を介して前記データを受け取り、そのデータを受信データ保存部３６へ人物のＩＤ毎に保存するとともに、図３に示したように、メインウィンドウ５０の情報表示領域５８に候補者の一覧を表示する。なお、一括送信を要求する信号を送る前に、データ処理部３１が各候補者のＩＤに対応するレコードが既に受信データ保存部３６に保存されていないかどうかを調べ、データの保存されていない候補者のデータだけをサーバ３へ要求するようにしてもよい。
【００７７】
次に、使用者が一覧に表示されたいずれかの人物のハイパーリンク（表の第２又は第４フィールド）をクリックすると、図１１に示したような照合作業ウィンドウ９０が表示される。照合作業ウィンドウ９０には、５個のコマンドボタン９１〜９５、２面の画像表示領域９７及び９８、及び、１面の情報表示領域９９が設けられている。図１１で第一の画像表示領域９７は図３のウィンドウ５０に設けられた画像表示領域５７のコピーであり、ここに２Ｄ画像２２が表示される。また、第二の画像表示領域９８には、選択された候補者の顔の３次元形状データを処理して得られる３次元顔貌像のＸ−Ｙ平面への投影像（以下、３Ｄ投影像１０１とする）が表示される。第二の画像表示領域９８における点のＸ座標及びＹ座標を以下では、Ｘ３座標及びＹ３座標とする。また、情報表示領域９９には選択された候補者の属性データが表示される。
【００７８】
次に、使用者が右側の点指定ボタン９２をクリックすると、データ処理は、３Ｄ投影像１０１の定位用特徴点を指定するためのモードに入る。このモードで、使用者は、図５（Ａ）に示した７個の定位用特徴点を３Ｄ投影像１０１内で探し、それらの特徴点を順次クリックする。この作業中、データ処理部３１は、各特徴点がクリックされる度毎に、その特徴点のＸ３座標及びＹ３座標を取得し、更に、取得した座標（Ｘ３，Ｙ３）と上記３次元形状データから、その点の３次元仮想空間内におけるＺ座標（Ｚ３）を算出する。こうして３次元仮想空間における座標データが得られたら、データ処理部３１がその座標データをメモリに保存する。以上の作業により、選択された候補者の定位用顔モデルを生成するためのデータが取得されたことになる。
【００７９】
なお、２Ｄ画像２２においては、先の検索問合せ時の準備段階で既に７個の定位用特徴点の座標（Ｘ2，Ｙ2）を取得済みであるが、再度座標の取得をやり直した場合、使用者は、左側の点指定ボタン９１をクリックする。すると、データ処理は、２Ｄ画像２２の定位用特徴点を指定するためのモードに入り、使用者は、先に説明したような手順で定位用特徴点の座標取得作業を行うことができる。
【００８０】
次に、使用者が実行ボタン９３をクリックすると、データ処理部３１は、選択された候補者の定位用顔モデルに対する定位処理を行う。この定位処理は、図７のフローチャートを参照しながら先に説明したような手順で行われる。
【００８１】
定位処理により３次元仮想空間内の回転角（α，β，γ）、拡大縮小率Ｒ及び平行移動距離Ｄｉｓｔが求められたら、データ処理部３１は、３次元顔貌像を３次元仮想空間内で回転角（α，β，γ）だけ回転する処理、比率Ｒで拡大縮小する処理、及び、Ｘ３−Ｙ３平面に沿って距離Ｄｉｓｔだけ平行移動する処理を行う。この結果、識別用顔モデル２３の投影像は、２Ｄ画像２２に写った顔の像と照合可能な大きさ、位置及び向きを有する像となる。更に、縦ワイプボタン９４や横ワイプボタン９５をクリックすれば、先に図９を参照しながら説明したような縦ワイプ処理や横ワイプ処理を行うことができる。
【図面の簡単な説明】
【図１】本発明の一実施例である人物照合システムの概略構成図。
【図２】クライアント端末の機能的構成を示すブロック図。
【図３】クライアント端末のディスプレイに表示されるメインウィンドウを示す図。
【図４】撮像機器等で撮影された顔の２次元画像を示す図。
【図５】（Ａ）は７個の定位用特徴点から成る定位用顔モデルを示す図、（Ｂ）は１５個の識別用特徴点から成る識別用顔モデルを示す図。
【図６】サーバにより実行される処理のフローチャート。
【図７】定位処理のフローチャート。
【図８】候補顔画像を表示するウィンドウの一例を示す図。
【図９】ワイプ機能を説明するための図。
【図１０】カメラからの距離が顔の部位に応じて変化することを説明するための図。
【図１１】照合作業ウィンドウを示す図。
【符号の説明】
１…人物照合システム
２…情報通信用ネットワーク
３…サーバ
４Ａ、４Ｂ…クライアント端末
５…データベース
６…顔形状測定装置
Ｐ０１〜Ｐ０７…定位用特徴点
Ｐ１１〜Ｐ２５…識別用特徴点
【発明の属する技術分野】
本発明は、データベースを用いて人物の検索や照合を行うためのシステムに関する。
【０００２】
【従来の技術】
今日の犯罪捜査においては、防犯カメラ又はビデオで撮影された犯人の顔と、これとは別に用意された写真やデジタル画像等の２次元画像に写った被疑者の顔との異同識別を行うための鑑定の機会が増加しており、この鑑定の結果が事件の解決に大きく貢献することも多い。このような鑑定をより効率よく行うには、多数の人物の個人情報とともに各人物の顔画像を保存したデータベースや、そのデータベースを用いた検索、照合等のデータ処理を行うための管理システムの構築及び整備が不可欠である。このようなデータベース及びそのための管理システムを含むシステムを本明細書では人物照合システムと呼ぶ。
【０００３】
犯罪捜査において従来より用いられている人物検索照合システムでは、人物の属性情報（性別、生年月日、身体的特徴、住所等）とともにその人物の顔の正面及び右斜め側面の画像データ（又は顔の前記２面を写した写真の保管先を特定するためのデータ）がデータベースに保存されている。このシステムを用いた検索照合作業はおよそ次のような手順で行われる。
（１）犯人に関する情報に基づいて検索を行い、被疑者を絞り込む。
（２）絞り込んだ被疑者の顔画像をデータベースから読み出す（又は、被疑者の顔写真の所在を示すデータを読み出し、その写真を実際に取って来る）。
（３）読み出した顔画像（又は取って来た顔写真）をビデオカメラ等で撮影された犯人の顔画像と一つ一つ照合し、人物の異同を操作者が目で判断する。
【０００４】
【発明が解決しようとする課題】
上記システムには、検索のための情報が少ない場合、被疑者の十分な絞り込みができず、犯人の顔画像を多数の被疑者の顔画像と一つ一つ照合するために多大な時間と労力が費やされるという問題がある。
【０００５】
一方、２つの２次元顔画像を照合して２つの顔の一致度を自動的に評価する様々な顔画像照合装置が従来より提案されており、これを人物検索照合システムに応用することにより顔画像の照合作業を省力化することが考えられる。しかし、従来の顔画像照合装置では、２つの顔の向き及び大きさがほぼ一致している場合にはある程度正しい照合結果が期待できるが、そうでない場合、照合結果は正しくならない。
【０００６】
本発明はこのような課題を解決するために成されたものであり、その目的とするところは、人物の顔に関するデータを保存したデータベースを用いた人物照合システムにおいて、データベースに登録された多数の人物と照合元画像（例えば犯人の顔画像）に写った人物との照合及び異同識別の作業を効率よく行うことができるシステムを提供することにある。
【０００７】
【課題を解決するための手段】
上記課題を解決するために成された本発明に係る人物照合システムは、多数の人物に関するデータを保存したデータベース、前記データベースを管理するサーバ、及び、情報通信用ネットワークを通じて前記サーバへの問合せデータの送信を行うためのクライアントを含む人物照合システムにおいて、前記データベースには人間の顔の特徴点のうち同一平面上にない４個の特徴点を含む複数の指定特徴点の３次元座標データ、及び３次元的な識別用顔モデルを生成するための３次元座標データである顔モデルデータ、が各人物毎に保存されており、前記クライアントは第一の人物の顔を写した２次元画像である照合元画像において、該第一の人物の顔の指定特徴点の２次元座標データである照合元座標データ、及び、該人物の顔の２次元的な識別用顔モデルを生成するための２次元座標データである顔モデルデータを取得するためのデータ取得手段、及び前記照合元座標データ及び顔モデルデータを含む問合せデータを前記ネットワーク経由で前記サーバへ送信する問合せ手段、を備え、前記サーバは前記問合せデータから前記第一の人物の顔の照合元座標データ及び顔モデルデータを抽出するデータ抽出手段、前記データベースに登録された多数の人物の各々を第二の人物として順次選択し、該第二の人物の顔の指定特徴点の３次元座標データ及び顔モデルデータを読み出すデータ読出手段、前記データ読出手段により読み出された指定特徴点の３次元座標データを用いて３次元仮想空間内に前記指定特徴点を含む前記第二の人物の顔の定位用顔モデルを生成し、該定位用顔モデルの向きを所定範囲内で変化させながら各向きにおける該定位用顔モデルの所定投影面への投影像を生成し、該投影像における前記第二の人物の顔の指定特徴点の位置関係と前記照合元画像における前記第一の人物の顔の指定特徴点の位置関係との一致の度合を示すチェック値を算出し、該チェック値が最適化されるような前記定位用顔モデルの最適な向きを決定する向き決定手段、前記データ読出手段により読み出された顔モデルデータを用いて前記３次元仮想空間において前記最適向きを向いた前記第二の人物の顔の３次元的な識別用顔モデルを生成し、該３次元的な識別用顔モデルを前記投影面へ投影することにより該モデルの投影像を生成し、前記データ抽出手段から受け取った顔モデルデータを用いて前記第一の人物の識別用顔モデルを生成し、前記第二の人物の識別用顔モデルの投影像及び第一の人物の識別用顔モデルを用いて前記二人の人物の顔の一致度を示す評価値を算出する一致度評価手段、前記評価値が所定条件を満たしたときに前記第二の人物を候補として選択する選択手段、及び前記選択手段による選択結果に関する情報を含むデータを前記ネットワーク経由で前記クライアントへ送信する応答手段、を備えることを特徴とする。
【０００８】
【発明の実施の形態】
本発明に係るシステムのデータベースには、多数の人物の各々について、その人物の顔の指定特徴点の３次元座標データ及びその人物の識別用顔モデルを生成するための顔モデルデータが保存されている。これらのデータについてまず説明する。
【０００９】
本発明において、指定特徴点とは、人間の顔の形態学的特徴点から選定された複数の特徴点であって、３次元空間内で同一平面上にない４個の特徴点を含むものをいう。例えば人間の顔の形態学的特徴点としては、瞳の中心、目頭、目尻、上瞼の先端、耳朶の上端又は下端、耳の孔、鼻の尖端、鼻の上端の付け根、上下の***の合わせ目の中心、口の左端又は右端、下顎尖端部の中心等が挙げられるが、このうち、例えば左右の瞳の中心、鼻の先端及び顎の先端の４点を選べば、それらは同一平面上にない４個の点であるから、本発明にいう指定特徴点といえる。
【００１０】
人物の顔の指定特徴点は、その顔の定位用顔モデルを生成するために用いられる。ここで、定位用顔モデルとは、主として上記複数の指定特徴点から構成される３次元仮想空間内の構造体で、元となる顔の向き及びその向きを規定する軸を中心とした回転位置を設定／取得するために用いられる。
【００１１】
例えば、ある人物（第二の人物。例えば被疑者）の顔の３次元形状データが予め取得済みである場合、そのデータを用いて様々な向きを向いたその人物の３次元顔貌像をコンピュータで再現することができる。そして、所定の投影面に対するその顔貌像の向きを照合元画像に写った人物（第一の人物。例えば犯人）の顔の向きと一致させれば、第一の人物の顔と同じ向きを向いた第二の人物の顔画像が投影面に生成される。そして、この投影面上の顔画像を第一の人物の顔と照合すれば、高い精度で二人の人物の異同を識別することができる。このような工程において、第一の人物の顔と同じ向きを向くような第二の人物の顔の向き（すなわち最適向き）を求める処理においては、３次元形状データを全て用いる必要はなく、定位用顔モデルを用いればよい。このようにすれば、データ処理の負荷が少なくなり、最適向きを高速で求めることができる。
【００１２】
指定特徴点の選定に際しては、次のようなことを考慮することが好ましい。まず、指定特徴点には、顔を斜めから見たときに顔の他の部位の背後に隠れてしまう可能性が少ないような部位を含めることが好ましい。このような部位の例としては、鼻の尖端、鼻の上端の付け根、上瞼の先端等が挙げられる。また、目や耳のように左右一対となった顔の部位の一方を指定特徴点とする場合は、他方も同様に指定特徴点とすることが好ましい。このようにすれば、データ処理に必要な座標データの欠損が発生しにくくなる。更にまた、指定特徴点は、顔の中の狭い領域に集中させず、相互に適度な間隔をおいて顔の全面に分布するようにすることが好ましい。そのためには、例えば、目、耳、鼻、口といった顔の各部位毎に指定特徴点を設定するようにすればよい。このようにすれば、後述するデータ処理において座標データから求められるパラメータの精度が高まる。
【００１３】
また、本発明において、識別用顔モデルとは、人間の顔の所定の形態学的特徴に基づく照合及び異同識別に用いられる適宜抽象化された２次元又は３次元顔モデルのことをいい、顔モデルデータとはそのような識別用顔モデルを生成するためのデータのことをいう。
【００１４】
顔モデルデータの形態は、人間の顔のどの形態学的特徴に着目して照合を行うかにより決定される。例えば、顔の構成要素（眉、目、鼻、口、耳又はそれらの細部）の２次元的又は３次元的な位置関係（配置）に着目して人物の異同識別を行う場合、それら構成要素の２次元座標データ又は３次元座標データが顔モデルデータとなる。また、顔の特定の構成要素（例えば耳）の形状に着目して人物の異同識別を行う場合、その構成要素の形状に関するデータを顔モデルデータとする。
【００１５】
次に、本発明のクライアント及びサーバの構成について説明する。
【００１６】
クライアントは、例えば、画像を表示するための表示手段（ＣＲＴ、ＬＣＤ等）、その表示装置の画面上の任意の点を指定するための入力手段（マウス等）及びネットワークを通じた通信手段（通信制御装置等）を備える一般的なパーソナルコンピュータ上で所定のプログラムを動作させることにより実現される。この場合、データ取得手段は、例えば
照合元画像（例えば、防犯カメラで撮影された犯人の画像）を表示手段の画面上に表示する手順、
使用者が入力手段を操作して表示手段の画面に写った人物の顔（本発明にいう第一の人物の顔）の指定特徴点（複数）を指定したときにその点の画面上での２次元座標を照合元座標データとして取得する手順、及び
使用者が入力手段を操作して表示手段の画面に映った人物の顔の２次元的な識別用顔モデルの生成に用いられる特徴点を指定したときにその点の画面上での２次元座標を顔モデルデータとして取得する手順、
を含む処理をコンピュータに実行させることにより実現できる。
【００１７】
サーバは、クライアントからの問合せに応じて、データベースに登録された多数の人物を対象とする検索及び照合処理を行い、その検索結果をクライアントへ返す。このサーバの構成及び作用について詳細に説明する。
【００１８】
データ抽出手段は、ネットワーク経由でクライアントから送信されてきた問合せデータを解析し、そこから前記照合元座標データ、顔モデルデータ及びその他の検索条件データを抽出する。
【００１９】
データ読出手段は、データベースに登録された多数の人物の各々を第二の人物として順次選択し、その人物の顔の指定特徴点の３次元座標データを読み出す。なお、問合せデータに照合元座標データ以外の検索条件データが含まれている場合、データ読出手段は、まずその検索条件データに基づく人物の検索（絞り込み）を行い、条件を満たした人物のデータのみ読み出すようにしてもよい。
【００２０】
向き決定手段は、データ抽出手段及びデータ読出手段から受け取ったデータを用いて以下のような手順を含む処理を実行する。
【００２１】
（ステップＳ１）データ読出手段から受け取ったデータを用いて３次元仮想空間内に定位用顔モデルを生成する。
【００２２】
（ステップＳ２）定位用顔モデルの向きを所定範囲内で様々に変化させながら、すなわち、定位用顔モデルの３次元的な回転位置を様々に変化させながら、定位用顔モデルの所定平面（投影面）への投影像を仮想的に生成し、その投影像における各指定特徴点の前記平面上での２次元座標データを算出する。このデータを以下では照合先座標データとよぶ。
【００２３】
（ステップＳ３）上記のようにして得られた照合先座標データ及びデータ抽出手段から受け取った照合元座標データに基づいて、上記照合元画像における前記指定特徴点の位置関係と上記投影像における前記指定特徴点の位置関係との一致の度合を示すチェック値を算出する。そして、所定範囲内の各向き毎に上記チェック値を算出し、最適なチェック値を与える向きを求める。これが本発明にいう最適向きである。
【００２４】
上記チェック値は、指定特徴点の選択に応じて様々な方法で定義することが可能である。例えば、指定特徴点のうち３つを選んでそれらの位置関係を示すチェック値を定義することを考えてみる。この場合、第一の画像における３つの指定特徴点Ａ、Ｂ、Ｃの位置関係と第二の画像における３つの指定特徴点Ｄ、Ｅ、Ｆとの位置関係が一致するということは、第一の画像上に描いた三角形ＡＢＣと第二の画像上に描いた三角形ＤＥＦとが互いに相似になる、ということを意味する。一般に２つの三角形の相似条件は、
対応する２つの角の角度（α，β）が等しい、
対応する２辺の比（１：ρ）とその間の角の角度（γ）が等しい、又は
対応する３辺の比（１：ρ１：ρ２）が等しい、
というように、２つの変数を用いて表現できる。そこで、チェック値（Ｋ）を、例えば、上記条件（１）に基づいて、
Ｋ＝（α２−α３）２−（β２−β３）２
と定義する。ここで、α２及びβ２は三角形ＡＢＣの２つの角（例えば、角Ａと角Ｂ）の大きさであり、α３及びβ３は、三角形ＡＢＣの前記２つの角に対応する三角形ＤＥＦの２つの角（角Ｄと角Ｅ）の大きさである。このようにチェック値Ｋを定義した場合、本発明に言う「チェック値の最適化」とは、変数Ｋの値を最小化することを意味する。
【００２５】
一致度評価手段は、上記のように最適向きが求められた後、データ読出手段及びデータ抽出手段から受け取ったデータを用いて以下のような手順を含む処理を実行する。
（ステップＳ４）データ読出手段により読み出された顔モデルデータを用いて、３次元仮想空間において上記最適向きを向いた第二の人物の顔の３次元的な識別用顔モデルを生成する。
（ステップＳ５）上記３次元的な識別用顔モデルを、上記投影面へ投影することにより第二の人物の２次元的な識別用顔モデルを生成する。
（ステップＳ６）データ抽出手段から受け取った顔モデルデータを用いて第一の人物の２次元的な識別用顔モデルを生成する。
（ステップＳ７）上記２つの２次元的な識別用顔モデルを用いて第一及び第二の人物の顔の一致度を示す評価値を算出する。
【００２６】
選択手段は、上記のように求められた評価値が所定条件を満たすかどうかを判定し、その条件が満たされたときに、その評価値を得た第二の人物を候補として選択する。
【００２７】
応答手段は、選択手段による選択結果に関するデータをネットワーク経由でクライアントへ送信する。選択結果に関するデータには、例えば、選択手段により候補として選択された人物の数、各人物の属性データ（氏名、性別、生年月日、身体的特徴等）、各人物の顔画像データ等が含まれる。
【００２８】
本発明に係るシステムにおいて、データベースには各人物の顔の３次元形状データを更に保存し、サーバには、選択された各人物の最適向きを向いた２次元顔画像である候補顔画像をその人物の顔の３次元形状データから生成する顔画像生成手段を備え、応答手段はその候補顔画像のデータをクライアントへ送信するようにしてもよい。
【００２９】
【発明の効果】
以上のように、本発明に係るシステムでは、指定特徴点で構成される定位用顔モデルを用いて２つの顔の向きを一致させてから、識別用顔モデルにより２つの顔の一致度を評価するという構成を採用したため、ある人物とデータベースに登録された多数の人物との照合及び異同識別処理を、人間の顔の形態学的特徴に関する僅かな量のデータ（例えば、数１０個程度の座標データ）のみに基づいて高速且つ高精度に行うことができる。
【００３０】
【実施例】
図１に本発明の一実施例である人物照合システムの概略構成を示す。本実施例の人物照合システム１は、情報通信用ネットワーク２、サーバ３、クライアント端末４Ａ及び４Ｂ、及び、サーバ３により管理されるデータベース５を含む。データベース５にはＮ人の人物のデータが保存されている（すなわち、データベースの大きさはＮ）。このデータには、各人物の属性データ、顔の定位用特徴点の３次元座標データ、識別用特徴点の３次元座標データ及び３次元形状データが含まれている。
【００３１】
属性データは、例えば、各人物の氏名、性別、生年月日、身体的特徴等のデータである。定位用特徴点は本発明にいう指定特徴点に相当するもので、その３次元座標データを用いて各人物の定位用顔モデルが生成される。識別用特徴点の３次元座標データは本発明にいう顔モデルデータに相当するもので、これを用いて各人物の識別用顔モデルが生成される。３次元形状データは、３次元仮想空間において各人物の顔の３次元顔貌像を生成するために用いられる。なお、顔の定位用特徴点の座標データ、識別用特徴点の座標データ及び３次元形状データは、人物の顔の形態学的特徴に関するデータを論理的に区別したものであって、実体としてはこれらのデータに重複があってもよい。例えば、３次元形状データに含まれる多数の点の一部を識別用特徴点とし、さらにその識別用特徴点の一部を定位用特徴点とすることも可能である。
【００３２】
クライアント端末４Ａは、ネットワーク２経由でサーバ３へ新たな登録用データを送信するためのデータ送信機能を有する。登録用データには、新たな人物の属性データ、その人物の顔の定位用特徴点の３次元座標データ、識別用特徴点の３次元座標データ及び３次元形状データが含まれる。３次元形状データは、クライアント端末４Ａに接続された顔形状測定装置６を用いて採取される。定位用特徴点及び識別用特徴点の３次元座標データは、例えば次のような手順で採取される。まず、所定のプログラムにより上記３次元形状データから顔の３次元像を生成し、その３次元像を表示装置の画面に表示する。次に、操作者が入力装置（マウス等）を操作して画面上の各特徴点を順次指定する。特徴点（定位用又は識別用）が指定される度に、プログラムが指定された点の画面上での２次元座標を取得し、３次元形状データに含まれる多数の点の３次元座標データから前記２次元座標に対応するものを特定する。こうして特定された３次元座標データを特徴点の３次元座標データとする。
【００３３】
図２はクライアント端末４Ｂの機能的構成を示すブロック図である。機能的に見ると、クライアント端末４Ｂは、データ処理部３１、使用者がデータ処理部３１へ命令や情報を送るための入力部３２、写真やビデオ映像等から得られた２次元画像データを記憶するための２次元画像データ記憶部３３、ネットワーク２を通じての他のコンピュータと通信するための通信部３４、画像や文字等を表示するための表示部３５、及び、サーバ３から送信されてきたデータを保存するための受信データ保存部３６から主として構成される。このうち、データ処理部３１は、プロセッサ（図示せず）で所定のプログラムを実行することにより構成され、２次元画像データ記憶部３３は、クライアント端末４Ｂに内蔵されたメモリやハードディスク等（いずれも図示せず）を利用して構成される。入力部３２はキーボード４１及びマウス４２を含み、表示部３５はディスプレイ４３を含む。受信データ保存部３６はハードディスク等を利用して構成される。
【００３４】
以下では、顔の定位用特徴点の２次元座標データを採取する場合を例に取って、特徴点の２次元座標データの採取手順の一例を説明する。なお、以下に説明するような作業の前に、クライアント端末４Ｂの操作者は、録画装置７又はイメージスキャナ８で採取されたある人間の顔の２次元画像（照合元画像）のデータをクライアント端末４Ｂの本体に内蔵された記憶装置（例えば、ハードディスク。図示せず）に予め保存しておくものとする。
【００３５】
まず、クライアント端末４Ｂにおいてクライアント用プログラムを起動すると、ディスプレイ４３の画面上に図３のようなメインウィンドウ５０が表示される。ウィンドウ５０には５個のコマンドボタン５１〜５５、データ取得モード切換用のラジオボタン５６が配置されている。使用者はマウス４２を適宜操作することにより、コマンドボタン５１〜５５のクリック、ラジオボタン５６のクリックを行うことができる。この他、ウィンドウ５０には、照合元画像を表示するための画像表示領域５７及び検索結果等の情報を表示するための情報表示領域５８が設けられている。画像表示領域５７上の点の位置は水平右向きのＸ２軸及び垂直下向きのＹ２軸から成る２次元座標系により表される。
【００３６】
ディスプレイ４３の画面にウィンドウ５０が表示されたら、以下のような手順で検索問合せ用のデータの採取及び送信を行う。
【００３７】
まず、使用者が画像選択ボタン５１をクリックすると、データ処理部３１は、２次元画像データ記憶部３３に保存されたデータから所望の顔のデータを選択するためのダイアログボックス（図示せず）をディスプレイ４３の画面に表示する。そして、そのダイアログボックスで使用者が先に採取した顔のデータを選択すると、データ処理部３１は、そのデータを所定の方法で処理し、選択された顔の画像を画像表示領域５７に表示する。このように画像表示領域５７に表示された画像を以下では２Ｄ画像とよぶ。この２Ｄ画像は本発明にいう照合元画像に相当する。図４に２Ｄ画像の一例を示す。なお、図４の２Ｄ画像２２の中の文字、直線、矢印及びハッチングを施した円は、本実施例の説明のために追加したもので、これらは２Ｄ画像２２には含まれない。
【００３８】
２Ｄ画像２２がディスプレイ４３の画面に表示されたら、使用者は２Ｄ画像２２に写った顔の定位用特徴点を以下のように指定する。まず、使用者がラジオボタン５６を「定位用データ取得」にセットする。これにより、データ処理は、２Ｄ画像２２上で定位用特徴点を指定するためのモードに入る。このモードで、使用者は、予め定められた複数の定位用特徴点（顔の部位）を２Ｄ画像２２内で探し、それらの特徴点を順次クリックする。本実施例では、図５（Ａ）に示した７個の特徴点、すなわち、鼻根点Ｐ０１、鼻尖点Ｐ０２、口裂正中点Ｐ０３、右目上中心点Ｐ０４、左目上中心点Ｐ０５、右耳朶点Ｐ０６及び左耳朶点Ｐ０７を順次クリックするものとする。各特徴点がクリックされる度毎に、データ処理部３１は、その特徴点のＸ２座標及びＹ２座標を取得し、座標データをメモリに保存する。このようにして、７個の特徴点Ｐ０１〜Ｐ０７の座標データ（Ｘ２ｊ，Ｙ２ｊ）を取得する（ｊは１から７までの整数）。なお、図４を見ると、２Ｄ画像２２は正面からではなく斜めから見た顔を撮影したものであるため、左耳朶点Ｐ０７は見えない。このように２Ｄ画像２２内で見えない特徴点がある場合は、顔の外の余白の適宜箇所をクリックする。これにより、その点は欠損点とされ、後述するデータ処理の対象外となる。全ての定位用特徴点の指定が完了したら、使用者は確定ボタン５２をクリックする。これにより、定位用特徴点の座標データ取得処理は完了する。
【００３９】
次に、使用者は、ラジオボタン５６を「識別用データ取得」にセットする。これにより、データ処理は、２Ｄ画像２２に写った顔の識別用特徴点を指定するためのモードに入る。このモードで、使用者は、予め定められた複数の識別用特徴点を２Ｄ画像２２内で探し、それらの特徴点を順次クリックする。なお、本実施例では、図５（Ｂ）に示した１５個の特徴点、すなわち、右内眼角点Ｐ11、左内眼角点Ｐ12、右外眼角点Ｐ13、左外眼角点Ｐ14、右鼻翼点Ｐ15、左鼻翼点Ｐ16、鼻下点Ｐ17、口裂正中点Ｐ18、右口角点Ｐ19、左口角点Ｐ20、右頬骨弓点Ｐ21、左頬骨弓点Ｐ22、右下顎角点Ｐ23、左下顎角点Ｐ24及びオトガイ点Ｐ25を順次クリックするものとする。各特徴点がクリックされる度毎に、データ処理部３１は、その特徴点のＸ2座標及びＹ2座標を取得し、座標データをメモリに保存する。このようにして、１５個の特徴点Ｐ11〜Ｐ25の座標データ（Ｘ2k，Ｙ2k）を取得する（ｋは１１から２５までの整数）。なお、図示していないが、図４の２Ｄ画像２２では左頬骨弓点Ｐ22及び左下顎角点Ｐ24は顔の背後に隠れて見えないため欠損点とし、処理対象外とする。全ての定位用特徴点の指定が完了したら、使用者は確定ボタン５２をクリックする。これにより、識別用特徴点の座標データ取得処理は完了する。
【００４０】
次に、使用者は属性入力ボタン５３をクリックすると、データ処理部３１はディスプレイ４３の画面上に人物の属性データを入力するウィンドウ（図示せず）を表示する。もし照合元画像に写った人物の何らかの属性データがある場合、使用者は上記のように表示されたウィンドウで人物の属性データを入力する。この属性データは、データ処理部３１によりメモリに保存される。
【００４１】
以上の作業が全て完了したら、使用者は、送信ボタン５４をクリックする。すると、データ処理部３１は、先にメモリに保存した７個の定位用特徴点の２次元座標データ（Ｘ２ｊ，Ｙ２ｊ）、１５個の識別用特徴点の２次元座標データ（Ｘ２ｋ，Ｙ２ｋ）及び属性データを含む問合せデータを作成し、そのデータを通信部３４へ送る。通信部３４はネットワーク２を通じてそのデータをサーバ３へ送信する。
【００４２】
図６に問合せデータを受け取ったサーバ３が実行する処理のフローチャートを示す。なお、以下の説明では、データベース５に登録された人物に１からＮの識別番号を割り当て、処理対象とする人物の識別番号を示す識別子をＩとし、その人物を「人物（Ｉ）」と表記するものとする。
【００４３】
（ステップＳ１２、Ｓ１４）
問合せデータを受け取ると、サーバ３は、まず、その問合せデータを解析し、７個の定位用特徴点の２次元座標データ（Ｘ２ｊ，Ｙ２ｊ）、１５個の識別用特徴点の２次元座標データ（Ｘ２ｋ，Ｙ２ｋ）及び属性データを抽出する。こうして抽出されたデータを照合元人物のデータと呼ぶ。照合元人物のデータ抽出後、サーバ３は上記識別子Ｉの値を１に初期化する。
【００４４】
以下の、ステップＳ１５〜Ｓ２９では、データベース５に登録されたＮ人の人物を順次選択してそのデータを読み出し、照合元人物と選択された人物との照合及び異同識別を行う。
【００４５】
（ステップＳ１５、Ｓ１６）
まず、サーバ３は、データベース５から人物（Ｉ）の７個の定位用特徴点の３次元座標データ（Ｘ３ｊ，Ｙ３ｊ，Ｚ３ｊ）、１５個の識別用特徴点の３次元座標データ（Ｘ３ｋ，Ｙ３ｋ，Ｚ３ｋ）を読み出す（ステップＳ１５）。次に、サーバ３は、定位用特徴点の座標データ（Ｘ３ｊ，Ｙ３ｊ，Ｚ３ｊ）を用いて３次元仮想空間内に定位用顔モデルを生成する（ステップＳ１６）。定位用顔モデルの例を図５（Ａ）に示す。図５（Ａ）に示した定位用顔モデル２１は、７個の特徴点Ｐ０１〜Ｐ０７を３次元仮想空間Ｘ３−Ｙ３−Ｚ３に配置して成る抽象的モデルである（図５（Ａ）にて破線で示した顔貌像は定位用顔モデル２１の構成要素ではない）。
【００４６】
（ステップＳ１８）
次に、サーバ３は、定位用顔モデルの最適向き（３次元的回転位置）を決定する処理（以下、定位処理と呼ぶ）を実行する。定位処理の詳細なフローを図７に示す。この定位処理（ステップＳ４１〜Ｓ４７）は、およそ次のような考え方に基づいて進められる。すなわち、３次元仮想空間において、図５（Ａ）のように正面を向いた状態を顔の基準状態とし、その状態から顔をＸ３軸の回りに角度αだけ、Ｙ３軸の回りに角度βだけ、そしてＺ３軸の回りに角度γだけ回転させることを考える。このとき、３つの回転角α、β及びγを適切に設定すれば、顔のＸ３−Ｙ３平面（以下、投影面とする）への投影像に写った顔の向きを、図４の画像表示領域５７に表示された２Ｄ画像２２に写った顔の向きと一致させることができる。このような考え方に基づき、以下に説明する定位処理では、上記３つの回転角α、β、γを求めることを目的としたデータ処理が行われる。
【００４７】
（ステップＳ４１）
このステップでは、いずれかの特徴点が座標系の原点と一致するように各座標系の原点の再設定を行う。本実施例では、原点と一致させる特徴点として鼻根点Ｐ０１を選択するものとする。この処理は、具体的には、３次元仮想空間においてＸ３−Ｙ３−Ｚ３座標系を平行移動させてその原点を定位用顔モデル２１の鼻根点Ｐ０１と一致させるとともに、画像表示領域５７においてＸ２−Ｙ２座標系を平行移動させてその原点を２Ｄ画像２２の鼻根点Ｐ０１と一致させる座標変換処理である。この座標変換処理は、後述する計算処理を簡単にするために行われるものである。
【００４８】
更に、３次元仮想空間の座標系については、鼻尖点Ｐ０２、左右の耳朶点Ｐ０６及びＰ０７のＹ３座標が全て同一となり、且つ、鼻根点Ｐ０１、鼻尖点Ｐ０２及び口裂正中点Ｐ０３のＸ３座標が全て同一となるように、座標系全体をＸ３軸回り及びＹ３軸回りにそれぞれ回転させる座標変換処理を行う。この回転処理も、後述する計算処理を簡単にするために行われるものである。なお、この回転処理の後の状態がすなわち先に説明した基準状態である。
【００４９】
（ステップＳ４２）
このステップでは、２Ｄ画像２２の水平基準線の傾きを計算する。より具体的には、例えば、２Ｄ画像２２の２つの目上中心点Ｐ０４及びＰ０５を通る直線を水平基準線とし、その直線と、左目上中心点Ｐ０５を通る水平線とが成す角度θ２３を求める。
【００５０】
（ステップＳ４３）
このステップでは、基準状態にある定位用顔モデル２１をＸ３軸の回りに回転させるべき方向Ｄ１及びＹ３軸の回りに回転させるべき方向Ｄ２を以下のようにして求める。
【００５１】
まず、方向Ｄ１は次のように求める。すなわち、基準状態においては定位用顔モデル２１の鼻尖点Ｐ０２のＹ３座標は左右の耳朶点Ｐ０６及びＰ０７のＹ３座標と同じである。そして、定位用顔モデル２１をＸ３軸を中心としてある方向に回転させて斜め下に向ける（顔を前に傾ける）と、鼻尖点Ｐ０２のＹ３座標が左右の耳朶点Ｐ０６及びＰ０７のＹ３座標よりも大きくなり、同モデルを逆方向に回転させて斜め上に向ける（顔を後ろへ傾ける）と、鼻尖点Ｐ０２のＹ３座標が左右の耳朶点Ｐ０６及びＰ０７のＹ３座標よりも小さくなる。このことを踏まえ、２Ｄ画像２２の２つの目上中心点Ｐ０４及びＰ０５を通る直線がＸ２軸と平行になるような座標変換処理（画像の回転処理）を行った上で、鼻尖点Ｐ０２のＹ２座標と右耳朶点Ｐ０６（右耳朶点Ｐ０６が欠損点である場合は、左耳朶点Ｐ０７）のＹ２座標とを比較する。そして、鼻尖点Ｐ０２のＹ２座標が右耳朶点Ｐ０６のＹ２座標よりも小さいときは方向Ｄ１を正とし、逆のときは方向Ｄ１を負とする。
【００５２】
一方、方向Ｄ２は次のように求める。すなわち、基準状態においては定位用顔モデル２１の鼻尖点Ｐ０２のＸ３座標は鼻根点Ｐ０１及び口裂正中点Ｐ０３のＸ３座標と同じである。そして、３Ｄ顔貌像をＹ３軸を中心としてある方向に回転させて左に向けると、鼻尖点Ｐ０２は直線Ｐ０１−Ｐ０３に対して左耳朶点Ｐ０７と同じ側に移動し、３Ｄ顔貌像を逆方向に回転させて右に向けると、鼻尖点Ｐ０２は直線Ｐ０１−Ｐ０３に対して左耳朶点Ｐ０７とは反対側に移動する。このことを踏まえ、２Ｄ画像２２において、鼻根点Ｐ０１と口裂正中点Ｐ０３とを通る直線に対して鼻尖点Ｐ０２が左耳朶点Ｐ０７と同じ側にあるかどうかを判定することにより方向Ｄ２を決定する。鼻尖点Ｐ０２が直線Ｐ０１−Ｐ０３に対して左耳朶点Ｐ０７と同じ側にあるときは方向Ｄ２を正とし、反対側にあるときは方向Ｄ２を負とする。
【００５３】
（ステップＳ４４）
このステップでは、定位用顔モデル２１のＸ３軸回りの回転角α及びＹ３軸回りの回転角βの最適値を求める処理を行う。この処理は、３次元仮想空間において定位用顔モデル２１の回転角α及びβを微小量ずつ段階的に変化させながら、各段階毎に所定のチェック値を計算し、そのチェック値の最適値を与えるような回転角α及びβを最適回転角として選択する、という手順で実行される。なお、回転角α及びβを変化させる範囲は、ステップＳ４３で求めた方向Ｄ１及びＤ２に基づいて定める。例えば、Ｄ１及びＤ２がともに正である場合は、α及びβともに０°から１８０°まで正方向に変化させ、Ｄ１が正でＤ２が負である場合は、αを０°から１８０°まで正方向に変化させる一方、βは０°から−１８０°まで負方向に変化させる。このように回転角を変化させる範囲を変数Ｄ１及びＤ２に基づいて限定することにより、データ処理にかかる時間が短縮されるだけでなく、チェック値が発散して最適値が求められなくなるといった事態も起こりにくくなる。
【００５４】
本実施例においては、上記チェック値を次のように定義する。まず、２Ｄ画像２２の左右の目上中心点Ｐ０４及びＰ０５を通る直線と鼻尖点Ｐ０２及び右耳朶点Ｐ０６（右耳朶点Ｐ０６が欠損点である場合は、左耳朶点Ｐ０７）を通る直線とが成す角度θ２１と、鼻根点Ｐ０１から鼻尖点Ｐ０２及び口裂正中点Ｐ０３を望む角の角度θ２２とを計算する。また、定位用顔モデル２１をＸ３軸回り及びＹ３軸回りに回転させたときの投影面への投影像においても、同様に、左右の目上中心点Ｐ０４及びＰ０５を通る直線と鼻尖点Ｐ０２及び右耳朶点Ｐ０６を通る直線とが成す角度θ３１と、鼻根点Ｐ０１から鼻尖点Ｐ０２及び口裂正中点Ｐ０３を望む角の角度θ３２とを計算する。このようにして得られたθ２１、θ２２、θ３１及びθ３２の値を用いて、チェック値Ｋを次式
Ｋ＝（θ３１−θ２１）２＋（θ３２−θ２２）２
で定義する。この場合、Ｋの値が最小となるような回転角α及びβが最適回転角として選択される。
【００５５】
（ステップＳ４５）
このステップでは、定位用顔モデル２１のＺ３軸回りの回転角γを次のように計算する。すなわち、上述のように定位用顔モデル２１のＸ３軸回り及びＹ３軸回りの最適回転角α及びβが計算されたら、基準状態からその回転角分だけ定位用顔モデル２１を回転させる。次に、このように回転させた定位用顔モデル２１の投影像において、左右の目上中心点Ｐ０４及びＰ０５を通る直線と水平線とが成す角度θ３３を計算する。そして、θ３３と先に求めたθ２３との差
θ２３−θ３３
を、Ｚ３軸回りの回転角γとする。
【００５６】
（ステップＳ４６）
このステップでは、定位用顔モデル２１の投影像の大きさを２Ｄ画像２２のそれとほぼ同じにするための拡大縮小率Ｒを計算する。拡大縮小率Ｒとしては、例えば、２Ｄ画像２２における所定の２つの特徴点（例えば左右の目上中心点Ｐ０４及びＰ０５）の距離と、定位用顔モデル２１の投影像におけるその距離との間の比を用いる。また、同一直線上にない３点を含む複数の特徴点の座標を用いて拡大縮小率Ｒを計算してもよい。例えば、２Ｄ画像２２において、鼻根点Ｐ０１から鼻尖点Ｐ０２、口裂正中点Ｐ０３、右目上中心点Ｐ０４及び左目上中心点Ｐ０５までの距離をそれぞれＬ２、Ｌ３、Ｌ４及びＬ５とし、これら４個の距離値の和をＬ０とする。同様に、定位用顔モデル２１の投影像において、鼻根点Ｐ０１から鼻尖点Ｐ０２、口裂正中点Ｐ０３、右目上中心点Ｐ０４及び左目上中心点Ｐ０５までの距離をそれぞれＭ２、Ｍ３、Ｍ４及びＭ５とし、これら４個の距離値の和をＭ０とする。こうして得られたＬ０及びＭ０の比を拡大縮小率Ｒとする。このようにすると、２つの特徴点を用いる場合に比べて、計算にかかる負荷をほとんど増大させることなく、拡大縮小率Ｒの計算精度を求めることができる。特に、上記の例のように、顔面上で略水平方向の距離（Ｌ２、Ｌ３、Ｍ２、Ｍ３）と略垂直方向の距離（Ｌ４、Ｌ５、Ｍ４、Ｍ５）に基づいて拡大縮小率Ｒを求めるようにすれば、誤差がより小さくなる。
【００５７】
（ステップＳ４７）
このステップでは、定位用顔モデル２１の鼻根点Ｐ０１のＸ３座標及びＹ３座標が、２Ｄ画像２２の鼻根点Ｐ０１のＸ２座標及びＹ２座標と一致するように、定位用顔モデル２１をＸ３−Ｙ３平面に沿って平行移動させるべき距離Ｄｉｓｔを計算する。この距離が求められたら、処理は図６のメインルーチンへ戻る。
【００５８】
（ステップＳ２０）
定位処理により３次元仮想空間内の回転角（α，β，γ）、拡大縮小率Ｒ及び平行移動距離Ｄｉｓｔが求められたら、サーバ３は、人物（Ｉ）の識別用特徴点の座標データ（Ｘ３ｋ，Ｙ３ｋ，Ｚ３ｋ）を用いて３次元仮想空間内に識別用顔モデルを生成する。識別用顔モデルの例を図５（Ｂ）に示す。図５（Ｂ）に示した識別用顔モデル２３は、１５個の特徴点Ｐ１１〜Ｐ２５を３次元仮想空間Ｘ３−Ｙ３−Ｚ３に配置して成る抽象的モデルである（図５（Ｂ）にて破線で示した顔貌像は識別用顔モデル２３の構成要素ではない）。
【００５９】
こうして識別用顔モデル２３を生成したら、サーバ３は、そのモデル２３を３次元仮想空間内で回転角（α，β，γ）だけ回転する処理、比率Ｒで拡大縮小する処理、及び、Ｘ３−Ｙ３平面に沿って距離Ｄｉｓｔだけ平行移動する処理を行う。この結果、識別用顔モデル２３の投影像は、２Ｄ画像２２に写った顔の像と照合可能な大きさ、位置及び向きを有する像となる。以上の処理を行った後、サーバ３は、識別用顔モデル２３の各識別用特徴点の新たなＸ３座標及びＹ３座標（Ｘ’３ｋ，Ｙ’３ｋ）を取得する。
【００６０】
（ステップＳ２２）
識別用顔モデル２３の新たな座標データ（Ｘ’３ｋ，Ｙ’３ｋ）が求められたら、サーバ３は、そのデータと、先に問合せデータから抽出された照合元人物の識別用特徴点の座標データ（Ｘ２ｋ，Ｙ２ｋ）とを用いて、照合元人物の顔と人物（Ｉ）の顔との一致度を示すマッチング値Ｍを求める。ここでは、マッチング値Ｍとして、照合元人物の識別用特徴点の座標値（Ｘ２ｋ，Ｙ２ｋ）と人物（Ｉ）の識別用特徴点の座標値（Ｘ’３ｋ，Ｙ’３ｋ）との相関係数を用いるものとする
【００６１】
（ステップＳ２４〜Ｓ３０）
マッチング値Ｍが求められたら、サーバ３は、その値が所定値よりも大きいか否かを判定する（ステップＳ２４）。Ｍが所定値より大きいときは、サーバ３は、照合元人物と人物（Ｉ）との一致度が高いと判断し、その人物（Ｉ）の識別子をメモリ上の候補リストに登録する（ステップＳ２６）。その後、サーバ３は、識別子Ｉの値とデータベース５の大きさＮとを比較することにより、データベース５に登録された全ての人物に対して照合処理が終わったかどうかを判定する（ステップＳ２８）。Ｉの値がＮより小さいときは未処理の人物が残っているから、サーバ３は識別子Ｉに１を加算し（ステップＳ２９）、ステップＳ１５へ戻って次の人物に対する照合処理を行う。Ｉの値がＮ以上である場合、サーバ３は、ネットワーク２を通じてクライアント端末４Ｂへ応答データを送信する（ステップＳ３０）。
【００６２】
サーバ３からクライアント端末４Ｂへ送られた応答データは、クライアント端末４Ｂの通信部３４からデータ処理部３１へ送られる。データ処理部３１はその応答データを解析し、検索結果を情報表示領域５８に表示する。図３の例では、検索結果を４つのフィールドを有する表形式で表示している。
【００６３】
上記表の第１フィールドには候補リストに登録された各人物の識別番号（ＩＤ）が、また第２フィールドには氏名が表示される。ここで、氏名の文字列（氏名リンク）はいわゆるハイパーリンクであり、これをクリックすると、その人物の属性に関する詳細なデータが画面上の別ウィンドウ（図示せず）に表示される。なお、この詳細データは、上記応答データに予め含めておいてもよいが、使用者が氏名リンクをクリックしたときに、その詳細データの取得を希望する新たな問合せデータをサーバ３へ送ることにより、その都度サーバ３から詳細データを取得するようにしてもよい。
【００６４】
上記表の第３フィールドはマッチング値Ｍであり、この値が降順で並ぶように（つまり、一致度が高い順で）候補者が表示されている。
【００６５】
上記表の第４フィールドに表示された「画像」という文字列は、顔画像へのハイパーリンクであり、これをクリックすると、その人物の顔画像（２Ｄ画像２２に写った顔と同じ向きを向いた候補者の顔画像。以下、候補顔画像とする）が、別ウィンドウ（後述）に表示される。
【００６６】
候補顔画像は、サーバ３において、データベース５に保存された３次元形状データを用いて次のように生成される。まず、３次元形状データを用いて３次元仮想空間内に３次元顔貌像を生成する。次に、その３次元顔貌像に対し、回転角（α，β，γ）だけ回転する処理、比率Ｒで拡大縮小する処理、及び、Ｘ３−Ｙ３平面に沿って距離Ｄｉｓｔだけ平行移動する処理を行う。そして、３次元顔貌像のＸ３−Ｙ３平面への投影像を候補顔画像とする。
【００６７】
なお、候補顔画像のデータは、上記応答データに予め含めておいてもよいが、使用者が画像リンクをクリックしたときに、その詳細データの取得を希望する新たな問合せデータをサーバ３へ送ることにより、その都度サーバ３から詳細データを取得するようにしてもよい。
【００６８】
図８に候補顔画像を表示するウィンドウの一例を示す。図８のウィンドウ６０には、２つの画像表示領域６１及び６２が設けられている。第一の画像表示領域６１は図３のウィンドウ５０に設けられた画像表示領域５７のコピーであり、ここに２Ｄ画像２２が表示される。第二の画像表示領域６２には候補顔画像６３が表示される。
【００６９】
また、ウィンドウ６０には、縦ワイプボタン６４及び横ワイプボタン６５が用意されている。縦ワイプボタン６４及び横ワイプボタン６５には、上述のようにして得られた候補顔画像６３を２Ｄ画像２２に重畳して整合性チェック用の合成画像を生成する機能が割り当てられている。例えば、使用者が縦ワイプボタン６４をクリックすると、図９に示したように、第二の画像表示領域６２を上下に分割する水平な分割線７１が生成され、上下の分割領域には候補顔画像６３の上部及び２Ｄ画像２２の下部（又は、２Ｄ画像２２の上部及び候補顔画像６３の下部）がそれぞれ表示される。そして、分割線７１をマウスカーソル７２でＹ２軸方向にドラッグすること（縦ワイプ動作）により、上下の画像の輪郭線や目鼻等の位置の整合性を目で確認することができる。同様に、横ワイプボタン６５をクリックすると、垂直な分割線７３で画像表示領域６２が左右に分割され、その分割線７３をマウスカーソル７２でＸ２軸方向にドラッグすること（横ワイプ動作）ができるようになる。
【００７０】
以上、本発明の実施例である人物照合システム１について説明したが、このシステムは更に様々に変形可能であることは言うまでもない。例えば、定位用顔モデルに対する定位処理（ステップＳ４１〜Ｓ４７）においては、２Ｄ画像２２の撮影時における撮像機器から被写体までの距離を考慮した遠近補正処理を行うことが好ましい。これについて以下に説明する。
【００７１】
例えば、図１０のように、カメラ８１で顔８２を撮影した画像においては、カメラ８１に近い顔の部位（例えば右頬８３）に比べて、カメラから遠い顔の部位（例えば右耳８４）が実際よりも小さく写る。そこで、カメラから被写体（顔）までの距離が判明している場合には、定位用顔モデル２１を生成する際に、撮像機器から顔の各部位までの距離に基づいた補正（各定位用特徴点のＺ３座標の補正）を行うのである。
【００７２】
上記のような処理を、例えば、ステップＳ４５とＳ４６の間で行うようにすると、拡大縮小率の計算精度がより高まる。また、ステップＳ４４の処理（チェック値の最適値を与えるような３Ｄ顔貌像のＸ３軸回り及びＹ３軸回りの回転角α及びβを計算する）において、回転角α及びβを段階的に変化させる度毎に遠近補正処理を行い、チェック値を調べるようにすれば、回転角α及びβの計算精度も高まる。なお、上記のような遠近補正処理をサーバ３に行わせるようにするには、クライアント端末４Ｂからサーバ３へ送信する問合せデータに撮像機器から被写体までの距離のデータを含めるようにする。
【００７３】
また、上記実施例では、問合せデータに含まれる照合元人物の属性データはサーバ３においては特に利用されていないが、例えば、図６のステップＳ１５とステップＳ１６の間に、人物（Ｉ）が照合元人物と同じ属性データを持つか否かを判定するステップを追加し、同じ属性データを持つ人物（Ｉ）についてのみステップＳ１６以降の処理を行うようにしてもよい。
【００７４】
また、上記実施例では、照合元人物が写った一枚の画像から各種データを取得してサーバ３へ送るものとしたが、同一の照合元人物が写った複数の画像がある場合は、全ての画像のデータを利用することにより、照合精度がより高くなることが期待できる。このような場合を想定し、上記システム１において、第一の画像のデータに基づいて候補者として選択された人物のみを対象として第二の画像のデータに基づく絞り込み検索を行うことができるようにしてもよい。また、複数の画像（画像１、画像２、…、画像ｍ）から取得した全ての照合元人物データ（データ１、データ２、…、データｍ）をクライアント４Ｂからサーバ３へ一括して送信し、サーバ３においては、各人物（Ｉ）に対する照合処理において、上記データのそれぞれについてマッチング値を算出し、全てのマッチング値の平均値を、照合元人物と人物（Ｉ）とのマッチング値Ｍとするようにしてもよい。
【００７５】
また、上記実施例では、サーバ３がデータベース５に保存された３次元形状データから最適向きを向いた顔の２次元画像（候補顔画像）のデータを生成し、各候補者の属性データとともにクライアント端末４Ｂへ送信するものとしたが、サーバ３が候補顔画像のデータではなく各候補者の顔の３次元形状データをクライアント端末４Ｂへ送信し、クライアント端末４Ｂ側でも３次元形状データを用いた各種処理を行うようにしてもよい。このような形態のシステムについて以下に説明する。
【００７６】
まず、クライアント端末４Ｂの使用者は、上述したような手順で照合元人物に関するデータ（属性データ、定位用特徴点座標、識別用特徴点座標）を取得した後、全受信ボタン５５をクリックする。すると、クライアント端末４Ｂからサーバ３へ、全ての候補者のデータ（属性データ、定位用特徴点座標、識別用特徴点座標、３次元形状データ）の一括送信を要求する信号が送られる。この信号を受けたサーバ３は、データベース５から各候補者のデータを読み出し、クライアント端末４Ｂへ送信する。クライアント端末４Ｂのデータ処理部３１は、通信部３４を介して前記データを受け取り、そのデータを受信データ保存部３６へ人物のＩＤ毎に保存するとともに、図３に示したように、メインウィンドウ５０の情報表示領域５８に候補者の一覧を表示する。なお、一括送信を要求する信号を送る前に、データ処理部３１が各候補者のＩＤに対応するレコードが既に受信データ保存部３６に保存されていないかどうかを調べ、データの保存されていない候補者のデータだけをサーバ３へ要求するようにしてもよい。
【００７７】
次に、使用者が一覧に表示されたいずれかの人物のハイパーリンク（表の第２又は第４フィールド）をクリックすると、図１１に示したような照合作業ウィンドウ９０が表示される。照合作業ウィンドウ９０には、５個のコマンドボタン９１〜９５、２面の画像表示領域９７及び９８、及び、１面の情報表示領域９９が設けられている。図１１で第一の画像表示領域９７は図３のウィンドウ５０に設けられた画像表示領域５７のコピーであり、ここに２Ｄ画像２２が表示される。また、第二の画像表示領域９８には、選択された候補者の顔の３次元形状データを処理して得られる３次元顔貌像のＸ−Ｙ平面への投影像（以下、３Ｄ投影像１０１とする）が表示される。第二の画像表示領域９８における点のＸ座標及びＹ座標を以下では、Ｘ３座標及びＹ３座標とする。また、情報表示領域９９には選択された候補者の属性データが表示される。
【００７８】
次に、使用者が右側の点指定ボタン９２をクリックすると、データ処理は、３Ｄ投影像１０１の定位用特徴点を指定するためのモードに入る。このモードで、使用者は、図５（Ａ）に示した７個の定位用特徴点を３Ｄ投影像１０１内で探し、それらの特徴点を順次クリックする。この作業中、データ処理部３１は、各特徴点がクリックされる度毎に、その特徴点のＸ３座標及びＹ３座標を取得し、更に、取得した座標（Ｘ３，Ｙ３）と上記３次元形状データから、その点の３次元仮想空間内におけるＺ座標（Ｚ３）を算出する。こうして３次元仮想空間における座標データが得られたら、データ処理部３１がその座標データをメモリに保存する。以上の作業により、選択された候補者の定位用顔モデルを生成するためのデータが取得されたことになる。
【００７９】
なお、２Ｄ画像２２においては、先の検索問合せ時の準備段階で既に７個の定位用特徴点の座標（Ｘ2，Ｙ2）を取得済みであるが、再度座標の取得をやり直した場合、使用者は、左側の点指定ボタン９１をクリックする。すると、データ処理は、２Ｄ画像２２の定位用特徴点を指定するためのモードに入り、使用者は、先に説明したような手順で定位用特徴点の座標取得作業を行うことができる。
【００８０】
次に、使用者が実行ボタン９３をクリックすると、データ処理部３１は、選択された候補者の定位用顔モデルに対する定位処理を行う。この定位処理は、図７のフローチャートを参照しながら先に説明したような手順で行われる。
【００８１】
定位処理により３次元仮想空間内の回転角（α，β，γ）、拡大縮小率Ｒ及び平行移動距離Ｄｉｓｔが求められたら、データ処理部３１は、３次元顔貌像を３次元仮想空間内で回転角（α，β，γ）だけ回転する処理、比率Ｒで拡大縮小する処理、及び、Ｘ３−Ｙ３平面に沿って距離Ｄｉｓｔだけ平行移動する処理を行う。この結果、識別用顔モデル２３の投影像は、２Ｄ画像２２に写った顔の像と照合可能な大きさ、位置及び向きを有する像となる。更に、縦ワイプボタン９４や横ワイプボタン９５をクリックすれば、先に図９を参照しながら説明したような縦ワイプ処理や横ワイプ処理を行うことができる。
【図面の簡単な説明】
【図１】本発明の一実施例である人物照合システムの概略構成図。
【図２】クライアント端末の機能的構成を示すブロック図。
【図３】クライアント端末のディスプレイに表示されるメインウィンドウを示す図。
【図４】撮像機器等で撮影された顔の２次元画像を示す図。
【図５】（Ａ）は７個の定位用特徴点から成る定位用顔モデルを示す図、（Ｂ）は１５個の識別用特徴点から成る識別用顔モデルを示す図。
【図６】サーバにより実行される処理のフローチャート。
【図７】定位処理のフローチャート。
【図８】候補顔画像を表示するウィンドウの一例を示す図。
【図９】ワイプ機能を説明するための図。
【図１０】カメラからの距離が顔の部位に応じて変化することを説明するための図。
【図１１】照合作業ウィンドウを示す図。
【符号の説明】
１…人物照合システム
２…情報通信用ネットワーク
３…サーバ
４Ａ、４Ｂ…クライアント端末
５…データベース
６…顔形状測定装置
Ｐ０１〜Ｐ０７…定位用特徴点
Ｐ１１〜Ｐ２５…識別用特徴点
Claims (3)
- 多数の人物に関するデータを保存したデータベース、前記データベースを管理するサーバ、及び、情報通信用ネットワークを通じて前記サーバへの問合せデータの送信を行うためのクライアントを含む人物照合システムにおいて、前記データベースには人間の顔の特徴点のうち同一平面上にない４個の特徴点を含む複数の指定特徴点の３次元座標データ、及び３次元的な識別用顔モデルを生成するための３次元座標データである顔モデルデータ、が各人物毎に保存されており、前記クライアントは第一の人物の顔を写した２次元画像である照合元画像において、該第一の人物の顔の指定特徴点の２次元座標データである照合元座標データ、及び、該人物の顔の２次元的な識別用顔モデルを生成するための２次元座標データである顔モデルデータを取得するためのデータ取得手段、及び前記照合元座標データ及び顔モデルデータを含む問合せデータを前記ネットワーク経由で前記サーバへ送信する問合せ手段、を備え、前記サーバは前記問合せデータから前記第一の人物の顔の照合元座標データ及び顔モデルデータを抽出するデータ抽出手段、
前記データベースに登録された多数の人物の各々を第二の人物として順次選択し、該第二の人物の顔の指定特徴点の３次元座標データ及び顔モデルデータを読み出すデータ読出手段、
前記データ読出手段により読み出された指定特徴点の３次元座標データを用いて３次元仮想空間内に前記指定特徴点を含む前記第二の人物の顔の定位用顔モデルを生成し、該定位用顔モデルの向きを所定範囲内で変化させながら各向きにおける該定位用顔モデルの所定投影面への投影像を生成し、該投影像における前記第二の人物の顔の指定特徴点の位置関係と前記照合元画像における前記第一の人物の顔の指定特徴点の位置関係との一致の度合を示すチェック値を算出し、該チェック値が最適化されるような前記定位用顔モデルの最適な向きを決定する向き決定手段、
前記データ読出手段により読み出された顔モデルデータを用いて前記３次元仮想空間において前記最適向きを向いた前記第二の人物の顔の３次元的な識別用顔モデルを生成し、該３次元的な識別用顔モデルを前記投影面へ投影することにより該モデルの投影像を生成し、前記データ抽出手段から受け取った顔モデルデータを用いて前記第一の人物の識別用顔モデルを生成し、前記第二の人物の識別用顔モデルの投影像及び第一の人物の識別用顔モデルを用いて前記二人の人物の顔の一致度を示す評価値を算出する一致度評価手段、
前記評価値が所定条件を満たしたときに前記第二の人物を候補として選択する選択手段、及び前記選択手段による選択結果に関する情報を含むデータを前記ネットワーク経由で前記クライアントへ送信する応答手段、を備えることを特徴とする人物照合システム。 - 上記選択結果に関する情報を含むデータは、選択された各人物を識別するための情報及び各人物の評価値を含む一覧形式のデータであることを特徴とする請求項１に記載の人物照合システム。
- 上記データベースには各人物の顔の３次元形状データが更に保存され、上記サーバは選択された各人物の最適向きを向いた２次元顔画像である候補顔画像をその人物の顔の３次元形状データから生成する顔画像生成手段を更に備え、上記応答手段は前記候補顔画像のデータを前記クライアントへ送信することを特徴とする請求項１に記載の人物照合システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000088689A JP3590321B2 (ja) | 2000-03-28 | 2000-03-28 | 人物照合システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000088689A JP3590321B2 (ja) | 2000-03-28 | 2000-03-28 | 人物照合システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001273496A JP2001273496A (ja) | 2001-10-05 |
| JP3590321B2 true JP3590321B2 (ja) | 2004-11-17 |
Family
ID=18604531
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000088689A Expired - Lifetime JP3590321B2 (ja) | 2000-03-28 | 2000-03-28 | 人物照合システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3590321B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004295813A (ja) * | 2003-03-28 | 2004-10-21 | Babcock Hitachi Kk | ３次元人物照合装置 |
| JP4929828B2 (ja) * | 2006-05-10 | 2012-05-09 | 日本電気株式会社 | 立体性認証方法、立体性認証装置および立体性認証プログラム |
| JP2008021096A (ja) * | 2006-07-12 | 2008-01-31 | Mitsubishi Electric Building Techno Service Co Ltd | 人体情報捜査システム |
| JP4946730B2 (ja) * | 2007-08-27 | 2012-06-06 | ソニー株式会社 | 顔画像処理装置及び顔画像処理方法、並びにコンピュータ・プログラム |
| JP4951498B2 (ja) * | 2007-12-27 | 2012-06-13 | 日本電信電話株式会社 | 顔画像認識装置、顔画像認識方法、顔画像認識プログラムおよびそのプログラムを記録した記録媒体 |
| JP4569670B2 (ja) * | 2008-06-11 | 2010-10-27 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
| JP2010108110A (ja) * | 2008-10-29 | 2010-05-13 | Mitsubishi Electric Information Systems Corp | 人物特定装置、人物特定方法及び人物特定プログラム |
| WO2010104181A1 (ja) * | 2009-03-13 | 2010-09-16 | 日本電気株式会社 | 特徴点生成システム、特徴点生成方法および特徴点生成プログラム |
| JP5035467B2 (ja) * | 2011-10-24 | 2012-09-26 | 日本電気株式会社 | 立体性認証方法、立体性認証装置および立体性認証プログラム |
| JP6725381B2 (ja) | 2016-09-20 | 2020-07-15 | 株式会社東芝 | 画像照合装置および画像照合方法 |
| CN107679446B (zh) * | 2017-08-17 | 2019-03-15 | 平安科技（深圳）有限公司 | 人脸姿态检测方法、装置及存储介质 |
| WO2021214857A1 (ja) | 2020-04-21 | 2021-10-28 | 日本電気株式会社 | 照合装置、照合システム、照合方法、及び、照合プログラムが格納された非一時的なコンピュータ可読媒体 |
-
2000
- 2000-03-28 JP JP2000088689A patent/JP3590321B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001273496A (ja) | 2001-10-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7075085B2 (ja) | 全身測定値抽出のためのシステムおよび方法 | |
| CN103140879B (zh) | 信息呈现装置、数字照相机、头戴式显示器、投影仪、信息呈现方法和信息呈现程序 | |
| US8659595B2 (en) | Method and system for combining 2D image and 3D model and non-transitory computer readable storage medium thereof | |
| US9842246B2 (en) | Fitting glasses frames to a user | |
| CN104217350B (zh) | 实现虚拟试戴的方法和装置 | |
| JP3590321B2 (ja) | 人物照合システム | |
| EP3745352B1 (en) | Methods and systems for determining body measurements and providing clothing size recommendations | |
| WO2021004257A1 (zh) | 视线检测和视频处理的方法、装置、设备和存储介质 | |
| JP7015152B2 (ja) | キーポイントデータに関する加工装置、方法及びプログラム | |
| JP7490784B2 (ja) | 拡張現実マップキュレーション | |
| CN112712906B (zh) | 视频图像处理方法、装置、电子设备及存储介质 | |
| EP4170673A1 (en) | Auto-focus tool for multimodality image review | |
| WO2020177348A1 (zh) | 用于生成三维模型的方法和装置 | |
| CN109344714A (zh) | 一种基于关键点匹配的视线估计方法 | |
| US20170365084A1 (en) | Image generating apparatus and image generating method | |
| US10832420B2 (en) | Dynamic local registration system and method | |
| CN111291746A (zh) | 影像处理***及影像处理方法 | |
| CN106580472A (zh) | 一种基于ar虚拟现实技术的整形手术实时捕捉*** | |
| JP3276949B2 (ja) | ３次元有向体の定位方法及び画像処理装置 | |
| WO2021103316A1 (zh) | 图像目标区域的确定方法、装置和*** | |
| CN114897678A (zh) | 婴幼儿眼底视网膜全景影像生成采集反馈方法及*** | |
| JPH11175765A (ja) | ３次元モデル作成方法、３次元モデル作成装置及び記憶媒体 | |
| CN111444979A (zh) | 一种整容方案推荐方法、云端设备及存储介质 | |
| JP2019185349A (ja) | 検索装置、検索方法及びプログラム | |
| JP4345440B2 (ja) | 輪郭判断装置及び輪郭判断方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040407 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040420 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040607 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040803 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040819 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3590321 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070827 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080827 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080827 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090827 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090827 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100827 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110827 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120827 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120827 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130827 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |