JP5419773B2 - 顔画像合成装置 - Google Patents

Description

本発明は、人物の顔を撮影した画像から、照合に適した顔画像を作成する顔画像合成装置に関する。

従来より、対象者の顔を撮影して取得した顔画像を登録された顔画像と照合することにより、その対象者を認証する顔認証装置が提案されている。このような顔認証装置は、事前に対象者本人の顔画像を登録しておき、利用時に取得した顔画像と比較した結果に基づいて、認証の可否を決定する。そのため、登録用の顔画像の撮影時における顔の向きなどにより、登録された顔画像上に欠落した顔の部分が存在すると、顔認証装置は、その欠落部分についての照合ができないため、認証精度が低下してしまうおそれがある。そこで、同一人物の顔を異なる方向から撮影した複数の画像を用いて、照合用の顔画像を作成する技術が提案されている（例えば、特許文献１及び２を参照）。

例えば、特許文献１に開示された顔画像照合装置は、３次元顔モデルの一部または全てに対し、オクルージョンなどによる顔の一部のテクスチャの欠落部分を補う向きの顔画像をマッピングすることにより、テクスチャの欠損がない３次元顔モデルを作成する。その際、この顔画像照合装置は、合成に用いられた２枚の顔画像の撮影条件の違いなどにより、合成された部分の境界で画素値の差が生じることを防ぐため、３次元顔モデルに既にマッピングされている顔画像と追加でマッピングする別の顔画像とを２次元上で顔特徴点を用いて位置合わせをして平均化し、この平均化された顔画像を、顔の３次元形状を表す３次元顔形状データにマッピングする。

また、特許文献２に開示された顔画像登録装置は、向きの異なる２枚の顔画像を選択し、選択した２枚の顔画像からフィールドモーフィングにより識別対象人物の正面顔画像を生成する。

特開２００９−２４５３３８号公報 特開２００９−０２５８７４号公報

特許文献１または２に開示された技術を用いることにより、テクスチャの欠損がない顔画像を作成することが可能となる。
しかしながら、顔画像に写っている顔の領域全体が、照合処理に適しているとは限らない。例えば、対象者がカメラに対して顔の正面を向けた状態で撮影された顔画像において、目及び鼻の付近は照合処理に用いるのに適している。しかし、耳から顎にかけての部分は斜めから撮影されているので、画像上での肌のテクスチャが変形しており、その部分は照合処理に用いるには適さない。また、対象者がカメラに対して顔を４５度右に回転した方向に向けている場合には、左目から左頬及び左耳にかけての部分はカメラに対して正面を向いているので照合処理に用いるのに適しているが、顔の右半分は斜め方向から撮影されているので照合処理に用いるには適さない。
また、顔画像を合成する際、斜め方向を向いた顔を用いざるを得ないことがある。このような場合、顔と背景の境界付近の肌のテクスチャだけでなく、顔の広い領域で肌のテクスチャが変形し易い。例えば、天井に設置した監視カメラで歩行者を撮影する場合、歩行者がカメラに正対した方向へ顔を向けることは稀であり、得られる顔画像では歩行者の顔は監視カメラに対して斜め方向を向いていることが多くなる。
そのため、このようなテクスチャが変形する領域を含む顔画像を用いても、照合処理に適した顔画像を合成可能な技術が求められている。

そこで、本発明は、顔本来のテクスチャから変形したテクスチャを持つ領域が含まれる顔画像から、照合に適した顔画像を合成可能な顔画像合成装置を提供することを目的とする。

本発明の一つの形態として、複数の顔画像を合成して合成顔画像を生成する顔画像合成装置が提供される。この顔画像合成装置は、同一対象者を撮影した複数の顔画像と人物の顔の形状を表す３次元顔形状データとを記憶する記憶部と、複数の顔画像のそれぞれを、３次元顔形状データと位置合わせして、３次元顔形状データにマッピングすることにより、複数の顔画像のそれぞれに対応する３次元顔モデルを作成するマッピング部と、複数の３次元顔モデルのそれぞれを２次元に展開した展開顔画像を作成する展開顔画像生成部と、展開顔画像において顔のテクスチャ情報が欠けていない第１の領域内に、第１の領域と顔のテクスチャ情報が欠けた第２の領域との境界を一端とし、かつ所定の幅を持つ非合成領域と、第１の領域から非合成領域を除いた合成領域とを設定する非合成領域設定部と、２以上の所定数の展開顔画像を選択する顔画像選定部と、選択された展開顔画像のうちの第１の展開顔画像に設定された第２の領域及び非合成領域に、選択された展開顔画像のうちの第２の展開顔画像に設定された合成領域の対応する画素の値をマッピングすることにより合成顔画像を作成する顔画像合成部とを有する。

また非合成領域設定部は、展開顔画像に写っている対象者の顔の向きの正面向きからのずれ量が大きいほど、所定幅を大きくすることが好ましい。

さらに顔画像選定部は、選択した展開顔画像の合成順序を規定した順列を複数求め、その複数の順列のうち、その順列に示された所定数の展開顔画像の合成領域をマッピングすることにより作成される合成顔画像において顔のテクスチャ情報の欠けがなく、かつ、その順列に示された順序に従って先にマッピングされた展開顔画像における非合成領域と合成領域の境界である合成境界上の各画素の値と次にマッピングされる展開顔画像における対応する画素の値の差の統計量を輝度相違度として算出し、その輝度相違度が最小または所定の閾値以下となる順列に示された展開顔画像を選択することが好ましい。

この場合において、非合成領域設定部は、展開顔画像のそれぞれについて、互いに異なる幅を持つ複数の非合成領域を設定し、顔画像選定部は、順列に示された順序に従って先にマッピングされた展開顔画像における複数の非合成領域のそれぞれについて求めた上記の統計量の最小値を輝度相違度として算出することが好ましい。

本発明に係る顔画像合成装置は、顔本来のテクスチャから変形したテクスチャを持つ領域が含まれる顔画像から、照合に適した顔画像を合成できるという効果を奏する。

本発明の一つの実施形態に係る顔画像合成装置の概略構成図である。 展開顔画像を生成するために３次元顔モデルに対して設定される座標系の一例を示す図である。 （ａ）は、３次元顔モデルの一例の概略図であり、（ｂ）は、（ａ）に示された３次元顔モデルから作成される展開顔画像の概略図である。 （ａ）は、一つの展開顔画像をマッピングした合成展開顔画像の一例を示す図である。（ｂ）は、展開顔画像の顔向きと非合成領域の幅との関係の一例を示す図である。（ｃ）は、展開顔画像の顔向きと非合成領域の幅との関係の他の一例を示す図である。（ｄ）は、展開顔画像の顔向きと非合成領域の幅との関係のさらに他の一例を示す図である。 （ａ）は、展開顔画像の一例を示す図であり、（ｂ）は、（ａ）に示された展開顔画像の着目画素と合成境界間の距離と、着目画素に適用される重み係数との関係を示すグラフである。 顔画像合成処理の動作を示すフローチャートである。 顔画像合成処理の動作を示すフローチャートである。

以下、本発明の一つの実施形態による顔画像合成装置を、図を参照しつつ説明する。この顔画像合成装置は、人間の顔の３次元的な形状を表す３次元顔形状データ上に、登録対象者の顔を撮影した顔画像をマッピングすることで、その登録対象者の３次元顔モデルを作成する。この顔画像合成装置は、マッピングに用いる顔画像に欠落部分が存在する場合、その欠落部分に、その欠落部分に相当する情報を持つ他の顔画像の対応する部分をマッピングして合成顔画像を作成する。その際、この顔画像合成装置は、合成顔画像上で、先にマッピングされた顔画像の欠落部分だけでなく、その顔画像に写っている顔の部分のうち、欠落部分の境界近傍の領域も他の顔画像の対応する部分をマッピングすることで、顔のテクスチャ情報の信頼性が高い部分のみを用いて合成顔画像を作成する。

図１は、一つの実施形態に係る顔画像合成装置１の概略構成を示す図である。図１に示すように、顔画像合成装置１は、撮像部２と、インターフェース部３と、記憶部４と、画像処理部５とを有する。

撮像部２は、例えば、カメラを有し、監視領域内に進入した登録対象者の顔を撮影した２次元の入力顔画像を作成する。そのために、撮像部２は、監視領域を撮影可能な位置に設置される。例えば、監視領域が店舗、廊下などの屋内に設定されている場合、撮像部２は、監視領域内の天井近傍あるいは監視領域の境界を形成する壁面に、人の身長よりも高い位置に設置される。また撮像部２は、監視領域の通用口近傍を撮影するように設置されてもよい。さらに撮像部２は一つに限られず、複数存在してもよい。
なお、撮像部２が有するカメラは、入力顔画像上の肌色部分を抽出することが容易となるように、可視光域に感度を有し、カラーの多階調画像を作成するものとすることが好ましい。しかし、撮像部２が有するカメラは、近赤外域に感度を有し、グレー画像を作成するカメラであってもよい。また撮像部２は、入力顔画像上に写っている顔の目、鼻、口などの顔特徴が区別できる程度の画素数を有することが好ましい。
撮像部２は、入力顔画像を作成する度に、その入力顔画像をインターフェース部３へ出力する。

インターフェース部３は、撮像部２と接続されるインターフェース回路であり、撮像部２から受け取った入力顔画像を画像処理部５に渡す。
記憶部４は、半導体メモリ、磁気記録媒体及びそのアクセス装置及び光記録媒体及びそのアクセス装置のうちの少なくとも一つを有する。そして記憶部４は、顔画像合成装置１を制御するためのコンピュータプログラム、各種パラメータ及びデータなどを記憶する。また記憶部４は、３次元顔形状データ及び３次元顔形状データに対応する３Ｄ顔特徴点の３次元位置情報を記憶する。３次元顔形状データは複数存在してもよく、また一つであってもよい。３次元顔形状データは、人物の顔の３次元形状を表すフレームモデルであって、ワイヤーフレームモデルあるいはサーフェイスモデル等が用いられる。なお３次元顔形状データは、例えば、複数の人物の顔形状からそれぞれ作成されたり、多数の人物の顔形状を模した顔形状モデルを平均化して作成される。さらに、３次元顔形状データとして、他の方法によって作成された３次元顔形状データの一部を変形させたもの、例えば、顔の中心から上側部分の長さと下側部分の長さの比を変化させたものを用いてもよい。

また、３Ｄ顔特徴点は、目、鼻、口など、形状若しくは色成分について他と異なる特徴的な部位の何れかの点、例えばそれらの部位の中心点若しくは端点を表す。例えば、３Ｄ顔特徴点には、眉頭、眉尻、黒目中心、目領域中心、目頭、目尻、鼻尖点、鼻孔中心、口中心、口端などが含まれる。なお、記憶する３Ｄ顔特徴点の種類及び数に制限はないが、少なくとも２Ｄ顔特徴点抽出部５１において抽出可能な顔特徴点と同じ部位の特徴点を全て含むことが好ましい。本実施形態では、３Ｄ顔特徴点として、左右それぞれの目領域中心、目頭及び目尻と、鼻尖点、口中心、及び左右の口端、耳珠点、顎角点及びオトガイ点の１５箇所を記憶するものとした。
さらに記憶部４は、入力顔画像、展開顔画像、重み参照テーブルの形で合成用重み係数、及び顔向きと顔画像の合成に使用しない領域の幅との関係を表す幅参照テーブルなどを記憶する。なお、展開顔画像、合成用重み係数及び幅参照テーブルの詳細については、画像処理部５の関連する構成要素とともに説明する。

画像処理部５は、１個または複数個のプロセッサ及びその周辺回路を有する。そして画像処理部５は、撮像部２から入力顔画像を受け取る度に、その入力顔画像を登録対象者の識別コードと関連付けて記憶部４に記憶する。なお、登録対象者の識別コードは、たとえば、図示しないユーザインターフェースを介して、画像処理部５に入力される。あるいは、画像処理部５は、入力顔画像に写っている登録対象者の顔が、記憶部４に既に登録されている登録者の何れの３次元顔モデルとも一致しない場合、既に設定されている何れの識別コードとも異なる識別コードを新たに生成してもよい。この場合、画像処理部５は、公知の顔画像照合方法の何れかを利用して、入力顔画像に写っている登録対象者の顔が、記憶部４に登録されている登録者の３次元顔モデルと一致するか否かを判定できる。

画像処理部５は、登録対象者について複数の入力顔画像を用いて、その登録対象者の３次元顔モデルを作成する。そのために、画像処理部５は、そのプロセッサ上で動作するソフトウェアにより実装される機能モジュールとして、２Ｄ顔特徴点抽出部５１、位置合わせ情報算出部５２、入力顔画像マッピング部５３、展開顔画像生成部５４、非合成領域設定部５５、合成元画像選定部５６、合成重み算出部５７、顔画像合成部５８及び展開顔画像マッピング部５９を有する。
なお、画像処理部５が有するこれらの各部は、独立した集積回路、ファームウェア、マイクロプロセッサなどで構成されてもよい。
以下、画像処理部５の各部について詳細に説明する。

２Ｄ顔特徴点抽出部５１は、画像処理部５が登録対象者についての入力顔画像を取得する度に、その入力顔画像から顔特徴点を抽出する。そして２Ｄ顔特徴点抽出部５１は、抽出した顔特徴点の種別と入力顔画像上の位置情報（例えば、入力顔画像の左上端部を原点とする２次元座標値）を、位置合わせ情報算出部５２へ出力する。
本実施形態において、２Ｄ顔特徴点抽出部５１は、記憶部４に記憶されている各３Ｄ顔特徴点（目領域中心、鼻尖点、口端などの１５箇所）に対応する顔特徴点を抽出する。２Ｄ顔特徴点抽出部５１は、入力顔画像から顔特徴点を抽出するための公知の様々な手法を用いることができる。例えば、２Ｄ顔特徴点抽出部５１は、入力顔画像に対してエッジ抽出処理を行って周辺画素との画素値の差が大きいエッジ画素を抽出する。そして２Ｄ顔特徴点抽出部５１は、エッジ画素の位置、パターンなどに基づいて求めた特徴量が、目、鼻、口などの部位について予め定められた条件を満たすか否かを調べて各部位の位置を特定することにより、各顔特徴点を抽出することができる。また２Ｄ顔特徴点抽出部５１は、エッジ抽出処理を行ってエッジ画素を抽出する代わりに、ガボール変換処理あるいはウェーブレット変換処理を行って、異なる複数の空間周波数帯域で局所的に変化の大きい画素を抽出してもよい。さらに２Ｄ顔特徴点抽出部５１は、顔の各部位に相当するテンプレートと入力顔画像とのテンプレートマッチングを行って顔の各部位の位置を特定することにより、顔特徴点を抽出してもよい。さらにまた、２Ｄ顔特徴点抽出部５１は、キーボード、マウス及びディスプレイなどで構成されるユーザインターフェース（図示せず）を介してユーザに各顔特徴点の位置を指定させることにより、各顔特徴点を取得してもよい。

位置合わせ情報算出部５２は、入力顔画像について２Ｄ顔特徴点抽出部５１により抽出された各顔特徴点と、３次元顔形状データに関連する３Ｄ顔特徴点とを用いて、３次元顔形状データに回転、拡大／縮小などの処理を行い、入力顔画像と３次元顔形状データの位置合わせを行う。そして位置合わせ情報算出部５２は、その位置合わせの結果として得られる位置合わせ情報を、３次元顔形状データに関連付けて、入力顔画像マッピング部５３及び合成元画像選定部５６へ出力する。位置合わせ情報は、例えば、３次元顔形状データの３次元の正規直交座標系(X,Y,Z)の各軸に沿った回転角、並進量、及び拡大／縮小率を含む。この正規直交座標系(X,Y,Z)では、例えば、３次元顔形状データ上の複数の３Ｄ顔特徴点の重心を原点とし、顔に対して水平かつ右目から左目へ向かう方向に（３次元顔モデルの正面に向かって左から右に）X軸、Ｘ軸及びＺ軸と直交し、喉付近から頭頂部へ向かう方向、すなわち下から上へ向かう方向にY軸、Ｘ軸及びＹ軸と直交し、鼻尖点から後頭部へ向かう方向にZ軸が設定される。

位置合わせ情報算出部５２は、例えば、以下のように位置合わせ情報を算出する。まず、３次元顔形状データ上の３Ｄ顔特徴点を、２次元画像である入力顔画像上に投影する。そして位置合わせ情報算出部５２は、投影された各３Ｄ顔特徴点の位置と、２Ｄ顔特徴点抽出部５１により抽出された、対応する各顔特徴点の位置との差の二乗和を位置ずれ量として求める。位置合わせ情報算出部５２は、この位置ずれ量が最小となるように、３次元顔形状データを、３次元の正規直交座標系の各軸に沿って回転または並進させたり、拡大または縮小させる。位置合わせ情報算出部５２は、位置ずれ量が最小となったときの３次元顔形状データの回転角、並進量、及び拡大／縮小率を位置合わせ情報とする。

また、記憶部４に複数の３次元顔形状データが記憶されている場合、位置合わせ情報算出部５２は、各３次元顔形状データについて、同一人物に対する複数の入力顔画像のそれぞれに対する上記の位置ずれ量の最小値を求める。そして位置合わせ情報算出部５２は、複数の入力顔画像に対する位置ずれ量の最小値の総和が最も小さくなる３次元顔形状データを、それら入力顔画像に写っている登録対象者に適用する３次元顔形状データとして選択する。位置合わせ情報算出部５２は、選択された３次元顔形状データに対する各入力顔画像の位置ずれ量が最小となったときの位置合わせ情報を入力顔画像マッピング部５３、非合成領域設定部５５及び合成元画像選定部５６へ出力する。

なお、位置合わせ情報算出部５２は、入力顔画像について抽出された各顔特徴点を３次元空間内へ投影した後、３次元顔形状データ上の３Ｄ顔特徴点との位置ずれ量が最小となるように３次元顔形状データに回転、拡大／縮小などの処理を行い、位置合わせ情報を算出してもよい。

入力顔画像マッピング部５３は、記憶手段４に記憶されている３次元顔形状データのうち、位置合わせ情報算出部５２により選択された３次元顔形状データの顔の向きを、入力顔画像に写った顔の向きと同じ顔の向きとなるように調整する。そのために、入力顔画像マッピング部５３は、選択された３次元顔形状データを、対応する位置合わせ情報にしたがって、３次元の正規直交座標系の各軸に沿って回転または並進させたり、拡大または縮小させて向き調整済み形状モデルを作成する。

入力顔画像マッピング部５３は、向き調整済み形状モデルに、入力顔画像をテクスチャ画像としてマッピングすることにより、入力顔画像に写っている登録対象者の３次元顔モデルを作成する。すなわち、入力顔画像について抽出されている各顔特徴点と、向き調整済み形状モデルとして選択された３次元顔形状データについての３Ｄ顔特徴点との位置が合うように、位置合わせ情報を用いて入力顔画像をテクスチャ画像として向き調整済み形状モデルにマッピングする。なお、マッピングは、入力顔画像の各画素の値を、３次元顔形状データの対応する位置の画素値とする処理である。
入力顔画像マッピング部５３は、画像処理部５が登録対象者についての入力顔画像を取得する度に、その入力顔画像に対する３次元顔モデルを作成する。ただし、記憶部４に複数の３次元顔形状データが記憶されている場合は、登録対象者の複数の入力顔画像に対して最適な３次元顔形状データが選択された後、入力顔画像マッピング部５３は、各入力顔画像について３次元顔モデルを作成する。そして入力顔画像マッピング部５３は、作成した３次元顔モデルを登録対象者の識別コードと関連付けて記憶部４に記憶するとともに、展開顔画像生成部５４へ出力する。

展開顔画像生成部５４は、入力顔画像マッピング部５３から登録対象者の３次元顔モデルを受け取る度に、その３次元顔モデル上にマッピングされたテクスチャ情報を２次元に展開した展開顔画像を生成する。
図２は、展開顔画像を生成するために３次元顔モデルに対して設定される座標系を示す。
図２おいて、Ｘ軸は、３次元顔モデル２００に対して、右目から左目へ向かうように（３次元顔モデルの正面に向かって左から右に）、水平方向の軸として定義される。Ｙ軸は、Ｘ軸及びＺ軸と直交し、喉付近から頭頂部へ向かうように、すなわち下から上へ向かう軸として定義される。Ｚ軸は、Ｘ軸及びＹ軸と直交し、鼻尖点から後頭部へ向かう方向の軸として定義される。Ｘ軸、Ｙ軸及びＺ軸の交点である原点Ｏは、３次元顔モデル２００の重心に設定される。

本実施形態において、Ｚ座標が負の値となる象限における、すなわち、３次元顔モデルにおける顔の正面側における、Ｘ＝０であるＹＺ平面２２０と３次元顔モデル２００の表面との交線２１０をテクスチャスキャンラインと呼ぶ。
展開顔画像生成部５４は、Ｙ軸を回転中心として３次元顔モデルを回転させ、それぞれの回転角度における、テクスチャスキャンライン２１０上の画素値を読み取って、横軸を回転角、縦軸をＹ座標とする２次元上にマッピングすることにより、展開顔画像を作成する。なお、入力顔画像がカラー画像である場合、画素値は、例えばＲＧＢ各色の輝度値となる。また、入力顔画像がグレー画像である場合、画素値は輝度値となる。例えば、鼻尖点がＹＺ平面２２０上に位置するときの回転角を０°とし、３次元顔モデル２００を矢印２３０に示されるように時計回りに回転させたときの回転角の値を正、３次元顔モデル２００を矢印２４０に示されるように反時計回りに回転させたときの回転角の値を負とする。

展開顔画像生成部５４は、例えば、３次元顔モデル２００を−１８０°〜＋１８０°まで所定の単位（例えば、１°）ずつ回転させ、その度にテクスチャスキャンライン２１０上の画素値を読み取る。なお、回転角が−１８０°または＋１８０°近傍のテクスチャ情報、すなわち後頭部近傍のテクスチャ情報は、顔の認証処理に利用するには適さない。そこで展開顔画像生成部５４は、３次元顔モデル２００を回転させる範囲を、少なくとも顔の一部がテクスチャラインとなる範囲、例えば、−１５０°〜＋１５０°の範囲としてもよい。
なお、展開顔画像生成部５４は、Ｘ軸を回転軸としてもよい。この場合には、例えば、Ｙ＝０のＸＺ平面と、３次元顔モデルの表面との交点をテクスチャスキャンラインとする。

また、展開顔画像生成部５４は、３次元顔モデルの肌色に相当する部分及び肌色に囲まれた部分だけを展開顔画像上にマッピングすることが好ましい。これは、髪の毛のように、顔の周囲に位置し、肌色と異なる色を持つ部分は個人識別のための情報をあまり有していないためである。なお、肌色に相当する部分は、例えば、入力顔画像がＲＧＢのカラー画像である場合、３次元顔モデルの各部の値をHSV表色系に変換したときに、色相Hの成分の色情報が、肌色に相当値の範囲（例えば、色相Hの成分の色情報が0から359で表される場合に0〜30）に含まれる部分とする。

展開顔画像生成部５４は、作成した展開顔画像を元の３次元顔モデル、入力顔画像及び登録対象者の識別コードと関連付けて記憶部４に記憶する。また展開顔画像生成部５４は、３次元顔モデルから展開顔画像を作成する際に、展開顔画像の各画素が３次元顔モデルの何れの位置に存在したのかを表す展開情報も、展開顔画像とともに記憶部４に記憶する。この展開情報は、後述する合成処理が終了した後の展開顔画像から３次元顔モデルを再現する際に利用される。

図３（ａ）は、３次元顔モデルの一例の概略図であり、図３（ｂ）は、図３（ａ）に示された３次元顔モデル３００から作成される展開顔画像の概略図である。
図３（ａ）に示された３次元顔モデル３００は、やや右側（向かって左側）を向いている入力顔画像から作成された３次元顔モデルである。このとき、上記のように、３次元顔モデル３００をＹ軸を回転中心として１°ずつ回転させつつ、３次元顔モデル３００の表面とＹＺ平面との交点の画素値情報を読み取ることにより、図３（ｂ）に示されるような展開顔画像３１０が作成される。展開顔画像３１０の輪郭３１５は、３次元顔モデル３００にマッピングされた入力顔画像の肌部分の輪郭に対応する。

この例では、３次元顔モデル３００が右側を向いているために、鼻の右側部分３２０、及び、右耳、右頬から顎にかけての顔の右側部分３３０が入力顔画像上で隠れているために、それらの部分のテクスチャ情報が存在しない。そのため、展開顔画像３１０においても、鼻の右側部分３２０、及び顔の右側部分３３０のテクスチャ情報は欠落している。このような、テクスチャ情報が欠落した領域を以下ではテクスチャ欠落領域と呼ぶ。また、テクスチャ情報が存在する領域と、テクスチャ欠落領域との境界を、以下ではテクスチャ欠落境界と呼ぶ。図３（ｂ）では、テクスチャ欠落領域３２０のテクスチャ欠落境界３２５及びテクスチャ欠落領域３３０のテクスチャ欠落境界３３５は、それぞれ点線で示されている。
なお、輪郭３１５のうち、テクスチャ欠落領域３３０と重なる部分は、本来輪郭として写ってはいないが、ここでは、理解を容易にするために、顔の左側の輪郭を、顔の中心を通る線で左右反転した線を、欠落している部分の輪郭として図示した。またテクスチャ欠落領域内の画素の値は、例えば、テクスチャ情報が欠落していることを表す特定の値（例えば、通常取り得る画素値の範囲外の値である-1）に設定される。

一般に、入力顔画像上で、登録対象者が正面を向いていると、テクスチャ情報が欠落する部分は少なくなる。しかし、登録対象者が少しでも横方向を向いていると、オクルージョンが生じるので、図３（ａ）及び（ｂ）に示されるように、展開顔画像において、顔の一部のテクスチャ情報が欠落する。また、登録対象者が正面を向いた状態で撮影された入力顔画像が得られた場合でも、両耳から顎にかけての領域のテクスチャ情報は欠落する。
このように、展開顔画像上でテクスチャ情報が欠落していると、照合時において、特にその欠落している部分の方から撮影した顔画像が照合用の画像として得られたときに、その展開顔画像に対応する３次元顔モデルを用いた照合処理の精度が低下する。そこで顔画像合成装置１は、登録対象者について作成された複数の展開顔画像を用いて、テクスチャ情報の欠落のない合成展開顔画像を作成する。

非合成領域設定部５５は、各展開顔画像について、登録対象者の顔が写っている領域内で合成展開顔画像の生成に利用しない非合成領域と、合成展開顔画像の生成に利用する合成領域とを設定する。
人間の顔は曲面形状を有している。そのため、入力顔画像に写っている登録対象者の顔と背景との境界近傍の顔の部分では、撮像部２から見込む角度が顔表面に対する法線に対して大きな角度となる。そのため、入力顔画像上でのその部分の肌のテクスチャ情報は、本来その部分を正面から見たときの肌のテクスチャ情報とは異なるものになってしまう可能性が高い。その結果、このような背景との境界近傍の顔の部分のテクスチャ情報の信頼性は低い。したがって、顔画像合成装置１は、合成展開顔画像を作成する際、基準となる展開顔画像においてテクスチャ欠落境界近傍の顔の部分を使用せず、そのテクスチャ欠落境界近傍に相当する顔の部分が撮像部２に対してより正面に近い方向を向いている、他の展開顔画像上の対応する部分を使用する方が好ましい。
そこで非合成領域設定部５５は、各展開顔画像について、テクスチャ欠落境界から所定の範囲内の領域を非合成領域とする。そして非合成領域設定部５５は、展開顔画像上で顔のテクスチャ情報が写っている領域から非合成領域を除いた領域、すなわち、合成展開顔画像の作成に使用される領域を合成領域とする。また、合成領域と非合成領域の境界を、以下では合成境界と呼ぶ。

本実施形態では、非合成領域設定部５５は、展開顔画像に写っている顔が撮像部２に対して正面を向いている顔向きからの顔の回転角に応じて非合成領域の幅を変える。特に、目、鼻、口などが存在する顔の中央部分は比較的平面状に近いため、顔の回転角が大きくなるほど、その中央部分全体を斜め方向から見ることになり、斜め方向から見た状態で展開顔画像上に写っている領域も広くなる。さらにこのような場合、顔における特徴的な部分である目、鼻、口などを斜め方向から見ることになるので、これら特徴的な部分のテクスチャ情報の信頼度も低下する。そこで非合成領域設定部５５は、顔の回転角が大きくなるほど、非合成領域の幅を広くする。

図４（ａ）は、展開顔画像の一例を示す図である。図４（ａ）において、展開顔画像４００の顔の右側部分４０１及び鼻の右側部分４０２はテクスチャ欠落領域となっている。この場合、非合成領域設定部５５は、顔が写っている領域４０６内で、テクスチャ欠落境界４０３上の各画素を一端とし、その境界４０３上の画素から水平方向に所定距離inv離れた画素４０７を他端とする領域を非合成領域４０４とする。そのため、合成境界４０５は、テクスチャ欠落境界４０３から顔の左側に向かって水平方向に距離inv離れた位置となる。なお、簡単化のために図示していないが、鼻の右側のテクスチャ欠落領域４０２の左側に隣接して非合成領域が設定されてもよい。

図４（ｂ）〜図４（ｄ）は、それぞれ、展開顔画像の顔向きと非合成領域の幅との関係の一例を示す図である。図４（ｂ）〜図４（ｄ）において、横軸は展開顔画像に写っている顔が撮像部２に対して正面を向いているときの顔向きからの、水平方向における顔向きの回転角を表す。また縦軸は、非合成領域の幅を表す。そしてグラフ４１０〜４３０は、顔の角度に対する非合成領域の幅を表す。この場合、顔の回転角が0°の場合、非合成領域の幅は最小となり、その幅はTh1に設定される。そして顔の回転角の絶対値が大きくなるにつれて、非合成領域の幅は単調増加し、顔の回転角が90°となったところで非合成領域の幅は最大値Th2に設定される。
図４（ｂ）に示したグラフ４１０では、顔の角度の絶対値が大きくなるにつれて、非合成領域の幅は線形的に増加する。また図４（ｃ）に示したグラフ４２０では、顔の角度の絶対値が小さい場合には非合成領域の幅は急激に増加し、一方、顔の角度の絶対値が大きくなるほど非合成領域の幅は緩やかに増加する。あるいは図４（ｄ）に示したグラフ４３０では、顔の角度の絶対値が小さい場合には非合成領域の幅は緩やかに増加し、一方、顔の角度の絶対値が大きくなるほど非合成領域の幅は急激に増加する。
なお、Th1は、例えば0に設定される。またTh2は、Th1よりも大きく、例えば、平均的な顔の両目中心間の距離の1/2に相当する値に設定される。

上記の図４（ｂ）〜（ｄ）に示したグラフに対応する、顔の回転角と非合成領域の幅の対応関係を表す幅参照テーブルまたは関係式が予め記憶部４に記憶される。
そして非合成領域設定部５５は、その幅参照テーブルまたは関係式を参照することにより、水平方向における顔の向きの回転角に対応する非合成領域の幅を決定する。なお、この回転角は、位置合わせ情報算出部５２により算出された位置合わせ情報に含まれる、３次元顔形状データの回転角とすることができる。
また、非合成領域設定部５５は、顔の回転角によらず、テクスチャ欠落境界から一定の幅の領域を非合成領域として設定してもよい。この場合、非合成領域の幅は、例えば、平均的な顔の両目中心間の距離の1/2に相当する値に設定される。

さらに、非合成領域設定部５５は、水平方向における顔の回転角だけでなく、垂直方向における顔の回転角が大きくなるほど、非合成領域の幅が大きくなるようにしてもよい。この場合、例えば、非合成領域設定部５５は、上記の参照テーブルまたは関係式を用いて、水平方向における顔の回転角に、垂直方向における顔の回転角に0〜1以下の係数を乗じた値を加算した値である合計回転角に対応する非合成領域の幅を決定する。この係数は、垂直方向よりも水平方向を重視すべく、例えば0.5とすることができる。ただし、非合成領域設定部５５は、合計回転角の絶対値が90°を超える場合には、回転角90度に対応する幅に設定する。なお、垂直方向における顔の回転角は、水平方向における顔の回転角と同様に、登録対象者の顔が撮像部２に対して正面を向いている状態に対応する顔向きを0度とし、それよりも上向きあるいは下向きに顔が回転した角度とする。

非合成領域設定部５５は、展開顔画像のそれぞれについて非合成領域及び合成領域を設定すると、合成境界上の画素を表す情報を対応する展開顔画像に関連付けて記憶部４に記憶する。

合成元画像選定部５６は、顔画像選定部の一例であり、登録対象者の複数の展開顔画像の中から、合成展開顔画像を作成するために利用される複数の展開顔画像の組み合わせ及び合成する順序を決定する。
合成展開顔画像に写った登録対象者の顔が不自然にならないようにするためには、合成展開顔画像の作成に用いられる展開顔画像の数はできるだけ少なく、かつ、合成する展開顔画像に写っている顔の合成境界付近の輝度差ができるだけ小さいことが好ましい。
例えば、登録対象者が所定の領域、例えば、建物内の廊下を歩行している様子を撮像部２で撮影することにより入力顔画像が得られる場合、登録対象者の位置、顔の向き、または照明の設置位置などにより顔に対する照明条件は変化する。その結果、複数の入力顔画像のそれぞれに写っている登録対象者の顔の輝度は、入力顔画像ごとに異なる可能性がある。特に、顔画像合成装置１が複数の撮像部２を有し、それぞれの撮像部２によって撮影された画像を一人の登録対象者の入力顔画像として用いる場合に、そのような入力顔画像ごとの顔の輝度の違いが生じる傾向が強くなる。そして入力顔画像ごとの顔の輝度の違いがあまりに大きいと、そのような入力顔画像から作成された展開顔画像を用いた合成展開顔画像では、異なる展開顔画像がマッピングされた二つの領域の境界がエッジ状になってしまう。さらに、合成に利用される展開顔画像の枚数が増えると、それだけ異なる展開顔画像からマッピングされた領域の境界の数も増えるので、顔全体の輝度を合わせることが困難になる。
そのため、本実施形態では、合成元画像選定部５６は、合成展開顔画像の作成に用いられる展開顔画像の数はできるだけ少なく、かつ、合成する展開顔画像に写っている顔の合成境界近傍での輝度差ができるだけ小さくなるように、展開顔画像を選択する。

ほとんどの場合、登録対象者の顔の向きが異なる展開顔画像が２枚または３枚あれば、顔画像合成装置１は、その登録対象者についてテクスチャ欠落領域の無い合成展開顔画像を作成できる。そこで本実施形態では、合成元画像選定部５６は、記憶部４に記憶されている登録対象者の複数の展開顔画像の中から、２枚または３枚の展開顔画像を用いる組み合わせ及び合成する順序を規定した順列を全て求める。例えば、記憶部４にN枚の展開顔画像が記憶されている場合、この順列の総数は、(_NP₂+_NP₃)通りとなる。ただしNは、3以上の整数である。なお、合成元画像選定部５６は、４枚以上の展開顔画像を選択してもよい。

次に、合成元画像選定部５６は、求めた順列のそれぞれについて、その順列に示された展開顔画像の合成領域のみを用いて、テクスチャ欠落領域のない合成展開顔画像を作成できるか否かを判定する。例えば、合成元画像選定部５６は、順列に示された展開顔画像の合成領域全てを、何のテクスチャ情報も持たない一つのマッピング用展開顔画像上にマッピングした場合において、顔に相当する画素に囲まれた欠落部分が存在せず、かつ、展開顔画像作成時における３次元顔モデルの回転角が所定の角度範囲内に相当する合成展開顔画像上の領域に欠落部分が存在しない場合、テクスチャ情報の欠落部分が存在しないと判定する。なお、所定の角度範囲は、顔が撮像部２に対して正面を向いた状態を回転角0°としたときに、±80°とすることができる。
逆に、合成展開顔画像上に、顔に相当する画素に囲まれた欠落部分が存在する場合、または上記の３次元顔モデルの回転角が所定の角度範囲内に相当する合成展開顔画像上の領域に欠落部分が存在する場合、合成元画像選定部５６はテクスチャ情報の欠落部分が存在すると判定する。

合成元画像選定部５６は、合成展開顔画像上にテクスチャ情報の欠落部分が存在しないと判定した展開顔画像の組み合わせに対応する順列を選択する。そして合成元画像選定部５６は、選択された各順列について、その順列で示された合成順序に従って展開顔画像をマッピング用展開顔画像に順次マッピングする場合の、先にマッピングされる展開顔画像の合成境界上の画素の値と、次にマッピングされる展開顔画像の対応する画素の値との差の平均値の総和を次式に従って算出し、その値を輝度相違度Pとする。

ここでnは、着目する順列に含まれる展開顔画像の総数を表す。またAvg_i,i+1は、着目する順列におけるi番目の展開顔画像の合成境界上の画素の値と、(i+1)番目の展開顔画像の対応する画素の値との差の平均値を表す。
なお、合成元画像選定部５６は、平均値Avg_i,i+1の総和の代わりに、i番目の展開顔画像の合成境界上の画素の値と、(i+1)番目の展開顔画像の対応する画素の値との差の中央値の総和を輝度相違度Pとしてもよい。
または、合成元画像選定部５６は、平均値Avg_i,i+1を合成境界上のみならず、合成境界近傍の幅を持った領域から求めてもよい。例えば、後述する合成重み算出部５７が、パラメータWをW_maxに設定したときに重み係数B(dist)が0.5以下となる範囲を求め、合成元画像選定部５６は、その範囲に含まれる画素の値から輝度相違度Pを算出してもよい。
選択された各順列に対応する展開顔画像の組み合わせごとではなく、順列ごとに輝度相違度Pを算出するのは、展開顔画像を合成する順序によって合成境界の位置が異なるため、輝度相違度Pも順列ごとに異なる値を取り得るためである。

合成元画像選定部５６は、選択された複数の順列のそれぞれについて輝度相違度Pを算出し、その輝度相違度Pが最小となる順列を求める。そして合成元画像選定部５６は、輝度相違度Pが最小となった順列に示された展開顔画像を、合成展開顔画像の作成に利用するものとして選択する。
あるいは、合成元画像選定部５６は、選択された複数の順列の中から、一つずつ輝度相違度Pを算出し、その輝度相違度Pが最初に所定の閾値以下となったときの順列に示された展開顔画像を、合成展開顔画像の作成に利用するものとして選択してもよい。なお、所定の閾値は、例えば、15に設定される。

また、撮影時における撮像部２と登録対象者間の距離に応じて、入力顔画像上の顔が写っている領域の大きさは異なる。そして顔が写っている領域の大きさがあまりに異なる入力顔画像に対応する展開顔画像の組み合わせが合成展開顔画像の作成に用いられると、それら入力顔画像を３次元顔形状データにマッピングする際の拡大／縮小率が大きく異なるので、展開顔画像ごとに解像度が異なり、作成された合成展開顔画像は不自然なものとなる可能性がある。
そこで合成元画像選定部５６は、展開顔画像に対応する入力顔画像に写っている顔の大きさが所定倍率以上あるいは所定縮小率以下離れている展開顔画像の組み合わせを、合成展開顔画像の作成に利用しないようにしてもよい。この場合、所定倍率は、例えば、2に設定される。また所定縮小率は、例えば0.5に設定される。なお、合成元画像選定部５６は、二つの展開顔画像に写っている顔の倍率を、例えば、入力顔画像を３次元顔形状データにマッピングする際の拡大／縮小率の比として求めることができる。
合成元画像選定部５６は、合成展開顔画像の作成に利用されることを示すフラグ及び順列に示された合成順序を選択された展開顔画像のそれぞれと関連付けて記憶部４に記憶する。

画像処理部５は、合成展開顔画像においてその合成境界がエッジとならず、合成境界近傍で画素の値が滑らかに変化するように、合成元画像選定部５６により選択された展開顔画像を合成する。そのために、画像処理部５は、合成境界近傍で、且つマッピング用展開顔画像上に先にマッピングされた展開顔画像の合成領域では、その先にマッピングされた展開顔画像の画素の値と対応する次にマッピングされる展開顔画像の画素の値とを所定の重み係数を用いて加重平均する。
なお、以下では、先にマッピングされた展開顔画像を基準展開顔画像と呼び、後からマッピングされる展開顔画像を補完用展開顔画像と呼ぶ。

合成重み算出部５７は、基準展開顔画像の各画素の値に乗じる重み係数B(dist)を次式に従って決定する。

ここでdistは、合成境界から、重み係数B(dist)が用いられる画素までの距離、例えば、合成境界からの画素数を表す。またWは、合成比率の変化率を調整するパラメータであり、１よりも大きい値に設定される。パラメータWを小さい値に設定するほど、重み係数B(dist)は、合成境界からの距離の変化に応じて緩やかに変化する。例えば、パラメータWは1.05に設定される。なお、合成境界からの距離distに位置する、補完用展開顔画像の画素値に乗じる重み係数は、1からB(dist)を引いた値となる。

図５（ａ）は、基準展開顔画像の一例を示す図であり、図５（ｂ）は、図５（ａ）に示された基準展開顔画像５００の画素５２０と合成境界５１０間の距離と、画素５２０に適用される重み係数との関係を示すグラフである。
図５（ａ）において、基準展開顔画像５００において、顔の右側部分及び鼻の右側に相当する領域５０１は、テクスチャ欠落領域と非合成領域とを組み合わせた領域となっている。そのため、この領域５０１には、補完用展開顔画像の合成領域のテクスチャ情報がマッピングされる。また、基準展開顔画像５００における合成領域５０３についても、合成境界５１０から所定距離内の画素については、合成処理において、基準展開顔画像の画素の値と補完用展開顔画像の対応する画素の値とが加重平均される。

図５（ｂ）において、横軸は、合成境界５１０から画素５２０までの距離を表し、縦軸は、（２）式によって求められる重み係数B(dist)の値を表す。またグラフ５３１及び５３２は、それぞれ、パラメータWをw₁、w₂に設定したときの重み係数B(dist)の値を表すグラフである。ただし、w₁<w₂である。
図５（ｂ）に示されるように、画素５２０が合成境界上に位置するとき（すなわち、dist=0）、重み係数B(dist)は０となり、合成境界から画素５２０までの距離が大きくなるほど、重み係数B(dist)は１に近づく。
すなわち、合成処理において、合成境界の近くでは基準展開顔画像の情報は重視されず、補完用展開顔画像の情報が重視される。このように重み係数を設定する理由は、合成境界近傍では、基準展開顔画像に写っている登録対象者の顔の部分よりも補完用展開顔画像に写っている登録対象者の顔の部分の方が撮像部２に対して正面方向を向いており、従って、補完用展開顔画像の方がテクスチャ情報の信頼性が高いことによる。
一方、合成境界から離れるにつれ、逆に基準展開顔画像に写っている登録対象者の顔の部分の方が、補完用展開顔画像に写っている、対応する登録対象者の顔の部分よりも撮像部２に対して正面方向を向いており、テクスチャ情報の方が信頼性が高くなる。そのため、重み係数B(dist)は、合成境界からの距離が離れるほど大きな値となる。

合成重み算出部５７は、基準展開顔画像の画素ごとに、（２）式に従って重み係数B(dist)を算出する。なお、基準展開顔画像の合成境界（すなわち、dist<0となる画素）では、合成重み算出部５７は、B(dist)=0とする。また、（２）式に従って算出されたB(dist)の値が、1に近い所定値（例えば、0.99）以上となったとき、合成重み算出部５７は、B(dist)=1としてもよい。そして合成重み算出部５７は、基準展開顔画像の画素の水平座標及び垂直座標をそれぞれ行及び列の番号とする重み参照テーブルの各欄に、その水平座標及び垂直座標で規定される画素の重み係数B(dist)を格納する。そして合成重み算出部５７は、重み参照テーブルを記憶部４に記憶する。

顔画像合成部５８は、記憶部４に記憶された重み参照テーブルを参照して、選定された複数の展開顔画像を合成することにより、合成展開顔画像を作成する。先ず、顔画像合成部５８は、合成元画像選定部５６により選択された複数の展開顔画像のうち、１番目の順序の展開顔画像を基準展開顔画像とする。そして顔画像合成部５８は、２番目の順序の展開顔画像を補完用展開顔画像とする。
なお、本実施形態では、画像処理部５は、登録対象者の全ての入力顔画像を、一つの３次元顔形状データにマッピングして３次元顔モデル及び展開顔画像を生成している。そのため全ての展開顔画像は既に位置合わせされている。そこで顔画像合成部５８は、合成展開顔画像の着目する画素の値を、基準展開顔画像と補完用展開顔画像において着目する画素と同じ位置にある画素を次式に従って加重平均することにより算出できる。

なお、I_i ^Cは、合成展開顔画像の画素iの画素値であり、I_i ^mainは、基準展開顔画像の画素iの画素値であり、I_i ^subは、後からマッピングする補完用展開顔画像の画素iの画素値である。すなわち、顔画像合成部５８は、基準展開顔画像のテクスチャ欠落領域及び非合成領域に補完用展開顔画像の合成領域内に含まれる対応する部分のテクスチャ情報をマッピングし、基準展開顔画像の合成領域では、基準展開顔画像の画素値と補完用展開顔画像の対応する画素値とを、重み係数B(dist)に応じて加重平均する。
同様に、顔画像合成部５８は、３枚以上の展開顔画像を合成する場合、すでに複数の展開顔画像がマッピングされた展開顔画像をあらためて基準展開顔画像とし、次にマッピングする展開顔画像を補完用展開顔画像として、テクスチャ欠落領域がなくなるまで、すなわち、選択された全ての展開顔画像がマッピングされるまで、上記の処理を繰り返す。
顔画像合成部５８は、作成した合成展開顔画像を登録対象者の識別コードと関連付けて記憶部４に記憶するとともに、その合成展開顔画像を展開顔画像マッピング部５９へ渡す。

展開顔画像マッピング部５９は、合成展開顔画像を３次元顔形状データにマッピングすることにより、合成３次元顔モデルを作成する。なお、合成展開顔画像がマッピングされる３次元顔形状データは、各展開顔画像の元となった３次元顔モデルの作成に利用された３次元顔形状データとすることが好ましい。この３次元顔形状データは、各展開顔画像に写っている顔特徴点と良好に一致する３Ｄ顔特徴点を有しているので、その３Ｄ顔特徴点は、複数の展開顔画像から合成された合成展開顔画像に写っている顔特徴点とも良好に一致するためである。
また、展開顔画像マッピング部５９は、合成展開顔画像の作成に利用された展開顔画像に関連付けて記憶されている展開情報を参照することにより、合成展開顔画像の各画素が３次元顔形状データ上で対応する位置を特定し、その特定された位置へマッピングする。
画像処理部５は、展開顔画像マッピング部５９により作成された合成３次元顔モデルを登録対象者の識別コードと関連付けて記憶部４に記憶する。あるいは、画像処理部５は、その合成３次元顔モデルを登録対象者の識別コードとともに、図示しない通信ネットワークを介して、３次元顔モデルを用いて認証処理を行う顔認証装置など他の装置へ出力してもよい。

図６及び図７は、一つの実施形態による顔画像合成装置１における、顔画像合成処理の動作フローチャートである。なお、この顔画像合成処理は、画像処理部５によって制御される。
先ず、画像処理部５は、撮像部２からインターフェース部３を介して、登録対象者の顔が写っている入力顔画像を取得する（ステップＳ１０１）。そして画像処理部５は、取得した入力顔画像を登録対象者の識別コードに関連付けて記憶部４に記憶するとともに、画像処理部５の２Ｄ顔特徴点抽出部５１へ渡す。

２Ｄ顔特徴点抽出部５１は、入力顔画像から、３次元顔形状データに関連付けられている３Ｄ顔特徴点と同種類の顔特徴点を抽出する（ステップＳ１０２）。そして２Ｄ顔特徴点抽出部５１は、抽出した顔特徴点の種別と入力顔画像上の位置情報を、画像処理部５の位置合わせ情報算出部５２へ出力する。
位置合わせ情報算出部５２は、入力顔画像について２Ｄ顔特徴点抽出部５１により抽出された各顔特徴点と、３次元顔形状データに関連する３Ｄ顔特徴点とを用いて、入力顔画像と記憶部４に記憶されている各３次元顔形状データの位置合わせを行う（ステップＳ１０３）。そして位置合わせ情報算出部５２は、その位置合わせの結果として得られる、各３次元顔形状データに対する位置ずれ量の最小値及びその最小値に対応する３次元顔形状データの回転、拡大／縮小などの量を含む位置合わせ情報を算出する。

次に、画像処理部５は、登録利用者の入力顔画像を所定枚数取得したか否か判定する（ステップＳ１０４）。なお、所定枚数は、少なくとも２枚であり、例えば、５枚〜１０枚の何れかに設定される。取得された入力顔画像の枚数が所定枚数に達していなければ、画像処理部５は、ステップＳ１０１〜Ｓ１０４の処理を繰り返す。
一方、取得された入力顔画像の枚数が所定枚数に達していれば、位置合わせ情報算出部５２は、記憶部４に記憶されている各３次元顔形状データのうち、最適な３次元顔形状データを選択する（ステップＳ１０５）。例えば、位置合わせ情報算出部５２は、取得された登録対象者の入力顔画像のそれぞれについて求められた位置ずれ量の最小値の総和が最も小さくなる３次元顔形状データを、最適な３次元顔形状データとする。
位置合わせ情報算出部５２は、選択された３次元顔形状データとともに、その３次元顔形状データに対する各入力顔画像の位置合わせ情報を、画像処理部５の入力顔画像マッピング部５３、非合成領域設定部５５及び合成元画像選定部５６へ出力する。

次に、画像処理部５は、入力顔画像のうち、対応する３次元顔モデルが作成されていない入力顔画像を着目する顔画像に設定する（ステップＳ１０６）。そして画像処理部５は、着目顔画像及び選択された３次元顔形状データを入力顔画像マッピング部５３へ渡す。
入力顔画像マッピング部５３は、着目顔画像と選択された３次元顔形状データとを、着目顔画像について求められた位置合わせ情報を参照して位置合わせした後、着目顔画像の各画素の値を位置合わせされた３次元顔形状データ上にマッピングすることにより、着目顔画像に対応する３次元顔モデルを作成する（ステップＳ１０７）。入力顔画像マッピング部５３は、作成した３次元顔モデルを画像処理部５の展開顔画像生成部５４へ渡す。
展開顔画像生成部５４は、３次元顔モデルから展開顔画像を作成する（ステップＳ１０８）。そして展開顔画像生成部５４は、その展開顔画像を、対応する３次元顔モデル及び入力顔画像に関連付けて記憶部４に記憶する。
画像処理部５は、全ての入力顔画像について３次元顔モデル及び展開顔画像が作成されたか否か判定する（ステップＳ１０９）。何れかの入力顔画像について３次元顔モデル及び展開顔画像が作成されていない場合、画像処理部５は、ステップＳ１０６〜Ｓ１０９の処理を繰り返す。

一方、全ての入力顔画像について３次元顔モデル及び展開顔画像が作成された場合、図７に示されるように、画像処理部５の非合成領域設定部５５は、各展開顔画像に対して非合成領域及び合成領域を設定する（ステップＳ１１０）。そして非合成領域設定部５５は、各展開顔画像に非合成領域と合成領域の境界上に位置する合成境界上の画素を表す情報を対応する展開顔画像に関連付けて記憶部４に記憶する。

また、画像処理部５の合成元画像選定部５６は、登録対象者についての全ての展開顔画像の中から、合成展開顔画像の作成に利用する展開顔画像の組み合わせ及び合成順序を規定した順列を全て求める（ステップＳ１１１）。次に合成元画像選定部５６は、求めた順列のうち、未着目の順列の中から着目する順列を設定する（ステップＳ１１２）。そして合成元画像選定部５６は、着目する順列に対応する展開顔画像の組み合わせによってテクスチャ欠落領域のない合成展開顔画像が作成できるか否か判定する（ステップＳ１１３）。テクスチャ欠落領域のない合成展開顔画像が作成できる場合、合成元画像選定部５６は、その順列に従って輝度相違度Pを算出する（ステップＳ１１４）。
ステップＳ１１４の後、あるいはステップＳ１１３にてテクスチャ欠落領域のない合成展開顔画像が作成できないと判定された場合、合成元画像選定部５６は、未着目の順列が存在するか否か判定する（ステップＳ１１５）。未着目の順列が存在する場合、合成元画像選定部５６は、ステップＳ１１２〜Ｓ１１５の処理を繰り返す。

一方、未着目の順列が存在しない場合、合成元画像選定部５６は、輝度相違度Pが算出された順列のうち、その輝度相違度Pが最小となる順列に示された展開顔画像を、合成展開顔画像の作成に利用する展開顔画像として選択する（ステップＳ１１６）。
合成元画像選定部５６は、合成展開顔画像の作成に利用されることを示すフラグ及び順列に示された合成順序を選択された展開顔画像のそれぞれと関連付けて記憶部４に記憶する。

画像処理部５の顔画像合成部５８は、１番目の合成順序の展開顔画像を基準展開顔画像とし、その合成領域を、顔のテクスチャ情報が何もマッピングされていないマッピング用展開顔画像にマッピングする（ステップＳ１１７）。なお、このマッピング用展開顔画像は、ステップＳ１０５にて選択された３次元顔形状データを２次元に展開することにより作成されたものとすることができる。マッピング用展開顔画像と合成展開顔画像作成用に選択された展開顔画像はすでに位置合わせされているので、顔画像合成部５８は、基準展開顔画像の合成領域内の各画素の輝度値を、単にマッピング用展開顔画像の対応する画素の輝度値とすればよい。

次に、画像処理部５の合成重み算出部５７は、合成に利用する重み係数を（２）式に従って算出する（ステップＳ１１８）。その後、顔画像合成部５８は、マッピング用展開顔画像にマッピングされていない展開顔画像の中から、最も早い順序の展開顔画像を補完用展開顔画像として選択する（ステップＳ１１９）。そして顔画像合成部５８は、基準展開顔画像と選択した補完用展開顔画像の対応する画素の値を、算出された重み係数を用いて（３）式に従って加重平均することにより、基準展開顔画像と選択した補完用展開顔画像を合成する（ステップＳ１２０）。その際、基準展開顔画像のテクスチャ欠落領域及び非合成領域については、補完用展開顔画像の合成領域内の対応する部分が直接マッピングされる。
画像処理部５は、選択された展開顔画像のうち、マッピング用展開顔画像にマッピングされていない展開顔画像が存在するか否か判定する（ステップＳ１２１）。マッピング用展開顔画像にマッピングされていない展開顔画像が存在すれば、画像処理部５は、ステップＳ１１８〜Ｓ１２１の処理を繰り返す。この場合、ステップＳ１１８では、重み係数は、合成展開顔画像に基づいて再算出される。
一方、ステップＳ１２１にて、マッピング用展開顔画像にマッピングされていない展開顔画像が存在しなければ、合成展開顔画像が完成されている。そこで画像処理部５は、その合成展開顔画像を、登録対象者の識別コードと関連付けて記憶部４に記憶する。
また画像処理部５の展開顔画像マッピング部５９は、合成展開顔画像を、基準展開顔画像の作成に利用された３次元顔形状データにマッピングすることにより、合成３次元顔モデルを作成する（ステップＳ１２２）。そして展開顔画像マッピング部５９は、作成した合成３次元顔モデルを記憶部４に記憶し、あるいは、通信ネットワークを介して他の機器へ出力する。
その後、画像処理部５は、顔画像合成処理を終了する。
なお、記憶部４が３次元顔形状データを一つしか記憶していなければ、ステップＳ１０５の処理は省略されてもよい。

以上説明してきたように、この顔画像合成装置は、オクルージョンなどにより、入力顔画像上で登録対象者の顔の一部のテクスチャ情報が欠落している場合でも、他の入力顔画像に写っている登録対象者の顔の情報を利用して、テクスチャ情報の欠落のない合成展開顔画像及び対応する３次元顔モデルを作成できる。またこの顔画像合成装置は、入力顔画像上に写っている顔の領域に含まれていても、テクスチャ情報の信頼度が低い領域を合成に利用しないので、照合に適した合成展開顔画像及び３次元顔モデルを作成することができる。

またこの顔画像合成装置は、基準となる展開顔画像の合成境界近傍で、その基準となる展開顔画像と補完用の展開顔画像の同じ位置にある画素の値を、合成境界からの距離に応じて基準となる展開顔画像の比重が大きくなる重み係数を用いて加重平均することで、それら二つの展開顔画像を合成する。このように、この顔画像合成装置は、合成された展開顔画像及び３次元顔モデルにおける各画素の値を、その画素に対応する、基準となる展開顔画像と補完用の展開顔画像の画素の値だけを用いて求めているので、テクスチャ情報を劣化させることがない。さらに、この顔画像合成装置は、合成された展開顔画像及び３次元顔モデルにおいて、合成境界近傍での画素値の変化が滑らかとなるので、合成境界が個人性を表す顔の特徴と誤認識される可能性を軽減できる。

なお、本発明は上記の実施形態に限定されるものではない。例えば、顔画像合成部は、基準展開顔画像の合成領域と、補完用展開顔画像の合成領域とが重なる重複領域を求め、その重複領域内の何れかの位置、例えば、その重複領域を水平方向に２等分する中心線を合成境界としてもよい。

また、非合成領域の幅が大き過ぎると、すなわち、図４（ｂ）〜（ｄ）に示されるパラメータTh1、Th2を過度に大きくすると、合成する二つの展開顔画像の合成領域間の重複領域が十分な大きさを持たない場合がある。このような場合、合成重み算出部により算出される、基準展開顔画像と補完用展開顔画像の両方に対する重み係数が一定以上の値（例えば、両方とも0.2以上）となる画素が、基準展開顔画像と補完用展開顔画像の何れか一方の合成領域にしか含まれなくなる。その結果、合成された展開顔画像において、合成境界近傍での輝度値の変化が滑らかとならない可能性がある。
そこで、合成元画像選定部は、輝度相違度が最小となる順列に示された展開顔画像の組み合わせについて、合成領域の重複領域の水平方向の幅を求め、その幅が所定の幅閾値よりも狭い場合、少なくとも一方の展開顔画像の合成領域の水平方向の幅を広げてもよい。例えば、合成元画像選定部は、非合成領域設定部が非合成領域の設定に利用するパラメータTh1、Th2の少なくとも一方をその初期設定値よりも小さくして（例えば、初期設定値の1/2にして）、非合成領域の幅を狭くすることにより、展開顔画像の合成領域の水平方向の幅を広げる。
なお、幅閾値は、例えば、補完用展開顔画像に適用される重み係数が0.1以下となる合成境界からの距離に設定される。

逆に、合成領域の重複領域が過度に広い場合には、合成元画像選定部は、非合成領域設定部が非合成領域の設定に利用するパラメータTh1、Th2の少なくとも一方をその初期設定値よりも大きくして（例えば、初期設定値の2倍にして）、非合成領域の幅を広くすることにより、展開顔画像の合成領域の水平方向の幅を狭くしてもよい。これにより、顔画像合成装置は、テクスチャ情報の信頼度がより高い領域のみを用いて合成展開顔画像を作成できるので、その合成展開顔画像をより照合に適したものとすることができる。
なお、合成元画像選定部は、例えば、合成領域の重複領域の水平方向の幅が、補完用展開顔画像に適用される重み係数が0.05以下となる合成境界からの距離よりも大きい場合、合成領域の重複領域が過度に広いと判定できる。

また非合成領域設定部は、各展開顔画像について、上記のパラメータTh1、Th2の値を様々に変えて、幅の異なる非合成領域を複数設定してもよい。この場合、合成元画像選定部は、順列に示された展開顔画像の組み合わせについて輝度相違度を算出する際、それら展開顔画像のそれぞれについて設定されている、複数の非合成領域のそれぞれに対応する合成境界に基づいて輝度相違度を算出し、そのうちの輝度相違度が最小となる非合成領域を選択してもよい。その際、合成元画像選定部は、輝度相違度の算出に用いられる各展開顔画像の合成領域間の重複領域の幅が、上記の幅閾値以上となる非合成領域の組み合わせについてのみ、輝度相違度を算出してもよい。

また、非合成領域設定部は、顔向きの代わりに、入力顔画像と３次元顔形状データを位置合わせする際の各顔特徴点と対応する３Ｄ顔特徴点の位置ずれ量に基づいて、非合成領域の幅を調整してもよい。この位置ずれ量が小さい場合、入力顔画像と３次元顔形状データの位置合わせが良好になされているので歪が少なく、テクスチャ欠落境界の近傍であってもテクスチャの変形は小さいと推定される。逆に、この位置ずれ量が大きい場合、入力顔画像と３次元顔形状データの位置合わせが良好でなく、歪が大きい可能性があるので、テクスチャ欠落境界から離れた位置でも、テクスチャの変形が大きくなる可能性がある。
そこで、非合成領域設定部は、位置合わせ情報算出部により算出された、入力顔画像がマッピングされた３次元顔形状データに関する位置ずれ量が大きいほど、非合成領域の水平方向の幅を大きくしてもよい。
あるいは、非合成領域設定部は、目、鼻、口といった部位ごとの特徴点の位置ずれ量に応じて、その部位近傍の非合成領域の水平方向の幅を設定してもよい。例えば、非合成領域設定部は、目中心と鼻尖点、及び鼻尖点と口中心のそれぞれの中点で展開顔画像を３分割する。そして非合成領域設定部は、一番上の分割領域の非合成領域の幅を、目中心についての位置ずれ量が大きくなるほど大きくなるように設定する。同様に、非合成領域設定部は、中央の分割領域の非合成領域の幅を、鼻尖点についての位置ずれ量が大きくなるほど大きくなるように設定する。また非合成領域設定部は、一番下の分割領域の非合成領域の幅を、口中心についての位置ずれ量が大きくなるほど大きくなるように設定する。
なお、分割領域同士の境界で、非合成領域の幅が大きく変化する場合は、その境界近傍で非合成領域の幅が滑らかに変化するように適当な曲線を当てはめてその境界近傍の非合成領域の幅を修正するのが好適である。

また、合成境界近傍において、先にマッピング用展開顔画像にマッピングされた展開顔画像（すなわち、基準展開顔画像）の画素の値と、後からマッピング用展開顔画像にマッピングされる展開顔画像（すなわち、補完用展開顔画像）の画素の値とが大きく異なることがある。例えば、一方の展開顔画像に対応する入力顔画像が撮影されたときの照明が明るく、他方の展開顔画像に対応する入力顔画像が撮影されたときの照明が暗ければ、一方の展開顔画像については顔に対応する画素が全体的に明るくなるのに対し、他方の展開顔画像では顔に対応する画素が全体的に暗くなる。
このような場合、合成展開顔画像では、合成境界を挟んで画素値が大きく異なってしまうおそれがある。
そこで、合成重み算出部は、合成境界近傍の所定範囲での基準展開顔画像の画素の平均値と、補完用展開顔画像の画素の平均値との差の絶対値Δdelが大きいほど、補完用展開顔画像の画素値が合成展開顔画像に反映されるように、（２）式のパラメータWを調節してもよい。なお、Δdelを求める所定の範囲は、例えば、合成境界に隣接する画素、あるいは、顔画像合成部の処理によって基準展開顔画像と補完用展開顔画像の両方の画素値が反映される範囲、例えば、パラメータWをWmaxに設定したときに重み係数B(dist)が0.5以下となる範囲とすることができる。
さらに、合成重み算出部は、基準展開顔画像に対する重み係数B(dist)を、合成境界からの距離distに応じて単調増加する他の関数、例えば、シグモイド関数または線形関数によって求めてもよい。

さらに、顔画像合成部は、Δdelを求める所定範囲に含まれる、補完用展開顔画像の平均画素値Pavsubに対する基準展開顔画像の平均画素値Pavmainの比(Pavmain/Pavsub)を、補完用展開顔画像の各画素値に乗じた後、合成処理を行ってもよい。これにより、基準展開顔画像の明るさと補完用展開顔画像の明るさが略一致するので、顔画像合成装置は、合成展開顔画像において合成境界を挟んで画素値が大きく変化することを防止できる。そのため、顔画像合成装置は、合成展開顔画像における不自然さをなくすことができる。また、Δdelが大きくなる場合には、基準展開顔画像と補完用展開顔画像の何れか一方のみを上記のように画素値を補正すると、補正後の展開顔画像に表された顔の情報が補正前の展開顔画像に表された顔の情報と異なる可能性がある。そこで、Δdelが大きく異なる場合には、顔画像合成部は、基準展開顔画像と補完用展開顔画像の両方を補正する。例えば、(Pavmain/Pavsub)が2以上、あるいは0.5以下となる場合、顔画像合成部は、(Pavmain/Pavsub)の平方根を補完用展開顔画像の各画素値に乗じ、一方、基準展開顔画像の各画素値を(Pavmain/Pavsub)の平方根で割る。

また、撮像部が登録対象者を撮影するときの照明条件が一定である場合のように、複数の入力顔画像上での登録対象者の顔の輝度が一定である場合、顔画像合成部は、基準展開顔画像の合成領域については、そのまま合成展開顔画像の一部とし、基準展開顔画像の非合成領域及びテクスチャ欠落領域に、補完用展開顔画像の合成領域の対応する部分を単にマッピングするだけでもよい。この場合、合成重み算出部は省略される。

また、画像処理部は、撮像部によって撮影された画像を入力顔画像とすることができるか否かを判定するために、その画像に人の顔が写っているか否かを判定する顔検出部を有していてもよい。顔検出部は、入力顔画像に顔が写っているか否かを判定するために、様々な公知の顔検知技術の何れかを利用することができる。例えば、記憶部に予め撮影部による撮影領域内に人が存在しないときの画像を基準画像として記憶させておく。そして顔検出部は、撮像部によって撮影された現画像と基準画像との背景差分を行って差分画像を作成し、その差分画像と頭部の形状に対応するテンプレートとのパターンマッチングを行う。顔検出部は、そのパターンマッチングの結果、差分画像上にテンプレートと略一致する領域が検出されれば、現画像に人の顔が写っており、その現画像を入力顔画像とする。

さらに画像処理部は、撮像部から連続して取得された入力顔画像に写っている人物の顔が、同一人物の顔か否かを判定するための追跡判定部を有していてもよい。そして追跡判定部は、入力顔画像に写っている人物が同一人物か否か判定するために、様々な公知の追跡技術の何れかを利用することができる。例えば、追跡判定部は、連続して取得された２枚の入力顔画像について、その入力顔画像上の顔の位置の差が、想定される人の移動速度に応じて求められる位置の差よりも小さければ、それら２枚の入力顔画像に写っている人物は同一人物と判定する。

さらに、画像処理部は、展開顔画像を作成せず、画像選択部は、合成３次元顔モデルを作成するために、３次元顔モデルから基準となる３次元顔モデルと補完用の３次元顔モデルを直接選択してもよい。この場合も、合成元画像選定部は、展開顔画像について実施するのと同様の処理を行って、合成３次元顔モデルを作成するために利用する３次元顔モデルを選択する。この場合には、顔画像合成部は、合成重み算出部で算出された重み係数を用いて、基準となる３次元顔モデルと補完用の３次元顔モデルを合成することにより、合成３次元顔モデルを作成する。そのため、画像処理部は、展開顔画像生成部及び展開顔画像マッピング部を有さなくてもよい。
このように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１ 顔画像合成装置
２ 撮像部
３ インターフェース部
４ 記憶部
５ 画像処理部
５１ ２Ｄ顔特徴点抽出部
５２ 位置合わせ情報算出部
５３ 入力顔画像マッピング部
５４ 展開顔画像生成部
５５ 非合成領域設定部
５６ 合成元画像選定部
５７ 合成重み算出部
５８ 顔画像合成部
５９ 展開顔画像マッピング部

Claims (4)

1. 複数の顔画像を合成して合成顔画像を生成する顔画像合成装置であって、
   同一対象者を撮影した複数の顔画像と人物の顔の形状を表す３次元顔形状データとを記憶する記憶部と、
   前記複数の顔画像のそれぞれを、前記３次元顔形状データと位置合わせして、当該３次元顔形状データにマッピングすることにより、前記複数の顔画像のそれぞれに対応する３次元顔モデルを作成するマッピング部と、
   複数の前記３次元顔モデルのそれぞれを２次元に展開した展開顔画像を作成する展開顔画像生成部と、
   前記展開顔画像において顔のテクスチャ情報が欠けていない第１の領域内に、当該第１の領域と顔のテクスチャ情報が欠けた第２の領域との境界を一端とし、かつ所定の幅を持つ非合成領域と、前記第１の領域から該非合成領域を除いた合成領域とを設定する非合成領域設定部と、
   ２以上の所定数の前記展開顔画像を選択する顔画像選定部と、
   前記選択された展開顔画像のうちの第１の展開顔画像に設定された前記第２の領域及び前記非合成領域に、前記選択された展開顔画像のうちの第２の展開顔画像に設定された前記合成領域の対応する画素の値をマッピングすることにより、前記合成顔画像を作成する顔画像合成部と、
   を有することを特徴とする顔画像合成装置。
2. 前記非合成領域設定部は、前記展開顔画像に写っている前記対象者の顔の向きの正面向きからのずれ量が大きいほど、前記所定幅を大きくする、請求項１に記載の顔画像合成装置。
3. 前記顔画像選定部は、前記選択した展開顔画像の合成順序を規定した順列を複数求め、該複数の順列のうち、当該順列に示された前記所定数の展開顔画像の前記合成領域をマッピングすることにより作成される前記合成顔画像において顔のテクスチャ情報の欠けがなく、かつ、当該順列に示された順序に従って先にマッピングされた前記展開顔画像における前記非合成領域と前記合成領域の境界である合成境界上の各画素の値と次にマッピングされる前記展開顔画像における対応する画素の値の差の統計量を輝度相違度として算出し、当該輝度相違度が最小または所定の閾値以下となる順列に示された前記展開顔画像を選択する、
   請求項１または２に記載の顔画像合成装置。
4. 前記非合成領域設定部は、前記展開顔画像のそれぞれについて、互いに異なる幅を持つ複数の前記非合成領域を設定し、
   前記顔画像選定部は、前記順列に示された順序に従って先にマッピングされた前記展開顔画像における前記複数の非合成領域のそれぞれについて求めた前記統計量の最小値を前記輝度相違度として算出する、
   請求項３に記載の顔画像合成装置。

Images