JP2011210118A

JP2011210118A - 顔画像合成装置

Info

Publication number: JP2011210118A
Application number: JP2010078878A
Authority: JP
Inventors: Takeshi Itoga; 健糸賀; Naoyuki Takada; 直幸高田
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2010-03-30
Filing date: 2010-03-30
Publication date: 2011-10-20
Anticipated expiration: 2030-03-30
Also published as: JP5419777B2

Abstract

【課題】登録対象者が異なる表情をして写っている複数の顔画像から、照合に適した顔画像を合成可能な顔画像合成装置を提供する。
【解決手段】顔画像合成装置１は、対象者を撮影した複数の顔画像を３次元顔形状データにマッピングして各顔画像に対応する３次元顔モデルを作成するマッピング部５３と、複数の３次元顔モデルのそれぞれを２次元に展開した展開顔画像を生成する展開顔画像生成部５４と、複数の展開顔画像から少なくとも第１の展開顔画像と第２の展開顔画像を選択するとともに、予め設定された境界線候補の中から、顔の所定部位を回避する境界線候補を選択して合成境界に設定する顔画像選定部５５と、第１の展開顔画像において顔のテクスチャ情報を有する第１の領域と第２の展開顔画像において顔のテクスチャ情報を有する第２の領域とを合成境界に基づいて合成し、合成顔画像を作成する顔画像合成部５７とを有する。
【選択図】図１

Description

本発明は、人物の顔を撮影した画像から、照合に適した顔画像を作成する顔画像合成装置に関する。

従来より、対象者の顔を撮影して取得した顔画像を登録された顔画像と照合することにより、その対象者を認証する顔認証装置が提案されている。このような顔認証装置は、事前に対象者本人の顔画像を登録しておき、利用時に取得した顔画像と比較した結果に基づいて、認証の可否を決定する。そのため、登録用の顔画像の撮影時における顔の向きなどにより、登録された顔画像上に欠落した顔の部分が存在すると、顔認証装置は、その欠落部分についての照合ができないため、認証精度が低下してしまうおそれがある。そこで、同一人物の顔を異なる方向から撮影した複数の画像を用いて、照合用の顔画像を作成する技術が提案されている（例えば、特許文献１を参照）。

例えば、特許文献１に開示された顔画像照合装置は、３次元顔モデルの一部または全てに対し、オクルージョンなどによる顔の一部のテクスチャの欠落部分を補う向きの顔画像をマッピングすることにより、テクスチャの欠損がない３次元顔モデルを作成する。その際、この顔画像照合装置は、合成に用いられた２枚の顔画像の撮影条件の違いなどにより、合成された部分の境界で画素値の差が生じることを防ぐため、３次元顔モデルに既にマッピングされている顔画像と追加でマッピングする別の顔画像とを２次元上で顔特徴点を用いて位置合わせをして平均化し、この平均化された顔画像を、顔の３次元形状を表す３次元顔形状データにマッピングする。

特開２００９−２４５３３８号公報

特許文献１に開示された技術を用いることにより、テクスチャの欠損がない顔画像を作成することが可能となる。
しかしながら、顔画像に写っている対象者の顔の領域全体が、照合処理に適しているとは限らない。特に、対象者の表情が顔画像の合成に用いる複数の顔画像ごとに異なっていることがある。このような場合において、一方の顔画像上でテクスチャが欠落している領域の境界上に目、鼻、口といった顔の特徴的な部位が位置していると、他方の顔画像からその欠落部分に相当している部分をマッピングすることにより、例えば、顔の右半分では口を開け、顔の左半分では口を閉じているような不自然な表情となることがある。また、特許文献１に開示されているように、二つの顔画像を平均化すると、その特徴的な部分がぼやけてしまう。そのため、合成された顔画像が照合に適したものとならない場合があった。そのため、このような写っている人物の表情が異なる顔画像を用いても、照合処理に適した顔画像を合成可能な技術が求められている。

そこで、本発明は、登録対象者が異なる表情をしている複数の顔画像から、照合に適した顔画像を合成可能な顔画像合成装置を提供することを目的とする。

本発明の一つの形態として、複数の顔画像を合成して合成顔画像を生成する顔画像合成装置が提供される。この顔画像合成装置は、同一の対象者を撮影した複数の顔画像と人物の顔の形状を表す３次元顔形状データとその３次元顔形状の顔の所定部位を参照して設定された境界線候補とを記憶する記憶部と、複数の顔画像のそれぞれを、３次元顔形状データと位置合わせして、その３次元顔形状データにマッピングすることにより、複数の顔画像のそれぞれに対応する３次元顔モデルを作成するマッピング部と、複数の３次元顔モデルのそれぞれを２次元に展開した展開顔画像を生成する展開顔画像生成部と、複数の展開顔画像から少なくとも第１の展開顔画像と第２の展開顔画像を選択するとともに、上記の顔の所定部位を回避するように境界線候補を選択して合成境界に設定する顔画像選定部と、第１の展開顔画像において顔のテクスチャ情報を有する第１の領域と第２の展開顔画像において顔のテクスチャ情報を有する第２の領域とを合成境界に基づいて合成し、合成顔画像を作成する顔画像合成部とを有する。

なお顔の所定部位は、対象者の表情に応じて形状が変わる口、目、眉のうちの一つまたは複数の部位であることが好ましい。

また顔画像選定部は、記憶部に記憶されている境界線候補のうち、第１の展開顔画像において顔のテクスチャ情報を有する第１の領域と第２の展開顔画像において顔のテクスチャ情報を有する第２の領域とが重なる共通領域に含まれる境界線候補を合成境界とすることが好ましい。

また顔画像選定部は、複数の展開顔画像から選択された二つの展開顔画像を含む組み合わせであって、その組み合わせに含まれる二つの展開顔画像において顔のテクスチャ情報を有する領域をそれぞれ一つの画像上にマッピングすることにより作成される合成顔画像において顔のテクスチャ情報の欠けがない組み合わせを少なくとも一つ求め、その組み合わせにおける共通領域に含まれる境界線候補上の二つの展開顔画像の対応する画素の値の差の統計量を輝度相違度として算出し、輝度相違度が最小または所定の閾値以下となる組み合わせに含まれる二つの展開顔画像をそれぞれ第１の展開顔画像及び第２の展開顔画像とするとともに、所定の閾値以下または最小となる輝度相違度に対応する境界線候補を合成境界とすることが好ましい。

本発明に係る顔画像合成装置は、登録対象者が異なる表情をしている複数の顔画像から、照合に適した顔画像を合成できるという効果を奏する。

本発明の一つの実施形態に係る顔画像合成装置の概略構成図である。展開顔画像を生成するために３次元顔モデルに対して設定される座標系の一例を示す図である。（ａ）は、３次元顔モデルの一例の概略図であり、（ｂ）は、（ａ）に示された３次元顔モデルから作成される展開顔画像の概略図である。（ａ）は、展開顔画像の一例を示す図であり、（ｂ）は、（ａ）に示した展開顔画像に写っている登録対象者の表情と異なる表情の展開顔画像の他の一例を示す図である。（ａ）は、境界線候補情報の一例を示す図であり、（ｂ）は、設定された合成境界と共通領域の関係を示す図である。（ａ）は、展開顔画像の一例を示す図であり、（ｂ）は、（ａ）に示された展開顔画像の着目画素と合成境界間の距離と、着目画素に適用される重み係数との関係を示すグラフである。顔画像合成処理の動作を示すフローチャートである。顔画像合成処理の動作を示すフローチャートである。

以下、本発明の一つの実施形態による顔画像合成装置を、図を参照しつつ説明する。この顔画像合成装置は、人間の顔の３次元的な形状を表す３次元顔形状データ上に、登録対象者の顔を撮影した顔画像をマッピングすることで、その登録対象者の３次元顔モデルを作成する。この顔画像合成装置は、マッピングに用いる顔画像に欠落部分が存在する場合、その欠落部分に、その欠落部分に相当する情報を持つ他の顔画像の対応する部分をマッピングして合成顔画像を作成する。その際、この顔画像合成装置は、合成に用いられる二つの顔画像のどちらにも写っている共通領域内において、表情に応じて形状などが変化する、目、口、眉などの特徴的な部位を避けるように、二つの顔画像のそれぞれからテクスチャ情報がマッピングされる領域の境界を設定する。これにより、この顔画像合成装置は、顔のテクスチャ情報が合成される境界を挟んで顔の特徴的な部位の形状が変わることを避けるように合成顔画像を作成する。

図１は、一つの実施形態に係る顔画像合成装置１の概略構成を示す図である。図１に示すように、顔画像合成装置１は、撮像部２と、インターフェース部３と、記憶部４と、画像処理部５とを有する。

撮像部２は、例えば、カメラを有し、監視領域内に進入した登録対象者の顔を撮影した２次元の入力顔画像を作成する。そのために、撮像部２は、監視領域を撮影可能な位置に設置される。例えば、監視領域が店舗、廊下などの屋内に設定されている場合、撮像部２は、監視領域内の天井近傍あるいは監視領域の境界を形成する壁面に、人の身長よりも高い位置に設置される。また撮像部２は、監視領域の通用口近傍を撮影するように設置されてもよい。さらに撮像部２は一つに限られず、複数存在してもよい。
なお、撮像部２が有するカメラは、入力顔画像上の肌色部分を抽出することが容易となるように、可視光域に感度を有し、カラーの多階調画像を作成するものとすることが好ましい。しかし、撮像部２が有するカメラは、近赤外域に感度を有し、グレー画像を作成するカメラであってもよい。また撮像部２は、入力顔画像上に写っている顔の目、鼻、口などの顔特徴が区別できる程度の画素数を有することが好ましい。
撮像部２は、入力顔画像を作成する度に、その入力顔画像をインターフェース部３へ出力する。

インターフェース部３は、撮像部２と接続されるインターフェース回路であり、撮像部２から受け取った入力顔画像を画像処理部５に渡す。
記憶部４は、半導体メモリ、磁気記録媒体及びそのアクセス装置及び光記録媒体及びそのアクセス装置のうちの少なくとも一つを有する。そして記憶部４は、顔画像合成装置１を制御するためのコンピュータプログラム、各種パラメータ及びデータなどを記憶する。また記憶部４は、３次元顔形状データ及び３次元顔形状データに対応する３Ｄ顔特徴点の３次元位置情報を記憶する。３次元顔形状データは複数存在してもよく、また一つであってもよい。３次元顔形状データは、人物の顔の３次元形状を表すフレームモデルであって、ワイヤーフレームモデルあるいはサーフェイスモデル等が用いられる。なお３次元顔形状データは、例えば、複数の人物の顔形状からそれぞれ作成されたり、多数の人物の顔形状を模した顔形状モデルを平均化して作成される。さらに、３次元顔形状データとして、他の方法によって作成された３次元顔形状データの一部を変形させたもの、例えば、顔の中心から上側部分の長さと下側部分の長さの比を変化させたものを用いてもよい。

また、３Ｄ顔特徴点は、目、鼻、口など、形状若しくは色成分について他と異なる特徴的な部位の何れかの点、例えばそれらの部位の中心点若しくは端点を表す。例えば、３Ｄ顔特徴点には、眉頭、眉尻、黒目中心、目領域中心、目頭、目尻、鼻尖点、鼻孔中心、口中心、口端などが含まれる。なお、記憶する３Ｄ顔特徴点の種類及び数に制限はないが、少なくとも２Ｄ顔特徴点抽出部５１において抽出可能な顔特徴点と同じ部位の特徴点を全て含むことが好ましい。本実施形態では、３Ｄ顔特徴点として、左右それぞれの目領域中心、目頭及び目尻と、鼻尖点、口中心、及び左右の口端、耳珠点、顎角点及びオトガイ点の１５箇所を記憶するものとした。
さらに記憶部４は、入力顔画像、展開顔画像、重み参照テーブルの形で合成用重み係数、及び別個の展開顔画像からそれぞれマッピングされる領域の境界の候補である境界線候補情報などを記憶する。なお、展開顔画像、合成用重み係数及び境界線候補情報の詳細については、画像処理部５の関連する構成要素とともに説明する。

画像処理部５は、１個または複数個のプロセッサ及びその周辺回路を有する。そして画像処理部５は、撮像部２から入力顔画像を受け取る度に、その入力顔画像を登録対象者の識別コードと関連付けて記憶部４に記憶する。なお、登録対象者の識別コードは、たとえば、図示しないユーザインターフェースを介して、画像処理部５に入力される。あるいは、画像処理部５は、入力顔画像に写っている登録対象者の顔が、記憶部４に既に登録されている登録者の何れの３次元顔モデルとも一致しない場合、既に設定されている何れの識別コードとも異なる識別コードを新たに生成してもよい。この場合、画像処理部５は、公知の顔画像照合方法の何れかを利用して、入力顔画像に写っている登録対象者の顔が、記憶部４に登録されている登録者の３次元顔モデルと一致するか否かを判定できる。

画像処理部５は、登録対象者について複数の入力顔画像を用いて、その登録対象者の３次元顔モデルを作成する。そのために、画像処理部５は、そのプロセッサ上で動作するソフトウェアにより実装される機能モジュールとして、２Ｄ顔特徴点抽出部５１、位置合わせ情報算出部５２、入力顔画像マッピング部５３、展開顔画像生成部５４、合成元画像選定部５５、合成重み算出部５６、顔画像合成部５７及び展開顔画像マッピング部５８を有する。
なお、画像処理部５が有するこれらの各部は、独立した集積回路、ファームウェア、マイクロプロセッサなどで構成されてもよい。
以下、画像処理部５の各部について詳細に説明する。

２Ｄ顔特徴点抽出部５１は、画像処理部５が登録対象者についての入力顔画像を取得する度に、その入力顔画像から顔特徴点を抽出する。そして２Ｄ顔特徴点抽出部５１は、抽出した顔特徴点の種別と入力顔画像上の位置情報（例えば、入力顔画像の左上端部を原点とする２次元座標値）を、位置合わせ情報算出部５２へ出力する。
本実施形態において、２Ｄ顔特徴点抽出部５１は、記憶部４に記憶されている各３Ｄ顔特徴点（目領域中心、鼻尖点、口端などの１５箇所）に対応する顔特徴点を抽出する。２Ｄ顔特徴点抽出部５１は、入力顔画像から顔特徴点を抽出するための公知の様々な手法を用いることができる。例えば、２Ｄ顔特徴点抽出部５１は、入力顔画像に対してエッジ抽出処理を行って周辺画素との画素値の差が大きいエッジ画素を抽出する。そして２Ｄ顔特徴点抽出部５１は、エッジ画素の位置、パターンなどに基づいて求めた特徴量が、目、鼻、口などの部位について予め定められた条件を満たすか否かを調べて各部位の位置を特定することにより、各顔特徴点を抽出することができる。また２Ｄ顔特徴点抽出部５１は、エッジ抽出処理を行ってエッジ画素を抽出する代わりに、ガボール変換処理あるいはウェーブレット変換処理を行って、異なる複数の空間周波数帯域で局所的に変化の大きい画素を抽出してもよい。さらに２Ｄ顔特徴点抽出部５１は、顔の各部位に相当するテンプレートと入力顔画像とのテンプレートマッチングを行って顔の各部位の位置を特定することにより、顔特徴点を抽出してもよい。さらにまた、２Ｄ顔特徴点抽出部５１は、キーボード、マウス及びディスプレイなどで構成されるユーザインターフェース（図示せず）を介してユーザに各顔特徴点の位置を指定させることにより、各顔特徴点を取得してもよい。

位置合わせ情報算出部５２は、入力顔画像について２Ｄ顔特徴点抽出部５１により抽出された各顔特徴点と、３次元顔形状データに関連する３Ｄ顔特徴点とを用いて、３次元顔形状データに回転、拡大／縮小などの処理を行い、入力顔画像と３次元顔形状データの位置合わせを行う。そして位置合わせ情報算出部５２は、その位置合わせの結果として得られる位置合わせ情報を、３次元顔形状データに関連付けて、入力顔画像マッピング部５３及び合成元画像選定部５５へ出力する。位置合わせ情報は、例えば、３次元顔形状データの３次元の正規直交座標系(X,Y,Z)の各軸に沿った回転角、並進量、及び拡大／縮小率を含む。この正規直交座標系(X,Y,Z)では、例えば、３次元顔形状データ上の複数の３Ｄ顔特徴点の重心を原点とし、顔に対して水平かつ右目から左目へ向かう方向に（３次元顔モデルの正面に向かって左から右に）X軸、Ｘ軸及びＺ軸と直交し、喉付近から頭頂部へ向かう方向、すなわち下から上へ向かう方向にY軸、Ｘ軸及びＹ軸と直交し、鼻尖点から後頭部へ向かう方向にZ軸が設定される。

位置合わせ情報算出部５２は、例えば、以下のように位置合わせ情報を算出する。まず、３次元顔形状データ上の３Ｄ顔特徴点を、２次元画像である入力顔画像上に投影する。そして位置合わせ情報算出部５２は、投影された各３Ｄ顔特徴点の位置と、２Ｄ顔特徴点抽出部５１により抽出された、対応する各顔特徴点の位置との差の二乗和を位置ずれ量として求める。位置合わせ情報算出部５２は、この位置ずれ量が最小となるように、３次元顔形状データを、３次元の正規直交座標系の各軸に沿って回転または並進させたり、拡大または縮小させる。位置合わせ情報算出部５２は、位置ずれ量が最小となったときの３次元顔形状データの回転角、並進量、及び拡大／縮小率を位置合わせ情報とする。

また、記憶部４に複数の３次元顔形状データが記憶されている場合、位置合わせ情報算出部５２は、各３次元顔形状データについて、同一人物に対する複数の入力顔画像のそれぞれに対する上記の位置ずれ量の最小値を求める。そして位置合わせ情報算出部５２は、複数の入力顔画像に対する位置ずれ量の最小値の総和が最も小さくなる３次元顔形状データを、それら入力顔画像に写っている登録対象者に適用する３次元顔形状データとして選択する。位置合わせ情報算出部５２は、選択された３次元顔形状データに対する各入力顔画像の位置ずれ量が最小となったときの位置合わせ情報を入力顔画像マッピング部５３及び合成元画像選定部５５へ出力する。

なお、位置合わせ情報算出部５２は、入力顔画像について抽出された各顔特徴点を３次元空間内へ投影した後、３次元顔形状データ上の３Ｄ顔特徴点との位置ずれ量が最小となるように３次元顔形状データに回転、拡大／縮小などの処理を行い、位置合わせ情報を算出してもよい。

入力顔画像マッピング部５３は、記憶手段４に記憶されている３次元顔形状データのうち、位置合わせ情報算出部５２により選択された３次元顔形状データの顔の向きを、入力顔画像に写った顔の向きと同じ顔の向きとなるように調整する。そのために、入力顔画像マッピング部５３は、選択された３次元顔形状データを、対応する位置合わせ情報にしたがって、３次元の正規直交座標系の各軸に沿って回転または並進させたり、拡大または縮小させて向き調整済み形状モデルを作成する。

入力顔画像マッピング部５３は、向き調整済み形状モデルに、入力顔画像をテクスチャ画像としてマッピングすることにより、入力顔画像に写っている登録対象者の３次元顔モデルを作成する。すなわち、入力顔画像について抽出されている各顔特徴点と、向き調整済み形状モデルとして選択された３次元顔形状データについての３Ｄ顔特徴点との位置が合うように、位置合わせ情報を用いて入力顔画像をテクスチャ画像として向き調整済み形状モデルにマッピングする。なお、マッピングは、入力顔画像の各画素の値を、３次元顔形状データの対応する位置の画素値とする処理である。
入力顔画像マッピング部５３は、画像処理部５が登録対象者についての入力顔画像を取得する度に、その入力顔画像に対する３次元顔モデルを作成する。ただし、記憶部４に複数の３次元顔形状データが記憶されている場合は、登録対象者の複数の入力顔画像に対して最適な３次元顔形状データが選択された後、入力顔画像マッピング部５３は、各入力顔画像について３次元顔モデルを作成する。そして入力顔画像マッピング部５３は、作成した３次元顔モデルを登録対象者の識別コードと関連付けて記憶部４に記憶するとともに、展開顔画像生成部５４へ出力する。

展開顔画像生成部５４は、入力顔画像マッピング部５３から登録対象者の３次元顔モデルを受け取る度に、その３次元顔モデル上にマッピングされたテクスチャ情報を２次元に展開した展開顔画像を生成する。
図２は、展開顔画像を生成するために３次元顔モデルに対して設定される座標系を示す。
図２おいて、Ｘ軸は、３次元顔モデル２００に対して、右目から左目へ向かうように（３次元顔モデルの正面に向かって左から右に）、水平方向の軸として定義される。Ｙ軸は、Ｘ軸及びＺ軸と直交し、喉付近から頭頂部へ向かうように、すなわち下から上へ向かう軸として定義される。Ｚ軸は、Ｘ軸及びＹ軸と直交し、鼻尖点から後頭部へ向かう方向の軸として定義される。Ｘ軸、Ｙ軸及びＺ軸の交点である原点Ｏは、３次元顔モデル２００の重心に設定される。

本実施形態において、Ｚ座標が負の値となる象限における、すなわち、３次元顔モデルにおける顔の正面側における、Ｘ＝０であるＹＺ平面２２０と３次元顔モデル２００の表面との交線２１０をテクスチャスキャンラインと呼ぶ。
展開顔画像生成部５４は、Ｙ軸を回転中心として３次元顔モデルを回転させ、それぞれの回転角度における、テクスチャスキャンライン２１０上の画素値を読み取って、横軸を回転角、縦軸をＹ座標とする２次元上にマッピングすることにより、展開顔画像を作成する。なお、入力顔画像がカラー画像である場合、画素値は、例えばＲＧＢ各色の輝度値となる。また、入力顔画像がグレー画像である場合、画素値は輝度値となる。例えば、鼻尖点がＹＺ平面２２０上に位置するときの回転角を０°とし、３次元顔モデル２００を矢印２３０に示されるように時計回りに回転させたときの回転角の値を正、３次元顔モデル２００を矢印２４０に示されるように反時計回りに回転させたときの回転角の値を負とする。

展開顔画像生成部５４は、例えば、３次元顔モデル２００を−１８０°〜＋１８０°まで所定の単位（例えば、１°）ずつ回転させ、その度にテクスチャスキャンライン２１０上の画素値を読み取る。なお、回転角が−１８０°または＋１８０°近傍のテクスチャ情報、すなわち後頭部近傍のテクスチャ情報は、顔の認証処理に利用するには適さない。そこで展開顔画像生成部５４は、３次元顔モデル２００を回転させる範囲を、少なくとも顔の一部がテクスチャラインとなる範囲、例えば、−１５０°〜＋１５０°の範囲としてもよい。
なお、展開顔画像生成部５４は、Ｘ軸を回転軸としてもよい。この場合には、例えば、Ｙ＝０のＸＺ平面と、３次元顔モデルの表面との交点をテクスチャスキャンラインとする。

また、展開顔画像生成部５４は、３次元顔モデルの肌色に相当する部分及び肌色に囲まれた部分だけを展開顔画像上にマッピングすることが好ましい。これは、髪の毛のように、顔の周囲に位置し、肌色と異なる色を持つ部分は個人識別のための情報をあまり有していないためである。なお、肌色に相当する部分は、例えば、入力顔画像がＲＧＢのカラー画像である場合、３次元顔モデルの各部の値をHSV表色系に変換したときに、色相Hの成分の色情報が、肌色に相当値の範囲（例えば、色相Hの成分の色情報が0から359で表される場合に0〜30）に含まれる部分とする。

展開顔画像生成部５４は、作成した展開顔画像を元の３次元顔モデル、入力顔画像及び登録対象者の識別コードと関連付けて記憶部４に記憶する。また展開顔画像生成部５４は、３次元顔モデルから展開顔画像を作成する際に、展開顔画像の各画素が３次元顔モデルの何れの位置に存在したのかを表す展開情報も、展開顔画像とともに記憶部４に記憶する。この展開情報は、後述する合成処理が終了した後の展開顔画像から３次元顔モデルを再現する際に利用される。

図３（ａ）は、３次元顔モデルの一例の概略図であり、図３（ｂ）は、図３（ａ）に示された３次元顔モデル３００から作成される展開顔画像の概略図である。
図３（ａ）に示された３次元顔モデル３００は、やや右側（向かって左側）を向いている入力顔画像から作成された３次元顔モデルである。このとき、上記のように、３次元顔モデル３００をＹ軸を回転中心として１°ずつ回転させつつ、３次元顔モデル３００の表面とＹＺ平面との交点の画素値情報を読み取ることにより、図３（ｂ）に示されるような展開顔画像３１０が作成される。展開顔画像３１０の輪郭３１５は、３次元顔モデル３００にマッピングされた入力顔画像の肌部分の輪郭に対応する。

この例では、３次元顔モデル３００が右側を向いているために、鼻の右側部分３２０、及び、右耳、右頬から顎にかけての顔の右側部分３３０が入力顔画像上で隠れているために、それらの部分のテクスチャ情報が存在しない。そのため、展開顔画像３１０においても、鼻の右側部分３２０、及び顔の右側部分３３０のテクスチャ情報は欠落している。このような、テクスチャ情報が欠落した領域を以下ではテクスチャ欠落領域と呼ぶ。また、テクスチャ情報が存在する領域と、テクスチャ欠落領域との境界を、以下ではテクスチャ欠落境界と呼ぶ。図３（ｂ）では、テクスチャ欠落領域３２０のテクスチャ欠落境界３２５及びテクスチャ欠落領域３３０のテクスチャ欠落境界３３５は、それぞれ点線で示されている。
なお、輪郭３１５のうち、テクスチャ欠落領域３３０と重なる部分は、本来輪郭として写ってはいないが、ここでは、理解を容易にするために、顔の左側の輪郭を、顔の中心を通る線で左右反転した線を、欠落している部分の輪郭として図示した。またテクスチャ欠落領域内の画素の値は、例えば、テクスチャ情報が欠落していることを表す特定の値（例えば、通常取り得る画素値の範囲外の値である-1）に設定される。

一般に、入力顔画像上で、登録対象者が正面を向いていると、テクスチャ情報が欠落する部分は少なくなる。しかし、登録対象者が少しでも横方向を向いていると、オクルージョンが生じるので、図３（ａ）及び（ｂ）に示されるように、展開顔画像において、顔の一部のテクスチャ情報が欠落する。また、登録対象者が正面を向いた状態で撮影された入力顔画像が得られた場合でも、両耳から顎にかけての領域のテクスチャ情報は欠落する。
このように、展開顔画像上でテクスチャ情報が欠落していると、照合時において、特にその欠落している部分の方から撮影した顔画像が照合用の画像として得られたときに、その展開顔画像に対応する３次元顔モデルを用いた照合処理の精度が低下する。そこで顔画像合成装置１は、登録対象者について作成された複数の展開顔画像を用いて、テクスチャ情報の欠落のない合成展開顔画像を作成する。

合成元画像選定部５５は、顔画像選定部の一例であり、登録対象者の複数の展開顔画像の中から、合成展開顔画像を作成するために利用される複数の展開顔画像の組み合わせを決定する。
合成展開顔画像に写った登録対象者の顔が不自然にならないようにするためには、合成に用いられる二つの展開顔画像からマッピングされる領域の境界上に、登録対象者の表情に応じて形状の変わる、目、口、眉などの個人の特徴を豊富に含む特徴的な部位が存在せず、かつ、その境界付近において二つの展開顔画像の対応する画素間の輝度差ができるだけ小さいことが好ましい。
例えば、登録対象者が所定の領域、例えば、建物内の廊下を歩行している様子を撮像部２で撮影することにより入力顔画像が得られる場合、登録対象者の位置、顔の向き、または照明の設置位置などにより顔に対する照明条件は変化する。その結果、複数の入力顔画像のそれぞれに写っている登録対象者の顔の輝度は、入力顔画像ごとに異なる可能性がある。特に、顔画像合成装置１が複数の撮像部２を有し、それぞれの撮像部２によって撮影された画像を一人の登録対象者の入力顔画像として用いる場合に、そのような入力顔画像ごとの顔の輝度の違いが生じる傾向が強くなる。そして入力顔画像ごとの顔の輝度の違いがあまりに大きいと、そのような入力顔画像から作成された展開顔画像を用いた合成展開顔画像では、異なる展開顔画像がマッピングされた二つの領域の境界がエッジ状になってしまう。さらに、合成に利用される展開顔画像の枚数が増えると、それだけ異なる展開顔画像からマッピングされた領域の境界の数も増えるので、顔全体の輝度を合わせることが困難になる。

さらに、合成展開顔画像の作成に用いられる複数の展開顔画像の撮影時刻に時間差が有れば、その時間差のうちに登録対象者の表情が変わることもある。
そのため、本実施形態では、合成元画像選定部５５は、合成展開顔画像の作成に用いられる展開顔画像の数はできるだけ少なくする。さらに合成元画像選定部５５は、合成に用いられる一方の展開顔画像からマッピングされる領域と他方の展開顔画像からマッピングされる領域の境界上に、登録対象者の表情に応じて形状の変わる、目、口、眉などの個人の特徴を豊富に含む特徴的な部位が存在しないようにその境界を設定可能で、かつ、その境界付近の合成する展開顔画像に写っている顔の輝度差ができるだけ小さくなるように、展開顔画像を選択する。なお、以下では、この境界を合成境界と呼ぶ。

登録対象者の顔の向きが、撮像部２に対して正面を向いている状態から左へ45°回転した展開顔画像と、右へ45°回転した展開顔画像の２枚あれば、顔画像合成装置１は、殆どの場合、その登録対象者についてテクスチャ欠落領域の無い合成展開顔画像を作成できる。そこで本実施形態では、合成元画像選定部５５は、記憶部４に記憶されている登録対象者の複数の展開顔画像の中から、２枚の展開顔画像を用いる組み合わせを全て求める。例えば、記憶部４にN枚の展開顔画像が記憶されている場合、この組み合わせの総数は、(_NC₂)通りとなる。ただしNは、2以上の整数である。なお、合成元画像選定部５５は、２枚の展開顔画像を用いてテクスチャ欠落領域の無い合成展開顔画像を作成できない場合には、3枚以上の展開顔画像を選択してもよい。

次に、合成元画像選定部５５は、求めた組み合わせのそれぞれについて、その組み合わせに含まれる展開顔画像のみを用いて、テクスチャ欠落領域のない合成展開顔画像を作成できるか否かを判定する。例えば、合成元画像選定部５５は、その組み合わせに含まれた展開顔画像の顔が写っている領域全てを、何のテクスチャ情報も持たない一つのマッピング用展開顔画像上にマッピングした場合において、顔に相当する画素に囲まれた欠落部分が存在せず、かつ、展開顔画像作成時における３次元顔モデルの回転角が所定の角度範囲内に相当する合成展開顔画像上の領域に欠落部分が存在しない場合、テクスチャ情報の欠落部分が存在しないと判定する。なお、所定の角度範囲は、顔が撮像部２に対して正面を向いた状態を回転角0°としたときに、±80°とすることができる。
逆に、合成展開顔画像上に、顔に相当する画素に囲まれた欠落部分が存在する場合、または上記の３次元顔モデルの回転角が所定の角度範囲内に相当する合成展開顔画像上の領域に欠落部分が存在する場合、合成元画像選定部５５はテクスチャ情報の欠落部分が存在すると判定する。

図４（ａ）は、展開顔画像の一例を示す図であり、図４（ｂ）は、図４（ａ）に示した展開顔画像に写っている登録対象者の表情と異なる表情の展開顔画像の他の一例を示す図である。図４（ａ）において、展開顔画像４００の顔の右側部分４０１及び鼻の右側部分４０２はテクスチャ欠落領域となっている。また図４（ｂ）では、展開顔画像４１０の顔の左側部分４１１がテクスチャ欠落領域となっている。
ここで、展開顔画像４１０は、展開顔画像４００のテクスチャ欠落領域４０１、４０２に対応する部分のテクスチャ情報を含んでいる。そのため、顔画像合成装置１は、この二つ展開顔画像４００及び４１０を合成することにより、テクスチャ欠落領域のない合成展開顔画像を作成できる。
しかし、図４（ａ）及び（ｂ）から明らかなように、展開顔画像４００に写っている登録対象者の表情は、展開顔画像４１０に写っている登録対象者の表情と異なっている。具体的には、展開顔画像４００では、登録対象者は口を閉じているのに対して、展開顔画像４１０では、登録対象者は口を開いている。そのため、口の上に合成境界が設定されると、合成展開顔画像上では、顔の右半分と左半分とで口の開き方が異なる、不自然な表情の顔の像が作成されることになる。

そこで合成元画像選定部５５は、テクスチャ欠落領域の無い合成展開顔画像が作成可能と判定した展開顔画像の組み合わせについて、顔の特徴的な部位を避けた合成境界を設定可能か否か判定する。
そのために、合成元画像選定部５５は、記憶部４から、登録対象者の展開顔画像の作成に利用された３次元顔形状データに対応する境界線候補情報を読み込む。

図５（ａ）は、３次元顔形状データを展開顔画像の作成手順に従って２次元に展開した展開顔画像５００上に設定された境界線候補情報の一例を示す図である。境界線候補情報には、展開顔画像上に設定された複数のノード５０１と、ノード５０１同士を接続するリンク５０２とを含む。そして、合成境界となり得る境界線候補は、展開顔画像５００の顔に相当する領域である顔領域５１０の上端に設定されたノードの何れかから顔領域５１０の下端に設定されたノードの何れかまで、１以上のノードを経由するリンク５０２を結んで設定される。例えば、図５（ａ）では、一つの境界線候補５０３が示されている。この境界線候補５０３は、ノード５０１ａからノード５０１ｉまでの９個のノードと、それらノードを経由する８本のリンク５０２ａ〜５０２ｈにより構成される。このような境界線候補は複数設定される。そして境界線候補情報には、境界線候補ごとに、その境界線候補上の各ノードの個数及び座標が含まれる。

各ノード及び各リンクは、それぞれ、表情に応じて形状の変わる顔の特徴的な部位と重ならないように設定される。例えば、図５（ａ）では、各ノード５０１及び各リンク５０２は、３次元顔形状データについて設定された目、鼻、口、眉を含む領域（以下では、これらの領域を特徴領域と呼ぶ）と重ならないように設定されている。そのため、各境界線候補も、特徴領域と重ならないように設定される。特に、本実施形態では、境界線候補から何れかの特徴領域までの距離が、後述する合成重み算出部５６により算出される、後からマッピングされる展開顔画像に対する重み係数が略0となる合成境界からの距離よりも長くなるように、各ノード及び各リンクは設定される。
これら複数のノードは、展開顔画像上で格子状に設定されてもよく、あるいはハニカム状に設定されてもよい。さらに、これら複数のノードは、略等間隔に設定されてもよく、あるいは場所によって異なる密度で設定されてもよい。例えば、ノードは、特徴領域の周囲では、その他の領域よりも密に設定されてもよい。

また、ノードが多数設定されている場合、設定可能な境界線候補の数は非常に多い。また多数のノードを経由する境界線候補は、境界線の形状が複雑になり、境界線自体も長くなる。そこで、各境界線候補は、例えば、経由するノードの数が10個以下となるように設定されることが好ましい。さらに、各境界線候補に含まれるリンクは、直線に限らず、例えば、複数のノードを滑らかな曲線で接続する、例えばスプライン関数によって表される曲線であってもよい。
または、境界線の長さが不必要に長くならないように、各境界線候補に含まれるリンクの長さの合計が顔領域の高さの1.5倍以下となるように、各境界線候補は設定されることが好ましい。

合成元画像選定部５５は、合成境界を決定するために、選択された組み合わせに含まれる、二つの展開顔画像の何れにおいても顔のテクスチャ情報が含まれている、すなわち、二つの展開顔画像の何れにおいてもテクスチャ欠落領域でなく、かつ、顔に相当する領域に含まれている領域を共通領域として抽出する。そして合成元画像選定部５５は、境界線候補情報に含まれる複数の境界線候補のうち、共通領域内に完全に含まれる境界線候補を抽出する。なお、境界線候補上に位置する各ノードの座標は既知であるため、境界線候補が共通領域に含まれるか否かは、点及び線が所定の領域内に含まれるか否かを調べる公知の方法により判定できる。

合成元画像選定部５５は、抽出された境界線候補ごとに、その境界線候補上の二つの展開顔画像の対応する画素の値の差の平均値の総和を次式に従って算出し、その値を輝度相違度Pとする。

ここでnは、着目する組み合わせに含まれる展開顔画像の総数を表す。またAvg_i,i+1は、着目する組み合わせにおけるi番目の展開顔画像の境界線候補上の画素の値と、(i+1)番目の展開顔画像の対応する画素の値との差の平均値を表す。
なお、合成元画像選定部５５は、平均値Avg_i,i+1の総和の代わりに、i番目の展開顔画像の境界線候補上の画素の値と、(i+1)番目の展開顔画像の対応する画素の値との差の中央値の総和を輝度相違度Pとしてもよい。

合成元画像選定部５５は、選択された展開顔画像の組み合わせのそれぞれについて設定可能な全ての境界線候補の組み合わせについて輝度相違度Pを算出し、その輝度相違度Pが最小となる展開顔画像の組み合わせ及び境界線候補を求める。そして合成元画像選定部５５は、輝度相違度Pが最小となった組み合わせに含まれる展開顔画像を、合成展開顔画像の作成に利用するものとして選択し、その輝度相違度Pの最小値に対応する境界線候補を合成境界とする。
あるいは、合成元画像選定部５５は、選択された展開顔画像の組み合わせの中から、一つずつ輝度相違度Pを算出し、その輝度相違度Pが最初に所定の閾値以下となったときの組み合わせに含まれる展開顔画像を、合成展開顔画像の作成に利用するものとして選択し、所定の閾値以下となった輝度相違度Pに対応する境界線候補を合成境界としてもよい。なお、所定の閾値は、例えば、15に設定される。

図５（ｂ）は、図４（ａ）及び（ｂ）に示された二つの展開顔画像についての共通領域と設定された合成境界との関係を示す図である。図５（ｂ）に示された展開顔画像５００において、テクスチャ欠落境界５０１よりも顔の右側部分５１１及びテクスチャ欠落境界５０２で囲まれた鼻の右側部分５１２は、図４（ａ）に示された展開顔画像４００におけるテクスチャ欠落領域になっている。また、展開顔画像５００において、テクスチャ欠落境界５０３よりも顔の左側部分５１３は、図４（ｂ）に示された展開顔画像４１０におけるテクスチャ欠落領域になっている。そのため、展開顔画像５００の中央部分がこの二つの展開顔画像４００、４１０に対する共通領域５１４となる。そのため、合成境界５２０は、共通領域５１４内に含まれるように、顔の中央部分に設定される。

さらに、合成元画像選定部５５は、選択された展開顔画像について合成する順序を設定する。その際、合成元画像選定部５５は、マッピング用展開顔画像に対して最初にマッピングされる展開顔画像について、合成境界とテクスチャ欠落境界に挟まれた領域を非合成領域として設定する。この非合成領域は、テクスチャ情報が欠落していないものの、合成展開顔画像の作成に利用されない領域である。非合成領域に関しては、次にマッピングされる展開顔画像の対応する領域のテクスチャ情報が合成展開顔画像の作成に利用される。また、合成元画像選定部５５は、顔のテクスチャ情報を持つ領域から非合成領域を除いた領域を、合成展開顔画像の作成に利用する合成領域とする。
また、合成元画像選定部５５は、後からマッピングされる展開顔画像において顔のテクスチャ情報を持つ領域を合成領域として設定する。なお、マッピング用展開顔画像は、登録対象者の入力顔画像に基づいて選択された３次元顔形状データを展開することにより得られる、テクスチャ情報を持たない画像である。

例えば、図４（ａ）に示された展開顔画像４００が先にマッピング用展開顔画像にマッピングされ、その後に図４（ｂ）に示された展開顔画像４１０がマッピング用展開顔画像にマッピングされる場合、図５（ｂ）においてテクスチャ欠落境界５０１と合成境界５２０に挟まれた領域が展開顔画像４００についての非合成領域５３０となる。一方、合成境界５２０よりも顔の左側部分が、展開顔画像４００についての合成領域となる。
また、展開顔画像４１０に関しては、図５（ｂ）に示されたテクスチャ欠落境界５０３よりも顔の右側部分が合成領域となる。

合成元画像選定部５５は、合成展開顔画像の作成に利用されることを示すフラグ及び合成順序を選択された展開顔画像のそれぞれと関連付けて記憶部４に記憶する。また合成元画像選定部５５は、設定された合成境界上の各ノードの座標及び各ノード間を結ぶリンクを表す式を記憶部４に記憶する。

画像処理部５は、合成展開顔画像においてその合成境界がエッジとならず、合成境界近傍で画素の値が滑らかに変化するように、合成元画像選定部５５により選択された展開顔画像を合成する。そのために、画像処理部５は、合成境界近傍で、且つマッピング用展開顔画像上に先にマッピングされた展開顔画像の合成領域では、その先にマッピングされた展開顔画像の画素の値と対応する次にマッピングされる展開顔画像の画素の値とを所定の重み係数を用いて加重平均する。
なお、以下では、先にマッピングされた展開顔画像を基準展開顔画像と呼び、後からマッピングされる展開顔画像を補完用展開顔画像と呼ぶ。

合成重み算出部５６は、基準展開顔画像の各画素の値に乗じる重み係数B(dist)を次式に従って決定する。

ここでdistは、合成境界から、重み係数B(dist)が用いられる画素までの距離、例えば、合成境界からの画素数を表す。またWは、合成比率の変化率を調整するパラメータであり、１よりも大きい値に設定される。パラメータWを小さい値に設定するほど、重み係数B(dist)は、合成境界からの距離の変化に応じて緩やかに変化する。例えば、パラメータWは1.05に設定される。なお、合成境界からの距離distに位置する、補完用展開顔画像の画素値に乗じる重み係数は、1からB(dist)を引いた値となる。

図６（ａ）は、基準展開顔画像の一例を示す図であり、図６（ｂ）は、図６（ａ）に示された基準展開顔画像６００の画素６２０と合成境界６１０間の距離と、画素６２０に適用される重み係数との関係を示すグラフである。
図６（ａ）において、基準展開顔画像６００において、顔の右側部分及び鼻に相当する領域６０１は、テクスチャ欠落領域と非合成領域とを組み合わせた領域となっている。そのため、この領域６０１には、補完用展開顔画像の合成領域のテクスチャ情報がマッピングされる。また、基準展開顔画像６００における合成領域６０２についても、合成境界６１０から所定距離内の画素については、合成処理において、基準展開顔画像の画素の値と補完用展開顔画像の対応する画素の値とが加重平均される。

図６（ｂ）において、横軸は、合成境界６１０から画素６２０までの距離を表し、縦軸は、（２）式によって求められる重み係数B(dist)の値を表す。またグラフ６３１及び６３２は、それぞれ、パラメータWをw₁、w₂に設定したときの重み係数B(dist)の値を表すグラフである。ただし、w₁<w₂である。
図６（ｂ）に示されるように、画素６２０が合成境界上に位置するとき（すなわち、dist=0）、重み係数B(dist)は０となり、合成境界から画素６２０までの距離が大きくなるほど、重み係数B(dist)は１に近づく。
すなわち、合成処理において、合成境界の近くでは基準展開顔画像の情報は重視されず、補完用展開顔画像の情報が重視される。このように重み係数を設定する理由は、合成境界近傍では、基準展開顔画像に写っている登録対象者の顔の部分よりも補完用展開顔画像に写っている登録対象者の顔の部分の方が撮像部２に対して正面方向を向いており、従って、補完用展開顔画像の方がテクスチャ情報の信頼性が高いことによる。
一方、合成境界から離れるにつれ、逆に基準展開顔画像に写っている登録対象者の顔の部分の方が、補完用展開顔画像に写っている、対応する登録対象者の顔の部分よりも撮像部２に対して正面方向を向いており、テクスチャ情報の方が信頼性が高くなる。そのため、重み係数B(dist)は、合成境界からの距離が離れるほど大きな値となる。

合成重み算出部５６は、基準展開顔画像の画素ごとに、（２）式に従って重み係数B(dist)を算出する。なお、基準展開顔画像の合成境界（すなわち、dist<0となる画素）では、合成重み算出部５６は、B(dist)=0とする。また、（２）式に従って算出されたB(dist)の値が、1に近い所定値（例えば、0.99）以上となったとき、合成重み算出部５６は、B(dist)=1としてもよい。そして合成重み算出部５６は、基準展開顔画像の画素の水平座標及び垂直座標をそれぞれ行及び列の番号とする重み参照テーブルの各欄に、その水平座標及び垂直座標で規定される画素の重み係数B(dist)を格納する。そして合成重み算出部５６は、重み参照テーブルを記憶部４に記憶する。

顔画像合成部５７は、記憶部４に記憶された重み参照テーブルを参照して、選定された複数の展開顔画像を合成することにより、合成展開顔画像を作成する。先ず、顔画像合成部５７は、合成元画像選定部５５により選択された複数の展開顔画像のうち、１番目の順序の展開顔画像を基準展開顔画像とする。そして顔画像合成部５７は、２番目の順序の展開顔画像を補完用展開顔画像とする。
なお、本実施形態では、画像処理部５は、登録対象者の全ての入力顔画像を、一つの３次元顔形状データにマッピングして３次元顔モデル及び展開顔画像を生成している。そのため全ての展開顔画像は既に位置合わせされている。そこで顔画像合成部５７は、合成展開顔画像の着目する画素の値を、基準展開顔画像と補完用展開顔画像において着目する画素と同じ位置にある画素を次式に従って加重平均することにより算出できる。

なお、I_i ^Cは、合成展開顔画像の画素iの画素値であり、I_i ^mainは、基準展開顔画像の画素iの画素値であり、I_i ^subは、後からマッピングする補完用展開顔画像の画素iの画素値である。すなわち、顔画像合成部５７は、基準展開顔画像のテクスチャ欠落領域及び非合成領域に補完用展開顔画像の合成領域内に含まれる対応する部分のテクスチャ情報をマッピングし、基準展開顔画像の合成領域では、基準展開顔画像の画素値と補完用展開顔画像の対応する画素値とを、重み係数B(dist)に応じて加重平均する。
同様に、顔画像合成部５７は、３枚以上の展開顔画像を合成する場合、すでに複数の展開顔画像がマッピングされた展開顔画像をあらためて基準展開顔画像とし、次にマッピングする展開顔画像を補完用展開顔画像として、テクスチャ欠落領域がなくなるまで、すなわち、選択された全ての展開顔画像がマッピングされるまで、上記の処理を繰り返す。
顔画像合成部５７は、作成した合成展開顔画像を登録対象者の識別コードと関連付けて記憶部４に記憶するとともに、その合成展開顔画像を展開顔画像マッピング部５８へ渡す。

展開顔画像マッピング部５８は、合成展開顔画像を３次元顔形状データにマッピングすることにより、合成３次元顔モデルを作成する。なお、合成展開顔画像がマッピングされる３次元顔形状データは、各展開顔画像の元となった３次元顔モデルの作成に利用された３次元顔形状データとすることが好ましい。この３次元顔形状データは、各展開顔画像に写っている顔特徴点と良好に一致する３Ｄ顔特徴点を有しているので、その３Ｄ顔特徴点は、複数の展開顔画像から合成された合成展開顔画像に写っている顔特徴点とも良好に一致するためである。
また、展開顔画像マッピング部５８は、合成展開顔画像の作成に利用された展開顔画像に関連付けて記憶されている展開情報を参照することにより、合成展開顔画像の各画素が３次元顔形状データ上で対応する位置を特定し、その特定された位置へマッピングする。
画像処理部５は、展開顔画像マッピング部５８により作成された合成３次元顔モデルを登録対象者の識別コードと関連付けて記憶部４に記憶する。あるいは、画像処理部５は、その合成３次元顔モデルを登録対象者の識別コードとともに、図示しない通信ネットワークを介して、３次元顔モデルを用いて認証処理を行う顔認証装置など他の装置へ出力してもよい。

図７及び図８は、一つの実施形態による顔画像合成装置１における、顔画像合成処理の動作フローチャートである。なお、この顔画像合成処理は、画像処理部５によって制御される。
先ず、画像処理部５は、撮像部２からインターフェース部３を介して、登録対象者の顔が写っている入力顔画像を取得する（ステップＳ１０１）。そして画像処理部５は、取得した入力顔画像を登録対象者の識別コードに関連付けて記憶部４に記憶するとともに、画像処理部５の２Ｄ顔特徴点抽出部５１へ渡す。

２Ｄ顔特徴点抽出部５１は、入力顔画像から、３次元顔形状データに関連付けられている３Ｄ顔特徴点と同種類の顔特徴点を抽出する（ステップＳ１０２）。そして２Ｄ顔特徴点抽出部５１は、抽出した顔特徴点の種別と入力顔画像上の位置情報を、画像処理部５の位置合わせ情報算出部５２へ出力する。
位置合わせ情報算出部５２は、入力顔画像について２Ｄ顔特徴点抽出部５１により抽出された各顔特徴点と、３次元顔形状データに関連する３Ｄ顔特徴点とを用いて、入力顔画像と記憶部４に記憶されている各３次元顔形状データの位置合わせを行う（ステップＳ１０３）。そして位置合わせ情報算出部５２は、その位置合わせの結果として得られる、各３次元顔形状データに対する位置ずれ量の最小値及びその最小値に対応する３次元顔形状データの回転、拡大／縮小などの量を含む位置合わせ情報を算出する。

次に、画像処理部５は、登録利用者の入力顔画像を所定枚数取得したか否か判定する（ステップＳ１０４）。なお、所定枚数は、少なくとも２枚であり、例えば、５枚〜１０枚の何れかに設定される。取得された入力顔画像の枚数が所定枚数に達していなければ、画像処理部５は、ステップＳ１０１〜Ｓ１０４の処理を繰り返す。
一方、取得された入力顔画像の枚数が所定枚数に達していれば、位置合わせ情報算出部５２は、記憶部４に記憶されている各３次元顔形状データのうち、最適な３次元顔形状データを選択する（ステップＳ１０５）。例えば、位置合わせ情報算出部５２は、取得された登録対象者の入力顔画像のそれぞれについて求められた位置ずれ量の最小値の総和が最も小さくなる３次元顔形状データを、最適な３次元顔形状データとする。
位置合わせ情報算出部５２は、選択された３次元顔形状データとともに、その３次元顔形状データに対する各入力顔画像の位置合わせ情報を、画像処理部５の入力顔画像マッピング部５３及び合成元画像選定部５５へ出力する。

次に、画像処理部５は、入力顔画像のうち、対応する３次元顔モデルが作成されていない入力顔画像を着目する顔画像に設定する（ステップＳ１０６）。そして画像処理部５は、着目顔画像及び選択された３次元顔形状データを入力顔画像マッピング部５３へ渡す。
入力顔画像マッピング部５３は、着目顔画像と選択された３次元顔形状データとを、着目顔画像について求められた位置合わせ情報を参照して位置合わせした後、着目顔画像の各画素の値を位置合わせされた３次元顔形状データ上にマッピングすることにより、着目顔画像に対応する３次元顔モデルを作成する（ステップＳ１０７）。入力顔画像マッピング部５３は、作成した３次元顔モデルを画像処理部５の展開顔画像生成部５４へ渡す。
展開顔画像生成部５４は、３次元顔モデルから展開顔画像を作成する（ステップＳ１０８）。そして展開顔画像生成部５４は、その展開顔画像を、対応する３次元顔モデル及び入力顔画像に関連付けて記憶部４に記憶する。
画像処理部５は、全ての入力顔画像について３次元顔モデル及び展開顔画像が作成されたか否か判定する（ステップＳ１０９）。何れかの入力顔画像について３次元顔モデル及び展開顔画像が作成されていない場合、画像処理部５は、ステップＳ１０６〜Ｓ１０９の処理を繰り返す。

一方、全ての入力顔画像について３次元顔モデル及び展開顔画像が作成された場合、図８に示されるように、画像処理部５の合成元画像選定部５５は、登録対象者についての全ての展開顔画像の中から、合成展開顔画像の作成に利用する展開顔画像の組み合わせを全て求める（ステップＳ１１０）。次に合成元画像選定部５５は、求めた組み合わせのうち、未着目の組み合わせの中から着目する組み合わせを設定する（ステップＳ１１１）。そして合成元画像選定部５５は、着目する展開顔画像の組み合わせによってテクスチャ欠落領域のない合成展開顔画像が作成できるか否か判定する（ステップＳ１１２）。テクスチャ欠落領域のない合成展開顔画像が作成できる場合、合成元画像選定部５５は、その組み合わせに含まれる二つの展開顔画像を選択し、その二つの展開顔画像の何れにおいても顔のテクスチャ情報が欠落していない共通領域を抽出する（ステップＳ１１３）。

次に、合成元画像選定部５５は、記憶部４に記憶されている境界線候補情報に含まれる複数の境界線候補のうち、共通領域に含まれる境界線候補を抽出する（ステップＳ１１４）。そして合成元画像選定部５５は、抽出した境界線候補のそれぞれについて輝度相違度Pを算出する（ステップＳ１１５）。
ステップＳ１１５の後、あるいはステップＳ１１２にてテクスチャ欠落領域のない合成展開顔画像が作成できないと判定された場合、合成元画像選定部５５は、未着目の組み合わせが存在するか否か判定する（ステップＳ１１６）。未着目の組み合わせが存在する場合、合成元画像選定部５５は、ステップＳ１１２〜Ｓ１１６の処理を繰り返す。

一方、未着目の組み合わせが存在しない場合、合成元画像選定部５５は、輝度相違度Pが算出された組み合わせのうち、その輝度相違度Pが最小となる組み合わせに示された展開顔画像を、合成展開顔画像の作成に利用する展開顔画像として選択する。さらに合成元画像選定部５５は、輝度相違度Pが最小となった境界線候補を合成境界とする（ステップＳ１１７）。
合成元画像選定部５５は、合成展開顔画像の作成に利用されることを示すフラグ及び合成順序を選択された展開顔画像のそれぞれと関連付けて記憶部４に記憶する。また合成元画像選定部５５は、設定された合成境界上の各ノードの座標及び各ノード間を結ぶリンクを表す式を記憶部４に記憶する。

画像処理部５の顔画像合成部５７は、１番目の合成順序の展開顔画像を基準展開顔画像とし、その合成領域を、顔のテクスチャ情報が何もマッピングされていないマッピング用展開顔画像にマッピングする（ステップＳ１１８）。なお、このマッピング用展開顔画像は、ステップＳ１０５にて選択された３次元顔形状データを２次元に展開することにより作成されたものとすることができる。マッピング用展開顔画像と合成展開顔画像作成用に選択された展開顔画像はすでに位置合わせされているので、顔画像合成部５７は、基準展開顔画像の合成領域内の各画素の輝度値を、単にマッピング用展開顔画像の対応する画素の輝度値とすればよい。

次に、画像処理部５の合成重み算出部５６は、合成に利用する重み係数を（２）式に従って算出する（ステップＳ１１９）。その後、顔画像合成部５７は、マッピング用展開顔画像にマッピングされていない展開顔画像の中から、最も早い順序の展開顔画像を補完用展開顔画像として選択する（ステップＳ１２０）。そして顔画像合成部５７は、基準展開顔画像と選択した補完用展開顔画像の対応する画素の値を、算出された重み係数を用いて（３）式に従って加重平均することにより、基準展開顔画像と選択した補完用展開顔画像を合成する（ステップＳ１２１）。その際、基準展開顔画像のテクスチャ欠落領域及び非合成領域については、補完用展開顔画像の合成領域内の対応する部分が直接マッピングされる。

画像処理部５は、選択された展開顔画像のうち、マッピング用展開顔画像にマッピングされていない展開顔画像が存在するか否か判定する（ステップＳ１２２）。マッピング用展開顔画像にマッピングされていない展開顔画像が存在すれば、画像処理部５は、ステップＳ１１８〜Ｓ１２２の処理を繰り返す。この場合、ステップＳ１１９では、重み係数は、合成展開顔画像に基づいて再算出される。
一方、ステップＳ１２２にて、マッピング用展開顔画像にマッピングされていない展開顔画像が存在しなければ、合成展開顔画像が完成されている。そこで画像処理部５は、その合成展開顔画像を、登録対象者の識別コードと関連付けて記憶部４に記憶する。
また画像処理部５の展開顔画像マッピング部５８は、合成展開顔画像を、基準展開顔画像の作成に利用された３次元顔形状データにマッピングすることにより、合成３次元顔モデルを作成する（ステップＳ１２３）。そして展開顔画像マッピング部５８は、作成した合成３次元顔モデルを記憶部４に記憶し、あるいは、通信ネットワークを介して他の機器へ出力する。
その後、画像処理部５は、顔画像合成処理を終了する。
なお、記憶部４が３次元顔形状データを一つしか記憶していなければ、ステップＳ１０５の処理は省略されてもよい。

以上説明してきたように、この顔画像合成装置は、オクルージョンなどにより、入力顔画像上で登録対象者の顔の一部のテクスチャ情報が欠落している場合でも、他の入力顔画像に写っている登録対象者の顔の情報を利用して、テクスチャ情報の欠落のない合成展開顔画像及び対応する３次元顔モデルを作成できる。またこの顔画像合成装置は、顔の個人の特徴を豊富に含み、特に表情によって形状の変わる特徴的な部位と重ならないように合成境界を設定するので、写っている登録対象者の表情が異なる複数の入力顔画像から作成された展開顔画像を用いても、不自然さの無い、照合に適した合成展開顔画像及び対応する３次元顔モデルを作成できる。

またこの顔画像合成装置は、基準となる展開顔画像の合成境界近傍で、その基準となる展開顔画像と補完用の展開顔画像の同じ位置にある画素の値を、合成境界からの距離に応じて基準となる展開顔画像の比重が大きくなる重み係数を用いて加重平均することで、それら二つの展開顔画像を合成する。このように、この顔画像合成装置は、合成された展開顔画像及び３次元顔モデルにおける各画素の値を、その画素に対応する、基準となる展開顔画像と補完用の展開顔画像の画素の値だけを用いて求めているので、テクスチャ情報を劣化させることがない。さらに、この顔画像合成装置は、合成された展開顔画像及び３次元顔モデルにおいて、合成境界近傍での画素値の変化が滑らかとなるので、合成境界が個人性を表す顔の特徴と誤認識される可能性を軽減できる。

なお、本発明は上記の実施形態に限定されるものではない。例えば、個人の特徴を豊富に含む特徴部位であっても、鼻のように、表情に応じた形状変化の小さい部位と重なるように、幾つかの境界線候補が設定されていてもよい。この場合、合成元画像選定部は、そのような特徴部位と重ならない境界線候補に基づいて合成境界を設定できるか否か判定し、合成境界を設定できない場合に限り、そのような形状変化の小さい特徴部位と重なる境界線候補を合成境界として設定してもよい。
さらに、特徴部位のうち、目、口、眉といった、表情に応じて大きく形状変化する部位と重なるように境界線候補の幾つかが設定されていてもよい。この場合には、合成元画像選定部は、特徴部位と重ならない境界線候補、及び形状変化の小さい特徴部位と重なる境界線候補の何れも合成境界として設定できない場合に限り、表情に応じて大きく形状変化する特徴部位と重なる境界線候補を合成境界として設定してもよい。

また、合成元画像選定部は、合成展開顔画像を作成するために、できるだけ特定の表情を持つ複数の展開顔画像を選択してもよい。特定の表情は、照合時において登録対象者が取る可能性が高い表情、例えば、いわゆる無表情とすることができる。
無表情に近いか否かを判定するために、例えば、無表情に対応する顔特徴点の位置を予め記憶部に記憶させておく。そして合成元画像選定部は、展開顔画像に対応する入力顔画像から抽出された顔特徴点と、無表情に対応する顔特徴点との位置ずれ量の総和を無表情度として算出し、その無表情度が所定の閾値以下である場合に、その展開顔画像に写っている登録対象者は無表情であると判定してもよい。
合成元画像選定部は、無表情であると判定された展開顔画像の中から、上記のようにテクスチャ欠落領域の無い合成展開顔画像を作成可能な展開顔画像の組み合わせを決定する。そして合成元画像選定部は、さらにその組み合わせに対応する共通領域に含まれる境界線候補の中から合成境界を設定する。

あるいはまた、合成元画像選定部は、共通領域が十分に広い場合には、その共通領域に含まれる境界線候補のうち、顔の中心（例えば、正中線）からの各ノードの距離の平均値が大きい境界線候補ほど、優先的に合成境界に設定してもよい。これにより、合成元画像選定部は、特徴部位からできるだけ離れた位置に合成境界を設定できるので、合成展開顔画像上の登録対象者の表情が不自然になることをより確実に避けることができる。
さらに、合成元画像選定部は、輝度相違度、顔の中心からの距離、及び無表情度をそれぞれメンバシップ関数の入力とすることにより、ファジイ推論によって合成展開顔画像の作成に利用される展開顔画像及び合成境界を決定してもよい。

また、撮影時における撮像部と登録対象者間の距離に応じて、入力顔画像上の顔が写っている領域の大きさは異なる。そして顔が写っている領域の大きさがあまりに異なる入力顔画像に対応する展開顔画像の組み合わせが合成展開顔画像の作成に用いられると、それら入力顔画像を３次元顔形状データにマッピングする際の拡大／縮小率が大きく異なるので、展開顔画像ごとに解像度が異なり、作成された合成展開顔画像は不自然なものとなる可能性がある。
そこで合成元画像選定部は、展開顔画像に対応する入力顔画像に写っている顔の大きさが所定倍率以上あるいは所定縮小率以下離れている展開顔画像の組み合わせを、合成展開顔画像の作成に利用しないようにしてもよい。この場合、所定倍率は、例えば、2に設定される。また所定縮小率は、例えば0.5に設定される。なお、合成元画像選定部は、二つの展開顔画像に写っている顔の倍率を、例えば、入力顔画像を３次元顔形状データにマッピングする際の拡大／縮小率の比として求めることができる。

また、合成境界近傍において、先にマッピング用展開顔画像にマッピングされた展開顔画像（すなわち、基準展開顔画像）の画素の値と、後からマッピング用展開顔画像にマッピングされる展開顔画像（すなわち、補完用展開顔画像）の画素の値とが大きく異なることがある。例えば、一方の展開顔画像に対応する入力顔画像が撮影されたときの照明が明るく、他方の展開顔画像に対応する入力顔画像が撮影されたときの照明が暗ければ、一方の展開顔画像については顔に対応する画素が全体的に明るくなるのに対し、他方の展開顔画像では顔に対応する画素が全体的に暗くなる。
このような場合、合成展開顔画像では、合成境界を挟んで画素値が大きく異なってしまうおそれがある。
そこで、合成重み算出部は、合成境界近傍の所定範囲での基準展開顔画像の画素の平均値と、補完用展開顔画像の画素の平均値との差の絶対値Δdelが大きいほど、補完用展開顔画像の画素値が合成展開顔画像に反映されるように、（２）式のパラメータWを調節してもよい。なお、Δdelを求める所定の範囲は、例えば、合成境界に隣接する画素、あるいは、顔画像合成部の処理によって基準展開顔画像と補完用展開顔画像の両方の画素値が反映される範囲、例えば、パラメータWをWmaxに設定したときに重み係数B(dist)が0.5以下となる範囲とすることができる。

また合成重み算出部は、基準展開顔画像に対する重み係数B(dist)を、合成境界からの距離distに応じて単調増加する他の関数、例えば、シグモイド関数または線形関数によって求めてもよい。
さらに、顔画像合成部は、基準展開顔画像の非合成領域においても、基準展開顔画像の非合成領域に含まれる画素の値と補完用展開顔画像の対応する画素の値とを加重平均することにより、合成展開顔画像を作成してもよい。この場合、合成重み算出部は、合成境界上、すなわち、dist=0のときに、基準展開顔画像に対する重み係数B(dist)と補完用展開顔画像に対する重み係数(1-B(dist))が等しくなり、合成境界から非合成領域内の画素への距離が大きくなるほど重み係数(1-B(dist))が大きくなり、逆に合成境界から合成領域内の画素への距離が大きくなるほど重み係数B(dist)が大きくなるように、それら重み係数を設定する。

さらに、顔画像合成部は、Δdelを求める所定範囲に含まれる、補完用展開顔画像の平均画素値Pavsubに対する基準展開顔画像の平均画素値Pavmainの比(Pavmain/Pavsub)を、補完用展開顔画像の各画素値に乗じた後、合成処理を行ってもよい。これにより、基準展開顔画像の明るさと補完用展開顔画像の明るさが略一致するので、顔画像合成装置は、合成展開顔画像において合成境界を挟んで画素値が大きく変化することを防止できる。そのため、顔画像合成装置は、合成展開顔画像における不自然さをなくすことができる。また、Δdelが大きくなる場合には、基準展開顔画像と補完用展開顔画像の何れか一方のみを上記のように画素値を補正すると、補正後の展開顔画像に表された顔の情報が補正前の展開顔画像に表された顔の情報と異なる可能性がある。そこで、Δdelが大きく異なる場合には、顔画像合成部は、基準展開顔画像と補完用展開顔画像の両方を補正する。例えば、(Pavmain/Pavsub)が2以上、あるいは0.5以下となる場合、顔画像合成部は、(Pavmain/Pavsub)の平方根を補完用展開顔画像の各画素値に乗じ、一方、基準展開顔画像の各画素値を(Pavmain/Pavsub)の平方根で割る。

また、撮像部が登録対象者を撮影するときの照明条件が一定である場合のように、複数の入力顔画像上での登録対象者の顔の輝度が一定である場合、顔画像合成部は、基準展開顔画像の合成領域については、そのまま合成展開顔画像の一部とし、基準展開顔画像の非合成領域及びテクスチャ欠落領域に、補完用展開顔画像の合成領域の対応する部分を単にマッピングするだけでもよい。この場合、合成重み算出部は省略される。

また、画像処理部は、撮像部によって撮影された画像を入力顔画像とすることができるか否かを判定するために、その画像に人の顔が写っているか否かを判定する顔検出部を有していてもよい。顔検出部は、入力顔画像に顔が写っているか否かを判定するために、様々な公知の顔検知技術の何れかを利用することができる。例えば、記憶部に予め撮影部による撮影領域内に人が存在しないときの画像を基準画像として記憶させておく。そして顔検出部は、撮像部によって撮影された現画像と基準画像との背景差分を行って差分画像を作成し、その差分画像と頭部の形状に対応するテンプレートとのパターンマッチングを行う。顔検出部は、そのパターンマッチングの結果、差分画像上にテンプレートと略一致する領域が検出されれば、現画像に人の顔が写っており、その現画像を入力顔画像とする。

さらに画像処理部は、撮像部から連続して取得された入力顔画像に写っている人物の顔が、同一人物の顔か否かを判定するための追跡判定部を有していてもよい。そして追跡判定部は、入力顔画像に写っている人物が同一人物か否か判定するために、様々な公知の追跡技術の何れかを利用することができる。例えば、追跡判定部は、連続して取得された２枚の入力顔画像について、その入力顔画像上の顔の位置の差が、想定される人の移動速度に応じて求められる位置の差よりも小さければ、それら２枚の入力顔画像に写っている人物は同一人物と判定する。

さらに、画像処理部は、展開顔画像を作成せず、合成元画像選定部は、登録対象者の複数の３次元顔モデルから、合成３次元顔モデルを作成するための２以上の３次元顔モデルを、合成処理に用いる画像データとして直接選択してもよい。この場合も、合成元画像選定部は、展開顔画像について実施するのと同様の処理を行って、合成３次元顔モデルを作成するために利用する３次元顔モデルを選択する。この場合には、顔画像合成部は、合成重み算出部で算出された重み係数を用いて、基準となる３次元顔モデルと補完用の３次元顔モデルを合成することにより、合成３次元顔モデルを作成する。そのため、画像処理部は、展開顔画像生成部及び展開顔画像マッピング部を有さなくてもよい。
このように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１顔画像合成装置
２撮像部
３インターフェース部
４記憶部
５画像処理部
５１２Ｄ顔特徴点抽出部
５２位置合わせ情報算出部
５３入力顔画像マッピング部
５４展開顔画像生成部
５５合成元画像選定部
５６合成重み算出部
５７顔画像合成部
５８展開顔画像マッピング部

Claims

複数の顔画像を合成して合成顔画像を生成する顔画像合成装置であって、
同一の対象者を撮影した複数の顔画像と人物の顔の形状を表す３次元顔形状データと該３次元顔形状の顔の所定部位を参照して設定された境界線候補とを記憶する記憶部と、
前記複数の顔画像のそれぞれを、前記３次元顔形状データと位置合わせして、当該３次元顔形状データにマッピングすることにより、前記複数の顔画像のそれぞれに対応する３次元顔モデルを作成するマッピング部と、
複数の前記３次元顔モデルのそれぞれを２次元に展開した展開顔画像を生成する展開顔画像生成部と、
複数の前記展開顔画像から少なくとも第１の展開顔画像と第２の展開顔画像を選択するとともに、前記顔の所定部位を回避するように前記境界線候補を選択して合成境界に設定する顔画像選定部と、
前記第１の展開顔画像において顔のテクスチャ情報を有する第１の領域と前記第２の展開顔画像において顔のテクスチャ情報を有する第２の領域とを前記合成境界に基づいて合成し、前記合成顔画像を作成する顔画像合成部と、
を有することを特徴とする顔画像合成装置。
前記顔の所定部位は、前記対象者の表情に応じて形状が変わる口、目、眉のうちの一つまたは複数の部位である、請求項１に記載の顔画像合成装置。
前記顔画像選定部は、前記境界線候補のうち、前記第１の領域と前記第２の領域とが重なる共通領域に含まれる境界線候補を前記合成境界とする、請求項１または２に記載の顔画像合成装置。
前記顔画像選定部は、
前記複数の展開顔画像から選択された二つの展開顔画像を含む組み合わせであって、当該組み合わせに含まれる該二つの展開顔画像において顔のテクスチャ情報を有する領域をそれぞれ一つの画像上にマッピングすることにより作成される前記合成顔画像において顔のテクスチャ情報の欠けがない組み合わせを少なくとも一つ求め、
当該組み合わせにおける前記共通領域に含まれる前記境界線候補上の該二つの展開顔画像の対応する画素の値の差の統計量を輝度相違度として算出し、
当該輝度相違度が最小または所定の閾値以下となる組み合わせに含まれる該二つの前記展開顔画像をそれぞれ前記第１の展開顔画像及び前記第２の展開顔画像とするとともに、前記所定の閾値以下または最小となる前記輝度相違度に対応する前記境界線候補を前記合成境界とする、請求項３に記載の顔画像合成装置。