JP2007141107A - 画像処理装置およびその方法 - Google Patents

Abstract

【課題】 顔の特徴点の座標や格子状に分割した座標を用いて主成分分析を行っても、これら物理的特徴の変動には非線形の要素があるため、次元数は減らなかった。
【解決手段】 画像内に存在する物体の二次元画像を合成する際に参照されるモデル画像を合成パラメータに基づいて合成する。このとき、該合成パラメータは、例えば顔画像における目領域等、前記モデル画像を区分した複数の領域内における局所的な座標系に基づいて、該モデル画像の特徴点を示す情報を主成分分析することによって、効率的な次元圧縮がなされている。したがって、モデル画像においてより少ない次元数による形状表現が可能となる。
【選択図】 図３Ｄ

Description

本発明は画像処理装置およびその方法に関し、特に、画像内の物体認識処理を行う画像処理装置およびその方法に関する。

近年、デジタルカメラや、携帯電話、デジタルビデオカムコーダ等が低価格で市場に投入されている。また、テレビチューナーカード、ＭＰＥＧ２、ＭＰＥＧ４に代表される動画圧縮技術がハードウェア化されたエンコーダ、デコーダカードの登場により、パーソナルコンピュータ（ＰＣ）がビデオデッキとしての機能を実現している。このようなＰＣではさらに、インターネットを通じた動画配信など、手軽に大量のデジタル動画・画像が入手可能である。

ハードディスクや光ディスクの大容量化により、普及価格帯のＰＣでも大量の動画・画像を蓄積することが可能であるが、蓄積されたコンテンツから、内容が類似している動画の箇所や画像を検索したいというニーズが増している。中でも被写体が同じ画像を探したいという検索ニーズが高い。

被写体が同じ画像を探すには、まず、画像から被写体、特に顔領域を検出することが必要である。顔検出技術としては、カーネギーメロン大学のＲｏｗｌｅｙ氏らが提案したニューラルネットワークを用いた手法などが知られており、この手法によれば、画像中の顔の位置、大きさ、回転角度などが得られる。

また、検出された顔が誰であるかを判別する顔認識技術としては、国際規格としてＭＰＥＧ７（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−７）の一部である顔認識記述子が存在する。これは、画像から顔領域を切り出して正規化した顔画像の輝度画像に対して、輝度情報や周波数空間に変換した情報を用いている。すなわち、主成分分析や線形判別分析を組み合わせて、顔画像の特徴量を抽出するための基底ベクトルを求め、線形射影することで顔特徴量を抽出している。この方法では、両目を基準として顔を切り出しており、周波数空間へ変換することで多少の位置のずれにも対応できるが、顔の各器官同士の対応が取れていないことによる性能劣化という問題がある。

顔の各器官の対応を合わせるように変形する手法として、特許文献１やマンチェスター大学のＣｏｏｔｅｓ氏らが提案したＡＡＭ（アクティブアピアランスモデル）がある。

前者は顔画像に対して格子状の基準点を設定し、基準点の変異量行列を遺伝的手法によって更新しながら変形して、基準画像と入力画像をマッチングするものである。各基準点の変異量が顔画像の特徴量となる。

また、後者は大量の２次元の顔画像データベースを用意し、画像中の各顔について複数の特徴点の座標と輝度値等から形状情報とテクスチャ情報とを抽出し、抽出した複数の形状情報とテクスチャ情報の平均を求めたものを平均顔とする。そして、各顔画像の平均顔からの差分を主成分分析を行ない、形状や表情の変化に対応した部分空間を求める。そして、求めた部分空間のそれぞれの座標軸に沿って合成パラメータを変化させることにより、顔画像を合成する。このモデルを画像認識方法として用いる場合には、先に求めた部分空間内で合成パラメータを動かして画像を合成し、入力された認識の対象となる顔画像との差が最も小さくなるときの合成画像についての合成パラメータを求める。

入力された顔画像に相関の高い合成顔画像の合成パラメータは、以下の手法によって求められる。すなわち、入力された顔画像と合成された顔画像の差分情報からパラメータの修正量へ射影するための行列を予め求めておき、差分評価とパラメータの更新、顔の再合成を繰り返す。またこの時、マルチ解像度の手法を用い、１段で解像度の比が半分になるような解像度を多段用意し、各解像度で射影行列を求めておく。そして粗い解像度で、入力画像に合成顔画像を近似させ、一段ずつ解像度を上げながら近似を繰り返し、最終的な解像度で、入力画像に相関の高い合成パラメータを得ている。
特開２０００−１１３１９７号公報

上記従来の顔表現モデルでは、顔の形状を表すために、顔の特徴点の座標や格子状に分割した座標を用いて主成分分析を行っていた。これらの物理的特徴の変動には非線形の要素があり、これが主成分分析を行っても次元数が減らない原因となっていた。

本発明は上述した問題を解決するためになされたものであり、画像合成の際に参照されるモデル画像において、より少ない次元数による形状表現を可能とする画像処理装置およびその方法を提供することを目的とする。

上記目的を達成するための一手法として、本発明の画像処理方法は以下の工程を備える。

すなわち、画像内に存在する物体の二次元画像を合成する際に参照されるモデル画像を構築する画像処理方法であって、前記モデル画像の合成パラメータを設定する設定ステップと、前記設定ステップにおいて設定された合成パラメータに基づいてモデル画像を合成する合成ステップと、を有し、前記合成パラメータは、前記モデル画像を区分した複数の領域内における局所的な座標系に基づいて、該モデル画像の特徴点を示す情報を主成分分析して次元圧縮されていることを特徴とする。

以上の構成からなる本発明によれば、画像合成の際に参照されるモデル画像における次元圧縮効果が高くなり、より少ない次元数による形状表現が可能となる。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の各実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜第１実施形態＞
●装置構成
図１は、本実施形態に係る画像処理装置の構成を示すブロック図である。本実施形態の画像処理装置において、２０１はＲＯＭ２０２やＲＡＭ２０３に格納されたプログラムに従って命令を実行するＣＰＵである。２０２は本実施形態の動作を実現するプログラムやその他の制御に必要なプログラムやデータを格納するＲＯＭ、２０３は一時的にデータを格納するための作業エリアとして利用されるＲＡＭである。２０４はＩＤＥやＳＣＳＩなどの外部記憶装置とのインターフェースを実現するドライブＩ／Ｆ、２０５は画像や画像検索のための特徴量やプログラムなどを記憶する記憶装置としてのＨＤＤである。２０６はデジタルカメラやスキャナなどの装置から画像を入力する画像入力部、２０８はキーボードやマウスなど、オペレータからの入力を受ける操作入力部である。２０９はブラウン管や液晶ディスプレイなどの表示部、２１０はインターネットやイントラネットなどのネットワークと接続を行なうモデムやＬＡＮなどのネットワークＩ／Ｆである。２１１はバスであり、上記各構成を接続して相互のデータ入出力を可能とする。

本実施形態の画像処理装置は、ＰＣにオペレーティングシステムとしてマイクロソフト社のＷＩＮＤＯＷＳ（登録商標） ＸＰ（登録商標）がインストールされ、その上で動作するアプリケーションとして実装される。

●顔モデル
図２に、本実施形態における顔モデルの概要を示し、説明する。同図に示すように顔モデルは、形状情報３０１、テクスチャ情報３０２、拘束条件３０３、パラメータ更新テーブル３０４から構成される。形状情報３０１は、多数の顔画像から得られる形状ベクトルの平均と、該平均からの変位について主成分分析した部分空間の形状基底ベクトルから構成される。テクスチャ情報３０２は、多数の顔画像から得られる画像の輝度平均と、該平均からの変位について主成分分析した部分空間のテクスチャ基底ベクトルから構成される。拘束条件情報３０３は、形状ベクトルの各次元において取りうる範囲である最大値と最小値を示す。パラメータ更新テーブル３０４は、２５６×２５６，１２８×１２８，６４×６４，３２×３２，１６×１６，８×８の解像度ごとに、テーブルを有する。

以下、顔モデルの各部について、その構築手順を説明する。なお、顔画像を統計的に処理するため、本実施形態の顔モデルの構築にあたっては、予め大量の顔画像を含む画像を用意しておく。

・顔の特徴点
まず、形状情報３０１を構築するために必要となる、本実施形態における顔の特徴点の設定方法について、図３Ａ〜図３Ｆを用いて説明する。

図３Ａ〜図３Ｆは、正面を向いた顔における形状情報の一例を示す図である。本実施形態では、顔の部分によってローカルな座標系を定義し、該ローカルな座標系で特徴点の取りうる範囲を限定し、この限定された条件の下で座標が特定可能な情報を形状ベクトルとして、顔の特徴点を表現する。

図３Ａは、顔座標の例を示す図である。顔座標は、両目の中心を結ぶ線をＸ軸、両目の中央で直交する直線をＹ軸とする平面であり、原点から目の中心までの長さを１単位とする。

図３Ｂは、目部分の詳細を示す図である。目の中心は、目頭と目尻を結ぶ線分の中心としている。左目におけるこの線分の長さをＬ１、両目の中心を結ぶ線とのなす角度をＡ１、この線分を４等分した点から垂直方向に伸ばした線分と瞼との交点までの長さをＬ２からＬ７としている。右目についても左目と同数のパラメータが設定される。すなわち、図３ＢのＬ１に対応するＬ８から、Ｌ７に対応するＬ１４、およびＡ１に対応するＡ２が設定される。

図３Ｃは、鼻付近の詳細を示す図である。顔座標系における鼻の最下部の位置Ｐ１を原点とし、そこから両目を結ぶ線分の中央を結ぶ線をＹ軸とし、Ｘ軸は原点でＹ軸と直行させる。両目を結ぶ線分の中央との交点をＹ＝１とする鼻座標系を定義し、鼻座標系における鼻の特徴点をＰ２，またＰ２からの相対でＰ３をあらわす。また鼻の端を向かって右端をＰ４とし、Ｐ３からの相対座標であらわす。Ｐ２，Ｐ３は鼻の穴がある場合はその端にあたるようにし、ない場合にはＰ１−Ｐ２，Ｐ２−Ｐ３，Ｐ３−Ｐ４が等しい長さになる間隔で、鼻のエッジに沿って設定する。鼻の右側部分についても同様に、Ｐ５〜Ｐ７を設定する。また、鼻の穴が存在するときには穴のエッジ上にＰ８、Ｐ９を設定し、なければ鼻のエッジ上でＰ２とＰ３間を２分する箇所に設定する。

図３Ｄは、眉毛付近の詳細を示す図である。眉毛の目頭側端とその下の目の中心を結ぶ線と、両目の中心間を結ぶ線のなす角度をＡ３，また、眉毛の目頭側端とその下の目の中心を結ぶ線と、眉毛の目尻側端とその下の目の中心を結ぶ線とのなす角度をＡ４とする。そして、角度Ａ４を４等分する３本の線を引き、眉のエッジとの交点を特徴点とする。各特徴点から目中心までの長さＬ８〜１２、まゆの幅Ｌ１３〜Ｌ１５を設定する。右の眉毛も同様に、Ａ５，Ａ６およびＬ１６〜Ｌ２３を設定する。眉毛の表現は局座標系での座標と等価である。

図３Ｅは、口領域の詳細を示す図である。口領域には鼻座標系を用いる。鼻座標系のＹ軸上で上唇の上部をＰ１１とし、上唇の下部Ｐ１２をＰ１１からの相対で、下唇の上部Ｐ１３をＰ１２からの相対で、下唇の下部Ｐ１４をＰ１３からの相対であらわす。また、唇の向かって右端をＰ１５とし、Ｐ１１〜Ｐ１５までの唇のエッジ上を４等分するようにＰ１６〜Ｐ１８を定める。同様に、Ｐ１２〜Ｐ１５間にＰ１９〜Ｐ２１を設定し、下唇も同様にＰ２２〜Ｐ２７を設定する。ここで、Ｐ１６〜Ｐ２７の各座標は、左隣の特徴点からの相対座標で表すとする。唇の向かって左側についても同様に、Ｐ２８〜Ｐ４０を設定する。

図３Ｆは顔の輪郭を示す図である。顔の輪郭は、鼻座標系と原点を同じくした局座標系と等価である。鼻座標系（図３Ｃ）におけるＰ１を中心とする局座標において、Ｐ１１方向を０とし、−５／８πから５／８πラジアンの範囲を１／８単位で等分し、顔の輪郭の中心（Ｐ１）からの距離をＬ２８〜Ｌ３３で示す。

本実施形態における顔の特徴点は、以上のように設定される。

以下、図２に示す顔モデルの各構成について、その構築方法について詳細に説明する。 ・形状情報の構築手順
形状情報３０１を構築するために、形状ベクトルｘを以下のように設定する。

X = {A1,...,A6,L1,・・・,L33,P1x,P1y,P2x,P2y,...,P40x,P40y}
また、顔座標軸上における各特徴点からなる特徴点座標ベクトルｓを以下のように設定する。

s = {x1,x2,・・・・,y1,y2,・・・}
以下、形状情報３０１の構築手順について、図４のフローチャートを用いて説明する。 まずステップＳ５０１では、顔画像が存在する対象画像を表示部２０９に表示する。次にステップＳ５０２で、画像中の顔画像における両目の座標を、入力部２０８から指定する。ここで指定される座標系は、画像の左上を原点とするＸＹ座標系である。次にステップＳ５０３でアフィン変換を行って、ステップＳ５０２で指定した目の座標が所定の位置になるように顔画像の切り出しを行なう。

次にステップ５０４で、顔画像上における各特徴点座標を入力部２０８から指定する。そして、指定された特徴点の座標を上述したローカル座標系に変換し、形状情報に変換する。ここで、拡大表示を行ったり均等の角度や間隔で設定されるべき特徴点については、その都度ガイドラインを表示したり、計算によって位置の微調整を行なうことで、入力誤差を低減することができる。

１つの顔画像について全ての特徴点の指定が終了したらステップＳ５０５に進み、画像上での両目座標、また、形状ベクトル、画像ファイル名と対応付けてＨＤＤ２０５に記録する。

次にステップＳ５０６に進み、すべての顔画像に対して特徴点の指定が終了したか否かを判定し、未設定の顔画像があればステップＳ５０１に戻るが、すべて終了していればステップＳ５０７に進む。

ステップＳ５０７では、前段で指定したすべての顔画像について、各特徴点の平均的な座標（平均形状）を求める。次にステップＳ５０８に進み、所定の各サンプル点における平均形状からの差分により、差分形状ベクトルを生成する。次にステップＳ５０９に進み、全サンプルの形状ベクトルについて主成分分析を行なう。この結果、寄与率の大きいものから順に寄与率の合計が所定の割合になるまでの主成分からなる、部分空間のための基底行列を得る。この基底行列がすなわち、形状基底ベクトルとなる。

そしてステップＳ５１０において、得られた平均形状および形状基底ベクトルを形状情報３０１として、ＨＤＤ２０５に記録する。

・テクスチャ情報の構築手順
以下、テクスチャ情報３０２の構築手順について、図５のフローチャートを用いて説明する。

まずステップＳ６０１では、上記ステップＳ５０５でＨＤＤ２０５に記録した１つの顔画像に対応する両目の座標、また、切り出した形状ベクトルを読み出し、アフィン変換によって顔画像を切り出す。

次にステップＳ６０２に進み、特徴点が平均の位置に移動するようなモーフィングを行なう。なおモーフィングは次のように表すこととする。

Ｉ_m = Ｍ(Ｉ,Ｓ_s,Ｓ_d) ・・・(1)
なお、(1)式においてＩ_mはモーフィングされた合成顔画像、Ｉは切り出した顔画像、Ｓ_sは変換元の特徴点座標列、Ｓ_dは変換先の特徴点座標列である。特徴点座標列は切り出した顔画像上での座標となるが、形状ベクトルから一意に求めることができる。

このようなモーフィングにより、異なる顔の各器官の位置が顔座標系で同じ位置となり、対応付けが確保される。

次にステップＳ６０３に進み、マスキングを行なう。すなわち、特徴点平均座標列で示される平均顔形状の顔の輪郭の外側をマスキングし、顔以外の領域をこれ以降で行なわれる処理の対象から除外する。

次にステップＳ６０４に進み、輝度分布の正規化を行なう。これは、画像の平均輝度、輝度の分散を所定の値に揃うようにする。また、ヒストグラム平滑化を行って輝度分布を平滑化する処理を行なう。

次にステップＳ６０５に進み、すべての顔画像に対して上記モーフィング、マスキング、正規化処理が終了したか否かを判定し、未終了の顔画像があればステップＳ６０１に戻るが、全て終了していればステップＳ６０６に進む。

ステップＳ６０６では、画素ごとに全顔サンプルの平均輝度を求めることによって、平均テクスチャを得る。

次にステップＳ６０７に進み、各顔サンプルについて前段で求めた平均輝度との差分を得て、非マスキング画素数からなる輝度差ベクトルを生成する。次にステップＳ６０８に進み、全顔サンプル数の輝度差ベクトルを主成分分析する。これを寄与率の大きいものから順に、寄与率の合計が所定の割合になるまでの主成分からなる部分空間のための基底行列を得る。この基底行列がすなわち、テクスチャ基底ベクトルとなる。

そしてステップＳ６０９において、得られた平均テクスチャおよびテクスチャ基底ベクトルをテクスチャ情報３０２として、ＨＤＤ２０５に記録する。

・拘束条件情報の構築手順
以下、拘束条件情報３０３の構築手順について説明する。

本実施形態の特徴である拘束条件は、実在する可能性が低い顔が合成される確率を低減するために設定される。本実施形態では、形状ベクトルｘの各次元の取りうる値の範囲を設定し、これを超えたか否かによって、実在する可能性が低いか否かを判定し、範囲外の場合は範囲内に収まるようクリッピングをかけることで形状ベクトルの修正を行う。具体的には、次に示す(2)式によって判定と修正を行う。

ｘ_i ≦ ｘ^av _i-ｋσ_i のとき、
ｆ(ｘi) = ｘ^av _i-ｋσ_i
ｘ_i ≧ ｘ^av _i+ｋσ_i のとき、
ｆ(ｘi) = ｘ^av _i+ｋσ_i
その他のとき、
ｆ(ｘi) = ｘ_i
・・・(2)
ただし(2)式において、ｘ^av _iはi番目の次元におけるサンプルの平均であり、σ_iはi番目の次元におけるサンプルの標準偏差である。また、ｋは所定の定数であり、実在確率の閾値となる。サンプル顔画像の特徴ベクトルの各次元について値の分布を正規分布で近似しており、たとえば、99.7%を網羅したい場合はｋ=３である。

本実施形態ではすなわち、(2)式におけるｘ^av _i-ｋσ_iを形状最小値を示す拘束条件情報３０３として、ＨＤＤ２０５に記憶する。同様に、
ｘ^av _i+ｋσ_iを形状最大値を示す拘束条件情報３０３としてＨＤＤ２０５に記憶する。

・パラメータ更新テーブルの構築
以下、パラメータ更新テーブル３０４の構築手順について説明する。

パラメータ更新テーブル３０４の実体は、入力された顔画像と合成された顔画像の差分情報から差分を低減するために、次に合成すべき顔画像の合成パラメータの修正量へ射影するための行列である。この行列を、顔画像に対する２５６×２５６，１２８×１２８，６４×６４，３２×３２，１６×１６，８×８ピクセルの各解像度において求める。

以下、ある１つの解像度におけるパラメータ更新テーブル３０４の構築手順を、図６のフローチャートを用いて説明する。

まずステップＳ７０１において第１合成パラメータを設定する。ここでは第１合成パラメータとして、顔画像の合成パラメータをランダムに設定する。ただし各パラメータの平均モデルからの変位の上限は、近似成功確率から実験的に求めておく必要がある。

次にステップＳ７０２に進んで第２合成パラメータを設定する。第２合成パラメータは、第１合成パラメータの要素の１つを正または負に変更したものとする。変更量は、そのパラメータ要素のデータの分散に基づいて決定するが、実験的に求める必要がある。

次にステップＳ７０３に進み、第１および第２合成パラメータに基づいて２つの顔画像を合成する。このとき、本実施形態の特徴である拘束条件が適用されるが、その詳細については後述する。

次にステップＳ７０４に進み、２つの合成画像の差分ベクトルを求める。この差分ベクトルは、画素数分の次元で、各画素の輝度差を値とするベクトルである。合成された顔の輪郭と平均の顔とでは顔の輪郭が異なり、画素数も異なる。ここでは、差分ベクトルを集めて行列として扱うために、解像度毎に画素数を一定にする必要がある。そこで、上記ステップＳ６０３と同じ形状のマスキングをかけることによって、平均顔の占める領域の画素により差分ベクトルを構成する。

次にステップＳ７０５に進み、所定回数のループを行ったか否かを判定する。ループ回数は最低でも顔の差分ベクトルの次元数分必要である。さらにループする必要がある場合はステップＳ７０１に戻るが、ループが所定回数に達した場合にはステップＳ７０６に進む。

ステップＳ７０６では、多変数線形回帰を求める。具体的には、以下に示す行列式(3)となるような射影行列Ａを求める。

ΔＣ = ＡΔＩ ・・・(3)
なお、式(3)において、ΔＣは第１合成パラメータと第２合成パラメータの差の組、ΔＩは対応する合成画像の差分ベクトルの組である。

射影行列Ａは、以下に示す行列式(4)によって導き出すことができる。

Ａ = ΔＣΔＩ⁺ ・・・(4)
なお、式(4)において、ΔＩ⁺はΔＩの擬似逆行列である。

次にステップＳ７０７に進み、求められた射影行列Ａをパラメータ更新テーブル３０４として、ＨＤＤ２０５に記録する。

・顔画像の合成方法
以下、上記ステップＳ７０３における、合成パラメータを使用した顔画像の合成方法について図７のフローチャートを用いて説明する。

まずステップＳ８０１において、以下の(5)式に示すように、平均テクスチャと主成分毎の強さである合成パラメータの線形和によって、テクスチャＧを作成する。

Ｇ = ｇ^av + Ｐ⁺ _gｂ_g ・・・(5)
式(5)において、ｇ^avは平均テクスチャ、Ｐ⁺ _gはテクスチャの基底ベクトルの擬似逆行列であり、事前に求めておいてよい。ｂ_gは輝度の合成パラメータである。

次にステップＳ８０２に進み、平均形状ベクトルと主成分ごとの強さである合成パラメータの線形和によって、形状ベクトルＸを作成する。

Ｘ = ｘ^av + Ｐ⁺ _xｂ_x ・・・(6)
式(6)において、ｘ^avは平均形状、Ｐ⁺ _xは形状の基底ベクトルの擬似逆行列であり、事前に求めておいてよい。ｂ_xは形状の合成パラメータである。

次にステップＳ８０３に進み、合成された顔画像が実在する可能性のある顔を示しているか否かを判定する。ここではすなわち式(7)に示すように、合成された形状ベクトルＸの各次元の値が所定の範囲内にあるか否かを判定する。このとき、上述した拘束条件情報３０３（この場合、kσ_i）が参照される。

|Ｘ_i-ｘ^av _i| ≦ kσ_i ・・・(7)
ここで、当該顔画像は実在する可能性が無いものであると判定された場合はステップＳ８０４に進み、実在し得る場合はステップＳ８０５に進む。

ステップＳ８０４では、上記式(2)を適用して、合成された顔に近く、実在する可能性のある顔形状ベクトルＸ'に変換する。

Ｘ' ← ｆ(Ｘ) ・・・(8)
ステップＳ８０５では、式(9)に基づいて形状ベクトルＸを顔座標上での特徴点座標に変換する。

Ｓ = Ｓ(Ｘ') ・・・(9)
また、平均形状ベクトルから平均座標値への変換も同様に行うが、これは式(10)に示すように、平均形状ベクトルｘ^avに基づいて事前に求めておけばよい。

ｓ^av = Ｓ(ｘ^av) ・・・(10)
次にステップＳ８０６において、式(11)に示すように平均的な顔形状から合成された形状へのモーフィングを行なうことによって、合成顔画像Ｉ_mが得られる。

Ｉ_m = Ｍ(Ｇ,ｓ^av,Ｓ) ・・・(11)
なお、ここでは説明を分かりやすくするために、形状とテクスチャの成分を分けて主成分分析を行う例を示したが、これらをまとめて主成分分析を行なって合成パラメータとした方が、次元数が削減できるという効果がある。ただし、ダイナミックレンジが大きく異なる次元が混在している場合には、計算誤差の影響が大きくなるため、ダイナミックレンジをそろえるためのスケーリング調整を行うことが好ましい。

●画像検索システム
以上、本実施形態における顔モデルの構築方法について説明した。以下、該顔モデルを用いた、本実施形態における画像処理の概要について説明する。

本実施形態では、画像中の顔領域に着目し、与えられたクエリ画像に対して類似した顔が映っている画像を類似画像として出力する画像検索システムを例として説明する。この場合の画像処理としては、検索に必要な画像から特徴量を抽出して記録する画像登録処理と、検索条件が与えられたときに特徴量の照合を行って最も類似した画像を獲得する画像検索処理から構成される。以下、この画像登録処理および画像検索処理のそれぞれについて説明する。

・画像登録処理
本実施形態における画像登録処理を、図８のフローチャートを用いて説明する。

まずステップＳ９０１にて画像入力部２０６から画像を入力する。次にステップＳ９０２に進み、入力された画像から顔領域を検出する。この検出処理としては、上述したＲｏｗｌｅｙ氏らによる手法を適用する。次にステップＳ９０３に進み、得られる両目の座標から顔の大きさや傾きを補正し、ステップＳ５０３と同様に顔画像の切り出しを行なう。次にステップＳ９０４に進み、輝度の正規化を行なう。すなわち、輝度分布が一定になるようにヒストグラムの均一化などの処理を行なう。

次にステップＳ９０５に進み、特徴抽出を行なう。ここでは入力された顔画像に最も相関の高い合成顔モデルの合成パラメータを決定し、これを特徴量とする。この特徴抽出処理の詳細については後述する。

次にステップＳ９０６に進み、特徴抽出処理で得られた合成パラメータをＨＤＤ２０５に記録する。次にステップＳ９０７に進み、画像入力部２０６において未処理の画像が残っていないか判定し、残っていなければステップＳ９０８に進むが、処理対象の画像が存在する場合はステップＳ９０１に戻る。

ステップＳ９０８では、検索時の特徴量間の距離計算を行うために、線形判別分析を行って、判別用の空間の基底ベクトルを求める。線形判別分析は、特徴量のクラス分けを行ない、同一クラス内の特徴量間の距離とクラス間の距離の比が最大になるような判別空間の基底ベクトルを求めるものである。システムの目的に応じて、類似している顔とは同一人物の顔であるとか、類似している顔とは表情が似た顔であるなど、類似している顔を定義し、その定義に従ってクラス分けを行った上で線形判別分析を行なうことで、目的にあった機能が実現される。

判別空間への射影方法としては例えば、下記文献に記載されているような、非線形空間へ射影する技術も知られている。この詳細は下記文献に記載されているため、ここでは詳細な説明を省略する。

J.Lu,K.Plateniotis,and A.Venetsanopoulos;"Face recognition using kernel direct discriminant analysis algorithms"。 IEEE Transactions on Neural Networks,14(1),Jan.2003
本実施形態では、画像入力部２０６から入力された画像を対象に登録処理を行う例を示したが、本発明はこれに限るものではない。例えば、登録対象となる画像を所定のフォルダに格納し、そのフォルダを指定することによって、該フォルダ下にある画像ファイルを対象として登録処理を行っても良い。この場合、登録処理のプロセスとしては、対象フォルダが新しく追加された場合は全てのファイルを対象に処理するが、その後は、更新されたファイルのみを対象にすればよい。また、バックグラウンドプロセスとして起動しておき、対象フォルダの更新を監視しておくことも可能である。

・特徴抽出処理
以下、ステップＳ９０５に示した特徴抽出処理、すなわち、入力された顔画像に最も相関の高い合成顔モデルの合成パラメータを決定する処理について、図９のフローチャートを用いて詳細に説明する。

まずステップＳ１００１において、初期解像度を設定する。ここでは、解像度を８×８ピクセルに設定している。次にステップＳ１００２でループカウンタｎを１に初期化し、ステップＳ１００３で合成パラメータを初期設定する。初回では、平均的な形状とテクスチャとなるように、合成パラメータが設定される。そしてステップＳ１００４で、合成パラメータから上述した方法により顔画像を合成する。

次にステップＳ１００５に進み、ループカウンタｎが２以上であるか否かを判定する。２回目以上でない場合はステップＳ１００７に進み、２回目以上であればステップＳ１００６に進む。

ステップＳ１００６では、合成した顔が収束しているか否かを判定する。これは前回の合成顔からの差分が閾値以下であるか否かによって判定される。差分は各画素の輝度差の２乗和とし、これと解像度別に予め設定した所定の閾値とを比較して判定する。差分が閾値以下であれば収束していると判断され、この場合は近似失敗として処理を終了する。一方、差分が閾値よりも大きければ収束していないと判断され、ステップＳ１００７へ進む。

ステップＳ１００７では、入力画像の顔画像と合成された顔画像の差分ベクトルを求める。ここで、差分ベクトルは、入力画像と合成画像の対応する画素の輝度差であるが、ステップＳ７０７で記録したパラメータ更新テーブルを構築する際に求めた差分ベクトルの対応する解像度と同じ次元数すなわち画素数のものが必要である。そこで、差分画像は以下の式(12)に示すように、平均の顔形状にモーフィングしてステップＳ６０３と同じマスキングを行った画像として得る。

ΔＩ_rn = Ｍ(Ｉ_rs-Ｉ_rn,Ｓ_rn,ｓ^av) ・・・(12)
式(12)において、Ｉ_rsは解像度ｒでの入力画像の顔画像、Ｉ_rnは解像度ｒ，ループカウンタｎでの合成された顔画像である。また、Ｓ_rnはループカウンタｎにおける顔特徴座標ベクトル、ｓ^avは平均座標値ベクトルである。

次にステップＳ１００８に進み、以下の式(13)によって差分Ｅが所定値以下であるかを判定する。なお、差分Ｅは差分ベクトルのＬ２ノルム（ユークリッド距離）である。

Ｅ = |ΔＩ_rn| ・・・(13)
差分Ｅが所定の値以下であれば、入力画像に対して合成画像の近似が成功しているとしてステップＳ１０１２に進むが、そうでない場合はステップＳ１００９に進む。

ステップＳ１００９では、ループカウンタｎを評価し、所定回数（Ｌ回）の繰り返しがなされていたら近似失敗として終了する。所定回数以下の繰り返しであればステップＳ１０１０に進む。

ステップＳ１０１０では、以下の式(14)によって差分から合成パラメータ変更量への射影を行うことによって、合成パラメータを更新する。

ｂ_r(n+1) = ｂ_rn + Ａ_rΔＩ_rn ・・・(14)
式(14)において、ｂ_rnは、解像度ｒ，ループカウンタｎの時の合成パラメータである。

その後、ステップＳ１０１１でループカウンタｎをインクリメントして、ステップＳ１００４に戻る。

一方、ステップＳ１００８で合成画像の近似が成功したと判定された場合にはステップＳ１０１２において、最終解像度に達しているか否かを判定する。ここで最終解像度は２５６×２５６ピクセルである。最終解像度であれば近似が成功したとして最終的な合成パラメータを特徴量として出力するが、最終解像度でなければステップＳ１０１３に進み、解像度を２倍に上げてステップＳ１００２に戻る。

本実施形態の特徴抽出処理においては、拘束条件情報３０３を課したために合成パラメータを変更しても合成した顔画像に変化がない場合が発生する。そこで、合成画像を評価して極所解での収束状態を検出し、収束状態から抜け出せるようにしている。

なお、近似処理が失敗した場合にはステップＳ１００３での合成パラメータの設定値を新たな値に設定してリトライを行っても良い。新たな値の設定方法としては、簡単にはランダムに行なうことである。また、探索途中に得られる入力画像と相関の高い他のパラメータ候補や、遺伝的手法によって、変更パラメータでビット列を作って遺伝子とみなし、入力画像と相関の高かったパラメータのビット列を部分的に切り貼りしても良い。また、近似に残された時間や、リトライの数に応じて、ランダムに生成された合成パラメータと平均顔画像または前回の変更パラメータからの標準化ユークリッド距離での制限範囲を設定し、制限範囲内でランダムな合成パラメータに設定しても良い。

また、複数の顔モデルを用意しておき、ある顔モデルでの近似が失敗した場合には、他のモデルでのリトライを行っても良い。

・画像検索処理
以上のように抽出された特徴量すなわち合成パラメータに基づき、近似される合成画像を顔モデルから検索する。以下、本実施形態における画像検索処理を、図１０のフローチャートを用いて説明する。

まずステップＳ１１０１で、画像入力部２０６からクエリ画像を入力する。もしくはＨＤＤ２０５内にある画像ファイルを指定してもよい。次にステップＳ１１０２に進み、当該クエリ画像には特徴量が存在するか否かを判定する。すなわち、すでに登録処理を済ませた画像であるか否かを判定する。特徴量が存在すればステップＳ１１０８に進む。

一方、ステップＳ１１０２でクリエ画像に特徴量が存在しない、すなわち未登録画像であればステップＳ１１０３に進み、ステップＳ１１０７までの処理を行う。ここで、ステップＳ１１０３からステップＳ１１０６の処理については、上述した図８に示す画像登録処理におけるステップＳ９０２からステップＳ９０５と同様の処理をクエリ画像に対してかけるものである。したがって、ここでの詳細な説明は省略する。そして、ステップＳ１１０７において、ステップＳ１１０６で抽出した特徴量を判別空間へ線形射影する。

そしてステップＳ１１０８およびステップＳ１１０９において、実質的な検索処理を行う。すなわち、まずステップＳ１１０８で判別空間上において、クエリ画像と検索対象の顔画像の特徴ベクトルについて、その差分ベクトルのＬ２ノルムを求め、これを距離とする。次にステップＳ１１０９において画像出力を行なう。例えば、検索対象画像をクエリ画像と距離の近い順に並べ替え、その縮小画像を一覧表示する。

以上説明したように本実施形態によれば、顔形状を示すモデル画像を、顔の器官ごとのローカル座標系の組み合わせによって表現された顔特徴量として扱う。これを主成分分析することによって、寄与率が主成分側に集約され、次元圧縮効果が高くなる。したがって、特徴量記憶コストや特徴の照合コスト、パラメータ更新テーブルのサイズや学習コスト等、システム全体におけるコストダウンが実現される。

＜第２実施形態＞
以下、本発明に係る第２実施形態について説明する。

上述した第１実施形態では、形状情報の多くをローカル座標系での相対的な座標などで表現する例を示したが、第２実施形態においては、これを従来のように各特徴点の顔座標系での座標値とする例を示す。

第２実施形態における顔の特徴点の設定例を図１１に示す。ここで拘束条件を各特徴値のとりうる範囲とした場合、これはすなわち、Ｘ座標、Ｙ座標の最大最小値を定義することであり、特徴点を含む座標軸と平行な辺を含む短形の領域を示すことになる。そのため、評価条件としては緩いものとなってしまう。そこで第２実施形態においては、より効果的な評価条件を与える。

第２実施形態における、形状情報を座標値とした場合の拘束条件情報の構築手順を、図１２のフローチャートを用いて説明する。

まずステップＳ１３０１において、顔の各特徴点について、すべての顔サンプルの対応する特徴点集合の凸包領域を求める。次にステップＳ１２０２進み、顔の各特徴点について平均座標を中心として、対応する凸包領域を所定倍率拡大する。次にステップＳ１２０３に進み、凸包領域を顔の各特徴点と対応付けてＨＤＤ２０５に記録する。

すると第２実施形態では、顔画像の合成を上述した第１実施形態と同様に図７に示す手順により行うが、ステップＳ８０３では合成される顔の各特徴点の座標が凸包領域内であるかを判定することによって、顔でない可能性を判定する。またステップＳ８０４では各特徴点の座標が凸包領域外に存在する場合、この点と平均的な特徴位置を結ぶ線と凸領域境界の交点の座標に変換する処理をすべての次元で行なうことによって、実在可能性のある顔に変換すればよい。

なお、第２実施形態で示した凸領域は頂点数が不定の多角形であるが、これを四角形や楕円で近似すれば、処理コストを低減することも可能である。

以上説明したように第２実施形態によれば、形状情報を顔座標系での座標値として扱っても、第１実施形態と同様の効果が得られる。

＜第３実施形態＞
以下、本発明に係る第３実施形態について説明する。

図１３は、第３実施形態における画像処理装置の構成を示すブロック図である。同図において、上述した第１実施形態に示す図１と共通する構成には同一番号を付し、説明を省略する。

図１３によれば、第３実施形態においては本発明の特徴的なプログラムを記録したＤＶＤまたはＣＤのような光ディスク２１２およびそのインタフェースを構成として加えたことを特徴とする。すなわち、ドライブインタフェース２０４にＣＤ／ＤＶＤドライブなどの外部記憶読書装置２１３が接続されている。

本発明の特徴的なプログラムを記録した光ディスク２１２を外部記憶読書装置２１３に挿入すると、ＣＰＵ２０１が光ディスク２１２から当該プログラムを読み取ってＲＡＭ２０３に展開する。これにより、上述した第１および第２実施形態と同様の処理を実現することができる。

＜その他の実施形態＞
本発明は上述した第１乃至第３実施形態に限定されず、その主旨を逸脱しない範囲で種々の変形が可能である。以下、各種変形例を挙げる。

・奥行き情報
各特徴点に奥行き情報を持たせても良い。この場合、形状情報の次元が特徴点数分増えることになるが、これは顔特徴を表す有意な情報であり、顔の向きの影響とは独立なモデルとなる。奥行き情報を持った特徴点により、物体を３次元上で仮想的に合成し、さらに視点や照明方法のパラメータにより画像化した場合は本発明の主旨の範囲内である。奥行き情報は、たとえば間隔を空けた２台の入力装置による三角法や、レーザー測距計によって取得可能である。

・パラメータ更新テーブル
パラメータ更新テーブルの構築方法は第１実施形態に示した方法に限定されず、様々な変形が考えられる。例えば第１実施形態においては、ステップＳ７０１でランダムな合成パラメータを設定したが、これをサンプル顔画像から射影した合成パラメータとしてもよい。

また、顔全体の多少の移動や拡大率、アスペクト比、回転などに対応可能とするために、合成パラメータの要素としてＸＹ移動量や拡大率、アスペクト比、回転などの新たな次元を追加しても良い。このとき特徴点として、対象となる物体における少なくとも２つの特徴点を基準にして拡大縮小、回転による正規化を行った画像上の座標情報を用いればよい。

また、パラメータ更新テーブルは、第１合成パラメータの設定方法によって近似成功確率が変わってくる。そこで、近似成功確率を評価関数として、評価値の高いパラメータ更新テーブルを求めた時の第１合成パラメータの組を遺伝的手法などを用いて交配し、近似成功確率を高めていく手法をとることも有効である。

・制限時間
上述した第１実施形態においては、図９のステップＳ１００９でループカウンタｎのみを評価していたが、それに加え、制限時間内か否かの評価を加えてもよい。すなわち、制限時間を越えていたら近似失敗として終了することが考えられる。

・差分ベクトル
上述した第１実施形態では、合成した顔画像と入力画像中の顔画像の差分ベクトルを、平均顔形状の占める領域の各画素の輝度差として説明したが、本発明はそれに限定されるものではない。例えば、ＦＦＴやＤＣＴなどの周波数変換を行ない、各周波数成分における強度、位相情報を用いても良いし、オプティカルフローの手法を用いてもよい。また、平均顔形状の占める領域のすべての画素を利用することも限定しないが、一部の画素を利用することで入力画像の物体の一部が隠れていた場合のロバスト性が向上する。

また、複数のガボールフィルタでコンボリュージョンを行ない、強度画像を用いてもよい。以下の式(15)に、ガボールフィルタＧ(x,ｙ)を示す。

Ｇ(x,y) = exp[-π{(x-x0)²/A + (y-y0)²/B}]・exp[2πi{u(x-x0)+v(y-y0)}]
・・・(15)
ただし、iは虚数単位、x=0〜s-1，y=0〜s-1，x0=s/2，y0=s/2，Aは水平方向の影響範囲、Bは垂直方向の影響範囲である。また、tan^-1(u/v)は波の方向、(u²+v²)^1/2は周波数である。sはフィルタの縦横サイズであり、ここでは正方形としている。

また、波の方向8方向、周波数5種類、水平垂直方向の影響範囲は周波数ごとに１種類の４０種類のフィルタを生成している。

画像中の任意の位置でのフィルタ出力値は、フィルタと画像間のコンボリューションにより計算する。ガボールフィルタの場合は実数フィルタと虚数フィルタ（虚数フィルタは実数フィルタと半波長分位相がずれたフィルタ）が存在するため、それらの２乗平均値をフィルタ出力値とする。実数フィルタと画像間のコンボリューションがＲc，虚数フィルタとのコンボリューションがＩcであったとすると、出力値Ｐは以下の式(16)により算出される。

Ｐ = (Ｒc²+Ｉc²)^1/2 ・・・（16)
また、パラメータ更新テーブル構築中に得られる差分ベクトルのばらつきを主成分分析によって次元数を減らし、入力画像と合成画像の差分ベクトルも同じ射影を行って次元数を減らしもよい。各解像度において一定の次元の差ベクトルが得られるのならば、本発明の主旨の範囲内である。

・拘束方法
主成分分析された部分空間上で表された合成パラメータのベクトルについて、多数の顔画像から各次元の分散を求め、各次元の分散が等しくなるように標準化を行った上で平均形状とのユークリッド距離を求め、これにより近似の正否を判定してもよい。ここで求めるユークリッド距離とは、パラメータの各要素の２乗誤差を要素の分散で除して和をとった標準化ユークリッド平方距離である。得られたユークリッド距離が所定の値以下であれば、入力画像に対して合成画像の近似が成功していると判定される。

合成パラメータを実在可能性のある顔が得られるように変換するためには、図１４に示すように、標準化された形状ベクトルの各次元の値の絶対値が所定の範囲内に収まるようにする。すなわち、この範囲を狭めながらユークリッド距離が所定の値に収まったときの形状ベクトルを出力する。

・ハイブリッド化
本発明を従来技術の前処理として組み合わせて利用することが可能である。例えば、本発明の画像処理装置によって変形した顔をＭＰＥＧ−７の特徴抽出手法に対する入力画像とすることが考えられる。この場合、出力される顔特徴記述子に合成パラメータを追加したものを顔の特徴量として併せたもの、またこれらの出力行列を部分空間法で射影した行列を、顔特徴としても良い。

・顔画像以外への適用
また、上述した第１実施形態では類似画像検索を行うシステムを示したが、誰の顔かを判別する顔弁別システムや、判別空間を構築する際のクラス分けの基準によって性別や年齢を判別するシステムに本発明を実装することも容易である。

また、本発明は顔以外の任意の物体に対しても適用可能である。たとえば、人体全身、生物、自動車などを対象とすることが考えられる。また、医療分野においてはＸ線写真やＣＴスキャン画像における骨や臓器などの位置同定、工業、流通分野などにおける工業生産物、部品、流通物品などの同定や検査などに適用できる。

・その他
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記憶媒体(記録媒体)等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。複数の機器から構成されるシステムとしては、画像入力装置と画像蓄積装置が複合または接続されたものが考えられる。画像入力装置としては例えば、ビデオカメラ、デジタルカメラ、監視カメラなど各種ＣＣＤを利用したカメラやスキャナ、アナログ画像入力装置からＡＤ変換によりデジタル画像に変換された画像入力装置が挙げられる。画像蓄積装置としては例えば、外部ハードディスク、ビデオレコーダが挙げられる。このようなシステムにおいて、該システムを構成する全てまたはいずれかの機器に備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれる。

尚本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される。なお、この場合のプログラムとは、実施形態において図に示したフローチャートに対応したプログラムである。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体としては、以下に示す媒体がある。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD-ROM、CD-R、CD-RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD-ROM，DVD-R)などである。

プログラムの供給方法としては、以下に示す方法も可能である。すなわち、クライアントコンピュータのブラウザからインターネットのホームページに接続し、そこから本発明のコンピュータプログラムそのもの(又は圧縮され自動インストール機能を含むファイル)をハードディスク等の記録媒体にダウンロードする。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してCD-ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせることも可能である。すなわち該ユーザは、その鍵情報を使用することによって暗号化されたプログラムを実行し、コンピュータにインストールさせることができる。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、実行されることによっても、前述した実施形態の機能が実現される。すなわち、該プログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行うことが可能である。

本発明に係る一実施形態である画像処理装置のハードウェア構成を示すブロック図である。 本実施形態における顔モデルの概要を示す図である。 本実施形態における顔の特徴点の設定方法を示す図である。 本実施形態における顔の特徴点の設定方法を示す図である。 本実施形態における顔の特徴点の設定方法を示す図である。 本実施形態における顔の特徴点の設定方法を示す図である。 本実施形態における顔の特徴点の設定方法を示す図である。 本実施形態における顔の特徴点の設定方法を示す図である。 本実施形態における形状情報の構築手順を示すフローチャートである。 本実施形態におけるテクスチャ情報の構築手順を示すフローチャートである。 本実施形態におけるパラメータ更新テーブルの構築手順を示すフローチャートである。 本実施形態における顔画像の合成方法を示すフローチャートである。 本実施形態における画像登録処理を示すフローチャートである。 本実施形態における特徴抽出処理を示すフローチャートである。 本実施形態における画像検索処理を示すフローチャートである。 第２実施形態における顔の特徴点の設定方法を示す図である。 第２実施形態における拘束条件情報の構築手順を示すフローチャートである。 第３実施形態における画像処理装置のハードウェア構成を示す図である。 合成パラメータを存在可能性のある顔に変換する際の概念図である。

Claims (14)

1. 画像内に存在する物体の二次元画像を合成する際に参照されるモデル画像を構築する画像処理方法であって、
   前記モデル画像の合成パラメータを設定する設定ステップと、
   前記設定ステップにおいて設定された合成パラメータに基づいてモデル画像を合成する合成ステップと、を有し、
   前記合成パラメータは、前記モデル画像を区分した複数の領域内における局所的な座標系に基づいて、該モデル画像の特徴点を示す情報を主成分分析して次元圧縮されていることを特徴とする画像処理方法。
2. 前記合成パラメータは、前記局所的な座標系における前記特徴点の座標によって定量化された前記モデル画像の形状特徴が主成分分析により次元圧縮されていることを特徴とする請求項１記載の画像処理方法。
3. 前記局所的な座標系は直交座標系を含むことを特徴とする請求項１または２記載の画像処理方法。
4. 前記局所的な座標系は極座標系を含むことを特徴とする請求項３記載の画像処理方法。
5. 前記特徴点の座標は、前記局所的な座標系における他の特徴点からの相対座標であることを特徴とする請求項２乃至４のいずれかに記載の画像処理方法
6. さらに、前記合成ステップにおいて合成されたモデル画像について、その実在可能性を評価する評価ステップ（Ｓ８０３）と、
   前記評価ステップにおいて実在可能性が低いと判定された場合に、前記モデル画像の実在可能性が高くなるように前記合成パラメータを変更する変更ステップ（Ｓ８０４）と、
   を有することを特徴とする請求項１乃至５のいずれかに記載の画像処理方法。
7. 前記評価ステップにおいては、前記合成パラメータの要素値が所定範囲外であれば実在可能性が低いと判定することを特徴とする請求項６記載の画像処理方法。
8. 前記所定範囲は、対象となる物体の集合における統計的な分布に基づいて設定されることを特徴とする請求項７記載の画像処理方法。
9. 前記変更ステップにおいては、前記合成パラメータの要素値を、前記所定範囲の境界値に変更することを特徴とする請求項７または８記載の画像処理方法。
10. 前記物体は、人物の顔であることを特徴とする請求項１乃至９のいずれかに記載の画像処理方法。
11. 画像内に存在する物体の二次元画像を合成する際に参照されるモデル画像を構築する画像処理装置であって、
    前記モデル画像の合成パラメータを設定する設定手段と、
    前記設定ステップにおいて設定された合成パラメータに基づいてモデル画像を合成する合成手段と、を有し、
    前記合成パラメータは、前記モデル画像を区分した複数の領域内における局所的な座標系に基づいて、該モデル画像の特徴点を示す情報を主成分分析して次元圧縮されていることを特徴とする画像処理装置。
12. 請求項１乃至１０のいずれかに記載の画像処理方法によって構築されたモデル画像を用いて、画像内に存在する物体に対する合成画像を近似する画像処理システム。
13. コンピュータ上で動作することによって、該コンピュータ上で請求項１乃至１０のいずれかに記載の画像処理方法を実現することを特徴とするプログラム。
14. 請求項１３記載のプログラムを記録したことを特徴とする記録媒体。

Images