JP4957921B2 - 照合装置および照合方法 - Google Patents
照合装置および照合方法 Download PDFInfo
- Publication number
- JP4957921B2 JP4957921B2 JP2008511027A JP2008511027A JP4957921B2 JP 4957921 B2 JP4957921 B2 JP 4957921B2 JP 2008511027 A JP2008511027 A JP 2008511027A JP 2008511027 A JP2008511027 A JP 2008511027A JP 4957921 B2 JP4957921 B2 JP 4957921B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- model
- parameter
- target
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Description
本発明は、変動する多様な環境下で撮影された画像や３次元データを参照データと照合し、被写体が何であるか、または、被写体の状態、または、撮影時の環境などを認識する照合装置および照合方法に関する。
画像に含まれる被写体が何であるか、その被写体の状態（姿勢、表情など）、撮影時の環境（照明条件、カメラの種類）などの要素を認識する方法がある。その一方法として、認識対象となる画像と比較対象の参照画像との類似度を評価し、両者の同一性を判定する方法が知られている。
しかし、認識対象画像と参照画像との間で、認識したい要素でないその他の要素が変動する場合、それらによって生じる画像の変動が認識目的の要素に起因する変動よりも大きくなると、認識したい要素が同一であってもそれが同一であると認識することが困難となり、認識性能が低下する問題があった。
一例として、人物の顔画像を入力として個人識別を行う顔照合システムにおいては、認識したい要素は顔の個人性であり、その他の画像変動要素として顔の姿勢、照明条件などがある。姿勢や照明の変化によって生じる画像輝度値の変化が、個人差によって生じる画像輝度値の変動より大きい場合、同一人物の画像データどうしであっても、他人であると判定してしまうといった誤照合が起こる原因となっていた。
このような問題を改善するために、画像変動を生じさせる多様な要素とその結果として生じる画像変動との関係をあらかじめ用意した学習データ群などからモデル化し、各要素をパラメタ（パラメータと同義）として与えると、その状況における画像を生成できる画像変動モデルを利用する方法が種々提案されている。すなわち、与えられた入力画像に対して画像変動モデルによって生成される画像ができるだけ近くなるようなパラメタの値を推定するモデルフィッティング処理を行い、得られたパラメタ値のうち認識対象のパラメタ値に基づいて認識を行う技術である。
以下の先行技術文献２には、上記技術の一例が開示されている。同技術は、あらかじめ集めた多くの人物の３次元顔モデルを元に、個人差の要素すなわち顔の３次元形状とテクスチャとの個性を表すパラメタによって３次元顔モデルを生成するモデルを作成する技術である。
さらに、顔の姿勢と照明条件とを表すパラメタによって、３次元顔モデルデータからコンピュータグラフィクスを用いて前記姿勢および照明パラメタのあらわす状況下での顔画像が生成される。以上のモデルは、個人性、顔の姿勢、照明条件をパラメタとして与えると、それらの状況における顔画像を生成できる画像変動モデルの一例であり、顔のモーファブルモデル（以下ＭＭとも称す）と呼ばれる。
そして、先行技術文献２では、参照画像（以下ギャラリ画像とも称す）と認識対象画像（以下プローブ画像とも称す）とのそれぞれの画像に対してＭＭをフィッティングして、個人性、姿勢、照明の各要素を表すパラメタを推定し、この推定したパラメタ群に基づいて両画像を照合する技術が示されている。具体的には、以下の２つの技術が示されている。
（１）推定されたパラメタ群のうち、目的パラメタのみの類似度を計算して照合する。（２）目的パラメタの値を認識対象画像から求めた値とし、その他のパラメタを登録画像から推定した値にしたときの画像を比較画像としてＭＭから生成し、この生成した画像と登録画像との類似度を計算して照合する。
上記（１）の技術は、図１に示されるように構成されている。図１において、モデルフィッティング手段１００１は、ギャラリ画像Ｉｇにできるだけ類似するように画像変動モデル１００３のパラメタを決定する。このとき決定された一連のパラメタのうち、照合の目的に対応するパラメタが目的パラメタｐｔｇ、それ以外のパラメタが外部パラメタｐｅｇである。モデル画像Ｉ’ｇはこのとき生成された画像である。例えば、個人の顔の照合を行う場合、目的パラメタｐｔｇは個人性パラメタ、外部パラメタｐｅｇは姿勢や照明の各要素を表すパラメタとなる。同様に、モデルフィッティング手段１００２によって、プローブ画像Ｉｐにできるだけ類似するようなモデル画像Ｉ’ｐが得られるように、画像変動モデル１００３の目的パラメタｐｔｐおよび外部パラメタｐｅｐが決定される。そして、パラメタ照合手段１００４において、目的パラメタｐｔｇ，ｐｔｐどうしの類似度が計算される。この計算結果を当該ギャラリ画像Ｉｇとプローブ画像Ｉｐの類似度とする。ギャラリ画像Ｉｇが複数存在する場合、他のギャラリ画像について同様の計算を行い、最も類似度の高かったギャラリ画像Ｉｇを照合結果とする。
上記（２）の技術では、目的パラメタの値をプローブ画像から求めた目的パラメタｐｔｐの値とし、その他のパラメタをギャラリ画像から推定した外部パラメタｐｅｇの値としたときの画像が比較画像として、画像変動モデル１００３から生成される。この比較画像と元のギャラリ画像Ｉｇとの類似度が計算される。この類似度を当該ギャラリ画像Ｉｇとプローブ画像Ｉｐの類似度とする。ギャラリ画像Ｉｇが複数存在する場合、他のギャラリ画像についても同様の計算が行なわれ、最も類似度の高かったギャラリ画像Ｉｇが照合結果となる。
・先行技術文献１：特開２００２−１５７５９５号公報
・先行技術文献２：Ｖｏｌｋｅｒ Ｂｌａｎｚ，Ｔｈｏｍａｓ Ｖｅｔｔｅｒ，″Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ Ｂａｓｅｄ ｏｎ Ｆｉｔｔｉｎｇ ａ ３Ｄ Ｍｏｒｐｈａｂｌｅ Ｍｏｄｅｌ″，ＩＥＥＥ Ｔｒａｎｓ．ＰＡＭＩ，ｖｏｌ．２５，ｎｏ．９，ｐｐ．１０６３−１０７４，２００３
・先行技術文献３：Ｓａｍｉ Ｒｏｍｄｈａｎｉ，Ｖｏｌｋｅｒ Ｂｌａｎｚ，Ｔｈｏｍａｓ Ｖｅｔｔｅｒ，″Ｆａｃｅ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｂｙ Ｆｉｔｔｉｎｇ ａ ３Ｄ Ｍｏｒｐｈａｂｌｅ Ｍｏｄｅｌ ｕｓｉｎｇ Ｌｉｎｅａｒ Ｓｈａｐｅ ａｎｄ Ｔｅｘｔｕｒｅ Ｅｒｒｏｒ Ｆｕｎｃｔｉｏｎｓ″，Ｐｒｏｃ．ＥＣＣＶ ２００２，ｐｐ．３−１９，２００２
・先行技術文献４：Ａｎｄｒｅａｓ Ｌａｎｉｔｉｓ，Ｃｈｒｉｓ Ｊ．Ｔａｙｌｏｒ，Ｔｉｍｏｔｈｙ Ｆ．Ｃｏｏｔｅｓ，″Ａｕｔｏｍａｔｉｃ Ｉｎｔｅｒｐｒｅｔａｔｉｏｎ ａｎｄ Ｃｏｄｉｎｇ ｏｆ Ｆａｃｅ Ｉｍａｇｅｓ Ｕｓｉｎｇ Ｆｌｅｘｉｂｌｅ Ｍｏｄｅｌｓ″，ＩＥＥＥ Ｔｒａｎｓ．ＰＡＴＴＥＲＮ ＡＮＡＬＹＳＩＳ ＡＮＤ ＭＡＣＨＩＮＥ ＩＮＴＥＬＬＩＧＥＮＣＥ，ＶＯＬ．１９，ＮＯ．７，ＪＵＬＹ １９９７
しかし、認識対象画像と参照画像との間で、認識したい要素でないその他の要素が変動する場合、それらによって生じる画像の変動が認識目的の要素に起因する変動よりも大きくなると、認識したい要素が同一であってもそれが同一であると認識することが困難となり、認識性能が低下する問題があった。
一例として、人物の顔画像を入力として個人識別を行う顔照合システムにおいては、認識したい要素は顔の個人性であり、その他の画像変動要素として顔の姿勢、照明条件などがある。姿勢や照明の変化によって生じる画像輝度値の変化が、個人差によって生じる画像輝度値の変動より大きい場合、同一人物の画像データどうしであっても、他人であると判定してしまうといった誤照合が起こる原因となっていた。
このような問題を改善するために、画像変動を生じさせる多様な要素とその結果として生じる画像変動との関係をあらかじめ用意した学習データ群などからモデル化し、各要素をパラメタ（パラメータと同義）として与えると、その状況における画像を生成できる画像変動モデルを利用する方法が種々提案されている。すなわち、与えられた入力画像に対して画像変動モデルによって生成される画像ができるだけ近くなるようなパラメタの値を推定するモデルフィッティング処理を行い、得られたパラメタ値のうち認識対象のパラメタ値に基づいて認識を行う技術である。
以下の先行技術文献２には、上記技術の一例が開示されている。同技術は、あらかじめ集めた多くの人物の３次元顔モデルを元に、個人差の要素すなわち顔の３次元形状とテクスチャとの個性を表すパラメタによって３次元顔モデルを生成するモデルを作成する技術である。
さらに、顔の姿勢と照明条件とを表すパラメタによって、３次元顔モデルデータからコンピュータグラフィクスを用いて前記姿勢および照明パラメタのあらわす状況下での顔画像が生成される。以上のモデルは、個人性、顔の姿勢、照明条件をパラメタとして与えると、それらの状況における顔画像を生成できる画像変動モデルの一例であり、顔のモーファブルモデル（以下ＭＭとも称す）と呼ばれる。
そして、先行技術文献２では、参照画像（以下ギャラリ画像とも称す）と認識対象画像（以下プローブ画像とも称す）とのそれぞれの画像に対してＭＭをフィッティングして、個人性、姿勢、照明の各要素を表すパラメタを推定し、この推定したパラメタ群に基づいて両画像を照合する技術が示されている。具体的には、以下の２つの技術が示されている。
（１）推定されたパラメタ群のうち、目的パラメタのみの類似度を計算して照合する。（２）目的パラメタの値を認識対象画像から求めた値とし、その他のパラメタを登録画像から推定した値にしたときの画像を比較画像としてＭＭから生成し、この生成した画像と登録画像との類似度を計算して照合する。
上記（１）の技術は、図１に示されるように構成されている。図１において、モデルフィッティング手段１００１は、ギャラリ画像Ｉｇにできるだけ類似するように画像変動モデル１００３のパラメタを決定する。このとき決定された一連のパラメタのうち、照合の目的に対応するパラメタが目的パラメタｐｔｇ、それ以外のパラメタが外部パラメタｐｅｇである。モデル画像Ｉ’ｇはこのとき生成された画像である。例えば、個人の顔の照合を行う場合、目的パラメタｐｔｇは個人性パラメタ、外部パラメタｐｅｇは姿勢や照明の各要素を表すパラメタとなる。同様に、モデルフィッティング手段１００２によって、プローブ画像Ｉｐにできるだけ類似するようなモデル画像Ｉ’ｐが得られるように、画像変動モデル１００３の目的パラメタｐｔｐおよび外部パラメタｐｅｐが決定される。そして、パラメタ照合手段１００４において、目的パラメタｐｔｇ，ｐｔｐどうしの類似度が計算される。この計算結果を当該ギャラリ画像Ｉｇとプローブ画像Ｉｐの類似度とする。ギャラリ画像Ｉｇが複数存在する場合、他のギャラリ画像について同様の計算を行い、最も類似度の高かったギャラリ画像Ｉｇを照合結果とする。
上記（２）の技術では、目的パラメタの値をプローブ画像から求めた目的パラメタｐｔｐの値とし、その他のパラメタをギャラリ画像から推定した外部パラメタｐｅｇの値としたときの画像が比較画像として、画像変動モデル１００３から生成される。この比較画像と元のギャラリ画像Ｉｇとの類似度が計算される。この類似度を当該ギャラリ画像Ｉｇとプローブ画像Ｉｐの類似度とする。ギャラリ画像Ｉｇが複数存在する場合、他のギャラリ画像についても同様の計算が行なわれ、最も類似度の高かったギャラリ画像Ｉｇが照合結果となる。
・先行技術文献１：特開２００２−１５７５９５号公報
・先行技術文献２：Ｖｏｌｋｅｒ Ｂｌａｎｚ，Ｔｈｏｍａｓ Ｖｅｔｔｅｒ，″Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ Ｂａｓｅｄ ｏｎ Ｆｉｔｔｉｎｇ ａ ３Ｄ Ｍｏｒｐｈａｂｌｅ Ｍｏｄｅｌ″，ＩＥＥＥ Ｔｒａｎｓ．ＰＡＭＩ，ｖｏｌ．２５，ｎｏ．９，ｐｐ．１０６３−１０７４，２００３
・先行技術文献３：Ｓａｍｉ Ｒｏｍｄｈａｎｉ，Ｖｏｌｋｅｒ Ｂｌａｎｚ，Ｔｈｏｍａｓ Ｖｅｔｔｅｒ，″Ｆａｃｅ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｂｙ Ｆｉｔｔｉｎｇ ａ ３Ｄ Ｍｏｒｐｈａｂｌｅ Ｍｏｄｅｌ ｕｓｉｎｇ Ｌｉｎｅａｒ Ｓｈａｐｅ ａｎｄ Ｔｅｘｔｕｒｅ Ｅｒｒｏｒ Ｆｕｎｃｔｉｏｎｓ″，Ｐｒｏｃ．ＥＣＣＶ ２００２，ｐｐ．３−１９，２００２
・先行技術文献４：Ａｎｄｒｅａｓ Ｌａｎｉｔｉｓ，Ｃｈｒｉｓ Ｊ．Ｔａｙｌｏｒ，Ｔｉｍｏｔｈｙ Ｆ．Ｃｏｏｔｅｓ，″Ａｕｔｏｍａｔｉｃ Ｉｎｔｅｒｐｒｅｔａｔｉｏｎ ａｎｄ Ｃｏｄｉｎｇ ｏｆ Ｆａｃｅ Ｉｍａｇｅｓ Ｕｓｉｎｇ Ｆｌｅｘｉｂｌｅ Ｍｏｄｅｌｓ″，ＩＥＥＥ Ｔｒａｎｓ．ＰＡＴＴＥＲＮ ＡＮＡＬＹＳＩＳ ＡＮＤ ＭＡＣＨＩＮＥ ＩＮＴＥＬＬＩＧＥＮＣＥ，ＶＯＬ．１９，ＮＯ．７，ＪＵＬＹ １９９７
しかし、上記した先行技術文献２に記載される技術のフィッティング処理の高速化技術を示している先行技術文献３において指摘されているように、上記（１）および（２）のどちらの技術も推定されたパラメタの値の類似度に基づいて認識を行うため、照合性能がモデルフィッティング処理の絶対的な精度に強く影響される。これは、先行技術文献３の技術を用いた場合も同様である。
モデルフィッティング処理は、多数のパラメタの非線形最適化処理であるため、状況によって推定が不安定になり、また局所解に陥りやすくなり、さらに、与える初期値によって推定値の精度が影響されるなどの問題があり、絶対的な精度を高めるのは難しい。推定されるパラメタの値の精度が低下すると、上記（１）および（２）の技術では、プローブ画像とそれに正しく合致するギャラリ画像との間の類似度と、プローブ画像とその他のギャラリ画像との間の類似度とに明確な差が現れないため、照合精度が大きく低下するという問題があった。
本発明の目的は、認識対象となる画像や３次元データに対して画像変動モデルや３次元データ変動モデルをフィッティングして変動要素を推定する際に、フィッティング処理の絶対的な精度の低下による影響を軽減することにある。
モデルフィッティング処理は、多数のパラメタの非線形最適化処理であるため、状況によって推定が不安定になり、また局所解に陥りやすくなり、さらに、与える初期値によって推定値の精度が影響されるなどの問題があり、絶対的な精度を高めるのは難しい。推定されるパラメタの値の精度が低下すると、上記（１）および（２）の技術では、プローブ画像とそれに正しく合致するギャラリ画像との間の類似度と、プローブ画像とその他のギャラリ画像との間の類似度とに明確な差が現れないため、照合精度が大きく低下するという問題があった。
本発明の目的は、認識対象となる画像や３次元データに対して画像変動モデルや３次元データ変動モデルをフィッティングして変動要素を推定する際に、フィッティング処理の絶対的な精度の低下による影響を軽減することにある。
本発明の第１の態様に係る照合装置は、物体の画像または３次元データである対象データと参照データとを照合する装置であって、複数のパラメタの値を調整することにより物体の画像または３次元データであるモデルデータを生成できる変動モデルを記憶する記憶手段と、前記記憶手段に記憶された変動モデルを用い、前記複数のパラメタのうち、前記対象データと前記参照データ間で同一かどうかを判定する対象となるパラメタを目的パラメタ、それ以外のパラメタを外部パラメタとし、対象データと参照データとで目的パラメタを同一の値にした条件の下で、前記対象データに類似する対象モデルデータと前記参照データに類似する参照モデルデータとを前記変動モデルから生成するために最適な前記パラメタの値を推定するモデルフィッティング手段と、前記推定されたパラメタの下での前記対象モデルデータおよび前記参照モデルデータの前記対象データおよび前記参照データに対するモデル適合度を算出するモデル適合度評価手段とを備えることを特徴とする。
本発明の第２の態様に係る照合装置は、前記算出されたモデル適合度と予め定められた閾値とを比較することにより、前記対象データと前記参照データ間における前記目的パラメタの同一性を判定する照合手段を備えることを特徴とする。
本発明の第３の態様に係る照合装置は、複数の参照データのそれぞれと前記対象データとの組み合わせについて前記モデルフィッティング手段およびモデル適合度評価手段による処理を繰り返し、最も良いモデル適合度が得られた組み合わせにおける目的パラメタの値を前記対象データの目的パラメタの推定値とする照合手段を備えることを特徴とする。
本発明の第４の態様に係る照合装置は、複数の参照データのそれぞれと前記対象データとの組み合わせについて前記モデルフィッティング手段およびモデル適合度評価手段による処理を繰り返し、予め定められた閾値以上のモデル適合度が得られた複数の組み合わせにおける目的パラメタから計算した値を、前記対象データの目的パラメタの推定値とする照合手段を備えることを特徴とする。
本発明の第５の態様に係る照合装置は、前記モデル適合度評価手段は、前記生成された前記対象モデルデータと前記対象データとの間の誤差および前記生成された前記参照モデルデータと前記参照データとの間の誤差を計算し、該計算した誤差から前記モデル適合度を算出することを特徴とする。
本発明の第６の態様に係る照合装置は、前記モデル適合度評価手段は、前記推定されたパラメタの値の確からしさを示すパラメタ確信度を予め定められたパラメタ基準情報を参照して計算し、該計算したパラメタ確信度から前記モデル適合度を算出することを特徴とする。
本発明の第７の態様に係る照合装置は、前記モデル適合度評価手段は、前記生成された前記対象モデルデータと前記対象データとの間の誤差および前記生成された前記参照モデルデータと前記参照データとの間の誤差を計算すると共に、前記推定されたパラメタの値の確からしさを示すパラメタ確信度を予め定められたパラメタ基準情報を参照して計算し、前記計算した誤差およびパラメタ確信度から前記モデル適合度を算出することを特徴とする。
本発明の第８の態様に係る照合装置は、前記パラメタ基準情報が、前記パラメタの値の取り得る値域であることを特徴とする。
本発明の第９の態様に係る照合装置は、前記パラメタ基準情報が、前記パラメタの正解値であることを特徴とする。
本発明の第１０の態様に係る照合装置は、前記パラメタ基準情報が、前記パラメタの値の確率分布であることを特徴とする。
本発明の第１１の態様に係る照合装置は、前記モデルフィッティング手段は、前記対象データに類似する対象個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値、および、前記参照データに類似する参照個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値を、前記対象データと前記参照データとで目的パラメタの値が必ずしも同一でないとの条件の下に推定し、前記モデル適合度評価手段は、前記推定された対象個別モデルデータの前記パラメタの値および前記参照個別モデルデータの前記パラメタの値を、前記パラメタ基準情報とすることを特徴とする。
本発明の第１２の態様に係る照合装置は、前記モデルフィッティング手段は、前記対象データに類似する対象個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値、および、前記参照データに類似する参照個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値を、前記対象データと前記参照データとで目的パラメタの値が必ずしも同一でないとの条件の下に推定し、前記モデル適合度評価手段は、前記対象個別モデルデータと前記対象データとの間の誤差、前記参照個別モデルデータと前記参照データとの間の誤差、前記対象モデルデータと前記対象個別モデルデータとの間の誤差、前記参照モデルデータと前記参照個別モデルデータとの間の誤差の少なくとも一つの誤差をさらに考慮に入れて前記モデル適合度を算出することを特徴とする。
本発明の第１３の態様に係る照合装置は、前記変動モデルとして、様々な物体の３次元モデルを含み、物体を指定するパラメタに応じて指定の物体の３次元モデルを選択し、該選択した３次元モデルを、物体の状態、姿勢、照明条件、カメラの特性などのパラメタに応じて変形し、さらに、コンピュータグラフィクスを用いて前記パラメタの表す状況下での画像を生成する画像変動モデルを使用することを特徴とする。
本発明の第１４の態様に係る照合装置は、前記変動モデルとして、物体の個性や状態を指定するパラメタに応じて該状態における物体の３次元モデルを計算し、該計算した３次元モデルを、物体の姿勢、照明条件、カメラの特性などのパラメタに応じて変形し、さらに、コンピュータグラフィクスを用いて前記パラメタの表す状況下での画像を生成する画像変動モデルを使用することを特徴とする。
本発明の第１５の態様に係る照合装置は、前記変動モデルとして、様々な物体の３次元モデルを含み、物体を指定するパラメタに応じて指定の物体の３次元モデルを選択し、該選択した３次元モデルを、物体の状態、姿勢、照明条件、カメラの特性などのパラメタに応じて変形する３次元データ変動モデルを使用することを特徴とする。
本発明の第１６の態様に係る照合装置は、前記変動モデルとして、物体の個性や状態を指定するパラメタに応じて該状態における物体の３次元モデルを計算し、該計算した３次元モデルを、物体の姿勢、照明条件、カメラの特性などのパラメタに応じて変形する３次元データ変動モデルを使用することを特徴とする。
本発明の第１７の態様に係る照合装置は、前記目的パラメタが物体の種類を記述するパラメタであり、前記照合手段が前記対象データと前記参照データの物体が同一であるかを判定する手段であることを特徴とする。
本発明の第１８の態様に係る照合装置は、前記変動モデルが顔の画像または３次元データを生成するモデルであり、前記目的パラメタが人物の個性を記述するパラメタであり、前記照合手段が前記対象データと前記参照データの人物が同一であるかを照合する手段であることを特徴とする。
本発明の第１９の態様に係る照合装置は、前記目的パラメタが物体の位置または姿勢を特定するパラメタであり、前記照合手段が前記対象データと前記参照データの物体の位置または姿勢が同一であるかを照合する手段であることを特徴とする。
本発明の第２０の態様に係る照合装置は、前記変動モデルが顔の画像または３次元データを生成するモデルであり、前記目的パラメタが人物の顔の表情を特定するパラメタであり、前記照合手段が前記対象データと前記参照データの顔の表情が同一であるかを照合する手段であることを特徴とする。
本発明の第１の態様に係る照合方法は、コンピュータを用いて物体の画像または３次元データである対象データと参照データとを照合する方法であって、前記コンピュータが、複数のパラメタの値を調整することにより物体の画像または３次元データであるモデルデータを生成できる変動モデルを用い、前記複数のパラメタのうち、前記対象データと前記参照データ間で同一かどうかを判定する対象となるパラメタを目的パラメタ、それ以外のパラメタを外部パラメタとし、対象データと参照データとで目的パラメタを同一の値にした条件の下で、前記対象データに類似する対象モデルデータと前記参照データに類似する参照モデルデータとを前記変動モデルから生成するために最適な前記パラメタの値を推定する第１のステップと、前記コンピュータが、前記推定されたパラメタの下での前記対象モデルデータおよび前記参照モデルデータの前記対象データおよび前記参照データに対するモデル適合度を算出する第２のステップとを含むことを特徴とする。
本発明の第２の態様に係る照合方法は、前記コンピュータが、前記算出されたモデル適合度と予め定められた閾値とを比較することにより、前記対象データと前記参照データ間における前記目的パラメタの同一性を判定する第３のステップをさらに含むことを特徴とする。
本発明の第３の態様に係る照合方法は、前記コンピュータが、複数の参照データのそれぞれと前記対象データとの組み合わせについて前記第１および第２のステップを繰り返し、最も良いモデル適合度が得られた組み合わせにおける目的パラメタの値を前記対象データの目的パラメタの推定値とする第３のステップをさらに含むことを特徴とする。
本発明の第４の態様に係る照合方法は、前記コンピュータが、複数の参照データのそれぞれと前記対象データとの組み合わせについて前記第１および第２のステップを繰り返し、予め定められた閾値以上のモデル適合度が得られた複数の組み合わせにおける目的パラメタから計算した値を、前記対象データの目的パラメタの推定値とする第３のステップをさらに含むことを特徴とする。
本発明の第５の態様に係る照合方法は、前記第２のステップにおいては、前記生成された前記対象モデルデータと前記対象データとの間の誤差および前記生成された前記参照モデルデータと前記参照データとの間の誤差を計算し、該計算した誤差から前記モデル適合度を算出することを特徴とする。
本発明の第６の態様に係る照合方法は、前記第２のステップにおいては、前記推定されたパラメタの値の確からしさを示すパラメタ確信度を予め定められたパラメタ基準情報を参照して計算し、該計算したパラメタ確信度から前記モデル適合度を算出することを特徴とする。
本発明の第７の態様に係る照合方法は、前記第２のステップにおいては、前記生成された前記対象モデルデータと前記対象データとの間の誤差および前記生成された前記参照モデルデータと前記参照データとの間の誤差を計算すると共に、前記推定されたパラメタの値の確からしさを示すパラメタ確信度を予め定められたパラメタ基準情報を参照して計算し、前記計算した誤差およびパラメタ確信度から前記モデル適合度を算出することを特徴とする。
本発明の第８の態様に係る照合方法は、前記パラメタ基準情報が、前記パラメタの値の取り得る値域であることを特徴とする。
本発明の第９の態様に係る照合方法は、前記パラメタ基準情報が、前記パラメタの正解値であることを特徴とする。
本発明の第１０の態様に係る照合方法は、前記パラメタ基準情報が、前記パラメタの値の確率分布であることを特徴とする。
本発明の第１１の態様に係る照合方法は、前記コンピュータが、前記対象データに類似する対象個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値、および、前記参照データに類似する参照個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値を、前記対象データと前記参照データとで目的パラメタの値が必ずしも同一でないとの条件の下に推定し、該推定した対象個別モデルデータの前記パラメタの値および前記参照個別モデルデータの前記パラメタの値を、前記パラメタ基準情報とすることを特徴とする。
本発明の第１２の態様に係る照合方法は、前記コンピュータが、前記対象データに類似する対象個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値、および、前記参照データに類似する参照個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値を、前記対象データと前記参照データとで目的パラメタの値が必ずしも同一でないとの条件の下に推定し、前記対象個別モデルデータと前記対象データとの間の誤差、前記参照個別モデルデータと前記参照データとの間の誤差、前記対象モデルデータと前記対象個別モデルデータとの間の誤差、前記参照モデルデータと前記参照個別モデルデータとの間の誤差の少なくとも一つの誤差をさらに考慮に入れて前記モデル適合度を算出することを特徴とする。
本発明では、プローブ画像とギャラリ画像との間での、認識目的とする画像変動要素の類似性判定には、その要素をあらわすパラメタの値自体を推定する必要はなく、両画像においてその要素が同一であるかどうか、すなわち、同一であることの確からしさだけが分かればよいことを利用する。さらに本発明では、ある画像変動要素が同じである複数の画像に対して、当該同じである要素をあらわすパラメタを共通にして、画像変動モデルを両方の画像にフィッティングさせる処理はそれなりの精度で行えるのに対し、逆に、ある画像変動要素が異なっている画像群に対して、当該異なっている要素をあらわすパラメタを共通にして、画像変動モデルを両方の画像にフィッティングさせる処理は極端にその精度が低下する現象を利用する。プローブ画像とギャラリデータ、プローブデータとギャラリ画像、プローブデータとギャラリデータとの類似性判定についても同様である。
すなわち本発明では、複数のパラメタの値を調整することにより物体の画像または３次元データであるモデルデータを生成できる変動モデルを用い、前記複数のパラメタのうち、前記対象データと前記参照データ間で同一かどうかを判定する対象となるパラメタを目的パラメタ、それ以外のパラメタを外部パラメタとし、対象データと参照データとで目的パラメタを同一の値にした条件の下で、前記対象データに類似する対象モデルデータと前記参照データに類似する参照モデルデータとを前記変動モデルから生成するために最適な前記パラメタの値を推定し、前記推定されたパラメタの下での前記対象モデルデータおよび前記参照モデルデータの前記対象データおよび前記参照データに対するモデル適合度を算出し、該算出されたモデル適合度と予め定められた閾値とを比較することにより、前記対象データと前記参照データ間における前記目的パラメタの同一性を判定する。
前記モデル適合度としては、一例として、前記生成された前記対象モデルデータと前記対象データとの間の誤差および前記生成された前記参照モデルデータと前記参照データとの間の誤差を計算し、該計算した誤差から導出される値を用いることができ、また、他の例として、前記推定されたパラメタの値の確からしさを示すパラメタ確信度を予め定められたパラメタ基準情報（例えばパラメタの値の取り得る値域、パラメタの正解値、パラメタの値の確率分布など）を参照して計算し、該計算したパラメタ確信度から導出される値を用いることができ、さらにこれらを組み合わせて使用することもできる。また、前記対象データに類似する対象個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値、および、前記参照データに類似する参照個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値を、前記対象データと前記参照データとで目的パラメタの値が必ずしも同一でないとの条件の下に推定し、この推定された対象個別モデルデータの前記パラメタの値および前記参照個別モデルデータの前記パラメタの値を、前記パラメタ基準情報とすることもできる。
また前記対象データに類似する対象個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値、および、前記参照データに類似する参照個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値を、前記対象データと前記参照データとで目的パラメタの値が必ずしも同一でないとの条件の下に推定し、前記対象個別モデルデータと前記対象データとの間の誤差、前記参照個別モデルデータと前記参照データとの間の誤差、前記対象モデルデータと前記対象個別モデルデータとの間の誤差、前記参照モデルデータと前記参照個別モデルデータとの間の誤差の少なくとも一つの誤差をさらに考慮に入れて前記モデル適合度を算出することもできる。
本発明の第２の態様に係る照合装置は、前記算出されたモデル適合度と予め定められた閾値とを比較することにより、前記対象データと前記参照データ間における前記目的パラメタの同一性を判定する照合手段を備えることを特徴とする。
本発明の第３の態様に係る照合装置は、複数の参照データのそれぞれと前記対象データとの組み合わせについて前記モデルフィッティング手段およびモデル適合度評価手段による処理を繰り返し、最も良いモデル適合度が得られた組み合わせにおける目的パラメタの値を前記対象データの目的パラメタの推定値とする照合手段を備えることを特徴とする。
本発明の第４の態様に係る照合装置は、複数の参照データのそれぞれと前記対象データとの組み合わせについて前記モデルフィッティング手段およびモデル適合度評価手段による処理を繰り返し、予め定められた閾値以上のモデル適合度が得られた複数の組み合わせにおける目的パラメタから計算した値を、前記対象データの目的パラメタの推定値とする照合手段を備えることを特徴とする。
本発明の第５の態様に係る照合装置は、前記モデル適合度評価手段は、前記生成された前記対象モデルデータと前記対象データとの間の誤差および前記生成された前記参照モデルデータと前記参照データとの間の誤差を計算し、該計算した誤差から前記モデル適合度を算出することを特徴とする。
本発明の第６の態様に係る照合装置は、前記モデル適合度評価手段は、前記推定されたパラメタの値の確からしさを示すパラメタ確信度を予め定められたパラメタ基準情報を参照して計算し、該計算したパラメタ確信度から前記モデル適合度を算出することを特徴とする。
本発明の第７の態様に係る照合装置は、前記モデル適合度評価手段は、前記生成された前記対象モデルデータと前記対象データとの間の誤差および前記生成された前記参照モデルデータと前記参照データとの間の誤差を計算すると共に、前記推定されたパラメタの値の確からしさを示すパラメタ確信度を予め定められたパラメタ基準情報を参照して計算し、前記計算した誤差およびパラメタ確信度から前記モデル適合度を算出することを特徴とする。
本発明の第８の態様に係る照合装置は、前記パラメタ基準情報が、前記パラメタの値の取り得る値域であることを特徴とする。
本発明の第９の態様に係る照合装置は、前記パラメタ基準情報が、前記パラメタの正解値であることを特徴とする。
本発明の第１０の態様に係る照合装置は、前記パラメタ基準情報が、前記パラメタの値の確率分布であることを特徴とする。
本発明の第１１の態様に係る照合装置は、前記モデルフィッティング手段は、前記対象データに類似する対象個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値、および、前記参照データに類似する参照個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値を、前記対象データと前記参照データとで目的パラメタの値が必ずしも同一でないとの条件の下に推定し、前記モデル適合度評価手段は、前記推定された対象個別モデルデータの前記パラメタの値および前記参照個別モデルデータの前記パラメタの値を、前記パラメタ基準情報とすることを特徴とする。
本発明の第１２の態様に係る照合装置は、前記モデルフィッティング手段は、前記対象データに類似する対象個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値、および、前記参照データに類似する参照個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値を、前記対象データと前記参照データとで目的パラメタの値が必ずしも同一でないとの条件の下に推定し、前記モデル適合度評価手段は、前記対象個別モデルデータと前記対象データとの間の誤差、前記参照個別モデルデータと前記参照データとの間の誤差、前記対象モデルデータと前記対象個別モデルデータとの間の誤差、前記参照モデルデータと前記参照個別モデルデータとの間の誤差の少なくとも一つの誤差をさらに考慮に入れて前記モデル適合度を算出することを特徴とする。
本発明の第１３の態様に係る照合装置は、前記変動モデルとして、様々な物体の３次元モデルを含み、物体を指定するパラメタに応じて指定の物体の３次元モデルを選択し、該選択した３次元モデルを、物体の状態、姿勢、照明条件、カメラの特性などのパラメタに応じて変形し、さらに、コンピュータグラフィクスを用いて前記パラメタの表す状況下での画像を生成する画像変動モデルを使用することを特徴とする。
本発明の第１４の態様に係る照合装置は、前記変動モデルとして、物体の個性や状態を指定するパラメタに応じて該状態における物体の３次元モデルを計算し、該計算した３次元モデルを、物体の姿勢、照明条件、カメラの特性などのパラメタに応じて変形し、さらに、コンピュータグラフィクスを用いて前記パラメタの表す状況下での画像を生成する画像変動モデルを使用することを特徴とする。
本発明の第１５の態様に係る照合装置は、前記変動モデルとして、様々な物体の３次元モデルを含み、物体を指定するパラメタに応じて指定の物体の３次元モデルを選択し、該選択した３次元モデルを、物体の状態、姿勢、照明条件、カメラの特性などのパラメタに応じて変形する３次元データ変動モデルを使用することを特徴とする。
本発明の第１６の態様に係る照合装置は、前記変動モデルとして、物体の個性や状態を指定するパラメタに応じて該状態における物体の３次元モデルを計算し、該計算した３次元モデルを、物体の姿勢、照明条件、カメラの特性などのパラメタに応じて変形する３次元データ変動モデルを使用することを特徴とする。
本発明の第１７の態様に係る照合装置は、前記目的パラメタが物体の種類を記述するパラメタであり、前記照合手段が前記対象データと前記参照データの物体が同一であるかを判定する手段であることを特徴とする。
本発明の第１８の態様に係る照合装置は、前記変動モデルが顔の画像または３次元データを生成するモデルであり、前記目的パラメタが人物の個性を記述するパラメタであり、前記照合手段が前記対象データと前記参照データの人物が同一であるかを照合する手段であることを特徴とする。
本発明の第１９の態様に係る照合装置は、前記目的パラメタが物体の位置または姿勢を特定するパラメタであり、前記照合手段が前記対象データと前記参照データの物体の位置または姿勢が同一であるかを照合する手段であることを特徴とする。
本発明の第２０の態様に係る照合装置は、前記変動モデルが顔の画像または３次元データを生成するモデルであり、前記目的パラメタが人物の顔の表情を特定するパラメタであり、前記照合手段が前記対象データと前記参照データの顔の表情が同一であるかを照合する手段であることを特徴とする。
本発明の第１の態様に係る照合方法は、コンピュータを用いて物体の画像または３次元データである対象データと参照データとを照合する方法であって、前記コンピュータが、複数のパラメタの値を調整することにより物体の画像または３次元データであるモデルデータを生成できる変動モデルを用い、前記複数のパラメタのうち、前記対象データと前記参照データ間で同一かどうかを判定する対象となるパラメタを目的パラメタ、それ以外のパラメタを外部パラメタとし、対象データと参照データとで目的パラメタを同一の値にした条件の下で、前記対象データに類似する対象モデルデータと前記参照データに類似する参照モデルデータとを前記変動モデルから生成するために最適な前記パラメタの値を推定する第１のステップと、前記コンピュータが、前記推定されたパラメタの下での前記対象モデルデータおよび前記参照モデルデータの前記対象データおよび前記参照データに対するモデル適合度を算出する第２のステップとを含むことを特徴とする。
本発明の第２の態様に係る照合方法は、前記コンピュータが、前記算出されたモデル適合度と予め定められた閾値とを比較することにより、前記対象データと前記参照データ間における前記目的パラメタの同一性を判定する第３のステップをさらに含むことを特徴とする。
本発明の第３の態様に係る照合方法は、前記コンピュータが、複数の参照データのそれぞれと前記対象データとの組み合わせについて前記第１および第２のステップを繰り返し、最も良いモデル適合度が得られた組み合わせにおける目的パラメタの値を前記対象データの目的パラメタの推定値とする第３のステップをさらに含むことを特徴とする。
本発明の第４の態様に係る照合方法は、前記コンピュータが、複数の参照データのそれぞれと前記対象データとの組み合わせについて前記第１および第２のステップを繰り返し、予め定められた閾値以上のモデル適合度が得られた複数の組み合わせにおける目的パラメタから計算した値を、前記対象データの目的パラメタの推定値とする第３のステップをさらに含むことを特徴とする。
本発明の第５の態様に係る照合方法は、前記第２のステップにおいては、前記生成された前記対象モデルデータと前記対象データとの間の誤差および前記生成された前記参照モデルデータと前記参照データとの間の誤差を計算し、該計算した誤差から前記モデル適合度を算出することを特徴とする。
本発明の第６の態様に係る照合方法は、前記第２のステップにおいては、前記推定されたパラメタの値の確からしさを示すパラメタ確信度を予め定められたパラメタ基準情報を参照して計算し、該計算したパラメタ確信度から前記モデル適合度を算出することを特徴とする。
本発明の第７の態様に係る照合方法は、前記第２のステップにおいては、前記生成された前記対象モデルデータと前記対象データとの間の誤差および前記生成された前記参照モデルデータと前記参照データとの間の誤差を計算すると共に、前記推定されたパラメタの値の確からしさを示すパラメタ確信度を予め定められたパラメタ基準情報を参照して計算し、前記計算した誤差およびパラメタ確信度から前記モデル適合度を算出することを特徴とする。
本発明の第８の態様に係る照合方法は、前記パラメタ基準情報が、前記パラメタの値の取り得る値域であることを特徴とする。
本発明の第９の態様に係る照合方法は、前記パラメタ基準情報が、前記パラメタの正解値であることを特徴とする。
本発明の第１０の態様に係る照合方法は、前記パラメタ基準情報が、前記パラメタの値の確率分布であることを特徴とする。
本発明の第１１の態様に係る照合方法は、前記コンピュータが、前記対象データに類似する対象個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値、および、前記参照データに類似する参照個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値を、前記対象データと前記参照データとで目的パラメタの値が必ずしも同一でないとの条件の下に推定し、該推定した対象個別モデルデータの前記パラメタの値および前記参照個別モデルデータの前記パラメタの値を、前記パラメタ基準情報とすることを特徴とする。
本発明の第１２の態様に係る照合方法は、前記コンピュータが、前記対象データに類似する対象個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値、および、前記参照データに類似する参照個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値を、前記対象データと前記参照データとで目的パラメタの値が必ずしも同一でないとの条件の下に推定し、前記対象個別モデルデータと前記対象データとの間の誤差、前記参照個別モデルデータと前記参照データとの間の誤差、前記対象モデルデータと前記対象個別モデルデータとの間の誤差、前記参照モデルデータと前記参照個別モデルデータとの間の誤差の少なくとも一つの誤差をさらに考慮に入れて前記モデル適合度を算出することを特徴とする。
本発明では、プローブ画像とギャラリ画像との間での、認識目的とする画像変動要素の類似性判定には、その要素をあらわすパラメタの値自体を推定する必要はなく、両画像においてその要素が同一であるかどうか、すなわち、同一であることの確からしさだけが分かればよいことを利用する。さらに本発明では、ある画像変動要素が同じである複数の画像に対して、当該同じである要素をあらわすパラメタを共通にして、画像変動モデルを両方の画像にフィッティングさせる処理はそれなりの精度で行えるのに対し、逆に、ある画像変動要素が異なっている画像群に対して、当該異なっている要素をあらわすパラメタを共通にして、画像変動モデルを両方の画像にフィッティングさせる処理は極端にその精度が低下する現象を利用する。プローブ画像とギャラリデータ、プローブデータとギャラリ画像、プローブデータとギャラリデータとの類似性判定についても同様である。
すなわち本発明では、複数のパラメタの値を調整することにより物体の画像または３次元データであるモデルデータを生成できる変動モデルを用い、前記複数のパラメタのうち、前記対象データと前記参照データ間で同一かどうかを判定する対象となるパラメタを目的パラメタ、それ以外のパラメタを外部パラメタとし、対象データと参照データとで目的パラメタを同一の値にした条件の下で、前記対象データに類似する対象モデルデータと前記参照データに類似する参照モデルデータとを前記変動モデルから生成するために最適な前記パラメタの値を推定し、前記推定されたパラメタの下での前記対象モデルデータおよび前記参照モデルデータの前記対象データおよび前記参照データに対するモデル適合度を算出し、該算出されたモデル適合度と予め定められた閾値とを比較することにより、前記対象データと前記参照データ間における前記目的パラメタの同一性を判定する。
前記モデル適合度としては、一例として、前記生成された前記対象モデルデータと前記対象データとの間の誤差および前記生成された前記参照モデルデータと前記参照データとの間の誤差を計算し、該計算した誤差から導出される値を用いることができ、また、他の例として、前記推定されたパラメタの値の確からしさを示すパラメタ確信度を予め定められたパラメタ基準情報（例えばパラメタの値の取り得る値域、パラメタの正解値、パラメタの値の確率分布など）を参照して計算し、該計算したパラメタ確信度から導出される値を用いることができ、さらにこれらを組み合わせて使用することもできる。また、前記対象データに類似する対象個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値、および、前記参照データに類似する参照個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値を、前記対象データと前記参照データとで目的パラメタの値が必ずしも同一でないとの条件の下に推定し、この推定された対象個別モデルデータの前記パラメタの値および前記参照個別モデルデータの前記パラメタの値を、前記パラメタ基準情報とすることもできる。
また前記対象データに類似する対象個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値、および、前記参照データに類似する参照個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値を、前記対象データと前記参照データとで目的パラメタの値が必ずしも同一でないとの条件の下に推定し、前記対象個別モデルデータと前記対象データとの間の誤差、前記参照個別モデルデータと前記参照データとの間の誤差、前記対象モデルデータと前記対象個別モデルデータとの間の誤差、前記参照モデルデータと前記参照個別モデルデータとの間の誤差の少なくとも一つの誤差をさらに考慮に入れて前記モデル適合度を算出することもできる。
本発明によれば、認識対象となる画像や３次元データに対して画像変動モデルや３次元データ変動モデルをフィッティングして変動要素を推定する際に、フィッティング処理の絶対的な精度の低下による影響を軽減することができる。その理由は、照合したい目的パラメタの値が対象データと参照データで異なる場合には、目的パラメタを共通にしたフィッティング処理では両データに類似したモデルデータが決して求まらないためにモデル適合度が極端に悪化し、逆に、照合したい目的パラメタの値が両データで同じである場合には、両データに類似したモデルデータが基本的には必ず求まるためにモデル適合度が良い値を示す点を利用し、照合したい目的パラメタが両データで同じであるときと異なるときのモデル適合度の値の隔たりを顕著化させているためである。
図１は、従来技術の説明図である。
図２は、本発明の第１の実施の形態のブロック図である。
図３は、本発明の第１の実施の形態における処理の流れを示す図である。
図４は、本発明の第１の実施の形態における２Ｄモデルフィッティング手段の構成とその処理の流れを示す図である。
図５は、本発明の第２の実施の形態のブロック図である。
図６は、本発明の第２の実施の形態における処理の流れを示す図である。
図７は、本発明の第２の実施の形態における３Ｄモデルフィッティング手段の構成とその処理の流れを示す図である。
図８は、本発明の第３の実施の形態のブロック図である。
図９は、本発明の第３の実施の形態における処理の流れを示す図である。
図１０は、本発明の第３の実施の形態における２Ｄ３Ｄモデルフィッティング手段の構成とその処理の流れを示す図である。
図１１は、本発明の第４の実施の形態のブロック図である。
図１２は、本発明の第４の実施の形態における処理の流れを示す図である。
図１３は、本発明の第４の実施の形態における２Ｄ３Ｄモデルフィッティング手段の構成とその処理の流れを示す図である。
図１４は、本発明の第５の実施の形態のブロック図である。
図１５は、本発明の第５の実施の形態における処理の流れを示す図である。
図１６は、本発明の第６の実施の形態のブロック図である。
図１７は、本発明の第６の実施の形態における処理の流れを示す図である。
図１８は、本発明の第７の実施の形態のブロック図である。
図１９は、本発明の第７の実施の形態における処理の流れを示す図である。
図２は、本発明の第１の実施の形態のブロック図である。
図３は、本発明の第１の実施の形態における処理の流れを示す図である。
図４は、本発明の第１の実施の形態における２Ｄモデルフィッティング手段の構成とその処理の流れを示す図である。
図５は、本発明の第２の実施の形態のブロック図である。
図６は、本発明の第２の実施の形態における処理の流れを示す図である。
図７は、本発明の第２の実施の形態における３Ｄモデルフィッティング手段の構成とその処理の流れを示す図である。
図８は、本発明の第３の実施の形態のブロック図である。
図９は、本発明の第３の実施の形態における処理の流れを示す図である。
図１０は、本発明の第３の実施の形態における２Ｄ３Ｄモデルフィッティング手段の構成とその処理の流れを示す図である。
図１１は、本発明の第４の実施の形態のブロック図である。
図１２は、本発明の第４の実施の形態における処理の流れを示す図である。
図１３は、本発明の第４の実施の形態における２Ｄ３Ｄモデルフィッティング手段の構成とその処理の流れを示す図である。
図１４は、本発明の第５の実施の形態のブロック図である。
図１５は、本発明の第５の実施の形態における処理の流れを示す図である。
図１６は、本発明の第６の実施の形態のブロック図である。
図１７は、本発明の第６の実施の形態における処理の流れを示す図である。
図１８は、本発明の第７の実施の形態のブロック図である。
図１９は、本発明の第７の実施の形態における処理の流れを示す図である。
次に、本発明を実施するための最良の形態について、図面を参照して詳細に説明する。
（第１の実施の形態）
図２を参照すると、本実施の形態は、プログラム制御により動作する処理装置１２００と、この処理装置１２００に接続された画像入力装置１１００、記憶装置１３００、入力装置１５００および出力装置１６００とから構成される。認識対象であるプローブ画像と参照画像であるギャラリ画像とが照合される。
画像入力装置１１００は、プローブ画像を処理装置１２００に入力する装置であり、カメラであってもよいし、図示しない記憶装置からプローブ画像を読み込んだり、ネットワークを通じてプローブ画像を受信する装置であっても良い。
記憶装置１３００は、処理装置１２００で実行するプログラムおよび照合に用いる各種のデータを記憶する。各種データには、ギャラリ画像および画像変動モデルに関するデータが含まれる。ギャラリ画像は、あらかじめ記憶装置１３００に記憶しておいても良いし、プローブ画像と共に、その都度、読み込まれても良い。
画像変動モデルは、物体の種類、物体の状態、姿勢、照明条件、カメラなどの多様な画像変動要素によって、撮影される画像がどのように変動するかを記述したモデルである。画像変動モデルは、付与される多様な画像変動要素という条件の下におけるモデル画像を生成するために使用される。画像変動モデルに関するデータには、モデル画像を生成する過程で必要とされる一切のデータが含まれる。
画像変動モデルの一例（モデル１と称す）として、上記先行技術文献２に記載されているようなモデルがある。このモデルは、多様な人物の顔画像を、３Ｄ形状の個性、テクスチャの個性、表情、顔の姿勢、照明条件、カメラの性質をそれぞれ現すパラメタを与えることによってコンピュータグラフィクスの技術により生成される画像変動モデルである。この場合、あらかじめ多数の人物の顔の３Ｄデータが集められ、形状およびテクスチャのそれぞれのデータが主成分分析され、基底３Ｄデータ群および基底テクスチャ群が計算され、記憶部に記憶される。
画像変動モデルの別の例（モデル２と称す）として、上記先行技術文献１に記載されているモデルがある。このモデルは、照合したい人物のそれぞれの３Ｄ形状データと照明基底データを備え、人物を指定し、顔の姿勢、照明、カメラの性質をそれぞれあらわすパラメタを与えることによって、該条件での該人物の顔画像を生成するような画像変動モデルである。この場合、各人物の顔の３Ｄモデルそれぞれについて、多様な照明条件下でのテクスチャ輝度値が計算され、それらデータが主成分分析され、基底テクスチャ群が計算され、記憶部に記憶される。
上記した例としてあげた画像変動モデルはあくまで一例である。このほかにも様々な画像変動モデルを利用することが可能である。３次元データを用いない画像変動モデルの一例として、上記先行技術文献４に記載された「Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ」なども同様に利用可能である。
処理装置１２００は、２Ｄモデルフィッティング手段１２０１と、モデル適合度評価手段１２０２と、照合手段１２０３とを備える。
２Ｄモデルフィッティング手段１２０１は、図３に示されるように、ギャラリ画像Ｉｇおよびプローブ画像ＩＰの両者を入力して、認識目的の要素をあらわす目的パラメタｐｔが両画像Ｉｇ，ＩＰで同一の値をとり、その他の変動要素をあらわすパラメタｐｅが両画像Ｉｇ，ＩＰで異なる値をとる場合があると仮定すると、前述したような画像変動モデル１２０４を用いてそれぞれの画像Ｉｇ，ＩＰにできるだけ近い（以下に示したコスト関数の値が小さくなるような）モデル画像Ｉ’ｇ，Ｉ’Ｐを生成できるように、各パラメタｐｔ，ｐｅの値が計算される。この技術は、上記先行技術文献１に記載の技術のように、プローブ画像ＩＰとギャラリ画像Ｉｇのそれぞれに対して独立に目的パラメタｐｔと外部パラメタｐｅの両者を推定するという技術とは異なる。すなわち、この目的パラメタｐｔが両画像で同じ値を取ると仮定して、両画像に対して同時に目的パラメタｐｔおよび外部パラメタｐｅが推定される。ここで、ギャラリ画像Ｉｇについて推定された外部パラメタｐｅをｐｅｇ、プローブ画像ＩＰについて推定された外部パラメタｐｅをｐｅｐとする。
一例として、顔画像によって人物を識別する個人認識システムを例にすると、目的パラメタｐｔは個人性をあらわすパラメタ、外部パラメタｐｅは顔の姿勢、照明条件、カメラの性質に関するパラメタである。顔の姿勢のパラメタとして、顔の３次元的な位置座標と、顔の３次元的な向きを表す３つの回転角度がある。照明条件のパラメタとしては、照明の方向と強度をあらわす３次元ベクトルを一例として利用できる。以上のパラメタの設定方法はあくまで一例であり、使用する画像変動モデルに合わせて様々に変更可能である。
別の例として、物体の位置や向きを推定する位置姿勢推定システムを例にすると、目的パラメタｐｔは姿勢パラメタであり、外部パラメタｐｅは物体の種類、照明条件、カメラの性質に関するパラメタである。ある特定の物体しか認識対象としない場合には、物体の種類のパラメタはなくてもよい。また、照明条件が同じである画像しか認識しない場合には、照明条件のパラメタはなくてもよい。このように、必要に応じてパラメタを設定することができる。
図４を参照すると、２Ｄモデルフィッティング手段１２０１は、初期値推定手段２１０１と、モデル画像生成手段２１０２と、コスト評価手段２１０３と、パラメタ推定手段２１０４とを備える。これらの手段はそれぞれ概略つぎのように動作する。
初期値推定手段２１０１は、プローブ画像ＩＰおよびギャラリ画像Ｉｇのそれぞれについて、画像変動要素のパラメタｐｔ、ｐｅｇ、ｐｅｐの初期値を求める。これは、あらかじめ与えられた既知の値でもよいし、別途のセンサーなどによって計測される値でもよく、また、各画像ＩＰ，Ｉｇに付与される情報として入力されるものでもよい。その一例として、顔画像認識の場合は、画像中の顔の目や鼻、口の位置などを示す基準点位置データを付与情報としておくことにより、該付与情報から顔の姿勢の概算値を初期値として計算することができる。
個人性のパラメタは平均値を初期値とすることができる。その他のパラメタも適時値をあらかじめ定めておいてもよい。両画像ＩＰ，Ｉｇに対する目的パラメタｐｔの初期値、プローブ画像ＩＰに対する外部パラメタｐｅｐの初期値、ギャラリ画像Ｉｇに対する外部パラメタｐｅｇの初期値は、モデル画像生成手段２１０２へ出力される。
モデル画像生成手段２１０２では、初回のモデル画像の生成時は、初期値推定手段２１０１から初期値として出力された目的パラメタｐｔおよび外部パラメタｐｅｐ，ｐｅｇが使用され、以後の繰り返し時にはパラメタ推定手段２１０４によって更新された目的パラメタｐｔおよび外部パラメタｐｅｐ，ｐｅｇが使用される。
モデル画像生成手段２１０２は、画像変動モデル１２０４を用いて、これらパラメタ｛ｐｔ，ｐｅｐ，ｐｅｇ｝の表す状況下における画像をモデル画像として生成する。パラメタが複数ある場合、｛ｐｔ，ｐｅｐ，ｐｅｇ｝はそれぞれベクトルとなる。
画像変動モデル１２０４として前記先行技術文献２に記載のモデルを用いた場合、個人性をあらわすパラメタを結合係数とした基底３Ｄデータおよび基底テクスチャデータそれぞれの線形結合を計算することにより、特定人物の顔の３Ｄデータが計算される。次に、姿勢、照明、カメラ特性のパラメタにより、コンピュータグラフィクスの技術を用いてモデル画像が生成される。
モデル画像生成手段２１０２は、画像変動モデル１２０４として前記先行技術文献１に記載のモデルを用いた場合、個人性をあらわすパラメタを元に、対応する３Ｄ形状データと基底テクスチャ群が選択する。モデル画像生成手段２１０２は、次に、照明パラメタを結合係数として前記基底テクスチャ群の線形結合を計算することにより、該照明条件における３Ｄデータ表面の輝度値を計算する。次に、姿勢、カメラ特性などのパラメタにより、コンピュータグラフィクスの技術を用いて３Ｄデータ表面の各点と画像の各画素の位置の対応関係が計算され、対応する３Ｄデータ表面の輝度値を画素の輝度値とすることにより、モデル画像が生成される。
以上の処理を、プローブ画像Ｉｐおよびギャラリ画像Ｉｇそれぞれに対して行うことにより、プローブモデル画像Ｉ’ｐおよびギャラリモデル画像Ｉ’ｇが生成される。ただし、各モデル画像の生成過程において、目的パラメタｐｔは同一の値であると仮定し共通パラメタとする。外部パラメタｐｅは異なる値をとる可能性があるので異なるパラメタとする。
一例として、顔の画像から人物を特定する個人識別システムの場合は、顔の形状やテクスチャの個人性を現すパラメタが目的パラメタｐｔ、顔の姿勢、照明条件、カメラ特性などを記述するパラメタが外部パラメタｐｅとなる。また他の例として物体の向きを認識するシステムにおいては、物体の姿勢をあらわすパラメタが目的パラメタｐｔであり、物体の種類や形状、表面色、照明条件、カメラの特性などをあらわすパラメタが外部パラメタｐｅとなる。
プローブ画像の外部パラメタをｐｅｐ、ギャラリ画像の外部パラメタをｐｅｇとし、上述した画像変動モデルによる画像生成を関数Ｍ（ｐｔ，ｐｅ）であらわすと、プローブモデル画像Ｉ’ｐおよびギャラリモデル画像Ｉ’ｇは次式で与えられる。
コスト評価手段２１０３は、プローブモデル画像Ｉ’ｐとプローブ画像Ｉｐ、ギャラリモデル画像Ｉ’ｇとギャラリ画像Ｉｇをそれぞれ比較し、モデルフィッティングのコスト関数を計算する。コスト関数は、一例として次式に示すように、比較する両画像の輝度値の二乗誤差和とすることができる。
Ｃ＝｜Ｉ−Ｉ’｜２
Ｉ＝［ＩｐＴ，ｗｇＩｇＴ］Ｔ …（２）
Ｉ’＝［Ｉ’ｐＴ，ｗｇＩ’ｇＴ］Ｔ
ただし、式２において、Ｉｐはプローブ画像の各画素の輝度値を並べたベクトル、Ｉｇはギャラリ画像の各画素の輝度値を並べたベクトル、Ｉ’ｐはプローブモデル画像の各画素の輝度値を並べたベクトル、Ｉ’ｇはギャラリ画像の各画素の輝度値を並べたベクトルであり、画像ベクトルＩはＩｐとｗｇＩｇを並べたベクトル、モデル画像ベクトルＩ’はＩ’ｐとｗｇＩ’ｇを並べたベクトルとする。ｗｇの値はあらかじめ適当な値を定めておけばよいが、一例として、プローブ画像の画素数をギャラリ画像の画素数で割った値としてもよい。
他の例として、前記先行技術文献２の技術のように、各パラメタの値の事前確率を表すコスト項を、式２のコスト関数値に加算することもできる。
パラメタ推定手段２１０４は、式２のコスト関数値を改良（式２の場合は小さい値に）するように、目的パラメタｐｔおよび外部パラメタｐｅｐ、ｐｅｇそれぞれの値を更新する。これには様々な最適化手法が利用可能であるが、一例として最急降下法がある。
各パラメタ（ｐｔ，ｐｅｐ，ｐｅｇ）を並べた全パラメタベクトルをｐとし、各要素ｐｉの値をあらかじめ決めた微小な量Δｉだけ変化させて、モデル画像生成手段２１０２によりそれぞれの要素を微小変化させたときのモデル画像Ｉ’（ｐ＋Δｉ）が生成される（Δｉは要素ｉがΔｉ、他の要素がゼロのベクトル）。次に、コスト評価手段２１０３によってコスト関数の値Ｃ（ｐ＋Δｉ）が次式により計算される。
Ｃ（ｐ＋Δｉ）＝｜Ｉ−Ｉ’（ｐ＋Δｉ）｜２ …（３）
次に、変化後のコスト関数値と元のコスト関数値の差分を前記微小変化量で割ることによって、コスト関数の勾配ベクトル∇Ｃの値が次式により計算される。
∇Ｃ＝［（Ｃ（ｐ＋Δ１）−Ｃ（ｐ））／Δ１，（Ｃ（ｐ＋Δ２）−Ｃ（ｐ））／Δ２，…］Ｔ …（４）
最急降下法によって、パラメタｐの値は次式で更新される。
ｐ（ｔ＋１）＝ｐ（ｔ）−α∇Ｃ …（５）
αは事前に決めたゲイン定数とする。一例として値は１．０でもよい。また、状況に応じて適応的に変化させることもできる。
以上の方法はあくまで一例であり、他にもＧａｕｓｓ−Ｎｅｗｔｏｎ法などの様々な最適化手法を利用することが可能である。一例としてＧａｕｓｓ−Ｎｅｗｔｏｎ法を用いる場合は、ヤコビ行列Ｊを次式で求めることができる。
Ｊ＝［（Ｉ−Ｉ’（ｐ＋Δ１））／Δ１，（Ｉ−Ｉ’（ｐ＋Δ２））／Δ２，…］ …（６）
パラメタｐは次式で更新される。
ｐ（ｔ＋１）＝ｐ（ｔ）−α（ＪＴＪ）−１Ｊ（Ｉ−Ｉ’（ｐ）） …（７）
この他にも、様々な最適化手法を適用して、コスト関数Ｃの値を最小にするようなパラメタの値を求めることももちろん可能である。
なお、画像変動モデル１２０４として前記モデル２を用いた場合、個人性をあらわすパラメタは人物の番号であり連続的な値を取らない。このような場合は、微分値を計算せずに、取りえる値のそれぞれについて（すなわち、個々の人物の顔のそれぞれについて）、モデル画像生成手段２１０２とコスト評価手段２１０３の処理を繰り返し行ってコスト関数の値を計算し、最良のコスト値を得た値を推定値とすることができる。このとき、他の連続的な値を取るパラメタについては、上述した方法や様々な最適化手法を適用してコスト関数値を最小にするパラメタの値が求められる。
再び図２および図３を参照すると、モデル適合度評価手段１２０２は、モデルフィッティング手段１２０１の処理によってパラメタ推定が適正に行われたかどうかを評価する。すなわち、モデルフィッティング処理においては、目的パラメタｐｔがギャラリ画像とプローブ画像で同じ値であると仮定して処理を行ったが、この仮定が事実と適合したかどうかをはかる尺度であるモデル適合度が計算される。
本実施の形態におけるモデル適合度評価手段１２０２は、２Ｄモデルフィッティング手段１２０１によって生成されたギャラリモデル画像Ｉ’ｇとギャラリ画像Ｉｇ、プローブモデル画像Ｉ’ｐとプローブ画像Ｉｐの誤差をそれぞれ計算し、両者を合算した値をモデル適合度Ｖとして出力する。誤差としては様々な画像特徴量を用いることができるが、一例として、次式に示すように画像の輝度値の二乗誤差和を用いることができる。
Ｖ＝ｖｐ｜Ｉｐ−Ｉ’ｐ｜２＋ｖｇ｜Ｉｇ−Ｉ’ｇ｜２ …（８）
式８において、ｖｐ，ｖｇはプローブ画像とギャラリ画像それぞれに対する重みを調整する係数であり、あらかじめ適当な値を定めておく。一例として、ｖｐ＝１，ｖｇ＝ｗｇとしてもよい。また各画像の画素数の逆数としてもよいし、状況によって適応的に変更することも可能である。モデル適合度Ｖは誤差を表しているので、Ｖの値が小さいほど良いという点に注意する。
さらに、プローブ画像を複数のギャラリ画像と照合するシステムにおいて、それぞれのギャラリ画像でモデルフィッティングの精度が大きく変動する（ギャラリ画像とギャラリモデル画像の差分が変動する）場合には、ｖｇを小さくすることで認識性能を向上することができる。その一例として、プローブ画像とそれぞれのギャラリ画像の組に対してモデルフィッティング手段１２０１の処理を行った結果のギャラリ画像とギャラリモデル画像の誤差（｜Ｉｇ−Ｉｇ’｜２）の分散、プローブ画像とプローブモデル画像の誤差（｜Ｉｐ−Ｉｐ’｜２）の分散がそれぞれ計算される。前記各分散の逆数がそれぞれｖｇ，ｖｐの値となる。
以上に示したモデル適合度Ｖの計算方法はあくまで一例であり、このほかにもエッジ画像を生成してその輝度誤差を用いる、輝度値の正規化相関値を用いるなど、様々な画像特徴量を用いることが可能である。すなわち、プローブモデル画像とプローブ画像との間の何らかの画像特徴量の誤差と、ギャラリモデル画像とギャラリ画像との間の何らかの画像特徴量の誤差とを足した量を、モデル適合度Ｖとすることができる。
照合手段１２０３は、モデル適合度評価手段１２０２によって計算されたモデル適合度Ｖを用いて、ギャラリ画像Ｉｇとプローブ画像Ｉｐの照合判定を行う。１セットのギャラリ画像Ｉｇとの照合判定を行う場合の一例として、あらかじめ閾値を定めておき、その閾値よりモデル適合度Ｖが良い（式８の場合は値が小さい）場合に、プローブ画像Ｉｐの目的パラメタｐｔがギャラリ画像Ｉｇの目的パラメタｐｔと同じであると判定する方法がある。
他方、プローブ画像Ｉｐを複数セットのギャラリ画像Ｉｇと照合する場合には、それぞれのギャラリ画像Ｉｇとプローブ画像Ｉｐの組み合わせに対して、２Ｄモデルフィッティング手段１２０１とモデル適合度評価手段１２０２との処理を行って、モデル適合度Ｖが計算される。もっとも良いモデル適合度（式８を用いる場合にはもっとも小さい値）を得たギャラリ画像Ｉｇの目的パラメタｐｔが、プローブ画像の目的パラメタｐｔにもっとも近い値であると判定される。
一例として、顔画像による個人識別システムを例に説明する。３人の人物Ａ，Ｂ，Ｃの顔を撮影したギャラリ画像３枚に対してプローブ画像を照合し、人物Ｂのギャラリ画像がもっとも良いモデル適合度を得たとすると、プローブ画像に写っている人物は人物Ｂであると認識される。このとき、ギャラリ画像の３枚それぞれで、顔の向きや照明条件などの外部パラメタが異なっていても、外部パラメタはモデル適合度に影響しないため正しく個人識別を行うことができる。
さらに別の例として、物体の姿勢を認識するシステムを例に説明する。一例として物体を左９０度から正面、右９０度まで１０度間隔の向きに置いて撮影した１９枚のギャラリ画像に対してプローブ画像を照合し、右７０度の向きのギャラリ画像がもっとも良いモデル適合度を得たとすると、プローブ画像に写っている物体の向きは右７０度である、と認識される。このとき、ギャラリ画像の１９枚それぞれで、照明条件やカメラの特性といった外部パラメタが異なっていても、外部パラメタはモデル適合度に影響しないため正しく物体の姿勢を認識することができる。
次に本実施の形態の効果を説明する。
本実施の形態では、プローブ画像Ｉｐとギャラリ画像Ｉｇの双方の画像を入力とし、照合したい目的パラメタｐｔが両画像Ｉｐ，Ｉｇで同じであると仮定してモデルフィッティング処理を行い、そのモデルフィッティング処理の精度の尺度であるモデル適合度Ｖを計算し、このモデル適合度Ｖを持って照合を行うため、モデルフィッティング処理の絶対的な精度にあまり影響を受けずにプローブ画像とギャラリ画像との照合を行うことができる。その理由は以下の通りである。
照合したい目的パラメタｐｔの値が両画像Ｉｐ，Ｉｇで異なる場合には、画像Ｉｐ，Ｉｇに類似したモデル画像Ｉ’ｐ，Ｉ’ｇが決して求まらないため、モデル適合度Ｖは極端に悪化する。他方、照合したい目的パラメタｐｔの値が両画像Ｉｐ，Ｉｇで同じである場合には、画像Ｉｐ，Ｉｇに類似したモデル画像Ｉ’ｐ，Ｉ’ｇが基本的には必ず求まるため、モデル適合度Ｖは良い値を示す。したがって、照合したい目的パラメタｐｔが両画像Ｉｐ，Ｉｇで同じであるときと異なるときのモデル適合度Ｖの値の隔たりが顕著になる。このため、１セットのギャラリ画像Ｉｇとの照合判定では、その中間の値に閾値を設定しておけば、フィッティング処理の精度が多少低下してモデル適合度Ｖの値が多少上下しても、閾値との距離が大きいためにその影響を受けずに、目的パラメタｐｔがプローブ画像と同じであるギャラリ画像とそうでないギャラリ画像とを明確に区別することができる。また、複数セットのギャラリ画像Ｉｇとの照合判定では、目的パラメタｐｔがプローブ画像と同じであるギャラリ画像Ｉｇとプローブ画像Ｉｐの組み合わせについて計算されたモデル適合度Ｖが、それ以外の組み合わせについて計算されたモデル適合度Ｖより頭一つ抜きん出て良好な値を示す。このため、フィッティング処理の精度が多少低下してモデル適合度Ｖの値が多少上下しても、その影響を受けずに、目的パラメタｐｔがプローブ画像と一番良く合致しているギャラリ画像を特定することができる。
これに対して、従来技術においては、プローブ画像Ｉｐからその目的パラメタｐｔｐと外部パラメタｐｅｐと、ギャラリ画像Ｉｇからその目的パラメタｐｔｇと外部パラメタｐｅｇとがそれぞれ独立にフィッティング処理で推定され、ｐｔｐとｐｔｇの類似度が比較される。このため照合したい目的パラメタｐｔｐとｐｔｇが両画像Ｉｐ，Ｉｇで同じであるときと異なるときのｐｔｐとｐｔｇの類似度の隔たりが、本実施の形態におけるモデル適合度Ｖの値の隔たりのように顕著にならない。このため、フィッティング処理の絶対的な精度の影響を強く受けることになる。
以上の説明においては、プローブ画像が１枚の画像である場合について説明したが、複数枚の画像を認識する場合についてもまったく同様である。また、ギャラリ画像が複数枚の画像を１セットとしている場合についても同様である。
（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。前述した第１の実施形態は画像どうしを照合したが、本実施の形態は３次元データどうしを照合する。
図５に示される本実施の形態と図２に示される第１の実施の形態とを比較すると、画像入力装置１１００の代わりに３次元データ入力装置１４００を備えている点、処理装置１２００が２Ｄモデルフィッティング手段１２０１およびモデル適合度評価手段１２０２の代わりに３Ｄモデルフィッティング手段１２２１およびモデル適合度評価手段１２２２を有する点で相違する。
３次元データ入力装置１４００は、３次元データであるプローブデータを処理装置１２００に入力する装置であり、３次元形状計測装置であってもよいし、図示しない記憶装置からプローブデータを読み込んだり、ネットワークを通じてプローブデータを受信する装置であってもよい。
記憶装置１３００には、処理装置１２００で実行するプログラムおよび照合に用いる各種のデータが記憶されている。各種データのうちには、３次元データであるギャラリデータおよび３次元データ変動モデルに関するデータが含まれる。ギャラリデータは、あらかじめ記憶装置１３００に記憶しておいても良いし、プローブデータと共に、その都度、読み込まれても良い。
３次元データ変動モデルは、物体の種類、物体の状態、姿勢などの多様な変動要素によって、計測される３次元データがどのように変動するかを記述したモデルであり、前記多様な変動要素のパラメタを与えると、該条件における３Ｄデータが生成されうる。この処理過程で必要とされるデータ群は記憶装置１３００に記憶される。
前記３Ｄデータ変動モデルの一例（モデル３と称す）としては、多様な人物のそれぞれの３Ｄ形状データをあらかじめ集めておき、人物を指定するパラメタを与えることによってその人物の３Ｄデータを出力するというモデルが用いられても良い。さらに、姿勢のパラメタを与えられた場合には、該３Ｄデータの３次元座標に対し、その姿勢に回転する回転行列をかけることにより、指定された姿勢の３Ｄデータを生成することができる。
前記３Ｄデータ変動モデルの別の例（モデル４）としては、前記先行技術文献２に記載されているような、多様な人物の顔の３Ｄデータを、３Ｄ形状の個性、テクスチャの個性、表情、年齢、などをそれぞれあらわすパラメタを与えることによって計算する３Ｄデータ変動モデルがある。このモデルの場合、あらかじめ多数の人物の顔の３Ｄデータを集め、形状およびテクスチャのそれぞれのデータを主成分分析し、基底３Ｄデータ群および基底テクスチャ群を計算し、記憶するという処理ステップが実行される。
さらに、姿勢のパラメタを与えられた場合には、計算された３Ｄデータの３次元座標に対し、その姿勢に回転する回転行列をかけることにより、指定された姿勢のモデル３Ｄデータを生成することができる。
該モデルでは、基準３Ｄ形状データをＳ０、基準テクスチャデータをＴ０、３Ｄ形状の個人性をあらわす１００個のパラメタをａ１，…，ａ１００、各パラメタに対応した基底形状データをＳ１，…，Ｓ１００、表情の変化を表す１０個のパラメタをｃ１，…，ｃ１０、表情変化による変形を表す基底形状データをＳ１０１，…，Ｓ１１０、テクスチャテクスチャの個人性をあらわす１００個のパラメタをｂ１，…，ｂ１００、各パラメタに対応した基底テクスチャデータをＴ１，…，Ｔ１００、表情変化によるテクスチャの変化を表す基底テクスチャデータをＴ１０１，…，Ｔ１１０、姿勢をあらわすパラメタをｘ，ｙ，ｚ軸それぞれの軸周りの回転角度ｒｘ，ｒｙ，ｒｚと平行移動量ｔｘ，ｔｙ，ｔｚとすると、モデル３Ｄデータの形状データＳ’の点ｉの３次元座標Ｓ’（ｉ）、テクスチャデータＴ’は次式で与えられる。
ここでＲは回転行列、ｔ＝［ｔｘ，ｔｙ，ｔｚ］とする。記憶手段１３００には、Ｓ０，Ｓ１，…，Ｓ１１０，Ｔ０，Ｔ１，…，Ｔ１１０のデータが記憶される。ここで、個人性のパラメタを１００個、表情変化のパラメタを１０個としたのはあくまで一例であり、様々に変更可能である。
以上にあげた３Ｄデータ変動モデルはあくまで一例であり、このほかにも様々な３Ｄデータ変動モデルを利用可能である。
図６を参照すると、３Ｄモデルフィッティング手段１２２１は、ギャラリデータＤｇおよびプローブデータＤｐの両３Ｄデータを入力し、認識目的の要素をあらわす目的パラメタｐｔが両データで同一の値をとると仮定し、その他の変動要素をあらわすパラメタｐｅは各データで個別に異なる可能性があると仮定した場合、前述したような３Ｄデータ変動モデル１２２４を用いてそれぞれの３ＤデータＤｇ，Ｄｐにできるだけ近い（以下に示したコスト関数の値が小さくなるような）モデルデータＤ’ｇ，Ｄ’ｐを生成できるように、各パラメタｐｔ，ｐｅの値を計算する。すなわち、３Ｄモデルフィッティング手段１２２１は、プローブデータＤｐとギャラリデータＤｇのそれぞれに対して独立にパラメタを推定し、目的パラメタの推定結果を比較するのではなく、目的パラメタｐｔが両データで同じ値であると仮定し、両データに対して同時に目的パラメタｐｔおよび外部パラメタｐｅを推定する。
顔の３Ｄデータを入力として人物を識別する個人認識システムを例にすると、目的パラメタｐｔは個人性をあらわすパラメタ（前記ａ１，…，ａ１００およびｂ１，…，ｂ１００）、外部パラメタｐｅは表情および顔の姿勢に関するパラメタ（前記ｃ１，…，ｃ１０，ｒｘ，ｒｙ，ｒｚ，ｔｘ，ｔｙ，ｔｚ）となる。
物体の位置や向きを推定する位置姿勢推定システムを例にすると、目的パラメタｐｔは姿勢パラメタ（前記ｒｘ，ｒｙ，ｒｚ，ｔｘ，ｔｙ，ｔｚ）であり、外部パラメタｐｅは物体の種類と状態（前記ａ１，…，ａ１００，ｂ１，…，ｂ１００，ｃ１，…，ｃ１０）、３次元形状計測装置の性質に関するパラメタである。
ある特定の物体しか認識対象としない場合には、物体の種類のパラメタはなくてもよいし、同じ計測装置を用いるなら装置の特性パラメタは不要である。このように、必要に応じてパラメタを設定し、その要素による３Ｄデータの変形を記述する３Ｄデータ変動モデルを用意することができる。
図７を参照すると、３Ｄモデルフィッティング手段１２２１は、初期値推定手段２１２１と、３Ｄモデルデータ生成手段２１２２と、コスト評価手段２１２３と、パラメタ推定手段２１２４とを備える。
初期値推定手段２１２１は、プローブデータＤｐおよびギャラリデータＤｇのそれぞれについて、３Ｄデータの変動要素の各パラメタＰｔ，Ｐｅｐ，Ｐｅｇの初期値を求める。これは、あらかじめ与えられた既知の値でもよいし、別途のセンサーなどによって計測される値でもよく、また、３Ｄデータに付与される情報として入力されるものでもよい。
その一例として、顔認識システムの場合は、３Ｄデータ中の顔の目や鼻、口の位置などを示す基準点位置データを付与情報としておくことにより、この情報から顔の位置と姿勢（前記ｒｘ，ｒｙ，ｒｚ，ｔｘ，ｔｙ，ｔｚ）や形状（前記ａ１，…，ａ１００）の概算値を初期値として計算することができる。３Ｄ形状やテクスチャの個人性のパラメタ、表情のパラメタなどは多数の人物のデータに対する平均値（一例としてはａ１〜ａ１００＝０，ｂ１〜ｂ１００＝０，ｃ１〜ｃ１０＝０）を初期値としてもよいし、特定の人物の値を初期値としても良い。その他のパラメタも適当な値をあらかじめ定めておいてもよい。プローブデータＤｐとギャラリデータＤｇの両３Ｄデータに対する目的パラメタＰｔの初期値、プローブデータＤｐに対する外部パラメタＰｅｐの初期値、およびギャラリデータＤｇに対する外部パラメタＰｅｇの初期値は、３Ｄモデルデータ生成手段２１２２へ出力される。
３Ｄモデルデータ生成手段２１２２は、初回のモデルデータの生成時は、初期値推定手段２１２１から初期値として出力された目的パラメタｐｔおよび外部パラメタＰｅｐ，Ｐｅｇを使用し、以後の繰り返し時にはパラメタ推定手段２１２４によって更新された目的パラメタｐｔおよび外部パラメタＰｅｐ，Ｐｅｇを使用し、それぞれ３Ｄデータ変動モデル１２２４を用いて、パラメタＰｔ，Ｐｅｐ，Ｐｅｇの表す状況下におけるプローブモデルデータＤ’ｐおよびギャラリモデルデータＤ’ｇを生成し、出力する。
３Ｄデータ変動モデル１２２４として前記モデル３を用いた場合、個人性をあらわすパラメタは人物の番号などであり、対応する人物の３Ｄデータを読み出すことによってモデル３Ｄデータを生成できる。さらに、姿勢パラメタを用いる場合には、回転行列を適用することで、該姿勢におけるモデル３Ｄデータを生成できる。このほかにも、表情による変形モデルとそれを記述するパラメタを追加して、３Ｄデータをさらに変形して表情変化を加味したモデル３Ｄデータを生成することもできる。
３Ｄデータ変動モデルとして前記モデル４を用いた場合、個人性、年齢、体型などをあらわすパラメタを結合係数とした基底３Ｄデータおよび基底テクスチャデータそれぞれの線形結合を計算することにより、特定人物の顔の３Ｄデータが計算される。次に、姿勢のパラメタにより、前記計算された３Ｄデータに回転行列を適用することで、該姿勢におけるモデル３Ｄデータが生成される。
前述したモデル４の一例では、式９によってモデル３Ｄデータの形状データＳ’およびテクスチャデータＴ’が計算される。両者をまとめてモデルデータＤ’とする。これらのパラメタの設定はあくまで一例であり、このほかにも、表情による変形などのパラメタを追加して、３Ｄデータをさらに変形してモデル３Ｄデータを生成することもできる。
以上の処理を、プローブデータＤｐおよびギャラリデータＤｇのそれぞれの変動パラメタを用いて行うことにより、プローブモデルデータＤ’ｐおよびギャラリモデルデータＤ’ｇが生成される。ただし、各モデルデータの生成過程において、目的パラメタｐｔは同一の値であるが、外部パラメタｐｅｐ，ｐｅｇは異なる値とする。前述した個人識別システムの例では、ｐｔ＝［ａ１，…，ａ１００，ｂ１，…，ｂ１００］、ｐｅ＝［ｃ１，…，ｃ１０，ｒｘ，ｒｙ，ｒｚ，ｔｘ，ｔｙ，ｔｚ］となる。プローブデータの外部パラメタの値をｐｅｐ、ギャラリデータの外部パラメタの値をｐｅｇとし、上述した３Ｄデータ変動モデルによる式９を用いた３Ｄ形状データおよびテクスチャデータの生成過程をまとめて関数Ｎ（ｐｔ，ｐｅ）であらわすと、プローブデータＤｐとギャラリデータＤｇそれぞれに対するモデルデータＤ’ｐ，Ｄ’ｇは次式で与えられる。
コスト評価手段２１２３は、プローブおよびギャラリそれぞれのデータＤｐ，Ｄｇと生成されたモデルデータＤ’ｐ，Ｄ’ｇを比較し、フィッティングのコスト関数を計算する。このコスト関数は一例として、次式に示すように比較する両データの３次元座標および輝度値の重みつき二乗誤差和とすることができる。
Ｃ＝｜Ｓｐ−Ｓｐ’｜２＋ｗｔ｜Ｔｐ−Ｔｐ’｜２＋ｗｇ（｜Ｓｇ−Ｓｇ’｜２＋ｗｔ｜Ｔｇ−Ｔｇ’｜２） …（１１）
ここで、Ｓｐ，ＴｐはプローブデータＤｐの３Ｄ形状およびテクスチャデータ、Ｓ’ｐ，Ｔ’ｐはプローブモデルデータＤ’ｐの３Ｄ形状およびテクスチャデータ、Ｓｇ，ＴｇはギャラリデータＤｇの３Ｄ形状およびテクスチャデータ、Ｓ’ｇ，Ｔ’ｇはギャラリモデルデータＤ’ｇの３Ｄ形状およびテクスチャデータである。また、ｗｔは３次元座標とテクスチャの重みを調整する係数、ｗｇはプローブとギャラリの重みを調整する係数であり、あらかじめ適当な値を定めておく。ｗｔの値の一例としては、Ｃを最初に計算する時の（｜Ｓｐ−Ｓｐ’｜２／｜Ｔｐ−Ｔｐ’｜２）の値、ｗｇの値の一例としては、Ｃを最初に計算する時の（（｜Ｓｐ−Ｓｐ’｜２＋ｗｔ｜Ｔｐ−Ｔｐ’｜２）／（｜Ｓｇ−Ｓｇ’｜２＋ｗｔ｜Ｔｇ−Ｔｇ’｜２））の値とすることも可能である。また、繰り返し処理の過程で値を更新していくことも可能である。
ここに示したコスト関数はあくまで一例であり、このほかにも様々なコスト関数を利用可能である。例として、各パラメタの事前確率を表すコスト項をコスト関数値に加算することもできる。
たとえばｐｔ，ｐｅｐ，ｐｅｇの各値がｐｔ０，ｐｅｐ０，ｐｅｇ０に近い値になることがわかっている場合には、次のようなコスト関数を用いることも可能である。
Ｃ＝｜Ｓｐ−Ｓｐ’｜２＋ｗｔ｜Ｔｐ−Ｔｐ’｜２＋ｗｇ（｜Ｓｇ−Ｓｇ’｜２＋ｗｔ｜Ｔｇ−Ｔｇ’｜２）
＋ｗｐｔ（ｐｔ−ｐｔ０）２＋ｗｐｅｐ（ｐｅｐ−ｐｅｐ０）２＋ｗｐｅｇ（ｐｅｇ−ｐｅｇ０）２ …（１２）
ここで、ｗｐｔ，ｗｐｅｐ，ｗｐｅｇの値はあらかじめ適当な値を定めておく。
パラメタ推定手段２１２４は、コスト関数値を改良するように、目的パラメタｐｔおよび外部パラメタｐｅｐ，ｐｅｇそれぞれの値を更新する。これには様々な最適化手法が利用可能であるが、一例として最急降下法がある。
各パラメタ（ｐｔ，ｐｅｐ，ｐｅｇ）を並べた全パラメタベクトルをｐとし、その各要素ｐｉの値をひとつずつあらかじめ決めた微小な量Δｉだけ変化させ、モデルデータ生成手段２１２２によりそれぞれの要素を微小変化させたときのプローブモデルデータＤ’ｐ（ｐ＋Δｉ）の形状データＳｐ’（ｐ＋Δｉ）とテクスチャデータＴｐ’（ｐ＋Δｉ）、および、ギャラリモデルデータＤ’ｇ（ｐ＋Δｉ）の形状データＳｇ’（ｐ＋Δｉ）とテクスチャデータＴｇ’（ｐ＋Δｉ）が生成される（Δｉは要素ｉがΔｉ、他の要素がゼロのベクトルとする）。次に、コスト評価手段２１２３によって、コスト関数の値Ｃ（ｐ＋Δｉ）が次式により計算される。
Ｃ（ｐ＋Δｉ）＝｜Ｓｐ−Ｓｐ’（ｐ＋Δｉ）｜２＋ｗｔ｜Ｔｐ−Ｔｐ’（ｐ＋Δｉ）｜２
＋ｗｇ（｜Ｓｇ−Ｓｇ’（ｐ＋Δｉ）｜２＋ｗｔ｜Ｔｇ−Ｔｇ’（ｐ＋Δｉ）｜２） …（１３）
次に、次式に示すように、変化後のコスト関数値と元のコスト関数値の差分を前記微小変化量で割ることによって、コスト関数の勾配ベクトル∇Ｃの値が計算される。
∇Ｃ＝［（Ｃ（ｐ＋Δ１）−Ｃ（ｐ））／Δ１，（Ｃ（ｐ＋Δ２）−Ｃ（ｐ））／Δ２，…］Ｔ …（１４）
最急降下法によって、パラメタｐの値は次式で更新される。
ｐ（ｔ＋１）＝ｐ（ｔ）−α∇Ｃ …（１５）
αは事前に決めたゲイン定数とする。一例として値は１．０でもよい。また、状況に応じて適応的に変化することもできる。
以上の方法はあくまで一例であり、他にも第１の実施の形態と同様にＧａｕｓｓ−Ｎｅｗｔｏｎ法などの様々な最適化手法を利用して、コスト関数Ｃの値を最小にするようなパラメタの値を求めることも可能である。
なお、３Ｄデータ変動モデルとして前記モデル３を用いた場合、個人性をあらわすパラメタは人物の番号であり連続的な値を取らない。このような場合は、微分値を計算せずに、取りえる値のそれぞれについて（すなわち、個々の人物それぞれ個別の３Ｄデータについて）、３Ｄモデルデータ生成手段２１２２とコスト評価手段２１２３の処理を繰り返し行うことによって、コスト関数の値が計算される。このため最良のコスト値を得た値を推定値とすることができる。このとき、他の連続的な値を取るパラメタについては、上述した方法や様々な最適化手法を適用してコスト関数値を最小にするパラメタの値が求められる。
再び図５および図６を参照すると、モデル適合度評価手段１２２２は、３Ｄモデルフィッティング手段１２２１のモデルフィッティング処理の精度を評価する。すなわち、モデルフィッティング処理においては、目的パラメタｐｔが同一であると仮定して処理を行ったが、この仮定の上で、３Ｄデータ変動モデル１２２４がプローブデータＤｐおよびギャラリデータＤｇに適合したかどうかを表すモデル適合度Ｖを計算する処理が行なわれる。
本実施の形態の場合、モデル適合度評価手段１２２２は、３Ｄモデルフィッティング手段１２２１によって生成されたギャラリモデルデータＤ’ｇとギャラリデータＤｇ、プローブモデルデータＤ’ｐとプローブデータＤｐの誤差をそれぞれ計算し、両者を合算してモデル適合度Ｖとして出力する。誤差の計算には様々な特徴量を用いることができるが、一例として、次式に示すような３次元座標とテクスチャ輝度値の重みつき二乗誤差和を用いることができる。
Ｖ＝ｖｐ（｜Ｓｐ−Ｓｐ’｜２＋ｖｔ｜Ｔｐ−Ｔｐ’｜２）＋ｖｇ（｜Ｓｇ−Ｓｇ’｜２＋ｖｔ｜Ｔｇ−Ｔｇ’｜２） …（１６）
ここで、ｖｔ，ｖｐ，ｖｇは重み定数であり、適当な値をあらかじめ決めておく。値の一例としては、ｖｐ＝１，ｖｇ＝ｗｇ，ｖｔ＝ｗｔとしてもよい。ここでは一例として３次元座標とテクスチャ輝度値の誤差を用いたが、このほかにも、法線ベクトルの誤差やテクスチャのエッジなどの特徴量の誤差を用いることももちろん可能である。このモデル適合度Ｖは誤差を表しているので、Ｖの値が小さいほど良いという点に注意する。
プローブデータＤＰを複数のギャラリデータＤｇと照合するシステムにおいて、各ギャラリデータＤｇでモデルフィッティングの精度が大きく変動する（ギャラリデータＤｇとギャラリモデルデータＤ’ｇの差分が変動する）場合には、ｖｇを小さくすることで認識性能を向上することができる。その一例として、プローブデータＤＰとそれぞれのギャラリデータＤｇの組に対して、３Ｄモデルフィッティング手段１２２１の処理を行った結果のギャラリデータＤｇとギャラリモデルデータＤ’ｇの誤差（｜Ｓｇ−Ｓｇ’｜２＋ｖｔ｜Ｔｇ−Ｔｇ’｜２）の分散、プローブデータＤｐとプローブモデルデータＤ’ｐの誤差（｜Ｓｐ−Ｓｐ’｜２＋ｖｔ｜Ｔｐ−Ｔｐ’｜２）の分散をそれぞれ計算する処理が実行され、その結果それぞれの逆数をｖｐ，ｖｇの値とすることができる。
以上に示したモデル適合度Ｖの計算方法はあくまで一例であり、式１１のコスト関数Ｃの値を用いてもよい。この他にも、３次元座標の代わりに３次元形状表面の法線ベクトルを計算してその誤差を用いる方法や、３次元座標の正規化相関値を用いる方法、テクスチャのエッジなどの特徴量を用いる方法など、様々な計算方法を用いることができる。
照合手段１２０３は、第１の実施の形態と同じであり、モデル適合度評価手段１２２２によって計算されたモデル適合度Ｖの値を用いて、ギャラリデータＤｇとプローブデータＤｐの照合判定を行う。１セットのギャラリデータＤ’ｐとの照合判定を行う場合の一例として、あらかじめ閾値を定めておき、その閾値よりモデル適合度Ｖが良い（式１６の場合は小さい値）場合に、プローブデータＤｐの目的パラメタｐｔがギャラリデータＤｇの目的パラメタｐｔと同じであると認識する処理があげられる。
ギャラリデータＤｇが複数セットある場合には、それぞれのギャラリデータＤｇとプローブデータＤｐとの組に対して、３Ｄモデルフィッティング手段１２２１とモデル適合度評価手段１２２２における処理が行なわれ、モデル適合度Ｖを計算する処理が実行される。そして、もっとも良いモデル適合度（式８を用いる場合にはもっとも小さい値）を得た組のギャラリデータＤｇの目的パラメタｐｔが、プローブデータＤｐの目的パラメタｐｔにもっとも近い値であると判定される。または、ある閾値より良いモデル適合度を得た複数のギャラリデータＤｇの目的パラメタｐｔの値を用いて、内挿や補間によってプローブデータＤｐの目的パラメタｐｔの値を推定しても良い。
顔の３Ｄデータによる個人識別システムをあげて説明すると、一例として３人の人物Ａ，Ｂ，Ｃのギャラリデータ３個に対してプローブデータを照合し、人物Ｂのギャラリデータがもっとも良いモデル適合度を得たとすると、プローブデータは人物Ｂの３Ｄデータであると認識される。このとき、ギャラリデータの３枚それぞれで、顔の向きなどの外部パラメタが異なっていても、外部パラメタはモデル適合度に影響しないため正しく個人識別を行うことができる。
また別の例として、物体の姿勢を認識するシステムをあげて説明すると、一例として物体を左９０度から正面、右９０度まで１０度間隔の向きに置いて計測した１９個のギャラリ３Ｄデータに対してプローブ３Ｄデータを照合し、右７０度の向きのギャラリデータがもっとも良いモデル適合度を得たとする。この場合、プローブデータを計測したときの物体の向きは右７０度であると認識される。このとき、ギャラリデータ１９個それぞれで、３次元計測装置の特性などの外部パラメタが異なっていても、外部パラメタはモデル適合度に影響しないため、正しく物体の姿勢を認識することができる。
以上の説明においては、３Ｄデータとして３Ｄ形状データおよびテクスチャデータの両者が含まれるものとして説明したが、テクスチャデータが存在しない３Ｄ形状データのみから構成される３Ｄデータについてもまったく同様に処理を行うことが可能である。
次に本実施の形態の効果を説明する。
本実施の形態では、プローブデータＤｐとギャラリデータＤｇの双方の３次元データを入力とし、照合したい目的パラメタｐｔが両データＤｐ，Ｄｇで同じであると仮定してモデルフィッティング処理を行い、そのモデルフィッティング処理の精度の尺度であるモデル適合度Ｖを計算し、このモデル適合度Ｖを持って照合を行うため、モデルフィッティング処理の絶対的な精度にあまり影響を受けずにプローブデータとギャラリデータとの照合を行うことができる。その理由は以下の通りである。
照合したい目的パラメタｐｔの値が両データＤｐ，Ｄｇで異なる場合には、データＤｐ，Ｄｇに類似したモデルデータＤ’ｐ，Ｄ’ｇが決して求まらないため、モデル適合度Ｖは極端に悪化する。他方、照合したい目的パラメタｐｔの値が両データＤｐ，Ｄｇで同じである場合には、データＤｐ，Ｄｇに類似したモデルデータＤ’ｐ，Ｄ’ｇが基本的には必ず求まるため、モデル適合度Ｖも良い値を示す。したがって、照合したい目的パラメタｐｔが両データＤｐ，Ｄｇで同じであるときと異なるときのモデル適合度Ｖの値の隔たりが顕著になる。このため、１セットのギャラリデータＤｇとの照合判定では、その中間の値に閾値を設定しておけば、フィッティング処理の精度が多少低下してモデル適合度Ｖの値が多少上下しても、閾値との距離が大きいためにその影響を受けずに、目的パラメタｐｔがプローブデータと同じであるギャラリデータとそうでないギャラリデータとを明確に区別することができる。また、複数セットのギャラリデータＤｇとの照合判定では、目的パラメタｐｔがプローブデータと同じであるギャラリデータＤｇとプローブデータＤｐの組み合わせについて計算されたモデル適合度Ｖが、それ以外の組み合わせについて計算されたモデル適合度Ｖより頭一つ抜きん出て良好な値を示すため、フィッティング処理の精度が多少低下してモデル適合度Ｖの値が多少上下しても、その影響を受けずに、目的パラメタｐｔがプローブデータと一番良く合致しているギャラリデータを特定することができる。
これに対して、従来技術においては、プローブデータＤｐからその目的パラメタｐｔｐと外部パラメタｐｅｐを、ギャラリデータＤｇからその目的パラメタｐｔｇと外部パラメタｐｅｇをそれぞれ独立にフィッティング処理で推定し、ｐｔｐとｐｔｇの類似度を比較する処理が実行される。
したがって、照合したい目的パラメタｐｔｐとｐｔｇが両データＤｐ，Ｄｇで同じであるときと異なるときのｐｔｐとｐｔｇの類似度の隔たりが、本実施の形態におけるモデル適合度Ｖの値の隔たりのように顕著にならない。このため、フィッティング処理の絶対的な精度の影響を強く受けることになる。
（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。前述した第１の実施形態は画像どうしを照合しているのに対し、本実施の形態に係る照合装置は、プローブ画像を入力し、３次元データであるギャラリデータと照合する。
図８に示される本実施の形態と図２に示される第１の実施の形態とを比較すると、処理装置１２００が２Ｄモデルフィッティング手段１２０１およびモデル適合度評価手段１２０２の代わりに２Ｄ３Ｄモデルフィッティング手段１２３１およびモデル適合度評価手段１２３２を有する点で相違する。
記憶装置１３００には、処理装置１２００で実行するプログラムおよび照合に用いる各種のデータが記憶されている。各種データのうちには、３次元データであるギャラリデータ、画像変動モデルおよび３次元データ変動モデルに関するデータが含まれる。ギャラリデータは、あらかじめ記憶装置１３００に記憶しておいても良いし、プローブ画像と共に、その都度、図示しない３次元データ入力装置から読み込まれても良い。
３次元データ変動モデルは、物体の種類、物体の状態、姿勢などの多様な変動要素によって、計測される３Ｄデータがどのように変動するかを記述したモデルである。多様な変動要素のパラメタを与えると、その条件下における３Ｄデータが生成される。この処理過程で必要とされるデータ群が記憶装置１３００に記憶されている。３Ｄデータ変動モデルの一例としては、第２の実施の形態で説明したモデル３およびモデル４が挙げられるが、これらはあくまで一例であり、このほかにも様々な３Ｄデータ変動モデルを利用可能である。
画像変動モデルは、３Ｄデータ変動モデルによって生成される３Ｄデータから、カメラの向きや位置、照明条件、カメラ特性などをあらわすパラメタによって、その状況下における画像を生成する画像変動モデルである。この画像変動モデルには、様々なカメラのモデル（ピンホールカメラ、平行投影モデルなど）、照明のモデル（完全散乱モデル、Ｐｈｏｎｇのモデルなどのコンピュータグラフィクスの標準技術、または、特許文献１に記載の照明基底を用いる技術など）などを組み合わせて利用することが可能である。
以上にあげた３Ｄデータ変動モデルと画像変動モデルはあくまで一例であり、このほかにも様々な画像変動モデルを利用可能である。
図９を参照すると、２Ｄ３Ｄモデルフィッティング手段１２３１は、プローブ画像ＩｐとギャラリデータＤｇを入力し、認識目的の変動要素をあらわす目的パラメタｐｔが両データＩｐ，Ｄｇで同一の値をとり、その他の変動要素をあらわすパラメタｐｅは両データＩｐ，Ｄｇで個別に異なる可能性があると仮定する場合、前述した３Ｄデータ変動モデル１２３４を用いてギャラリデータＤｇにできるだけ近い（以下に示したコスト関数の値が小さくなるような）モデルデータＤ’ｇを生成し、かつ、前述した画像変動モデル１２３５を用いてプローブ画像Ｉｐにできるだけ近いモデル画像Ｉ’ｐを生成するような、各パラメタｐｔ，ｐｅの値を計算する。ここで、プローブ画像Ｉｐの外部パラメタをｐｅｐ、ギャラリデータＤｇの外部パラメタをｐｅｇとする。
顔画像を３Ｄ顔データと照合し、個人識別を行うシステムを例にすれば、ｐｔは顔の形状やテクスチャの個人性を表すパラメタであり、ｐｅｐは表情、照明条件、カメラの位置、向き、焦点距離などのパラメタであり、ｐｅｇは表情、顔の姿勢などのパラメタになる。また、顔画像を３Ｄ顔データと照合し、顔の姿勢を認識するシステムを例にすれば、ｐｔは顔の姿勢を表すパラメタであり、ｐｅｐは個人性、表情、照明条件、カメラの位置、向き、焦点距離などのパラメタであり、ｐｅｇは個人性、表情などのパラメタになる。ここに示したのはあくまで一例であり、パラメタの数や種類はモデルに応じて様々に変更可能である。
図１０を参照すると、２Ｄ３Ｄモデルフィッティング手段１２３１は、初期値推定手段２１３１と、２Ｄ３Ｄモデルデータ生成手段２１３２と、コスト評価手段２１３３と、パラメタ推定手段２１３４とを備える。
初期値推定手段２１３１は、プローブ画像Ｉｐの画像変動要素パラメタ、および、ギャラリデータＤｇの３Ｄデータ変動要素パラメタのそれぞれについて初期値を求める。これは、あらかじめ与えられた既知の値でもよいし、別途のセンサーなどによって計測される値でもよく、また、プローブ画像ＩｐやギャラリデータＤｇに付与される情報として入力されるものでもよい。プローブ画像Ｉｐに対する初期値は第１の実施の形態における初期値推定手段２１０１と同様な処理で行うことができ、ギャラリデータＤｇに対する初期値は第２の実施の形態における初期値推定手段２１２１と同様な処理で行うことができる。以上に述べた初期値の計算方法はあくまで一例であり、様々に変更可能である。
プローブ画像ＩｐとギャラリデータＤｇの両データに対する目的パラメタｐｔの初期値、プローブ画像Ｉｐに対する外部パラメタｐｅｐの初期値、ギャラリデータＤｇに対する外部パラメタｐｅｇの初期値は、２Ｄ３Ｄモデルデータ生成手段２１３２へ出力される。
２Ｄ３Ｄモデルデータ生成手段２１３２は、初回のモデルデータの生成時は、初期値推定手段２１３１から初期値として出力された目的パラメタｐｔおよび外部パラメタＰｅｐ，Ｐｅｇを使用し、以後の繰り返し時にはパラメタ推定手段２１３４によって更新された目的パラメタｐｔおよび外部パラメタＰｅｐ，Ｐｅｇを使用し、それぞれ３Ｄデータ変動モデル１２３４および画像変動モデル１２３５を用いて、パラメタＰｔ，Ｐｅｐ，Ｐｅｇの表す状況下におけるプローブモデル画像Ｉ’ｐおよびギャラリモデルデータＤ’ｇを生成し、出力する。
画像変動モデル１２３５を用いて、目的パラメタｐｔおよび外部パラメタｐｅｐの現在の値の表す状況下における画像をプローブモデル画像Ｉ’ｐとして生成する処理は、第１の実施の形態におけるモデル画像生成手段２１０２とまったく同様に行える。また、３Ｄデータ変動モデル１２３４を用いて、目的パラメタｐｔおよびギャラリ外部パラメタｐｅｇの現在の値の表す状況下における３ＤデータをギャラリモデルデータＤ’ｇとして生成する処理は、第２の実施の形態における３Ｄモデルデータ生成手段２１２２とまったく同様に行える。両処理を式で表すと次式のようになる。
コスト評価手段２１３３は、プローブ画像Ｉｐとプローブモデル画像Ｉ’ｐ、ギャラリデータＤｇとギャラリモデルデータＤ’ｇを比較し、フィッティングのコスト関数Ｃを計算する。このコスト関数Ｃは一例として、次式に示すように比較する両データの重みつき二乗誤差和とすることができる。
Ｃ＝｜Ｉｐ−Ｉ’ｐ｜２＋ｗｇ（｜Ｓｇ−Ｓｇ’｜２＋ｗｔ｜Ｔｇ−Ｔｇ’｜２） …（１８）
ここで、Ｓｇ，Ｔｇはギャラリデータの３Ｄ形状およびテクスチャデータ、Ｓ’ｇ，Ｔ’ｇはギャラリモデルデータの３Ｄ形状およびテクスチャデータ、ｗｔは３次元座標とテクスチャの重みを調整する係数である。また、ｗｇは画像と３Ｄデータの重みを調整する係数であり、あらかじめ適当な値を定めておく。
ｗｔの値の決定方法はさまざまな方法が利用可能であるが、一例として、Ｃを最初に計算する時の（｜Ｓｇ−Ｓｇ’｜２／｜Ｔｐ−Ｔｐ’｜２）の値としてもよい。
ｗｇの値の決定方法はさまざまな方法が利用可能であるが、一例として、Ｃを最初に計算する時の（（｜Ｉｐ−Ｉ’ｐ｜２）／（｜Ｓｇ−Ｓｇ’｜２＋ｗｔ｜Ｔｇ−Ｔｇ’｜２））の値としてもよい。
また、繰り返し処理の過程でこれらの値を更新していくことも可能である。
ここに示したコスト関数はあくまで一例であり、このほかにも様々なコスト関数を利用可能である。その一例として、各パラメタの事前確率を表すコスト項をコスト関数値に加算することもできる。たとえばｐｔ，ｐｅｐ，ｐｅｇの各値がｐｔ０，ｐｅｐ０，ｐｅｇ０に近い値になることがわかっている場合には、次のようなコスト関数を用いることも可能である。
Ｃ＝｜Ｉｐ−Ｉ’ｐ｜２＋ｗｇ（｜Ｓｇ−Ｓｇ’｜２＋ｗｔ｜Ｔｇ−Ｔｇ’｜２）
＋ｗｐｔ（ｐｔ−ｐｔ０）２＋ｗｐｅｐ（ｐｅｐ−ｐｅｐ０）２＋ｗｐｅｇ（ｐｅｇ−ｐｅｇ０）２ …（１９）
ｗｐｔ，ｗｐｅｐ，ｗｐｅｇの値はあらかじめ適当な値を定めておく。
パラメタ推定手段２１３４は、コスト関数Ｃの値を改良するように、目的パラメタＰｔおよび外部パラメタＰｅｐ，Ｐｅｇそれぞれの値を更新する。これには様々な最適化手法が利用可能であるが、一例として最急降下法がある。
各パラメタ（ｐｔ，ｐｅｐ，ｐｅｇ）を並べた全パラメタベクトルをｐとし、その各要素ｐｉの値をひとつずつあらかじめ決めた微小な量Δｉだけ変化させたとき、およびモデルデータ生成手段２１３２によりそれぞれの要素を微小変化させたときの、プローブモデル画像データＩ’ｐ（ｐ＋Δｉ）、ギャラリモデルデータＤ’ｇ（ｐ＋Δｉ）の形状データＳｇ’（ｐ＋Δｉ）、およびテクスチャデータＴｇ’（ｐ＋Δｉ）が生成される（Δｉは要素ｉがΔｉ、他の要素がゼロのベクトルとする）。次に、コスト評価手段２１３３によって、コスト関数の値Ｃ（ｐ＋Δｉ）を次式により計算する処理が実行される。
Ｃ（ｐ＋Δｉ）＝｜Ｉｐ−Ｉｐ’（ｐ＋Δｉ）｜２
＋ｗｇ（｜Ｓｇ−Ｓｇ’（ｐ＋Δｉ）｜２＋ｗｔ｜Ｔｇ−Ｔｇ’（ｐ＋Δｉ）｜２） …（２０）
次に、次式に示すように、変化後のコスト関数値と元のコスト関数値の差分を前記微小変化量で割ることによって、コスト関数の勾配ベクトル∇Ｃの値を計算する処理が実行される。
∇Ｃ＝［（Ｃ（ｐ＋Δ１）−Ｃ（ｐ））／Δ１，（Ｃ（ｐ＋Δ２）−Ｃ（ｐ））／Δ２，…］Ｔ …（２１）
最急降下法によって、パラメタｐの値は次式で更新される。
ｐ（ｔ＋１）＝ｐ（ｔ）−α∇Ｃ …（２２）
αは事前に決めたゲイン定数とする。一例として値は１．０でもよい。また、状況に応じて適応的に変化することもできる。
以上の方法はあくまで一例であり、他にも第１の実施の形態と同様にＧａｕｓｓ−Ｎｅｗｔｏｎ法などの様々な最適化手法を利用して、コスト関数Ｃの値を最小にするようなパラメタの値を求めることも可能である。
再び図８および図９を参照すると、モデル適合度評価手段１２３２は、２Ｄ３Ｄモデルフィッティング手段１２３１のモデルフィッティング処理の精度を評価する。すなわち、モデルフィッティング処理において、目的パラメタｐｔが同一であると仮定して処理を行っていた。モデル適合度評価手段１２３２は、この仮定の上で、画像変動モデル１２３５および３Ｄデータ変動モデル１２３４がプローブ画像ＩｐおよびギャラリデータＤｇに適合したかどうかを表すモデル適合度Ｖを計算する。本実施の形態のモデル適合度評価手段１２３２は、プローブモデル画像Ｉ’ｐとプローブ画像Ｉｐ、ギャラリモデルデータＤ’ｇとギャラリデータＤｇを入力とし、それぞれの誤差を合算してモデル適合度Ｖとして出力する。
誤差の計算には様々な特徴量を用いることができるが、一例として、次式のような３次元座標とテクスチャ輝度値の重みつき二乗誤差和を用いることができる。
Ｖ＝ｖｐ｜Ｉｐ−Ｉｐ’｜２＋ｖｇ（｜Ｓｇ−Ｓｇ’｜２＋ｖｔ｜Ｔｇ−Ｔｇ’｜２） …（２３）
ここで、ｖｔ，ｖｐ，ｖｇは重み定数であり、適当な値をあらかじめ決めておく。値の一例としては、ｖｐ＝１，ｖｇ＝ｗｇ，ｖｔ＝ｗｔとしてもよい。ここでは一例として画像輝度値、３次元座標、テクスチャ輝度値のそれぞれの誤差の重み付き和を用いたが、このほかにも、法線ベクトルの誤差や画像・テクスチャのエッジなどの特徴量の誤差などを用いることももちろん可能である。また、式１８または式２０のコスト関数Ｃの値をモデル適合度Ｖとして用いてもよい。モデル適合度Ｖは誤差を表しているので、Ｖの値が小さいほど良いという点に注意する。
照合手段１２０３は、第１の実施の形態と同じであり、モデル適合度評価手段１２３２によって計算されたモデル適合度Ｖの値を用いて、ギャラリデータＤｇとプローブ画像Ｉｐの照合判定を行う。一例として、照合手段１２０３は、あらかじめ閾値を定めておき、その閾値よりモデル適合度Ｖが良い（式１６の場合は小さい値）場合に、プローブ画像Ｉｐの目的パラメタｐｔがギャラリデータＤｇの目的パラメタｐｔと同じであると認識する。
ギャラリデータＤｇが複数セットある場合には、それぞれのギャラリデータに対してプローブ画像Ｉｐを組み合わせて、２Ｄ３Ｄモデルフィッティング手段１２３１とモデル適合度評価手段１２３２の処理が行なわれ、それぞれの組についてのモデル適合度Ｖが計算される。照合手段１２０３は、もっとも良いモデル適合度を得た組のギャラリデータＤｇの目的パラメタｐｔの値が、プローブ画像Ｉｐの目的パラメタｐｔの値であると認識する。
または、ある閾値より良いモデル適合度Ｖを得た複数のギャラリデータＤｇの目的パラメタｐｔの値を用いて、内挿や補間によってプローブ画像Ｉｐの目的パラメタｐｔの値を推定しても良い。
より具体的な例を持って説明する。顔の３Ｄデータによる個人識別システムを例にすると、一例として３人の人物Ａ，Ｂ，Ｃのギャラリデータ３個に対してプローブデータを照合し、人物Ｂのギャラリデータがもっとも良いモデル適合度を得たとすると、プローブデータは人物Ｂの３Ｄデータであると認識される。このとき、ギャラリデータの３枚それぞれで、顔の向きなどの外部パラメタが異なっていても、外部パラメタはモデル適合度に影響しないため正しく個人識別を行うことができる。
さらに別の例として、物体の姿勢を認識するシステムを例にすると、一例として物体を左９０度から正面、右９０度まで１０度間隔の向きに置いて計測した１９個のギャラリ３Ｄデータに対してプローブ３Ｄデータを照合し、右７０度の向きのギャラリデータがもっとも良いモデル適合度を得たとすると、プローブデータを計測したときの物体の向きは右７０度である、と認識される。
本実施の形態においては、ギャラリデータである３Ｄデータとして３Ｄ形状データおよびテクスチャデータの両者が含まれるものとして説明したが、３Ｄ形状データのみから構成されるギャラリデータについてもまったく同様に処理を行うことが可能である。また、プローブ画像とギャラリデータが１つであるとして説明したが、一方または双方が複数である場合にも、外部パラメタｐｅや式１８、式２３における重み係数の数が画像または３Ｄデータの数だけ増えるだけであり、まったく同様に処理可能である。
次に本実施の形態の効果を説明する。
本実施の形態では、プローブ画像ＩｐとギャラリデータＤｇを入力とし、照合したい目的パラメタｐｔが両データＩｐ，Ｄｇで同じであると仮定してモデルフィッティング処理が行なわれ、そのモデルフィッティング処理の精度の尺度であるモデル適合度Ｖが計算され、このモデル適合度Ｖを持って照合が行なわれる。このため、モデルフィッティング処理の絶対的な精度にあまり影響を受けずにプローブ画像とギャラリデータとの照合を行うことができる。その理由は以下の通りである。
照合したい目的パラメタｐｔの値が両データＩｐ，Ｄｇで異なる場合には、データＩｐ，Ｄｇに類似したモデルデータＩ’ｐ，Ｄ’ｇが決して求まらないため、モデル適合度Ｖは極端に悪化する。他方、照合したい目的パラメタｐｔの値が両データＩｐ，Ｄｇで同じである場合には、データＩｐ，Ｄｇに類似したモデルデータＩ’ｐ，Ｄ’ｇが基本的には必ず求まるため、モデル適合度Ｖも良い値を示す。したがって、照合したい目的パラメタｐｔが両データＩｐ，Ｄｇで同じであるときと異なるときのモデル適合度Ｖの値の隔たりが顕著になる。このため、１セットのギャラリデータＤｇとの照合判定では、その中間の値に閾値を設定しておけば、フィッティング処理の精度が多少低下してモデル適合度Ｖの値が多少上下しても、閾値との距離が大きいためにその影響を受けずに、目的パラメタｐｔがプローブ画像と同じであるギャラリデータとそうでないギャラリデータとを明確に区別することができる。また、複数セットのギャラリデータＤｇとの照合判定では、目的パラメタｐｔがプローブ画像と同じであるギャラリデータＤｇとプローブ画像Ｉｐの組み合わせについて計算されたモデル適合度Ｖが、それ以外の組み合わせについて計算されたモデル適合度Ｖより頭一つ抜きん出て良好な値を示すため、フィッティング処理の精度が多少低下してモデル適合度Ｖの値が多少上下しても、その影響を受けずに、目的パラメタｐｔがプローブ画像と一番良く合致しているギャラリデータを特定することができる。
これに対して、プローブ画像Ｉｐからその目的パラメタｐｔｐと外部パラメタｐｅｐを、ギャラリデータＤｇからその目的パラメタｐｔｇと外部パラメタｐｅｇをそれぞれ独立にフィッティング処理で推定し、ｐｔｐとｐｔｇの類似度を比較する従来技術においては、照合したい目的パラメタｐｔｐとｐｔｇが両データＩｐ，Ｄｇで同じであるときと異なるときのｐｔｐとｐｔｇの類似度の隔たりが、本実施の形態におけるモデル適合度Ｖの値の隔たりのように顕著にならないため、フィッティング処理の絶対的な精度の影響を強く受けることになる。
（第４の実施の形態）
第３の実施の形態では、プローブ画像Ｉｐを入力して３次元データのギャラリデータＤｇと照合したが、本実施の形態に係る照合装置は、３次元のプローブデータＤｐを入力してギャラリ画像Ｉｇと照合する。
図１１に示される本実施の形態と図８に示される第３の実施の形態とを比較すると、画像入力装置１１００の代わりに３次元データ入力装置１４００を備えている点で両者は相違する。
３次元データ入力装置１４００は、３次元データであるプローブデータを処理装置１２００に入力する装置であり、３次元形状計測装置であってもよいし、図示しない記憶装置からプローブデータを読み込んだり、ネットワークを通じてプローブデータを受信する装置であってもよい。
記憶装置１３００には、処理装置１２００で実行するプログラムおよび照合に用いる各種のデータが記憶されている。各種データのうちには、ギャラリ画像、画像変動モデルおよび３次元データ変動モデルに関するデータが含まれる。ギャラリ画像をあらかじめ記憶装置１３００に記憶しておいても良い。当該ギャラリ画像はプローブデータと共に、その都度、図示しない画像入力装置から読み込まれても良い。画像変動モデルおよび３次元データ変動モデルは、第３の実施の形態における画像変動モデル１２３５および３Ｄデータ変動モデル１２３４と同じである。
図１２を参照すると、２Ｄ３Ｄモデルフィッティング手段１２３１は、プローブデータＤｐとギャラリ画像Ｉｇを入力し、認識目的の変動要素をあらわす目的パラメタｐｔが両データＤｐ，Ｉｇで同一の値をとり、その他の変動要素をあらわすパラメタｐｅは両データＤｐ，Ｉｇで個別に異なる可能性があると仮定した場合、前述した３Ｄデータ変動モデル１２３４を用いてプローブデータＤｐにできるだけ近い（以下に示したコスト関数の値が小さくなるような）モデルデータＩ’ｐを生成し、かつ、前述した画像変動モデル１２３５を用いてギャラリ画像Ｉｇにできるだけ近いモデル画像Ｉ’ｇを生成するような、各パラメタｐｔ，ｐｅの値を計算する。ここで、プローブデータＤｐの外部パラメタをｐｅｐ、ギャラリ画像Ｉｇの外部パラメタをｐｅｇとする。
図１３を参照すると、２Ｄ３Ｄモデルフィッティング手段１２３１は、第３の実施の形態と同様に、初期値推定手段２１３１と、２Ｄ３Ｄモデルデータ生成手段２１３２と、コスト評価手段２１３３と、パラメタ推定手段２１３４とを備える。
初期値推定手段２１３１は、プローブデータＤｐの３Ｄデータ変動要素パラメタ、および、ギャラリ画像Ｉｇの画像変動要素パラメタのそれぞれについて初期値を求める。これは、あらかじめ与えられた既知の値でもよいし、別途のセンサーなどによって計測される値でもよく、また、画像Ｉｇや３ＤデータＤｐに付与される情報として入力されるものでもよい。ギャラリ画像Ｉｇに対する初期値は第１の実施の形態における初期値推定手段２１０１と同様な処理で行うことができ、プローブデータＤｐに対する初期値は第２の実施の形態における初期値推定手段２１２１と同様な処理で行うことができる。
プローブデータＤｐとギャラリ画像Ｉｇの両データに対する目的パラメタｐｔの初期値、プローブデータＤｐに対する外部パラメタｐｅｐの初期値、ギャラリ画像Ｉｇに対する外部パラメタｐｅｇの初期値は、２Ｄ３Ｄモデルデータ生成手段２１３２へ出力される。
２Ｄ３Ｄモデルデータ生成手段２１３２は、初回のモデルデータの生成時は、初期値推定手段２１３１から初期値として出力された目的パラメタｐｔおよび外部パラメタＰｅｐ，Ｐｅｇを使用し、以後の繰り返し時にはパラメタ推定手段２１３４によって更新された目的パラメタｐｔおよび外部パラメタＰｅｐ，Ｐｅｇを使用し、それぞれ３Ｄデータ変動モデル１２３４および画像変動モデル１２３５を用いて、パラメタＰｔ，Ｐｅｐ，Ｐｅｇの表す状況下におけるプローブモデルデータＤ’ｐおよびギャラリモデル画像Ｉ’ｇを生成し、出力する。
コスト評価手段２１３３は、プローブデータＤｐとプローブモデルデータＤ’ｐ、ギャラリ画像Ｉｇとギャラリモデル画像Ｉ’ｇを比較し、フィッティングのコスト関数を計算する。このコスト関数は一例として、第３の実施の形態と同様に、比較する両データの重みつき二乗誤差和とすることができる。
パラメタ推定手段２１３４は、コスト関数Ｃの値を改良するように、目的パラメタＰｔおよび外部パラメタＰｅｐ，Ｐｅｇそれぞれの値を更新する。これには様々な最適化手法が利用可能であるが、一例として第３の実施の形態と同様に、最急降下法が利用可能である。
モデル適合度評価手段１２３２は、２Ｄ３Ｄモデルフィッティング手段１２３１のモデルフィッティング処理の精度を評価する。すなわち、モデルフィッティング処理において、目的パラメタｐｔが同一であると仮定して処理を行っていた。モデル適合度評価手段１２３２は、この仮定の上で、画像変動モデル１２３５および３Ｄデータ変動モデル１２３４がギャラリ画像ＩｇおよびプローブデータＤｐに適合したかどうかを表すモデル適合度Ｖを計算する。本実施の形態のモデル適合度評価手段１２３２は、プローブモデルデータＤ’ｐとプローブデータＤｐ、ギャラリモデル画像Ｉ’ｇとギャラリ画像Ｉｇを入力し、それぞれの誤差を合算してモデル適合度Ｖとして出力する。誤差の計算には様々な特徴量を用いることができるが、一例として、第３の実施の形態と同様に、３次元座標とテクスチャ輝度値の重みつき二乗誤差和を用いることができる。
照合手段１２０３は、第３の実施の形態と同様に、モデル適合度評価手段１２３２によって計算されたモデル適合度Ｖの値を用いて、ギャラリ画像ＩｇとプローブデータＤｐの照合判定を行う。
次に本実施の形態の効果を説明する。
本実施の形態では、プローブデータＤｐとギャラリ画像Ｉｇを入力し、照合したい目的パラメタｐｔが両データＤｐ，Ｉｇで同じであると仮定してモデルフィッティング処理を行い、そのモデルフィッティング処理の精度の尺度であるモデル適合度Ｖを計算し、このモデル適合度Ｖを持って照合を行う。このため、モデルフィッティング処理の絶対的な精度にあまり影響を受けずにプローブデータとギャラリ画像との照合を行うことができる。その理由は以下の通りである。
照合したい目的パラメタｐｔの値が両データＤｐ，Ｉｇで異なる場合には、データＤｐ，Ｉｇに類似したモデルデータＤ’ｐ，Ｉ’ｇが決して求まらないため、モデル適合度Ｖは極端に悪化する。他方、照合したい目的パラメタｐｔの値が両データＤｐ，Ｉｇで同じである場合には、データＤｐ，Ｉｇに類似したモデルデータＤ’ｐ，Ｉ’ｇが基本的には必ず求まるため、モデル適合度Ｖも良い値を示す。したがって、照合したい目的パラメタｐｔが両データＤｐ，Ｉｇで同じであるときと異なるときのモデル適合度Ｖの値の隔たりが顕著になる。このため、１セットのギャラリ画像Ｉｇとの照合判定では、その中間の値に閾値を設定しておけば、フィッティング処理の精度が多少低下してモデル適合度Ｖの値が多少上下しても、閾値との距離が大きいためにその影響を受けずに、目的パラメタｐｔがプローブデータと同じであるギャラリ画像とそうでないギャラリ画像とを明確に区別することができる。また、複数セットのギャラリ画像Ｉｇとの照合判定では、目的パラメタｐｔがプローブデータと同じであるギャラリ画像ＩｇとプローブデータＤｐの組み合わせについて計算されたモデル適合度Ｖが、それ以外の組み合わせについて計算されたモデル適合度Ｖより頭一つ抜きん出て良好な値を示す。このため、フィッティング処理の精度が多少低下してモデル適合度Ｖの値が多少上下しても、その影響を受けずに、目的パラメタｐｔがプローブデータと一番良く合致しているギャラリ画像を特定することができる。
これに対して、従来技術では、プローブデータＤｐからその目的パラメタｐｔｐと外部パラメタｐｅｐを、ギャラリ画像Ｉｇからその目的パラメタｐｔｇと外部パラメタｐｅｇをそれぞれ独立にフィッティング処理で推定し、ｐｔｐとｐｔｇの類似度を比較している。このため、照合したい目的パラメタｐｔｐとｐｔｇが両データＤｐ，Ｉｇで同じであるときと異なるときのｐｔｐとｐｔｇの類似度の隔たりが、本実施の形態におけるモデル適合度Ｖの値の隔たりのように顕著にならないため、フィッティング処理の絶対的な精度の影響を強く受けることになる。
（第５の実施の形態）
次に、本発明の第５の実施の形態について説明する。
図１４に示される本実施の形態と図２に示した第１の実施の形態とを比較すると、処理装置１２００が、モデル適合度評価手段１２０２の代わりにモデル適合度評価手段１２４２を備えている点、記憶装置１３００に、モデル適合度評価手段１２４２におけるモデル適合度の計算に使用するギャラリ画像とプローブ画像のパラメタに関する基準情報が格納されている点で両者は相違する。
ギャラリ画像のパラメタに関する基準情報としては様々なものが利用できるが、一例として、各パラメタの取りえる値の範囲、値を取る確率分布、別途推定されたまたは既知の正しい値、などが挙げられる。同様に、プローブ画像のパラメタに関する基準情報としては、一例として、各パラメタの取りえる値の範囲、値を取る確率分布、別途推定されたまたは既知の正しい値、などが挙げられる。
図１５を参照すると、モデル適合度評価手段１２４２は、第１の実施の形態におけるものと同様な動作を行う２Ｄモデルフィッティング手段１２０１により推定されたパラメタ群ｐ（目的パラメタｐｔ、プローブ外部パラメタｐｅｐ、ギャラリ外部パラメタｐｅｇを並べたベクトルとする）の値の確からしさ（パラメタ確信度）を、記憶装置１３００に記憶されたギャラリ画像パラメタ基準情報１２４５およびプローブ画像パラメタ基準情報１２４６を参照して評価し、そのパラメタ確信度をモデル適合度Ｕとして出力する。以下、モデル適合度Ｕの計算方法を幾つか説明する。
１）モデル適合度Ｕの第１の計算方法
この方法の場合、モデル適合度評価手段１２４２は、２Ｄモデルフィッティング手段１２０１により推定されたパラメタｐｔ，ｐｅｐ，ｐｅｇが、取りえる範囲に入っているかどうかを評価する。この場合、ギャラリ画像パラメタ基準情報１２４５およびプローブ画像パラメタ基準情報１２４６として、推定されたｉ番目のパラメタの値ｐｉの取りえる値域を示すデータをあらかじめ記憶装置１３００に記憶する処理が実行される。そして、一例として、値域が上下限の値（ｐｉ０，ｐｉ１）として与えられ、ｐｉ０≦ｐｉ≦ｐｉ１であるとすると、モデル適合度Ｕを次式で計算し、出力する処理が実行される。
Ｕ＝Σｉｗｉｕｉ
ｕｉ＝｜ｐｉ−ｐｉ０｜２ （ｉｆ ｐｉ＜ｐｉ０）
＝０ （ｉｆ ｐｉ０≦ｐｉ≦ｐｉ１） …（２４）
＝｜ｐｉ−ｐｉ１｜２ （ｉｆ ｐｉ＞ｐｉ１）
ここで、ｗｉは各パラメタの重要度を決める重みであり、適当な値を事前に決めておく。一例としては全て１でもよい。
ここでは全てのパラメタ（ｐｔ，ｐｅｐ，ｐｅｇ）について値域が与えられている場合を説明したが、一部のパラメタについてしか情報がない場合には、情報のないパラメタは除外して式２４を計算すればよい。
２）モデル適合度Ｕの第２の計算方法
この方法の場合、モデル適合度評価手段１２４２は、２Ｄモデルフィッティング手段１２０１により推定されたパラメタｐｔ，ｐｅｐ，ｐｅｇの値と、事前にわかっているパラメタの値との誤差を用いてモデル適合度Ｕを計算する処理が実行される。ギャラリ画像パラメタ基準情報１２４５およびプローブ画像パラメタ基準情報１２４６によって、ｐｉの正しい値がｐｉ０であることが知られている場合、次式でモデル適合度Ｕを計算する処理が実行される。
Ｕ＝Σｉｗｉ｜ｐｉ−ｐｉ０｜２ …（２５）
ただし、一部のパラメタについてしか値がわからない場合、不明なパラメタは除外して計算される。ｗｉは各パラメタの重要度を決める重みであり、適当な値を事前に決めておく。一例としては全て１でもよい。
３）モデル適合度Ｕの第３の計算方法
この方法では、各パラメタの値の確率分布が与えられており、モデル適合度評価手段１２４２は、２Ｄモデルフィッティング手段１２０１により推定されたパラメタｐｔ，ｐｅｐ，ｐｅｇの値をとる確率を計算し、モデル適合度Ｕを計算する。ギャラリ画像パラメタ基準情報１２４５およびプローブ画像パラメタ基準情報１２４６によって、パラメタｐｉが、分散σｉ、平均値ｐｉｍの正規分布に従うと指定されている場合、次式でモデル適合度Ｕが計算される。ただし、確率分布の不明であるパラメタは除外して計算される。
Ｕ＝−Σｉ（ｐｉ−ｐｉｍ）２／σｉ …（２６）
以上の第１乃至第３の方法で計算されるモデル適合度Ｕは、値が小さいほど良いことに注意する。また、ここに説明したモデル適合度Ｕの値の計算方法はあくまで一例であり、様々に変更可能である。
照合手段１２０３は第１の実施形態と同じであり、モデル適合度Ｖの値のかわりにモデル適合度Ｕの値を用いて、プローブ画像とギャラリ画像の目的パラメタが同一であるかどうかを判定し、または、良いモデル適合度を得たギャラリ画像の目的パラメタの値を用いてプローブ画像の目的パラメタの値を推定する。
次に本実施の形態の効果を説明する。
本実施の形態では、プローブ画像Ｉｐとギャラリ画像Ｉｇの双方の画像を入力とし、照合したい目的パラメタｐｔが両画像Ｉｐ，Ｉｇで同じであると仮定してモデルフィッティング処理を行い、そのモデルフィッティング処理の精度の尺度であるモデル適合度Ｕを計算し、このモデル適合度Ｕを持って照合を行う処理が実行される。このため、モデルフィッティング処理の絶対的な精度にあまり影響を受けずにプローブ画像とギャラリ画像との照合を行うことができる。その理由は以下の通りである。
照合したい目的パラメタｐｔの値が両画像Ｉｐ，Ｉｇで異なる場合には、画像Ｉｐ，Ｉｇに類似したモデル画像Ｉ’ｐ，Ｉ’ｇが決して求まらない。このため、推定されるパラメタｐｔ，ｐｅｐ，ｐｅｇの値が異常な値となり、モデル適合度Ｕは極端に悪化する。
他方、照合したい目的パラメタｐｔの値が両画像Ｉｐ，Ｉｇで同じである場合には、画像Ｉｐ，Ｉｇに類似したモデル画像Ｉ’ｐ，Ｉ’ｇが基本的には必ず求まる。このため、推定されるパラメタｐｔ，ｐｅｐ，ｐｅｇの値も正常な値となり、モデル適合度Ｕも良い値を示す。したがって、照合したい目的パラメタｐｔが両画像Ｉｐ，Ｉｇで同じであるときと異なるときのモデル適合度Ｕの値の隔たりが顕著になる。このため、１セットのギャラリ画像Ｉｇとの照合判定では、その中間の値に閾値を設定しておけば、フィッティング処理の精度が多少低下してモデル適合度Ｕの値が多少上下しても、閾値との距離が大きいためにその影響を受けずに、目的パラメタｐｔがプローブ画像と同じであるギャラリ画像とそうでないギャラリ画像とを明確に区別することができる。
また、複数セットのギャラリ画像Ｉｇとの照合判定では、目的パラメタｐｔがプローブ画像と同じであるギャラリ画像Ｉｇとプローブ画像Ｉｐの組み合わせについて計算されたモデル適合度Ｕが、それ以外の組み合わせについて計算されたモデル適合度Ｕより頭一つ抜きん出て良好な値を示す。このため、フィッティング処理の精度が多少低下してモデル適合度Ｕの値が多少上下しても、その影響を受けずに、目的パラメタｐｔがプローブ画像と一番良く合致しているギャラリ画像を特定することができる。
これに対して、従来技術では、プローブ画像Ｉｐからその目的パラメタｐｔｐと外部パラメタｐｅｐを、ギャラリ画像Ｉｇからその目的パラメタｐｔｇと外部パラメタｐｅｇをそれぞれ独立にフィッティング処理で推定し、ｐｔｐとｐｔｇの類似度を比較している。このため、照合したい目的パラメタｐｔｐとｐｔｇが両画像Ｉｐ，Ｉｇで同じであるときと異なるときのｐｔｐとｐｔｇの類似度の隔たりが、本実施の形態におけるモデル適合度Ｕの値の隔たりのように顕著にならない。したがって、フィッティング処理の絶対的な精度の影響を強く受けることになる。
なお、本実施の形態は画像と画像を照合するシステムであり、第１の実施の形態との比較によって説明したが、第２の実施の形態において、モデル適合度評価手段１２２２を本実施の形態のモデル適合度評価手段１２４２に置き換えた実施の形態も考えられる。また、第３または第４の実施形態において、モデル適合度評価手段１２３２を本実施の形態のモデル適合度評価手段１２４２に置き換えた実施の形態も考えられる。
（第６の実施の形態）
次に本発明の第６の実施の形態について説明する。
図１６に示される本実施の形態と図１４に示した第５の実施の形態とを比較すると、処理装置１２００が、モデル適合度評価手段１２４２に代えてモデル適合度評価手段１２５２を備えている点で両者は相違する。
図１７を参照すると、モデル適合度評価手段１２５２は、ギャラリ画像Ｉｇ、ギャラリモデル画像Ｉ’ｇ、プローブ画像Ｉｐ、プローブモデル画像Ｉ’ｐ、目的パラメタｐｔ、ギャラリ外部パラメタｐｅｇ、プローブ外部パラメタｐｅｐ、ギャラリ画像パラメタ基準情報１２４５およびプローブ画像パラメタ基準情報１２４６を入力し、モデル適合度Ｖとモデル適合度Ｕを併用してモデル適合度Ｗを計算し出力する。
モデル適合度評価手段１２５２は、二つの評価部１２５３および評価部１２５４と、統合部１２５５とを備える。
評価部１２５３は、第１の実施の形態における図２のモデル適合度評価手段１２０２に相当し、ギャラリ画像Ｉｇ、ギャラリモデル画像Ｉ’ｇ、プローブ画像Ｉｐ、プローブモデル画像Ｉ’ｐを入力とし、それらの誤差を評価してモデル適合度Ｖを計算して出力する。
評価部１２５４は、第５の実施形態における図１４のモデル適合度評価手段１２４２に相当し、ギャラリ画像パラメタ基準情報１２４５とプローブ画像パラメタ基準情報１２４６を参照し、モデルフィッティング手段１２０１の推定した各パラメタｐｔ，ｐｅｇ，ｐｅｐの確信度を計算し、モデル適合度Ｕを出力する。
統合部１２５５は、モデル適合度Ｖとモデル適合度Ｕを統合したモデル適合度Ｗを計算して出力する。モデル適合度Ｗの計算には様々な方法が利用可能である。モデル適合度Ｗは次式で計算される。
Ｗ＝Ｖ＋ｗｕＵ …（２７）
ここで、ｗｕはモデル適合度Ｖとモデル適合度Ｕの重視度を決める重み係数であり、事前に適当な値を決めておく。
照合手段１２０３は、第１の実施の形態とほぼ同じである。ただし、モデル適合度Ｖの値の代わりに、モデル適合度Ｗを用いて、プローブ画像とギャラリ画像の目的パラメタが同一であるかの照合、または、目的パラメタの値の推定を行う点が相違する。この際、第１の実施の形態および第５の実施の形態と同様の理由により、モデルフィッティング処理の絶対的な精度にあまり影響を受けずにプローブ画像とギャラリ画像との照合を行うことができる。
なお、本実施の形態は画像と画像を照合するシステムであり、第５の実施の形態との比較によって説明したが、第２の実施の形態において、モデル適合度評価手段１２２２を本実施の形態のモデル適合度評価手段１２５２に置き換えた実施の形態も考えられる。また、第３または第４の実施形態において、モデル適合度評価手段１２３２を本実施の形態のモデル適合度評価手段１２５２に置き換えた実施の形態も考えられる。
（第７の実施の形態）
次に本発明の第７の実施の形態について説明する。
図１８に示される本実施の形態と図１６に示した第６の実施の形態を比較すると、処理装置１２００が、２Ｄモデルフィッティング手段１２０１を複数備えている点、モデル適合度評価手段１２５２に代えてモデル適合度評価手段１２６２を備えている点で両者は相違する。
複数の２Ｄモデルフィッティング手段１２０１のうち、第１の２Ｄモデルフィッティング手段は、第６の実施の形態の２Ｄモデルフィッティング手段１２０１と同様にギャラリ画像とプローブ画像との同時フィッティングを行うために使用され、残りの第２の２Ｄモデルフィッティング手段１２０１は、ギャラリ画像とプローブ画像の一方のみを入力し、この単一の画像のみに対して画像変動モデルをフィッティングしてモデル画像の生成およびパラメタ推定を行うために使用される。
モデル適合度評価手段１２６２は、単一画像へのモデルフィッティング結果と、両画像へのモデルフィッティング結果との誤差を、モデル適合度Ｗとして計算する。
図１９を参照すると、第１のモデルフィッティング手段１２０１は、認識対象であるプローブ画像Ｉｐおよびそれと照合されるギャラリ画像Ｉｇの両者を入力とし、画像変動モデルを用い、照合目的となる変動要素を共通のパラメタとしてモデルフィッティング処理を行い、両画像Ｉｐ，Ｉｇにできるだけ近い画像を生成できるようなパラメタの値を求める。生成されたプローブモデル画像Ｉ’ｐ、ギャラリモデル画像Ｉ’ｇ、推定された目的パラメタｐｔ、プローブ外部パラメタｐｅｐ、ギャラリ外部パラメタｐｅｇは、モデル適合度評価手段１２６２に出力される。
１つ目の第２のモデルフィッティング手段１２０１は、プローブ画像Ｉｐのみを入力とし、画像変動モデルを用いてできるだけそれに近い画像を生成できるようなパラメタの値を求める。これには画像変動モデルに対応した様々な方法が利用可能であり、一例として、先行技術文献１の技術や先行技術文献２の技術を利用することは可能である。推定された目的パラメタをプローブ個別目的パラメタｑｔｐ、外部パラメタをプローブ個別外部パラメタｑｅｐとし、これらを合わせてプローブ画像パラメタ情報ｑｐとする。これらと共に、生成されたプローブ個別モデル画像Ｉ’ｐｓが出力される。
２つ目の第２のモデルフィッティング手段１２０１は、ギャラリ画像Ｉｇのみを入力し、画像変動モデルを用いてできるだけそれに近い画像を生成できるようなパラメタの値を求める。画像変動モデルに対応した様々な方法が利用可能である。一例として、先行技術文献１の技術や先行技術文献２の技術が利用できる。推定された目的パラメタをギャラリ個別目的パラメタｑｔｇ、外部パラメタをギャラリ個別外部パラメタｑｅｇとし、これらを合わせてギャラリ画像パラメタ情報ｑｇとして、これらパラメタとともに、生成されたギャラリ個別モデル画像Ｉ’ｇｓが出力される。
モデル適合度評価手段１２６２は、ギャラリ画像Ｉｇ、ギャラリモデル画像Ｉ’ｇ、ギャラリ個別モデル画像Ｉ’ｇｓ、プローブ画像Ｉｐ、プローブモデル画像Ｉ’ｐ、プローブ個別モデル画像Ｉ’ｐｓ、目的パラメタｐｔ、ギャラリ外部パラメタｐｅｇ、プローブ外部パラメタｐｅｐ、ギャラリ画像パラメタ情報ｑｇおよびプローブ画像パラメタ情報ｑｐを入力し、モデル適合度Ｖとモデル適合度Ｕを併用してモデル適合度Ｗを計算し出力する。
モデル適合度評価手段１２６２は、二つの評価部１２６３および評価部１２６４と、統合部１２６５とを備える。
評価部１２６４と第６の実施の形態における評価部１２５４とは以下の点を除いて同じである。ギャラリ画像パラメタ基準情報１２５４およびプローブ画像パラメタ基準情報１２４６の代わりに第２のモデルフィッティング手段１２０１の出力したプローブ画像パラメタ情報ｑｇおよびギャラリ画像パラメタ情報ｑｇを参照し、第１のモデルフィッティング手段１２０１の出力した目的パラメタｐｔ、プローブ外部パラメタｐｅｐ、ギャラリ外部パラメタｐｅｇの値との誤差に基づいてパラメタ確信度を計算し、モデル適合度Ｕとして出力する点が相違する。
このモデル適合度Ｕの計算方法は様々あるが、次式でモデル適合度Ｕを計算してもよい。
Ｕ＝ｗ１｜ｐｔ−ｑｔｐ｜２＋ｗ２｜ｐｔ−ｑｔｇ｜２
＋ｗ３｜ｐｅｐ−ｑｅｐ｜２＋ｗ４｜ｐｅｇ−ｑｅｇ｜２ …（２８）
ここで、ｗ１，ｗ２，ｗ３，ｗ４は重み係数であり、あらかじめ適当な値を設定しておく。なお、ここで説明したモデル適合度Ｕの計算方法はあくまで一例であり、様々な計算方法に変更可能である。
評価部１２６３は、第６の実施の形態における評価部１２５３に相当する。評価部１２６３は、プローブ画像Ｉｐ、ギャラリ画像Ｉｇ、第１のモデルフィッティング手段１２０１の出力するプローブモデル画像Ｉ’ｐ、ギャラリモデル画像Ｉ’ｇ、第２のモデルフィッティング手段１２０１の出力するプローブ個別モデル画像Ｉ’ｐｓ、及びギャラリ個別モデル画像Ｉ’ｇｓを入力し、この個別に生成されたモデル画像Ｉ’ｐｓ，Ｉ’ｇｓと、プローブおよびギャラリ両画像を併用して生成されたモデル画像Ｉ’ｐ，Ｉ’ｇとの誤差をも加味して、モデル適合度Ｖを計算する。
その計算方法は様々な方法が利用可能である。一例として、次式に示すように画像の輝度値の二乗誤差和を用いることができる。
Ｖ＝ｖｐ｜Ｉｐ−Ｉｐ’｜２＋ｖｇ｜Ｉｇ−Ｉｇ’｜２＋ｖｐｓ｜Ｉ’ｐ−Ｉ’ｐｓ｜２＋ｖｇｓ｜Ｉ’ｇ−Ｉ’ｇｓ｜２ …（２９）
ここで、ｖｐ，ｖｇ，ｖｐｓ，ｖｇｓは、重みを調整する係数であり、あらかじめ適当な値に定められている。一例として、各画像の画素数の逆数としてもよい。また、状況によって適応的に変更することも可能である。このほかにも、式２９にさらにＩｐとＩ’ｐｓ、ＩｇとＩ’ｇｓの誤差を加算するなど様々な計算方法が利用可能である。また、ここでは画像の輝度値の差分を用いたが、エッジや周波数成分など様々な画像特徴量の誤差を用いることも可能である。
統合部１２６５は、モデル適合度Ｖとモデル適合度Ｕを統合したモデル適合度Ｗを計算して出力する。モデル適合度Ｗの計算には様々な方法が利用可能であるが、一例として前記式２７を使用することができる。
照合手段１２０３は、モデル適合度Ｖの値の代わりに、モデル適合度Ｗを用いて、プローブ画像とギャラリ画像の目的パラメタが同一であるか否かの照合、または、目的パラメタの値の推定を行う点以外は第１の実施の形態と同じである。この際、第１の実施の形態および第５の実施の形態と同様の理由により、モデルフィッティング処理の絶対的な精度にあまり影響を受けずにプローブ画像とギャラリ画像との照合を行うことができる。
なお、本実施の形態は画像と画像を照合するシステムであり、第６の実施の形態との比較によって説明した。なお、第２の実施の形態において、モデル適合度評価手段１２２２を本実施の形態のモデル適合度評価手段１２６２に置き換えた実施の形態も考えられる。また、第３または第４の実施形態において、モデル適合度評価手段１２３２を本実施の形態のモデル適合度評価手段１２６２に置き換えた実施の形態も考えられる。
以上本発明の実施の形態について説明したが、本発明は以上の例に限定されず、その他各種の付加変更が可能である。また、本発明の照合装置は、その有する機能をハードウェア的に実現することは勿論、コンピュータとプログラムとで実現することができる。プログラムは、磁気ディスクや半導体メモリ等のコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータを前述した各実施の形態における照合装置として機能させ、前述した処理を実行させる。
（第１の実施の形態）
図２を参照すると、本実施の形態は、プログラム制御により動作する処理装置１２００と、この処理装置１２００に接続された画像入力装置１１００、記憶装置１３００、入力装置１５００および出力装置１６００とから構成される。認識対象であるプローブ画像と参照画像であるギャラリ画像とが照合される。
画像入力装置１１００は、プローブ画像を処理装置１２００に入力する装置であり、カメラであってもよいし、図示しない記憶装置からプローブ画像を読み込んだり、ネットワークを通じてプローブ画像を受信する装置であっても良い。
記憶装置１３００は、処理装置１２００で実行するプログラムおよび照合に用いる各種のデータを記憶する。各種データには、ギャラリ画像および画像変動モデルに関するデータが含まれる。ギャラリ画像は、あらかじめ記憶装置１３００に記憶しておいても良いし、プローブ画像と共に、その都度、読み込まれても良い。
画像変動モデルは、物体の種類、物体の状態、姿勢、照明条件、カメラなどの多様な画像変動要素によって、撮影される画像がどのように変動するかを記述したモデルである。画像変動モデルは、付与される多様な画像変動要素という条件の下におけるモデル画像を生成するために使用される。画像変動モデルに関するデータには、モデル画像を生成する過程で必要とされる一切のデータが含まれる。
画像変動モデルの一例（モデル１と称す）として、上記先行技術文献２に記載されているようなモデルがある。このモデルは、多様な人物の顔画像を、３Ｄ形状の個性、テクスチャの個性、表情、顔の姿勢、照明条件、カメラの性質をそれぞれ現すパラメタを与えることによってコンピュータグラフィクスの技術により生成される画像変動モデルである。この場合、あらかじめ多数の人物の顔の３Ｄデータが集められ、形状およびテクスチャのそれぞれのデータが主成分分析され、基底３Ｄデータ群および基底テクスチャ群が計算され、記憶部に記憶される。
画像変動モデルの別の例（モデル２と称す）として、上記先行技術文献１に記載されているモデルがある。このモデルは、照合したい人物のそれぞれの３Ｄ形状データと照明基底データを備え、人物を指定し、顔の姿勢、照明、カメラの性質をそれぞれあらわすパラメタを与えることによって、該条件での該人物の顔画像を生成するような画像変動モデルである。この場合、各人物の顔の３Ｄモデルそれぞれについて、多様な照明条件下でのテクスチャ輝度値が計算され、それらデータが主成分分析され、基底テクスチャ群が計算され、記憶部に記憶される。
上記した例としてあげた画像変動モデルはあくまで一例である。このほかにも様々な画像変動モデルを利用することが可能である。３次元データを用いない画像変動モデルの一例として、上記先行技術文献４に記載された「Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ」なども同様に利用可能である。
処理装置１２００は、２Ｄモデルフィッティング手段１２０１と、モデル適合度評価手段１２０２と、照合手段１２０３とを備える。
２Ｄモデルフィッティング手段１２０１は、図３に示されるように、ギャラリ画像Ｉｇおよびプローブ画像ＩＰの両者を入力して、認識目的の要素をあらわす目的パラメタｐｔが両画像Ｉｇ，ＩＰで同一の値をとり、その他の変動要素をあらわすパラメタｐｅが両画像Ｉｇ，ＩＰで異なる値をとる場合があると仮定すると、前述したような画像変動モデル１２０４を用いてそれぞれの画像Ｉｇ，ＩＰにできるだけ近い（以下に示したコスト関数の値が小さくなるような）モデル画像Ｉ’ｇ，Ｉ’Ｐを生成できるように、各パラメタｐｔ，ｐｅの値が計算される。この技術は、上記先行技術文献１に記載の技術のように、プローブ画像ＩＰとギャラリ画像Ｉｇのそれぞれに対して独立に目的パラメタｐｔと外部パラメタｐｅの両者を推定するという技術とは異なる。すなわち、この目的パラメタｐｔが両画像で同じ値を取ると仮定して、両画像に対して同時に目的パラメタｐｔおよび外部パラメタｐｅが推定される。ここで、ギャラリ画像Ｉｇについて推定された外部パラメタｐｅをｐｅｇ、プローブ画像ＩＰについて推定された外部パラメタｐｅをｐｅｐとする。
一例として、顔画像によって人物を識別する個人認識システムを例にすると、目的パラメタｐｔは個人性をあらわすパラメタ、外部パラメタｐｅは顔の姿勢、照明条件、カメラの性質に関するパラメタである。顔の姿勢のパラメタとして、顔の３次元的な位置座標と、顔の３次元的な向きを表す３つの回転角度がある。照明条件のパラメタとしては、照明の方向と強度をあらわす３次元ベクトルを一例として利用できる。以上のパラメタの設定方法はあくまで一例であり、使用する画像変動モデルに合わせて様々に変更可能である。
別の例として、物体の位置や向きを推定する位置姿勢推定システムを例にすると、目的パラメタｐｔは姿勢パラメタであり、外部パラメタｐｅは物体の種類、照明条件、カメラの性質に関するパラメタである。ある特定の物体しか認識対象としない場合には、物体の種類のパラメタはなくてもよい。また、照明条件が同じである画像しか認識しない場合には、照明条件のパラメタはなくてもよい。このように、必要に応じてパラメタを設定することができる。
図４を参照すると、２Ｄモデルフィッティング手段１２０１は、初期値推定手段２１０１と、モデル画像生成手段２１０２と、コスト評価手段２１０３と、パラメタ推定手段２１０４とを備える。これらの手段はそれぞれ概略つぎのように動作する。
初期値推定手段２１０１は、プローブ画像ＩＰおよびギャラリ画像Ｉｇのそれぞれについて、画像変動要素のパラメタｐｔ、ｐｅｇ、ｐｅｐの初期値を求める。これは、あらかじめ与えられた既知の値でもよいし、別途のセンサーなどによって計測される値でもよく、また、各画像ＩＰ，Ｉｇに付与される情報として入力されるものでもよい。その一例として、顔画像認識の場合は、画像中の顔の目や鼻、口の位置などを示す基準点位置データを付与情報としておくことにより、該付与情報から顔の姿勢の概算値を初期値として計算することができる。
個人性のパラメタは平均値を初期値とすることができる。その他のパラメタも適時値をあらかじめ定めておいてもよい。両画像ＩＰ，Ｉｇに対する目的パラメタｐｔの初期値、プローブ画像ＩＰに対する外部パラメタｐｅｐの初期値、ギャラリ画像Ｉｇに対する外部パラメタｐｅｇの初期値は、モデル画像生成手段２１０２へ出力される。
モデル画像生成手段２１０２では、初回のモデル画像の生成時は、初期値推定手段２１０１から初期値として出力された目的パラメタｐｔおよび外部パラメタｐｅｐ，ｐｅｇが使用され、以後の繰り返し時にはパラメタ推定手段２１０４によって更新された目的パラメタｐｔおよび外部パラメタｐｅｐ，ｐｅｇが使用される。
モデル画像生成手段２１０２は、画像変動モデル１２０４を用いて、これらパラメタ｛ｐｔ，ｐｅｐ，ｐｅｇ｝の表す状況下における画像をモデル画像として生成する。パラメタが複数ある場合、｛ｐｔ，ｐｅｐ，ｐｅｇ｝はそれぞれベクトルとなる。
画像変動モデル１２０４として前記先行技術文献２に記載のモデルを用いた場合、個人性をあらわすパラメタを結合係数とした基底３Ｄデータおよび基底テクスチャデータそれぞれの線形結合を計算することにより、特定人物の顔の３Ｄデータが計算される。次に、姿勢、照明、カメラ特性のパラメタにより、コンピュータグラフィクスの技術を用いてモデル画像が生成される。
モデル画像生成手段２１０２は、画像変動モデル１２０４として前記先行技術文献１に記載のモデルを用いた場合、個人性をあらわすパラメタを元に、対応する３Ｄ形状データと基底テクスチャ群が選択する。モデル画像生成手段２１０２は、次に、照明パラメタを結合係数として前記基底テクスチャ群の線形結合を計算することにより、該照明条件における３Ｄデータ表面の輝度値を計算する。次に、姿勢、カメラ特性などのパラメタにより、コンピュータグラフィクスの技術を用いて３Ｄデータ表面の各点と画像の各画素の位置の対応関係が計算され、対応する３Ｄデータ表面の輝度値を画素の輝度値とすることにより、モデル画像が生成される。
以上の処理を、プローブ画像Ｉｐおよびギャラリ画像Ｉｇそれぞれに対して行うことにより、プローブモデル画像Ｉ’ｐおよびギャラリモデル画像Ｉ’ｇが生成される。ただし、各モデル画像の生成過程において、目的パラメタｐｔは同一の値であると仮定し共通パラメタとする。外部パラメタｐｅは異なる値をとる可能性があるので異なるパラメタとする。
一例として、顔の画像から人物を特定する個人識別システムの場合は、顔の形状やテクスチャの個人性を現すパラメタが目的パラメタｐｔ、顔の姿勢、照明条件、カメラ特性などを記述するパラメタが外部パラメタｐｅとなる。また他の例として物体の向きを認識するシステムにおいては、物体の姿勢をあらわすパラメタが目的パラメタｐｔであり、物体の種類や形状、表面色、照明条件、カメラの特性などをあらわすパラメタが外部パラメタｐｅとなる。
プローブ画像の外部パラメタをｐｅｐ、ギャラリ画像の外部パラメタをｐｅｇとし、上述した画像変動モデルによる画像生成を関数Ｍ（ｐｔ，ｐｅ）であらわすと、プローブモデル画像Ｉ’ｐおよびギャラリモデル画像Ｉ’ｇは次式で与えられる。
Ｃ＝｜Ｉ−Ｉ’｜２
Ｉ＝［ＩｐＴ，ｗｇＩｇＴ］Ｔ …（２）
Ｉ’＝［Ｉ’ｐＴ，ｗｇＩ’ｇＴ］Ｔ
ただし、式２において、Ｉｐはプローブ画像の各画素の輝度値を並べたベクトル、Ｉｇはギャラリ画像の各画素の輝度値を並べたベクトル、Ｉ’ｐはプローブモデル画像の各画素の輝度値を並べたベクトル、Ｉ’ｇはギャラリ画像の各画素の輝度値を並べたベクトルであり、画像ベクトルＩはＩｐとｗｇＩｇを並べたベクトル、モデル画像ベクトルＩ’はＩ’ｐとｗｇＩ’ｇを並べたベクトルとする。ｗｇの値はあらかじめ適当な値を定めておけばよいが、一例として、プローブ画像の画素数をギャラリ画像の画素数で割った値としてもよい。
他の例として、前記先行技術文献２の技術のように、各パラメタの値の事前確率を表すコスト項を、式２のコスト関数値に加算することもできる。
パラメタ推定手段２１０４は、式２のコスト関数値を改良（式２の場合は小さい値に）するように、目的パラメタｐｔおよび外部パラメタｐｅｐ、ｐｅｇそれぞれの値を更新する。これには様々な最適化手法が利用可能であるが、一例として最急降下法がある。
各パラメタ（ｐｔ，ｐｅｐ，ｐｅｇ）を並べた全パラメタベクトルをｐとし、各要素ｐｉの値をあらかじめ決めた微小な量Δｉだけ変化させて、モデル画像生成手段２１０２によりそれぞれの要素を微小変化させたときのモデル画像Ｉ’（ｐ＋Δｉ）が生成される（Δｉは要素ｉがΔｉ、他の要素がゼロのベクトル）。次に、コスト評価手段２１０３によってコスト関数の値Ｃ（ｐ＋Δｉ）が次式により計算される。
Ｃ（ｐ＋Δｉ）＝｜Ｉ−Ｉ’（ｐ＋Δｉ）｜２ …（３）
次に、変化後のコスト関数値と元のコスト関数値の差分を前記微小変化量で割ることによって、コスト関数の勾配ベクトル∇Ｃの値が次式により計算される。
∇Ｃ＝［（Ｃ（ｐ＋Δ１）−Ｃ（ｐ））／Δ１，（Ｃ（ｐ＋Δ２）−Ｃ（ｐ））／Δ２，…］Ｔ …（４）
最急降下法によって、パラメタｐの値は次式で更新される。
ｐ（ｔ＋１）＝ｐ（ｔ）−α∇Ｃ …（５）
αは事前に決めたゲイン定数とする。一例として値は１．０でもよい。また、状況に応じて適応的に変化させることもできる。
以上の方法はあくまで一例であり、他にもＧａｕｓｓ−Ｎｅｗｔｏｎ法などの様々な最適化手法を利用することが可能である。一例としてＧａｕｓｓ−Ｎｅｗｔｏｎ法を用いる場合は、ヤコビ行列Ｊを次式で求めることができる。
Ｊ＝［（Ｉ−Ｉ’（ｐ＋Δ１））／Δ１，（Ｉ−Ｉ’（ｐ＋Δ２））／Δ２，…］ …（６）
パラメタｐは次式で更新される。
ｐ（ｔ＋１）＝ｐ（ｔ）−α（ＪＴＪ）−１Ｊ（Ｉ−Ｉ’（ｐ）） …（７）
この他にも、様々な最適化手法を適用して、コスト関数Ｃの値を最小にするようなパラメタの値を求めることももちろん可能である。
なお、画像変動モデル１２０４として前記モデル２を用いた場合、個人性をあらわすパラメタは人物の番号であり連続的な値を取らない。このような場合は、微分値を計算せずに、取りえる値のそれぞれについて（すなわち、個々の人物の顔のそれぞれについて）、モデル画像生成手段２１０２とコスト評価手段２１０３の処理を繰り返し行ってコスト関数の値を計算し、最良のコスト値を得た値を推定値とすることができる。このとき、他の連続的な値を取るパラメタについては、上述した方法や様々な最適化手法を適用してコスト関数値を最小にするパラメタの値が求められる。
再び図２および図３を参照すると、モデル適合度評価手段１２０２は、モデルフィッティング手段１２０１の処理によってパラメタ推定が適正に行われたかどうかを評価する。すなわち、モデルフィッティング処理においては、目的パラメタｐｔがギャラリ画像とプローブ画像で同じ値であると仮定して処理を行ったが、この仮定が事実と適合したかどうかをはかる尺度であるモデル適合度が計算される。
本実施の形態におけるモデル適合度評価手段１２０２は、２Ｄモデルフィッティング手段１２０１によって生成されたギャラリモデル画像Ｉ’ｇとギャラリ画像Ｉｇ、プローブモデル画像Ｉ’ｐとプローブ画像Ｉｐの誤差をそれぞれ計算し、両者を合算した値をモデル適合度Ｖとして出力する。誤差としては様々な画像特徴量を用いることができるが、一例として、次式に示すように画像の輝度値の二乗誤差和を用いることができる。
Ｖ＝ｖｐ｜Ｉｐ−Ｉ’ｐ｜２＋ｖｇ｜Ｉｇ−Ｉ’ｇ｜２ …（８）
式８において、ｖｐ，ｖｇはプローブ画像とギャラリ画像それぞれに対する重みを調整する係数であり、あらかじめ適当な値を定めておく。一例として、ｖｐ＝１，ｖｇ＝ｗｇとしてもよい。また各画像の画素数の逆数としてもよいし、状況によって適応的に変更することも可能である。モデル適合度Ｖは誤差を表しているので、Ｖの値が小さいほど良いという点に注意する。
さらに、プローブ画像を複数のギャラリ画像と照合するシステムにおいて、それぞれのギャラリ画像でモデルフィッティングの精度が大きく変動する（ギャラリ画像とギャラリモデル画像の差分が変動する）場合には、ｖｇを小さくすることで認識性能を向上することができる。その一例として、プローブ画像とそれぞれのギャラリ画像の組に対してモデルフィッティング手段１２０１の処理を行った結果のギャラリ画像とギャラリモデル画像の誤差（｜Ｉｇ−Ｉｇ’｜２）の分散、プローブ画像とプローブモデル画像の誤差（｜Ｉｐ−Ｉｐ’｜２）の分散がそれぞれ計算される。前記各分散の逆数がそれぞれｖｇ，ｖｐの値となる。
以上に示したモデル適合度Ｖの計算方法はあくまで一例であり、このほかにもエッジ画像を生成してその輝度誤差を用いる、輝度値の正規化相関値を用いるなど、様々な画像特徴量を用いることが可能である。すなわち、プローブモデル画像とプローブ画像との間の何らかの画像特徴量の誤差と、ギャラリモデル画像とギャラリ画像との間の何らかの画像特徴量の誤差とを足した量を、モデル適合度Ｖとすることができる。
照合手段１２０３は、モデル適合度評価手段１２０２によって計算されたモデル適合度Ｖを用いて、ギャラリ画像Ｉｇとプローブ画像Ｉｐの照合判定を行う。１セットのギャラリ画像Ｉｇとの照合判定を行う場合の一例として、あらかじめ閾値を定めておき、その閾値よりモデル適合度Ｖが良い（式８の場合は値が小さい）場合に、プローブ画像Ｉｐの目的パラメタｐｔがギャラリ画像Ｉｇの目的パラメタｐｔと同じであると判定する方法がある。
他方、プローブ画像Ｉｐを複数セットのギャラリ画像Ｉｇと照合する場合には、それぞれのギャラリ画像Ｉｇとプローブ画像Ｉｐの組み合わせに対して、２Ｄモデルフィッティング手段１２０１とモデル適合度評価手段１２０２との処理を行って、モデル適合度Ｖが計算される。もっとも良いモデル適合度（式８を用いる場合にはもっとも小さい値）を得たギャラリ画像Ｉｇの目的パラメタｐｔが、プローブ画像の目的パラメタｐｔにもっとも近い値であると判定される。
一例として、顔画像による個人識別システムを例に説明する。３人の人物Ａ，Ｂ，Ｃの顔を撮影したギャラリ画像３枚に対してプローブ画像を照合し、人物Ｂのギャラリ画像がもっとも良いモデル適合度を得たとすると、プローブ画像に写っている人物は人物Ｂであると認識される。このとき、ギャラリ画像の３枚それぞれで、顔の向きや照明条件などの外部パラメタが異なっていても、外部パラメタはモデル適合度に影響しないため正しく個人識別を行うことができる。
さらに別の例として、物体の姿勢を認識するシステムを例に説明する。一例として物体を左９０度から正面、右９０度まで１０度間隔の向きに置いて撮影した１９枚のギャラリ画像に対してプローブ画像を照合し、右７０度の向きのギャラリ画像がもっとも良いモデル適合度を得たとすると、プローブ画像に写っている物体の向きは右７０度である、と認識される。このとき、ギャラリ画像の１９枚それぞれで、照明条件やカメラの特性といった外部パラメタが異なっていても、外部パラメタはモデル適合度に影響しないため正しく物体の姿勢を認識することができる。
次に本実施の形態の効果を説明する。
本実施の形態では、プローブ画像Ｉｐとギャラリ画像Ｉｇの双方の画像を入力とし、照合したい目的パラメタｐｔが両画像Ｉｐ，Ｉｇで同じであると仮定してモデルフィッティング処理を行い、そのモデルフィッティング処理の精度の尺度であるモデル適合度Ｖを計算し、このモデル適合度Ｖを持って照合を行うため、モデルフィッティング処理の絶対的な精度にあまり影響を受けずにプローブ画像とギャラリ画像との照合を行うことができる。その理由は以下の通りである。
照合したい目的パラメタｐｔの値が両画像Ｉｐ，Ｉｇで異なる場合には、画像Ｉｐ，Ｉｇに類似したモデル画像Ｉ’ｐ，Ｉ’ｇが決して求まらないため、モデル適合度Ｖは極端に悪化する。他方、照合したい目的パラメタｐｔの値が両画像Ｉｐ，Ｉｇで同じである場合には、画像Ｉｐ，Ｉｇに類似したモデル画像Ｉ’ｐ，Ｉ’ｇが基本的には必ず求まるため、モデル適合度Ｖは良い値を示す。したがって、照合したい目的パラメタｐｔが両画像Ｉｐ，Ｉｇで同じであるときと異なるときのモデル適合度Ｖの値の隔たりが顕著になる。このため、１セットのギャラリ画像Ｉｇとの照合判定では、その中間の値に閾値を設定しておけば、フィッティング処理の精度が多少低下してモデル適合度Ｖの値が多少上下しても、閾値との距離が大きいためにその影響を受けずに、目的パラメタｐｔがプローブ画像と同じであるギャラリ画像とそうでないギャラリ画像とを明確に区別することができる。また、複数セットのギャラリ画像Ｉｇとの照合判定では、目的パラメタｐｔがプローブ画像と同じであるギャラリ画像Ｉｇとプローブ画像Ｉｐの組み合わせについて計算されたモデル適合度Ｖが、それ以外の組み合わせについて計算されたモデル適合度Ｖより頭一つ抜きん出て良好な値を示す。このため、フィッティング処理の精度が多少低下してモデル適合度Ｖの値が多少上下しても、その影響を受けずに、目的パラメタｐｔがプローブ画像と一番良く合致しているギャラリ画像を特定することができる。
これに対して、従来技術においては、プローブ画像Ｉｐからその目的パラメタｐｔｐと外部パラメタｐｅｐと、ギャラリ画像Ｉｇからその目的パラメタｐｔｇと外部パラメタｐｅｇとがそれぞれ独立にフィッティング処理で推定され、ｐｔｐとｐｔｇの類似度が比較される。このため照合したい目的パラメタｐｔｐとｐｔｇが両画像Ｉｐ，Ｉｇで同じであるときと異なるときのｐｔｐとｐｔｇの類似度の隔たりが、本実施の形態におけるモデル適合度Ｖの値の隔たりのように顕著にならない。このため、フィッティング処理の絶対的な精度の影響を強く受けることになる。
以上の説明においては、プローブ画像が１枚の画像である場合について説明したが、複数枚の画像を認識する場合についてもまったく同様である。また、ギャラリ画像が複数枚の画像を１セットとしている場合についても同様である。
（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。前述した第１の実施形態は画像どうしを照合したが、本実施の形態は３次元データどうしを照合する。
図５に示される本実施の形態と図２に示される第１の実施の形態とを比較すると、画像入力装置１１００の代わりに３次元データ入力装置１４００を備えている点、処理装置１２００が２Ｄモデルフィッティング手段１２０１およびモデル適合度評価手段１２０２の代わりに３Ｄモデルフィッティング手段１２２１およびモデル適合度評価手段１２２２を有する点で相違する。
３次元データ入力装置１４００は、３次元データであるプローブデータを処理装置１２００に入力する装置であり、３次元形状計測装置であってもよいし、図示しない記憶装置からプローブデータを読み込んだり、ネットワークを通じてプローブデータを受信する装置であってもよい。
記憶装置１３００には、処理装置１２００で実行するプログラムおよび照合に用いる各種のデータが記憶されている。各種データのうちには、３次元データであるギャラリデータおよび３次元データ変動モデルに関するデータが含まれる。ギャラリデータは、あらかじめ記憶装置１３００に記憶しておいても良いし、プローブデータと共に、その都度、読み込まれても良い。
３次元データ変動モデルは、物体の種類、物体の状態、姿勢などの多様な変動要素によって、計測される３次元データがどのように変動するかを記述したモデルであり、前記多様な変動要素のパラメタを与えると、該条件における３Ｄデータが生成されうる。この処理過程で必要とされるデータ群は記憶装置１３００に記憶される。
前記３Ｄデータ変動モデルの一例（モデル３と称す）としては、多様な人物のそれぞれの３Ｄ形状データをあらかじめ集めておき、人物を指定するパラメタを与えることによってその人物の３Ｄデータを出力するというモデルが用いられても良い。さらに、姿勢のパラメタを与えられた場合には、該３Ｄデータの３次元座標に対し、その姿勢に回転する回転行列をかけることにより、指定された姿勢の３Ｄデータを生成することができる。
前記３Ｄデータ変動モデルの別の例（モデル４）としては、前記先行技術文献２に記載されているような、多様な人物の顔の３Ｄデータを、３Ｄ形状の個性、テクスチャの個性、表情、年齢、などをそれぞれあらわすパラメタを与えることによって計算する３Ｄデータ変動モデルがある。このモデルの場合、あらかじめ多数の人物の顔の３Ｄデータを集め、形状およびテクスチャのそれぞれのデータを主成分分析し、基底３Ｄデータ群および基底テクスチャ群を計算し、記憶するという処理ステップが実行される。
さらに、姿勢のパラメタを与えられた場合には、計算された３Ｄデータの３次元座標に対し、その姿勢に回転する回転行列をかけることにより、指定された姿勢のモデル３Ｄデータを生成することができる。
該モデルでは、基準３Ｄ形状データをＳ０、基準テクスチャデータをＴ０、３Ｄ形状の個人性をあらわす１００個のパラメタをａ１，…，ａ１００、各パラメタに対応した基底形状データをＳ１，…，Ｓ１００、表情の変化を表す１０個のパラメタをｃ１，…，ｃ１０、表情変化による変形を表す基底形状データをＳ１０１，…，Ｓ１１０、テクスチャテクスチャの個人性をあらわす１００個のパラメタをｂ１，…，ｂ１００、各パラメタに対応した基底テクスチャデータをＴ１，…，Ｔ１００、表情変化によるテクスチャの変化を表す基底テクスチャデータをＴ１０１，…，Ｔ１１０、姿勢をあらわすパラメタをｘ，ｙ，ｚ軸それぞれの軸周りの回転角度ｒｘ，ｒｙ，ｒｚと平行移動量ｔｘ，ｔｙ，ｔｚとすると、モデル３Ｄデータの形状データＳ’の点ｉの３次元座標Ｓ’（ｉ）、テクスチャデータＴ’は次式で与えられる。
以上にあげた３Ｄデータ変動モデルはあくまで一例であり、このほかにも様々な３Ｄデータ変動モデルを利用可能である。
図６を参照すると、３Ｄモデルフィッティング手段１２２１は、ギャラリデータＤｇおよびプローブデータＤｐの両３Ｄデータを入力し、認識目的の要素をあらわす目的パラメタｐｔが両データで同一の値をとると仮定し、その他の変動要素をあらわすパラメタｐｅは各データで個別に異なる可能性があると仮定した場合、前述したような３Ｄデータ変動モデル１２２４を用いてそれぞれの３ＤデータＤｇ，Ｄｐにできるだけ近い（以下に示したコスト関数の値が小さくなるような）モデルデータＤ’ｇ，Ｄ’ｐを生成できるように、各パラメタｐｔ，ｐｅの値を計算する。すなわち、３Ｄモデルフィッティング手段１２２１は、プローブデータＤｐとギャラリデータＤｇのそれぞれに対して独立にパラメタを推定し、目的パラメタの推定結果を比較するのではなく、目的パラメタｐｔが両データで同じ値であると仮定し、両データに対して同時に目的パラメタｐｔおよび外部パラメタｐｅを推定する。
顔の３Ｄデータを入力として人物を識別する個人認識システムを例にすると、目的パラメタｐｔは個人性をあらわすパラメタ（前記ａ１，…，ａ１００およびｂ１，…，ｂ１００）、外部パラメタｐｅは表情および顔の姿勢に関するパラメタ（前記ｃ１，…，ｃ１０，ｒｘ，ｒｙ，ｒｚ，ｔｘ，ｔｙ，ｔｚ）となる。
物体の位置や向きを推定する位置姿勢推定システムを例にすると、目的パラメタｐｔは姿勢パラメタ（前記ｒｘ，ｒｙ，ｒｚ，ｔｘ，ｔｙ，ｔｚ）であり、外部パラメタｐｅは物体の種類と状態（前記ａ１，…，ａ１００，ｂ１，…，ｂ１００，ｃ１，…，ｃ１０）、３次元形状計測装置の性質に関するパラメタである。
ある特定の物体しか認識対象としない場合には、物体の種類のパラメタはなくてもよいし、同じ計測装置を用いるなら装置の特性パラメタは不要である。このように、必要に応じてパラメタを設定し、その要素による３Ｄデータの変形を記述する３Ｄデータ変動モデルを用意することができる。
図７を参照すると、３Ｄモデルフィッティング手段１２２１は、初期値推定手段２１２１と、３Ｄモデルデータ生成手段２１２２と、コスト評価手段２１２３と、パラメタ推定手段２１２４とを備える。
初期値推定手段２１２１は、プローブデータＤｐおよびギャラリデータＤｇのそれぞれについて、３Ｄデータの変動要素の各パラメタＰｔ，Ｐｅｐ，Ｐｅｇの初期値を求める。これは、あらかじめ与えられた既知の値でもよいし、別途のセンサーなどによって計測される値でもよく、また、３Ｄデータに付与される情報として入力されるものでもよい。
その一例として、顔認識システムの場合は、３Ｄデータ中の顔の目や鼻、口の位置などを示す基準点位置データを付与情報としておくことにより、この情報から顔の位置と姿勢（前記ｒｘ，ｒｙ，ｒｚ，ｔｘ，ｔｙ，ｔｚ）や形状（前記ａ１，…，ａ１００）の概算値を初期値として計算することができる。３Ｄ形状やテクスチャの個人性のパラメタ、表情のパラメタなどは多数の人物のデータに対する平均値（一例としてはａ１〜ａ１００＝０，ｂ１〜ｂ１００＝０，ｃ１〜ｃ１０＝０）を初期値としてもよいし、特定の人物の値を初期値としても良い。その他のパラメタも適当な値をあらかじめ定めておいてもよい。プローブデータＤｐとギャラリデータＤｇの両３Ｄデータに対する目的パラメタＰｔの初期値、プローブデータＤｐに対する外部パラメタＰｅｐの初期値、およびギャラリデータＤｇに対する外部パラメタＰｅｇの初期値は、３Ｄモデルデータ生成手段２１２２へ出力される。
３Ｄモデルデータ生成手段２１２２は、初回のモデルデータの生成時は、初期値推定手段２１２１から初期値として出力された目的パラメタｐｔおよび外部パラメタＰｅｐ，Ｐｅｇを使用し、以後の繰り返し時にはパラメタ推定手段２１２４によって更新された目的パラメタｐｔおよび外部パラメタＰｅｐ，Ｐｅｇを使用し、それぞれ３Ｄデータ変動モデル１２２４を用いて、パラメタＰｔ，Ｐｅｐ，Ｐｅｇの表す状況下におけるプローブモデルデータＤ’ｐおよびギャラリモデルデータＤ’ｇを生成し、出力する。
３Ｄデータ変動モデル１２２４として前記モデル３を用いた場合、個人性をあらわすパラメタは人物の番号などであり、対応する人物の３Ｄデータを読み出すことによってモデル３Ｄデータを生成できる。さらに、姿勢パラメタを用いる場合には、回転行列を適用することで、該姿勢におけるモデル３Ｄデータを生成できる。このほかにも、表情による変形モデルとそれを記述するパラメタを追加して、３Ｄデータをさらに変形して表情変化を加味したモデル３Ｄデータを生成することもできる。
３Ｄデータ変動モデルとして前記モデル４を用いた場合、個人性、年齢、体型などをあらわすパラメタを結合係数とした基底３Ｄデータおよび基底テクスチャデータそれぞれの線形結合を計算することにより、特定人物の顔の３Ｄデータが計算される。次に、姿勢のパラメタにより、前記計算された３Ｄデータに回転行列を適用することで、該姿勢におけるモデル３Ｄデータが生成される。
前述したモデル４の一例では、式９によってモデル３Ｄデータの形状データＳ’およびテクスチャデータＴ’が計算される。両者をまとめてモデルデータＤ’とする。これらのパラメタの設定はあくまで一例であり、このほかにも、表情による変形などのパラメタを追加して、３Ｄデータをさらに変形してモデル３Ｄデータを生成することもできる。
以上の処理を、プローブデータＤｐおよびギャラリデータＤｇのそれぞれの変動パラメタを用いて行うことにより、プローブモデルデータＤ’ｐおよびギャラリモデルデータＤ’ｇが生成される。ただし、各モデルデータの生成過程において、目的パラメタｐｔは同一の値であるが、外部パラメタｐｅｐ，ｐｅｇは異なる値とする。前述した個人識別システムの例では、ｐｔ＝［ａ１，…，ａ１００，ｂ１，…，ｂ１００］、ｐｅ＝［ｃ１，…，ｃ１０，ｒｘ，ｒｙ，ｒｚ，ｔｘ，ｔｙ，ｔｚ］となる。プローブデータの外部パラメタの値をｐｅｐ、ギャラリデータの外部パラメタの値をｐｅｇとし、上述した３Ｄデータ変動モデルによる式９を用いた３Ｄ形状データおよびテクスチャデータの生成過程をまとめて関数Ｎ（ｐｔ，ｐｅ）であらわすと、プローブデータＤｐとギャラリデータＤｇそれぞれに対するモデルデータＤ’ｐ，Ｄ’ｇは次式で与えられる。
Ｃ＝｜Ｓｐ−Ｓｐ’｜２＋ｗｔ｜Ｔｐ−Ｔｐ’｜２＋ｗｇ（｜Ｓｇ−Ｓｇ’｜２＋ｗｔ｜Ｔｇ−Ｔｇ’｜２） …（１１）
ここで、Ｓｐ，ＴｐはプローブデータＤｐの３Ｄ形状およびテクスチャデータ、Ｓ’ｐ，Ｔ’ｐはプローブモデルデータＤ’ｐの３Ｄ形状およびテクスチャデータ、Ｓｇ，ＴｇはギャラリデータＤｇの３Ｄ形状およびテクスチャデータ、Ｓ’ｇ，Ｔ’ｇはギャラリモデルデータＤ’ｇの３Ｄ形状およびテクスチャデータである。また、ｗｔは３次元座標とテクスチャの重みを調整する係数、ｗｇはプローブとギャラリの重みを調整する係数であり、あらかじめ適当な値を定めておく。ｗｔの値の一例としては、Ｃを最初に計算する時の（｜Ｓｐ−Ｓｐ’｜２／｜Ｔｐ−Ｔｐ’｜２）の値、ｗｇの値の一例としては、Ｃを最初に計算する時の（（｜Ｓｐ−Ｓｐ’｜２＋ｗｔ｜Ｔｐ−Ｔｐ’｜２）／（｜Ｓｇ−Ｓｇ’｜２＋ｗｔ｜Ｔｇ−Ｔｇ’｜２））の値とすることも可能である。また、繰り返し処理の過程で値を更新していくことも可能である。
ここに示したコスト関数はあくまで一例であり、このほかにも様々なコスト関数を利用可能である。例として、各パラメタの事前確率を表すコスト項をコスト関数値に加算することもできる。
たとえばｐｔ，ｐｅｐ，ｐｅｇの各値がｐｔ０，ｐｅｐ０，ｐｅｇ０に近い値になることがわかっている場合には、次のようなコスト関数を用いることも可能である。
Ｃ＝｜Ｓｐ−Ｓｐ’｜２＋ｗｔ｜Ｔｐ−Ｔｐ’｜２＋ｗｇ（｜Ｓｇ−Ｓｇ’｜２＋ｗｔ｜Ｔｇ−Ｔｇ’｜２）
＋ｗｐｔ（ｐｔ−ｐｔ０）２＋ｗｐｅｐ（ｐｅｐ−ｐｅｐ０）２＋ｗｐｅｇ（ｐｅｇ−ｐｅｇ０）２ …（１２）
ここで、ｗｐｔ，ｗｐｅｐ，ｗｐｅｇの値はあらかじめ適当な値を定めておく。
パラメタ推定手段２１２４は、コスト関数値を改良するように、目的パラメタｐｔおよび外部パラメタｐｅｐ，ｐｅｇそれぞれの値を更新する。これには様々な最適化手法が利用可能であるが、一例として最急降下法がある。
各パラメタ（ｐｔ，ｐｅｐ，ｐｅｇ）を並べた全パラメタベクトルをｐとし、その各要素ｐｉの値をひとつずつあらかじめ決めた微小な量Δｉだけ変化させ、モデルデータ生成手段２１２２によりそれぞれの要素を微小変化させたときのプローブモデルデータＤ’ｐ（ｐ＋Δｉ）の形状データＳｐ’（ｐ＋Δｉ）とテクスチャデータＴｐ’（ｐ＋Δｉ）、および、ギャラリモデルデータＤ’ｇ（ｐ＋Δｉ）の形状データＳｇ’（ｐ＋Δｉ）とテクスチャデータＴｇ’（ｐ＋Δｉ）が生成される（Δｉは要素ｉがΔｉ、他の要素がゼロのベクトルとする）。次に、コスト評価手段２１２３によって、コスト関数の値Ｃ（ｐ＋Δｉ）が次式により計算される。
Ｃ（ｐ＋Δｉ）＝｜Ｓｐ−Ｓｐ’（ｐ＋Δｉ）｜２＋ｗｔ｜Ｔｐ−Ｔｐ’（ｐ＋Δｉ）｜２
＋ｗｇ（｜Ｓｇ−Ｓｇ’（ｐ＋Δｉ）｜２＋ｗｔ｜Ｔｇ−Ｔｇ’（ｐ＋Δｉ）｜２） …（１３）
次に、次式に示すように、変化後のコスト関数値と元のコスト関数値の差分を前記微小変化量で割ることによって、コスト関数の勾配ベクトル∇Ｃの値が計算される。
∇Ｃ＝［（Ｃ（ｐ＋Δ１）−Ｃ（ｐ））／Δ１，（Ｃ（ｐ＋Δ２）−Ｃ（ｐ））／Δ２，…］Ｔ …（１４）
最急降下法によって、パラメタｐの値は次式で更新される。
ｐ（ｔ＋１）＝ｐ（ｔ）−α∇Ｃ …（１５）
αは事前に決めたゲイン定数とする。一例として値は１．０でもよい。また、状況に応じて適応的に変化することもできる。
以上の方法はあくまで一例であり、他にも第１の実施の形態と同様にＧａｕｓｓ−Ｎｅｗｔｏｎ法などの様々な最適化手法を利用して、コスト関数Ｃの値を最小にするようなパラメタの値を求めることも可能である。
なお、３Ｄデータ変動モデルとして前記モデル３を用いた場合、個人性をあらわすパラメタは人物の番号であり連続的な値を取らない。このような場合は、微分値を計算せずに、取りえる値のそれぞれについて（すなわち、個々の人物それぞれ個別の３Ｄデータについて）、３Ｄモデルデータ生成手段２１２２とコスト評価手段２１２３の処理を繰り返し行うことによって、コスト関数の値が計算される。このため最良のコスト値を得た値を推定値とすることができる。このとき、他の連続的な値を取るパラメタについては、上述した方法や様々な最適化手法を適用してコスト関数値を最小にするパラメタの値が求められる。
再び図５および図６を参照すると、モデル適合度評価手段１２２２は、３Ｄモデルフィッティング手段１２２１のモデルフィッティング処理の精度を評価する。すなわち、モデルフィッティング処理においては、目的パラメタｐｔが同一であると仮定して処理を行ったが、この仮定の上で、３Ｄデータ変動モデル１２２４がプローブデータＤｐおよびギャラリデータＤｇに適合したかどうかを表すモデル適合度Ｖを計算する処理が行なわれる。
本実施の形態の場合、モデル適合度評価手段１２２２は、３Ｄモデルフィッティング手段１２２１によって生成されたギャラリモデルデータＤ’ｇとギャラリデータＤｇ、プローブモデルデータＤ’ｐとプローブデータＤｐの誤差をそれぞれ計算し、両者を合算してモデル適合度Ｖとして出力する。誤差の計算には様々な特徴量を用いることができるが、一例として、次式に示すような３次元座標とテクスチャ輝度値の重みつき二乗誤差和を用いることができる。
Ｖ＝ｖｐ（｜Ｓｐ−Ｓｐ’｜２＋ｖｔ｜Ｔｐ−Ｔｐ’｜２）＋ｖｇ（｜Ｓｇ−Ｓｇ’｜２＋ｖｔ｜Ｔｇ−Ｔｇ’｜２） …（１６）
ここで、ｖｔ，ｖｐ，ｖｇは重み定数であり、適当な値をあらかじめ決めておく。値の一例としては、ｖｐ＝１，ｖｇ＝ｗｇ，ｖｔ＝ｗｔとしてもよい。ここでは一例として３次元座標とテクスチャ輝度値の誤差を用いたが、このほかにも、法線ベクトルの誤差やテクスチャのエッジなどの特徴量の誤差を用いることももちろん可能である。このモデル適合度Ｖは誤差を表しているので、Ｖの値が小さいほど良いという点に注意する。
プローブデータＤＰを複数のギャラリデータＤｇと照合するシステムにおいて、各ギャラリデータＤｇでモデルフィッティングの精度が大きく変動する（ギャラリデータＤｇとギャラリモデルデータＤ’ｇの差分が変動する）場合には、ｖｇを小さくすることで認識性能を向上することができる。その一例として、プローブデータＤＰとそれぞれのギャラリデータＤｇの組に対して、３Ｄモデルフィッティング手段１２２１の処理を行った結果のギャラリデータＤｇとギャラリモデルデータＤ’ｇの誤差（｜Ｓｇ−Ｓｇ’｜２＋ｖｔ｜Ｔｇ−Ｔｇ’｜２）の分散、プローブデータＤｐとプローブモデルデータＤ’ｐの誤差（｜Ｓｐ−Ｓｐ’｜２＋ｖｔ｜Ｔｐ−Ｔｐ’｜２）の分散をそれぞれ計算する処理が実行され、その結果それぞれの逆数をｖｐ，ｖｇの値とすることができる。
以上に示したモデル適合度Ｖの計算方法はあくまで一例であり、式１１のコスト関数Ｃの値を用いてもよい。この他にも、３次元座標の代わりに３次元形状表面の法線ベクトルを計算してその誤差を用いる方法や、３次元座標の正規化相関値を用いる方法、テクスチャのエッジなどの特徴量を用いる方法など、様々な計算方法を用いることができる。
照合手段１２０３は、第１の実施の形態と同じであり、モデル適合度評価手段１２２２によって計算されたモデル適合度Ｖの値を用いて、ギャラリデータＤｇとプローブデータＤｐの照合判定を行う。１セットのギャラリデータＤ’ｐとの照合判定を行う場合の一例として、あらかじめ閾値を定めておき、その閾値よりモデル適合度Ｖが良い（式１６の場合は小さい値）場合に、プローブデータＤｐの目的パラメタｐｔがギャラリデータＤｇの目的パラメタｐｔと同じであると認識する処理があげられる。
ギャラリデータＤｇが複数セットある場合には、それぞれのギャラリデータＤｇとプローブデータＤｐとの組に対して、３Ｄモデルフィッティング手段１２２１とモデル適合度評価手段１２２２における処理が行なわれ、モデル適合度Ｖを計算する処理が実行される。そして、もっとも良いモデル適合度（式８を用いる場合にはもっとも小さい値）を得た組のギャラリデータＤｇの目的パラメタｐｔが、プローブデータＤｐの目的パラメタｐｔにもっとも近い値であると判定される。または、ある閾値より良いモデル適合度を得た複数のギャラリデータＤｇの目的パラメタｐｔの値を用いて、内挿や補間によってプローブデータＤｐの目的パラメタｐｔの値を推定しても良い。
顔の３Ｄデータによる個人識別システムをあげて説明すると、一例として３人の人物Ａ，Ｂ，Ｃのギャラリデータ３個に対してプローブデータを照合し、人物Ｂのギャラリデータがもっとも良いモデル適合度を得たとすると、プローブデータは人物Ｂの３Ｄデータであると認識される。このとき、ギャラリデータの３枚それぞれで、顔の向きなどの外部パラメタが異なっていても、外部パラメタはモデル適合度に影響しないため正しく個人識別を行うことができる。
また別の例として、物体の姿勢を認識するシステムをあげて説明すると、一例として物体を左９０度から正面、右９０度まで１０度間隔の向きに置いて計測した１９個のギャラリ３Ｄデータに対してプローブ３Ｄデータを照合し、右７０度の向きのギャラリデータがもっとも良いモデル適合度を得たとする。この場合、プローブデータを計測したときの物体の向きは右７０度であると認識される。このとき、ギャラリデータ１９個それぞれで、３次元計測装置の特性などの外部パラメタが異なっていても、外部パラメタはモデル適合度に影響しないため、正しく物体の姿勢を認識することができる。
以上の説明においては、３Ｄデータとして３Ｄ形状データおよびテクスチャデータの両者が含まれるものとして説明したが、テクスチャデータが存在しない３Ｄ形状データのみから構成される３Ｄデータについてもまったく同様に処理を行うことが可能である。
次に本実施の形態の効果を説明する。
本実施の形態では、プローブデータＤｐとギャラリデータＤｇの双方の３次元データを入力とし、照合したい目的パラメタｐｔが両データＤｐ，Ｄｇで同じであると仮定してモデルフィッティング処理を行い、そのモデルフィッティング処理の精度の尺度であるモデル適合度Ｖを計算し、このモデル適合度Ｖを持って照合を行うため、モデルフィッティング処理の絶対的な精度にあまり影響を受けずにプローブデータとギャラリデータとの照合を行うことができる。その理由は以下の通りである。
照合したい目的パラメタｐｔの値が両データＤｐ，Ｄｇで異なる場合には、データＤｐ，Ｄｇに類似したモデルデータＤ’ｐ，Ｄ’ｇが決して求まらないため、モデル適合度Ｖは極端に悪化する。他方、照合したい目的パラメタｐｔの値が両データＤｐ，Ｄｇで同じである場合には、データＤｐ，Ｄｇに類似したモデルデータＤ’ｐ，Ｄ’ｇが基本的には必ず求まるため、モデル適合度Ｖも良い値を示す。したがって、照合したい目的パラメタｐｔが両データＤｐ，Ｄｇで同じであるときと異なるときのモデル適合度Ｖの値の隔たりが顕著になる。このため、１セットのギャラリデータＤｇとの照合判定では、その中間の値に閾値を設定しておけば、フィッティング処理の精度が多少低下してモデル適合度Ｖの値が多少上下しても、閾値との距離が大きいためにその影響を受けずに、目的パラメタｐｔがプローブデータと同じであるギャラリデータとそうでないギャラリデータとを明確に区別することができる。また、複数セットのギャラリデータＤｇとの照合判定では、目的パラメタｐｔがプローブデータと同じであるギャラリデータＤｇとプローブデータＤｐの組み合わせについて計算されたモデル適合度Ｖが、それ以外の組み合わせについて計算されたモデル適合度Ｖより頭一つ抜きん出て良好な値を示すため、フィッティング処理の精度が多少低下してモデル適合度Ｖの値が多少上下しても、その影響を受けずに、目的パラメタｐｔがプローブデータと一番良く合致しているギャラリデータを特定することができる。
これに対して、従来技術においては、プローブデータＤｐからその目的パラメタｐｔｐと外部パラメタｐｅｐを、ギャラリデータＤｇからその目的パラメタｐｔｇと外部パラメタｐｅｇをそれぞれ独立にフィッティング処理で推定し、ｐｔｐとｐｔｇの類似度を比較する処理が実行される。
したがって、照合したい目的パラメタｐｔｐとｐｔｇが両データＤｐ，Ｄｇで同じであるときと異なるときのｐｔｐとｐｔｇの類似度の隔たりが、本実施の形態におけるモデル適合度Ｖの値の隔たりのように顕著にならない。このため、フィッティング処理の絶対的な精度の影響を強く受けることになる。
（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。前述した第１の実施形態は画像どうしを照合しているのに対し、本実施の形態に係る照合装置は、プローブ画像を入力し、３次元データであるギャラリデータと照合する。
図８に示される本実施の形態と図２に示される第１の実施の形態とを比較すると、処理装置１２００が２Ｄモデルフィッティング手段１２０１およびモデル適合度評価手段１２０２の代わりに２Ｄ３Ｄモデルフィッティング手段１２３１およびモデル適合度評価手段１２３２を有する点で相違する。
記憶装置１３００には、処理装置１２００で実行するプログラムおよび照合に用いる各種のデータが記憶されている。各種データのうちには、３次元データであるギャラリデータ、画像変動モデルおよび３次元データ変動モデルに関するデータが含まれる。ギャラリデータは、あらかじめ記憶装置１３００に記憶しておいても良いし、プローブ画像と共に、その都度、図示しない３次元データ入力装置から読み込まれても良い。
３次元データ変動モデルは、物体の種類、物体の状態、姿勢などの多様な変動要素によって、計測される３Ｄデータがどのように変動するかを記述したモデルである。多様な変動要素のパラメタを与えると、その条件下における３Ｄデータが生成される。この処理過程で必要とされるデータ群が記憶装置１３００に記憶されている。３Ｄデータ変動モデルの一例としては、第２の実施の形態で説明したモデル３およびモデル４が挙げられるが、これらはあくまで一例であり、このほかにも様々な３Ｄデータ変動モデルを利用可能である。
画像変動モデルは、３Ｄデータ変動モデルによって生成される３Ｄデータから、カメラの向きや位置、照明条件、カメラ特性などをあらわすパラメタによって、その状況下における画像を生成する画像変動モデルである。この画像変動モデルには、様々なカメラのモデル（ピンホールカメラ、平行投影モデルなど）、照明のモデル（完全散乱モデル、Ｐｈｏｎｇのモデルなどのコンピュータグラフィクスの標準技術、または、特許文献１に記載の照明基底を用いる技術など）などを組み合わせて利用することが可能である。
以上にあげた３Ｄデータ変動モデルと画像変動モデルはあくまで一例であり、このほかにも様々な画像変動モデルを利用可能である。
図９を参照すると、２Ｄ３Ｄモデルフィッティング手段１２３１は、プローブ画像ＩｐとギャラリデータＤｇを入力し、認識目的の変動要素をあらわす目的パラメタｐｔが両データＩｐ，Ｄｇで同一の値をとり、その他の変動要素をあらわすパラメタｐｅは両データＩｐ，Ｄｇで個別に異なる可能性があると仮定する場合、前述した３Ｄデータ変動モデル１２３４を用いてギャラリデータＤｇにできるだけ近い（以下に示したコスト関数の値が小さくなるような）モデルデータＤ’ｇを生成し、かつ、前述した画像変動モデル１２３５を用いてプローブ画像Ｉｐにできるだけ近いモデル画像Ｉ’ｐを生成するような、各パラメタｐｔ，ｐｅの値を計算する。ここで、プローブ画像Ｉｐの外部パラメタをｐｅｐ、ギャラリデータＤｇの外部パラメタをｐｅｇとする。
顔画像を３Ｄ顔データと照合し、個人識別を行うシステムを例にすれば、ｐｔは顔の形状やテクスチャの個人性を表すパラメタであり、ｐｅｐは表情、照明条件、カメラの位置、向き、焦点距離などのパラメタであり、ｐｅｇは表情、顔の姿勢などのパラメタになる。また、顔画像を３Ｄ顔データと照合し、顔の姿勢を認識するシステムを例にすれば、ｐｔは顔の姿勢を表すパラメタであり、ｐｅｐは個人性、表情、照明条件、カメラの位置、向き、焦点距離などのパラメタであり、ｐｅｇは個人性、表情などのパラメタになる。ここに示したのはあくまで一例であり、パラメタの数や種類はモデルに応じて様々に変更可能である。
図１０を参照すると、２Ｄ３Ｄモデルフィッティング手段１２３１は、初期値推定手段２１３１と、２Ｄ３Ｄモデルデータ生成手段２１３２と、コスト評価手段２１３３と、パラメタ推定手段２１３４とを備える。
初期値推定手段２１３１は、プローブ画像Ｉｐの画像変動要素パラメタ、および、ギャラリデータＤｇの３Ｄデータ変動要素パラメタのそれぞれについて初期値を求める。これは、あらかじめ与えられた既知の値でもよいし、別途のセンサーなどによって計測される値でもよく、また、プローブ画像ＩｐやギャラリデータＤｇに付与される情報として入力されるものでもよい。プローブ画像Ｉｐに対する初期値は第１の実施の形態における初期値推定手段２１０１と同様な処理で行うことができ、ギャラリデータＤｇに対する初期値は第２の実施の形態における初期値推定手段２１２１と同様な処理で行うことができる。以上に述べた初期値の計算方法はあくまで一例であり、様々に変更可能である。
プローブ画像ＩｐとギャラリデータＤｇの両データに対する目的パラメタｐｔの初期値、プローブ画像Ｉｐに対する外部パラメタｐｅｐの初期値、ギャラリデータＤｇに対する外部パラメタｐｅｇの初期値は、２Ｄ３Ｄモデルデータ生成手段２１３２へ出力される。
２Ｄ３Ｄモデルデータ生成手段２１３２は、初回のモデルデータの生成時は、初期値推定手段２１３１から初期値として出力された目的パラメタｐｔおよび外部パラメタＰｅｐ，Ｐｅｇを使用し、以後の繰り返し時にはパラメタ推定手段２１３４によって更新された目的パラメタｐｔおよび外部パラメタＰｅｐ，Ｐｅｇを使用し、それぞれ３Ｄデータ変動モデル１２３４および画像変動モデル１２３５を用いて、パラメタＰｔ，Ｐｅｐ，Ｐｅｇの表す状況下におけるプローブモデル画像Ｉ’ｐおよびギャラリモデルデータＤ’ｇを生成し、出力する。
画像変動モデル１２３５を用いて、目的パラメタｐｔおよび外部パラメタｐｅｐの現在の値の表す状況下における画像をプローブモデル画像Ｉ’ｐとして生成する処理は、第１の実施の形態におけるモデル画像生成手段２１０２とまったく同様に行える。また、３Ｄデータ変動モデル１２３４を用いて、目的パラメタｐｔおよびギャラリ外部パラメタｐｅｇの現在の値の表す状況下における３ＤデータをギャラリモデルデータＤ’ｇとして生成する処理は、第２の実施の形態における３Ｄモデルデータ生成手段２１２２とまったく同様に行える。両処理を式で表すと次式のようになる。
Ｃ＝｜Ｉｐ−Ｉ’ｐ｜２＋ｗｇ（｜Ｓｇ−Ｓｇ’｜２＋ｗｔ｜Ｔｇ−Ｔｇ’｜２） …（１８）
ここで、Ｓｇ，Ｔｇはギャラリデータの３Ｄ形状およびテクスチャデータ、Ｓ’ｇ，Ｔ’ｇはギャラリモデルデータの３Ｄ形状およびテクスチャデータ、ｗｔは３次元座標とテクスチャの重みを調整する係数である。また、ｗｇは画像と３Ｄデータの重みを調整する係数であり、あらかじめ適当な値を定めておく。
ｗｔの値の決定方法はさまざまな方法が利用可能であるが、一例として、Ｃを最初に計算する時の（｜Ｓｇ−Ｓｇ’｜２／｜Ｔｐ−Ｔｐ’｜２）の値としてもよい。
ｗｇの値の決定方法はさまざまな方法が利用可能であるが、一例として、Ｃを最初に計算する時の（（｜Ｉｐ−Ｉ’ｐ｜２）／（｜Ｓｇ−Ｓｇ’｜２＋ｗｔ｜Ｔｇ−Ｔｇ’｜２））の値としてもよい。
また、繰り返し処理の過程でこれらの値を更新していくことも可能である。
ここに示したコスト関数はあくまで一例であり、このほかにも様々なコスト関数を利用可能である。その一例として、各パラメタの事前確率を表すコスト項をコスト関数値に加算することもできる。たとえばｐｔ，ｐｅｐ，ｐｅｇの各値がｐｔ０，ｐｅｐ０，ｐｅｇ０に近い値になることがわかっている場合には、次のようなコスト関数を用いることも可能である。
Ｃ＝｜Ｉｐ−Ｉ’ｐ｜２＋ｗｇ（｜Ｓｇ−Ｓｇ’｜２＋ｗｔ｜Ｔｇ−Ｔｇ’｜２）
＋ｗｐｔ（ｐｔ−ｐｔ０）２＋ｗｐｅｐ（ｐｅｐ−ｐｅｐ０）２＋ｗｐｅｇ（ｐｅｇ−ｐｅｇ０）２ …（１９）
ｗｐｔ，ｗｐｅｐ，ｗｐｅｇの値はあらかじめ適当な値を定めておく。
パラメタ推定手段２１３４は、コスト関数Ｃの値を改良するように、目的パラメタＰｔおよび外部パラメタＰｅｐ，Ｐｅｇそれぞれの値を更新する。これには様々な最適化手法が利用可能であるが、一例として最急降下法がある。
各パラメタ（ｐｔ，ｐｅｐ，ｐｅｇ）を並べた全パラメタベクトルをｐとし、その各要素ｐｉの値をひとつずつあらかじめ決めた微小な量Δｉだけ変化させたとき、およびモデルデータ生成手段２１３２によりそれぞれの要素を微小変化させたときの、プローブモデル画像データＩ’ｐ（ｐ＋Δｉ）、ギャラリモデルデータＤ’ｇ（ｐ＋Δｉ）の形状データＳｇ’（ｐ＋Δｉ）、およびテクスチャデータＴｇ’（ｐ＋Δｉ）が生成される（Δｉは要素ｉがΔｉ、他の要素がゼロのベクトルとする）。次に、コスト評価手段２１３３によって、コスト関数の値Ｃ（ｐ＋Δｉ）を次式により計算する処理が実行される。
Ｃ（ｐ＋Δｉ）＝｜Ｉｐ−Ｉｐ’（ｐ＋Δｉ）｜２
＋ｗｇ（｜Ｓｇ−Ｓｇ’（ｐ＋Δｉ）｜２＋ｗｔ｜Ｔｇ−Ｔｇ’（ｐ＋Δｉ）｜２） …（２０）
次に、次式に示すように、変化後のコスト関数値と元のコスト関数値の差分を前記微小変化量で割ることによって、コスト関数の勾配ベクトル∇Ｃの値を計算する処理が実行される。
∇Ｃ＝［（Ｃ（ｐ＋Δ１）−Ｃ（ｐ））／Δ１，（Ｃ（ｐ＋Δ２）−Ｃ（ｐ））／Δ２，…］Ｔ …（２１）
最急降下法によって、パラメタｐの値は次式で更新される。
ｐ（ｔ＋１）＝ｐ（ｔ）−α∇Ｃ …（２２）
αは事前に決めたゲイン定数とする。一例として値は１．０でもよい。また、状況に応じて適応的に変化することもできる。
以上の方法はあくまで一例であり、他にも第１の実施の形態と同様にＧａｕｓｓ−Ｎｅｗｔｏｎ法などの様々な最適化手法を利用して、コスト関数Ｃの値を最小にするようなパラメタの値を求めることも可能である。
再び図８および図９を参照すると、モデル適合度評価手段１２３２は、２Ｄ３Ｄモデルフィッティング手段１２３１のモデルフィッティング処理の精度を評価する。すなわち、モデルフィッティング処理において、目的パラメタｐｔが同一であると仮定して処理を行っていた。モデル適合度評価手段１２３２は、この仮定の上で、画像変動モデル１２３５および３Ｄデータ変動モデル１２３４がプローブ画像ＩｐおよびギャラリデータＤｇに適合したかどうかを表すモデル適合度Ｖを計算する。本実施の形態のモデル適合度評価手段１２３２は、プローブモデル画像Ｉ’ｐとプローブ画像Ｉｐ、ギャラリモデルデータＤ’ｇとギャラリデータＤｇを入力とし、それぞれの誤差を合算してモデル適合度Ｖとして出力する。
誤差の計算には様々な特徴量を用いることができるが、一例として、次式のような３次元座標とテクスチャ輝度値の重みつき二乗誤差和を用いることができる。
Ｖ＝ｖｐ｜Ｉｐ−Ｉｐ’｜２＋ｖｇ（｜Ｓｇ−Ｓｇ’｜２＋ｖｔ｜Ｔｇ−Ｔｇ’｜２） …（２３）
ここで、ｖｔ，ｖｐ，ｖｇは重み定数であり、適当な値をあらかじめ決めておく。値の一例としては、ｖｐ＝１，ｖｇ＝ｗｇ，ｖｔ＝ｗｔとしてもよい。ここでは一例として画像輝度値、３次元座標、テクスチャ輝度値のそれぞれの誤差の重み付き和を用いたが、このほかにも、法線ベクトルの誤差や画像・テクスチャのエッジなどの特徴量の誤差などを用いることももちろん可能である。また、式１８または式２０のコスト関数Ｃの値をモデル適合度Ｖとして用いてもよい。モデル適合度Ｖは誤差を表しているので、Ｖの値が小さいほど良いという点に注意する。
照合手段１２０３は、第１の実施の形態と同じであり、モデル適合度評価手段１２３２によって計算されたモデル適合度Ｖの値を用いて、ギャラリデータＤｇとプローブ画像Ｉｐの照合判定を行う。一例として、照合手段１２０３は、あらかじめ閾値を定めておき、その閾値よりモデル適合度Ｖが良い（式１６の場合は小さい値）場合に、プローブ画像Ｉｐの目的パラメタｐｔがギャラリデータＤｇの目的パラメタｐｔと同じであると認識する。
ギャラリデータＤｇが複数セットある場合には、それぞれのギャラリデータに対してプローブ画像Ｉｐを組み合わせて、２Ｄ３Ｄモデルフィッティング手段１２３１とモデル適合度評価手段１２３２の処理が行なわれ、それぞれの組についてのモデル適合度Ｖが計算される。照合手段１２０３は、もっとも良いモデル適合度を得た組のギャラリデータＤｇの目的パラメタｐｔの値が、プローブ画像Ｉｐの目的パラメタｐｔの値であると認識する。
または、ある閾値より良いモデル適合度Ｖを得た複数のギャラリデータＤｇの目的パラメタｐｔの値を用いて、内挿や補間によってプローブ画像Ｉｐの目的パラメタｐｔの値を推定しても良い。
より具体的な例を持って説明する。顔の３Ｄデータによる個人識別システムを例にすると、一例として３人の人物Ａ，Ｂ，Ｃのギャラリデータ３個に対してプローブデータを照合し、人物Ｂのギャラリデータがもっとも良いモデル適合度を得たとすると、プローブデータは人物Ｂの３Ｄデータであると認識される。このとき、ギャラリデータの３枚それぞれで、顔の向きなどの外部パラメタが異なっていても、外部パラメタはモデル適合度に影響しないため正しく個人識別を行うことができる。
さらに別の例として、物体の姿勢を認識するシステムを例にすると、一例として物体を左９０度から正面、右９０度まで１０度間隔の向きに置いて計測した１９個のギャラリ３Ｄデータに対してプローブ３Ｄデータを照合し、右７０度の向きのギャラリデータがもっとも良いモデル適合度を得たとすると、プローブデータを計測したときの物体の向きは右７０度である、と認識される。
本実施の形態においては、ギャラリデータである３Ｄデータとして３Ｄ形状データおよびテクスチャデータの両者が含まれるものとして説明したが、３Ｄ形状データのみから構成されるギャラリデータについてもまったく同様に処理を行うことが可能である。また、プローブ画像とギャラリデータが１つであるとして説明したが、一方または双方が複数である場合にも、外部パラメタｐｅや式１８、式２３における重み係数の数が画像または３Ｄデータの数だけ増えるだけであり、まったく同様に処理可能である。
次に本実施の形態の効果を説明する。
本実施の形態では、プローブ画像ＩｐとギャラリデータＤｇを入力とし、照合したい目的パラメタｐｔが両データＩｐ，Ｄｇで同じであると仮定してモデルフィッティング処理が行なわれ、そのモデルフィッティング処理の精度の尺度であるモデル適合度Ｖが計算され、このモデル適合度Ｖを持って照合が行なわれる。このため、モデルフィッティング処理の絶対的な精度にあまり影響を受けずにプローブ画像とギャラリデータとの照合を行うことができる。その理由は以下の通りである。
照合したい目的パラメタｐｔの値が両データＩｐ，Ｄｇで異なる場合には、データＩｐ，Ｄｇに類似したモデルデータＩ’ｐ，Ｄ’ｇが決して求まらないため、モデル適合度Ｖは極端に悪化する。他方、照合したい目的パラメタｐｔの値が両データＩｐ，Ｄｇで同じである場合には、データＩｐ，Ｄｇに類似したモデルデータＩ’ｐ，Ｄ’ｇが基本的には必ず求まるため、モデル適合度Ｖも良い値を示す。したがって、照合したい目的パラメタｐｔが両データＩｐ，Ｄｇで同じであるときと異なるときのモデル適合度Ｖの値の隔たりが顕著になる。このため、１セットのギャラリデータＤｇとの照合判定では、その中間の値に閾値を設定しておけば、フィッティング処理の精度が多少低下してモデル適合度Ｖの値が多少上下しても、閾値との距離が大きいためにその影響を受けずに、目的パラメタｐｔがプローブ画像と同じであるギャラリデータとそうでないギャラリデータとを明確に区別することができる。また、複数セットのギャラリデータＤｇとの照合判定では、目的パラメタｐｔがプローブ画像と同じであるギャラリデータＤｇとプローブ画像Ｉｐの組み合わせについて計算されたモデル適合度Ｖが、それ以外の組み合わせについて計算されたモデル適合度Ｖより頭一つ抜きん出て良好な値を示すため、フィッティング処理の精度が多少低下してモデル適合度Ｖの値が多少上下しても、その影響を受けずに、目的パラメタｐｔがプローブ画像と一番良く合致しているギャラリデータを特定することができる。
これに対して、プローブ画像Ｉｐからその目的パラメタｐｔｐと外部パラメタｐｅｐを、ギャラリデータＤｇからその目的パラメタｐｔｇと外部パラメタｐｅｇをそれぞれ独立にフィッティング処理で推定し、ｐｔｐとｐｔｇの類似度を比較する従来技術においては、照合したい目的パラメタｐｔｐとｐｔｇが両データＩｐ，Ｄｇで同じであるときと異なるときのｐｔｐとｐｔｇの類似度の隔たりが、本実施の形態におけるモデル適合度Ｖの値の隔たりのように顕著にならないため、フィッティング処理の絶対的な精度の影響を強く受けることになる。
（第４の実施の形態）
第３の実施の形態では、プローブ画像Ｉｐを入力して３次元データのギャラリデータＤｇと照合したが、本実施の形態に係る照合装置は、３次元のプローブデータＤｐを入力してギャラリ画像Ｉｇと照合する。
図１１に示される本実施の形態と図８に示される第３の実施の形態とを比較すると、画像入力装置１１００の代わりに３次元データ入力装置１４００を備えている点で両者は相違する。
３次元データ入力装置１４００は、３次元データであるプローブデータを処理装置１２００に入力する装置であり、３次元形状計測装置であってもよいし、図示しない記憶装置からプローブデータを読み込んだり、ネットワークを通じてプローブデータを受信する装置であってもよい。
記憶装置１３００には、処理装置１２００で実行するプログラムおよび照合に用いる各種のデータが記憶されている。各種データのうちには、ギャラリ画像、画像変動モデルおよび３次元データ変動モデルに関するデータが含まれる。ギャラリ画像をあらかじめ記憶装置１３００に記憶しておいても良い。当該ギャラリ画像はプローブデータと共に、その都度、図示しない画像入力装置から読み込まれても良い。画像変動モデルおよび３次元データ変動モデルは、第３の実施の形態における画像変動モデル１２３５および３Ｄデータ変動モデル１２３４と同じである。
図１２を参照すると、２Ｄ３Ｄモデルフィッティング手段１２３１は、プローブデータＤｐとギャラリ画像Ｉｇを入力し、認識目的の変動要素をあらわす目的パラメタｐｔが両データＤｐ，Ｉｇで同一の値をとり、その他の変動要素をあらわすパラメタｐｅは両データＤｐ，Ｉｇで個別に異なる可能性があると仮定した場合、前述した３Ｄデータ変動モデル１２３４を用いてプローブデータＤｐにできるだけ近い（以下に示したコスト関数の値が小さくなるような）モデルデータＩ’ｐを生成し、かつ、前述した画像変動モデル１２３５を用いてギャラリ画像Ｉｇにできるだけ近いモデル画像Ｉ’ｇを生成するような、各パラメタｐｔ，ｐｅの値を計算する。ここで、プローブデータＤｐの外部パラメタをｐｅｐ、ギャラリ画像Ｉｇの外部パラメタをｐｅｇとする。
図１３を参照すると、２Ｄ３Ｄモデルフィッティング手段１２３１は、第３の実施の形態と同様に、初期値推定手段２１３１と、２Ｄ３Ｄモデルデータ生成手段２１３２と、コスト評価手段２１３３と、パラメタ推定手段２１３４とを備える。
初期値推定手段２１３１は、プローブデータＤｐの３Ｄデータ変動要素パラメタ、および、ギャラリ画像Ｉｇの画像変動要素パラメタのそれぞれについて初期値を求める。これは、あらかじめ与えられた既知の値でもよいし、別途のセンサーなどによって計測される値でもよく、また、画像Ｉｇや３ＤデータＤｐに付与される情報として入力されるものでもよい。ギャラリ画像Ｉｇに対する初期値は第１の実施の形態における初期値推定手段２１０１と同様な処理で行うことができ、プローブデータＤｐに対する初期値は第２の実施の形態における初期値推定手段２１２１と同様な処理で行うことができる。
プローブデータＤｐとギャラリ画像Ｉｇの両データに対する目的パラメタｐｔの初期値、プローブデータＤｐに対する外部パラメタｐｅｐの初期値、ギャラリ画像Ｉｇに対する外部パラメタｐｅｇの初期値は、２Ｄ３Ｄモデルデータ生成手段２１３２へ出力される。
２Ｄ３Ｄモデルデータ生成手段２１３２は、初回のモデルデータの生成時は、初期値推定手段２１３１から初期値として出力された目的パラメタｐｔおよび外部パラメタＰｅｐ，Ｐｅｇを使用し、以後の繰り返し時にはパラメタ推定手段２１３４によって更新された目的パラメタｐｔおよび外部パラメタＰｅｐ，Ｐｅｇを使用し、それぞれ３Ｄデータ変動モデル１２３４および画像変動モデル１２３５を用いて、パラメタＰｔ，Ｐｅｐ，Ｐｅｇの表す状況下におけるプローブモデルデータＤ’ｐおよびギャラリモデル画像Ｉ’ｇを生成し、出力する。
コスト評価手段２１３３は、プローブデータＤｐとプローブモデルデータＤ’ｐ、ギャラリ画像Ｉｇとギャラリモデル画像Ｉ’ｇを比較し、フィッティングのコスト関数を計算する。このコスト関数は一例として、第３の実施の形態と同様に、比較する両データの重みつき二乗誤差和とすることができる。
パラメタ推定手段２１３４は、コスト関数Ｃの値を改良するように、目的パラメタＰｔおよび外部パラメタＰｅｐ，Ｐｅｇそれぞれの値を更新する。これには様々な最適化手法が利用可能であるが、一例として第３の実施の形態と同様に、最急降下法が利用可能である。
モデル適合度評価手段１２３２は、２Ｄ３Ｄモデルフィッティング手段１２３１のモデルフィッティング処理の精度を評価する。すなわち、モデルフィッティング処理において、目的パラメタｐｔが同一であると仮定して処理を行っていた。モデル適合度評価手段１２３２は、この仮定の上で、画像変動モデル１２３５および３Ｄデータ変動モデル１２３４がギャラリ画像ＩｇおよびプローブデータＤｐに適合したかどうかを表すモデル適合度Ｖを計算する。本実施の形態のモデル適合度評価手段１２３２は、プローブモデルデータＤ’ｐとプローブデータＤｐ、ギャラリモデル画像Ｉ’ｇとギャラリ画像Ｉｇを入力し、それぞれの誤差を合算してモデル適合度Ｖとして出力する。誤差の計算には様々な特徴量を用いることができるが、一例として、第３の実施の形態と同様に、３次元座標とテクスチャ輝度値の重みつき二乗誤差和を用いることができる。
照合手段１２０３は、第３の実施の形態と同様に、モデル適合度評価手段１２３２によって計算されたモデル適合度Ｖの値を用いて、ギャラリ画像ＩｇとプローブデータＤｐの照合判定を行う。
次に本実施の形態の効果を説明する。
本実施の形態では、プローブデータＤｐとギャラリ画像Ｉｇを入力し、照合したい目的パラメタｐｔが両データＤｐ，Ｉｇで同じであると仮定してモデルフィッティング処理を行い、そのモデルフィッティング処理の精度の尺度であるモデル適合度Ｖを計算し、このモデル適合度Ｖを持って照合を行う。このため、モデルフィッティング処理の絶対的な精度にあまり影響を受けずにプローブデータとギャラリ画像との照合を行うことができる。その理由は以下の通りである。
照合したい目的パラメタｐｔの値が両データＤｐ，Ｉｇで異なる場合には、データＤｐ，Ｉｇに類似したモデルデータＤ’ｐ，Ｉ’ｇが決して求まらないため、モデル適合度Ｖは極端に悪化する。他方、照合したい目的パラメタｐｔの値が両データＤｐ，Ｉｇで同じである場合には、データＤｐ，Ｉｇに類似したモデルデータＤ’ｐ，Ｉ’ｇが基本的には必ず求まるため、モデル適合度Ｖも良い値を示す。したがって、照合したい目的パラメタｐｔが両データＤｐ，Ｉｇで同じであるときと異なるときのモデル適合度Ｖの値の隔たりが顕著になる。このため、１セットのギャラリ画像Ｉｇとの照合判定では、その中間の値に閾値を設定しておけば、フィッティング処理の精度が多少低下してモデル適合度Ｖの値が多少上下しても、閾値との距離が大きいためにその影響を受けずに、目的パラメタｐｔがプローブデータと同じであるギャラリ画像とそうでないギャラリ画像とを明確に区別することができる。また、複数セットのギャラリ画像Ｉｇとの照合判定では、目的パラメタｐｔがプローブデータと同じであるギャラリ画像ＩｇとプローブデータＤｐの組み合わせについて計算されたモデル適合度Ｖが、それ以外の組み合わせについて計算されたモデル適合度Ｖより頭一つ抜きん出て良好な値を示す。このため、フィッティング処理の精度が多少低下してモデル適合度Ｖの値が多少上下しても、その影響を受けずに、目的パラメタｐｔがプローブデータと一番良く合致しているギャラリ画像を特定することができる。
これに対して、従来技術では、プローブデータＤｐからその目的パラメタｐｔｐと外部パラメタｐｅｐを、ギャラリ画像Ｉｇからその目的パラメタｐｔｇと外部パラメタｐｅｇをそれぞれ独立にフィッティング処理で推定し、ｐｔｐとｐｔｇの類似度を比較している。このため、照合したい目的パラメタｐｔｐとｐｔｇが両データＤｐ，Ｉｇで同じであるときと異なるときのｐｔｐとｐｔｇの類似度の隔たりが、本実施の形態におけるモデル適合度Ｖの値の隔たりのように顕著にならないため、フィッティング処理の絶対的な精度の影響を強く受けることになる。
（第５の実施の形態）
次に、本発明の第５の実施の形態について説明する。
図１４に示される本実施の形態と図２に示した第１の実施の形態とを比較すると、処理装置１２００が、モデル適合度評価手段１２０２の代わりにモデル適合度評価手段１２４２を備えている点、記憶装置１３００に、モデル適合度評価手段１２４２におけるモデル適合度の計算に使用するギャラリ画像とプローブ画像のパラメタに関する基準情報が格納されている点で両者は相違する。
ギャラリ画像のパラメタに関する基準情報としては様々なものが利用できるが、一例として、各パラメタの取りえる値の範囲、値を取る確率分布、別途推定されたまたは既知の正しい値、などが挙げられる。同様に、プローブ画像のパラメタに関する基準情報としては、一例として、各パラメタの取りえる値の範囲、値を取る確率分布、別途推定されたまたは既知の正しい値、などが挙げられる。
図１５を参照すると、モデル適合度評価手段１２４２は、第１の実施の形態におけるものと同様な動作を行う２Ｄモデルフィッティング手段１２０１により推定されたパラメタ群ｐ（目的パラメタｐｔ、プローブ外部パラメタｐｅｐ、ギャラリ外部パラメタｐｅｇを並べたベクトルとする）の値の確からしさ（パラメタ確信度）を、記憶装置１３００に記憶されたギャラリ画像パラメタ基準情報１２４５およびプローブ画像パラメタ基準情報１２４６を参照して評価し、そのパラメタ確信度をモデル適合度Ｕとして出力する。以下、モデル適合度Ｕの計算方法を幾つか説明する。
１）モデル適合度Ｕの第１の計算方法
この方法の場合、モデル適合度評価手段１２４２は、２Ｄモデルフィッティング手段１２０１により推定されたパラメタｐｔ，ｐｅｐ，ｐｅｇが、取りえる範囲に入っているかどうかを評価する。この場合、ギャラリ画像パラメタ基準情報１２４５およびプローブ画像パラメタ基準情報１２４６として、推定されたｉ番目のパラメタの値ｐｉの取りえる値域を示すデータをあらかじめ記憶装置１３００に記憶する処理が実行される。そして、一例として、値域が上下限の値（ｐｉ０，ｐｉ１）として与えられ、ｐｉ０≦ｐｉ≦ｐｉ１であるとすると、モデル適合度Ｕを次式で計算し、出力する処理が実行される。
Ｕ＝Σｉｗｉｕｉ
ｕｉ＝｜ｐｉ−ｐｉ０｜２ （ｉｆ ｐｉ＜ｐｉ０）
＝０ （ｉｆ ｐｉ０≦ｐｉ≦ｐｉ１） …（２４）
＝｜ｐｉ−ｐｉ１｜２ （ｉｆ ｐｉ＞ｐｉ１）
ここで、ｗｉは各パラメタの重要度を決める重みであり、適当な値を事前に決めておく。一例としては全て１でもよい。
ここでは全てのパラメタ（ｐｔ，ｐｅｐ，ｐｅｇ）について値域が与えられている場合を説明したが、一部のパラメタについてしか情報がない場合には、情報のないパラメタは除外して式２４を計算すればよい。
２）モデル適合度Ｕの第２の計算方法
この方法の場合、モデル適合度評価手段１２４２は、２Ｄモデルフィッティング手段１２０１により推定されたパラメタｐｔ，ｐｅｐ，ｐｅｇの値と、事前にわかっているパラメタの値との誤差を用いてモデル適合度Ｕを計算する処理が実行される。ギャラリ画像パラメタ基準情報１２４５およびプローブ画像パラメタ基準情報１２４６によって、ｐｉの正しい値がｐｉ０であることが知られている場合、次式でモデル適合度Ｕを計算する処理が実行される。
Ｕ＝Σｉｗｉ｜ｐｉ−ｐｉ０｜２ …（２５）
ただし、一部のパラメタについてしか値がわからない場合、不明なパラメタは除外して計算される。ｗｉは各パラメタの重要度を決める重みであり、適当な値を事前に決めておく。一例としては全て１でもよい。
３）モデル適合度Ｕの第３の計算方法
この方法では、各パラメタの値の確率分布が与えられており、モデル適合度評価手段１２４２は、２Ｄモデルフィッティング手段１２０１により推定されたパラメタｐｔ，ｐｅｐ，ｐｅｇの値をとる確率を計算し、モデル適合度Ｕを計算する。ギャラリ画像パラメタ基準情報１２４５およびプローブ画像パラメタ基準情報１２４６によって、パラメタｐｉが、分散σｉ、平均値ｐｉｍの正規分布に従うと指定されている場合、次式でモデル適合度Ｕが計算される。ただし、確率分布の不明であるパラメタは除外して計算される。
Ｕ＝−Σｉ（ｐｉ−ｐｉｍ）２／σｉ …（２６）
以上の第１乃至第３の方法で計算されるモデル適合度Ｕは、値が小さいほど良いことに注意する。また、ここに説明したモデル適合度Ｕの値の計算方法はあくまで一例であり、様々に変更可能である。
照合手段１２０３は第１の実施形態と同じであり、モデル適合度Ｖの値のかわりにモデル適合度Ｕの値を用いて、プローブ画像とギャラリ画像の目的パラメタが同一であるかどうかを判定し、または、良いモデル適合度を得たギャラリ画像の目的パラメタの値を用いてプローブ画像の目的パラメタの値を推定する。
次に本実施の形態の効果を説明する。
本実施の形態では、プローブ画像Ｉｐとギャラリ画像Ｉｇの双方の画像を入力とし、照合したい目的パラメタｐｔが両画像Ｉｐ，Ｉｇで同じであると仮定してモデルフィッティング処理を行い、そのモデルフィッティング処理の精度の尺度であるモデル適合度Ｕを計算し、このモデル適合度Ｕを持って照合を行う処理が実行される。このため、モデルフィッティング処理の絶対的な精度にあまり影響を受けずにプローブ画像とギャラリ画像との照合を行うことができる。その理由は以下の通りである。
照合したい目的パラメタｐｔの値が両画像Ｉｐ，Ｉｇで異なる場合には、画像Ｉｐ，Ｉｇに類似したモデル画像Ｉ’ｐ，Ｉ’ｇが決して求まらない。このため、推定されるパラメタｐｔ，ｐｅｐ，ｐｅｇの値が異常な値となり、モデル適合度Ｕは極端に悪化する。
他方、照合したい目的パラメタｐｔの値が両画像Ｉｐ，Ｉｇで同じである場合には、画像Ｉｐ，Ｉｇに類似したモデル画像Ｉ’ｐ，Ｉ’ｇが基本的には必ず求まる。このため、推定されるパラメタｐｔ，ｐｅｐ，ｐｅｇの値も正常な値となり、モデル適合度Ｕも良い値を示す。したがって、照合したい目的パラメタｐｔが両画像Ｉｐ，Ｉｇで同じであるときと異なるときのモデル適合度Ｕの値の隔たりが顕著になる。このため、１セットのギャラリ画像Ｉｇとの照合判定では、その中間の値に閾値を設定しておけば、フィッティング処理の精度が多少低下してモデル適合度Ｕの値が多少上下しても、閾値との距離が大きいためにその影響を受けずに、目的パラメタｐｔがプローブ画像と同じであるギャラリ画像とそうでないギャラリ画像とを明確に区別することができる。
また、複数セットのギャラリ画像Ｉｇとの照合判定では、目的パラメタｐｔがプローブ画像と同じであるギャラリ画像Ｉｇとプローブ画像Ｉｐの組み合わせについて計算されたモデル適合度Ｕが、それ以外の組み合わせについて計算されたモデル適合度Ｕより頭一つ抜きん出て良好な値を示す。このため、フィッティング処理の精度が多少低下してモデル適合度Ｕの値が多少上下しても、その影響を受けずに、目的パラメタｐｔがプローブ画像と一番良く合致しているギャラリ画像を特定することができる。
これに対して、従来技術では、プローブ画像Ｉｐからその目的パラメタｐｔｐと外部パラメタｐｅｐを、ギャラリ画像Ｉｇからその目的パラメタｐｔｇと外部パラメタｐｅｇをそれぞれ独立にフィッティング処理で推定し、ｐｔｐとｐｔｇの類似度を比較している。このため、照合したい目的パラメタｐｔｐとｐｔｇが両画像Ｉｐ，Ｉｇで同じであるときと異なるときのｐｔｐとｐｔｇの類似度の隔たりが、本実施の形態におけるモデル適合度Ｕの値の隔たりのように顕著にならない。したがって、フィッティング処理の絶対的な精度の影響を強く受けることになる。
なお、本実施の形態は画像と画像を照合するシステムであり、第１の実施の形態との比較によって説明したが、第２の実施の形態において、モデル適合度評価手段１２２２を本実施の形態のモデル適合度評価手段１２４２に置き換えた実施の形態も考えられる。また、第３または第４の実施形態において、モデル適合度評価手段１２３２を本実施の形態のモデル適合度評価手段１２４２に置き換えた実施の形態も考えられる。
（第６の実施の形態）
次に本発明の第６の実施の形態について説明する。
図１６に示される本実施の形態と図１４に示した第５の実施の形態とを比較すると、処理装置１２００が、モデル適合度評価手段１２４２に代えてモデル適合度評価手段１２５２を備えている点で両者は相違する。
図１７を参照すると、モデル適合度評価手段１２５２は、ギャラリ画像Ｉｇ、ギャラリモデル画像Ｉ’ｇ、プローブ画像Ｉｐ、プローブモデル画像Ｉ’ｐ、目的パラメタｐｔ、ギャラリ外部パラメタｐｅｇ、プローブ外部パラメタｐｅｐ、ギャラリ画像パラメタ基準情報１２４５およびプローブ画像パラメタ基準情報１２４６を入力し、モデル適合度Ｖとモデル適合度Ｕを併用してモデル適合度Ｗを計算し出力する。
モデル適合度評価手段１２５２は、二つの評価部１２５３および評価部１２５４と、統合部１２５５とを備える。
評価部１２５３は、第１の実施の形態における図２のモデル適合度評価手段１２０２に相当し、ギャラリ画像Ｉｇ、ギャラリモデル画像Ｉ’ｇ、プローブ画像Ｉｐ、プローブモデル画像Ｉ’ｐを入力とし、それらの誤差を評価してモデル適合度Ｖを計算して出力する。
評価部１２５４は、第５の実施形態における図１４のモデル適合度評価手段１２４２に相当し、ギャラリ画像パラメタ基準情報１２４５とプローブ画像パラメタ基準情報１２４６を参照し、モデルフィッティング手段１２０１の推定した各パラメタｐｔ，ｐｅｇ，ｐｅｐの確信度を計算し、モデル適合度Ｕを出力する。
統合部１２５５は、モデル適合度Ｖとモデル適合度Ｕを統合したモデル適合度Ｗを計算して出力する。モデル適合度Ｗの計算には様々な方法が利用可能である。モデル適合度Ｗは次式で計算される。
Ｗ＝Ｖ＋ｗｕＵ …（２７）
ここで、ｗｕはモデル適合度Ｖとモデル適合度Ｕの重視度を決める重み係数であり、事前に適当な値を決めておく。
照合手段１２０３は、第１の実施の形態とほぼ同じである。ただし、モデル適合度Ｖの値の代わりに、モデル適合度Ｗを用いて、プローブ画像とギャラリ画像の目的パラメタが同一であるかの照合、または、目的パラメタの値の推定を行う点が相違する。この際、第１の実施の形態および第５の実施の形態と同様の理由により、モデルフィッティング処理の絶対的な精度にあまり影響を受けずにプローブ画像とギャラリ画像との照合を行うことができる。
なお、本実施の形態は画像と画像を照合するシステムであり、第５の実施の形態との比較によって説明したが、第２の実施の形態において、モデル適合度評価手段１２２２を本実施の形態のモデル適合度評価手段１２５２に置き換えた実施の形態も考えられる。また、第３または第４の実施形態において、モデル適合度評価手段１２３２を本実施の形態のモデル適合度評価手段１２５２に置き換えた実施の形態も考えられる。
（第７の実施の形態）
次に本発明の第７の実施の形態について説明する。
図１８に示される本実施の形態と図１６に示した第６の実施の形態を比較すると、処理装置１２００が、２Ｄモデルフィッティング手段１２０１を複数備えている点、モデル適合度評価手段１２５２に代えてモデル適合度評価手段１２６２を備えている点で両者は相違する。
複数の２Ｄモデルフィッティング手段１２０１のうち、第１の２Ｄモデルフィッティング手段は、第６の実施の形態の２Ｄモデルフィッティング手段１２０１と同様にギャラリ画像とプローブ画像との同時フィッティングを行うために使用され、残りの第２の２Ｄモデルフィッティング手段１２０１は、ギャラリ画像とプローブ画像の一方のみを入力し、この単一の画像のみに対して画像変動モデルをフィッティングしてモデル画像の生成およびパラメタ推定を行うために使用される。
モデル適合度評価手段１２６２は、単一画像へのモデルフィッティング結果と、両画像へのモデルフィッティング結果との誤差を、モデル適合度Ｗとして計算する。
図１９を参照すると、第１のモデルフィッティング手段１２０１は、認識対象であるプローブ画像Ｉｐおよびそれと照合されるギャラリ画像Ｉｇの両者を入力とし、画像変動モデルを用い、照合目的となる変動要素を共通のパラメタとしてモデルフィッティング処理を行い、両画像Ｉｐ，Ｉｇにできるだけ近い画像を生成できるようなパラメタの値を求める。生成されたプローブモデル画像Ｉ’ｐ、ギャラリモデル画像Ｉ’ｇ、推定された目的パラメタｐｔ、プローブ外部パラメタｐｅｐ、ギャラリ外部パラメタｐｅｇは、モデル適合度評価手段１２６２に出力される。
１つ目の第２のモデルフィッティング手段１２０１は、プローブ画像Ｉｐのみを入力とし、画像変動モデルを用いてできるだけそれに近い画像を生成できるようなパラメタの値を求める。これには画像変動モデルに対応した様々な方法が利用可能であり、一例として、先行技術文献１の技術や先行技術文献２の技術を利用することは可能である。推定された目的パラメタをプローブ個別目的パラメタｑｔｐ、外部パラメタをプローブ個別外部パラメタｑｅｐとし、これらを合わせてプローブ画像パラメタ情報ｑｐとする。これらと共に、生成されたプローブ個別モデル画像Ｉ’ｐｓが出力される。
２つ目の第２のモデルフィッティング手段１２０１は、ギャラリ画像Ｉｇのみを入力し、画像変動モデルを用いてできるだけそれに近い画像を生成できるようなパラメタの値を求める。画像変動モデルに対応した様々な方法が利用可能である。一例として、先行技術文献１の技術や先行技術文献２の技術が利用できる。推定された目的パラメタをギャラリ個別目的パラメタｑｔｇ、外部パラメタをギャラリ個別外部パラメタｑｅｇとし、これらを合わせてギャラリ画像パラメタ情報ｑｇとして、これらパラメタとともに、生成されたギャラリ個別モデル画像Ｉ’ｇｓが出力される。
モデル適合度評価手段１２６２は、ギャラリ画像Ｉｇ、ギャラリモデル画像Ｉ’ｇ、ギャラリ個別モデル画像Ｉ’ｇｓ、プローブ画像Ｉｐ、プローブモデル画像Ｉ’ｐ、プローブ個別モデル画像Ｉ’ｐｓ、目的パラメタｐｔ、ギャラリ外部パラメタｐｅｇ、プローブ外部パラメタｐｅｐ、ギャラリ画像パラメタ情報ｑｇおよびプローブ画像パラメタ情報ｑｐを入力し、モデル適合度Ｖとモデル適合度Ｕを併用してモデル適合度Ｗを計算し出力する。
モデル適合度評価手段１２６２は、二つの評価部１２６３および評価部１２６４と、統合部１２６５とを備える。
評価部１２６４と第６の実施の形態における評価部１２５４とは以下の点を除いて同じである。ギャラリ画像パラメタ基準情報１２５４およびプローブ画像パラメタ基準情報１２４６の代わりに第２のモデルフィッティング手段１２０１の出力したプローブ画像パラメタ情報ｑｇおよびギャラリ画像パラメタ情報ｑｇを参照し、第１のモデルフィッティング手段１２０１の出力した目的パラメタｐｔ、プローブ外部パラメタｐｅｐ、ギャラリ外部パラメタｐｅｇの値との誤差に基づいてパラメタ確信度を計算し、モデル適合度Ｕとして出力する点が相違する。
このモデル適合度Ｕの計算方法は様々あるが、次式でモデル適合度Ｕを計算してもよい。
Ｕ＝ｗ１｜ｐｔ−ｑｔｐ｜２＋ｗ２｜ｐｔ−ｑｔｇ｜２
＋ｗ３｜ｐｅｐ−ｑｅｐ｜２＋ｗ４｜ｐｅｇ−ｑｅｇ｜２ …（２８）
ここで、ｗ１，ｗ２，ｗ３，ｗ４は重み係数であり、あらかじめ適当な値を設定しておく。なお、ここで説明したモデル適合度Ｕの計算方法はあくまで一例であり、様々な計算方法に変更可能である。
評価部１２６３は、第６の実施の形態における評価部１２５３に相当する。評価部１２６３は、プローブ画像Ｉｐ、ギャラリ画像Ｉｇ、第１のモデルフィッティング手段１２０１の出力するプローブモデル画像Ｉ’ｐ、ギャラリモデル画像Ｉ’ｇ、第２のモデルフィッティング手段１２０１の出力するプローブ個別モデル画像Ｉ’ｐｓ、及びギャラリ個別モデル画像Ｉ’ｇｓを入力し、この個別に生成されたモデル画像Ｉ’ｐｓ，Ｉ’ｇｓと、プローブおよびギャラリ両画像を併用して生成されたモデル画像Ｉ’ｐ，Ｉ’ｇとの誤差をも加味して、モデル適合度Ｖを計算する。
その計算方法は様々な方法が利用可能である。一例として、次式に示すように画像の輝度値の二乗誤差和を用いることができる。
Ｖ＝ｖｐ｜Ｉｐ−Ｉｐ’｜２＋ｖｇ｜Ｉｇ−Ｉｇ’｜２＋ｖｐｓ｜Ｉ’ｐ−Ｉ’ｐｓ｜２＋ｖｇｓ｜Ｉ’ｇ−Ｉ’ｇｓ｜２ …（２９）
ここで、ｖｐ，ｖｇ，ｖｐｓ，ｖｇｓは、重みを調整する係数であり、あらかじめ適当な値に定められている。一例として、各画像の画素数の逆数としてもよい。また、状況によって適応的に変更することも可能である。このほかにも、式２９にさらにＩｐとＩ’ｐｓ、ＩｇとＩ’ｇｓの誤差を加算するなど様々な計算方法が利用可能である。また、ここでは画像の輝度値の差分を用いたが、エッジや周波数成分など様々な画像特徴量の誤差を用いることも可能である。
統合部１２６５は、モデル適合度Ｖとモデル適合度Ｕを統合したモデル適合度Ｗを計算して出力する。モデル適合度Ｗの計算には様々な方法が利用可能であるが、一例として前記式２７を使用することができる。
照合手段１２０３は、モデル適合度Ｖの値の代わりに、モデル適合度Ｗを用いて、プローブ画像とギャラリ画像の目的パラメタが同一であるか否かの照合、または、目的パラメタの値の推定を行う点以外は第１の実施の形態と同じである。この際、第１の実施の形態および第５の実施の形態と同様の理由により、モデルフィッティング処理の絶対的な精度にあまり影響を受けずにプローブ画像とギャラリ画像との照合を行うことができる。
なお、本実施の形態は画像と画像を照合するシステムであり、第６の実施の形態との比較によって説明した。なお、第２の実施の形態において、モデル適合度評価手段１２２２を本実施の形態のモデル適合度評価手段１２６２に置き換えた実施の形態も考えられる。また、第３または第４の実施形態において、モデル適合度評価手段１２３２を本実施の形態のモデル適合度評価手段１２６２に置き換えた実施の形態も考えられる。
以上本発明の実施の形態について説明したが、本発明は以上の例に限定されず、その他各種の付加変更が可能である。また、本発明の照合装置は、その有する機能をハードウェア的に実現することは勿論、コンピュータとプログラムとで実現することができる。プログラムは、磁気ディスクや半導体メモリ等のコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータを前述した各実施の形態における照合装置として機能させ、前述した処理を実行させる。
本発明は、認識対象となる画像や３次元データに対して画像変動モデルや３次元データ変動モデルをフィッティングして変動要素を推定する際に、フィッティング精度が低下して推定されるパラメタの精度が低下する状況においても、高い認識性能を得ることができる物体認識システム、方法、およびプログラムに利用できる。特に、多様な変動環境において撮影された認識対象画像や３次元データと、登録されている画像や３次元データを比較し、写っている物体が同一であるか、物体の状態、姿勢、照明条件、撮影したカメラなどの状況が同一であるかなどを高精度で認識できる物体認識システム、方法、およびプログラムに利用できる。
Claims (44)
- 物体の画像または３次元データである対象データと参照データとを照合する装置であって、
複数のパラメタの値を調整することにより物体の画像または３次元データであるモデルデータを生成できる変動モデルを記憶する記憶手段と、
前記記憶手段に記憶された変動モデルを用い、前記複数のパラメタのうち、前記対象データと前記参照データ間で同一かどうかを判定する判定対象を表すパラメタを目的パラメタ、それ以外のパラメタを外部パラメタとし、対象データと参照データとで目的パラメタを同一の値にした条件の下で、前記対象データに最も類似するモデルデータである対象モデルデータと前記参照データに最も類似するモデルデータである参照モデルデータとを前記変動モデルに基づき生成するために最適な前記パラメタ値を推定するモデルフィッティング手段と、
前記推定されたパラメタの下での前記対象モデルデータと前記対象データとの類似度および前記参照モデルデータと前記参照データとの類似度に基づいて前記対象データおよび前記参照データに対するモデル適合度を算出するモデル適合度評価手段
を備えることを特徴とする照合装置。 - 前記算出されたモデル適合度と予め定められた閾値とを比較することにより、前記対象データにおける前記判定対象と前記参照データにおける前記判定対象の同一性を判定する照合手段を備えることを特徴とする請求項１記載の照合装置。
- 複数の参照データのそれぞれと前記対象データとの組み合わせについて前記モデルフィッティング手段およびモデル適合度評価手段による処理を繰り返し、最も良いモデル適合度が得られた組み合わせにおける目的パラメタの値を前記対象データの目的パラメタの推定値とする照合手段を備えることを特徴とする請求項１記載の照合装置。
- 複数の参照データのそれぞれと前記対象データとの組み合わせについて前記モデルフィッティング手段およびモデル適合度評価手段による処理を繰り返し、予め定められた閾値以上のモデル適合度が得られた複数の組み合わせにおける目的パラメタから計算した値を、前記対象データの目的パラメタの推定値とする照合手段を備えることを特徴とする請求項１記載の照合装置。
- 前記モデル適合度評価手段は、
前記生成された前記対象モデルデータと前記対象データとの間の誤差および前記生成された前記参照モデルデータと前記参照データとの間の誤差を計算し、
該計算した誤差から前記モデル適合度を算出する
ことを特徴とする請求項１記載の照合装置。 - 前記モデル適合度評価手段は、
前記推定されたパラメタの値の確からしさを示すパラメタ確信度を予め定められたパラメタ基準情報を参照して計算し、
該計算したパラメタ確信度から前記モデル適合度を算出する
ことを特徴とする請求項１記載の照合装置。 - 前記モデル適合度評価手段は、
前記生成された前記対象モデルデータと前記対象データとの間の誤差および前記生成された前記参照モデルデータと前記参照データとの間の誤差を計算すると共に、前記推定されたパラメタの値の確からしさを示すパラメタ確信度を予め定められたパラメタ基準情報を参照して計算し、
前記計算した誤差およびパラメタ確信度から前記モデル適合度を算出する
ことを特徴とする請求項１記載の照合装置。 - 前記パラメタ基準情報が、前記パラメタの値の取り得る値域であることを特徴とする請求項６または７記載の照合装置。
- 前記パラメタ基準情報が、前記パラメタの正解値であることを特徴とする請求項６または７記載の照合装置。
- 前記パラメタ基準情報が、前記パラメタの値の確率分布であることを特徴とする請求項６または７記載の照合装置。
- 前記モデルフィッティング手段は、前記対象データに類似する対象個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値、および、前記参照データに類似する参照個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値を、前記対象データと前記参照データとで目的パラメタの値が必ずしも同一でないとの条件の下に推定し、
前記モデル適合度評価手段は、前記推定された対象個別モデルデータの前記パラメタの値および前記参照個別モデルデータの前記パラメタの値を、前記パラメタ基準情報とすることを特徴とする請求項６または７記載の照合装置。 - 前記モデルフィッティング手段は、前記対象データに類似する対象個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値、および、前記参照データに類似する参照個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値を、前記対象データと前記参照データとで目的パラメタの値が必ずしも同一でないとの条件の下に推定し、
前記モデル適合度評価手段は、前記対象個別モデルデータと前記対象データとの間の誤差、前記参照個別モデルデータと前記参照データとの間の誤差、前記対象モデルデータと前記対象個別モデルデータとの間の誤差、前記参照モデルデータと前記参照個別モデルデータとの間の誤差の少なくとも一つの誤差をさらに考慮に入れて前記モデル適合度を算出することを特徴とする請求項５または７記載の照合装置。 - 前記変動モデルとして、様々な物体の３次元モデルを含み、物体を指定するパラメタに応じて指定の物体の３次元モデルを選択し、該選択した３次元モデルを、物体の状態、姿勢、照明条件、カメラの特性などのパラメタに応じて変形し、さらに、コンピュータグラフィクスを用いて前記パラメタの表す状況下での画像を生成する画像変動モデルを使用することを特徴とする請求項１記載の照合装置。
- 前記変動モデルとして、物体の個性や状態を指定するパラメタに応じて該状態における物体の３次元モデルを計算し、該計算した３次元モデルを、物体の姿勢、照明条件、カメラの特性などのパラメタに応じて変形し、さらに、コンピュータグラフィクスを用いて前記パラメタの表す状況下での画像を生成する画像変動モデルを使用することを特徴とする請求項１記載の照合装置。
- 前記変動モデルとして、様々な物体の３次元モデルを含み、物体を指定するパラメタに応じて指定の物体の３次元モデルを選択し、該選択した３次元モデルを、物体の状態、姿勢、照明条件、カメラの特性などのパラメタに応じて変形する３次元データ変動モデルを使用することを特徴とする請求項１記載の照合装置。
- 前記変動モデルとして、物体の個性や状態を指定するパラメタに応じて該状態における物体の３次元モデルを計算し、該計算した３次元モデルを、物体の姿勢、照明条件、カメラの特性などのパラメタに応じて変形する３次元データ変動モデルを使用することを特徴とする請求項１記載の照合装置。
- 前記目的パラメタが物体の種類を記述するパラメタであり、前記照合手段が前記対象データと前記参照データの物体が同一であるかを判定する手段であることを特徴とする請求項２または３記載の照合装置。
- 前記変動モデルが顔の画像または３次元データを生成するモデルであり、前記目的パラメタが人物の個性を記述するパラメタであり、前記照合手段が前記対象データと前記参照データの人物が同一であるかを照合する手段であることを特徴とする請求項２または３記載の照合装置。
- 前記目的パラメタが物体の位置または姿勢を特定するパラメタであり、前記照合手段が前記対象データと前記参照データの物体の位置または姿勢が同一であるかを照合する手段であることを特徴とする請求項２または３記載の照合装置。
- 前記変動モデルが顔の画像または３次元データを生成するモデルであり、前記目的パラメタが人物の顔の表情を特定するパラメタであり、前記照合手段が前記対象データと前記参照データの顔の表情が同一であるかを照合する手段であることを特徴とする請求項２または３記載の照合装置。
- コンピュータを用いて物体の画像または３次元データである対象データと参照データとを照合する方法であって、
前記コンピュータが、複数のパラメタの値を調整することにより物体の画像または３次元データであるモデルデータを生成できる変動モデルを用い、前記複数のパラメタのうち、前記対象データと前記参照データ間で同一かどうかを判定する判定対象を表すパラメタを目的パラメタ、それ以外のパラメタを外部パラメタとし、対象データと参照データとで目的パラメタを同一の値にした条件の下で、前記対象データに最も類似するモデルデータである対象モデルデータと前記参照データに最も類似するモデルデータである参照モデルデータとを前記変動モデルに基づき生成するために最適な前記パラメタ値を推定する第１のステップと、
前記コンピュータが、前記推定されたパラメタの下での前記対象モデルデータと前記対象データとの類似度および前記参照モデルデータと前記参照データとの類似度に基づいて前記対象データおよび前記参照データに対するモデル適合度を算出する第２のステップ
を含むことを特徴とする照合方法。 - 前記コンピュータが、前記算出されたモデル適合度と予め定められた閾値とを比較することにより、前記対象データにおける前記判定対象と前記参照データにおける前記判定対象の同一性を判定する第３のステップをさらに含むことを特徴とする請求項２１記載の照合方法。
- 前記コンピュータが、複数の参照データのそれぞれと前記対象データとの組み合わせについて前記第１および第２のステップを繰り返し、最も良いモデル適合度が得られた組み合わせにおける目的パラメタの値を前記対象データの目的パラメタの推定値とする第３のステップをさらに含むことを特徴とする請求項２１記載の照合方法。
- 前記コンピュータが、複数の参照データのそれぞれと前記対象データとの組み合わせについて前記第１および第２のステップを繰り返し、予め定められた閾値以上のモデル適合度が得られた複数の組み合わせにおける目的パラメタから計算した値を、前記対象データの目的パラメタの推定値とする第３のステップをさらに含むことを特徴とする請求項２１記載の照合方法。
- 前記第２のステップにおいては、前記生成された前記対象モデルデータと前記対象データとの間の誤差および前記生成された前記参照モデルデータと前記参照データとの間の誤差を計算し、該計算した誤差から前記モデル適合度を算出することを特徴とする請求項２１記載の照合方法。
- 前記第２のステップにおいては、前記推定されたパラメタの値の確からしさを示すパラメタ確信度を予め定められたパラメタ基準情報を参照して計算し、該計算したパラメタ確信度から前記モデル適合度を算出することを特徴とする請求項２１記載の照合方法。
- 前記第２のステップにおいては、前記生成された前記対象モデルデータと前記対象データとの間の誤差および前記生成された前記参照モデルデータと前記参照データとの間の誤差を計算すると共に、前記推定されたパラメタの値の確からしさを示すパラメタ確信度を予め定められたパラメタ基準情報を参照して計算し、前記計算した誤差およびパラメタ確信度から前記モデル適合度を算出することを特徴とする請求項２１記載の照合方法。
- 前記パラメタ基準情報が、前記パラメタの値の取り得る値域であることを特徴とする請求項２６または２７記載の照合方法。
- 前記パラメタ基準情報が、前記パラメタの正解値であることを特徴とする請求項２６または２７記載の照合方法。
- 前記パラメタ基準情報が、前記パラメタの値の確率分布であることを特徴とする請求項２６または２７記載の照合方法。
- 前記コンピュータが、前記対象データに類似する対象個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値、および、前記参照データに類似する参照個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値を、前記対象データと前記参照データとで目的パラメタの値が必ずしも同一でないとの条件の下に推定し、
該推定した対象個別モデルデータの前記パラメタの値および前記参照個別モデルデータの前記パラメタの値が前記パラメタ基準情報となる
ことを特徴とする請求項２６または２７記載の照合方法。 - 前記コンピュータが、
前記対象データに類似する対象個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値、および、前記参照データに類似する参照個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値を、前記対象データと前記参照データとで目的パラメタの値が必ずしも同一でないとの条件の下に推定し、
前記対象個別モデルデータと前記対象データとの間の誤差、前記参照個別モデルデータと前記参照データとの間の誤差、前記対象モデルデータと前記対象個別モデルデータとの間の誤差、前記参照モデルデータと前記参照個別モデルデータとの間の誤差の少なくとも一つの誤差をさらに考慮に入れて前記モデル適合度を算出する
ことを特徴とする請求項２５または２７記載の照合方法。 - 複数のパラメタの値を調整することにより物体の画像または３次元データであるモデルデータを生成できる変動モデルを記憶する記憶手段を有し、物体の画像または３次元データである対象データと参照データとを照合するコンピュータを、
前記記憶手段に記憶された変動モデルを用い、前記複数のパラメタのうち、前記対象データと前記参照データ間で同一かどうかを判定する判定対象を表すパラメタを目的パラメタ、それ以外のパラメタを外部パラメタとし、対象データと参照データとで目的パラメタを同一の値にした条件の下で、前記対象データに最も類似するモデルデータである対象モデルデータと前記参照データに最も類似するモデルデータである参照モデルデータとを前記変動モデルに基づき生成するために最適な前記パラメタ値を推定するモデルフィッティング手段として機能させ、
前記推定されたパラメタの下での前記対象モデルデータと前記対象データとの類似度および前記参照モデルデータと前記参照データとの類似度に基づいて前記対象データおよび前記参照データに対するモデル適合度を算出するモデル適合度評価手段として機能させるためのプログラム。 - 前記コンピュータを、さらに、前記算出されたモデル適合度と予め定められた閾値とを比較することにより、前記対象データにおける前記判定対象と前記参照データにおける前記判定対象の同一性を判定する照合手段として機能させるための請求項３３記載のプログラム。
- 前記コンピュータを、さらに、複数の参照データのそれぞれと前記対象データとの組み合わせについて前記モデルフィッティング手段およびモデル適合度評価手段による処理を繰り返し、最も良いモデル適合度が得られた組み合わせにおける目的パラメタの値を前記対象データの目的パラメタの推定値とする照合手段として機能させるための請求項３３記載のプログラム。
- 前記コンピュータを、さらに、複数の参照データのそれぞれと前記対象データとの組み合わせについて前記モデルフィッティング手段およびモデル適合度評価手段による処理を繰り返し、予め定められた閾値以上のモデル適合度が得られた複数の組み合わせにおける目的パラメタから計算した値を、前記対象データの目的パラメタの推定値とする照合手段として機能させるための請求項３３記載のプログラム。
- 前記モデル適合度評価手段は、
前記生成された前記対象モデルデータと前記対象データとの間の誤差および前記生成された前記参照モデルデータと前記参照データとの間の誤差を計算し、
該計算した誤差から前記モデル適合度を算出する
ことを特徴とする請求項３３記載のプログラム。 - 前記モデル適合度評価手段は、前記推定されたパラメタの値の確からしさを示すパラメタ確信度を予め定められたパラメタ基準情報を参照して計算し、該計算したパラメタ確信度から前記モデル適合度を算出することを特徴とする請求項３３記載のプログラム。
- 前記モデル適合度評価手段は、
前記生成された前記対象モデルデータと前記対象データとの間の誤差および前記生成された前記参照モデルデータと前記参照データとの間の誤差を計算すると共に、前記推定されたパラメタの値の確からしさを示すパラメタ確信度を予め定められたパラメタ基準情報を参照して計算し、
前記計算した誤差およびパラメタ確信度から前記モデル適合度を算出する
ことを特徴とする請求項３３記載のプログラム。 - 前記パラメタ基準情報が、前記パラメタの値の取り得る値域であることを特徴とする請求項３８または３９記載のプログラム。
- 前記パラメタ基準情報が、前記パラメタの正解値であることを特徴とする請求項３８または３９記載のプログラム。
- 前記パラメタ基準情報が、前記パラメタの値の確率分布であることを特徴とする請求項３８または３９記載のプログラム。
- 前記モデルフィッティング手段は、前記対象データに類似する対象個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値、および、前記参照データに類似する参照個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値を、前記対象データと前記参照データとで目的パラメタの値が必ずしも同一でないとの条件の下に推定し、
前記モデル適合度評価手段は、前記推定された対象個別モデルデータの前記パラメタの値および前記参照個別モデルデータの前記パラメタの値を、前記パラメタ基準情報とする
ことを特徴とする請求項３８または３９記載のプログラム。 - 前記モデルフィッティング手段は、前記対象データに類似する対象個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値、および、前記参照データに類似する参照個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値を、前記対象データと前記参照データとで目的パラメタの値が必ずしも同一でないとの条件の下に推定し、
前記モデル適合度評価手段は、前記対象個別モデルデータと前記対象データとの間の誤差、前記参照個別モデルデータと前記参照データとの間の誤差、前記対象モデルデータと前記対象個別モデルデータとの間の誤差、前記参照モデルデータと前記参照個別モデルデータとの間の誤差の少なくとも一つの誤差をさらに考慮に入れて前記モデル適合度を算出する
ことを特徴とする請求項３７または３９記載のプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008511027A JP4957921B2 (ja) | 2006-04-14 | 2007-04-12 | 照合装置および照合方法 |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006112048 | 2006-04-14 | ||
| JP2006112048 | 2006-04-14 | ||
| JP2008511027A JP4957921B2 (ja) | 2006-04-14 | 2007-04-12 | 照合装置および照合方法 |
| PCT/JP2007/058477 WO2007119870A1 (ja) | 2006-04-14 | 2007-04-12 | 照合装置および照合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2007119870A1 JPWO2007119870A1 (ja) | 2009-08-27 |
| JP4957921B2 true JP4957921B2 (ja) | 2012-06-20 |
Family
ID=38609624
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008511027A Active JP4957921B2 (ja) | 2006-04-14 | 2007-04-12 | 照合装置および照合方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US8295614B2 (ja) |
| EP (1) | EP2012272A1 (ja) |
| JP (1) | JP4957921B2 (ja) |
| WO (1) | WO2007119870A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10878657B2 (en) | 2018-07-25 | 2020-12-29 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
| US11521460B2 (en) | 2018-07-25 | 2022-12-06 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ATE507537T1 (de) * | 2005-12-16 | 2011-05-15 | Technion Res And Dev Of Foundation Ltd | Verfahren und vorrichtung zur bestimmung der ähnlichkeit zwischen oberflächen |
| US8086043B2 (en) * | 2007-12-21 | 2011-12-27 | Ati Technologies Ulc | System and method of image correlation based on image structure |
| US8165354B1 (en) * | 2008-03-18 | 2012-04-24 | Google Inc. | Face recognition with discriminative face alignment |
| KR101626057B1 (ko) * | 2009-11-19 | 2016-05-31 | 삼성전자주식회사 | 3뷰 영상의 디스패리티 추정 방법 및 장치 |
| CN102679867A (zh) * | 2011-03-15 | 2012-09-19 | 鸿富锦精密工业（深圳）有限公司 | 测头管理***及方法 |
| US9323980B2 (en) | 2011-05-13 | 2016-04-26 | Microsoft Technology Licensing, Llc | Pose-robust recognition |
| US9251402B2 (en) * | 2011-05-13 | 2016-02-02 | Microsoft Technology Licensing, Llc | Association and prediction in facial recognition |
| JP5719277B2 (ja) * | 2011-11-09 | 2015-05-13 | 日本電信電話株式会社 | 物体座標系変換行列推定成否判定装置および物体座標系変換行列推定成否判定方法ならびにそのプログラム |
| FR2998402B1 (fr) * | 2012-11-20 | 2014-11-14 | Morpho | Procede de generation d'un modele de visage en trois dimensions |
| JP2014164697A (ja) * | 2013-02-27 | 2014-09-08 | Canon Inc | 画像処理装置および画像処理方法、プログラム、並びに記憶媒体 |
| US9577910B2 (en) * | 2013-10-09 | 2017-02-21 | Verisign, Inc. | Systems and methods for configuring a probe server network using a reliability model |
| US20150235073A1 (en) * | 2014-01-28 | 2015-08-20 | The Trustees Of The Stevens Institute Of Technology | Flexible part-based representation for real-world face recognition apparatus and methods |
| US10657362B2 (en) * | 2015-06-30 | 2020-05-19 | Nec Corporation Of America | Facial recognition system |
| US10534955B2 (en) * | 2016-01-22 | 2020-01-14 | Dreamworks Animation L.L.C. | Facial capture analysis and training system |
| JP6991771B2 (ja) * | 2017-07-31 | 2022-01-13 | キヤノン株式会社 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4167390B2 (ja) | 2000-11-20 | 2008-10-15 | 日本電気株式会社 | 物体照合方法，物体照合装置，およびそのプログラムを記録した記録媒体 |
| US7436988B2 (en) * | 2004-06-03 | 2008-10-14 | Arizona Board Of Regents | 3D face authentication and recognition based on bilateral symmetry analysis |
| US20060120571A1 (en) * | 2004-12-03 | 2006-06-08 | Tu Peter H | System and method for passive face recognition |
| US7609860B2 (en) * | 2005-06-14 | 2009-10-27 | Mitsubishi Electric Research Laboratories, Inc. | Bilinear illumination model for robust face recognition |
| US7756325B2 (en) * | 2005-06-20 | 2010-07-13 | University Of Basel | Estimating 3D shape and texture of a 3D object based on a 2D image of the 3D object |
-
2007
- 2007-04-12 JP JP2008511027A patent/JP4957921B2/ja active Active
- 2007-04-12 EP EP07741913A patent/EP2012272A1/en not_active Withdrawn
- 2007-04-12 US US12/297,136 patent/US8295614B2/en active Active
- 2007-04-12 WO PCT/JP2007/058477 patent/WO2007119870A1/ja active Search and Examination
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10878657B2 (en) | 2018-07-25 | 2020-12-29 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
| US11455864B2 (en) | 2018-07-25 | 2022-09-27 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
| US11521460B2 (en) | 2018-07-25 | 2022-12-06 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2007119870A1 (ja) | 2009-08-27 |
| EP2012272A1 (en) | 2009-01-07 |
| US8295614B2 (en) | 2012-10-23 |
| WO2007119870A1 (ja) | 2007-10-25 |
| US20090180672A1 (en) | 2009-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4957921B2 (ja) | 照合装置および照合方法 | |
| EP1677250B1 (en) | Image collation system and image collation method | |
| JP4553141B2 (ja) | 重み情報を用いた物体姿勢推定・照合システム | |
| JP4692773B2 (ja) | 物体の姿勢推定及び照合システム、物体の姿勢推定及び照合方法、並びにそのためのプログラム | |
| AU762625B2 (en) | Face sub-space determination | |
| JP4991317B2 (ja) | 顔特徴点検出装置及びその方法 | |
| JP5675145B2 (ja) | パターン認識装置及びパターン認識方法 | |
| US20150356346A1 (en) | Feature point position detecting appararus, feature point position detecting method and feature point position detecting program | |
| JP6430102B2 (ja) | 人物属性推定装置、人物属性推定方法及びプログラム | |
| Wei et al. | Automatic facial pose determination of 3D range data for face model and expression identification | |
| CN116631019B (zh) | 基于面部图像的口罩适合性检测方法及装置 | |
| JP2009025874A (ja) | 顔画像登録装置、顔識別装置、顔画像登録方法、顔識別方法、顔画像登録プログラム | |
| Stankiewicz et al. | Automatic detection of features (markers) on a three-dimensional model of a human face | |
| Wimmer et al. | Face model fitting based on machine learning from multi-band images of facial components |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100316 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120222 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120306 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150330 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4957921 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |