JP2006053774A - 画像処理装置および画像認識装置 - Google Patents

Abstract

【課題】辞書データを作成する際の撮影条件が変動要素モデルの基準となる撮影条件に一致しない任意の撮影条件下における場合でも、実際に撮影された画像の撮影条件とは別の条件下における仮想画像を作成可能にする。
【解決手段】仮想画像作成処理部１０は、対象物認識用辞書データの登録の際に撮影された画像の撮影条件を推定し、変動要素モデル化処理部９で作成された変動要素モデルの基準となる撮影条件からのずれ量を算出し、該ずれ量の分だけ前記変動要素モデルを補正した変動要素モデルを作成し、補正された変動要素モデルを使用して仮想画像を作成する。辞書データ作成処理部４は、仮想画像から特徴量を抽出して対象物認識用辞書データを作成し登録する。画像認識処理部７は、対象物画像と対象物認識用辞書データとの類似度を求めることにより対象物を認識する。
【選択図】図１

Description

本発明は、画像処理装置および画像認識装置に関し、特に、撮影条件の違いにより、入力された画像に照明変や姿勢変動などの外的な変動要素が付加された場合であっても、高精度の画像認識を可能にする仮想画像を作成できる画像処理装置、および該仮想画像を利用した画像認識装置に関するものである。

近年、モバイルバンキングなどの非対面サービスが多様化する中、堅牢なセキュリティ確保の一手段として生体情報を用いるバイオメトリクス認証に注目が集まっている。また、カメラ付き携帯電話端末の普及により、指紋センサなどの特別なデバイスを使用せず、顔画像などの画像によるバイオメトリクス認証が可能となった。

図５は、バイオメトリクス認証に利用可能な従来の画像認識装置のブロック構成図である。この画像認識装置は、ある人物の顔を提影して得られる画像から、その人物が本人であるか否かを照合もしくはその人物が誰であるかを識別するものであり、機能で大別すると、あらかじめ辞書データを登録する辞書登録部１′、入力画像から人物を識別する画像認識部２、および変動要素モデル化処理部９′からなる。

変動要素モデル化処理部９′は、あらかじめ多数の人物に対し、様々に異なる撮影条件下において顔画像を撮影し、その顔画像の集合から外的な変動要素だけを抽出してモデル化した変動要素モデル８′を作成する。

辞書登録部１′はデータベース５へ登録するための辞書データを作成する。辞書データの作成に際しては、まず、１名の人物を撮影し、該人物の１枚ないし複数牧の撮影画像を入力する。正規化処理部３は、入力された画像の位置、領域、大きさ、輝度レベルなどを正規化した正規化画像を出力する。

辞書作成部４′は、入力された正規化画像に変動要素モデル化処理部９′で作成された変動要素モデル８′を作用せて、その人物の辞書データＡを作成する。これにより様々に異なる撮影条件下における多種類の外的な変動要素が仮想的に付加された辞書データＡが作成される。辞書作成部４′で作成した辞書データＡは、データベース５に蓄積される。データべース５には、同様にして作成された他の人物の辞書データＢ，Ｃ，・・・も蓄積される。

以上のようにして辞書データＡ，Ｂ，Ｃ，・・・がデータベース５に蓄積された後、不特定の人物の顔が撮影され、これにより得られた１枚の画像が画像認識処理部２に入力されると、正規化処理部６は、辞書登録時と同様に、入力画像を、位置、領域、大きさ、輝度などに関して正親化して正規化画像を出力する。この正規化画像はマッチング処理部７に入力される。

マッチング処理部７は、正規化処理部６から入力された正規化画像とデータベース５に蓄積されている辞書データＡ，Ｂ，Ｃ，・・・とを比較して識別または照合処理を行い、認識結果を出力する。

識別処理の場合には、正規化処理部６から入力された正規化画像とデータベース５に蓄積されている各人物の辞書データＡ，Ｂ，Ｃ，・・・との類似度を測定し、最大の類似度を示す辞書データの人物であると判定する。また、照合処理の場合には、正規化処理部６から入力された正規化画像とデータベース５に蓄積されている特定の人物の辞書データとの類似度を測定し、その類似度が閾値以上であれば入力画像の人物はその特定の人物であると判定する。

上述した従来の技術を用いれば、照明や姿勢などの撮影条件を種々に変えて画像を撮影する必要はなく、ある基準となる撮影条件下における画像を撮影するだけで、様々に異なる撮影条件下における多種類の外的な変動要素が仮想的に付加された、表現力の高い辞書データを作成することができる。また、この辞書データを用いて、撮影条件の違いにより画像に付加される照明変動や姿勢変動などの外的な変動要素による影響を抑制した精度の高い認識が行える。

下記特許文献１および非特許文献１には、顔画像認証に用いることができ、かつ照明変動に耐性のある従来の画像認識技術が記載されている。
特願２００４−８０８３号（先願） 松尾賢治、橋本真幸、小池淳、"照明変動を抑制した部分空間法による顔画像認証"、SCIS2004 予稿集、2B5-1、pp.677-681、Jan.2004.

従来の画像認識装置では、変動要素モデルを正しく作用させるために、様々に異なる撮影条件下における多種類の外的な変動要素が付加された表現力の高い辞書データを作成するに際し、撮影される画像の撮影条件を変動要素モデルの基準となる撮影条件に一致させる必要がある。

変動要素モデルの基準となる撮影条件としては、照明条件を正面方向に設定し、姿勢は正面顔に限定するなど、ある特定の撮影条件が基準として選ばれる。例えば、上記非特許文献１に記載されている照明変動に耐性のある顔画像認証技術では、変動要素モデルの基準となる撮影条件として中心照明が設定されているため、この場合、辞書データを作成する際には、中心照明の条件下で顔画像を撮影する必要がある。

変動要素モデルの基準となる撮影条件に一致しない任意の条件下において撮影された画像を用いた場合には、変動要素モデルの基準となる撮影条件との間でずれが生じ、変動要素モデルを正しく作用させられないという課題がある。つまり、変動要素モデルの基準となる撮影条件との間でずれがある画像を用いて作成された辞書データを用いると、認識精度が大幅に低下するという課題がある。

例えば、携帯端末を用いた顔画像認識を考えた場合、辞書データの作成手法として次の２つの手法が想定される。第１は、堅牢なセキュリティを実現するために、特定の認証機関で一局集中して辞書データの作成と登録処理を行う手法である。第２は、娯楽などの比較的な手軽なアプリケーションを目的とした、個人が携帯端末を使って自由に辞書データの作成と登録処理を行える手法である。

前者は、照明条件を正面方向に設定し、姿勢を正面顔に限定するなど、画像の撮影条件を特定することが容易である。したがって、第１の手法では辞書データを作成する際の撮影条件を変動要素モデルの基準となる撮影条件に一致させて撮影することが比較的容易であり、従来の技術はそのまま有効に機能する。

しかしながら、後者では、携帯端末が屋内に限らず屋外でも使用されるため、撮影条件が一定ではなく様々に異なる。そのため、辞書データを作成する際に撮影された画像の撮影条件と変動要素モデルの基準となる撮影条件の間でずれが生じ、従来の技術はそのままでは有効に機能しない。

本発明の目的は、上記課題を解決し、辞書データを作成する際の撮影条件が変動要素モデルの基準となる撮影条件に一致しない任意の撮影条件下における場合でも、入力された画像に付加されている照明変動や人物の姿勢変動などの外的要素の変動の影響を抑制し、高精度で画像認識を行うことができ、しかも実際に外的な変動要素を種々に変えて撮影して辞書データを作成する必要がない画像認識認識装置を提供することにある。

また、本発明の別の目的は、辞書データを作成する際の撮影条件が変動要素モデルの基準となる撮影条件に一致しない任意の撮影条件下における場合でも、実際に撮影された画像の撮影条件とは別の条件下における画像を仮想的に作成できる画像処理装置を提供することである。

上記課題を解決するために、本発明は、様々に異なる撮影条件下で撮影された複数枚の画像から外的な変動要素だけを抽出して変動要素モデルを作成する変動要素モデル作成処理部と、前記変動要素モデルを利用して、対象物認識用辞書データの登録の際に撮影された画像に対して外的な変動要素を付加し、該画像の撮影条件とは別の撮影条件下の画像を仮想的に作成する仮想画像作成処理部と、前記仮想画像作成処理部により仮想的に作成された画像から特徴量を抽出して対象物認識用辞書データを作成し登録する辞書データ作成処理部と、撮影された対象物画像と前記辞書データ作成処理部により登録された対象物認識用辞書データとの類似度を求めることにより対象物を認識する画像認識処理部とを備え、前記仮想画像作成処理部は、対象物認識用辞書データの登録の際に撮影された画像の撮影条件を推定し、前記変動要素モデルの基準となる撮影条件（以下、基準撮影条件と記す。）からのずれ量を算出し、該ずれ量の分だけ前記変動要素モデルを補正した変動要素モデルを作成し、該補正された変動要素モデルを使用して、別の撮影条件下の画像を仮想的に作成する点に第１の特徴がある。

また、本発明は、前記変動要素モデル作成処理部が、前記変動要素モデル作成処理部は、外的要素の変動下で撮影された複数枚の画像から作成される変動要素固有空間において前記複数枚の画像（前記基準撮影条件下での画像を除く。）の投影画像と前記基準撮影条件下での画像との差を変動要素モデルとして作成する点に第２の特徴がある。

また、本発明は、前記仮想画像作成処理部が、前記仮想画像作成処理部は、対象物認識用辞書データの登録の際に撮影された画像を前記変動要素固有空間に投影して正射影画像を求め、前記変動要素固有空間において前記複数枚の画像（前記基準撮影条件下での画像を除く。）の投影画像から該正射影画像を減算することにより、補正した変動要素モデルを作成する点に第３の特徴がある。

また、本発明は、前記仮想画像作成処理部が、対象物認識用辞書データの登録の際に撮影された画像と前記補正した変動要素モデルを加算することにより、対象物認識用辞書データの登録の際に撮影された画像に対して外的要素の変動を仮想的に付加する点に第４の特徴がある。

また、本発明は、前記辞書データ作成処理部が、前記仮想画像作成処理部により仮想的に作成された画像の自己相関行列を算出し、該自己相関行列から算出される固有ベクトル行列を特徴量とする点に第５の特徴がある。

また、本発明は、外的要素の変動が照明変動および人物の姿勢変動の少なくとも一方である点に第６の特徴がある。

また、本発明は、対象物画像が人物の顔画像である点に第７の特徴がある。

さらに、本発明は、様々に異なる撮影条件下で撮影された複数枚の画像から外的な変動要素だけを抽出して変動要素モデルを作成する変動要素モデル作成処理部と、前記変動要素モデルを利用して、対象物認識用辞書データの登録の際に撮影された画像に対して外的な変動要素を付加し、該画像の撮影条件とは別の撮影条件下の画像を仮想的に作成する仮想画像作成処理部とを備え、前記仮想画像作成処理部は、対象物認識用辞書データの登録の際に撮影された画像の撮影条件を推定し、前記変動要素モデルの基準撮影条件からのずれ量を算出し、該ずれ量の分だけ前記変動要素モデルを補正した変動要素モデルを作成し、該補正された変動要素モデルを使用して、別の撮影条件下の画像を仮想的に作成する点に第８の特徴がある。

本発明によれば、撮影条件の違いにより画像に付加された照明変動や姿勢変動などの外的な変動要素による影響を抑制し、画像認識の精度を向上させることができる。また、各人に対して実際に照明や姿勢等の撮影条件を種々に変えて画像を多数枚撮影する必要がないため、辞書登録の作業効率を改善することができる。

さらに、辞書データ作成時の撮影条件を選ばず、任意の撮影条件下において画像を撮影して別の撮影条件下の仮想的な画像を作成することができるため、辞書データ作成および登録のための特別な施設に出向いて特定の撮影条件下で画像を撮影する必要がない。

以下、図面を参照して本発明を詳細に説明する。図１は、本発明に係る画像認識装置の一実施形態を示すブロック図であり、図５と同一あるいは同等部分には同一番号を付してある。以下では、認識対象画像が人物の顔画像であり、外的な変動要素が照明変動であるとして説明するが、認識対象画像は顔画像に限定されず、その他の任意の画像を認識対象とすることができる。また、外的な変動要素は人物の姿勢変動などの他の外的な変動要素であってもよい。

本実施形態の画像認識装置は、機能で大別すると、辞書データを登録する辞書登録部１、入力画像から人物を識別する認識実行部２、および変動要素をモデル化するモデル化部８から構成される。

辞書登録部１は、データベース５へ登録するための辞書データを作成する。辞書データの作成に際しては、まず、１名の人物を撮影し、該人物の１枚ないし複数牧の撮影画像を入力する。正規化処理部３は、入力された画像の位置、領域、大きさ、輝度などを正規化した正規化画像を出力する。

仮想画像作成処理部１０は、これらの正規化された画像と変動要素モデル化処理部９で作成された照明変動要素モデルを用いて、照明変動が付加された画像を仮想的に作成する。辞書データ作成処理部４は、これら仮想画像の集合からその人物の画像認識用の辞書データＡを作成する。

この結果、作成された辞書データＡは、様々に異なる撮影条件下における多種類の外的な変動要素が仮想的に付加されたものになり、この辞書データを用いることにより、照明変動に耐性のある顔画像認識が行えるようになる。

辞書データ作成処理都４で作成された辞書データＡは、データベース５へ蓄積される。データベース５には、同様にして作成された他の人物の辞書データＢ，Ｃ，・・・も蓄積される。

認識実行部２では、認識対象の入力画像から辞書に登録された人物を照合および識別する。画像認識処理部７は、従来技術と同様に、正規化処理部６から入力された正規化画像とデータベース５に蓄積されている辞書データＡ，Ｂ，Ｃ，・・・との間で照合または識別処理を行い、認識結果を出力する。

モデル化部８における変動要素モデル化処理部９は、予め多数の人物に対して多種類の照明条件下で撮影して得られる顔画像集合から、照明変動の要素のみを抽出し、これらがモデル化された照明変動要素モデルを作成する。

図２は、変動要素モデル化処理部９、仮想画像作成処理部１０、および辞書データ作成処理部４の具体例を示すブロック図である。これらの各部における照明変動要素モデルの作成処理、仮想画像作成処理および辞書作成処理は、ハードウエアでもソフトウエアでも実現できる。以下、図２を用いて各部の詳細について説明する。

変動要素モデル化処理部９において、まず、予め複数Ｐ名の人物の顔画像をそれぞれ複数（Ｌ＋１）種類の照明条件の下で撮影し、照明変動が付加された顔画像を取得する。図３は、Ｌ＝８、つまり９種穎（ｌ＝０〜８）に設定した照明条件の一例を示し、本例では照明条件ｌ＝０（中心照明）を変動要素モデルの基準撮影条件であると仮定する。

上記非特許文献１では、スポット光等の局所的な照明変動を除いた大局的な照明変動は、図３に示した等方向でＬ＝８とする照明条件でモデル化された照明変動モデルにより抑制可能であることが示されている。

正規化処理９１は、これにより得られた画像を正規化し、照明条件ｌの下で撮影された人物ｐの正規化画像ｙ_ｐｌ（ｐ＝１，２，・・・，Ｐ、ｌ＝０，１，２，・・・，Ｌ）を得る。共分散行列Ｃ算出処理９２では、各人物ごとに照明条件ｌ＝０の下で撮影されたｙ_ｐ０を基準照明画像として共分散行列Ｃ_ｐを算出し、これらの人物間平均を取って、一般的な共分散行列Ｃとする。

各人物ごとの共分散行列Ｃ_ｐ、これらの人物間平均を取った一般的な共分散行列Ｃは、下記（１）、（２）式で定義される。また、後段の処理のために、基準となる照明条件ｌ＝０の下で撮影された顔画像ｙ_ｐ０の人物間平均［ｙ_０］も下記（３）式から同時に算出する。なお、［ ］は平均を表し、Ｔは行列の転置操作を表す。

照明条件ｌの下における人物ｐの顔画像ｙ_ｐｌに付加された照明変動成分は、照明条件ｌ＝０の下で撮影された人物ｐの画像ｙ_ｐ０を基準として、その差分（ｙ_ｐｌ−ｙ_ｐ０）で表される．したがって、この照明変動成分（ｙ_ｐｌ−ｙ_ｐ０）をＰ名Ｌ種類集め、そこから全員に共通する主要な成分を取り出すことによって、照明変動の要素を低次元で表現することができる照明固有空間（変動要素固有空間）が作成される。

より具体的には、固有ベクトル行列Φ算出処理９３にて、前記共分散行列Ｃの固有ベクトルを算出する。これらの固有ベクトルが照明固有空間を張る正規直交基底となる。これらの固有ベクトルを固有値の大きい順に列ベクトルとして格納した行列を固有ベクトル行列Φとする。

図３のＬ＝８、つまり９種類程度の照明条件を用いて照明固有空間を作成することで、そこに含まれない照明変動が付加された顔画像であっても精度良く認識可能であることが上記非特許文献１で確認されている。これはスポット光等を除き、大局的な照明変動が単一照明の線形和で表現できることを意味している。

また、上記非特許文献１では照明条件ｌ＝１〜８で撮影された顔画像をそれぞれ照明固有空間に投影すると、その特徴ベクトルの配置関係は、人物の違いに依存せず類似した形状を示すことが確認されている。

図４に、異なる二人の人物の特性（ａ）、（ｂ）と人物間平均の特性（ｃ）を、固有値が大きい軸から順に三次元（1st,2nd,3rd）の特徴ベクトルで示した。図５から、照明固有空間上では人物の違いによらず、同じ照明条件下で撮影された画像であれば、似た値を示すことが確認できる。

変動要素モデル化処理９４において、照明条件ｌ下における人物ｐの顔画像ｙ_ｐｌをそれぞれ照明固有空間に投影し、顔画像ｙ_ｐｌ ^＊（ｐ＝１，２，・・・，Ｐ、ｌ＝１，２，・・・，Ｌ）を下記（４）式の通り作成する。ここでΦ_Ｋは固有ベクトル行列Φに格納された固有ベクトルのうち、固有値の大きい順にＫ個（Ｋ≦ＰＬ−１）の固有ベクトルを取り出して格納した部分行列であり、Ｋ＜ＰＬ−１とすれば、顔画像ｙ_ｐｌから個人的な特徴およびノイズ成分を落として、より一般的に共通する照明変動の要素だけを残した顔画像ｙ_ｐｌ ^＊（ｐ＝１，２，・・・，Ｐ、ｌ＝１，２，・・・，Ｌ）を作成できる。

これらの顔画像ｙ_ｐｌ ^＊と照明条件ｌ＝０の下で撮影された人物ｐの画像ｙ_ｐ０を基準とし、その差分△ｙ_ｐｌ＝ｙ_ｐｌ ^＊−ｙ_ｐ０（ｐ＝１，２，・・・，Ｐ、ｌ＝１，２，・・・，Ｌ）（下記（５）式）を照明変動要素モデルとする。

次に、仮想画像作成処理部１０には、辞書データ作成のために新たに１名の人物が撮影され、該人物の１枚ないし複数牧の顔画像ｘ_ｉが正規化処理部３にて正規化され、正規化画像として入力される。図２ではＮ枚の正規化画像ｘ_ｉ（ｉ＝１，２，・・・，Ｎ）が入力された例を取り挙げている。

この場合、正規化画像ｘ_ｉが、照明変動要素モデルの基準となる照明条件ｌ＝０の下で撮影されていれば、仮想画像作成処理１０２では、下記（６）式に示す通り、照明変動要素モデルの顔画像ｙ_ｐｌ ^＊（ｐ＝１，２，・・・，Ｐ、ｌ＝１，２，・・・，Ｌ）をｘ_ｉに作用させて、別の照明条件下の顔画像ｘ_ｉｐｌ′を仮想的に作成することができる。

高度なセキュリティを目的としたシステムでは、ユーザが認証機関に出向き、照明変動要素モデルの基準照明条件ｌ＝０の下で顔画像を撮影して辞書データを登録することは容易であると考えられ、上記（６）式で示す仮想画像の作成方法は有効に機能する。

しかし、例えばユーザ各人が携帯電話で顔画像を撮影し、辞書データを遠隔で登録するシステムを考えた場合、基準となる照明条件ｌ＝０とは異なる照明変動が付加された顔画像が撮影されるのが普通であると考えられる。このようなシステムでは、撮影された顔画像は照明変動要素モデルの基準からずれたものとなり、上記（６）式の仮想画像作成法は有効に機能しない。

そこで、本発明では、照明変動モデルの基準補正処理１０１を行い、入力画像の照明条件をｌ＝０に特定せず、どのような照明条件下で撮影された顔画像が入力された場合でも、精度が高い仮想部分空間を作成するために、照明変動モデルの基準となる撮影条件からのずれを補正する。

具体的には、下記（７）式に示す通り、仮想画像作成処理部１０に入力された正規化画像ｘ_ｉを照明固有空間に投影し、その投影後の正射影画像ｘ_ｉ ^＊を求める。すなわち、正規化画像ｘ_ｉから照明固有空間に直交する成分で、かつ個人の特徴量を多く含む成分△ｘ_ｉを除去する。これにより、ｘ_ｉに付加されている照明変動の要素を照明固有空間上で検出することができる。ｘ_ｉ、ｘ_ｉ ^＊、△ｘ_ｉの関係を下記（８）式に示す。

上記（５）に挙げたｙ_ｐｌ ^＊とｙ_ｐ０の差分を照明変動モデルとするのではなく、下記（９）式に示す通り、ｙ_ｐｌ ^＊とｘ_ｉ ^＊の差分を照明変動モデルとすることによって、照明変動要素モデルのずれを補正できる。つまり、ｙ_ｐ０とｘ_ｉの撮影条件の差異に基づいてその差異を補正した照明変動モデルを作成できる。この補正した照明変動モデルをｘ_ｉに作用させることによつて、入力画像の撮影条件がｌ＝０と特定されていない場合であっても、精度良く別の照明条件下の顔画像ｘ_ｉｐｌ（ｐ＝１，２，・・・，Ｐ、ｌ＝１，２，・・・，Ｌ）を仮想的に作成することができる。

仮想画像作成処理部１０に入力された正規化画像ｘ_ｉ（ｉ＝１，２，・・・，Ｎ）のそれぞれに対して、照明変動要素モデルの基準を補正し、仮想的に作成された顔画像ｘ_ｉｐｌ（ｉ＝１，２，・・・，Ｎ、ｐ＝１，２，・・・，Ｐ、ｌ＝１，２，・・・，Ｌ）は、辞書データ作成処理部４に入力され、データベース５に登録するための辞書データが作成される。

まず、自己相関行列Ｒ算出処理４１は、下記（１０）式に示す自己相関行列を算出する。次に、固有ベクトルΨ算出処理４２で自己相関行列Ｒの固有ベクトルを算出し、固有値の大きい順に列ベクトルとして格納した固有ベクトル行列Ψを算出する。

図１の認識実行部２では、従来法と同様に、画像認識処理部７において新たに入力された画像ｘと、辞書データとして登録されている固有ベクトル行列Ψに格納された固有ベクトルのうち、固有値の大きい順にＭ個（Ｍ≦Ｎ＋ＰＬ−１）の固有ベクトルを取り出して格納した部分行列Ψ_Ｍを使って、下記（１１）式で定義される類似度Ｓの大小で認識判定を行う。

ここで、入力された画像ｘと辞書データの人物とが同一人物であれば類似度Ｓは「１」に近い高い値を示し、他人であれば類似度Ｓは「０」に近い低い値を示す。すなわち、類似度Ｓが「１」に近いほど、入力された画像ｘが部分空間を形成する人物と同一人物である可能性が高いと判断できる。

本発明によれば、撮影条件の違いにより画像に付加された照明変動や姿勢変動などの外的な変動要素の影響を抑制し、高精度な画像認識を行うことができる。したがって、携帯電話端末からの入力画像を認識対象とするバイオメトリクス認証システムなどに有効に適用できる。携帯電話端末の利用シーンは屋内のみあるいは屋外のみに限定されず、それにより撮影された画像は照明条件が種々に異なっており、また、固定カメラによる画橡と違つて手ぶれで変動するのが普通であると考えられるからである。

さらに、撮影条件を選ばず、任意の撮影条件下において画像を撮影して仮想画像を作成することができ、それを利用して辞書データを作成することができるため、辞書データ作成および登録のための特別な施設に出向いて特定の撮影条件下で画像を撮影する必要はない。したがって、携帯端末を使って個人レベルで自由に辞書データの作成処理と登録処理を行えるため、娯楽などの比較的手軽なアプリケーションを目的とした顔画像認識システムなどに有効である。

本発明に係る画像認識装置の一実施形態を示すブロック図である。 変動要素モデル化処理部、仮想画像作成処理部および辞書データ作成処理部の具体例を示すブロック図である。 撮影照明条件の一例を示す図である。 照明固有空間上の照明変動要素モデルの説明図である 従来の画像認証装置を示すブロック構成図である。

符号の説明

１・・・辞書登録部、２・・・認識実行部、３，６・・・正規化処理部、４・・・辞書データ作成処理部、５・・・データベース、７・・・画像認識処理部、８・・・モデル化部、９・・・変動要素モデル化処理部、１０・・・仮想画像作成処理部

Claims (8)

1. 様々に異なる撮影条件下で撮影された複数枚の画像から外的な変動要素だけを抽出して変動要素モデルを作成する変動要素モデル化処理部と、
   前記変動要素モデルを利用して、対象物認識用辞書データの登録の際に撮影された画像に対して外的な変動要素を付加し、該画像の撮影条件とは別の撮影条件下の画像を仮想的に作成する仮想画像作成処理部と、
   前記仮想画像作成処理部により仮想的に作成された画像から特徴量を抽出して対象物認識用辞書データを作成し登録する辞書データ作成処理部と、
   撮影された対象物画像と前記辞書データ作成処理部により登録された対象物認識用辞書データとの類似度を求めることにより対象物を認識する画像認識処理部とを備え、
   前記仮想画像作成処理部は、対象物認識用辞書データの登録の際に撮影された画像の撮影条件を推定し、前記変動要素モデルの基準となる撮影条件（以下、基準撮影条件と記す。）からのずれ量を算出し、該ずれ量の分だけ前記変動要素モデルを補正した変動要素モデルを作成し、該補正した変動要素モデルを使用して、別の撮影条件下の画像を仮想的に作成することを特徴とする画像認識装置。
2. 前記変動要素モデル作成処理部は、外的要素の変動下で撮影された複数枚の画像から作成される変動要素固有空間において前記複数枚の画像（前記基準撮影条件下での画像を除く。）の投影画像と前記基準撮影条件下での画像との差を変動要素モデルとして作成することを特徴とする請求項１に記載の画像認識装置。
3. 前記仮想画像作成処理部は、対象物認識用辞書データの登録の際に撮影された画像を前記変動要素固有空間に投影して正射影画像を求め、前記変動要素固有空間において前記複数枚の画像（前記基準撮影条件下での画像を除く。）の投影画像から該正射影画像を減算することにより、補正した変動要素モデルを作成することを特徴とする請求項２に記載の画像認識装置。
4. 前記仮想画像作成処理部は、対象物認識用辞書データの登録の際に撮影された画像と前記補正した変動要素モデルを加算することにより、対象物認識用辞書データの登録の際に撮影された画像に対して外的要素の変動を仮想的に付加することを特徴とする請求項３に記載の画像認識装置。
5. 前記辞書データ作成処理部は、前記仮想画像作成処理部により仮想的に作成された画像の自己相関行列を算出し、該自己相関行列から算出される固有ベクトル行列を特徴量とすることを特徴とする請求項１ないし４のいずれかに記載の画像認識装置。
6. 外的要素の変動が照明変動および人物の姿勢変動の少なくとも一方であることを特徴とする請求項１ないし５のいずれかに記載の画像認識装置。
7. 対象物画像が人物の顔画像であることを特徴とする請求項１ないし６にいずれかに記載の画像認識装置。
8. 様々に異なる撮影条件下で撮影された複数枚の画像から外的な変動要素だけを抽出して変動要素モデルを作成する変動要素モデル作成処理部と、
   前記変動要素モデルを利用して、対象物認識用辞書データの登録の際に撮影された画像に対して外的な変動要素を付加し、該画像の撮影条件とは別の撮影条件下の画像を仮想的に作成する仮想画像作成処理部とを備え、
   前記仮想画像作成処理部は、対象物認識用辞書データの登録の際に撮影された画像の撮影条件を推定し、前記変動要素モデルの基準撮影条件からのずれ量を算出し、該ずれ量の分だけ前記変動要素モデルを補正した変動要素モデルを作成し、該補正された変動要素モデルを使用して、別の撮影条件下の画像を仮想的に作成することを特徴とする画像処理装置。

Images