JP2005202673A - 画像認識装置 - Google Patents

Abstract

【課題】入力画像に付加されている外的要素の変動の影響を抑制し、高精度で画像認識を行うことができ、しかも実際に外的な変動要素を種々に変えて撮影して辞書データを作成する必要がない画像認識装置を提供すること。
【解決手段】変動要素モデル作成部８は、外的要素の変動下で撮影された複数枚の画像から変動要素モデルを作成する。辞書登録部１は、変動要素モデルを利用して、外的要素の特定条件下で撮影された画像に対して外的要素の変動を仮想的に付加し、そこから特徴量を抽出して対象物識別用辞書として登録する。画像認識部２は、撮影された対象物画像と辞書登録部１で登録された対象物識別用辞書との類似度を求めることにより対象物を認識する。
【選択図】図１

Description

本発明は、画像認識装置に関し、特に、照明変動や人物の姿勢変動などの外的要素の変動があっても高精度で画像認識を行うことができる画像認識装置に関する。

近年、モバイルバンキングなどの非対面サービスが多様化する中、頑強なセキュリティの確保が可能な生態情報を用いるバイオメトリクス認証が注目されている。また、カメラ付き携帯電話端末の普及により、特別なデバイスを使用せず、顔画像などによるバイオメトリクス認証が可能になった。

図５は、バイオメトリクス認証に利用可能な従来の画像認識装置のブロック構成図である。この画像認識装置は、人物の顔を撮影して得られる画像から人物を識別するものであり、大きく分けて、辞書データを登録する辞書登録部１と入力画像から人物を識別する画像認識部２からなる。

辞書登録部１は、人物の識別に用いる辞書データを登録するためのものであり、辞書データの登録に際しては、まず、ある人物の顔の複数枚の画像が入力される。正規化処理部３は、入力された全ての画像を位置、領域、大きさ、輝度などに関して正規化して正規化画像を送出する。辞書作成部４は、複数の正規化画像に基づいてその人物の辞書データを作成する。辞書作成部４で作成された辞書データは、データベース５に蓄積される。データベース５には、同様にして作成された他の人物の辞書データも蓄積される。

以上のようにして辞書データがデータベース５に蓄積された後、不特定の人物の顔を撮影して得られる１枚の画像が画像認識部２に入力される。正規化処理部６は、入力画像を、辞書登録時と同様に、位置、領域、大きさ、輝度などに関して正規化して正規化画像を出力する。この正規化画像はマッチング処理部７に入力される。

マッチング処理部７は、正規化処理部６から入力された正規化画像とデータベース５に蓄積されている辞書データとを比較して識別または照合処理を行い、認識結果を出力する。

識別処理の場合には、正規化処理部６から入力された正規化画像とデータベース５に蓄積されている各人物の辞書データとの類似度を判定し、入力画像の人物は最大の類似度を示す辞書データの人物であると判定する。また、照合処理の場合には、正規化処理部６から入力された正規化画像とデータベース５に蓄積されている特定の人物の辞書データとの類似度を測定し、その類似度が閾値以上であれば入力画像の人物はその特定の人物であると判定する。

下記非特許文献１，２には、顔画像などの画像認識に用いることができる部分空間法を利用した画像認識技術が記載されている。
E.Oja"Subspace methods of pattern recognition"Research Press, Hertfordshire, 1983 エルッキ・オヤ"パターン認識と部分空間法"産業図書 1986/04

従来の画像認識装置では、入力された画像に付加されている照明変動や人物の姿勢変動などの外的要素の変動の影響により画像認識の精度が大幅に低下するという課題がある。

例えば、携帯電話端末で撮影された顔画像を使ってバイオメトリクス認証を行う場合、携帯電話端末は屋内でも屋外でも利用されるため撮影された顔画像は照明変動の影響を受けやすく、そのような照明変動が付加された画像を用いて認識処理を行うと認識精度が大幅に低下する。したがって、このような場合には、照明変動に対する耐性を最優先して持たせることが要求される。また、撮影される人物の姿勢変動、手ぶれなどの外的要素の変動に対する耐性も要求される。

従来の部分空間法を利用する画像認識装置では、様々な照明条件下で撮影された画像集合から部分空間が作成された場合に限って照明変動に対する耐性を持たせることができる。しかし、実際に様々な照明条件下で撮影された画像を得ることは困難であり、照明条件が一種類あるいは数種類に偏っている場合には照明変動に対して表現力の高い有効な部分空間が作成されず、照明変動に対して十分な耐性を持たせることができない。その他の外的要素の変動においても同様である。

本発明の目的は、上記課題を解決し、入力された画像に付加されている照明変動や人物の姿勢変動などの外的要素の変動の影響を抑制し、高精度で画像認識を行うことができ、しかも実際に外的な変動要素を種々に変えて撮影して辞書データを作成する必要がない画像認識装置を提供することにある。

上記課題を解決するために、本発明は、外的要素の変動下で撮影された複数枚の画像から変動要素モデルを作成する変動要素モデル作成部と、前記変動要素モデルを利用して、外的要素の特定条件下で撮影された画像に対して外的要素の変動を仮想的に付加し、そこから特徴量を抽出して対象物識別用辞書として登録する辞書登録部と、撮影された対象物画像と前記辞書登録部で登録された対象物識別用辞書との類似度を求めることにより対象物を認識する画像認識部とを備えたことを基本的な特徴としている、

本発明によれば、照明変動や人物の姿勢変動などの外的要素の変動の影響を抑制し、画像認識の精度を向上させることができる。また、各人に対して実際に照明や姿勢の条件を種々に変えて複数枚の画像を撮影して辞書データを作成する必要がなく、特定の外的要素条件下で画像を撮影するだけでよいので、辞書登録の作業効率を改善することができる。

以下、図面を参照して本発明を詳細に説明する。図１は、本発明に係る画像認識装置の実施形態を示すブロック図であり、図５と同一あるいは対応する部分には同一番号を付してある。以下では、認識対象画像が人物の顔画像であり、外的な変動要素が照明変動であるとして説明するが、認識対象画像は顔画像に限定されず、その他の任意の画像を認識対象とすることができる。また、外的な変動要素は人物の姿勢変動などの他の変動要素であってもよい。

本実施形態の画像認識装置は、大きく分けて、辞書データを登録する辞書登録部１と入力画像から人物を識別する画像認識部２と変動要素モデル化部８からなる。

変動要素モデル化部８は、予め多くの人物を多種類の照明下で撮影して得られる画像集合から変動要素がモデル化された変動要素モデルを作成する。変動要素モデルを作成する変動要素モデル化部８の変動要素モデル化処理部９については後述する。

辞書登録部１には、辞書データの登録に際して、ある一人の人物を撮影して得られる複数枚の画像が入力される。正規化処理部３は、入力された全ての画像を位置、領域、大きさ、輝度などに関して正規化して正規化画像を出力する。辞書作成部４は、複数の正規化画像および変動要素モデル化処理部９で作成された変動要素モデルに基づいてその人物の辞書データを作成する。これにより様々な照明条件が仮想的に再現されて付加された辞書データが作成される。辞書作成部４で作成された辞書データは、データベース５へ蓄積される。データベース５には、同様にして作成された他の人物の辞書データも蓄積される。

画像認識部２は、従来技術と同様に、入力画像とデータベース５に蓄積されている辞書データとの間で識別または照合処理を行い、認識結果を出力する。

図２は、変動要素モデル化処理部９での変動要素モデルの作成および辞書作成部４での辞書作成の処理の一例を示すブロック図である。

まず、予め複数Ｐの人物の顔画像をそれぞれ複数種類Ｌの照明変動を付加して撮影する。これにより得られた画像を正規化し、正規化された正規化画像ｙ_ｐｌ(p=1,2,・・・,P、l=1,2,・・・,L)をサンプル画像集合（以下では基準画像集合と呼ぶ。）として変動要素モデル化処理部９に入力する。変動要素モデル化処理部９は、変動要素中心ｍおよび共分散行列Ｃを算出し、共分散行列Ｃを変動要素モデルとして送出する。

より具体的には、変動要素モデル化処理部９は基準画像集合から固有空間（以下では照明基準空間と呼ぶ。）を作成する。このとき、基準画像集合の平均〈ｙ〉と共分散行列Ｃはそれぞれ(1),(2)式で定義される。

一般に、分散を最大にする観点では(2)式の共分散行列Ｃの空間の変動要素中心ｍとして(1)式で定義される〈ｙ〉を用いるが、本発明は、照明条件を仮想的に付加するための照明基準空間の作成を意図しているため、共分散行列Ｃの空間の変動要素中心ｍとして(3)式で定義する中心照明条件下で撮影された平均画像〈ｙ_ｌ＝１〉を用いる。中心照明条件ｍとは、辞書登録を行う際の撮影時と同じ照明条件を意味し、ここではそれがｌ＝１の照明条件であると仮定している。

共分散行列Ｃを主成分分析し、（ＰＬ−１）個の固有ベクトルを求めると、これらの固有ベクトルは照明基準空間を張る正規直交基底となる。ここで、照明条件を連続的に変化させて撮影した画像を照明基準空間に写像すると、その特徴ベクトルの軌跡は連続的な曲線を描き、人物の違いによって描かれる曲線は多少異なるが、曲線の形状は個人に依存せず類似することが知られている（村瀬洋，シュリーナイヤー“２次元照合による３次元物体認識−パラメトリック固有空間法−”信学論(D-II), vol.J77-D-II, no,11, pp.2179-2187, Nov.1994) 。この曲線の関係を用いて、ある照明条件下で撮影された画像から他の照明条件での画像を仮想的に作り出すことが可能である。

辞書データの登録に際しては、ある人物の複数Ｎ枚の正規化画像ｘ_ｉ(i=1,2,・・・,N)のそれぞれから、共分散行列Ｃを用いて様々な照明条件下の顔画像をＬ枚ずつ仮想的に作り出し、その特徴量を抽出して登録することができるが、実際には以下のように部分空間の基本となる要素である対角行列と対角化行列を登録すればよい。

まず、Ｎ枚の正規化画像ｘ_ｉを自己相関行列Ｒ算出部１０に入力し、それらの正規化画像ｘ_ｉの自己相関行列Ｒを(4)式で求める。なお、Ｔは転置操作を表す。

次に、自己相関行列Ｒと照明基準空間の共分散行列Ｃを自己相関行列Ｒ′算出部１１に入力し、仮想的に照明変動が付加された自己相関行列Ｒ′を求める。自己相関行列Ｒ′は(5)式に従い自己相関行列Ｒと照明基準空間の共分散行列Ｃを単純に加算することにより求めることができる。
Ｒ′＝Ｒ＋Ｃ (5)

次に、固有値・固有ベクトル算出部１２で自己相関行列Ｒ′の固有値および固有ベクトルを算出する。自己相関行列Ｒ′の固有値をＮ＋ＰＬ−１個降順に対角成分として並べた対角行列をΛ′、それぞれの固有値に対応する固有ベクトルをｅ_ｊ′(j=1,2,・・・,N+PL-1)とし、固有ベクトルｅ_ｊ′を列成分として並べた対角化行列をΦ′とすると、自己相関行列Ｒ′は(6)式に示すように対角化される。
Λ′＝Φ′^ＴＲ′Φ′ (6)
Φ′＝｛ｅ_１′,ｅ_２′,・・・,ｅ_{Ｎ＋ＰＬ−１}′｝

以上のようにして求めた対角行列Λ′および対角化行列Φ′を辞書データとしてデータベース５（図１）に登録する。対角行列Λ′および対角化行列Φ′は部分空間法における部分空間の基本となる要素である。

部分空間法では、図３に示すように、新たに入力された画像ｘと、自己相関行列Ｒ′の固有値の大きい順にＭ個（Ｍ≦Ｎ＋ＰＬ−１）の固有ベクトルｅ_ｊ′で張られる部分空間１３とがなす角θの大小で認証判定を行う。

入力された画像ｘと部分空間１３とがなす角θの大小は、例えば(7)式で定義される類似度Ｓの高低に置き換えることができる。

ここで、入力された画像ｘと部分空間１３を形成する人物とが同一人物であれば類似度Ｓは「１」に近い高い値を示し、他人であれば類似度Ｓは「０」に近い低い値を示す。すなわち、類似度Ｓが「１」に近いほど、入力された画像ｘが部分空間を形成する人物と同一人物である可能性が高いと判断できる。

次に、広く一般的な照明条件を仮想的に再現するために、共分散行列Ｃを大局的な共分散行列と局所的な共分散行列に分離し、大局的な共分散行列のみを用いる手法について説明する。

(2)式で定義された照明基準空間の共分散行列Ｃは、(8)式で示すようにＣ_ｐｅｒとＣ_ｌｏｃに分離できる。

ここで、(11)式で定義される〈ｙ_ｌ〉は照明条件ｌにおける平均画像を示す。図４は、Ｐ＝６，Ｌ＝９の場合の共分散行列Ｃの分離の概念を示す図である。同図において、「●」は照明条件ｌ＝１における平均画像〈ｙ_ｌ＝１〉を示し、「×」はそれぞれ照明条件ｌ＝２，３，・・，９における平均画像〈ｙ_ｌ＝２〉，〈ｙ_ｌ＝３〉，・・，〈ｙ_ｌ＝９〉を示し、「・」はそれぞれ各画像ｙ_{ｐ＝１，ｌ＝２}，ｙ_{ｐ＝２，ｌ＝２}，・・，ｙ_{ｐ＝６，ｌ＝２}，ｙ_{ｐ＝１，ｌ＝３}，ｙ_{ｐ＝２，ｌ＝３}，・・，ｙ_{ｐ＝６，ｌ＝２}，・・・，ｙ_{ｐ＝１，ｌ＝９}，ｙ_{ｐ＝２，ｌ＝９}，・・，ｙ_{ｐ＝６，ｌ＝９}を示す。

(8)式のＣ_ｐｅｒは照明条件の違いに関する大局的な変動を意味し、Ｃ_ｌｏｃは人物の違いに関する局所的な変動を意味する。したがって、(12)式に示すように、共分散行列Ｃから局所的な共分散行列Ｃ_ｌｏｃの成分を取り除き、大局的な共分散行列Ｃ_ｐｅｒのみを用いることにより、より広く一般的な照明条件を仮想的に再現できる。ただし、この場合、(5)式によって求まる固有ベクトルの数は、（Ｎ＋Ｍ−１）個となる。
Ｒ′＝Ｒ＋Ｃ_ｐｅｒ (12)

本発明によれば、照明変動や人物の姿勢変動などの外的な変動要素の影響を抑制し、高精度で画像認識を行うことができる。したがって、携帯電話端末からの入力画像を認識対象とするバイオメトリクス認証システムなどに有効に適用できる。携帯電話端末の利用シーンは屋内のみあるいは屋外のみに限定されず、それにより撮影された画像は照明条件が種々に異なっており、また、固定カメラによる画像と違って手ぶれで変動するのが普通であると考えられるからである。

本発明に係る画像認識装置の実施形態を示すブロック図である。 変動要素モデルの作成および辞書作成の処理の一例を示すブロック図である。 部分空間法の説明図である。 共分散行列の分離の概念を示す図である。 従来の画像認識装置のブロック構成図である。

符号の説明

１・・・辞書登録部、２・・・画像認識部、３，６・・・正規化処理部、４・・・辞書作成部、５・・・データベース、７・・・マッチング処理部、８・・・変動要素モデル化部、９・・・変動要素モデル化処理部、１０・・・自己相関行列Ｒ算出部、１１・・・自己相関行列Ｒ′算出部、１２・・・固有値・固有ベクトル算出部、１３・・・部分空間

Claims (7)

1. 外的要素の変動下で撮影された複数枚の画像から変動要素モデルを作成する変動要素モデル作成部と、
   前記変動要素モデルを利用して、外的要素の特定条件下で撮影された画像に対して外的要素の変動を仮想的に付加し、そこから特徴量を抽出して対象物識別用辞書として登録する辞書登録部と、
   撮影された対象物画像と前記辞書登録部で登録された対象物識別用辞書との類似度を求めることにより対象物を認識する画像認識部とを備えたことを特徴とする画像認識装置。
2. 前記変動要素モデル作成部は、外的要素の変動下で撮影された複数枚の画像から作成される変動要素基準空間における前記複数枚の画像の共分散行列を変動要素モデルとして作成することを特徴とする請求項１に記載の画像認識装置。
3. 前記変動要素モデル作成部は、前記共分散行列を大局的な共分散行列と局所的な共分散行列に分離し、分離された大局的な共分散行列のみを変動要素モデルとすることを特徴とする請求項２に記載の画像認識装置。
4. 前記辞書登録部は、外的要素の特定条件下で撮影された画像の自己相関行列と前記変動要素モデルを加算することにより、外的要素の特定条件下で撮影された画像に対して外的要素の変動を仮想的に付加することを特徴とする請求項２または３に記載の画像認識装置。
5. 前記辞書登録部は、部分空間法における部分空間の基本となる要素を特徴量として抽出することを特徴とする請求項１ないし４のいずれかに記載の画像認識装置。
6. 外的要素の変動が照明変動および人物の姿勢変動の少なくとも一方であることを特徴とする請求項１ないし５のいずれかに記載の画像認識装置。
7. 対象物画像が人物の顔画像であることを特徴とする請求項１ないし６にいずれかに記載の画像認識装置。

Images