JP2012221061A

JP2012221061A - 画像認識装置、画像認識方法、及びプログラム

Info

Publication number: JP2012221061A
Application number: JP2011084009A
Authority: JP
Inventors: Kotaro Yano; 光太郎矢野; Hiroshi Sato; 博佐藤; Toshiaki Nakano; 俊亮中野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-04-05
Filing date: 2011-04-05
Publication date: 2012-11-12
Anticipated expiration: 2031-04-05
Also published as: JP5777380B2

Abstract

【課題】より高い精度で物体を認識することを目的とする。
【解決手段】入力画像から複数の局所領域を切り出して特徴量を抽出する抽出手段と、抽出手段で切り出された局所領域ごとに登録画像との類似度を算出する照合手段と、抽出手段で切り出された局所領域の状態をもとに局所領域を選択する選択手段と、選択手段で選択された局所領域をもとに登録画像との距離を算出するメトリック行列を選択し、選択したメトリック行列と選択手段で選択された局所領域の照合手段で算出された類似度とを用いて入力画像が登録画像と同じカテゴリの画像であるかを識別する識別手段とを有することによって課題を解決する。
【選択図】図１

Description

本発明は、画像認識装置、画像認識方法、及びプログラムに関する。

従来から、人物の顔を含む画像から顔の領域（顔画像）を抽出し、抽出した顔画像を予め登録した特定の人物の顔画像と比較することにより、個人識別を行う顔認識技術が知られている。
この技術は、例えば、カメラに写っている人物が登録者であると認証されたときにオフィスへの入室を許可する等のセキュリティ用途に使用されている。一方、この技術を同一人物が写っている写真の検索に利用したいといった要望もある。
前者の用途においては、人物を撮影する際の条件に制約を付けて高精度の認識を可能としている。しかしながら、後者の場合においては、人物の撮影条件が多岐におよび、認識の精度が低下するといった問題がある。例えば、顔の向き、表情、撮影時の照明が異なった写真間では同一人物が写っていても、別人物であると誤判定されてしまうことがある。

このような問題を解決するために、顔画像から複数の局所領域を抽出し、局所領域の類似性に基づいて認識を行う方法が提案されている。例えば、顔画像の局所領域毎に主成分分析に基づく照合を行って顔の向きや隠れへの耐性を強化する方法が開示されている（非特許文献１参照）。ここで、局所領域とは、例えば目、鼻、口といった顔の特徴的な領域を表す部分である。
一方、入力の顔画像と登録の顔画像との類似度を評価するメトリック関数を予め収集した同一人物、及び非同一人物の顔画像の組を用いて学習しておき、メトリック関数を用いて照合を行うことで識別性能を向上させている方法が公開されている（非特許文献２）。即ち、顔画像の類似性の判定を単なる主成分分析ではなく、顔画像の特徴量における同一人物と非同一人物との間の識別に適した成分を学習用のサンプルから抽出するという方法がとられている。

Pentland, Moghaddam and Starner. View-based and modular eigenspaces for face recognition. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition （CVPR'94） Guillaumin, Verbeek and Schmid. Is that you? Metric learning approaches for face identification. IEEE International Conference on Computer Vision (ICCV), Oct. 2009 Viola and Jones. Rapid Object Detection using Boosted Cascade of Simple Features. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR2001) Cootes, Edwards and Taylor. Active Appearance Models. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 23, No.6, JUNE 2001 村瀬, 金子, 五十嵐. 増分符号相関によるロバスト画像照合. 電子情報通信学会論文誌（D-II）,vol.J83-D-II, no.5, pp.1323-1331, May 2000.

しかしながら、非特許文献２の方法では、類似度の判定の際、単純に局所領域の特徴量を結合した特徴ベクトル間の類似度が評価されているので、顔向きの差異、照明・隠れによる見えの著しい変化があった場合に認識の精度が低下する。

本発明はこのような問題点に鑑みなされたもので、より高い精度で物体を認識することを目的とする。

そこで、本発明に係る画像認識装置は、入力画像から複数の局所領域を切り出して特徴量を抽出する抽出手段と、前記抽出手段で切り出された局所領域ごとに登録画像との類似度を算出する照合手段と、前記抽出手段で切り出された局所領域の状態をもとに局所領域を選択する選択手段と、前記選択手段で選択された局所領域をもとに前記登録画像との距離を算出するメトリック行列を選択し、選択したメトリック行列と前記選択手段で選択された局所領域の前記照合手段で算出された類似度とを用いて前記入力画像が前記登録画像と同じカテゴリの画像であるかを識別する識別手段とを有することを特徴とする。

本発明によれば、より高い精度で物体を認識することができる。

画像認識装置の構成の一例を示す図である。認識処理に係るフローチャートの一例を示す図である。端点の一例を示す図である。矩形領域の一例を示す図である。入力画像の一例を示す図である。

以下、本発明の実施形態について図面に基づいて説明する。なお、実施形態は、本発明を限定するものではなく、また、実施形態で説明されている全ての構成が本発明の課題を解決するための手段に必須であるとは限らない。

図１は、本実施形態に係る画像認識装置の構成の一例を示す図である。画像取得部１１０は、カメラ等の撮像部で撮像された画像データを取得する。顔検出部１２０は、画像取得部１１０で取得された画像データから顔領域（顔画像）を切り出す。
端点検出部１３０は、顔検出部１２０で切り出された顔画像から顔の特徴を表す目、鼻、口などの顔部品の端点を検出する。局所特徴抽出部１４０は、顔検出部１２０で切り出された顔画像から端点検出部１３０で検出された端点位置に基づいて局所領域を切り出し、切り出した局所領域から顔を認識するための特徴量を求める。

次元圧縮部１５０は、局所特徴抽出部１４０で求められた局所領域の特徴量（局所特徴量）を低次元特徴空間に圧縮する。この際、次元圧縮部１５０は、認識パラメータ記憶部２１０に記憶されている射影行列を用いる。特徴量照合部１６０は、次元圧縮部１５０で圧縮された特徴量と予め登録顔データ記憶部２２０に登録されている特徴量とを照合し、これらの類似度を求める。局所領域選択部１７０は、特徴量照合部１６０で求められた類似度から顔の識別に使う局所領域を選択する。
統合識別部１８０は、局所領域選択部１７０で選択された局所領域の類似度を統合し、入力の顔画像の人物が登録された画像（登録画像）の人物であるかの判定を行う。この際、統合識別部１８０は、局所領域選択部１７０で選択された局所領域に応じて認識パラメータ記憶部２１０に記憶されているメトリック行列を選択的に適用する。

認識パラメータ記憶部２１０は、次元圧縮部１５０で使用される事前学習により求められた射影行列、及び統合識別部１８０で使用される事前学習により求められたメトリック行列を記憶するメモリである。なお、各事前学習は、画像認識装置で行われてもよいし、画像認識装置とは異なる他の装置で行われてもよい。
登録顔データ記憶部２２０は、特徴量照合部１６０で使用される予め登録された特定の人物の顔画像（登録画像の一例）から得られた特徴量などを記憶するメモリである。

以下、画像認識装置の動作について図２のフローチャートに従って説明する。図２は、認識処理に係るフローチャートの一例を示す図である。
まず、画像取得部１１０は、カメラ等の撮像部で撮像された画像データ（入力画像）を取得する（Ｓ１０１）。取得された画像データは、画像取得部１１０内部のメモリに記憶される。このとき、取得された画像データは、輝度画像であるとする。なお、画像取得部１１０は、ＲＧＢ等のカラー画像を取得した場合、輝度画像に変換して記憶する。

顔検出部１２０は、画像取得部１１０で取得された画像データから顔領域を切り出す（Ｓ１０２）。例えば、顔検出部１２０は、非特許文献３で開示されている方法によって画像取得部１１０のメモリに記憶されている入力画像中の顔領域の位置を求める。そして、顔検出部１２０は、検出した顔領域を所定サイズ（例えば１００×１００画素）になるように変倍し、顔画像を顔検出部１２０内部のメモリに記憶する。
端点検出部１３０は、顔検出部１２０で切り出された顔画像から顔の特徴を表す目、鼻、口などの顔部品の端点を検出する（Ｓ１０３）。例えば、端点検出部１３０は、図３のように両目の目尻、目頭、口の左右の両端点の位置を検出する。これらの特徴点を検出する技術としては、例えば、非特許文献４に開示されている方法を用いる。検出された端点位置の座標は、端点検出部１３０内部のメモリに記憶される。

局所特徴抽出部１４０は、顔検出部１２０で切り出された顔画像から端点検出部１３０で検出された端点位置に基づいて局所領域を切り出し、切り出した局所領域から顔を認識するための特徴量を求める（Ｓ１０４）。例えば、局所特徴抽出部１４０は、図４の破線で示すように左右の目、左右の眉、鼻、口の領域、合せて６つの領域を局所領域として切り出す。
例えば、局所特徴抽出部１４０は、左目の領域を切り出す場合は、端点検出部１３０内部のメモリに記憶されている左目の目尻、及び目頭の位置の座標を参照して顔検出部１２０内部のメモリに記憶されている顔画像から切り出す。即ち、局所特徴抽出部１４０は、左目の目尻、及び目頭の位置の座標から顔画像中の左目領域の四隅の位置の座標を所定の幾何学的関係に基づいて求め、左目領域が所定の矩形になるように幾何変換を施して局所領域画像を得る。なお、局所領域は、例えば３０×３１画素の矩形領域になるように変換される。

そして、局所特徴抽出部１４０は、求めた局所領域画像から局所特徴量を求める。本実施形態では、局所特徴抽出部１４０は、局所特徴量として増分符号特徴量を求める。増分符号特徴量は、非特許文献５に説明されているように隣り合う画素の輝度の増加、或いは減少の傾向を表すものであり、ここでは上下間の画素の大小関係から特徴量を１ビットで表現される。なお、増分符号特徴量は、照明変動にロバストな特徴を持つ。
求められた特徴量は、３０×３０画素、１ビット、即ち、９００ビットで局所特徴抽出部１４０内部のメモリに記憶される。同様にして、局所特徴抽出部１４０は、その他の局所領域に対しても夫々参照すべき端点位置の座標に基づいて顔検出部１２０内部のメモリに記憶されている顔画像から画像データを切り出して特徴量を求める。
また、局所領域のサイズは、局所領域毎に適切なサイズで求めるようにしてもよいし、全局所領域で同じサイズにしてもよい。また、さらに多くの局所領域から特徴量を求めるようにしてもよい。また、ここでは、特徴量として増分符号を用いる場合について説明したが、その他、輝度勾配ヒストグラム、ガボールウェーブレットなどの特徴量を用いるようにしてもよいし、それらを組合せた特徴量を用いるようにしてもよい。

次元圧縮部１５０は、局所特徴抽出部１４０で求められた局所特徴量を低次元特徴空間に圧縮する（Ｓ１０５）。ここで、次元圧縮部１５０は、認識パラメータ記憶部２１０に記憶されている射影行列を用いる。
射影行列については、予め局所領域毎に学習用のサンプルから得た特徴量を主成分分析して求めておく。即ち、多くの顔画像を予め数千から数万サンプルのオーダーで収集しておき、前述のＳ１０１〜Ｓ１０４の処理を行い、局所領域毎に９００ビットで表現された９００次元の特徴ベクトルとして求めておく。そして、求めた特徴ベクトルの集合に対して主成分分析を行い、上位の主成分（規定の数であり、例えば、５０個）に射影する射影ベクトルを局所領域毎に求めて認識パラメータ記憶部２１０に記憶しておく。

また、次元圧縮処理は、単純であり、前述した方法で求められた射影行列を用いて入力の局所特徴量を射影変換するだけのものである。変換後の特徴量は、低次元の特徴ベクトルとなり、ノイズ成分を除去した局所領域の特徴量を構成する主たる成分のみが抽出されている。変換された特徴量は、次元圧縮部１５０内部のメモリに記憶される。この次元圧縮処理は、各局所領域に対して繰り返し行われる。
特徴量照合部１６０は、次元圧縮部１５０で圧縮された特徴量と予め登録顔データ記憶部２２０に登録されている特徴量とを照合し、これらの類似度を求める（Ｓ１０６）。ここで、登録顔（登録の顔画像）の特徴量は、入力の顔画像と同様に前述のＳ１０１〜Ｓ１０５の処理により求められた特徴量である。特徴量同士の照合は、局所領域毎にマンハッタン距離の計算により行われ、その逆数が類似度を表す。
なお、距離計算の方法は、マンハッタン距離の他、ユークリッド距離、データの分散を考慮したマハラノビス距離などを用いてもよい。また、コサイン類似度で類似度を求める方法を用いてもよい。

局所領域選択部１７０は、特徴量照合部１６０で求められた類似度から顔の識別に使う局所領域を選択する（Ｓ１０７）。即ち、局所領域選択部１７０は、特徴量照合部１６０で求められた類似度のうち所定値より特徴量間の距離が小さい局所領域、又は所定値より類似度の大きい局所領域のみを後段の処理で選択的に使うようにする。
図５は、顔の左目及び左眉の部分に髪の毛がかかり、隠れが生じた場合の入力の顔画像を示す図である。この場合、入力の顔画像の人物と登録の顔画像の人物とが同一人物であったとしても、隠れの発生した局所領域において類似度が極度に低くなる。このように、入力の顔画像の一部に隠れがあった場合に、その局所領域の特徴量を使ってしまうと認識の精度の低下を招くため、そのような局所領域の状態によって精度が低下する影響を回避するようにしている。同様のことが、顔が正面でなく、斜め向きであった場合、外部環境により顔の一部に強烈な陰影が生じた場合にも言える。

また、選択された局所領域の入力顔と登録顔との類似度は、局所領域選択部１７０内部のメモリに記憶される。Ｓ１０６及びＳ１０７の処理は、各局所領域に対して繰り返し行われる。
なお、本実施形態では、登録の顔画像との局所特徴量の類似度をもとに局所領域を選択するかどうかを判断するようにしたが、他の方法によって選択するようにしてもよい。例えば、局所領域選択部１７０は、局所領域選択部１７０内に局所領域毎に入力の顔画像の局所領域の状態が精度の低下を招くものかどうかを入力の顔画像の局所特徴量をもとに判定する。換言するならば、局所領域選択部１７０は、局所領域の状態をもとに顔の識別に使う局所領域を選択するものである。
例えば、図５に示したような隠れが生じた場合や顔が斜め向きであった場合、局所領域選択部１７０は、強烈な陰影が生じた場合に得られる特徴量であるか否かという判定を行い、その場合には局所領域を選択しないようにする。

統合識別部１８０は、局所領域選択部１７０で選択された局所領域に応じて認識パラメータ記憶部２１０に記憶されているメトリック行列を選択する（Ｓ１０８）。
まず、メトリック行列について説明する。メトリック行列とは、非特許文献２で説明されているように２つの特徴ベクトル間の距離を測るための行列である。
通常は、データの分散共分散行列を用いてマハラノビス距離を測定するが、近年、教師付きデータをもとに目的関数を設定し、この目的関数の誤差を最小化するように距離を測る行列を学習により求める方法が提案されている。
例えば、非特許文献２では、ＬＤＭＬ（Logistic Discriminant based Metric Learning）を顔画像の特徴量に適用してメトリック行列を求めている。また、例えば、非特許文献２では、ＩＴＭＬ（Information Theoretic Metric Learning）を顔画像の特徴量に適用してメトリック行列を求めている。本実施形態においてもＬＤＭＬやＩＴＭＬでメトリック行列を学習し、テスト画像について結果のよいものを採用する。

また、本実施形態では、Ｓ１０６の処理において局所領域毎に類似度を求めており、それらが結合されて特徴ベクトルｘが構成される。即ち、以下の（式１）のように距離ｄ_Mを定義する。
ｄ_M ＝ｘ^TＭｘ（式１）
ここで、Ｍは、Ｄ行Ｄ列の対称正定値行列で、Ｄは、特徴ベクトルｘの次元、Tは、転置を表す。また、ｘ＝（ｘ₁,ｘ₂,ｘ₃, ・・・,ｘ_N）^T で、ｘ_iは、ｉ番目の局所領域の入力画像と登録画像との類似度である。

学習時には、予め収集した顔画像のサンプル（画像サンプル）に対して前述のＳ１０１〜Ｓ１０６の処理が局所領域毎に行われ、求められた類似度が同一人物と非同一人物とのペア別（カテゴリ別）に分類される。そして、同一人物の顔画像の局所領域の特徴量同士の距離（画像間の距離）が小さく、非同一人物のそれが大きくなるようにメトリック行列を求めるようにする。
また、メトリック行列による類似度の算出では、（式１）に従い、局所領域毎に求められた類似度が結合されて構成される特徴ベクトルから距離ｄ_Mが求められる。ただし、本実施形態では、Ｓ１０７で有効な局所領域のみが選択され、それに対して顔全体の類似度が算出されるようにする。そのため、メトリック行列の学習が局所領域の選択ケースの全ての場合について行われ、求められたメトリック行列を認識パラメータ記憶部２１０に記憶しておく。

これらは、例えば、局所領域として全ての領域を使うメトリック行列、６つの領域中の５つの領域のみ使うメトリック行列（左眉のみ使わない場合や右眉のみ使わない場合）等のメトリック行列である。
そして、局所領域選択部１７０で選択された局所領域に応じて認識パラメータ記憶部２１０に記憶されているメトリック行列が選択されるようにする。例えば、図５に示した顔画像の場合には左目、及び左眉を除いた４つの領域の類似度を用いて顔全体の類似度を算出するメトリック行列が選択されるようにする。

なお、局所領域の選択ケースの全ての場合についてメトリック行列を保持しようとすると、局所領域数が多い場合には認識パラメータ記憶部２１０でのメモリ容量が膨大となってしまう。
そのような場合は、より多くの局所領域に対応した要素数の多いメトリック行列のみを認識パラメータ記憶部２１０に記憶し、Ｓ１０７で選択された局所領域が包含されるメトリック行列が選択されるようにする。
そして、選択されたメトリック行列から選択された局所領域に対応する要素のみを使用して顔全体の類似度が算出されるようにする。

次に、統合識別部１８０は、局所領域選択部１７０で選択された局所領域の類似度を統合して局所領域選択部１７０で選択されたメトリック行列を用いて入力の顔画像の人物が登録の顔画像の人物であるか否かの判定を行う（Ｓ１０９）。以下の（式２）のように、距離ｄ_M′が算出され、その逆数が顔全体の類似度を表す。
ｄ_M′ ＝ｘ′^TＭ′ｘ′ （式２）
ここで、Ｍ′は、Ｓ１０８で選択されたメトリック行列、ｘ′は、Ｓ１０７で選択された局所領域間の特徴量の類似度が結合されて構成される特徴ベクトルである。

そして、統合識別部１８０は、顔全体の類似度が所定の値以上の場合に入力の顔画像の人物が登録の顔画像の人物と同一人物であると判断する。
以上は、登録人物が一人の場合について説明したが、登録人物が複数である場合にも本実施形態は適用できる。前述したＳ１０６〜Ｓ１０９の処理を登録人物の顔画像毎に繰り返し、類似度が所定の値以上の登録の顔画像が複数あった場合に、類似度が最大の登録の顔画像の人物を該当人物と判断するようにする。
また、統合識別部１８０は、認識結果を出力する（Ｓ１１０）。

以上、本実施形態を顔の個人識別に適用する例について説明した。前述したように本実施形態では、入力画像と登録画像との類似度を局所領域毎に算出し、類似度の高い局所領域を選択して、それに対応したメトリック行列を用いて顔を識別するようにした。
したがって、局所領域の類似性に基づいた隠れや顔の向き、照明の影響にロバストな認識方法とメトリック行列による高精度の類似度の判定との両方のメリットを生かした高精度の顔認識を行うことができる。
なお、本実施形態では、顔の認識を例に説明したが、本実施形態は入力画像が所定のカテゴリの物体であるかを識別するアプリケーションに広く適用できる。例えば、本実施形態は、顔画像が犬の顔であるか、猫の顔であるか、或いはどの犬種の顔であるか等、動物の顔の分類に適用することができる。

＜その他の実施形態＞
画像認識装置は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ハードディスク等を有する情報処理装置（コンピュータ）、情報処理装置を有するカメラ等であってもよい。この場合、基本的には、ＣＰＵにより、ＲＯＭ、ハードディスク等に記憶されているプログラムがＲＡＭにロードされて実行されることで、画像認識装置の機能、フローチャートに係る処理が実現される。
ただし、画像認識装置の機能、フローチャートに係る処理の一部、又は全部を専用のハードウェアを用いて構成してもよい。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

上述した実施形態の構成によれば、より高い精度で物体を認識することができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

Claims

入力画像から複数の局所領域を切り出して特徴量を抽出する抽出手段と、
前記抽出手段で切り出された局所領域ごとに登録画像との類似度を算出する照合手段と、
前記抽出手段で切り出された局所領域の状態をもとに局所領域を選択する選択手段と、
前記選択手段で選択された局所領域をもとに前記登録画像との距離を算出するメトリック行列を選択し、選択したメトリック行列と前記選択手段で選択された局所領域の前記照合手段で算出された類似度とを用いて前記入力画像が前記登録画像と同じカテゴリの画像であるかを識別する識別手段とを有することを特徴とする画像認識装置。
前記選択手段は、前記照合手段で算出された類似度が高いものから規定の数の局所領域を選択することを特徴とする請求項１に記載の画像認識装置。
前記メトリック行列は、予め収集した画像サンプルに対して前記局所領域をカテゴリ別に分類し、同じカテゴリの画像間の距離が小さく、異なるカテゴリの画像間の距離が大きくなるように求められたものであることを特徴とする請求項１に記載の画像認識装置。
前記登録画像は、人物の顔画像であることを特徴とする請求項１に記載の画像認識装置。
入力画像から複数の局所領域を切り出して特徴量を抽出する抽出工程と、
前記抽出工程で切り出された局所領域ごとに登録画像との類似度を算出する照合工程と、
前記抽出工程で切り出された局所領域の状態をもとに局所領域を選択する選択工程と、
前記選択工程で選択された局所領域をもとに前記登録画像との距離を算出するメトリック行列を選択し、選択したメトリック行列と前記選択工程で選択された局所領域の前記照合工程で算出された類似度とを用いて前記入力画像が前記登録画像と同じカテゴリの画像であるかを識別する識別工程とを有することを特徴とする画像認識方法。
請求項５に記載の画像認識方法の各工程をコンピュータに実行させるプログラム。