JP4577771B2

JP4577771B2 - 顔画像認識装置

Info

Publication number: JP4577771B2
Application number: JP2005037576A
Authority: JP
Inventors: 賢治松尾; 真幸橋本; 淳小池
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2005-02-15
Filing date: 2005-02-15
Publication date: 2010-11-10
Anticipated expiration: 2025-02-15
Also published as: JP2006227699A

Description

本発明は、顔画像認識装置に関し、特に、人間の主観的な判断結果に近い顔画像認識ができ、類似顔画像の人物の検索などに利用することができる顔画像認識装置に関する。

近年、コンピュータによる顔画像認識の研究開発が盛んに行われている。従来、顔画像による個人認証についてはいくつかの認識技術が提案されている。本件発明の発明者は、精度の高い個人認証を行うことができる画像認識装置を下記特許文献（先願）１，２で提案した。これでは部分空間法による認識技術を用いており、あらかじめ顔辞書を登録する際に、各人の顔画像を複数枚撮影し、その複数枚撮影された顔画像の共通成分を抽出し、辞書データとして用いることで、顔の傾きによる姿勢変動や環境の違いにより生じる照明変動の影響を吸収している。

図７は、下記特許文献（先願）１，２で提案した従来の画像認識装置のブロック構成図である。この画像認識装置は、ある人物の顔を提影して得られる画像から、その人物が本人であるか否かを照合もしくはその人物が誰であるかを識別するものであり、機能で大別すると、あらかじめ辞書データを登録する辞書登録部７１と入力画像から人物を照合および識別する認識処理部７２とから構成される。

辞書登録部７１ではデータベース７３へ登録するための辞書データを作成する。辞書データの作成に際しては、まず、識別情報ＩＤを持った１名の人物を撮影し、該人物の撮影画像を入力する。正規化処理部７４は、入力された画像を位置、領域、大きさ、輝度レベルなどに関して正規化した正規化画像ｘ_ＩＤを出力する。このような正規化画像ｘ_ＩＤを同一人物に対して複数枚作成する。

辞書データ作成部７５は、入力された複数枚の正規化画像ｘ_ＩＤから自己相関行列を求め、その固有ベクトルを抽出し、それらによって張られる部分空間Φ_ＩＤを作成する。部分空間Φ_ＩＤに該人物の識別情報ＩＤを添えて辞書データＡとする。データベース７３は、辞書データ作成部７５で作成された辞書データＡを蓄積する。データべース７３は、同様にして作成された他の人物の辞書データＢ，Ｃ，・・・も蓄積する。

以上のようにしてデータベース７３に辞書データＡ，Ｂ，Ｃ，・・を蓄積した後、不特定の人物の顔が撮影され、これにより得られた１枚の画像が認識処理部７２に入力されると、正規化処理部７６は、辞書登録時と同様に、入力画像を位置、領域、大きさ、輝度などに関して正規化して正規化画像ｘを出力する。この正規化画像ｘを相関値計算部７７に入力する。

相関値計算部７７は、正規化処理部７６から入力された正規化画像ｘとデータベース７３に蓄積されている辞書データＡ，Ｂ，Ｃ，・・・内の登録画像とを比較して類似度(相関値)Ｓを計算する。

照合処理の場合には、照合を行ないたい人物の識別情報ＩＤ_Ｓを指定し、正規化処理部７６から入力された正規化画像ｘとデータベース７３に蓄積されている識別情報ＩＤ_Ｓの人物の辞書データとを比較して類似度Ｓを求める。また、識別処理の場合には、正規化処理部７６から入力された正規化画像ｘとデータベース７３に蓄積されている各人物の辞書データＡ，Ｂ，Ｃ，・・・内の登録画像とを比較し、最大の類似度Ｓを示す人物の識別情報ＩＤ_ｒを求める。

照合処理の場合には、類似度Ｓをしきい値判定部７８に入力し、類似度Ｓが閾値Ｔ以上であるか否かによって入力画像の人物は識別情報ＩＤ_Ｓの人物であるか否か(ＯＫorＮＧ)を判定する。また、識別処理の場合には、最大の類似度Ｓを示す人物の識別情報ＩＤ_ｒ、さらに必要ならばその類似度Ｓを出力する。
特願２００４−２３５２８１号（先願）特願２００４−３３７４６５号（先願）

人間は人の顔が似ているか否かを判断するときに、必ずしも顔全体に注目しているのではなく、目、鼻、口などの特定部分に注目していると考えられる。例えば、目、鼻、口などの全ての部位が類似していなくても目だけが非常に似ている、あるいは鼻だけが非常に似ていて他の部位が多少異なっているといった場合などには、両者の顔は類似しているという判断を主観的に下すことが多い。

しかしながら、個人認証の分野で用いられる認識技術では、顔画像の全体を対象とした空間での距離を用いて人物が類似しているか否かを客観的に判定しているため、これを類似顔画像の検索などに用いる場合、人間が主観的に判断した結果と異なることが生じる。

顔画像認識は、顔画像によるバイオメトリクス認証への応用の他、カメラに映った人物が誰に似ているか、また、どの程度似ているかなどを自動判別するエンターテイメントへの応用などが考えられるが、どのような応用にせよ、顔画像認識の結果を人間の主観的な判断結果に近づけることにより、画像認識装置の認識結果に信頼性を与えることができる。

似ている有名人の顔画像を検索して提示するなどのエンターテイメントへの応用を考えた場合、主観的な判断の結果に近い認識結果が得られるか否かによって興味を持つ度合いが異なると考えられるので、顔画像認識の結果を人間の主観的な判断結果に近づけることは特に好ましい。

本発明の目的は、顔画像認識結果を人間の主観的な判断結果に近づけることができる顔画像認識装置を提供することにある。

上記課題を解決するために、本発明は、予め用意された主観的に類似した顔画像ペアの差分画像を求め、該差分画像を主成分分析して固有ベクトルを導出する差分空間作成部と、登録顔画像を前記差分空間作成部により導出された固有ベクトルが張る差分空間に投射し、該登録画像と該登録画像が差分空間に投射された成分とのベクトル差である補間空間上のベクトルを導出する登録顔画像作成部と、入力顔画像を前記差分空間作成部により導出された固有ベクトルが張る差分空間に投射し該入力顔画像と該入力顔画像が差分空間に投射された成分とのベクトル差である補間空間上のベクトルを導出するとともに、該補間空間上のベクトルと前記登録顔画像作成部により導出された補間空間上のベクトルを利用して登録顔画像と入力顔画像の類似度を求める認証処理部を具備した点に第１の特徴がある。

また、本発明は、前記認証処理部が、入力顔画像と該入力顔画像が差分空間に投射された成分とのベクトル差である補間空間上のベクトルと前記登録顔画像作成部により導出された補間空間上のベクトルの類似度を測定することにより登録顔画像と入力顔画像の類似度を求める点に第２の特徴がある。

さらに、本発明は、前記登録顔画像作成部が、１人の人物の複数の登録顔画像各々について補間空間上のベクトルを導出し、前記認証処理部は、前記登録顔画像作成部により導出された補間空間上のベクトルが張る主成分空間と前記登録顔画像作成部により導出された補間空間上のベクトルの類似度を測定することにより登録顔画像と入力顔画像の類似度を求める点に第３の特徴がある。

本発明の第１の特徴によれば、差分画像を主成分分析して導出した固有ベクトルが張る差分空間上の成分、つまり人間が主観的に類似判定を行う際に使われていないを成分を取り除き、その補間空間上の成分、つまり人間が主観的に類似判断を行う際に重視する成分を多く含んだ成分を利用して登録顔画像と入力顔画像の類似度を求めるので、顔の類似度の算出や類似した顔画像の検索の結果などを人間の主観的な判断結果に近づけることができる。したがって、顔画像を用いて人物の認証や検索を行う画像認識装置における認識結果に信頼性を与えることができる。また、エンターテインメントに効果的に応用できる。

また、第２の特徴によれば、登録顔画像作成処理で１つの登録顔画像についての補間空間上のベクトルを導出すればよいので、辞書データの登録が容易になる。

さらに、第３の特徴によれば、１人の人物の複数の登録顔画像各々について導出された補間空間上のベクトルが張る主成分空間を使用するので、登録顔画像作成の際に照明変動や顔の動きなどがあってもそれらに影響されることなく、登録顔画像と入力顔画像の類似度を正確に求めることができる。

以下、図面を参照して本発明を説明する。図１は、本発明に係る顔画像認識装置の一実施形態を示す機能ブロック図である。本実施形態の顔画像認識装置は、機能で大別すると、差分空間作成部１と登録顔画像作成部２と認証処理部３とから構成される。

まず、差分空間作成部１について説明する。ここでは、主観的に類似している人物の類似顔画像ペアｇ^ａ _１とｇ^ｂ _１、ｇ^ａ _２とｇ^ｂ _２、・・・、ｇ^ａ _ＮＮとｇ^ｂ _ＮＮを用意する。この類似顔画像ペアは１つ以上あればよい。差分画像作成部１−１は、各ペア間の差分画像を導出し、式(1)で表される画像空間上の差分画像(ベクトル)ｄ_ｉを作成する。

次に、差分画像集合に対して主成分分析を施し、それらの共通成分を抽出することにより固有ベクトルｅ_１,ｅ_２,・・・,ｅ_ＭＭを導出する。具体的には、まず、差分画像作成部１−１で作成した差分画像ｄ_ｉを自己相関行列作成部１−２に入力して自己相関行列Ｒを式(2)により作成する。なお、式(2)中のＴは転置を表す。

次に、自己相関行列Ｒを固有ベクトル導出部１−３に入力してその固有ベクトルｅ_１,ｅ_２,・・・,ｅ_ＭＭを導出する。式(3)で表される固有ベクトルｅ_１,ｅ_２,・・・,ｅ_ＭＭは差分画像の主成分空間（差分空間と称す）Ψを張る。

図２は、本発明における差分画像導出の説明図である。主観的に類似していると判断した人物の類似顔画像ペアｇ^ａ _１とｇ^ｂ _１、ｇ^ａ _２とｇ^ｂ _２、・・・、ｇ^ａ _ＮＮとｇ^ｂ _ＮＮを用意し、これらの類似顔画像ペア間の差分画像を導出する。これにより導出された差分画像ｇ^ａ _ｉ−ｇ^ｂ _ｉは、人間が主観的に類似判定を行う際に使われていない成分といえる。

図３は、本発明における固有ベクトルｅ_１,ｅ_２,・・・,ｅ_ＭＭの導出および差分空間の説明図である。各ペア間の差分画像ｇ^ａ _ｉ−ｇ^ｂ _ｉは画像空間上で表される。自己相関行列作成部１−２と固有ベクトル導出部１−３は、差分画像集合に対して主成分分析を施し、それらの共通成分を抽出して固有ベクトルｅ_１,ｅ_２,・・・,ｅ_ＭＭを導出する。固有ベクトルｅ_１,ｅ_２,・・・,ｅ_ＭＭは、差分空間Ψを張る。

次に、登録顔画像作成部２について説明する。登録顔画像作成部２には複数の登録顔画像ｘ_ｊ(j＝1,2,・・・,L)を入力する。これらの登録顔画像ｘ_ｊは、各々の人物の顔領域画像を正規化した画像である。

登録顔画像作成部２の差分空間投射部２−１は、入力された登録顔画像ｘ_ｊを差分空間作成部１で作成された差分空間Ψに投射し、差分空間上のベクトルｘ_ｊ′を導出する。

補空間ベクトル作成部２−２は、登録顔画像ｘ_ｊから差分空間上のベクトルｘ_ｊ′を差し引いて補空間上のベクトルΔｘ_ｊを作成する。データベース(DB)４は、補空間ベクトル作成部２−２で作成された補空間上のベクトルΔｘ_ｊを辞書データとして蓄積する。データベース４に蓄積する辞書データとして、補空間上のベクトルΔｘ_ｊにリンクしてその人物の顔画像や名前を蓄積するのが好ましい。

図４は、本発明における補空間上のベクトル作成の説明図である。顔画像をｘとすると、まず、顔画像ｘを差分空間Ψに投射して差分空間Ψ上のベクトルｘ′を導出する。次に、顔画像ｘからベクトルｘ′を差し引いて補空間上のベクトルΔｘ_ｊを作成する。

顔画像ｘを差分空間Ψに投射することにより導出される差分空間Ψ上のベクトルｘ′は、顔画像ｘ内で人間が主観的に類似判断を行う際に使っていない成分である。従って、補空間上のベクトルΔｘは、この成分が吸収され、人間が主観的に類似判断を行う際に重視する成分を多く含んだベクトルになる。

次に、認証処理部３について説明する。登録顔画像ｘ_ｊについての補空間上のベクトルΔｘ_ｊをデータベース４に蓄積した後、認識対象の人物の顔画像ｙを認識処理部３に入力する。入力顔画像ｙは、認識対象の人物の顔領域画像を正規化した画像である。

差分空間投射部３−１は、入力顔画像ｙについての差分空間Ψ上のベクトルｙ′を導出する。また、補間ベクトル作成部３−２は、補空間上のベクトルΔｙを作成する。これらは登録顔画像作成部２における差分空間投射部２−１および補空間ベクトル作成部２−２と同様である。差分空間Ψ上のベクトルｙ′は式(4)で表され、補空間上のベクトルΔｙは、式(5)で表される。

類似度測定部３−３は、補間ベクトル作成部３−２から入力された補空間上のベクトルΔｙとデータベース４に蓄積されている補空間上のベクトルΔｘ_ｊとを比較して類似度Ｓ_ｊを測定する。

類似度順位決定部３−４は、類似度Ｓ_ｊを降順にソートし、類似度Ｓ_ｊが最も大きい人物、あるいは類似度Ｓ_ｊが大きい順に数人の人物の顔画像や名前をデータベース４から取り出して類似顔画像検索結果として送出する。

類似度測定は、種々の方法で行うことができる。上記実施形態では、ベクトルΔｘ_ｊとベクトルΔｙの類似度Ｓ_ｊを測定する第１の方法によって類似度を測定している。この方法は、図５に示すように、ベクトルΔｘ_ｊとΔｙ間とがなす角度をθとしたとき、類似度Ｓ_ｊとしてcosθを求めことで実現でき、cosθは、式(6)で表されるように、ベクトルΔｘ_ｊとΔｙの内積を分子とし、ベクトルΔｘ_ｊ、Δｙそれぞれの大きさの積を分子とする計算式で求めることができる。この場合、類似度Ｓ_ｊは、−１≦Ｓ_ｊ≦１となり、１に近いほど類似し、−１に近いほど非類似となる。

類似度は、以下に示す第２の方法によっても測定できる。この方法は、１人の人物についての複数Ｎの補空間上のベクトルΔｘ_ｊｋ(k＝1,2,・・・,N)から作成される主成分空間とベクトルΔｙの類似度Ｓ_ｊを測定する方法であり、図６に示すように、ベクトルΔｘ_ｊｋの主成分空間とΔｙ間とがなす角度をθとしたとき、類似度Ｓ_ｊは、式(7)で表されるcos^２θを求めることで実現できる。この場合、類似度Ｓ_ｊは、０≦Ｓ_ｊ≦１となり、１に近いほど類似し、０に近いほど非類似となる。

この方法は、各人物についての補空間上のベクトルΔｘ_ｊｋ(k＝1,2,・・・,N)をす成分分析し、その主成分空間の生成を必要とする。各人物についての補空間上のベクトルΔｘ_ｊｋの主成分空間は、各人物の顔をＮ枚撮影して得られる顔画像ｘ_ｊｐ(p＝1,2,,N)から各人物についての補空間上のベクトルΔｘ_ｊｋを算出し、これらのベクトルΔｘ_ｊｋから自己相関行列Ｒ(または共分散行列Ｃ)を算出し、算出された行列の固有ベクトルを導出し、固有値が大きい順にＭ個(M≦N)の固有ベクトルｕ_１，ｕ_２，・・・，ｕ_Ｍを取り出し、この固有ベクトルｕ_１，ｕ_２，・・・，ｕ_Ｍにより張られる空間を求めることにより生成できる。

本発明は、人間の主観的な判断に近い顔画像認識結果を提供するので、エンターテインメントに効果的に応用できる。例えば、エンターテインメントを提供する施設にカメラやディスプレイとともに本発明による顔画像認識装置を備えておき、入場者の顔をカメラで撮影し、その人物が似ている有名人の顔画像をデータベースから取り出してディスプレイに表示したり、どの程度似ているかなどを提示したりすることができる。また、、顔画像の領域ごとの類似度を測定すれば、領域ごとの類似度を何％などといった表現で提示できる。さらに、両者の顔画像や合成顔画像をディスプレイに表示させたりプリンタで出力させることもできる。

本発明に係る顔画像認識装置の一実施形態を示す機能ブロック図である。本発明における差分画像導出の説明図である。本発明における固有ベクトルの導出および差分空間の説明図である。本発明における補空間上のベクトル作成の説明図である。本発明における類似度測定の説明図である。本発明における類似度測定の他の説明図である。従来の画像認識装置のブロック構成図である。

符号の説明

１・・・差分空間作成部、１−１・・・差分画像作成部、１−２・・・自己相関行列作成部、１−３・・・固有ベクトル算出部、２・・・登録顔画像作成部、２−１，３−１・・・差分空間投射部、２−２，３−２・・・補空間ベクトル作成部、３・・・認証処理部、３−３・・・類似度測定部、３−４・・・類似順位決定部、４，７３・・・データベース、７１・・・辞書登録部、７２・・・認識処理部、７４，７６・・・正規化処理部、７５・・・辞書データ作成部、７７・・・相関値計算部

Claims

予め用意された主観的に類似した顔画像ペアの差分画像を求め、該差分画像を主成分分析して固有ベクトルを導出する差分空間作成部と、
登録顔画像を前記差分空間作成部により導出された固有ベクトルが張る差分空間に投射し、該登録画像と該登録画像が差分空間に投射された成分とのベクトル差である補間空間上のベクトルを導出する登録顔画像作成部と、
入力顔画像を前記差分空間作成部により導出された固有ベクトルが張る差分空間に投射し該入力顔画像と該入力顔画像が差分空間に投射された成分とのベクトル差である補間空間上のベクトルを導出するとともに、該補間空間上のベクトルと前記登録顔画像作成部により導出された補間空間上のベクトルを利用して登録顔画像と入力顔画像の類似度を求める認証処理部を具備したことを特徴とする顔画像認識装置。
前記認証処理部は、入力顔画像と該入力顔画像が差分空間に投射された成分とのベクトル差である補間空間上のベクトルと前記登録顔画像作成部により導出された補間空間上のベクトルの類似度を測定することにより登録顔画像と入力顔画像の類似度を求めることを特徴とする請求項１に記載の顔画像認識装置。
前記登録顔画像作成部は、１人の人物の複数の登録顔画像各々について補間空間上のベクトルを導出し、
前記認証処理部は、前記登録顔画像作成部により導出された補間空間上のベクトルが張る主成分空間と前記登録顔画像作成部により導出された補間空間上のベクトルの類似度を測定することにより登録顔画像と入力顔画像の類似度を求めることを特徴とする請求項１に記載の顔画像認識装置。