JPWO2006030519A1 - 顔認証装置及び顔認証方法 - Google Patents

顔認証装置及び顔認証方法 Download PDF

Info

Publication number
JPWO2006030519A1
JPWO2006030519A1 JP2006535003A JP2006535003A JPWO2006030519A1 JP WO2006030519 A1 JPWO2006030519 A1 JP WO2006030519A1 JP 2006535003 A JP2006535003 A JP 2006535003A JP 2006535003 A JP2006535003 A JP 2006535003A JP WO2006030519 A1 JPWO2006030519 A1 JP WO2006030519A1
Authority
JP
Japan
Prior art keywords
face
feature amount
image
feature
face authentication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006535003A
Other languages
English (en)
Inventor
田中 昭二
昭二 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2006030519A1 publication Critical patent/JPWO2006030519A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

特徴量抽出用画像生成手段2は、入力された画像から、各画素値に所定の演算を施した特徴量抽出用画像を生成する。顔検出手段3および両目検出手段4は、特徴量抽出用画像に基づいて顔検出および両目検出を行う。特徴量取得手段6は、両目の位置に基づいて正規化した画像から特徴量を抽出する。顔認証手段10は、特徴量取得手段6で取得された特徴量と、予め登録された特徴量とを比較することにより、顔認証を行う。

Description

この発明は、顔を撮影した画像から顔領域を抽出し、この顔領域の画像と、予め登録したデータと比較して認証を行う顔認証装置及び顔認証方法に関するものである。
従来の顔認証装置では、装置に入力された顔画像から顔領域を検出する際、眉間を中心とする円心の画素の画素値をフーリエ変換し、周波数2となる領域を顔領域として求めていた。また、顔認証を行う際にZernike(ゼルニケ)モーメントを用いて抽出した特徴量を用いていた(例えば、特許文献1参照)。
特開2002−342760号公報
しかしながら、上記従来の顔認証装置では、顔領域を検出する際に眉間を中心とする円心の画素の画素値をフーリエ変換し、周波数2となる領域を顔領域としていたため、例えば、眉が髪の毛で覆われているような画像の場合顔領域を正確に求めることが困難であった。
また、顔画像認証可能な場合であっても、認証を行う際に用いるZernikeモーメントを求める際に複雑な演算を必要とする等、演算量が多く、例えば演算能力に制限を有する携帯電話やPDA(Personal Digital Assistants)では計算コストが高く、リアルタイム処理を実現することが困難であるといった問題があった。
この発明は上記のような課題を解決するためになされたもので、種々の顔画像であっても正確に顔領域を抽出することができ、かつ、演算量を少なくすることのできる顔認証装置及び顔認証方法を得ることを目的とする。
この発明に係る顔認証装置は、入力された画像に対して各画素値に所定の演算を施した特徴量抽出用画像を生成する特徴量抽出用画像生成手段と、特徴量抽出用画像から、顔領域を検出する顔検出手段と、特徴量抽出用画像から、両目の位置を検出する両目検出手段と、両目の位置に基づいて顔領域を正規化した画像から特徴量を抽出する特徴量取得手段と、予め登録された個人の特徴量と、特徴量取得手段で取得した特徴量とを比較し、顔認証を行う顔認証手段とを備えたものである。
このことによって、顔認証装置としての信頼性向上と、演算量の削減化を図ることができる。
この発明の実施の形態1による顔認証装置を示すブロック図である。 この発明の実施の形態1による顔認証装置の動作を示すフローチャートである。 この発明の実施の形態1による顔認証装置の原画像と積分画像との関係を示す説明図である。 この発明の実施の形態1による顔認証装置の画像を分割して処理する方法を示す説明図である。 この発明の実施の形態1による顔認証装置のレクタングルフィルタの説明図である。 この発明の実施の形態1による顔認証装置の画素値合計を求める処理の説明図である。 この発明の実施の形態1による顔認証装置の積分画像を分割して求めた際の矩形内の画素値合計を求める処理の説明図である。 この発明の実施の形態1による顔認証装置の顔領域を検出する際に検出対象とする探索ブロックの説明図である。 この発明の実施の形態1による顔認証装置の顔領域検出処理を示すフローチャートである。 この発明の実施の形態1による顔認証装置の顔領域検出結果を示す説明図である。 この発明の実施の形態1による顔認証装置の両目探索の説明図である。 この発明の実施の形態1による顔認証装置の目領域の探索動作の説明図である。 この発明の実施の形態1による顔認証装置の正規化処理の説明図である。 この発明の実施の形態1による顔認証装置の特徴量データベースの説明図である。
以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について、添付の図面に従って説明する。
実施の形態1.
図1は、この発明の実施の形態1による顔認証装置を示すブロック図である。
本実施の形態の顔認証装置は、画像入力手段1、特徴量抽出用画像生成手段2、顔検出手段3、両目検出手段4、顔画像正規化手段5、特徴量取得手段6、特徴量格納手段7、特徴量抽出用画像格納手段8、特徴量データベース9、顔認証手段10を備えている。
画像入力手段1は、画像を入力するための機能部であり、例えば、携帯電話やPDA等に搭載されたデジタルカメラや、外部メモリ等で入力された画像、インターネット等から通信手段を用いて取得する取得手段等からなるものである。
特徴量抽出用画像生成手段2は、画像入力手段1で入力された画像に対して各画素値に所定の演算を施した特徴量抽出用画像を取得する手段である。特徴量抽出用画像とは、例えば積分画像であるが、その詳細については後述する。
顔検出手段3は、特徴量抽出用画像生成手段2で取得された特徴量抽出用画像に基づいて、所定の手法により顔領域を検出する機能部である。両目検出手段4は、顔検出手段3と同様の手法により、顔領域中から両目領域を検出する機能部である。顔画像正規化手段5は、両目検出手段4で検出された両目の位置に基づいて顔認証の対象となる画像サイズに顔領域を拡大縮小する機能部である。特徴量取得手段6は、正規化した顔画像から顔認証のための特徴量を取得する機能部であり、特徴量格納手段7は、その特徴量を特徴量データベース9や顔認証手段10に送出する機能部である。
特徴量抽出用画像格納手段8は、特徴量抽出用画像生成手段2で取得された特徴量抽出用画像を格納する機能部であり、顔検出手段3〜特徴量取得手段6は、この特徴量抽出用画像格納手段8に格納された特徴用抽出用画像に基づいて各種の処理を行うよう構成されている。また、特徴量データベース9は、顔検出手段3が使用するための顔の特徴量、両目検出手段4が使用するための目の特徴量および顔認証手段10が使用するための各人の特徴量を格納するデータベースである。更に、顔認証手段10は、特徴量取得手段6で取得された認証対象となる特徴量と、特徴量データベース9に予め登録された各人の顔の特徴量データとを比較して顔認証を行う機能部である。
次に、本実施の形態の顔認証装置の動作について説明する。
図2は、動作を示すフローチャートである。
先ず、画像入力手段1において画像を入力する(ステップST101)。ここでは、携帯電話やPDAなどに装備されたデジタルカメラで撮影された画像、外部メモリ等で入力された画像、インターネット等から通信手段を用いて取得した画像等、携帯電話やPDA等に入力可能な全ての画像を対象とする。
次に、特徴量抽出用画像生成手段2において特徴量抽出用画像を求める(ステップST102)。ここで、特徴量抽出用画像とは、顔検出、両目検出、顔認証でそれぞれの特徴を抽出するために用いるRectangle Filter(レクタングル フィルタ)と呼ばれるフィルタで画像をフィルタリングする際に用いられる画像であり、例えば、図3に示すようにx,y座標の座標軸方向(水平垂直方向)に画素値の累計を求めた積分画像である。
積分画像は次式で求めることができる。
グレースケールの画像をI(x,y)とすると、積分画像I’(x,y)は次式で表現する。
Figure 2006030519
図3は、特徴量抽出用画像生成手段2で原画像を積分画像に変換した結果を示す説明図である。
例えば、原画像11を積分画像に変換した場合は、積分画像12のようになる。即ち、原画像11の各画素値に対応した積分画像12の演算値は、原画像11の各画素値を図面左上の画素値から水平垂直方向に加算した値となっている。
積分画像は、グレースケール画像を対象として求められるため、カラー画像に対しては、画素値を一度次式で変換してから積分画像を求める。
カラー画像の各画素のR成分、G成分、B成分をIr,Ig,Ibとすると、グレースケールIは、例えば次式を用いて求められる。尚、RGB各成分の平均値を求めても良い。
I(x,y)=0.2988Ir(x,y)+0.5868Ig(x,y)+0.1144Ib(x,y)
ここで、画像入力手段1において、入力する画像サイズが例えば300万画素などの大きなサイズであった場合、積分画像の各画素値を表現するために用いる整数型のデータでは表現できない場合がある。つまり、積分値が整数型のデータサイズをオーバーフローしてしまう場合がある。
そのため、本実施の形態ではこのような場合を考慮し、オーバーフローしない範囲で画像を次のように分割し、分割した各部分画像の積分画像を求める。
尚、本実施の形態では、積分画像12は、原画像11の画素値をそのまま累計した値であるが、原画像11の各画素値を自乗した値の積分画像であっても同様に適用可能である。但し、この場合は、積分値が整数型のデータサイズをオーバーフローしないために、分割は更に細かい(分割画像が小さい)ものとなる。
図4は、画像を分割して処理する方法を示す説明図である。
図において、13〜16は、分割された画像を示し、17〜19は探索ウインドウが分割された画像同士とオーバラップするケースを示している。
このように、本実施の形態では、分割した各部分画像13,14,15,16で積分画像を求める。この場合、合計値を求める矩形が複数の分割画像に跨ってしまう場合があり、その場合は、縦方向に異なる場合18、横方向に異なる場合17、四つの分割画像に異なる場合19の三つの場合が考えられる。これらのそれぞれの場合における処理方法は後述する。
以上で積分画像を求めた後、顔検出手段3において画像から顔領域を検出する(ステップST104)。
本実施の形態の顔認証装置では、人間の顔の特徴、目の特徴、顔の個人差の特徴を全て図5に示すRectangle Filter20を複数用いて画像をフィルタリングした後のレスポンス値の組み合わせによって表現する。
図5に示すRectangle Filter20は、固定サイズの検索ブロック内、例えば24×24画素のブロック内で白い矩形内の画素値合計からハッチングされた矩形内の画素値合計を引き算した値を求めるものである。
つまり、次式で表現した値をRectangle Filter20のレスポンスとする。
Figure 2006030519
ここで、I(x,y)は、白い矩形内の画素値合計、I(x,y)は、ハッチング矩形内の画素値合計を示している。
尚、図5に示したRectangle Filter20は基本的なものを示したものであり、実際には、探索ブロック内で位置および大きさが異なる複数のRectangle Filter20が存在する。
顔検出手段3では、人物の顔を検出するのに適した複数のRectangle Filterを用いてフィルタリングした複数のフィルタリングレスポンス値に応じて重み付けし、重み付けした値の線形和が閾値よりも大きいか否かによって探索ブロックが顔領域か否かを判定する。つまり、フィルタリングレスポンス値に応じて付与される重みが顔の特徴を表すものであり、この重みは事前に学習アルゴリズムなどを用いて獲得しておく。
つまり、以下の判別式で識別する。
Figure 2006030519
但し、RFwは、Rectangle Filterレスポンスに対する重み、Fは重みの線形和、thは顔判定閾値を示している。
以上の通り、顔検出手段3では、探索ブロック内での各矩形の画素値合計に基づいて顔検出を行う。このとき、画素値合計演算を効率的に行うための手段として特徴量抽出用画像生成手段2で求めた積分画像を用いる。
例えば、図6に示すように、領域21内のABCDで囲まれた矩形内の画素値合計を求める場合、積分画像を用いれば矩形内の画素値合計は次式で求めることができる。
S=Int(x,y)-Int(x,y)-Int(x,y)+Int(x,y)
Int(x,y):点Dにおける積分画素値
Int(x,y):点Bにおける積分画素値
Int(x,y):点Cにおける積分画素値
Int(x,y):点Aにおける積分画素値
このように、一度積分画像を求めておけば、矩形内の画素値合計は4点の演算のみで求めることができ、効率的に任意の矩形内の画素値合計を求めることが可能である。また、積分画像12の積分画素値も整数で表されているため、このような積分画像12を用いて各種の処理を行っている本実施の形態の顔認証処理は全て整数演算で行うことが可能である。
ここで、先に述べたように、画像を分割して積分画像を求めた場合に、図4における17〜19に示すように複数の分割画像と重なって画素値合計を求めなければならない場合がある。
重なりのパターンとしては、前述の通り、縦方向に重なっている場合18、横方向に重なっている場合17、四つの分割画像と重なっている場合19に分けられる。
図7は、三つの重なりのパターンのケースを示す説明図である。
先ず、縦方向に重なっているケースで、図中の22に示すようにABEF内の画素値合計を求める場合は、次式で求めることができる。
S=Int(x,y)+Int(x,y)-(Int(x,y)+Int(x,y))+Int(x,y)+Int(x,y)-(Int(x,y)+Int(x,y))
Int(x,y):点Dにおける積分画素値
Int(x,y):点Bにおける積分画素値
Int(x,y):点Cにおける積分画素値
Int(x,y):点Aにおける積分画素値
Int(x,y):点Eにおける積分画素値
Int(x,y):点Fにおける積分画素値
横方向に重なっている場合も上記同様に求めることができる。例えば図7の23におけるABEFも次式で求めることができる。
S=Int(x,y)+Int(x,y)-(Int(x,y)+Int(x,y))+Int(x,y)+Int(x,y)-(Int(x,y)+Int(x,y))
Int(x,y):点Dにおける積分画素値
Int(x,y):点Bにおける積分画素値
Int(x,y):点Cにおける積分画素値
Int(x,y):点Aにおける積分画素値
Int(x,y):点Eにおける積分画素値
Int(x,y):点Fにおける積分画素値
四つの分割画像と重なっている場合は、各分割画像に重なっている部分の画素値合計を足し合わせればよい。例えば、図7の24に示すように矩形AGEIの画素値合計を求める場合は、次式で求めることができる。
S=Int(x,y)+Int(x,y)-(Int(x,y)+Int(x,y))+Int(x,y)+Int(x,y)-(Int(x,y)+Int(x,y))+Int(x,y)+Int(x,y)-(Int(x,y)+Int(x,y))+Int(x,y)+Int(x,y)-(Int(x,y)+Int(x,y))
Int(x,y):点Dにおける積分画素値
Int(x,y):点Bにおける積分画素値
Int(x,y):点Cにおける積分画素値
Int(x,y):点Aにおける積分画素値
Int(x,y):点Eにおける積分画素値
Int(x,y):点Fにおける積分画素値
Int(x,y):点Gにおける積分画素値
Int(x,y):点Hにおける積分画素値
Int(x,y):点Iにおける積分画素値
次に、通常、上記顔特徴量抽出のために使用する探索ブロックは例えば24×24画素などのように固定されており、顔特徴量を学習する際はその探索ブロックサイズの顔画像を学習している。しかしながら、画像から任意の大きさで撮影された顔領域を、サイズが固定された探索ブロックを用いて検出することは不可能である。この問題を解決するためには、画像を拡大縮小して複数の解像度画像を作成するか、あるいは探索ブロックを拡大縮小するかのいずれかの方法があり、どちらの方法を用いても良い。
本実施の形態では、積分画像を複数解像度に合わせて求めた場合、メモリ効率が悪いため、探索ブロックを拡大縮小する。つまり、次のように、探索ブロックを一定の拡大縮小率で拡大することによって任意の大きさの顔領域が検出可能となる。
図8は、顔領域を検出する際に検出対象とする探索ブロックの説明図である。
図中の探索ブロック25の拡大縮小によって顔領域を検出する動作は次の通りである。
図9は、顔領域検出処理を示すフローチャートである。
先ず、拡大縮小率Sを1.0とし、等倍の探索ブロックからスタートする(ステップST201)。
顔検出は、探索ブロックを縦横一画素ずつ移動しながら探索ブロック内の画像が顔領域か否かを判定し、顔領域であればその座標を記憶する(ステップST202〜ステップST209)。
先ず、Rectangle Filter内の矩形座標に拡大縮小率Sをかけたときの新たな矩形座標(矩形を構成する頂点の座標)を求める(ステップST204)。
ここで、単純に各座標値に拡大縮小率Sをかけただけでは、丸め誤差が生じて正しい座標値を求めることができない。よって、探索ブロックを拡大縮小したときの各矩形座標は次式で求める。
Figure 2006030519
尚、上記計算式において、topは矩形の左上Y座標、leftは矩形の左上X座標、heightは矩形の高さ、widthは矩形の幅、Sは拡大縮小率、rc,ccは矩形のオリジナル頂点座標、rn,cnは変換後の頂点座標である。
上記計算式は、矩形座標に依存せず、常に矩形の大きさを一定に保つために必要なものである。
以上で求めた座標を基に特徴量抽出用画像格納手段8に格納されている積分画像に基づいてフィルタレスポンスを求める(ステップST205)。このフィルタレスポンスは矩形が拡大されているため、学習時に用いた探索ブロックサイズでの値より拡大縮小率だけ大きくなっている。
よって、次式で示すようにフィルタレスポンスを拡大縮小率で割ることによって学習時と同じ探索ブロックサイズで求めた場合の値が得られる(ステップST206)。
F=R/S
尚、Fはレスポンス、Rは拡大した矩形から求めたレスポンス、Sは拡大率を示している。
上記で求めた値からレスポンスに応じた重みを求め、全ての重みの線形和を求め、求めた値と閾値を比較することにより顔か否かを判定する(ステップST207)。顔であればそのときの探索ブロックの座標を記憶する。
画像全体を走査した後、拡大縮小率Sに対して固定値、例えば1.25をかけて(ステップST210)、新たな拡大縮小率をもってステップST202〜ステップST209の処理を繰り返す。そして、拡大後の探索ブロックサイズが画像サイズを超えたときに処理を終了する(ステップST211)。
上記の処理において、拡大縮小率を整数で表現し、例えば1.0を100で置き換えて表現したとき、100未満を小数として扱うことが可能となる。このときの計算は、掛け算の場合、計算後100で割る。割り算の場、割られる数を100倍して計算すればよい。このように小数を用いないで計算することが可能となる。
以上で検出した顔領域は、前述の通り探索ブロックを1ピクセルずつ移動させながら顔領域判定を行うため、顔の付近では複数の探索ブロックが顔領域と判定することにより記憶した顔領域矩形が重なり合う場合がある。
図10は、これを示す説明図であり、顔領域の検出結果を示すものである。
図中の複数の探索ブロック25は、本来一つの領域であるので、矩形同士が重なり合っている場合、その重なり合う割合に応じて矩形同士を統合する。
重なり合う割合は、例えば矩形1、矩形2が重なり合っている場合、次式で求めることができる。
if矩形1の面積>矩形2の面積
重なり率=重なり部分の面積/矩形1の面積
else
重なり率=重なり部分の面積/矩形2の面積
そして、重なり率が閾値よりも大きい場合に二つの矩形を統合し、一つの矩形にする。二つの矩形を統合する場合、各4点の座標の平均値を求めるか、あるいは、座標値の大小関係から求めることができる。
以上で求めた顔領域から、次に両目検出手段4で両目を検出する(ステップST105)。
顔検出手段3で検出した顔領域から、人間の顔の特徴を考慮すれば、左目および右目がどの位置に存在するかを予め予測することが可能である。
両目検出手段4では、各目の探索領域を顔領域の座標から特定し、探索領域内に着目して目を検出する。
図11は、両目探索の説明図であり、図中、26は左目探索領域、27は右目探索領域を示している。
両目の検出もステップST104の顔検出と同等の処理で行うことができる。左目、右目それぞれの特徴を、例えば、目の中心が探索ブロックの中心となるようにしてRectangle Filterを用いて特徴量を学習させる。そして、顔検出のステップST201〜ステップST211と同様に探索ブロックを拡大しながら目を検出する。
目を検出する場合は、拡大後の探索ブロックサイズが各目の探索領域サイズを超えた場合に終了するように設定すればよい。ここで、目を探索する場合、顔検出手段3のように探索領域の左上から走査することは非常に効率が悪い。それは、目の位置は、上記設定した探索領域の中心付近に存在する場合が多いためである。
そこで、探索ブロックの走査を中心から外側に向けて走査するようにし、目が検出された時点で探索処理を中断することで処理を効率化できる。
図12は、目領域の探索動作の説明図である。
即ち、両目検出手段4は、検出された顔領域における両目の探索範囲の中心から周辺に向かって目の探索処理を行い、両目の位置を検出する。本実施の形態では、探索領域の中心から周辺に向かって渦巻状に探索している。
次に、ステップST105において検出された両目の位置に基づいて顔画像を正規化する(ステップST106)。
図13は、正規化処理の説明図である。
顔画像正規化手段5は、両目検出手段4で検出した両目の位置28,29から、顔認証に必要な画角となるように顔領域を拡大縮小したときの画像から顔認証に必要な顔特徴量を抽出する。
ここで、正規化画像30の大きさが例えば幅と高さがnw×nh画素で、左目の位置、右目の位置が正規化画像30における座標L(xl,yl),R(xr,yr)と設定されている場合、検出した顔領域を設定された正規化画像通りにするためには以下の処理を行う。
先ず、拡大縮小率を求める。
拡大縮小率NSは、検出した両目の位置がDL(xdl,ydl),DR(xdr,ydr)とすると次式で求めることができる。
NS=((xr-xl+1)+(yr-yl+1))/((xdr-xdl+1)+(ydr-ydl+1))
次に、求めた拡大縮小率と、正規化画像上で設定された左目、右目の位置の情報を用いて原画像における正規化画像の位置、つまり認証対象となる矩形位置を求める。
正規化画像30の左上座標、右下座標を左目の位置の相対位置で表現すると、
TopLeft(x,y)=(-xl,-yl)
BottomRight(x,y)=(nw-xl,nh-yl)
となる。
よって原画像における正規化画像30の矩形座標は
矩形左上座標:OrgNrImgTopLeft(x,y)=(xdl-xl/NS,ydl-yl/NS)
矩形右上座標:OrgNrmImgBtmRight(x,y)=(xdl+(nw-xl)/NS,ydl+(nh-yl)/NS)
となる。
以上で求めた認証対象領域から顔認証に必要な特徴量を顔認証用のRectangle Filterを用いて抽出する。
このとき、顔認証用のRectangle Filterは正規化画像サイズを想定して設計されているため顔検出同様Rectangle Filter内の矩形座標を原画像における座標に変換し、画素値合計を積分画像に基づいて求め、求めたフィルタレスポンスを上記で求めた拡大縮小率NSをかけることで正規化画像サイズにおけるフィルタレスポンスを求めることができる。
先ず、現画像におけるRectangle Filterの矩形座標は、
OrgRgn(x,y)=(xdl+rx*NS, ydl+ry*NS)
となる。ここでrx,ryは正規化画像30上での矩形座標である。
そして、ここで求めた矩形座標から積分画像の画素値を参照し、矩形内画素値合計を求める。
FRorgを原画像におけるフィルタレスポンス、FRを正規化画像30におけるレスポンスとした場合、
FR=FRorg*NS
となる。
顔認証に必要なRectangle Filterは複数あるので、複数のRectangle Filterのレスポンスを求める(ステップST107)。顔を登録する際は、複数のRectangle Filterのレスポンスを、特徴量格納手段7によって特徴量データベース9に格納する(ステップST108、ステップST109)。
図14は、特徴量データベース9の説明図である。
特徴量データベース9は、図示のように、登録IDと特徴量データのテーブル構造となっている。即ち、正規化画像30に対して複数のRectangle Filter20のレスポンス31を求め、これらのレスポンス31を、個人に対応した登録IDに関連付けたものである。
次に、顔認証手段10で顔認証を行う処理(図2におけるステップST110、ステップST111)を説明する。
顔認証は、入力画像から特徴量取得手段6で抽出した特徴量と、特徴量データベース9に格納された特徴量を比較することにより行う。
具体的には、入力画像の特徴量をRFc、登録された特徴量をRFrとしたとき、特徴量間の差分に応じて次式の数5の通り重みを与える。
Figure 2006030519
そして、重みの線形和が閾値を超える場合、同一人物とする。つまり、線形和をRcgVとすると次式の数6のようになる。
Figure 2006030519
以上のような処理により、顔認証装置における特徴量の格納(登録処理)と顔認証(認証処理)を実施することができる。また、本実施の形態では、以上の処理からなるため、例えば、携帯電話やPDAであってもリアルタイム処理を実現することが可能となる。
尚、上記実施の形態では、特徴量抽出用画像として積分画像の場合を説明したが、これ以外にも、例えば積算画像であっても同様に適用することができる。
積算画像の場合は、水平垂直方向に画素値を乗算して求める。即ち、グレースケールの画像をI(x,y)とすると、積算画像I’(x,y)は次式で表現する。
Figure 2006030519
また、このような積算画像を特徴量抽出用画像とする場合、Rectangle Filter20のレスポンスは次の式で表現される。
Figure 2006030519
ここで、I(x,y)は、白い矩形内の画素値合計、I(x,y)は、ハッチング矩形内の画素値合計である。
このように、特徴量抽出用画像として積算画像を用いる場合は、特徴量の表現として積算画像に対応したものとすることにより、上述した積分画像の場合と同様に適用することができる。
また、特徴量抽出用画像として、積算画像以外にも、水平垂直方向に画素値を引き算した累計を求める積分画像を用いてもよい。
以上のように、実施の形態1の顔認証装置によれば、入力された画像に対して各画素値に所定の演算を施した特徴量抽出用画像を生成する特徴量抽出用画像生成手段と、特徴量抽出用画像生成手段で生成した特徴量抽出用画像から、予め顔の特徴を学習させた学習データを用いて、顔領域を検出する顔検出手段と、検出した顔領域の特徴量抽出用画像から、予め目の特徴を学習させた学習データを用いて、両目の位置を検出する両目検出手段と、両目の位置に基づいて顔領域を正規化した画像から、特徴量を抽出する特徴量取得手段と、予め登録された個人の特徴量と、特徴量取得手段で取得した特徴量とを比較し、顔認証を行う顔認証手段とを備えたので、顔認証装置としての正確な認証処理を実現できると共に、演算量の削減化を図ることができる。
また、実施の形態1の顔認証装置によれば、顔検出手段は、特徴量抽出用画像における所定の検索ウインドウ内の特定矩形の画素値合計差分により特徴量を求め、その結果に基づいて顔検出を行い、両目検出手段は、特徴量抽出用画像における所定の検索ウインドウ内の特定矩形の画素値合計差分により特徴量を求め、その結果に基づいて両目検出を行い、顔認証手段は、特徴量抽出用画像における所定の検索ウインドウ内の特定矩形の画素値合計差分により特徴量を求めた結果を用いて顔認証を行うようにしたので、少ない演算量で特徴量を正確に求めることができる。また、顔検出、両目検出、顔認証処理を1度求めた特徴量抽出用画像に基づいて行うため、処理効率を向上させることができる。
また、実施の形態1の顔認証装置によれば、特徴量抽出用画像生成手段は、各画素の画素値を座標軸の方向に加算または乗算した値を持つ画像を特徴量抽出用画像として生成するようにしたので、例えば任意の矩形内の画素値合計を四点の演算のみで求めることができる等、演算量が少なく効率的に特徴量を求めることができる。
また、実施の形態1の顔認証装置によれば、顔検出手段は、検索ウインドウを拡大または縮小し、拡大縮小率に応じて特徴量を正規化して顔領域の検出を行うようにしたので、複数解像度画像および各解像度に応じた特徴量抽出用画像を求める必要がなく、メモリ効率を高めることができる。
また、実施の形態1の顔認証装置によれば、特徴量抽出用画像生成手段は、特徴量抽出用画像の演算値が表現可能な範囲内で分割された各分割画像に対して、特徴量抽出用画像を求めるようにしたので、画像サイズが大きくなった場合においても、特徴量抽出用画像を求める際に画像を分割することによりオーバフローを起こすことがなく、従って、どのような入力画像サイズにも対応できる効果がある。
また、実施の形態1の顔認証方法によれば、入力された画像データに対して各画素値に所定の演算を施した特徴量抽出用画像データを生成する特徴量抽出用画像取得ステップと、特徴量抽出用画像データから、予め顔の特徴を学習させた学習データを用いて、顔領域を検出する顔領域検出ステップと、検出した顔領域の特徴量抽出用画像データから、予め目の特徴を学習させた学習データを用いて、両目の位置を検出する両目検出ステップと、両目の位置に基づいて正規化された画像データから、特徴量データを抽出する特徴量取得ステップと、予め登録された各個人の特徴量データと、特徴量取得ステップで取得した特徴量データとを比較し、顔認証を行う認証ステップとを備えたので、どのような入力画像であっても正確な顔認証処理が行え、かつ、少ない演算量で顔認証処理を実施することができる。
また、実施の形態1の顔認証装置によれば、入力された画像から顔領域を検出する顔検出手段と、検出された顔領域における両目の探索範囲の中心から周辺に向かって探索を行い、両目の位置を検出する両目検出手段と、両目の位置に基づいて顔領域を正規化した画像から、特徴量を抽出する特徴量取得手段と、予め登録された個人の特徴量と、特徴量取得手段で取得した特徴量とを比較し、顔認証を行う顔認証手段とを備えたので、両目探索処理における演算量を少なくすることができ、その結果、顔認証処理を効率化することできる。
また、実施の形態1の顔認証方法によれば、入力された画像データから顔領域を検出する顔領域検出ステップと、検出された顔領域における両目の探索範囲の中心から周辺に向かって目の探索処理を行い、両目の位置を検出する両目検出ステップと、両目の位置に基づいて顔領域を正規化した画像データから、特徴量データを抽出する特徴量取得ステップと、予め登録された個人の特徴量データと、特徴量取得ステップで取得した特徴量データとを比較し、顔認証を行う顔認証ステップとを備えたので、少ない演算量で両目探索処理を行うことができ、その結果、顔認証処理を効率化することができる。
以上のように、この発明に係る顔認証装置及び顔認証方法は、入力された画像と予め登録した画像とを比較することにより顔認証を行うものであり、顔認証を行う種々のセキュリティシステムなどに用いるのに適している。

Claims (8)

  1. 入力された画像に対して各画素値に所定の演算を施した特徴量抽出用画像を生成する特徴量抽出用画像生成手段と、
    前記特徴量抽出用画像生成手段で生成した特徴量抽出用画像から、予め顔の特徴を学習させた学習データを用いて、顔領域を検出する顔検出手段と、
    検出した顔領域の前記特徴量抽出用画像から、予め目の特徴を学習させた学習データを用いて、両目の位置を検出する両目検出手段と、
    両目の位置に基づいて前記顔領域を正規化した画像から、特徴量を抽出する特徴量取得手段と、
    予め登録された個人の特徴量と、前記特徴量取得手段で取得した特徴量とを比較し、顔認証を行う顔認証手段とを備えた顔認証装置。
  2. 顔検出手段は、特徴量抽出用画像における所定の検索ウインドウ内の特定矩形の画素値合計差分により特徴量を求め、その結果に基づいて顔検出を行い、
    両目検出手段は、前記特徴量抽出用画像における所定の検索ウインドウ内の特定矩形の画素値合計差分により特徴量を求め、その結果に基づいて両目検出を行い、
    顔認証手段は、前記特徴量抽出用画像における所定の検索ウインドウ内の特定矩形の画素値合計差分により特徴量を求めた結果を用いて顔認証を行うことを特徴とする請求項1記載の顔認証装置。
  3. 特徴量抽出用画像生成手段は、各画素の画素値を座標軸の方向に加算または乗算した値を持つ画像を特徴量抽出用画像として生成することを特徴とする請求項1記載の顔認証装置。
  4. 顔検出手段は、検索ウインドウを拡大または縮小し、当該拡大縮小率に応じて特徴量を正規化して顔領域の検出を行うことを特徴とする請求項1記載の顔認証装置。
  5. 特徴量抽出用画像生成手段は、特徴量抽出用画像の演算値が表現可能な範囲内で分割された各分割画像に対して、前記特徴量抽出用画像を求めることを特徴とする請求項1記載の顔認証装置。
  6. 入力された画像データに対して各画素値に所定の演算を施した特徴量抽出用画像データを生成する特徴量抽出用画像取得ステップと、
    前記特徴量抽出用画像データから、予め顔の特徴を学習させた学習データを用いて、顔領域を検出する顔領域検出ステップと、
    検出した顔領域の前記特徴量抽出用画像データから、予め目の特徴を学習させた学習データを用いて、両目の位置を検出する両目検出ステップと、
    両目の位置に基づいて正規化された画像データから、特徴量データを抽出する特徴量取得ステップと、
    予め登録された各個人の特徴量データと、前記特徴量取得ステップで取得した特徴量データとを比較し、顔認証を行う認証ステップとを備えたことを特徴とする顔認証方法。
  7. 入力された画像から顔領域を検出する顔検出手段と、
    検出された顔領域における両目の探索範囲の中心から周辺に向かって探索を行い、両目の位置を検出する両目検出手段と、
    両目の位置に基づいて前記顔領域を正規化した画像から、特徴量を抽出する特徴量取得手段と、
    予め登録された個人の特徴量と、前記特徴量取得手段で取得した特徴量とを比較し、顔認証を行う顔認証手段とを備えた顔認証装置。
  8. 入力された画像データから顔領域を検出する顔領域検出ステップと、
    検出された顔領域における両目の探索範囲の中心から周辺に向かって目の探索処理を行い、両目の位置を検出する両目検出ステップと、
    両目の位置に基づいて前記顔領域を正規化した画像データから、特徴量データを抽出する特徴量取得ステップと、
    予め登録された個人の特徴量データと、前記特徴量取得ステップで取得した特徴量データとを比較し、顔認証を行う顔認証ステップとを備えた顔認証方法。
JP2006535003A 2004-09-17 2004-09-17 顔認証装置及び顔認証方法 Pending JPWO2006030519A1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2004/013666 WO2006030519A1 (ja) 2004-09-17 2004-09-17 顔認証装置及び顔認証方法

Publications (1)

Publication Number Publication Date
JPWO2006030519A1 true JPWO2006030519A1 (ja) 2008-05-08

Family

ID=36059786

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006535003A Pending JPWO2006030519A1 (ja) 2004-09-17 2004-09-17 顔認証装置及び顔認証方法

Country Status (4)

Country Link
US (1) US20080080744A1 (ja)
JP (1) JPWO2006030519A1 (ja)
CN (1) CN101023446B (ja)
WO (1) WO2006030519A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7315631B1 (en) * 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US7953253B2 (en) * 2005-12-31 2011-05-31 Arcsoft, Inc. Face detection on mobile devices
US7643659B2 (en) * 2005-12-31 2010-01-05 Arcsoft, Inc. Facial feature detection on mobile devices
KR100771244B1 (ko) * 2006-06-12 2007-10-29 삼성전자주식회사 동영상 데이터 처리 방법 및 장치
US9042606B2 (en) * 2006-06-16 2015-05-26 Board Of Regents Of The Nevada System Of Higher Education Hand-based biometric analysis
JP4779851B2 (ja) * 2006-07-24 2011-09-28 セイコーエプソン株式会社 オブジェクト検出装置
US7403643B2 (en) 2006-08-11 2008-07-22 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
FI20075453A0 (sv) * 2007-06-15 2007-06-15 Virtual Air Guitar Company Oy Bildsampling i en stokastisk modellbaserad datorvision
JP4479756B2 (ja) * 2007-07-05 2010-06-09 ソニー株式会社 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム
JP2009237634A (ja) * 2008-03-25 2009-10-15 Seiko Epson Corp オブジェクト検出方法、オブジェクト検出装置、オブジェクト検出プログラムおよび印刷装置
JP5390943B2 (ja) 2008-07-16 2014-01-15 キヤノン株式会社 画像処理装置及び画像処理方法
JP5239625B2 (ja) * 2008-08-22 2013-07-17 セイコーエプソン株式会社 画像処理装置、画像処理方法および画像処理プログラム
WO2010044214A1 (ja) * 2008-10-14 2010-04-22 パナソニック株式会社 顔認識装置および顔認識方法
KR101522985B1 (ko) * 2008-10-31 2015-05-27 삼성전자주식회사 영상처리 장치 및 방법
KR101179497B1 (ko) * 2008-12-22 2012-09-07 한국전자통신연구원 얼굴 검출 방법 및 장치
US8339506B2 (en) * 2009-04-24 2012-12-25 Qualcomm Incorporated Image capture parameter adjustment using face brightness information
TWI413936B (zh) * 2009-05-08 2013-11-01 Novatek Microelectronics Corp 人臉偵測裝置及其人臉偵測方法
JP2011013732A (ja) * 2009-06-30 2011-01-20 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP2011128990A (ja) * 2009-12-18 2011-06-30 Canon Inc 画像処理装置とその方法
JP5417368B2 (ja) * 2011-03-25 2014-02-12 株式会社東芝 画像識別装置及び画像識別方法
US9235781B2 (en) * 2013-08-09 2016-01-12 Kabushiki Kaisha Toshiba Method of, and apparatus for, landmark location
KR101494874B1 (ko) * 2014-05-12 2015-02-23 김호 사용자 인증 방법, 이를 실행하는 장치 및 이를 저장한 기록 매체
EP3174007A1 (en) 2015-11-30 2017-05-31 Delphi Technologies, Inc. Method for calibrating the orientation of a camera mounted to a vehicle
EP3173979A1 (en) 2015-11-30 2017-05-31 Delphi Technologies, Inc. Method for identification of characteristic points of a calibration pattern within a set of candidate points in an image of the calibration pattern
EP3534334B1 (en) 2018-02-28 2022-04-13 Aptiv Technologies Limited Method for identification of characteristic points of a calibration pattern within a set of candidate points derived from an image of the calibration pattern
EP3534333A1 (en) * 2018-02-28 2019-09-04 Aptiv Technologies Limited Method for calibrating the position and orientation of a camera relative to a calibration pattern

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04101280A (ja) * 1990-08-20 1992-04-02 Nippon Telegr & Teleph Corp <Ntt> 顔画像照合装置
JPH05225342A (ja) * 1992-02-17 1993-09-03 Nippon Telegr & Teleph Corp <Ntt> 動物体追跡処理方法
JP2000331158A (ja) * 1999-05-18 2000-11-30 Mitsubishi Electric Corp 顔画像処理装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3350296B2 (ja) * 1995-07-28 2002-11-25 三菱電機株式会社 顔画像処理装置
JP3426060B2 (ja) * 1995-07-28 2003-07-14 三菱電機株式会社 顔画像処理装置
US6735566B1 (en) * 1998-10-09 2004-05-11 Mitsubishi Electric Research Laboratories, Inc. Generating realistic facial animation from speech
JP3600755B2 (ja) * 1999-05-13 2004-12-15 三菱電機株式会社 顔画像処理装置
JP3969894B2 (ja) * 1999-05-24 2007-09-05 三菱電機株式会社 顔画像処理装置
JP3695990B2 (ja) * 1999-05-25 2005-09-14 三菱電機株式会社 顔画像処理装置
JP3768735B2 (ja) * 1999-07-07 2006-04-19 三菱電機株式会社 顔画像処理装置
JP2001351104A (ja) * 2000-06-06 2001-12-21 Matsushita Electric Ind Co Ltd パターン認識方法及びパターン認識装置、並びにパターン照合方法及びパターン照合装置
US7099510B2 (en) * 2000-11-29 2006-08-29 Hewlett-Packard Development Company, L.P. Method and system for object detection in digital images
US6895103B2 (en) * 2001-06-19 2005-05-17 Eastman Kodak Company Method for automatically locating eyes in an image
JP4161659B2 (ja) * 2002-02-27 2008-10-08 日本電気株式会社 画像認識システム及びその認識方法並びにプログラム
KR100438841B1 (ko) * 2002-04-23 2004-07-05 삼성전자주식회사 이용자 검증 및 데이터 베이스 자동 갱신 방법, 및 이를이용한 얼굴 인식 시스템
US7369687B2 (en) * 2002-11-21 2008-05-06 Advanced Telecommunications Research Institute International Method for extracting face position, program for causing computer to execute the method for extracting face position and apparatus for extracting face position
KR100455294B1 (ko) * 2002-12-06 2004-11-06 삼성전자주식회사 감시 시스템에서의 사용자 검출 방법, 움직임 검출 방법및 사용자 검출 장치
US7508961B2 (en) * 2003-03-12 2009-03-24 Eastman Kodak Company Method and system for face detection in digital images
JP2005044330A (ja) * 2003-07-24 2005-02-17 Univ Of California San Diego 弱仮説生成装置及び方法、学習装置及び方法、検出装置及び方法、表情学習装置及び方法、表情認識装置及び方法、並びにロボット装置
US7274832B2 (en) * 2003-11-13 2007-09-25 Eastman Kodak Company In-plane rotation invariant object detection in digitized images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04101280A (ja) * 1990-08-20 1992-04-02 Nippon Telegr & Teleph Corp <Ntt> 顔画像照合装置
JPH05225342A (ja) * 1992-02-17 1993-09-03 Nippon Telegr & Teleph Corp <Ntt> 動物体追跡処理方法
JP2000331158A (ja) * 1999-05-18 2000-11-30 Mitsubishi Electric Corp 顔画像処理装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSNJ200510014220, 三輪祥太郎, "Rectangle FilterとAdaBoostを用いた顔認証アルゴリズム", 電子情報通信学会2004年総合大会講演論文集 情報・システム2, 20040308, 頁220, JP, 社団法人電子情報通信学会 *
JPN6010041159, 三輪祥太郎, "Rectangle FilterとAdaBoostを用いた顔認証アルゴリズム", 電子情報通信学会2004年総合大会講演論文集 情報・システム2, 20040308, 頁220, JP, 社団法人電子情報通信学会 *

Also Published As

Publication number Publication date
WO2006030519A1 (ja) 2006-03-23
US20080080744A1 (en) 2008-04-03
CN101023446A (zh) 2007-08-22
CN101023446B (zh) 2010-06-16

Similar Documents

Publication Publication Date Title
JPWO2006030519A1 (ja) 顔認証装置及び顔認証方法
JP4670664B2 (ja) 画像認識装置
US7301564B2 (en) Systems and methods for processing a digital captured image
US7853052B2 (en) Face identification device
KR100730500B1 (ko) 화상 처리 장치와 화상 처리 방법 및 기록 매체
JP5505410B2 (ja) データ処理装置、画像照合方法、プログラムおよび画像照合システム
KR20070118015A (ko) 안면 특징 검출 방법 및 장치
JP2009211490A (ja) 画像認識方法および装置
JP2017138674A (ja) ナンバープレート認識装置及びナンバープレート認識システム並びにナンバープレート認識方法
US20210174062A1 (en) Image processing device, image processing method, and recording medium
JP6229352B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6091727B1 (ja) 画像処理装置、画像処理方法、及びプログラム
CN111209908A (zh) 更新标注框的方法、装置、存储介质和计算机设备
KR100569194B1 (ko) 카메라 문서영상의 기하학적 왜곡 보정방법
US20060204091A1 (en) System and method for analyzing and processing two-dimensional images
US20190279392A1 (en) Medium recognition device and medium recognition method
CN115134521B (zh) 视频拍摄防抖动方法、装置、设备及存储介质
US20120327486A1 (en) Method and Device of Document Scanning and Portable Electronic Device
KR100880073B1 (ko) 얼굴 인증 장치 및 얼굴 인증 방법
JP5625196B2 (ja) 特徴点検出装置、特徴点検出方法、特徴点検出プログラム及び記録媒体
WO2008018459A1 (fr) Procédé de traitement d&#39;image, appareil de traitement d&#39;image, programme de traitement d&#39;image, et appareil de prise d&#39;image
JP2018092507A (ja) 画像処理装置、画像処理方法及びプログラム
JP2003248815A (ja) 顔画像の正規化方法及び装置、顔画像における目の位置の検出方法及び装置、並びにプログラム
JP3164835B2 (ja) 人物画像認識における前処理方法および後処理方法
JP4380308B2 (ja) 顔領域検出方法及び装置及びプログラム及び顔領域検出プログラムを格納したコンピュータ読み取り可能な記憶媒体

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080703

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100720

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101116