JP2000090191A - 顔認識装置及び方法 - Google Patents
顔認識装置及び方法Info
- Publication number
- JP2000090191A JP2000090191A JP10261311A JP26131198A JP2000090191A JP 2000090191 A JP2000090191 A JP 2000090191A JP 10261311 A JP10261311 A JP 10261311A JP 26131198 A JP26131198 A JP 26131198A JP 2000090191 A JP2000090191 A JP 2000090191A
- Authority
- JP
- Japan
- Prior art keywords
- face
- deformation
- pattern
- inverse
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Character Discrimination (AREA)
- Collating Specific Patterns (AREA)
Abstract
(57)【要約】
【課題】 顔を撮影した画像からその顔の人物を精度良
く識別する。 【解決手段】 顔画像に摂動法を応用して変形を除去す
る。即ち、顔の位置ずれ、傾き、上下の向き、左右の向
きという顔画像の変形要因のアフィン変換に基づくパラ
メータの組み合わせを、想定されるの全ての変形のバリ
エーション分だけ予め用意する。そして、入力された顔
画像に対して、その多数のパラメータの組み合わせをそ
れぞれ用いた変形の逆変換31を同時並行的に行なう。
次に、各識別器33にて、各逆変換31で得た正規化さ
れた顔パターンを予め用意した種々の人物の顔パターン
と比較して、類似度を計算する。最後に、それらの識別
器33の識別結果を集め、その中で最も高い類似度を得
た人物を選択する(37)。
く識別する。 【解決手段】 顔画像に摂動法を応用して変形を除去す
る。即ち、顔の位置ずれ、傾き、上下の向き、左右の向
きという顔画像の変形要因のアフィン変換に基づくパラ
メータの組み合わせを、想定されるの全ての変形のバリ
エーション分だけ予め用意する。そして、入力された顔
画像に対して、その多数のパラメータの組み合わせをそ
れぞれ用いた変形の逆変換31を同時並行的に行なう。
次に、各識別器33にて、各逆変換31で得た正規化さ
れた顔パターンを予め用意した種々の人物の顔パターン
と比較して、類似度を計算する。最後に、それらの識別
器33の識別結果を集め、その中で最も高い類似度を得
た人物を選択する(37)。
Description
【0001】
【発明の属する技術分野】本発明は、顔画像を用いた個
人認証などに利用される顔画像認識装置に関する。
人認証などに利用される顔画像認識装置に関する。
【0002】
【従来の技術】カメラから人問の顔部分を撮影した 画
像データを入力し、コンピュータによって個人の認証を
行う顔画像認識技術が知られている。この認繊方法の一
般的流れを図1に示す。すなわち、(1)入力:カメラ
で顔を撮影し顔画像データを得る。(2)前処理:入力
画像から顔の正確な位置をを決めて、顔パターンを抽出
し(切り出し)、顔パターンの大きさを正規化する。
(3)特徴抽出:見え方に基づく情報を利用して、それ
ぞれの顔パターンから特徴を抽出する。(4)識別:入
力された画像から得られた顔パターシとあらかじめ用意
しておいた顔パターンを比較し、個人を特定する。
像データを入力し、コンピュータによって個人の認証を
行う顔画像認識技術が知られている。この認繊方法の一
般的流れを図1に示す。すなわち、(1)入力:カメラ
で顔を撮影し顔画像データを得る。(2)前処理:入力
画像から顔の正確な位置をを決めて、顔パターンを抽出
し(切り出し)、顔パターンの大きさを正規化する。
(3)特徴抽出:見え方に基づく情報を利用して、それ
ぞれの顔パターンから特徴を抽出する。(4)識別:入
力された画像から得られた顔パターシとあらかじめ用意
しておいた顔パターンを比較し、個人を特定する。
【0003】上述の前処理では、顔パターンをただ検出
し切り出すだけでは不十分であり、顔パターンについて
正確な位置と大きさの正規化を行う必要がある。これ
は、撮影時に微小な顔の向きや顔の傾きの変化や表情の
変化などが生じ、その結果として顔パターンが変化して
しまうからである。従来の顔パターン認識技術として
は、標準的な顔パターンを用意し、二乗誤差などの何ら
かの類似度で画像の部分領域と比較し、予め定められた
閾値を超えた領域を顔と決定する方法、及びその改良手
法が一般的に用いられてきた。本明細書ではこのような
手法を「標準マッチング法」と呼ぶ。
し切り出すだけでは不十分であり、顔パターンについて
正確な位置と大きさの正規化を行う必要がある。これ
は、撮影時に微小な顔の向きや顔の傾きの変化や表情の
変化などが生じ、その結果として顔パターンが変化して
しまうからである。従来の顔パターン認識技術として
は、標準的な顔パターンを用意し、二乗誤差などの何ら
かの類似度で画像の部分領域と比較し、予め定められた
閾値を超えた領域を顔と決定する方法、及びその改良手
法が一般的に用いられてきた。本明細書ではこのような
手法を「標準マッチング法」と呼ぶ。
【0004】
【発明が解決しようとする課題】従来用いられている顔
画像切り出し方法では、平均的な顔を用いて一般画像中
の顔の位置や大きさの正規化を行うが、一般的には顔に
は個人差が存在するため、平均的な顔とは目鼻の位置が
ずれていることが多い。また、人間の顔は必ずしも一定
の一定の方向を向いでいるわけではない。このため、従
来の標準顔マッチング法では必ずしも正確な顔の位置や
大きさの検出が可能ではないという問題がある。
画像切り出し方法では、平均的な顔を用いて一般画像中
の顔の位置や大きさの正規化を行うが、一般的には顔に
は個人差が存在するため、平均的な顔とは目鼻の位置が
ずれていることが多い。また、人間の顔は必ずしも一定
の一定の方向を向いでいるわけではない。このため、従
来の標準顔マッチング法では必ずしも正確な顔の位置や
大きさの検出が可能ではないという問題がある。
【0005】また、標準顔マッチング法以外の顔検出方
法としては、顔部品の位置を平均眼などのテンプレート
で検出し、その相対位置関係から顔の大きさや位置など
を検出する技術がある。しかし、眼、鼻などのテンプレ
ートは小さな画像となるため背景の雑多な対象と混乱し
やすいという問題がある。
法としては、顔部品の位置を平均眼などのテンプレート
で検出し、その相対位置関係から顔の大きさや位置など
を検出する技術がある。しかし、眼、鼻などのテンプレ
ートは小さな画像となるため背景の雑多な対象と混乱し
やすいという問題がある。
【0006】したがって、本発明の目的は、コンピュー
タによる顔認識において従来よりも高精度な認識を可能
とすることにある。
タによる顔認識において従来よりも高精度な認識を可能
とすることにある。
【0007】本発明の別の目的は、顔画像から変形を除
去し標準的な顔パターンを精度良く抽出できるようにす
ることにある。
去し標準的な顔パターンを精度良く抽出できるようにす
ることにある。
【0008】
【課題を解決するための手段】本発明は、摂動法(Pert
urbation法)と呼ばれる技術を顔画像に応用した顔認識
方法を提供する。そもそも摂動法は、文字認識に用いら
れる手法であり、予め想定された変形に対する逆変換を
入力文字に施すことにより、種々の変形を吸収する技術
である(例えば「Thien M.HA and Horst BUNKE, "Handw
ritten NumeralRecognition by Perturbation Method",
Proc. Of the Fourth Int. Workshopon Frontiers of
Handwriting Recognition, Taipei, Taiwan, Dec. 7-9,
1994,pp.97-106」を参照されたい)。この摂動法は、
従来あくまで文字認識のための技術としてのみ知られて
いる。
urbation法)と呼ばれる技術を顔画像に応用した顔認識
方法を提供する。そもそも摂動法は、文字認識に用いら
れる手法であり、予め想定された変形に対する逆変換を
入力文字に施すことにより、種々の変形を吸収する技術
である(例えば「Thien M.HA and Horst BUNKE, "Handw
ritten NumeralRecognition by Perturbation Method",
Proc. Of the Fourth Int. Workshopon Frontiers of
Handwriting Recognition, Taipei, Taiwan, Dec. 7-9,
1994,pp.97-106」を参照されたい)。この摂動法は、
従来あくまで文字認識のための技術としてのみ知られて
いる。
【0009】文字と顔とでは、その変形の原因及び態様
が大いに異なる。特に、文字は2次元物体であるが、顔
は3次元物体でありその姿勢は3次元空間内で複雑に変
化する。また、顔の変形には表情という面倒な要素も含
まれている。このような文字と顔では変形の態様が大い
に相違するため、文字認識の分野の摂動法を顔認識に応
用しようという発想は極めて斬新なものである。本発明
は、この斬新な発想の下で、摂動法を顔画像に応用する
ための新規な手法を提供するものである。
が大いに異なる。特に、文字は2次元物体であるが、顔
は3次元物体でありその姿勢は3次元空間内で複雑に変
化する。また、顔の変形には表情という面倒な要素も含
まれている。このような文字と顔では変形の態様が大い
に相違するため、文字認識の分野の摂動法を顔認識に応
用しようという発想は極めて斬新なものである。本発明
は、この斬新な発想の下で、摂動法を顔画像に応用する
ための新規な手法を提供するものである。
【0010】本発明に従えば、摂動法を用いた顔画像の
変形除去の過程で、画面に平行な軸回りの顔の回転によ
る変形要素を含む逆変換を顔画像を適用する操作を行
う。これにより、3次元的な顔の向きの違いによる変形
要素を除去することができる。例えば、顔画像を上又は
下側に偏って拡大又は縮小する変形要素(つまり、画面
に平行な鉛直軸回りの回転による変形要素)と、右又は
左側に偏って拡大又は縮小する変形要素(つまり、画面
に平行な水平軸回りの回転による変形要素)とを含んだ
逆変換操作を行うことにより、顔の上下向きの違いによ
る変形要素と、左右の向きの違いによる変形要素とを除
去することができる。
変形除去の過程で、画面に平行な軸回りの顔の回転によ
る変形要素を含む逆変換を顔画像を適用する操作を行
う。これにより、3次元的な顔の向きの違いによる変形
要素を除去することができる。例えば、顔画像を上又は
下側に偏って拡大又は縮小する変形要素(つまり、画面
に平行な鉛直軸回りの回転による変形要素)と、右又は
左側に偏って拡大又は縮小する変形要素(つまり、画面
に平行な水平軸回りの回転による変形要素)とを含んだ
逆変換操作を行うことにより、顔の上下向きの違いによ
る変形要素と、左右の向きの違いによる変形要素とを除
去することができる。
【0011】顔画像の変形を原因別の要素に分類する
と、(1)顔の位置ずれによるもの、(2)顔のカメラに
映り込む大きさの違いによるもの、(3)顔の向き(上
下左右向き)の違いによるもの、(4)顔の傾きの違い
によるもの、(5)表情の違いによるものに分類でき
る。そして、顔を例えば長方形の領域で切り出すものと
すると、(5)以外の顔画像の変形要素は、次のような
逆変換操作で除去することができる。(1)の場合は、
長方形領域の平行移動を考慮して、標準の位置から平行
移動させた長方形領域を切り出す。(2)の場合は、長
方形領域の拡大・縮小を考慮し、標準の大きさより拡大
・縮小させた長方形領域を切り出し、この長方形領域を
標準の大きさに変換する。(3)の場合は、長方形領域
の画面に平行な軸回りの回転を考慮し、遠近法に基づき
変形させた例えば台形の領域を切り出し、この台形領域
を長方形に変換する。(4)の場合は、長方形領域の画
面の垂直な軸回りの回転を考慮し、標準の方向から回転
させた長方形領域を切り出し、これを回転してない長方
形領域に変換する。実際の画像の変形は(1)〜(4)の変形
要素の合成と考えらることができる。そこで、好適な実
施形態では、(1)〜(4)の変形要素をそれぞれ除去する逆
変換の組み合わせを顔画像に施す。
と、(1)顔の位置ずれによるもの、(2)顔のカメラに
映り込む大きさの違いによるもの、(3)顔の向き(上
下左右向き)の違いによるもの、(4)顔の傾きの違い
によるもの、(5)表情の違いによるものに分類でき
る。そして、顔を例えば長方形の領域で切り出すものと
すると、(5)以外の顔画像の変形要素は、次のような
逆変換操作で除去することができる。(1)の場合は、
長方形領域の平行移動を考慮して、標準の位置から平行
移動させた長方形領域を切り出す。(2)の場合は、長
方形領域の拡大・縮小を考慮し、標準の大きさより拡大
・縮小させた長方形領域を切り出し、この長方形領域を
標準の大きさに変換する。(3)の場合は、長方形領域
の画面に平行な軸回りの回転を考慮し、遠近法に基づき
変形させた例えば台形の領域を切り出し、この台形領域
を長方形に変換する。(4)の場合は、長方形領域の画
面の垂直な軸回りの回転を考慮し、標準の方向から回転
させた長方形領域を切り出し、これを回転してない長方
形領域に変換する。実際の画像の変形は(1)〜(4)の変形
要素の合成と考えらることができる。そこで、好適な実
施形態では、(1)〜(4)の変形要素をそれぞれ除去する逆
変換の組み合わせを顔画像に施す。
【0012】また、本発明に従えば、顔画像に対して異
なる変形を施す複数の逆変換操作をそれぞれ独立して行
ない、各逆変換よって得られたパターンを用いて識別を
行い、それら複数の識別結果に基づいて、(例えば最も
高い類似度を示した個人を選択するというようにして)
最終的な識別結果を決める。この方法によると、表情の
変化、特に撮影時に眼を閉じてしまうこと(これは、従
来技術での誤認識の主原因である)に起因する誤認識率
を低下させることができる。すなわち、予想される異な
る変形をそれぞれ除去して得た複数の顔パターンの中か
ら、参照パターンと肌の濃淡パターンが最も合うパター
ンを選択するため、眼を閉じるという局所的なパターン
の変化にあまり影響されずに認識できるからである。
なる変形を施す複数の逆変換操作をそれぞれ独立して行
ない、各逆変換よって得られたパターンを用いて識別を
行い、それら複数の識別結果に基づいて、(例えば最も
高い類似度を示した個人を選択するというようにして)
最終的な識別結果を決める。この方法によると、表情の
変化、特に撮影時に眼を閉じてしまうこと(これは、従
来技術での誤認識の主原因である)に起因する誤認識率
を低下させることができる。すなわち、予想される異な
る変形をそれぞれ除去して得た複数の顔パターンの中か
ら、参照パターンと肌の濃淡パターンが最も合うパター
ンを選択するため、眼を閉じるという局所的なパターン
の変化にあまり影響されずに認識できるからである。
【0013】好適な実施形態では、上記(1)〜(4)の変形
要素を定義するアフィン変換のパラメータの組み合わせ
を、想定し得る変形の全バリエーション分だけ予め用意
しておき、それら多数のパラメータの組み合わせを用い
た逆変換を同時並行的に実行する。
要素を定義するアフィン変換のパラメータの組み合わせ
を、想定し得る変形の全バリエーション分だけ予め用意
しておき、それら多数のパラメータの組み合わせを用い
た逆変換を同時並行的に実行する。
【0014】本発明の手法は典型的にはコンピュータに
より実施することができるが、そのためのコンピュータ
プログラムは、ディスク型ストレージ、半導体メモリお
よび通信ネットワークなどの各種の媒体を通じてコンピ
ュータにインストールまたはロードすることができる。
本発明の認識方法の一部又は全部は、コンピュータを用
いずに専用ハードウェアによって実施することも可能で
ある。
より実施することができるが、そのためのコンピュータ
プログラムは、ディスク型ストレージ、半導体メモリお
よび通信ネットワークなどの各種の媒体を通じてコンピ
ュータにインストールまたはロードすることができる。
本発明の認識方法の一部又は全部は、コンピュータを用
いずに専用ハードウェアによって実施することも可能で
ある。
【0015】
【発明の実施の形態】図2は、本発明を一実施形態の全
体的な構成を示す。
体的な構成を示す。
【0016】図1において、外部装置1は例えばCCD
カメラであり、顔画像データを顔画像認識装置2に入力
する。顔画像認識装置2は、外部装置1から入力された
画像から顔パターンを切り出し、特徴を抽出し、個人の
識別を行うものである。顔認識で使用する顔画像は、文
字認識のような白黒2値画像ではなく、肌の濃淡を表現
した例えば256階調のグレースケール画像である。出
力装置3は、例えばCRT又はプリンタ等であり、識別
結果を表示する。
カメラであり、顔画像データを顔画像認識装置2に入力
する。顔画像認識装置2は、外部装置1から入力された
画像から顔パターンを切り出し、特徴を抽出し、個人の
識別を行うものである。顔認識で使用する顔画像は、文
字認識のような白黒2値画像ではなく、肌の濃淡を表現
した例えば256階調のグレースケール画像である。出
力装置3は、例えばCRT又はプリンタ等であり、識別
結果を表示する。
【0017】顔画像認識装置2において、外部装置1か
らの画像データは画像読込部21に読み込まれ、前処理
部22に送られる。前処理部22では、本発明の教示に
したがって顔パターンが切り出され、正規化される。正
規化された顔パターンは特徴抽出部23に送られる。特
徴抽出部23では、顔パターンが、異なる人物の顔の遠
いを十分表現するとともに見え方の変動の影響ができる
だけ吸収されるような低次元の特徴ベクトルに次元圧縮
される。この特徴抽出の方法としては、例えば「M.Turk
and A.Pentland, "Eigenfaces for recognition", J.C
ognitive Neurosci, vol.3, no.1,pp.71‐86, March 1
991」に記載された技術を使うことができる。特徴抽出
部23で得られた特徴ベクトルは識別部24へ送られ
る。識別部24では、特徴記憶部25に保存されている
種々の人物の特徴ベクトルの各々と入力画像から得られ
た特徴ベクトルとが比較され、入力画像の個人が特定さ
れる。この識別の方法としては、例えば2つの特徴ベク
トルのなす角度か最小であるものを選択する択する方法
などが採用できる。
らの画像データは画像読込部21に読み込まれ、前処理
部22に送られる。前処理部22では、本発明の教示に
したがって顔パターンが切り出され、正規化される。正
規化された顔パターンは特徴抽出部23に送られる。特
徴抽出部23では、顔パターンが、異なる人物の顔の遠
いを十分表現するとともに見え方の変動の影響ができる
だけ吸収されるような低次元の特徴ベクトルに次元圧縮
される。この特徴抽出の方法としては、例えば「M.Turk
and A.Pentland, "Eigenfaces for recognition", J.C
ognitive Neurosci, vol.3, no.1,pp.71‐86, March 1
991」に記載された技術を使うことができる。特徴抽出
部23で得られた特徴ベクトルは識別部24へ送られ
る。識別部24では、特徴記憶部25に保存されている
種々の人物の特徴ベクトルの各々と入力画像から得られ
た特徴ベクトルとが比較され、入力画像の個人が特定さ
れる。この識別の方法としては、例えば2つの特徴ベク
トルのなす角度か最小であるものを選択する択する方法
などが採用できる。
【0018】次に、顔画像認識装置2の具体的な処理を
流れを図3に沿って説明する。
流れを図3に沿って説明する。
【0019】図3に示すように、最初に、顔を撮影した
グレースケール顔画像を入力する(入力処理30)。次
に、予想される全ての変形を考慮したアフィン変換に基
づく多数の変形パラメータを予め用意しておき、それら
の変形パラメータをそれぞれ用いて入力画像から顔パタ
ーンを切り出し、切り出した顔パターンを逆変換し、正
方形の正規化パターンにする(逆変換31)。次に、各
逆変換31で得た正規化された顔パターンから特徴ベク
トルを抽出し、予め用意した種々の個人の参照特徴ベク
トルと比較して類似度を計算し、識別結果(例えば、最
も類似度の高かった個人のIDとその類似度)を出力す
る(識別器33)。次に、各識別器33から出力される
類似度に、対応する各逆変換31で除去した変形の発生
頻度に基づく重み係数を乗算する(乗算35)。
グレースケール顔画像を入力する(入力処理30)。次
に、予想される全ての変形を考慮したアフィン変換に基
づく多数の変形パラメータを予め用意しておき、それら
の変形パラメータをそれぞれ用いて入力画像から顔パタ
ーンを切り出し、切り出した顔パターンを逆変換し、正
方形の正規化パターンにする(逆変換31)。次に、各
逆変換31で得た正規化された顔パターンから特徴ベク
トルを抽出し、予め用意した種々の個人の参照特徴ベク
トルと比較して類似度を計算し、識別結果(例えば、最
も類似度の高かった個人のIDとその類似度)を出力す
る(識別器33)。次に、各識別器33から出力される
類似度に、対応する各逆変換31で除去した変形の発生
頻度に基づく重み係数を乗算する(乗算35)。
【0020】乗算35の意義は次の通りである。すなわ
ち、予想される全ての変形が同じ頻度で実際に発生する
わけではなく、一般に、変形度合いの小さいもの(例え
ば、僅かに上向き、僅かに右に傾くなど)は発生頻度が
高いが、変形度合いの大きいもの(例えば、大きく上向
き、大きく右に傾くなど)の発生頻度は低い。よって、
変形度合いの大きい逆変換を顔画像に施すことによっ
て、かえって別人に近い顔に変形してしまい別人と誤識
別してしまう可能性は、変形度合いの小さい逆変換を行
う場合よりも高い。そこで、予想される全ての変形につ
いて、それぞれの変形パラメータと共にそれぞれの発生
頻度に基づいた重み係数(発生頻度が低いほど係数値が
小さい)を予め用意しておき、各識別器33から出力さ
れた最も類似した個人の類似度に、その前段の逆変換3
1で除去した変形の発生頻度に基づく重み係数を乗算す
ることにより、別人に誤識別している識別結果の影響を
減らして、最終的な認識精度を高めることができる。
ち、予想される全ての変形が同じ頻度で実際に発生する
わけではなく、一般に、変形度合いの小さいもの(例え
ば、僅かに上向き、僅かに右に傾くなど)は発生頻度が
高いが、変形度合いの大きいもの(例えば、大きく上向
き、大きく右に傾くなど)の発生頻度は低い。よって、
変形度合いの大きい逆変換を顔画像に施すことによっ
て、かえって別人に近い顔に変形してしまい別人と誤識
別してしまう可能性は、変形度合いの小さい逆変換を行
う場合よりも高い。そこで、予想される全ての変形につ
いて、それぞれの変形パラメータと共にそれぞれの発生
頻度に基づいた重み係数(発生頻度が低いほど係数値が
小さい)を予め用意しておき、各識別器33から出力さ
れた最も類似した個人の類似度に、その前段の逆変換3
1で除去した変形の発生頻度に基づく重み係数を乗算す
ることにより、別人に誤識別している識別結果の影響を
減らして、最終的な認識精度を高めることができる。
【0021】上記の各変形毎の逆変換31と識別33と
乗算35は、図示のように同時並行的に実行する。な
お、図中の中央部に示すように、変形が無い場合を想定
して逆変換を行わないルーチンも同時に行う。
乗算35は、図示のように同時並行的に実行する。な
お、図中の中央部に示すように、変形が無い場合を想定
して逆変換を行わないルーチンも同時に行う。
【0022】最後に、これらの識別結果を集めて、総合
的な結果として特定の個人か、そうでないかを決定する
(結合37)。ここでの決定方法には様々なバリエーシ
ョンが考えられる。例えば、上述した複数の乗算器35
から集めた識別結果の中から最も高い類似度を示した個
人を選ぶ方法、或いは、複数の乗算器35から集めた識
別結果の多数決により、最も多数の識別結果に現われた
個人を選ぶ方法、或いは、これも多数決の一種であろう
が、複数の乗算器35から集めた識別結果に含まれる類
似度を各個人別に集計し、集計した類似度が最も高かっ
た個人を選び、一方、所定値以上の類似度を得た個人が
一人もいなければ該当者無しとする方法などが考えられ
る。尚、乗算35を省略して、乗算35で用いた重み係
数を結合37で考慮に入れるようにしてもよい。
的な結果として特定の個人か、そうでないかを決定する
(結合37)。ここでの決定方法には様々なバリエーシ
ョンが考えられる。例えば、上述した複数の乗算器35
から集めた識別結果の中から最も高い類似度を示した個
人を選ぶ方法、或いは、複数の乗算器35から集めた識
別結果の多数決により、最も多数の識別結果に現われた
個人を選ぶ方法、或いは、これも多数決の一種であろう
が、複数の乗算器35から集めた識別結果に含まれる類
似度を各個人別に集計し、集計した類似度が最も高かっ
た個人を選び、一方、所定値以上の類似度を得た個人が
一人もいなければ該当者無しとする方法などが考えられ
る。尚、乗算35を省略して、乗算35で用いた重み係
数を結合37で考慮に入れるようにしてもよい。
【0023】なお、図3の処理ステップを図2の構成と
対応させると、入力処理30は図2の画像読込部21
に、逆変換31は図2の前処理部22に、識別33と乗
算35と結合37は図2の特徴抽出部23と識別部24
に対応する。
対応させると、入力処理30は図2の画像読込部21
に、逆変換31は図2の前処理部22に、識別33と乗
算35と結合37は図2の特徴抽出部23と識別部24
に対応する。
【0024】次に、前処理部22が行う逆変換31につ
いて具体的に説明する。
いて具体的に説明する。
【0025】顔画像の変形を原因別に要素に分解する
と、(1)顔の位置ずれによるもの、(2)顔のカメラに
映り込む大きさの違いによるもの、(3)顔の向き(上
下左右向き)の違いによるもの、(4)顔の傾きの違い
によるもの、(5)表情の違いによるものに分解でき
る。いま、入力画像から顔を長方形の領域で切り出そう
とした場合、(5)以外の顔画像の変形要素は以下の方
法によって取り除くことができる。すなわち、(1)の
場合は、長方形領域の平行移動を考慮して、標準位置か
ら平行移動させた長方形領域を切り出す。(2)の場合
は、長方形領域の拡大・縮小を考慮し、標準の大きさよ
り拡大・縮小させた長方形領域を切り出し、この長方形
領域を標準の大きさに変換する。(3)の場合は、長方
形領域の画面に平行な軸回りの回転を考量して、遠近法
に基づき変形させた例えば台形領域を切り出し、この台
形領域を長方形に変換する。(4)の場合は、長方形領
域の画面に垂直な軸回りの回転を考慮し、標準の方向か
ら回転させた長方形領域を切り出し、これを回転してな
い長方形領域に変換する。
と、(1)顔の位置ずれによるもの、(2)顔のカメラに
映り込む大きさの違いによるもの、(3)顔の向き(上
下左右向き)の違いによるもの、(4)顔の傾きの違い
によるもの、(5)表情の違いによるものに分解でき
る。いま、入力画像から顔を長方形の領域で切り出そう
とした場合、(5)以外の顔画像の変形要素は以下の方
法によって取り除くことができる。すなわち、(1)の
場合は、長方形領域の平行移動を考慮して、標準位置か
ら平行移動させた長方形領域を切り出す。(2)の場合
は、長方形領域の拡大・縮小を考慮し、標準の大きさよ
り拡大・縮小させた長方形領域を切り出し、この長方形
領域を標準の大きさに変換する。(3)の場合は、長方
形領域の画面に平行な軸回りの回転を考量して、遠近法
に基づき変形させた例えば台形領域を切り出し、この台
形領域を長方形に変換する。(4)の場合は、長方形領
域の画面に垂直な軸回りの回転を考慮し、標準の方向か
ら回転させた長方形領域を切り出し、これを回転してな
い長方形領域に変換する。
【0026】図4は、この原理をより具体的に示してい
る。図4左側に示すパターン41は、変形の無い正方形
領域として切り出せる標準の顔パターンである。図4右
側の(a)に示す変形パターン51A、51Bは、顔の左
右への傾きを考慮したものであり、標準パターン41に
対して画面に垂直な軸(z軸)周りに所定角度だけ回転
している。(b)の変形パターン53A,53Bは、顔の
映り込みの大きさを考慮したもので、標準パターンに対
して横方向又は縦方向に拡大又は縮小されている。(c)
の変形パターン55A、55Bは顔の左右への回転(右
向き、左向き)を考慮したもので、標準パターン41に
対して、これを画面に平行な鉛直軸(y軸)回りに回転
させたときの変形、つまり、右側又は左側へ偏った縮小
又は拡大を施したものである。(d)の変形パターン57
A、57Bは顔の上下方向の回転(上向き、下向き)を
考慮したもので、標準パターン41に対して、これを画
面に平行な水平軸(x軸)回りに回転させたときの変
形、つまり、上側又は下側へ偏った縮小又は拡大を施し
たものである。また、図4には示してないが、顔の位置
ずれを考慮した変形パターンは、標準パターン41を上
下左右(y、x方向)に平行移動させたものである。
る。図4左側に示すパターン41は、変形の無い正方形
領域として切り出せる標準の顔パターンである。図4右
側の(a)に示す変形パターン51A、51Bは、顔の左
右への傾きを考慮したものであり、標準パターン41に
対して画面に垂直な軸(z軸)周りに所定角度だけ回転
している。(b)の変形パターン53A,53Bは、顔の
映り込みの大きさを考慮したもので、標準パターンに対
して横方向又は縦方向に拡大又は縮小されている。(c)
の変形パターン55A、55Bは顔の左右への回転(右
向き、左向き)を考慮したもので、標準パターン41に
対して、これを画面に平行な鉛直軸(y軸)回りに回転
させたときの変形、つまり、右側又は左側へ偏った縮小
又は拡大を施したものである。(d)の変形パターン57
A、57Bは顔の上下方向の回転(上向き、下向き)を
考慮したもので、標準パターン41に対して、これを画
面に平行な水平軸(x軸)回りに回転させたときの変
形、つまり、上側又は下側へ偏った縮小又は拡大を施し
たものである。また、図4には示してないが、顔の位置
ずれを考慮した変形パターンは、標準パターン41を上
下左右(y、x方向)に平行移動させたものである。
【0027】このような変形要素別の変形パターンは、
アフィン変換のパラメータを用いて定義することができ
る。実際の画像の変形は上述した(1)〜(4)の変形要素の
合成である。そこで、図4に示した(a)〜(d)(及び図示
省略した位置ずれ)の変形要素のパターンを合成したア
フィン変換のパラメータのセットを、想定される変形の
全てバリエーション分だけ用意する。例えば、x、y、
z軸回りの回転角度をα、β、γとし、x、y、z軸方
向の平行移動量をx、y、zとし、縦横の比率をrとす
るならば、α、β、γ、x、y、z、rの各パラメータ
について変動範囲を設定し、その変動範囲内で各パラメ
ータを少しづつ変化させることによって、予想される全
ての変形バリエーションにそれぞれ対応した多数のパラ
メータセット{α、β、γ、x、y、z、r}を用意す
る。そして、図3に示したように、それら多数のパラメ
ータセットの各々を用いた多数の逆変換31を同時並行
的に実施することで、予想される全ての変形の各々を除
去した多数の正規化された顔パターンを求める。そし
て、それらの正規化パターンの各々を、各識別器33に
て、種々の人物のパターンと比較して類似度を計算す
る。最後に、それら多数の識別結果を集め、その中で例
えば最大の類似度を得た人物を最終的な識別結果として
選択する。
アフィン変換のパラメータを用いて定義することができ
る。実際の画像の変形は上述した(1)〜(4)の変形要素の
合成である。そこで、図4に示した(a)〜(d)(及び図示
省略した位置ずれ)の変形要素のパターンを合成したア
フィン変換のパラメータのセットを、想定される変形の
全てバリエーション分だけ用意する。例えば、x、y、
z軸回りの回転角度をα、β、γとし、x、y、z軸方
向の平行移動量をx、y、zとし、縦横の比率をrとす
るならば、α、β、γ、x、y、z、rの各パラメータ
について変動範囲を設定し、その変動範囲内で各パラメ
ータを少しづつ変化させることによって、予想される全
ての変形バリエーションにそれぞれ対応した多数のパラ
メータセット{α、β、γ、x、y、z、r}を用意す
る。そして、図3に示したように、それら多数のパラメ
ータセットの各々を用いた多数の逆変換31を同時並行
的に実施することで、予想される全ての変形の各々を除
去した多数の正規化された顔パターンを求める。そし
て、それらの正規化パターンの各々を、各識別器33に
て、種々の人物のパターンと比較して類似度を計算す
る。最後に、それら多数の識別結果を集め、その中で例
えば最大の類似度を得た人物を最終的な識別結果として
選択する。
【0028】以上の方法により、顔の向き傾き、及び表
情(特に眼の開閉)による微妙なパターンの変化に左右
されることなく一定の顔パターンを切り出せるため、認
識精度を向上させることができる。
情(特に眼の開閉)による微妙なパターンの変化に左右
されることなく一定の顔パターンを切り出せるため、認
識精度を向上させることができる。
【0029】以上、本発明の一実施形態を説明したが、
この実施形態はあくまで本発明の説明のための例示であ
り、本発明をこれら実施形態にのみ限定する趣旨ではな
い。従って、本発明は、上記実施形態以外の様々な形態
でも実施することができる。
この実施形態はあくまで本発明の説明のための例示であ
り、本発明をこれら実施形態にのみ限定する趣旨ではな
い。従って、本発明は、上記実施形態以外の様々な形態
でも実施することができる。
【図1】顔認識の一般的流れを示すフローチャート。
【図2】本発明の一実施形態の構成を示すブロック図。
【図3】顔画像認識装置の処理流れを示したフローチャ
ート。
ート。
【図4】顔パターンの変形を除去する原理を説明するた
めの説明図。
めの説明図。
1 外部装置 2 顔画像認識装置 3 出力装置 21 画像読込部 22 前処理部 23 特徴抽出部 24 識別部 25 特徴記憶部 30 入力 31 逆変換 33 識別器
───────────────────────────────────────────────────── フロントページの続き (72)発明者 坂野 鋭 東京都江東区豊洲三丁目3番3号 株式会 社エヌ・ティ・ティ・データ内 Fターム(参考) 5B043 AA09 BA04 CA01 EA05 EA12 EA13 EA15 GA02 5B064 AA10 CA05 CA07 CA11 DA10 EA30
Claims (13)
- 【請求項1】 それぞれ同じ顔画像を入力し、この顔画
像に対しそれぞれ異なる変形を除去するための逆変換を
施して正規化された顔パターンを出力する、互いに独立
して動作可能な複数の逆変換部と、 前記複数の逆変換部の各々から出力された正規化された
各顔パターンを入力し、各顔パターンを予め用意された
複数の人物の参照パターンと比較して類似度を計算する
識別部と、 前記複数の逆変換部からの顔パターンについての前記識
別部による識別結果を集め、それらの識別結果に基づい
て前記顔画像に対応する人物を特定する結合部とを備
え、 前記各逆変換部が除去しようとする変形は、複数種類の
変形要素の組み合わせからなり、前記複数種類の変形要
素には、画面に平行な軸回りの顔の回転による変形要素
が含まれている顔認識装置。 - 【請求項2】 複数種類の変形要素には、さらに、顔の
位置ずれ、傾きの違い、及びカメラに映り込む大きさの
違いによる変形要素が含まれている請求項1記載の顔認
識装置。 - 【請求項3】 前記画面に平行な軸回りの顔の回転によ
る変形要素には、画面に平行な鉛直軸回りの変形要素
と、画面に平行な水平軸回りの変形要素が含まれている
請求項1記載の顔認識装置。 - 【請求項4】 前記各逆変換部は、前記複数の変形要素
の組み合わせに対応したアフィン変換のパラメータのセ
ットであってそれぞれ異なるパラメータセットを有し、
このパラメータセットを用いて前記顔画像から変形した
顔パターンを切り出して逆変換を行う請求項1記載の顔
認識装置。 - 【請求項5】 前記複数の逆変換部は、同時並行的に動
作する請求項1記載の顔認識装置。 - 【請求項6】 前記複数の逆変換部にそれぞれ対応した
複数の前記識別部を備え、それらの識別部は同時並行的
に動作する請求項5記載の顔認識装置。 - 【請求項7】 前記結合部は、前記集めた識別結果に基
づいて、最も高い類似度を得た人物を特定する請求項1
記載の顔認識装置。 - 【請求項8】 前記結合部は、前記集めた識別結果に基
づいて、多数決の方法で人物を特定する請求項1記載の
顔認識装置。 - 【請求項9】 前記識別部が、各逆変換部が除去しよう
とする変形について予め用意した発生頻度に基づく重み
係数を用いて、各逆変換部からの正規化された顔パター
ンに関して計算した類似度を修正する請求項1記載の顔
認識装置。 - 【請求項10】 それぞれ同じ顔画像を入力し、この顔
画像に対しそれぞれ異なる変形を除去するための逆変換
を施して正規化された顔パターンを出力する、互いに独
立して行われる複数の逆変換ステップと、 前記複数の逆変換ステップの各々から出力された正規化
された各顔パターンを入力し、各顔パターンを予め用意
された複数の人物の参照パターンと比較して類似度を計
算する識別ステップと、 前記複数の逆変換ステップからの顔パターンについての
前記識別ステップによる識別結果を集め、それらの識別
結果に基づいて前記顔画像に対応する人物を特定する結
合ステップとを有し、 前記各逆変換ステップで除去しようとする変形は、複数
種類の変形要素の組み合わせからなり、前記複数種類の
変形要素には、画面に平行な軸回りの顔の回転による変
形要素が含まれている顔認識方法。 - 【請求項11】 複数種類の変形要素には、さらに、顔
の位置ずれ、傾きの違い、及びカメラに映り込む大きさ
の違いによる変形要素が含まれている請求項10記載の
顔認識方法。 - 【請求項12】 前記複数の逆変換ステップは、同時並
行的に行われる請求項10記載の顔認識方法。 - 【請求項13】 それぞれ同じ顔画像を入力し、この顔
画像に対しそれぞれ異なる変形を除去するための逆変換
を施して正規化された顔パターンを出力する、互いに独
立して行われる複数の逆変換ステップと、 前記複数の逆変換ステップの各々から出力された正規化
された各顔パターンを入力し、各顔パターンを予め用意
された複数の人物の参照パターンと比較して類似度を計
算する識別ステップと、 前記複数の逆変換ステップからの顔パターンについての
前記識別ステップによる識別結果を集め、それらの識別
結果に基づいて前記顔画像に対応する人物を特定する結
合ステップとを有し、 前記各逆変換ステップで除去しようとする変形は、複数
種類の変形要素の組み合わせからなり、前記複数種類の
変形要素には、画面に平行な軸回りの顔の回転による変
形要素が含まれている顔認識方法を、コンピュータに実
行させるためのプログラムを担持したコンピュータ読み
取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10261311A JP2000090191A (ja) | 1998-09-16 | 1998-09-16 | 顔認識装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10261311A JP2000090191A (ja) | 1998-09-16 | 1998-09-16 | 顔認識装置及び方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2000090191A true JP2000090191A (ja) | 2000-03-31 |
Family
ID=17360039
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP10261311A Pending JP2000090191A (ja) | 1998-09-16 | 1998-09-16 | 顔認識装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2000090191A (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100745981B1 (ko) | 2006-01-13 | 2007-08-06 | 삼성전자주식회사 | 보상적 특징에 기반한 확장형 얼굴 인식 방법 및 장치 |
CN100440246C (zh) * | 2006-04-13 | 2008-12-03 | 北京中星微电子有限公司 | 一种人脸特征点定位方法 |
JP2011022994A (ja) * | 2009-06-16 | 2011-02-03 | Canon Inc | パターン処理装置及びその方法、プログラム |
US7986808B2 (en) | 2004-09-30 | 2011-07-26 | Canon Kabushiki Kaisha | Image-capturing device, image-processing device, method for controlling image-capturing device, and program for causing computer to execute the method |
US8072612B2 (en) | 2006-12-22 | 2011-12-06 | Canon Kabushiki Kaisha | Method and apparatus for detecting a feature of an input pattern using a plurality of feature detectors, each of which corresponds to a respective specific variation type and outputs a higher value when variation received by the input pattern roughly matches the respective specific variation type |
US9092662B2 (en) | 2009-12-24 | 2015-07-28 | Canon Kabushiki Kaisha | Pattern recognition method and pattern recognition apparatus |
JP2017049676A (ja) * | 2015-08-31 | 2017-03-09 | セコム株式会社 | 姿勢判定装置および物体検知装置 |
CN107292275A (zh) * | 2017-06-28 | 2017-10-24 | 北京飞搜科技有限公司 | 一种频域划分的人脸特征识别方法及*** |
US10628947B2 (en) | 2016-11-22 | 2020-04-21 | Samsung Electronics Co., Ltd. | Method and apparatus for tracking eyes of user and method of generating inverse-transform image |
-
1998
- 1998-09-16 JP JP10261311A patent/JP2000090191A/ja active Pending
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7986808B2 (en) | 2004-09-30 | 2011-07-26 | Canon Kabushiki Kaisha | Image-capturing device, image-processing device, method for controlling image-capturing device, and program for causing computer to execute the method |
KR100745981B1 (ko) | 2006-01-13 | 2007-08-06 | 삼성전자주식회사 | 보상적 특징에 기반한 확장형 얼굴 인식 방법 및 장치 |
CN100440246C (zh) * | 2006-04-13 | 2008-12-03 | 北京中星微电子有限公司 | 一种人脸特征点定位方法 |
US8072612B2 (en) | 2006-12-22 | 2011-12-06 | Canon Kabushiki Kaisha | Method and apparatus for detecting a feature of an input pattern using a plurality of feature detectors, each of which corresponds to a respective specific variation type and outputs a higher value when variation received by the input pattern roughly matches the respective specific variation type |
JP2011022994A (ja) * | 2009-06-16 | 2011-02-03 | Canon Inc | パターン処理装置及びその方法、プログラム |
US9117111B2 (en) | 2009-06-16 | 2015-08-25 | Canon Kabushiki Kaisha | Pattern processing apparatus and method, and program |
US9092662B2 (en) | 2009-12-24 | 2015-07-28 | Canon Kabushiki Kaisha | Pattern recognition method and pattern recognition apparatus |
JP2017049676A (ja) * | 2015-08-31 | 2017-03-09 | セコム株式会社 | 姿勢判定装置および物体検知装置 |
US10628947B2 (en) | 2016-11-22 | 2020-04-21 | Samsung Electronics Co., Ltd. | Method and apparatus for tracking eyes of user and method of generating inverse-transform image |
US11417003B2 (en) | 2016-11-22 | 2022-08-16 | Samsung Electronics Co., Ltd. | Method and apparatus for tracking eyes of user and method of generating inverse-transform image |
CN107292275A (zh) * | 2017-06-28 | 2017-10-24 | 北京飞搜科技有限公司 | 一种频域划分的人脸特征识别方法及*** |
CN107292275B (zh) * | 2017-06-28 | 2020-04-10 | 北京飞搜科技有限公司 | 一种频域划分的人脸特征识别方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7058209B2 (en) | Method and computer program product for locating facial features | |
US6430307B1 (en) | Feature extraction system and face image recognition system | |
US5642431A (en) | Network-based system and method for detection of faces and the like | |
JP5121506B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記憶媒体 | |
US7593551B2 (en) | Face meta-data generation and face similarity calculation | |
US8184914B2 (en) | Method and system of person identification by facial image | |
US7430315B2 (en) | Face recognition system | |
US6681032B2 (en) | Real-time facial recognition and verification system | |
US7092554B2 (en) | Method for detecting eye and mouth positions in a digital image | |
US8401250B2 (en) | Detecting objects of interest in still images | |
US7672482B2 (en) | Shape detection using coherent appearance modeling | |
US6628811B1 (en) | Method and apparatus for recognizing image pattern, method and apparatus for judging identity of image patterns, recording medium for recording the pattern recognizing method and recording medium for recording the pattern identity judging method | |
US20080279424A1 (en) | Method of Identifying Faces from Face Images and Corresponding Device and Computer Program | |
US20030059124A1 (en) | Real-time facial recognition and verification system | |
US20050169520A1 (en) | Detecting human faces and detecting red eyes | |
US20030113002A1 (en) | Identification of people using video and audio eigen features | |
US7224835B2 (en) | Three-dimensional object recognizing apparatus, method and computer program product | |
JP2008102611A (ja) | 画像処理装置 | |
JP2000090191A (ja) | 顔認識装置及び方法 | |
JP2001250121A (ja) | 画像認識装置および記録媒体 | |
JP4816874B2 (ja) | パラメータ学習装置、パラメータ学習方法、およびプログラム | |
JP2003168113A (ja) | 画像認識システム、画像認識方法および画像認識プログラム | |
JP2003216935A (ja) | 顔抽出装置及び方法及びそれを記憶した記録媒体 | |
JP2007025899A (ja) | 画像処理装置、画像処理方法 | |
Lv et al. | Real-time face detection based on skin-color model and morphology filters |