JP4063556B2 - 顔画像認識装置および方法 - Google Patents
顔画像認識装置および方法 Download PDFInfo
- Publication number
- JP4063556B2 JP4063556B2 JP2002064119A JP2002064119A JP4063556B2 JP 4063556 B2 JP4063556 B2 JP 4063556B2 JP 2002064119 A JP2002064119 A JP 2002064119A JP 2002064119 A JP2002064119 A JP 2002064119A JP 4063556 B2 JP4063556 B2 JP 4063556B2
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- face image
- viewpoints
- estimated
- wire frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Collating Specific Patterns (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、顔画像を用いて人物を認識する装置および方法に関する。
【0002】
【従来の技術】
顔画像を用いて人物を認識する方法として、予め登録してある正面顔画像を用いてカメラで撮影した人物の照合・識別を行なう方法が一般的に知られている(例えば、2001年オーム社発行(社)日本自動認識システム協会編「これでわかったバイオメトリクス」第59頁〜第71頁参照)。
【0003】
更に認識の範囲を広げ、顔の位置ずれ、上下向き、左右の向きという顔画像の変形を考慮する技術が例えば特開2000−90191号公報に開示されている。この技術では、顔画像の変形要因のアフィン変換に基づくパラメータの組み合わせを予め用意し、入力された顔画像に対してすべての組み合わせの逆変換を行なった正規化顔パターンを識別器に掛けることにより、最も高い類似度を得た人物が選択される。
【0004】
【発明が解決しようとする課題】
顔を撮影した画像を用いて人物を識別するシステムにおいて、身分証などによって得られる予め登録した顔画像と識別に用いるカメラで撮影した顔画像との間に、人物に対するカメラの向き(上下、左右等)や人物の姿勢変動或いは表情の変動、照明の変動などの種々の変動によって差異を伴うことが避けられず、これらに起因する照合精度の劣化が問題となる。
【0005】
特に、正面顔画像のみで認識を行なう場合にこの問題が大きい。また、顔画像の変形を考慮する従来技術においては、入力画像に対して予め用意した線形変換パラメータを適用し、姿勢変動への対策を行なっているが、アフィン変換のような線形変換パラメータを適用するだけだけでは平面上での一様変形が行なわれるだけであるので、本来三次元形状の物体である顔に対しては対策が不十分である。
【0006】
本発明の目的は、予め登録した正面顔画像に、顔が三次元形状であることを考慮した変形を適用して識別を行なうことによりロバスト性(頑健性)を改善した新規の顔画像認識装置および方法を提供することにある。
【0007】
【課題を解決するための手段】
上記目的を達成するための本発明の顔画像認識方法は、観点(人物に対するカメラの向き(上下、左右等)や人物の姿勢或いは表情、照明などのいずれかで、ユーザによって設定される)に従って撮影された観点撮影顔画像を入力し、予め登録された認識対象の人物の正面顔画像にワイヤフレームを割り付け、該観点に対応した変形パラメータをワイヤフレームを割り付けた該正面顔画像に適用することによって該正面顔画像を該観点に従って撮影されたと推定される推定顔画像に変えて登録し、上記観点撮影顔画像と登録された該推定顔画像とを照合することによって該観点撮影顔画像の人物を識別することを特徴とする。
【0008】
本発明により、観点に対応した変形パラメータの適用によって三次元形状を考慮した精度のよい推定顔画像が認識対象の人物毎に用意されるので、ロバスト性が大幅に改善される。
【0009】
上記目的を達成するための本発明の別の顔画像認識方法は、種々の観点に対応する複数の推定顔画像を用意しておき、色々な観点からの顔画像に対処することができるように、種々の観点に対応する複数の推定顔画像が用意されることを特徴とする。
【0010】
上記目的を達成するための本発明の更に別の顔画像認識方法は、種々の観点に対応する複数の推定顔画像を用意しておく他、観点識別用のデータを用意しておき、まず、該データを使った照合により撮影の観点を絞り込み、複数の推定顔画像の中から絞り込んだ観点の推定顔画像のみを取り出し、該推定顔画像を使って照合識別を行なうことを特徴とする。照合識別に使う推定顔画像が絞り込まれるので、認識の処理量が低減される。
【0011】
上記目的を達成するための本発明の更に別の顔画像認識方法は、観点識別用のデータを用意しておき、まず、該データを使って撮影の観点を絞り込み、絞り込んだ観点に対応した変形パラメータを選択し、該変形パラメータを逆に適用して撮影した観点撮影の顔画像を推定によって正面顔画像に変え、該正面顔画像を使って照合識別を行なうことを特徴とする。推定正面顔画像のみで照合識別が行なわれるだけでなく、複数の推定顔画像の用意が不要となるので、認識の処理量が低減されると同時に、登録するデータ量が大幅に低減される。
【0012】
なお、変形パラメータは、例えば別途数人をモデルとして採用し、モデル毎に正面顔画像のワイヤフレームと観点顔画像のワイヤフレームとの間での各頂点の座標上の差分を移動ベクトルとして求め、求めた移動ベクトルをモデル数で平均した平均移動ベクトルにより生成することができる。
【0013】
【発明の実施の形態】
以下、本発明に係る顔画像認識装置および方法を図面に示した発明の実施の形態を参照して更に詳細に説明する。
【0014】
まず、本発明の顔画像認識装置を利用する防犯システムの例を図1示す。防犯システムの構成は、警備区域1に設置した監視カメラ2と、監視カメラ2によって撮影した人物の顔画像信号を転送するネットワーク3と、監視区域4に設置した顔画像認識装置5とからなる。顔画像認識装置5は、ネットワーク3を介して送られた顔画像と同装置の記憶装置に予め登録されている顔画像とを照合することにより、監視カメラ2によって撮影した人物の識別、判定を行なう。
【0015】
顔画像認識装置5を運用する場合、顔画像を撮影するカメラ2の設置位置により、最も頻度の高い向きの顔画像が決定される。例えば、防犯カメラでは天井にぶら下げて設置されるため、顔を上方より撮影した画像が認識対象となる。また、入退室システムにおいては、操作盤などの横にカメラを設置した場合は、顔を斜め横方向から撮影した画像が認識対象となる。
【0016】
また、人を捜す際に顔認識技術を用いる場合は、色々な方向の顔画像が認識対象となることが想定される。
【0017】
本発明の第1の実施形態として、カメラの設置位置が固定されている場合について記述する。さらに、第2〜第4の実施形態として、複数の方向の顔画像が認識対象となる場合について記述する。
<発明の実施の形態1>
まず、1台のカメラが上方から撮影するように設置された場合に適用する例について説明する。ただし、本発明は、1台のカメラが上方に設置された場合への適用に限定されるものではなく、1台のカメラが左右、下方、斜め方向などのいずれかの方向から撮影するように設置される場合や、人物の姿勢、顔の表情などが変化する場合に適用可能であることは云うまでもない。なお、本明細書では、これらの色々な方向や場合を、それぞれ観点と云うこととすする。
【0018】
本発明において、上方に1台のカメラが設置された場合の機能構成を図2に示す。正面顔画像読込機能110において、身分証や免許証等を作成するときに取得した認識対象の人物の正面顔画像が予め読み込まれ、その正面顔画像データ111が蓄えられる。
【0019】
上方撮影推定機能120において、顔が三次元形状であることを考慮して前以て生成した変形パラメータ(後で詳述する)を正面顔画像データ111に適用することにより、正面顔画像はあたかも上方から撮影したように推定された画像に精度良く変化し、それによって上方推定顔画像が得られる。
【0020】
続いて、顔特徴量抽出・登録機能130において、上方撮影推定機能120によって作成された上方推定顔画像から顔特徴量が抽出され、同顔特徴量のデータが上方顔特徴データベース131へ登録される。これらの機能120,130およびデータベース131により、観点処理機能170が構成される。
【0021】
一方、上方撮影機能140により、上方に設置されたカメラによって認識対象の人物の顔画像が撮影される。
【0022】
次に、照合機能150により、上方撮影機能140で撮影された顔画像と上方撮影顔特徴データベース131からの顔特徴量データとが照合され、両者の一致度を示すスコアが出力される。
【0023】
続いて、判定・表示機能160は、照合機能150の出力したスコアを判定し、照合結果を表示する。
【0024】
以上の結果、認識対象の人物が上方撮影機能140により撮影された場合に、ロバスト性高く対象人物を識別することが可能になる。
【0025】
ここで、上方撮影推定機能120を中心にした正面顔画像に対する上方推定処理のフローを図3に示す。
【0026】
まず、ステップ210で、正面顔画像読込機能110により、正面顔画像を入力し、正面顔画像データ111を蓄える。続いて、ステップ220で、蓄えた正面顔画像から目、鼻、口、などの顔器官や顔輪郭などの領域を抽出する。抽出が困難な場合は、オペレータの指定により顔器官や顔輪郭などの領域の抽出を行なう。
【0027】
次に、ステップ230で、予め準備した各顔器官や顔輪郭などのワイヤフレームのモデルをステップ220で抽出した顔器官や顔輪郭などの領域に割り付ける。なお、ワイヤフレームは、対象とする物体(ここでは上記の顔器官など)の輪郭を複数の線分で結んで表現したモデルである。
【0028】
続いて、ステップ240で、ステップ230で生成したワイヤフレームに上記変形パラメータを適用することにより、上方撮影を推定したワイヤフレームを生成する。
【0029】
次いで、ステップ250で、後述するイメージモーフィングにより、ステップ230のワイヤフレーム上およびワイヤフレームの中の各画素値をステップ240の上方撮影を推定したワイヤフレームへ割り付け、上方撮影を推定した画像を作成する。ステップ260で、上方撮影を推定した上方推定顔画像を出力する。
【0030】
なお、上述のように、本発明は、上方のみでなく、右方や左方、表情など観点を変えた各種のワイヤフレームにも適用することができる。
【0031】
次に、本発明による、ワイヤフレームに適用する変形パラメータの作成方法について述べる。
【0032】
推定のために用いる変形パラメータは、色々な正面顔画像に共通に適用することができる汎用のものとなるように、複数の人をモデルにし、各モデルの正面のカメラから撮影した正面顔画像と上方のカメラから撮影した上方顔画像のそれぞれのワイヤフレームから求められる。即ち、正面顔画像ワイヤフレームと上方顔画像ワイヤフレームとの差分を移動ベクトルとして求め、求めた移動ベクトルをモデル数で平均化することにより求められる。モデルの人数は、多いほど汎用性が高まるが、例えば、10人程度で求まる。
【0033】
図4にワイヤフレームデータおよび上方撮影を推定したワイヤフレームの変形パラメータの生成する方法のフローを示す。
【0034】
まず、ステップ310で、モデルの正面顔画像を入力する。ステップ311で、入力したモデルの正面顔画像を両目の黒目の中心位置を合わせて正規化する。次に、ステップ312で、正面顔画像上で、目、鼻、口、眉などにワイヤフレームで表す目、鼻、口、眉を割り付ける。
【0035】
一方、ステップ320で、別途、同一モデルの上方顔画像を入力する。ステップ321で、入力した同一モデルの上方顔画像を両目の黒目の中心位置に合わせて正規化する。次に、ステップ322で、上方顔画像上で、目、鼻、口、眉などにワイヤフレームで表す目、鼻、口、眉を割り付ける。
【0036】
続いて、ステップ330で、ステップ322で得たワイヤフレームの各点の座標からステップ312で得たワイヤフレームの各点の座標の値の差分を取り、移動ベクトルを計算する。
【0037】
ステップ340で、モデル全員の入力を終了していれば、ステップ350へ移る。まだ終了していなければ、ステップ310へ戻る。
【0038】
ステップ350で、ステップ330で得たモデル数分の移動ベクトルの平均を計算する。最後に、ステップ360で、ステップ350で得た平均移動ベクトルを保存して終了する。
【0039】
この平均移動ベクトルが正面顔画像ワイヤフレームを上方推定顔画像ワイヤフレームに変形するための変形パラメータとなる。
【0040】
なお、以上で、複数の正面顔画像のワイヤフレーム312の平均ワイヤフレームを作成し、ステップ311に適用するようにすると、ワイヤフレーム割付の作業量を低減することが可能となる。同様に、上方顔画像のワイヤフレームにおいても平均ワイヤフレームを作成し、ステップ321に適用するようにすると、ワイヤフレーム割付の作業量を低減することが可能となる。
【0041】
図5に正面顔画像のワイヤフレームモデルの例(図5の上部)と、平均移動ベクトル即ち変形パラメータを適用した場合の上方推定顔画像のワイヤフレームの例(図5の下部)を示す。
【0042】
登録する正面顔画像をステップ310〜312の要領でワイヤフレームを割り付け、ワイヤとワイヤを結ぶ点(頂点)の各座標に対し、ステップ360で生成した平均移動ベクトルを適用し、式(1)により、変形後のワイヤフレームの推定を行なう。
【0043】
Pna=Pno−△Pn ・・・・(1)
ここで、
Pna:変形後のn番目のワイヤフレーム座標
Pno:変形前のn番目のワイヤフレーム座標
△Pn:ワイヤフレームのn番目の頂点座標の平均移動ベクトル
とする。
【0044】
このようなワイヤフレームの各頂点の対応付けに続いて、ワイヤ即ちエッジの対応付けとワイヤフレームの内部の画素の対応付けとを行なうことにより、上方推定顔画像を得ることができる。この処理を行なうのが図3のステップ260によるモーフィング処理であり、そのフローを図6に示す。モーフィング処理には、例えば、特開平10−187956号公報に開示された方法が利用される。
【0045】
モーフィング処理は、変形後の画像の画素に原画像の画素値を割り付ける処理である。このため、変形後の画素座標と原画像の画素座標との対応付けが行なわれる。
【0046】
ここでは、既に図5まででワイヤフレーム座標の頂点の対応付けを完了している(ステップ510)。続いて、ワイヤフレームの頂点を直線で結んだエッジの対応付けを行ない(ステップ520)、各ワイヤフレームの内部の画素に対して対応付けを行なう(ステップ530)。最後に、対応付けされた座標の画素値をマッピングし、上方推定顔画像を得る(ステップ540)。
【0047】
ステップ520のワイヤフレームの頂点座標を結んだエッジの対応付けは、次のように行なわれる。
【0048】
(i)原画像上のワイヤフレームの頂点Aと頂点Bを結んだエッジを線分ABとし、変形後画像の対応するワイヤフレームの頂点A’と頂点B’を結んだ線分A’B’とする。
【0049】
(ii)線分AB、線分A’B’において、同じ割合で内分する点をそれぞれ内分点C、内分点C’を求め、内分点Cと内分点C’がそれぞれ対応する点とする。
【0050】
(iii)内分する割合を変化させ、線分ABと線分A’B’上のすべての画素について、画素の対応付けを行なう。
【0051】
(iv)すべてのワイヤフレームのエッジについて、(i)〜(iii)を繰り返し、画素の対応付けを行なう。
【0052】
ステップ530におけるワイヤフレーム内の座標の画素の対応付けは、例えば次のようにエッジなど既に対応付けの済んだ対応関係より推測する。
【0053】
(i)原画像に対応付けを持たない画素xがあり、画素xから距離がR以内に対応付けを持つ画素yが1画素以上あったとする。このときの画素xと画素yの距離を距離xyとする。
【0054】
(ii)画素yに対応する先画像内の画素を画素y’とする。
【0055】
(iii)画素xに対応する先画像内の画素を画素x’としたときの画素x’の座標を下記の式(2)で求める。
【0056】
画素x’座標=画素xの座標+Σ((画素y’の座標−画素yの座標)/距離xy)/Σ(1/距離xy) ・・・・(2)
ここで、Σは画素xからR以内にあるすべての既対応付け画素の総和を示す。
【0057】
以上の処理を全てのワイヤフレームについて実行し、画素の対応付けを行ない(ステップ530)、それぞれの画素で画素値のマッピングを行ない(ステップ540)、上方推定顔画像を得る。
【0058】
これまでに説明した機能および方法を装置として具体化した顔画像認識装置の構成例を図7に示す。
【0059】
図7において、1011は、図4のステップ310,320を実行して、複数のモデルの正面顔画像および上方顔画像を入力する変形パラメータ生成用画像読込部、1012は、ステップ311,312,321,322,330,350を実行して、入力した正面顔画像および上方顔画像から変形パラメータ(平均移動ベクトル)を生成する変形パラメータ生成部、1013は、ステップ360を実行して生成した変形パラメータを保存する変形パラメータ管理部、1014は、図2の機能110,111を実行して予め認識対象の人物の正面顔画像を入力してそのデータを取得する正面画像読込部、1015は、機能120を実行して、変形パラメータ管理部1013から取り出した変形パラメータを正面画像読込部1014からの正面顔画像に適用して上方推定顔画像を得る上方画像変形部、1016は、機能130を実行して、上方画像変形部1015の画像の顔特徴量を抽出して登録を行なう顔特徴量生成登録部、1017は、以上の各部の操作を行なう操作部、1018は、操作に必要な画面を表示する表示部であり、1010は、部1011〜1018からなる登録装置である。
【0060】
また、1020は、顔特徴量生成登録部1016から送られてくる顔特徴量の登録データを保存する、データベース131となる登録データファイルである。
【0061】
更に、1031は、機能140を実行して上方顔画像を撮影する顔画像撮影部、1032は、機能150,160を実行して、ファイル1020から読み出した顔特徴量と顔画像撮影部1031からの上方顔画像を照合して両者の一致度を判定する照合部、1033は、照合部1032の照合結果をリストとして表示するリスト表示部、1034は、以上の各部の操作を行なう操作部、1035は、操作に必要な画面を表示する表示部であり、1030は、部1031〜1035からなる照合装置である。
<発明の実施の形態2>
これまでは、単一の観点を扱う場合であった。続いて、複数の観点を扱う本発明の第2の実施形態について説明する。
【0062】
図8に複数の観点の画像を扱う場合の全体の機能構成を示す。各構成機能は次のようになる。
【0063】
正面顔画像読込機能610において、図2に示した機能110,111と同様、身分証や免許証等を作成するときに取得した認識対象の人物の正面顔画像が予め読み込まれ、その正面顔画像データ611が蓄えられる。
【0064】
各観点毎に観点処理機能670-1,670-2,…,670-nが備えられる(nは観点数)。個々の観点処理機能670は、図2の観点処理機能170と同様であるが、変形パラメータがそれぞれの観点に対応して用意される。
【0065】
即ち、左方、上方、右方およびその他の各観点の推定機能620により、正面顔画像データ611を用いて推定した各観点撮影の推定顔画像が作成される。
【0066】
次いで、各観点の顔特徴量抽出・登録機能630において、観点撮影推定機能620により作成された各観点撮影の推定顔画像から顔特徴量が抽出され、各観点の顔特徴量データがそれぞれの顔特徴データベース631へ登録される。
【0067】
一方、任意の観点撮影機能640により、任意観点の撮影を行なうカメラによって認識対象の人物の顔画像が撮影される。
【0068】
次に、照合機能650により、観点撮影機能640で撮影された顔画像と各観点の顔特徴データベース631からの顔特徴量データとが観点毎に照合され、観点と特徴量に関する両者の一致度を示すスコアが出力される。
【0069】
続いて、判定・表示機能660は、照合機能650の出力したスコアを判定し、照合結果を表示する。
【0070】
以上では、観点は、顔画像認識方法を利用するユーザによって、左方、上方、右方およびその他が用意されている。
【0071】
ここで、観点による顔画像として挙げられるものを列挙すると、例えば、
・左方より撮影した顔画像
・右方より撮影した顔画像
・上方より撮影した顔画像
・下方より撮影した顔画像
・左上方(または右上方、左下方、右下方)より撮影した顔画像
・笑顔(怒顔、泣き顔など)の顔画像
などがある。
【0072】
このように、観点毎に正面顔画像を変形させた推定画像を用意しておくことにより、照合精度を改善することが可能となる。
【0073】
図8を用いて説明した機能および方法を装置として具体化した顔画像認識装置の構成例を図9に示す。
【0074】
図9において、1045は、機能620を実行する観点毎に備えられた観点毎画像変形部、1046は、機能630を実行する観点毎に備えられた顔特徴量生成登録部、1050は、データベース631となる観点毎に備えられた顔特徴量データの登録データファイル、1041は、機能640を実行して任意観点の顔画像を撮影する顔画像撮影部、1042は、機能650,660を実行して、ファイル1050から読み出した観点毎の顔特徴量と顔画像撮影部1041からの任意観点の顔画像とを照合して両者の一致度を判定する照合部である。その他の各部は、図7に示したのと同様であるので、説明を省略する。
<発明の実施の形態3>
ところで、図8の任意観点撮影機能640による画像に対しては、観点毎に特徴量の照合が行なわれるため、観点の数が多い場合などでは、照合の処理量が多くなり、照合に時間が掛かる場合がある。そのような場合には、観点に関して先に照合を行なって観点を絞り込み、絞り込んだ観点についてのみ特徴量の照合を行なうことにより、処理量を低減することが可能となる。
【0075】
そのように照合を2段階に分けた実施形態を図10に示す。まず、観点毎の顔画像撮影701において、数人のモデルのそれぞれに対し観点毎に顔画像が撮影され、観点毎の撮影顔画像がモデル毎に準備される。
【0076】
続いて、顔特徴抽出登録機能710において、観点毎顔画像撮影701による顔画像の特徴が抽出される。特徴はテンプレートによってまとめられ、更に各観点に識別番号(ID)が付けられて、観点決定用のデータベース(DB)711へ登録される。
【0077】
図11に観点決定用DB711の構成の例を示す。データベースは、各テンプレートを一意に指定する番号である項番1のサブジェクトID、正面、上方、右方などの観点を一意に指定する番号である項番2の観点ID、項番3の登録テンプレート情報であるテンプレート、観点を説明する補足情報である項番4の補足観点IDからなる。
【0078】
一方、任意観点撮影機能720において、任意観点のカメラにより任意観点の顔画像721が撮影され、入力される。
【0079】
次に、観点照合機能730において、観点決定用DB711の各データと顔画像721とが照合され、照合スコアが算出される。
【0080】
算出された照合スコアから、観点毎の平均計算機能740において、観点毎の平均スコアが算出される。
【0081】
観点決定機能750において、観点毎の平均スコアが判定され、事前に設定した閾値以上の観点が任意観点顔画像721の観点であると判定される。観点を超える閾値がない場合は、最大の平均スコアを出力した観点が任意観点顔画像721の観点であると判定される。
【0082】
その後、観点による絞込み機能760において、図8に示した観点毎の顔特徴データベース631をまとめた照合対象DB761から、観点決定機能750で決定した観点に限定したデータベースが取り出され、絞込みDB762が作成される。
【0083】
最後に、照合機能770において、絞り込まれた観点の絞込みDB760と任意観点の顔画像721とが照合され、照合スコアが出力される。そして、出力された照合スコアがリストアップ機能780において昇順に並べ替えられ、昇順のリスト781が作成される。
【0084】
以上の処理により、入力画像の観点を事前に絞り込むことにより、照合に用いるデータベースを絞り込んだ観点に特徴つけた小さなデータベースすることが可能になり、照合時間を低減することが可能となる。
【0085】
図10を用いて説明した機能および方法を装置として具体化した顔画像認識装置の構成例を図12に示す。
【0086】
図12において、1061は、機能701を実行する観点毎画像読込部、1066は、顔特徴量生成登録部1046(図9)に機能710を実行する登録部を加えた顔特徴量生成登録部、1070は、DB711である観点データファイル、1062は、機能730および機能770を実行する照合部、1063は、機能740,750,760を実行してDB762を用意する観点判定部である。その他の各部は、図9に示したのと同様であるので、説明を省略する。
<発明の実施の形態4>
これまでの実施形態は、予め登録した正面顔画像に変形パラメータを適用して推定観点画像を作成することにより照合精度を改善することを基本としていた。これとは別に、本実施形態は、任意観点撮影の顔画像に対してその観点の変形パラメータを逆に適用して推定正面画像を作成することにより照合精度を改善することを基本とする。
【0087】
本実施形態の機能構成を図13に示す。任意観点の顔画像の観点を照合によって決定する機能は、図10に示した場合と同じである。任意観点の顔画像の観点が決定した後、正面顔推定機能960において、決定した観点に応じた変形パラメータを逆に適用し(図5の逆)、推定正面画像を作成する。ワイヤフレームの座標の移動の式は次の式(3)の通りである。
【0088】
Pna=Pno+△Pn ・・・・(3)
続いて、照合機能970において、正面顔推定機能960で得た推定正面顔画像と予め登録してある正面顔画像データ111(正面顔画像データ611)の正面顔データベース971とを照合し、照合スコアを出力する。そして、出力された照合スコアがリストアップ機能980において昇順に並べ替えられ、昇順のリスト981が作成される。
【0089】
以上により、前述した実施形態と比較して、観点毎の顔特徴データベース631(図8)即ち照合対象DB761(図10)が不要となるので、データベース容量を削減することが可能となる。
【0090】
図13を用いて説明した機能および方法を装置として具体化した顔画像認識装置の構成例を図14に示す。
【0091】
図14において、1080は、DB971である登録データファイル、1091は、機能710を実行する顔特徴量生成登録部、1092は、機能730および機能970を実行する照合部、1093は、機能740,750を実行する観点判定部、1094は、機能960を実行する正面画像推定部である。その他の各部は、図12に示したのと同様であるので、説明を省略する。
【0092】
なお、以上の各実施形態で示した顔画像認識装置およびおよび方法は、図1に示した防犯システムを始め、監視システム、セキュリティシステム等に適用可能であることは云うまでもない。
【0093】
【発明の効果】
本発明によれば、正面顔画像を登録する顔認識システムにおいて、撮影の上下、左右、斜め方向或いは顔の各種の表情などの色々な観点のそれぞれに対して顔画像を照合に適した顔画像に変形させる変形パラメータが用意されるので、どのような観点の顔画像の入力に対しても、認識精度を高く保持することが可能である。そのような高精度の顔画像認識装置を用いることにより、信頼性および確度の高い防犯システム、監視システム、セキュリティシステム等を実現することができる。
【図面の簡単な説明】
【図1】防犯システムの例を説明するための構成図。
【図2】本発明に係る顔画像認識装置および方法の第1の発明の実施の形態を説明するための機能構成図。
【図3】本発明の第1の実施形態における上方撮影顔画像を推定する処理を説明するためのフローチャート。
【図4】本発明の第1の実施形態における変形パラメータを作成する処理を説明するためのフローチャート。
【図5】本発明の第1の実施形態による、正面顔ワイヤフレームと上方撮影を想定した顔を推定したワイヤフレーム変形結果を説明するための図。
【図6】本発明の第1の実施形態におけるモーフィング処理を説明するためのフローチャート。
【図7】本発明の第1の実施形態による装置を説明するための構成図。
【図8】本発明の第2の実施形態を説明するための機能構成図。
【図9】本発明の第2の実施形態による装置を説明するための構成図。
【図10】本発明の第3の実施形態を説明するための機能構成図。
【図11】本発明の第3の実施形態における観点判定用のデータベースを説明するための図。
【図12】本発明の第3の実施形態による装置を説明するための構成図。
【図13】本発明の第4の実施形態を説明するための機能構成図。
【図14】本発明の第4の実施形態による装置を説明するための構成図。
【符号の説明】
110…正面顔読込機能、120…上方撮影推定機能、130…顔特徴量抽出・登録機能、140…上方撮影機能、150…照合機能、160…判定・表示機能、1010…登録装置、1011…変形パラメータ生成用画像読込部、1012…変形パラメータ生成部、1013…変形パラメータ管理部、1014…正面画像読込部、1015…上方画像変形部、1016…顔特徴量生成登録部、1020…登録データファイル、1030…照合装置、1031…顔画像撮影部、1032…照合部、1033…リスト表示部。
Claims (6)
- 任意の観点に従って撮影された観点撮影顔画像を入力し、予め登録された認識対象の人物の正面顔画像にワイヤフレームを割り付け、該任意の観点を含む複数の観点の各々に対応した変形パラメータをワイヤフレームを割り付けた該正面顔画像に適用することによって該正面顔画像を該複数の観点に従って撮影されたと推定される複数の推定顔画像に変えて登録し、上記複数の観点の観点毎の顔画像を観点識別用のデータとして予め登録し、上記観点撮影顔画像と登録された該観点識別用のデータとの照合を行なって観点毎に照合スコアの平均を取り、登録された上記複数の推定顔画像の中から該照合スコアの平均の値の高い観点の推定顔画像を選択し、上記観点撮影顔画像と該選択された推定顔画像とを照合することによって該観点撮影顔画像の人物を識別することを特徴とする顔画像認識方法。
- 任意の観点に従って撮影された観点撮影顔画像を入力し、該任意の観点を含む複数の観点の観点毎の顔画像を観点識別用のデータとして予め登録し、上記観点撮影顔画像と登録された該観点識別用のデータとの照合を行なって観点毎に照合スコアの平均を取り、上記複数の観点の各々に対応した変形パラメータの中から該照合スコアの平均の値の高い観点に対応した変形パラメータを選択し、上記観点撮影顔画像にワイヤフレームを割り付け、ワイヤフレームを割り付けた該観点撮影顔画像に上記選択した変形パラメータを適用することによって該観点撮影顔画像を正面から撮影されたと推定される推定正面顔画像に変え、予め登録された認識対象の人物の正面顔画像と該推定正面顔画像とを照合することによって該観点撮影顔画像の人物を識別することを特徴とする顔画像認識方法。
- 上記複数の観点の各々に対応した変形パラメータは、上記複数の観点の各々に従って撮影された複数人の観点顔画像と該複数人の正面顔画像とに対してそれぞれワイヤフレームを割り付け、上記複数の観点の観点毎及び上記複数人の人毎に該観点顔画像のワイヤフレームを構成する各頂点の座標値と該正面顔画像のワイヤフレームを構成する各頂点の座標値との差分を移動ベクトルとして求め、該移動ベクトルを該複数人で平均した観点毎の平均移動ベクトルを上記複数の観点の各々に対応した変形パラメータとすることによって予め生成されていることを特徴とする請求項1又は請求項2に記載の顔画像認識方法。
- 任意の観点に従って撮影した観点撮影顔画像を出力する顔画像撮影部と、認識対象の人物の正面顔画像を予め読み込む正面顔画像読込部と、予め読み込んだ該正面顔画像にワイヤフレームを割り付け、該任意の観点を含む複数の観点の各々に対応した変形パラメータをワイヤフレームを割り付けた該正面顔画像に適用することによって該正面顔画像を該複数の観点に従って撮影されたと推定される複数の推定顔画像に変える観点毎画像変形部と、該複数の推定顔画像を登録する登録データファイルと、上記複数の観点の観点毎の顔画像を観点識別用のデータとして登録する観点データファイルと、上記観点撮影顔画像と該観点識別用のデータとの照合の結果である照合スコアの平均を観点毎に取り、登録された上記複数の推定顔画像の中から該照合スコアの平均の値の高い観点の推定顔画像を選択する観点判定部と、上記観点撮影顔画像と該選択された推定顔画像とを照合することによって該観点撮影顔画像の人物を識別するための照合部とを有することを特徴とする顔画像認識装置。
- 任意の観点に従って撮影された観点撮影顔画像を出力する顔画像撮影部と、該任意の観点を含む複数の観点の観点毎の顔画像を観点識別用のデータとして登録する観点データファイルと、上記観点撮影顔画像と登録された該観点識別用のデータとの照合の結果である照合スコアの平均を観点毎に取り、上記複数の観点の各々に対応した変形パラメータの中から該照合スコアの平均の値の高い観点に対応した変形パラメータを選択する観点判定部と、上記観点撮影顔画像にワイヤフレームを割り付け、ワイヤフレームを割り付けた該観点撮影顔画像に上記選択した変形パラメータを適用することによって該観点撮影顔画像を正面から撮影されたと推定される推定正面顔画像に変える正面画像推定部と、認識対象の人物の正面顔画像を予め読み込む正面顔画像読込部と、予め読み込んだ該正面顔画像と上記推定正面顔画像とを照合することによって該観点撮影顔画像の人物を識別するための照合部とを有することを特徴とする顔画像認識装置。
- 上記複数の観点の各々に対応した変形パラメータは、上記複数の観点の各々に従って複数人の顔を撮影して観点顔画像を観点毎に出力すると共に該複数人の正面顔を撮影して正面顔画像を出力する画像読込部と、上記複数の観点の観点毎及び上記複数人の人毎に該観点顔画像及び該正面顔画像とに対してそれぞれワイヤフレームを割り付け、該観点顔画像のワイヤフレームを構成する各頂点の座標値と該正面顔画像のワイヤフレームを構成する各頂点の座標値との差分を移動ベクトルとして求め、該移動ベクトルを該複数人で平均した観点毎の平均移動ベクトルを上記複数の観点の各々に対応した変形パラメータとする変形パラメータ生成部とによって生成されていることを特徴とする請求項4又は請求項5に記載の顔画像認識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002064119A JP4063556B2 (ja) | 2002-03-08 | 2002-03-08 | 顔画像認識装置および方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002064119A JP4063556B2 (ja) | 2002-03-08 | 2002-03-08 | 顔画像認識装置および方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003263639A JP2003263639A (ja) | 2003-09-19 |
JP4063556B2 true JP4063556B2 (ja) | 2008-03-19 |
Family
ID=29197058
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002064119A Expired - Fee Related JP4063556B2 (ja) | 2002-03-08 | 2002-03-08 | 顔画像認識装置および方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4063556B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4734980B2 (ja) | 2005-03-15 | 2011-07-27 | オムロン株式会社 | 顔認証装置およびその制御方法、顔認証装置を備えた電子機器、顔認証装置制御プログラム、ならびに該プログラムを記録した記録媒体 |
JP4645301B2 (ja) * | 2005-05-20 | 2011-03-09 | 富士通株式会社 | 顔形状変化情報抽出装置、顔画像登録装置および顔画像認証装置 |
JP4465619B2 (ja) | 2005-10-31 | 2010-05-19 | ソニー株式会社 | 登録装置、照合装置、画像補正方法及びプログラム |
JP2008009617A (ja) * | 2006-06-28 | 2008-01-17 | Glory Ltd | 個人生体情報照合装置、個人生体情報照合プログラムおよび個人生体情報照合方法 |
JP4764273B2 (ja) | 2006-06-30 | 2011-08-31 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム、記憶媒体 |
JP2008059108A (ja) * | 2006-08-30 | 2008-03-13 | Hitachi Ltd | 画像処理装置,画像処理方法、そのプログラムおよび人流監視システム |
JP2010238181A (ja) * | 2009-03-31 | 2010-10-21 | Sogo Keibi Hosho Co Ltd | 顔認証装置および顔認証方法 |
KR101301301B1 (ko) | 2012-07-24 | 2013-08-28 | 주식회사 에스원 | 얼굴 인식 필터 설계 방법 빛 그 장치 |
US10133942B2 (en) | 2016-07-05 | 2018-11-20 | Nauto Global Limited | System and method for automatic driver identification |
-
2002
- 2002-03-08 JP JP2002064119A patent/JP4063556B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003263639A (ja) | 2003-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4653606B2 (ja) | 画像認識装置、方法およびプログラム | |
US8086027B2 (en) | Image processing apparatus and method | |
JP4167390B2 (ja) | 物体照合方法,物体照合装置,およびそのプログラムを記録した記録媒体 | |
US7876931B2 (en) | Face recognition system and method | |
JP4241763B2 (ja) | 人物認識装置及びその方法 | |
JP5812599B2 (ja) | 情報処理方法及びその装置 | |
US9031286B2 (en) | Object detection device and object detection method | |
TWI394093B (zh) | 一種影像合成方法 | |
JP4951498B2 (ja) | 顔画像認識装置、顔画像認識方法、顔画像認識プログラムおよびそのプログラムを記録した記録媒体 | |
JP2000306095A (ja) | 画像照合・検索システム | |
KR20060058147A (ko) | 화상 대조 시스템 및 화상 대조 방법 | |
JP2003178306A (ja) | 個人認証装置および個人認証方法 | |
CN106355139B (zh) | 人脸防伪方法和装置 | |
JP4063556B2 (ja) | 顔画像認識装置および方法 | |
CN114616591A (zh) | 物体跟踪装置以及物体跟踪方法 | |
CN114894337B (zh) | 一种用于室外人脸识别测温方法及装置 | |
JP4552431B2 (ja) | 画像照合装置、画像照合方法及び画像照合プログラム | |
JP4426029B2 (ja) | 画像照合方法および装置 | |
JP3577908B2 (ja) | 顔画像認識システム | |
CN111652018A (zh) | 一种人脸注册方法和认证方法 | |
CN112801038B (zh) | 一种多视点的人脸活体检测方法及*** | |
JP2013218605A (ja) | 画像認識装置、画像認識方法及びプログラム | |
JP2005250692A (ja) | 物体の同定方法、移動体同定方法、物体同定プログラム、移動体同定プログラム、物体同定プログラム記録媒体、移動体同定プログラム記録媒体 | |
JP5244345B2 (ja) | 顔認証装置 | |
JP2008059108A (ja) | 画像処理装置,画像処理方法、そのプログラムおよび人流監視システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050302 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070312 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20070312 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070821 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071015 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071225 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110111 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110111 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120111 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130111 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |