JP2000099722A - 人物顔認識装置及び人物顔認識方法 - Google Patents
人物顔認識装置及び人物顔認識方法Info
- Publication number
- JP2000099722A JP2000099722A JP10268419A JP26841998A JP2000099722A JP 2000099722 A JP2000099722 A JP 2000099722A JP 10268419 A JP10268419 A JP 10268419A JP 26841998 A JP26841998 A JP 26841998A JP 2000099722 A JP2000099722 A JP 2000099722A
- Authority
- JP
- Japan
- Prior art keywords
- image
- dictionary
- recognition
- matching
- partial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Collating Specific Patterns (AREA)
Abstract
(57)【要約】
【課題】 人物の顔の画像に関して迅速で正確な認識処
理を行う人物顔認識装置とこの人物顔認識方法を提供す
る。 【解決手段】 対象の画像を取り込む取込部1と、予め
保存された輝度頻度に関する辞書データ7,8,9とこ
の対象画像の複数の単位領域ごとの輝度とを比較して、
対象画像の複数の単位領域ごとの信頼度を求める信頼度
計算部7,8,9と、予め保存された認識のための顔照
合辞書12と対象画像とを、算出された信頼度に基づい
て単位領域ごとに比較し、対象画像を照合する照合部6
とを有する画像認識装置。
理を行う人物顔認識装置とこの人物顔認識方法を提供す
る。 【解決手段】 対象の画像を取り込む取込部1と、予め
保存された輝度頻度に関する辞書データ7,8,9とこ
の対象画像の複数の単位領域ごとの輝度とを比較して、
対象画像の複数の単位領域ごとの信頼度を求める信頼度
計算部7,8,9と、予め保存された認識のための顔照
合辞書12と対象画像とを、算出された信頼度に基づい
て単位領域ごとに比較し、対象画像を照合する照合部6
とを有する画像認識装置。
Description
【0001】
【発明の属する技術分野】この発明は、対象の画像パタ
ーンを認識する画像認識装置であって、特に人間の顔を
認識する人物顔認識装置とその人物顔認識方法に関する
ものである。
ーンを認識する画像認識装置であって、特に人間の顔を
認識する人物顔認識装置とその人物顔認識方法に関する
ものである。
【0002】
【従来の技術】最近、入退出管理、ATM機器や券売機
などの社会システムの個人照合、およびパソコン等OA
機器のパスワードといった分野において、非接触でユー
ザに負担の少ない個人照合のニーズがあるが、その際に
あまり特殊な装置を使用しないものとして画像認識よる
方法が注目されている。
などの社会システムの個人照合、およびパソコン等OA
機器のパスワードといった分野において、非接触でユー
ザに負担の少ない個人照合のニーズがあるが、その際に
あまり特殊な装置を使用しないものとして画像認識よる
方法が注目されている。
【0003】これは被験者の顔画像を複数用意して、切
り出し辞書とし、認識時には入力顔画像と辞書とのパタ
ーンマッチングを行って顔位置抽出と照合を行うものが
一般的である。辞書としては、各個人でのさまざまな状
況に対応させるために複数枚の画像を用意するものもあ
るが、そのままでは辞書サイズが膨大になるため、これ
らを統計的に特徴圧縮した辞書を作成しておく方式があ
り、統計的圧縮としては主成分の分析に類するものが使
われている。
り出し辞書とし、認識時には入力顔画像と辞書とのパタ
ーンマッチングを行って顔位置抽出と照合を行うものが
一般的である。辞書としては、各個人でのさまざまな状
況に対応させるために複数枚の画像を用意するものもあ
るが、そのままでは辞書サイズが膨大になるため、これ
らを統計的に特徴圧縮した辞書を作成しておく方式があ
り、統計的圧縮としては主成分の分析に類するものが使
われている。
【0004】
【発明が解決しようとする課題】しかし上記した従来の
画像認識による方法では、照明変動が少なくない環境で
は正確な認識が困難であるという問題がある。照明変動
には、画面全体での輝度変化と、輝度勾配や影による部
分的変化とがあり、前者に対して、辞書、および入力画
像についてその画像ベクトルの大きさ(ノルム)による
正規化を行ったり、ヒストグラム平坦化を行ったりした
例があり、後者に対して、画面内輝度の平面当てはめを
した例があるが、それらをもってしても顔抽出に失敗し
たり、照合が不正確になるという問題がある。
画像認識による方法では、照明変動が少なくない環境で
は正確な認識が困難であるという問題がある。照明変動
には、画面全体での輝度変化と、輝度勾配や影による部
分的変化とがあり、前者に対して、辞書、および入力画
像についてその画像ベクトルの大きさ(ノルム)による
正規化を行ったり、ヒストグラム平坦化を行ったりした
例があり、後者に対して、画面内輝度の平面当てはめを
した例があるが、それらをもってしても顔抽出に失敗し
たり、照合が不正確になるという問題がある。
【0005】本発明は、上記問題を解決すべくなされる
ものであり、マッチングを行う領域の各小領域ごとの信
頼度を計算し、この信頼度に応じたマッチングを行うこ
とによって、迅速で正確なマッチングを実現し、これに
より、人物の顔の迅速で正確な認識処理を行う人物顔認
識装置とこの人物顔認識方法を提供することを目的とす
る。
ものであり、マッチングを行う領域の各小領域ごとの信
頼度を計算し、この信頼度に応じたマッチングを行うこ
とによって、迅速で正確なマッチングを実現し、これに
より、人物の顔の迅速で正確な認識処理を行う人物顔認
識装置とこの人物顔認識方法を提供することを目的とす
る。
【0006】
【課題を解決するための手段】本発明は、認識対象画像
の認識を行なう画像認識装置において、認識対象画像を
入力する画像入力手段と、この入力手段にて入力された
認識対象画像から照合用の辞書を作成する辞書作成手段
と、この作成手段にて作成した複数の辞書データに基づ
き認識対象画像における各画素の輝度頻度を求めて保持
する輝度頻度辞書と、認識対象画像の認識時には入力画
像と前記作成手段にて作成された辞書とを照合するとと
もに、この照合の際には前記輝度頻度辞書と入力画像の
各画素の輝度に基づき入力画像の各画素について信頼度
を加味して照合を行なう照合手段とを有することを有す
ることを特徴とする画像認識装置である。
の認識を行なう画像認識装置において、認識対象画像を
入力する画像入力手段と、この入力手段にて入力された
認識対象画像から照合用の辞書を作成する辞書作成手段
と、この作成手段にて作成した複数の辞書データに基づ
き認識対象画像における各画素の輝度頻度を求めて保持
する輝度頻度辞書と、認識対象画像の認識時には入力画
像と前記作成手段にて作成された辞書とを照合するとと
もに、この照合の際には前記輝度頻度辞書と入力画像の
各画素の輝度に基づき入力画像の各画素について信頼度
を加味して照合を行なう照合手段とを有することを有す
ることを特徴とする画像認識装置である。
【0007】又本発明は、請求項1に記載の画像認識装
置において、前記照合手段は前記輝度頻度辞書に基づき
認識対象画像として尤もらしくない画素については照合
に用いないようにしたことを特徴とする画像認識装置で
ある。
置において、前記照合手段は前記輝度頻度辞書に基づき
認識対象画像として尤もらしくない画素については照合
に用いないようにしたことを特徴とする画像認識装置で
ある。
【0008】又本発明は、請求項1に記載の画像認識装
置において、前記照合手段は前記輝度頻度辞書に基づき
認識対象画像として尤もらしくない画素については照合
結果に対する寄与度を低くするようにしたことを特徴と
する画像認識装置である。
置において、前記照合手段は前記輝度頻度辞書に基づき
認識対象画像として尤もらしくない画素については照合
結果に対する寄与度を低くするようにしたことを特徴と
する画像認識装置である。
【0009】又本発明は、請求項1に記載の画像認識装
置において、前記輝度頻度辞書は前記作成手段による辞
書データ作成時の切出し画像の輝度頻度を求めて保持す
る顔領域抽出用輝度頻度辞書を有し、前記抽出手段は前
記輝度頻度辞書に基づき認識対象画像の切出しを行なう
顔領域抽出手段を有することを特徴とする画像認識装置
である。
置において、前記輝度頻度辞書は前記作成手段による辞
書データ作成時の切出し画像の輝度頻度を求めて保持す
る顔領域抽出用輝度頻度辞書を有し、前記抽出手段は前
記輝度頻度辞書に基づき認識対象画像の切出しを行なう
顔領域抽出手段を有することを特徴とする画像認識装置
である。
【0010】又本発明は、請求項4に記載の画像認識装
置において、前記辞書作成手段は、認識対象画像中の特
定領域のパーツ画像に関するパーツ辞書を作成し、前記
前記輝度頻度辞書は前記作成手段によるパーツ辞書作成
時のパーツ画像の輝度頻度を求めて保持する類パーツ抽
出用輝度頻度辞書を有し、前記抽出手段は前記輝度頻度
辞書に基づき前記顔領域抽出手段にて抽出された認識対
象画像から類パーツ画像の切出しを行なう類パーツ抽出
手段を有することを特徴とする画像認識装置である。
置において、前記辞書作成手段は、認識対象画像中の特
定領域のパーツ画像に関するパーツ辞書を作成し、前記
前記輝度頻度辞書は前記作成手段によるパーツ辞書作成
時のパーツ画像の輝度頻度を求めて保持する類パーツ抽
出用輝度頻度辞書を有し、前記抽出手段は前記輝度頻度
辞書に基づき前記顔領域抽出手段にて抽出された認識対
象画像から類パーツ画像の切出しを行なう類パーツ抽出
手段を有することを特徴とする画像認識装置である。
【0011】又本発明は、請求項5に記載の画像認識装
置において、前記辞書作成手段は認識対象画像中の特定
領域の認識対象画像に関する顔照合辞書を作成し、前記
前記輝度頻度辞書は前記作成手段による顔照合辞書の認
識対象画像の輝度頻度を求めて保持する顔照合用輝度頻
度辞書を有し、前記抽出手段は類パーツ抽出手段にて抽
出された類パーツ画像との関係から入力画像中の特定領
域の認識対象画像を照合用画像として選択する照合位置
決定手段を有し、前記照合手段は顔照合辞書と照合用画
像とを照合する際に前記顔照合用輝度頻度辞書に基づき
基づき認識対象画像として尤もらしい画素を用いて照合
を行なうようにしたことを特徴とする画像認識装置であ
る。
置において、前記辞書作成手段は認識対象画像中の特定
領域の認識対象画像に関する顔照合辞書を作成し、前記
前記輝度頻度辞書は前記作成手段による顔照合辞書の認
識対象画像の輝度頻度を求めて保持する顔照合用輝度頻
度辞書を有し、前記抽出手段は類パーツ抽出手段にて抽
出された類パーツ画像との関係から入力画像中の特定領
域の認識対象画像を照合用画像として選択する照合位置
決定手段を有し、前記照合手段は顔照合辞書と照合用画
像とを照合する際に前記顔照合用輝度頻度辞書に基づき
基づき認識対象画像として尤もらしい画素を用いて照合
を行なうようにしたことを特徴とする画像認識装置であ
る。
【0012】又本発明は、認識対象画像の認識を行なう
画像認識方法において、入力された認識対象画像から照
合用の辞書を作成し、この作成した複数の辞書データに
基づき認識対象画像における各画素の輝度頻度を求めて
保持しておき、認識対象画像の認識時には入力画像と前
記辞書とを照合するとともに、この照合の際には前記輝
度頻度辞書と入力画像の各画素の輝度に基づき入力画像
の各両素について信頼度を加味して照合を行なうように
したことを特徴とする画像認識方法である。
画像認識方法において、入力された認識対象画像から照
合用の辞書を作成し、この作成した複数の辞書データに
基づき認識対象画像における各画素の輝度頻度を求めて
保持しておき、認識対象画像の認識時には入力画像と前
記辞書とを照合するとともに、この照合の際には前記輝
度頻度辞書と入力画像の各画素の輝度に基づき入力画像
の各両素について信頼度を加味して照合を行なうように
したことを特徴とする画像認識方法である。
【0013】又本発明は、請求項7に記載の画像認識方
法において、前記入力画像と前記辞書とを照合する際に
は前記輝度頻度辞書に基づき認識対象画像として尤もら
しくない画素については照合に用いないようにしたこと
を特徴とする画像認識装置である。
法において、前記入力画像と前記辞書とを照合する際に
は前記輝度頻度辞書に基づき認識対象画像として尤もら
しくない画素については照合に用いないようにしたこと
を特徴とする画像認識装置である。
【0014】又本発明は、請求項7に記載の画像認識方
法において、前記入力画像と前記辞書とを照合する際に
は前記輝度頻度辞書に基づき認識対象画像として尤もら
しくない画素については照合結果に対する寄与度を低く
するようにしたことを特徴とする画像認識装置である。
法において、前記入力画像と前記辞書とを照合する際に
は前記輝度頻度辞書に基づき認識対象画像として尤もら
しくない画素については照合結果に対する寄与度を低く
するようにしたことを特徴とする画像認識装置である。
【0015】又本発明は、認識対象画像の認識を行なう
画像認識方法において、入力された画像から認識対象画
像領域を切出し、切出された認識対象画像領域の画像中
の特定領域の認識対象画像から照合用の顔照合辞書を作
成し、かっ切出された認識対象画像領域における各画素
の輝度頻度を求めて顔領域抽出用輝度頻度辞書を作成
し、認識対象画像の認識時には入力画像中の画像のうち
前記輝度頻度に基づき認識対象画像として尤もらしい領
域を認識対象画像として抽出し、この抽出された認識対
象画像中の特定領域の認識対象画像から照合用画像を選
択して前記顔照合辞書と照合するようにしたことを特徴
とする画像認識方法である。
画像認識方法において、入力された画像から認識対象画
像領域を切出し、切出された認識対象画像領域の画像中
の特定領域の認識対象画像から照合用の顔照合辞書を作
成し、かっ切出された認識対象画像領域における各画素
の輝度頻度を求めて顔領域抽出用輝度頻度辞書を作成
し、認識対象画像の認識時には入力画像中の画像のうち
前記輝度頻度に基づき認識対象画像として尤もらしい領
域を認識対象画像として抽出し、この抽出された認識対
象画像中の特定領域の認識対象画像から照合用画像を選
択して前記顔照合辞書と照合するようにしたことを特徴
とする画像認識方法である。
【0016】又本発明は、請求項10に記載の画像認識
装置において、前記顔照合辞書を作成する際に、認識対
象画像中の特定領域のパーツ画像に関するパーツ辞書を
作成するとともに、パーツ辞書作成時のパーツ画像の輝
度頻度を求めてパーツ抽出用輝度頻度辞書を作成し、前
記顔照合辞書と入力画像との照合を行なう場合には、前
記顔領域抽出用輝度頻度辞書に基づき抽出された認識対
象画像からパーツ抽出用輝度頻度辞書及びパーツ辞書に
基づき入力画像から特定領域のパーツ画像を抽出し、抽
出されたパーツ画像の位置関係から照合用画像を入力画
像から選択して前記顔照合辞書と照合するようにしたこ
とを特徴とする画像認識方法である。
装置において、前記顔照合辞書を作成する際に、認識対
象画像中の特定領域のパーツ画像に関するパーツ辞書を
作成するとともに、パーツ辞書作成時のパーツ画像の輝
度頻度を求めてパーツ抽出用輝度頻度辞書を作成し、前
記顔照合辞書と入力画像との照合を行なう場合には、前
記顔領域抽出用輝度頻度辞書に基づき抽出された認識対
象画像からパーツ抽出用輝度頻度辞書及びパーツ辞書に
基づき入力画像から特定領域のパーツ画像を抽出し、抽
出されたパーツ画像の位置関係から照合用画像を入力画
像から選択して前記顔照合辞書と照合するようにしたこ
とを特徴とする画像認識方法である。
【0017】又本発明は、請求項10に記載の画像認識
方法において、前記顔照合辞書を作成する際に、顔照合
辞書の認識対象画像の輝度頻度を求めて保持する顔照合
用輝度頻度辞書を作成有し、前記顔照合辞書と照合用画
像とを照合する際には前記顔照合用輝度頻度辞書に基づ
き認識対象画像として尤もらしい画素を用いて照合を行
なうようにしたことを特徴とする画像認識方法である。
方法において、前記顔照合辞書を作成する際に、顔照合
辞書の認識対象画像の輝度頻度を求めて保持する顔照合
用輝度頻度辞書を作成有し、前記顔照合辞書と照合用画
像とを照合する際には前記顔照合用輝度頻度辞書に基づ
き認識対象画像として尤もらしい画素を用いて照合を行
なうようにしたことを特徴とする画像認識方法である。
【0018】又本発明は、認識対象画像の認識を行なう
画像認識装置において、認識対象画像を入力する画像入
力手段と、この入力手段にて入力されたサンプル画像か
ら特徴点を抽出する特徴点抽出手段と、この特徴点抽出
手段にて抽出された各特徴点近傍の部分画像の特徴量を
表す部分辞書パターンを形成して各特徴点の部分辞書を
作成する辞書作成手段と、認識対象画像の認識時には前
記入力手段にて入力された入力画像から前記特徴点抽出
手段にて各特徴点を抽出して各特徴点近傍の部分画像か
ら得られた特徴量と前記部分辞書の部分辞書パターンと
の照合を行なう照合手段とを有することを特徴とする画
像認識装置である。
画像認識装置において、認識対象画像を入力する画像入
力手段と、この入力手段にて入力されたサンプル画像か
ら特徴点を抽出する特徴点抽出手段と、この特徴点抽出
手段にて抽出された各特徴点近傍の部分画像の特徴量を
表す部分辞書パターンを形成して各特徴点の部分辞書を
作成する辞書作成手段と、認識対象画像の認識時には前
記入力手段にて入力された入力画像から前記特徴点抽出
手段にて各特徴点を抽出して各特徴点近傍の部分画像か
ら得られた特徴量と前記部分辞書の部分辞書パターンと
の照合を行なう照合手段とを有することを特徴とする画
像認識装置である。
【0019】又本発明は、請求項13の画像認識装置に
おいて、前記特徴点抽出手段は認識対象画像中の小領域
内における輝度変化が特異な点又は輝度の幾何学的変化
が特異な点を特徴点として抽出することを特徴とする画
像認識装置である。
おいて、前記特徴点抽出手段は認識対象画像中の小領域
内における輝度変化が特異な点又は輝度の幾何学的変化
が特異な点を特徴点として抽出することを特徴とする画
像認識装置である。
【0020】又本発明は、請求項13の画像認識装置に
おいて、前記辞書作成手段による辞書構築時に、サンプ
ル画像から得られた複数の部分辞書パターンについての
冗長性を評価し、非冗長とされた部分辞書パターンのみ
を部分辞書に保持することを特徴とする画像認識装置で
ある。
おいて、前記辞書作成手段による辞書構築時に、サンプ
ル画像から得られた複数の部分辞書パターンについての
冗長性を評価し、非冗長とされた部分辞書パターンのみ
を部分辞書に保持することを特徴とする画像認識装置で
ある。
【0021】又本発明は、請求項13の画像認識装置に
おいて、前記辞書作成手段による辞書構築時に、サンプ
ル画像から得られた複数の部分辞書パターン金てを保持
するのではなく、所定の間隔ごとに特徴量を示す部分辞
書パターンを保持しておき、その間の区間については補
完する近似関数を使用し特徴量を補完することを特徴と
する画像認識装置である。
おいて、前記辞書作成手段による辞書構築時に、サンプ
ル画像から得られた複数の部分辞書パターン金てを保持
するのではなく、所定の間隔ごとに特徴量を示す部分辞
書パターンを保持しておき、その間の区間については補
完する近似関数を使用し特徴量を補完することを特徴と
する画像認識装置である。
【0022】又本発明は、請求項13の画像認識装置に
おいて、各部分辞書パターンに対して用途に応じて認識
に寄与する寄与係数を作成して保持しておき前記照合手
段は寄与係数を加味して照合を行なうようにしたことを
特徴とする画像認識装置である。
おいて、各部分辞書パターンに対して用途に応じて認識
に寄与する寄与係数を作成して保持しておき前記照合手
段は寄与係数を加味して照合を行なうようにしたことを
特徴とする画像認識装置である。
【0023】又本発明は、請求項13の画像認識装置に
おいて、各部分辞書パターンに対して用途に応じて認識
に寄与する寄与係数を作成して保持しておき、前記照合
手段による照合の際には、認識の用途に応じて寄与係数
の分布から認識に有効な部分辞書パターンの集合を選択
して使用するようにしたことを特徴とする画像認識装置
である。
おいて、各部分辞書パターンに対して用途に応じて認識
に寄与する寄与係数を作成して保持しておき、前記照合
手段による照合の際には、認識の用途に応じて寄与係数
の分布から認識に有効な部分辞書パターンの集合を選択
して使用するようにしたことを特徴とする画像認識装置
である。
【0024】又本発明は、請求項13の画像認識装置に
おいて、辞書データに基づき認識対象画像における各画
素の輝度頻度を求めて保持する輝度頻度辞書を有し、画
像の認識時には入力画像と前記作成手段にて作成された
辞書とを照合するとともに、この照合の際には前記輝度
頻度辞書と入力画像の各画素の輝度に基づき入力画像の
各画素について信頼度を加味して照合を行なう照合手段
とを有することを有することを特徴とする画像認識装置
である。
おいて、辞書データに基づき認識対象画像における各画
素の輝度頻度を求めて保持する輝度頻度辞書を有し、画
像の認識時には入力画像と前記作成手段にて作成された
辞書とを照合するとともに、この照合の際には前記輝度
頻度辞書と入力画像の各画素の輝度に基づき入力画像の
各画素について信頼度を加味して照合を行なう照合手段
とを有することを有することを特徴とする画像認識装置
である。
【0025】又本発明は、入力された認識対象画像の認
識を行なう画像認識方法において、入力されたサンプル
画像から特徴点を抽出し、この抽出された各特徴点近傍
の部分画像の特徴量を表す部分辞書パターンを形成して
各特徴点の部分辞書を作成しておき、認識対象画像の認
識時には入力された入力画像から前記特徴点を抽出して
各特徴点近傍の部分画像から得られた特徴量と前記部分
辞書の部分辞書パターンとの照合を行なうようにしたこ
とを特徴とする画像認識方法。
識を行なう画像認識方法において、入力されたサンプル
画像から特徴点を抽出し、この抽出された各特徴点近傍
の部分画像の特徴量を表す部分辞書パターンを形成して
各特徴点の部分辞書を作成しておき、認識対象画像の認
識時には入力された入力画像から前記特徴点を抽出して
各特徴点近傍の部分画像から得られた特徴量と前記部分
辞書の部分辞書パターンとの照合を行なうようにしたこ
とを特徴とする画像認識方法。
【0026】又本発明は、請求項20の画像認識方法に
おいて、前記特徴点抽出においては認識対象画像中の小
領域内における輝度変化が特異な点又は輝度の幾何学的
変化が特異な点を特徴点として抽出することを特徴とす
る画像認識方法である。
おいて、前記特徴点抽出においては認識対象画像中の小
領域内における輝度変化が特異な点又は輝度の幾何学的
変化が特異な点を特徴点として抽出することを特徴とす
る画像認識方法である。
【0027】又本発明は、請求項20の画像認識方法に
おいて、前記辞書作成時に、サンプル画像から得られた
複数の部分辞書パターンについての冗長性を評価し、非
冗長とされた部分辞書パターンのみを部分辞書に保持す
ることを特徴とする画像認識方法である。
おいて、前記辞書作成時に、サンプル画像から得られた
複数の部分辞書パターンについての冗長性を評価し、非
冗長とされた部分辞書パターンのみを部分辞書に保持す
ることを特徴とする画像認識方法である。
【0028】又本発明は、請求項20の画像認識方法に
おいて、前記辞書作成時に、サンプル画像から得られた
複数の部分辞書パターン金てを保持するのではなく、所
定の間隔ごとに特徴量を示す部分辞書パターンを保持し
ておき、その間の区間については補完する近似関数を使
用し特徴量を補完することを特徴とする画像認識方法で
ある。
おいて、前記辞書作成時に、サンプル画像から得られた
複数の部分辞書パターン金てを保持するのではなく、所
定の間隔ごとに特徴量を示す部分辞書パターンを保持し
ておき、その間の区間については補完する近似関数を使
用し特徴量を補完することを特徴とする画像認識方法で
ある。
【0029】又本発明は、請求項20の画像認識方法に
おいて、各部分辞書パターンに対して用途に応じて認識
に寄与する寄与係数を作成して保持しておき前記照合手
段は寄与係数を加味して照合を行なうようにしたことを
特徴とする画像認識方法である。
おいて、各部分辞書パターンに対して用途に応じて認識
に寄与する寄与係数を作成して保持しておき前記照合手
段は寄与係数を加味して照合を行なうようにしたことを
特徴とする画像認識方法である。
【0030】又本発明は、請求項20の画像認識方法に
おいて、各部分辞書パターンに対して用途に応じて認識
に寄与する寄与係数を作成して保持しておき、前記照合
手段による照合の際には、認識の用途に応じて寄与係数
の分布から認識に有効な部分辞書パターンの集合を選択
して使用するようにしたことを特徴とする画像認識方法
である。
おいて、各部分辞書パターンに対して用途に応じて認識
に寄与する寄与係数を作成して保持しておき、前記照合
手段による照合の際には、認識の用途に応じて寄与係数
の分布から認識に有効な部分辞書パターンの集合を選択
して使用するようにしたことを特徴とする画像認識方法
である。
【0031】又本発明は、請求項20の画像認識方法に
おいて、辞書データに基づき認識対象画像における各画
素の輝度頻度を求めて保持する輝度頻度辞書を作成し、
画像の認識時には入力画像と前記辞書とを照合するとと
もに、この照合の際には前記輝度頻度辞書と入力画像の
各画素の輝度に基づき入力画像の各画素について信頼度
を加味して照合を行なうことを有することを特徴とする
画像認識方法である。
おいて、辞書データに基づき認識対象画像における各画
素の輝度頻度を求めて保持する輝度頻度辞書を作成し、
画像の認識時には入力画像と前記辞書とを照合するとと
もに、この照合の際には前記輝度頻度辞書と入力画像の
各画素の輝度に基づき入力画像の各画素について信頼度
を加味して照合を行なうことを有することを特徴とする
画像認識方法である。
【0032】又本発明は、人物の顔画像を含む対象の画
像を取り込む取込工程と、前記取込工程にて取り込んだ
対象画像に関し、この対象画像の所定領域内での輝度の
分布の特異点に基づいて、特徴点を検出する特徴点検出
工程と、予め格納された認識のための特徴点の複数基準
データに関して照合のための有効性を示す複数寄与係数
をそれぞれ算出し格納する寄与係数工程と、前記複数基
準データの冗長性を考慮し、冗長な基準データを削除す
る基準データ削除工程と、前記基準データ削除工程にて
冗長な基準データが削除された際の残りの複数基準デー
タと、前記特徴点検出工程にて検出した特徴点とを、前
記寄与係数工程にて格納している前記寄与係数に基づ
き、前記複数の単位領域ごとに比較し、前記対象画像を
照合する照合工程とを有することを特徴とする画像認識
方法である。
像を取り込む取込工程と、前記取込工程にて取り込んだ
対象画像に関し、この対象画像の所定領域内での輝度の
分布の特異点に基づいて、特徴点を検出する特徴点検出
工程と、予め格納された認識のための特徴点の複数基準
データに関して照合のための有効性を示す複数寄与係数
をそれぞれ算出し格納する寄与係数工程と、前記複数基
準データの冗長性を考慮し、冗長な基準データを削除す
る基準データ削除工程と、前記基準データ削除工程にて
冗長な基準データが削除された際の残りの複数基準デー
タと、前記特徴点検出工程にて検出した特徴点とを、前
記寄与係数工程にて格納している前記寄与係数に基づ
き、前記複数の単位領域ごとに比較し、前記対象画像を
照合する照合工程とを有することを特徴とする画像認識
方法である。
【0033】
【発明の実施の形態】以下、図面を用いて本発明を詳細
に説明する。以下には、本方式を用いてビデオカメラか
ら入力された画像中に含まれる人物の顔領域を切り出
し、その姿勢を推定し、映像中の人物と辞書登録された
人物との照合を行うための装置の二つの実施形態が示さ
れる。
に説明する。以下には、本方式を用いてビデオカメラか
ら入力された画像中に含まれる人物の顔領域を切り出
し、その姿勢を推定し、映像中の人物と辞書登録された
人物との照合を行うための装置の二つの実施形態が示さ
れる。
【0034】(1)第1の実施形態の概要処理説明 図1は、本装置の実施形態の構成図である。図1におい
て、この人物顔認識装置は、画像入力部1と、これに接
続される画像蓄積部2と、これに接続されるユーザ操作
部13と、これに接続される辞書作成部14と、これに
接続される顔領域抽出用輝度頻度辞書7、顔パーツ抽出
用輝度頻度辞書8,照合用輝度頻度辞書9、顔領域抽出
部3、顔切り出し辞書10、顔パーツ抽出部4、顔パー
ツ辞書11、照合位置決定部5と、照合部6と、この照
合部6に接続される顔照合辞書12と、照合部6に接続
される表示部15とを有している。
て、この人物顔認識装置は、画像入力部1と、これに接
続される画像蓄積部2と、これに接続されるユーザ操作
部13と、これに接続される辞書作成部14と、これに
接続される顔領域抽出用輝度頻度辞書7、顔パーツ抽出
用輝度頻度辞書8,照合用輝度頻度辞書9、顔領域抽出
部3、顔切り出し辞書10、顔パーツ抽出部4、顔パー
ツ辞書11、照合位置決定部5と、照合部6と、この照
合部6に接続される顔照合辞書12と、照合部6に接続
される表示部15とを有している。
【0035】この人物顔認識装置は、上述の顔切り出
し、姿勢推定、顔照合の動作を行うために、複数撮影環
境下の複数人物での顔画像サンプルから作成した顔切出
辞書10、目、口などの顔パーツ辞書11を用いる。
し、姿勢推定、顔照合の動作を行うために、複数撮影環
境下の複数人物での顔画像サンプルから作成した顔切出
辞書10、目、口などの顔パーツ辞書11を用いる。
【0036】図2は、本発明に係る第1実施形態に係る
概略処理のフローチャートであり、以下、図2を用いて
動作を説明する。本実施形態のシステムは、モノクロ、
またはカラーのテレビカメラとA/D変換器とからなる
画像入力部1により数フレームごとに入力されたディジ
タル画像データを一度、画像蓄積部2に格納する(S1
1)。そして、顔領域抽出部3においては顔領域抽出部
用輝度頻度辞書7に基づき、各画素について顔領域抽出
用輝度信頼度を計算し(S13)、この顔領域抽出用輝
度信頼度と顔切出用辞書10とから、顔領域を抽出する
(S15)。
概略処理のフローチャートであり、以下、図2を用いて
動作を説明する。本実施形態のシステムは、モノクロ、
またはカラーのテレビカメラとA/D変換器とからなる
画像入力部1により数フレームごとに入力されたディジ
タル画像データを一度、画像蓄積部2に格納する(S1
1)。そして、顔領域抽出部3においては顔領域抽出部
用輝度頻度辞書7に基づき、各画素について顔領域抽出
用輝度信頼度を計算し(S13)、この顔領域抽出用輝
度信頼度と顔切出用辞書10とから、顔領域を抽出する
(S15)。
【0037】更に、顔パーツ抽出部4においては顔領域
内部の顔パーツ用輝度信頼度を計算し(S17)、この
輝度信頼度と顔パーツ辞書とから、目、口を抽出する
(S19)。更に照合位置決定部5においては、顔パー
ツ領域の位置と入力画像とから照合用画像を生成する
(S21)。そして最終的に、照合部6において照合用
画像と登録済み辞書とのパターンマッチングを照合用信
頼度辞書に従って算出する(S23)ことで、入力画像
中の人物と辞書内登録人物との照合を行う。
内部の顔パーツ用輝度信頼度を計算し(S17)、この
輝度信頼度と顔パーツ辞書とから、目、口を抽出する
(S19)。更に照合位置決定部5においては、顔パー
ツ領域の位置と入力画像とから照合用画像を生成する
(S21)。そして最終的に、照合部6において照合用
画像と登録済み辞書とのパターンマッチングを照合用信
頼度辞書に従って算出する(S23)ことで、入力画像
中の人物と辞書内登録人物との照合を行う。
【0038】つまり、顔領域抽出部3、顔パーツ抽出部
4、照合部6においては、入力画像と顔辞書とのパター
ンマッチングを行うが、その際、本発明の第1実施形態
の特徴である輝度信頼度を用いて、顔画像の辞書データ
のうち、輝度の分布の信頼度が一定水準であるものを中
心にマッチングを行うことで、迅速にしかも一定の認識
精度を確保する人物認識装置を実現するものである。
4、照合部6においては、入力画像と顔辞書とのパター
ンマッチングを行うが、その際、本発明の第1実施形態
の特徴である輝度信頼度を用いて、顔画像の辞書データ
のうち、輝度の分布の信頼度が一定水準であるものを中
心にマッチングを行うことで、迅速にしかも一定の認識
精度を確保する人物認識装置を実現するものである。
【0039】なお、上記において画像入力部1がモノク
ロカメラからの入力を対象とした場合には、画像蓄積部
2は、8bitsのモノクロ階調画像として蓄積し、カ
ラー画像を対象とした場合には入力画像(RGB)の色
成分を輝度成分Yに変換して蓄積する。このときの変換
式は一般に用いられている以下のようなもので差し支え
ない。
ロカメラからの入力を対象とした場合には、画像蓄積部
2は、8bitsのモノクロ階調画像として蓄積し、カ
ラー画像を対象とした場合には入力画像(RGB)の色
成分を輝度成分Yに変換して蓄積する。このときの変換
式は一般に用いられている以下のようなもので差し支え
ない。
【0040】 Y=0.30・R+0.59・G+0.11・B (1) 以上が第1実施形態の概要であるが、以下に顔領域抽出
部3、顔パーツ抽出部4、照合位置決定部5、照合部6
の処理について詳細に説明する。
部3、顔パーツ抽出部4、照合位置決定部5、照合部6
の処理について詳細に説明する。
【0041】(a)顔切り出し、照合辞書、顔パーツ辞
書の作成 まず初めに、複数撮影環境、複数人物の顔のサンプル画
像データを収集し、これらから顔が含まれる領域をマウ
スなどからなるユーザ操作部13によってマニュアルで
切り出し、表示部15で確認した画像ベクトルをIi
(i=1,…P,P:全サンプル数)とし、これらのそ
れぞれを一定サイズNに正規化し、各画像内の照明変動
を正規化した後、主成分分析して固有値の上位K次元
(k<N)を使用し、顔パターンを作成する。このとき
生成された辞書としては、上記主成分分析による固有ベ
クトル(N次元)を固有値が大なる方からk個集めたも
のとなる。
書の作成 まず初めに、複数撮影環境、複数人物の顔のサンプル画
像データを収集し、これらから顔が含まれる領域をマウ
スなどからなるユーザ操作部13によってマニュアルで
切り出し、表示部15で確認した画像ベクトルをIi
(i=1,…P,P:全サンプル数)とし、これらのそ
れぞれを一定サイズNに正規化し、各画像内の照明変動
を正規化した後、主成分分析して固有値の上位K次元
(k<N)を使用し、顔パターンを作成する。このとき
生成された辞書としては、上記主成分分析による固有ベ
クトル(N次元)を固有値が大なる方からk個集めたも
のとなる。
【0042】ここでサイズについての正規化としては、
正規化画像のサイズが一定となるようにIi を一定割合
で間引いたものとして良い。また照明変動に対する正規
化としては、本明細書の“従来の問題点”で述べた“画
像ベクトルの大きさによる正規化”(ベクトルの各成分
をベクトルのノルムで割っておく)、“ヒストグラム平
坦化”[1]、“画面内輝度の平面当てはめ”[1]な
どを使用して良い。
正規化画像のサイズが一定となるようにIi を一定割合
で間引いたものとして良い。また照明変動に対する正規
化としては、本明細書の“従来の問題点”で述べた“画
像ベクトルの大きさによる正規化”(ベクトルの各成分
をベクトルのノルムで割っておく)、“ヒストグラム平
坦化”[1]、“画面内輝度の平面当てはめ”[1]な
どを使用して良い。
【0043】以上において、辞書作成用サンプル画像デ
ータとして複数撮影環境、かつ各登録者jごと(ただし
j=1,…Pj ;ΣPj =P)のデータのみを使用して
作成したものを顔照合用辞書12とし、複数撮影環境、
かつ複数人のデータを全て使用して作成したものを顔切
り出し辞書10とする。
ータとして複数撮影環境、かつ各登録者jごと(ただし
j=1,…Pj ;ΣPj =P)のデータのみを使用して
作成したものを顔照合用辞書12とし、複数撮影環境、
かつ複数人のデータを全て使用して作成したものを顔切
り出し辞書10とする。
【0044】顔パーツ辞書11も同ようにして作成され
るものであるが、サンプル画像としては、顔全体を用い
るのではなく、目、口の領域のみを使用する。 (b)顔領域抽出、顔パーツ抽出 次に、顔領域抽出部3で行う入力画面内の顔位置の検出
について、図2に示すフローチャートに従って説明す
る。顔領域抽出部3では、画像蓄積部2に一時的に蓄積
された画像(原画)について、顔位置の検出が行われ
る。
るものであるが、サンプル画像としては、顔全体を用い
るのではなく、目、口の領域のみを使用する。 (b)顔領域抽出、顔パーツ抽出 次に、顔領域抽出部3で行う入力画面内の顔位置の検出
について、図2に示すフローチャートに従って説明す
る。顔領域抽出部3では、画像蓄積部2に一時的に蓄積
された画像(原画)について、顔位置の検出が行われ
る。
【0045】初めに、輝度頻度辞書7から顔領域抽出用
の輝度分布を取得する(S31)。そして、原画をある
解像度に縮小した縮小画像を作成する(S33)。次
に、縮小画像の画面ごとの顔領域抽出用輝度信頼度を算
出(更新)する(S35)。そして、この縮小画像内を
ラスタスキャンして、前述の顔切り出し辞書11内に蓄
積された特徴ベクトルサイズにしたがって、部分画像を
切り出し、特徴ベクトルとの間のマッチングをとる(S
37)。更に、そして縮小率を複数変えた場合におい
て、前述のマッチングの評価がもっとも良いときの位置
を顔領域とする(S39、S41)。
の輝度分布を取得する(S31)。そして、原画をある
解像度に縮小した縮小画像を作成する(S33)。次
に、縮小画像の画面ごとの顔領域抽出用輝度信頼度を算
出(更新)する(S35)。そして、この縮小画像内を
ラスタスキャンして、前述の顔切り出し辞書11内に蓄
積された特徴ベクトルサイズにしたがって、部分画像を
切り出し、特徴ベクトルとの間のマッチングをとる(S
37)。更に、そして縮小率を複数変えた場合におい
て、前述のマッチングの評価がもっとも良いときの位置
を顔領域とする(S39、S41)。
【0046】マッチング手法としては、文字や音声のパ
ターン認識手法として一般的なように、辞書内特徴ベク
トルと部分画像ベクトルとについての、内積最大なるも
のを検出するか、距離(例えばユークリッド距離、マハ
ラノビス汎距離等)最小なるものを検出するという方法
を使用して差し支えない。
ターン認識手法として一般的なように、辞書内特徴ベク
トルと部分画像ベクトルとについての、内積最大なるも
のを検出するか、距離(例えばユークリッド距離、マハ
ラノビス汎距離等)最小なるものを検出するという方法
を使用して差し支えない。
【0047】具体的には内積による方法では、 1/|V| Σ (V,Dk) (2) k=1,K ただし、V:切り出し部分画像サイズ正規化画像ベクト
ル、Dk:顔切り出し辞書の第i固有ベクトルであり、
|V|はVのノルムである。(V,Dk)はVとDkの
内積であるが、両者の次元数をM次元とすると (V,Dk)=Σ v(i) × dk(i) (3) i=l,Mとなる。ただし、v(i),dk(i)はそ
れぞれのベクトルの第i要素。
ル、Dk:顔切り出し辞書の第i固有ベクトルであり、
|V|はVのノルムである。(V,Dk)はVとDkの
内積であるが、両者の次元数をM次元とすると (V,Dk)=Σ v(i) × dk(i) (3) i=l,Mとなる。ただし、v(i),dk(i)はそ
れぞれのベクトルの第i要素。
【0048】また距離による方法では、上述のVと辞書
サンプルベクトルの代表値たとえば上記D1とをDk
(k=1,…K)に射影してそれぞれ射影ベクトルP
V、PD1を作成し、それらのユークリッド距離1を求
める。
サンプルベクトルの代表値たとえば上記D1とをDk
(k=1,…K)に射影してそれぞれ射影ベクトルP
V、PD1を作成し、それらのユークリッド距離1を求
める。
【0049】ここに PV(k)=(V,Dk) (3) ′ ただし、k=1,…Kであり、PD1(k)=(D1,
Dk)である。
Dk)である。
【0050】以上で式(3)、式(3)′においてVの
各要素は入力画像内から切り出された部分画像を一定サ
イズに正規化して作成した画像の各画素に相当するが、
これらについて後述の輝度頻度辞書から画素ごとに判定
した信頼度を用いて重み付けを行い、輝度として尤もら
しい画素のみを使用してマッチングを行うのが本実施形
態のポイントである。したがって、(3)、(3)′は
以下のようになる。
各要素は入力画像内から切り出された部分画像を一定サ
イズに正規化して作成した画像の各画素に相当するが、
これらについて後述の輝度頻度辞書から画素ごとに判定
した信頼度を用いて重み付けを行い、輝度として尤もら
しい画素のみを使用してマッチングを行うのが本実施形
態のポイントである。したがって、(3)、(3)′は
以下のようになる。
【0051】 (V,Dk)=PV(k)=Σ v(i)×T(i)×dk(i) (3) ″ i=1,M ここにT(i)は上記信頼度である。上記で各解像度画
像が生成されるごとに輝度信頼度も後述の方法で更新す
る。
像が生成されるごとに輝度信頼度も後述の方法で更新す
る。
【0052】顔パーツ抽出部4ではパーツとして目、口
を抽出するが、入力画像中で、上記顔領域抽出部3で検
出された顔領域内部に対して、これと同ようなパターン
マッチングを顔パーツ辞書11を用いて行う。図4は、
顔パーツの抽出処理を示すフローチャートである。図4
において、注目パーツとして左目、右目、口のうちの一
種類を設定する(S51)。このとき、目、口というパ
ーツごとに、注目パーツ用の別々の輝度頻度を使用して
信頼度を算出する(S53)。そして、顔領域内部で輝
度信頼度と注目パーツ辞書とから、注目パーツを抽出す
る(S55)。このようにして全パーツを抽出するまで
(S57)、注目パーツを次々と替えていき、注目パー
ツの検出を続ける(S59)。
を抽出するが、入力画像中で、上記顔領域抽出部3で検
出された顔領域内部に対して、これと同ようなパターン
マッチングを顔パーツ辞書11を用いて行う。図4は、
顔パーツの抽出処理を示すフローチャートである。図4
において、注目パーツとして左目、右目、口のうちの一
種類を設定する(S51)。このとき、目、口というパ
ーツごとに、注目パーツ用の別々の輝度頻度を使用して
信頼度を算出する(S53)。そして、顔領域内部で輝
度信頼度と注目パーツ辞書とから、注目パーツを抽出す
る(S55)。このようにして全パーツを抽出するまで
(S57)、注目パーツを次々と替えていき、注目パー
ツの検出を続ける(S59)。
【0053】(c)輝度頻度辞書の作成と信頼度判定 次に、輝度頻度辞書(7,8,9)の作成とその信頼度
の判定について、以下に述べる。
の判定について、以下に述べる。
【0054】前述の(a)のように、複数撮影環境にお
ける複数登録者についてのサンプル画像を収集し、顔領
域として切り出された画像Ii (i=1,…P,P:サ
ンプル数)について一定サイズNに正規化した画像をJ
i (i=1,…P,P:サンプル数)とする。
ける複数登録者についてのサンプル画像を収集し、顔領
域として切り出された画像Ii (i=1,…P,P:サ
ンプル数)について一定サイズNに正規化した画像をJ
i (i=1,…P,P:サンプル数)とする。
【0055】まず、各Ji の各画素点(x,y)ごとに
全サンプルに対する輝度の頻度分布h(x,y,I)を
作成し、輝度頻度辞書(7,8,9)とする。そして認
識時にはh(x,y,I)と入力部分画像の対応画素I
(x,y)とから信頼度w(x,y)を算出する。ここ
で輝度頻度辞書としては、顔抽出用7、顔パーツ抽出用
8、顔照合用9として別々のものを以下のように準備す
る。
全サンプルに対する輝度の頻度分布h(x,y,I)を
作成し、輝度頻度辞書(7,8,9)とする。そして認
識時にはh(x,y,I)と入力部分画像の対応画素I
(x,y)とから信頼度w(x,y)を算出する。ここ
で輝度頻度辞書としては、顔抽出用7、顔パーツ抽出用
8、顔照合用9として別々のものを以下のように準備す
る。
【0056】上記のような信頼度の算法としては様々な
ものが考えられるが、たとえば輝度分布h(x,y,
I)の平均Mhと標準偏差σhとから信頼度T(x,
y)を以下のように決定しても良い。
ものが考えられるが、たとえば輝度分布h(x,y,
I)の平均Mhと標準偏差σhとから信頼度T(x,
y)を以下のように決定しても良い。
【0057】 T(x,y)={1/Σh(x,y,I)} × h(x,y,I) if |I−Mh|<α × σ I=Imin,…Imax =0 else (4) ただし上記でαは信頼度の範囲を決定するための任意の
定数であり、Imax ,Imin は観測画像の輝度値の最大
値と最小値である。
定数であり、Imax ,Imin は観測画像の輝度値の最大
値と最小値である。
【0058】また別手法としては文献[2]に示すよう
な事後確率変換による手法を用いても良い。ここで、事
象θ0を信頼できるもの、事象θ1を信頼できないもの
とする。ある部分画像内の画素の輝度を観測する前のθ
0、θ1の事前確率がそれぞれw0、w1であるとき
(ただしw0+w1=1)、事後確率w1′は事象θk
のもとでの画素輝度Iの条件付き確率をP(I|θk)
とするときベイズの定理から w1′={w1 p(I|θ1)}/ {p(I |θ0)(1-W1)+p(I|θ1)w1} (5) となり、このw1′を信頼度として用いる。
な事後確率変換による手法を用いても良い。ここで、事
象θ0を信頼できるもの、事象θ1を信頼できないもの
とする。ある部分画像内の画素の輝度を観測する前のθ
0、θ1の事前確率がそれぞれw0、w1であるとき
(ただしw0+w1=1)、事後確率w1′は事象θk
のもとでの画素輝度Iの条件付き確率をP(I|θk)
とするときベイズの定理から w1′={w1 p(I|θ1)}/ {p(I |θ0)(1-W1)+p(I|θ1)w1} (5) となり、このw1′を信頼度として用いる。
【0059】ここで、顔辞書作成時の切り出し画像の頻
度分布h(x,y,I)から p(I|θ0)={1/Σh(x,y,I)} × h(x,y,I) (6) I=Imin,…Imaxであり、p(I|θ1)は一般にデ
ータサンプルが無いため、 p(I|θ1)=1/(Imax −Imin ) (7) と推定する。また上記は入力画像が更新されるたびにw
1=w1′と更新し、w1の初期値=1.0/2.0と
してよい。
度分布h(x,y,I)から p(I|θ0)={1/Σh(x,y,I)} × h(x,y,I) (6) I=Imin,…Imaxであり、p(I|θ1)は一般にデ
ータサンプルが無いため、 p(I|θ1)=1/(Imax −Imin ) (7) と推定する。また上記は入力画像が更新されるたびにw
1=w1′と更新し、w1の初期値=1.0/2.0と
してよい。
【0060】(d)照合位置の決定 照合位置決定部5では、顔領域抽出部3で求められた顔
領域と顔パーツ抽出部4で求められた顔パーツとの関係
から、人の顔として経時変化の少ない領域として顔の目
と口の端が結ぶ四辺形領域を選択し、これが照合辞書1
2での顔パーツの位置に一致するようにアフィン変換や
[3]に示す幾何変換を用いて変形した切り出し領域か
らなる照合用画像を作成する。
領域と顔パーツ抽出部4で求められた顔パーツとの関係
から、人の顔として経時変化の少ない領域として顔の目
と口の端が結ぶ四辺形領域を選択し、これが照合辞書1
2での顔パーツの位置に一致するようにアフィン変換や
[3]に示す幾何変換を用いて変形した切り出し領域か
らなる照合用画像を作成する。
【0061】(e)照合 最後に、図5のフローチャートを用いて照合の手順を説
明する。照合位置決定部5によって作成された照合用画
像について、照合辞書12と(b)で示したのと同一の
手法によってパターンマッチングを行うが、この際に
は、照合対象としては、照合辞書12内の登録者jごと
の辞書Dj となる。
明する。照合位置決定部5によって作成された照合用画
像について、照合辞書12と(b)で示したのと同一の
手法によってパターンマッチングを行うが、この際に
は、照合対象としては、照合辞書12内の登録者jごと
の辞書Dj となる。
【0062】つまり、注目登録済み人物の辞書として、
個人iのものDiを設定する(S61)。そして、注目
人物の輝度信頼度を計算する(S63)。更に、照合領
域内部で照度信頼度とDiとから注目人物との類似度
(距離)を算出する(S65)。ここにおいても、切り
出し画像内での各画素について判定した信頼度を用いた
(3)″式に基づいたマッチングを行う。ここで、照合
用画像と辞書Dj とのマッチングを行うにあたり、輝度
頻度分布は個人辞書ごとに異なるため、照合用辞書ごと
に異なる分布を使用してもよいし、登録者全体の頻度分
布を1つ作成し、これのみを使用してもよい。
個人iのものDiを設定する(S61)。そして、注目
人物の輝度信頼度を計算する(S63)。更に、照合領
域内部で照度信頼度とDiとから注目人物との類似度
(距離)を算出する(S65)。ここにおいても、切り
出し画像内での各画素について判定した信頼度を用いた
(3)″式に基づいたマッチングを行う。ここで、照合
用画像と辞書Dj とのマッチングを行うにあたり、輝度
頻度分布は個人辞書ごとに異なるため、照合用辞書ごと
に異なる分布を使用してもよいし、登録者全体の頻度分
布を1つ作成し、これのみを使用してもよい。
【0063】更にこのマッチングを全登録者と照合する
までこれを行い(S67,S71)、最適なマッチング
が行われた人物のIDを出力することで、照合が終了す
る(S69)。
までこれを行い(S67,S71)、最適なマッチング
が行われた人物のIDを出力することで、照合が終了す
る(S69)。
【0064】更に、このマッチングの際の信頼度の扱い
方であるが、その方法が少なくとも二つ考えられる。一
つは、信頼度の程度に応じて、この値を係数としこの大
きさに応じてマッチングを行う。つまり、辞書データの
なかで、信頼度の高い単位領域(メッシュ)について
は、原画像と100%に近いマッチングを行う。一方、
信頼度が低い単位領域(メッシュ)については、低い程
度にマッチングの程度を減らしていくものである。こう
することにより、輝度の程度に応じた、最適なマッチン
グを実現することができる。
方であるが、その方法が少なくとも二つ考えられる。一
つは、信頼度の程度に応じて、この値を係数としこの大
きさに応じてマッチングを行う。つまり、辞書データの
なかで、信頼度の高い単位領域(メッシュ)について
は、原画像と100%に近いマッチングを行う。一方、
信頼度が低い単位領域(メッシュ)については、低い程
度にマッチングの程度を減らしていくものである。こう
することにより、輝度の程度に応じた、最適なマッチン
グを実現することができる。
【0065】もう一つは、信頼度に関するしきい値を設
け、この信頼度が一定値以下の値であれば、この信頼度
に関する辞書データの単位領域(メッシュ)について
は、原画像とのマッチングを行わない。一定値以上であ
れば、この辞書データの単位領域(メッシュ)は原画像
とのマッチングを行うというものである。
け、この信頼度が一定値以下の値であれば、この信頼度
に関する辞書データの単位領域(メッシュ)について
は、原画像とのマッチングを行わない。一定値以上であ
れば、この辞書データの単位領域(メッシュ)は原画像
とのマッチングを行うというものである。
【0066】(2)第2の実施形態の概要処理説明 次に、本発明の第2の実施形態について、以下に図面を
用いて詳細に説明する。
用いて詳細に説明する。
【0067】第1の実施形態の特徴は、辞書データの輝
度に関する信頼度を求め、この信頼度に応じて辞書デー
タを扱うことで、本質的な識別精度を落とすことなく、
マッチングの頻度を減らしていくことで、認識処理の速
度を向上させるものである。
度に関する信頼度を求め、この信頼度に応じて辞書デー
タを扱うことで、本質的な識別精度を落とすことなく、
マッチングの頻度を減らしていくことで、認識処理の速
度を向上させるものである。
【0068】一方、第2の実施形態においては、本発明
の第2のポイントとして、辞書データの各単位領域(メ
ッシュ)の内、識別処理に寄与する程度を表す寄与係数
なるものを計算し、これを各辞書データの各単位領域に
対応させてあらかじめ記憶させておく。そして、寄与係
数の低い単位領域については、例えばこれは、画面上の
顔領域以外の、例えば背景の画像がこれに対応するが、
原画像とのマッチングの際に、マッチングの対象としな
いようにして、マッチングに係る時間を短縮化し、認識
処理の迅速化を図るものである。
の第2のポイントとして、辞書データの各単位領域(メ
ッシュ)の内、識別処理に寄与する程度を表す寄与係数
なるものを計算し、これを各辞書データの各単位領域に
対応させてあらかじめ記憶させておく。そして、寄与係
数の低い単位領域については、例えばこれは、画面上の
顔領域以外の、例えば背景の画像がこれに対応するが、
原画像とのマッチングの際に、マッチングの対象としな
いようにして、マッチングに係る時間を短縮化し、認識
処理の迅速化を図るものである。
【0069】図6は、第2の実施形態の構成図である。
図6において、この人物顔認識装置は、画像入力部1
と、これに接続される画像蓄積部2と、これに接続され
る特徴点抽出部18と、これに接続される辞書作成部1
9と、これに接続される辞書再評価部20と、これに接
続される部分特徴辞書23と、これに接続される顔領域
抽出部21と、これに接続される顔姿勢推定部22と、
これに接続される照合部6と、辞書作成部19に接続さ
れる顔領域抽出用寄与係数24、顔姿勢推定用寄与係数
25、照合用寄与係数26と、更に辞書作成部19に接
続される顔領域抽出用輝度頻度辞書27、顔姿勢推定用
輝度頻度辞書28、照合用輝度頻度辞書29と、照合部
60に接続される表示部31と、これに接続されるユー
ザ操作部30とをそれぞれ有する。
図6において、この人物顔認識装置は、画像入力部1
と、これに接続される画像蓄積部2と、これに接続され
る特徴点抽出部18と、これに接続される辞書作成部1
9と、これに接続される辞書再評価部20と、これに接
続される部分特徴辞書23と、これに接続される顔領域
抽出部21と、これに接続される顔姿勢推定部22と、
これに接続される照合部6と、辞書作成部19に接続さ
れる顔領域抽出用寄与係数24、顔姿勢推定用寄与係数
25、照合用寄与係数26と、更に辞書作成部19に接
続される顔領域抽出用輝度頻度辞書27、顔姿勢推定用
輝度頻度辞書28、照合用輝度頻度辞書29と、照合部
60に接続される表示部31と、これに接続されるユー
ザ操作部30とをそれぞれ有する。
【0070】このような構造において、第2の実施形態
の人物顔認識装置は、顔領域抽出、顔姿勢推定、照合の
各用途ごとに各辞書***影データの認識有効性を示す寄
与係数が辞書作成部19により作成される。更に、この
寄与係数の程度に応じて、辞書データの単位領域(メッ
シュ)が、識別のためのマッチングに使用されたり、使
用されなかったりして、実質的な識別精度を保持しなが
ら、照合処理の迅速化を図るものである。
の人物顔認識装置は、顔領域抽出、顔姿勢推定、照合の
各用途ごとに各辞書***影データの認識有効性を示す寄
与係数が辞書作成部19により作成される。更に、この
寄与係数の程度に応じて、辞書データの単位領域(メッ
シュ)が、識別のためのマッチングに使用されたり、使
用されなかったりして、実質的な識別精度を保持しなが
ら、照合処理の迅速化を図るものである。
【0071】以下、第2の実施形態の処理の動作と、そ
の他の本発明のポイントを、図7,図8のフローチャー
トを用いて説明する。本実施形態のシステムは、モノク
ロ、またはカラーのテレビカメラとA/D変換器とから
なる画像入力部16により数フレームごとに入力された
ディジタル画像データを一度、画像蓄積部17に格納し
(S71)、特徴点抽出手段18で得られた特徴点周囲
の画像を切り出し、辞書作成手段19によって前述の辞
書23,27,28,29を作成する。
の他の本発明のポイントを、図7,図8のフローチャー
トを用いて説明する。本実施形態のシステムは、モノク
ロ、またはカラーのテレビカメラとA/D変換器とから
なる画像入力部16により数フレームごとに入力された
ディジタル画像データを一度、画像蓄積部17に格納し
(S71)、特徴点抽出手段18で得られた特徴点周囲
の画像を切り出し、辞書作成手段19によって前述の辞
書23,27,28,29を作成する。
【0072】まず、画像入力部16により数フレームご
とに入力されたデジタル画像を入力し画像蓄積部17に
格納する。更に、本発明の第3ポイントとして、顔切り
出し、姿勢推定、顔照合の動作を行うために、特徴点抽
出部18により、複数撮影環境下の複数人物での顔画像
サンプルから認識に有効な特徴点の抽出を効率的に行な
う(S73)。そして、辞書作成部19においては、特
徴点の近傍の小領域を窓としてもち、それら窓画像を主
成分分析した部分空間と、各窓をその空間へ射影した射
影ベクトルとを辞書24として作成する(S75)。こ
の方式によれば、入力画像に対しても同ような窓領域内
画像の前記部分空間への射影を計算し、それらと辞書内
射影とのマッチングを用いることで、認識時の顔画像の
部分的照明変動や他の物体による顔領域の一部の隠れに
対しても、誤認識の発生を抑制することができる。
とに入力されたデジタル画像を入力し画像蓄積部17に
格納する。更に、本発明の第3ポイントとして、顔切り
出し、姿勢推定、顔照合の動作を行うために、特徴点抽
出部18により、複数撮影環境下の複数人物での顔画像
サンプルから認識に有効な特徴点の抽出を効率的に行な
う(S73)。そして、辞書作成部19においては、特
徴点の近傍の小領域を窓としてもち、それら窓画像を主
成分分析した部分空間と、各窓をその空間へ射影した射
影ベクトルとを辞書24として作成する(S75)。こ
の方式によれば、入力画像に対しても同ような窓領域内
画像の前記部分空間への射影を計算し、それらと辞書内
射影とのマッチングを用いることで、認識時の顔画像の
部分的照明変動や他の物体による顔領域の一部の隠れに
対しても、誤認識の発生を抑制することができる。
【0073】更に本発明の第4ポイントとして、辞書再
評価部20において辞書***影データの冗長性の評価と
圧縮を行う。つまり、辞書データ内に射影データが繰り
返し同様のパターンを描いて存在している場合、原画像
とのマッチングを行う際に、比較の意味があまりないよ
うなデータ、冗長性の高いデータを削除することで、辞
書データを削減し、これによりマッチング速度を向上さ
せていく(S77)。
評価部20において辞書***影データの冗長性の評価と
圧縮を行う。つまり、辞書データ内に射影データが繰り
返し同様のパターンを描いて存在している場合、原画像
とのマッチングを行う際に、比較の意味があまりないよ
うなデータ、冗長性の高いデータを削除することで、辞
書データを削減し、これによりマッチング速度を向上さ
せていく(S77)。
【0074】次に本発明の第5ポイントとして上げられ
る、各サンプル内部の画像射影変動の近似関数表現を行
い、これにより、辞書データの効率的な削減を行う(S
79)。つまり、辞書データが、近似関数により表すこ
とができる場合、これを近似関数に表すことで、データ
量を大幅に削減することができる。これにより、マッチ
ング速度を非常に向上させることができる。
る、各サンプル内部の画像射影変動の近似関数表現を行
い、これにより、辞書データの効率的な削減を行う(S
79)。つまり、辞書データが、近似関数により表すこ
とができる場合、これを近似関数に表すことで、データ
量を大幅に削減することができる。これにより、マッチ
ング速度を非常に向上させることができる。
【0075】このような画像サンプルをマニュアルで用
途ごとに分類する(S81)。そして、辞書作成部19
においては、初めに上げた本発明の第2ポイントとして
の特徴である、寄与係数の算出を行う。つまり、辞書デ
ータの各単位領域(メッシュ)の内、識別処理に関与す
る程度を表す寄与係数を計算し、これを各辞書データの
各単位領域に対応させてあらかじめ記憶させておく(S
83)。そして、寄与係数の低い単位領域については、
例えばこれは、画面上の顔領域以外の、例えば背景の画
像がこれに対応するが、原画像とのマッチングの際に、
マッチングの対象としないようにして、マッチングに係
る時間を短縮化し、認識処理の迅速化を図るものであ
る。
途ごとに分類する(S81)。そして、辞書作成部19
においては、初めに上げた本発明の第2ポイントとして
の特徴である、寄与係数の算出を行う。つまり、辞書デ
ータの各単位領域(メッシュ)の内、識別処理に関与す
る程度を表す寄与係数を計算し、これを各辞書データの
各単位領域に対応させてあらかじめ記憶させておく(S
83)。そして、寄与係数の低い単位領域については、
例えばこれは、画面上の顔領域以外の、例えば背景の画
像がこれに対応するが、原画像とのマッチングの際に、
マッチングの対象としないようにして、マッチングに係
る時間を短縮化し、認識処理の迅速化を図るものであ
る。
【0076】そして、本発明の第6ポイントとして、全
辞書サンプルに対する統計分布からしきい値以上に寄与
係数の高いもののみを選択してマッチングに使用するこ
とで、処理速度向上を図るものである(S85)。
辞書サンプルに対する統計分布からしきい値以上に寄与
係数の高いもののみを選択してマッチングに使用するこ
とで、処理速度向上を図るものである(S85)。
【0077】次に入力画像に対して、特徴点抽出部18
で抽出された特徴点周囲の部分画像と辞書***影データ
とのマッチングの結果から、顔領域推定部21、顔姿勢
推定部22、照合部23において、顔が画面内のどこに
存在し、どういう向きで、だれの顔であるかを求める。
これらの各処理においては前述の辞書内の寄与係数にし
たがった重み付をおこなったマッチングを用いる。
で抽出された特徴点周囲の部分画像と辞書***影データ
とのマッチングの結果から、顔領域推定部21、顔姿勢
推定部22、照合部23において、顔が画面内のどこに
存在し、どういう向きで、だれの顔であるかを求める。
これらの各処理においては前述の辞書内の寄与係数にし
たがった重み付をおこなったマッチングを用いる。
【0078】又、以上のマッチングにおいて、更に、本
発明の第7ポイントとして、第1の実施形態と同ような
手法を適用して、辞書作成部19により輝度頻度を算出
し輝度頻度辞書(27,28,29)に記憶しておく。
そして、輝度頻度分布に基づいた信頼度を算出して利用
することにより、辞書データの非常に洗練されたマッチ
ングが実現され、認識精度を保持したまま認識速度のみ
が向上することとなる。
発明の第7ポイントとして、第1の実施形態と同ような
手法を適用して、辞書作成部19により輝度頻度を算出
し輝度頻度辞書(27,28,29)に記憶しておく。
そして、輝度頻度分布に基づいた信頼度を算出して利用
することにより、辞書データの非常に洗練されたマッチ
ングが実現され、認識精度を保持したまま認識速度のみ
が向上することとなる。
【0079】なお、第1の実施形態と同ように、画像入
力部1がモノクロカメラからの入力を対象とした場合に
は、画像蓄積部2は、8bitsのモノクロ階調画像と
して蓄積し、カラー画像を対象とした場合には入力画像
(RGB)の色成分を(1)式にしたがって、輝度成分
Yに変換して蓄積する。
力部1がモノクロカメラからの入力を対象とした場合に
は、画像蓄積部2は、8bitsのモノクロ階調画像と
して蓄積し、カラー画像を対象とした場合には入力画像
(RGB)の色成分を(1)式にしたがって、輝度成分
Yに変換して蓄積する。
【0080】次に図8は、顔画像の認識を行う際の動作
を説明したフローチャートであり、まず入力部16によ
り認識たいそう画像である顔画像を画像蓄積部17に記
憶し(S91)、次に特徴点抽出部18において、入力
顔画像内の特徴点を抽出して、その周囲の部分画像を切
り出す(S93)。更に、顔領域抽出部においては切り
出された部分画像と辞書データとの間のマッチングが行
われ、顔領域が推定される(S95)。この際には、顔
領域抽出用寄与係数24及び顔領域抽出用輝度頻度辞書
27に基づく輝度頻度を併用して顔領域が推定される。
更に顔姿勢推定用係数25と顔姿勢推定用輝度頻度辞書
28に基づき算出された輝度信頼度とに基づく部分画像
と辞書23とのマッチングが行われ、顔姿勢が推定され
る(S97)。
を説明したフローチャートであり、まず入力部16によ
り認識たいそう画像である顔画像を画像蓄積部17に記
憶し(S91)、次に特徴点抽出部18において、入力
顔画像内の特徴点を抽出して、その周囲の部分画像を切
り出す(S93)。更に、顔領域抽出部においては切り
出された部分画像と辞書データとの間のマッチングが行
われ、顔領域が推定される(S95)。この際には、顔
領域抽出用寄与係数24及び顔領域抽出用輝度頻度辞書
27に基づく輝度頻度を併用して顔領域が推定される。
更に顔姿勢推定用係数25と顔姿勢推定用輝度頻度辞書
28に基づき算出された輝度信頼度とに基づく部分画像
と辞書23とのマッチングが行われ、顔姿勢が推定され
る(S97)。
【0081】さらに照合部60においては、照合用寄与
係数26と照合用輝度頻度辞書に基づき算出された輝度
信頼度とに基づき部分画像と辞書23とのマッチングが
行われて、顔画像がだれであったのかが判定される(S
99)。
係数26と照合用輝度頻度辞書に基づき算出された輝度
信頼度とに基づき部分画像と辞書23とのマッチングが
行われて、顔画像がだれであったのかが判定される(S
99)。
【0082】次に、上述した処理のうち「特徴点の抽
出」、「辞書の構築と圧縮」、「マッチング方法」の細
部を説明する。以上、第2の実施形態の処理動作の概要
を説明した。
出」、「辞書の構築と圧縮」、「マッチング方法」の細
部を説明する。以上、第2の実施形態の処理動作の概要
を説明した。
【0083】(a)入力画像からの特徴点抽出 更に、本発明の第3ポイントである、画像の特徴部分を
抽出することにより、画像認識を行う工程について、以
下に詳細に説明する。特徴点抽出部18は本発明の第3
ポイントとして、以下の方法で画像内から認識に有効な
特徴を抽出する。
抽出することにより、画像認識を行う工程について、以
下に詳細に説明する。特徴点抽出部18は本発明の第3
ポイントとして、以下の方法で画像内から認識に有効な
特徴を抽出する。
【0084】入力画像と辞書画像のマッチング、および
連続フレーム間でのマッチングなどを行う際に、ある領
域を選択してその周囲をテンプレートとすることが一般
的である。この理由の1つは高速化のためであるが、も
う1つは、対象物に相当する全画素を追跡処理対象とし
た場合にくらべ、よりマッチング(主として距離や相関
による)に有効な点、すなわち他の点と区別が付くよう
な点を選択するためである。このようなものとして画像
内のエッジが良く知られている。
連続フレーム間でのマッチングなどを行う際に、ある領
域を選択してその周囲をテンプレートとすることが一般
的である。この理由の1つは高速化のためであるが、も
う1つは、対象物に相当する全画素を追跡処理対象とし
た場合にくらべ、よりマッチング(主として距離や相関
による)に有効な点、すなわち他の点と区別が付くよう
な点を選択するためである。このようなものとして画像
内のエッジが良く知られている。
【0085】ここではそのようなテクスチャ特異な有効
特徴を求めるために[4]の有効特徴点抽出手法を用
い、これに前処理を施すことで高速化する。辞書作成用
画像や認識用入力画像全面について、[4]の処理を行
う場合、各画素点についての2×2行列の固有値を求め
る必要があり、処理コストがかかる。そこで、あらかじ
め全処理領域内テクスチャが幾何学的に特徴的である点
として後述の方法でコーナー点を抽出し、有効特徴点抽
出領域をコーナー点近傍のみに限定する。
特徴を求めるために[4]の有効特徴点抽出手法を用
い、これに前処理を施すことで高速化する。辞書作成用
画像や認識用入力画像全面について、[4]の処理を行
う場合、各画素点についての2×2行列の固有値を求め
る必要があり、処理コストがかかる。そこで、あらかじ
め全処理領域内テクスチャが幾何学的に特徴的である点
として後述の方法でコーナー点を抽出し、有効特徴点抽
出領域をコーナー点近傍のみに限定する。
【0086】以下の処理の工程を図9に基づき説明す
る。ここにおいてのコーナ検出は経験的に良い特徴量だ
とされるエッジを5×5画素のマスクサイズ内において
評価してコーナ点を判定する。
る。ここにおいてのコーナ検出は経験的に良い特徴量だ
とされるエッジを5×5画素のマスクサイズ内において
評価してコーナ点を判定する。
【0087】まず、画像入力部16により画像を入力し
たら(S101)、あらかじめ原画にsobel[5]
をかけ、判別分析2値化[6]を行う(S103)。そ
して、この画像中の各画素について、注目画素が1の場
合に図10(a)のマスクによるconvolutio
nをとる。そして結果の画素値pの値によって、注目点
が“+”型分岐点に近いか“×”型分岐点に近いかを判
定する。ここでは、以下のように場合分けした。
たら(S101)、あらかじめ原画にsobel[5]
をかけ、判別分析2値化[6]を行う(S103)。そ
して、この画像中の各画素について、注目画素が1の場
合に図10(a)のマスクによるconvolutio
nをとる。そして結果の画素値pの値によって、注目点
が“+”型分岐点に近いか“×”型分岐点に近いかを判
定する。ここでは、以下のように場合分けした。
【0088】 p≧2×最大画素値 → “+”型分岐点 p≦−2×最大画素値 → “×”型分岐点 上記以外 → コーナー候補ではない 次に“+”型、“×”型それぞれについて、図10
(b)のマスクによる場合分けで上記と同ようにして、
コーナー点を求める(S105)。すなわち“+”型の
ときは以下のように場合分けし、 −最大画素値 ≦p<最大画素値 → コーナー点 上記以外 → コーナー点でない “×”型分岐点の場合は −最大画素値 ≦p<最大画素値 → コーナー点 上記以外 → コーナー点でない と場合分けする。
(b)のマスクによる場合分けで上記と同ようにして、
コーナー点を求める(S105)。すなわち“+”型の
ときは以下のように場合分けし、 −最大画素値 ≦p<最大画素値 → コーナー点 上記以外 → コーナー点でない “×”型分岐点の場合は −最大画素値 ≦p<最大画素値 → コーナー点 上記以外 → コーナー点でない と場合分けする。
【0089】最後にコーナと判定された注目点p(x,
y)の周囲領域W内について次式にしたがって特徴点を
判定する(S107)。まず以下のGradient
matrix Gを求める。
y)の周囲領域W内について次式にしたがって特徴点を
判定する(S107)。まず以下のGradient
matrix Gを求める。
【0090】 G=Σ(gx* gx gx* gy)=(a b) (8) W(gy* gx gy* gy) (c d) 次にGの固有値λ+、λ−を求め、そのうちの大きい方
を注目点の画素値とする。上記処理を処理領域の全画素
について行った後、ある閾値λtについて λ>λt (9) なる画素値の部分を有効特徴点として抽出する。このと
きの閾値は、処理領域内部の各画素値について判別分析
によって求めたものを使用する。
を注目点の画素値とする。上記処理を処理領域の全画素
について行った後、ある閾値λtについて λ>λt (9) なる画素値の部分を有効特徴点として抽出する。このと
きの閾値は、処理領域内部の各画素値について判別分析
によって求めたものを使用する。
【0091】(b)辞書の構築と圧縮 辞書作成部19では、各顔画像サンプルについて、前節
(2)(a)の方法で抽出された認識有効特徴点の周囲
W×H画素の領域内部の部分画像を切り出し、それらを
主成分分析し、その内の第K固有ベクトルまでを求めた
行列(辞書空間行列)と、その空間への全顔サンプルに
ついての全部分画像ベクトルの射影とを求めて、辞書と
する。
(2)(a)の方法で抽出された認識有効特徴点の周囲
W×H画素の領域内部の部分画像を切り出し、それらを
主成分分析し、その内の第K固有ベクトルまでを求めた
行列(辞書空間行列)と、その空間への全顔サンプルに
ついての全部分画像ベクトルの射影とを求めて、辞書と
する。
【0092】しかし、サンプル数が多い場合には上記辞
書は膨大になるため、上記した本発明の第4ポイント、
第5ポイントに従って、辞書容量を削減していく。ま
ず、本発明の第4ポイントとしての方法では、あるサン
プル画像I内部の各部分画像Wi (i=1,…NI)の
辞書空間への射影Pi を求め、他サンプル画像J(J≠
I)内の部分画像のうち、その射影とPi との距離が最
小なるものwj とその距離Pj を求める。これによっ
て、wj の属するサンプル画像が求められるため、画像
I内の部分画像Wi とマッチする他サンプル画像の頻度
分布が得られる。このとき、頻度分布最大なる他サンプ
ル画像Jmax が画像Iとマッチしたと定義する。またこ
のときのIとJmax との距離Dijを以下で定義する。
書は膨大になるため、上記した本発明の第4ポイント、
第5ポイントに従って、辞書容量を削減していく。ま
ず、本発明の第4ポイントとしての方法では、あるサン
プル画像I内部の各部分画像Wi (i=1,…NI)の
辞書空間への射影Pi を求め、他サンプル画像J(J≠
I)内の部分画像のうち、その射影とPi との距離が最
小なるものwj とその距離Pj を求める。これによっ
て、wj の属するサンプル画像が求められるため、画像
I内の部分画像Wi とマッチする他サンプル画像の頻度
分布が得られる。このとき、頻度分布最大なる他サンプ
ル画像Jmax が画像Iとマッチしたと定義する。またこ
のときのIとJmax との距離Dijを以下で定義する。
【0093】 Dij=1/j Σ |Pi −Pj | (10) j=1,…K ただし、Pj :画像J内の部分画像のうち、画像I内の
部分画像と射影距離が最小となるもの、K:その数であ
る。また距離としてはユークリッド距離や絶対値距離を
用いて良い。
部分画像と射影距離が最小となるもの、K:その数であ
る。また距離としてはユークリッド距離や絶対値距離を
用いて良い。
【0094】以上を全サンプルについて計算した結果の
テーブルの例を図11に示す。これらの距離(図中のD
12〜Dnn-1)の頻度分布を作成し、頻度分布の分散比を
最大にするように判別分析法[6]を適用して閾値を求
める。このとき閾値より距離が近かったサンプル画像内
の部分画像については、その射影を辞書から除外する。
テーブルの例を図11に示す。これらの距離(図中のD
12〜Dnn-1)の頻度分布を作成し、頻度分布の分散比を
最大にするように判別分析法[6]を適用して閾値を求
める。このとき閾値より距離が近かったサンプル画像内
の部分画像については、その射影を辞書から除外する。
【0095】また本発明の第5ポイントとしての方法で
は、第3項の方法でサンプル画像単位で辞書削減を行っ
た後に適用するものとする。まず、辞書作成用の顔画像
サンプルをある個人について、あるパラメータ例えば照
明や方向の変動の順番にソートする。このようにすると
一般にとなりあうサンプル画像間内の部分画像の射影同
士も連続する。
は、第3項の方法でサンプル画像単位で辞書削減を行っ
た後に適用するものとする。まず、辞書作成用の顔画像
サンプルをある個人について、あるパラメータ例えば照
明や方向の変動の順番にソートする。このようにすると
一般にとなりあうサンプル画像間内の部分画像の射影同
士も連続する。
【0096】次に上述のサンプル画像の全部分画像につ
いて、各部分画像間での射影距離を求めるが、もし、あ
る部分画像wi からみたときに他の部分画像wj が最短
距離にあった場合に、同時にwj からの最短距離部分画
像がwi であるときには、両者を類似と見なす。そし
て、隣接するサンプル画像列中の部分画像wi1,wi2,
wi3,…winが類似していた場合、これらをまとめて近
似関数で表現し、辞書サイズを削減する。近似関数とし
ては、よう々なものが考えられるが[7]などに用いら
れているキュービックスプラインなどを用いて良い。
いて、各部分画像間での射影距離を求めるが、もし、あ
る部分画像wi からみたときに他の部分画像wj が最短
距離にあった場合に、同時にwj からの最短距離部分画
像がwi であるときには、両者を類似と見なす。そし
て、隣接するサンプル画像列中の部分画像wi1,wi2,
wi3,…winが類似していた場合、これらをまとめて近
似関数で表現し、辞書サイズを削減する。近似関数とし
ては、よう々なものが考えられるが[7]などに用いら
れているキュービックスプラインなどを用いて良い。
【0097】さらに辞書作成部19では、本発明の第2
ポイントとして、各部分辞書パターンについて、顔抽出
姿勢推定、照合の用途に応じて、有効な認識のための寄
与係数を辞書サンプルから作成し、認識時に各用途ごと
に部分辞書パターンの認識結果への影響の仕方を調整可
能とする。以下に、寄与係数の算出方法の例をあげる。
ポイントとして、各部分辞書パターンについて、顔抽出
姿勢推定、照合の用途に応じて、有効な認識のための寄
与係数を辞書サンプルから作成し、認識時に各用途ごと
に部分辞書パターンの認識結果への影響の仕方を調整可
能とする。以下に、寄与係数の算出方法の例をあげる。
【0098】まず用途ごとにそろえた複数サンプルにつ
いての、前述の特徴点画像を求める。この画像の輝度分
布がサンプル画像内で特異性を示すため、最適認識のた
めには、その特徴点近傍部分画像における、その用途で
の認識寄与は高くあるべきである。そこで、前記特徴点
画像を用途サンプルごとに主成分分析して、上位K個の
固有値Pi 、固有ベクトルVi (i=1…n)を抽出し ΣPi × Vi (11) i=1,kにより用途ごとの重み画像を作成する。
いての、前述の特徴点画像を求める。この画像の輝度分
布がサンプル画像内で特異性を示すため、最適認識のた
めには、その特徴点近傍部分画像における、その用途で
の認識寄与は高くあるべきである。そこで、前記特徴点
画像を用途サンプルごとに主成分分析して、上位K個の
固有値Pi 、固有ベクトルVi (i=1…n)を抽出し ΣPi × Vi (11) i=1,kにより用途ごとの重み画像を作成する。
【0099】最後に、各サンプル画像Iを上記重み画像
に重ね会わせたときの各部分画像wi 領域内の重み画素
値の総和Sによって以下のように各部分画像ごとの寄与
係数Cwiを算出する。
に重ね会わせたときの各部分画像wi 領域内の重み画素
値の総和Sによって以下のように各部分画像ごとの寄与
係数Cwiを算出する。
【0100】 Cwi=S/Pmax (12) ここにPmax は上記重み画像内の最大画素値であ
る。なお用途ごとのサンプルとしては、例えば以下のよ
うにする。
る。なお用途ごとのサンプルとしては、例えば以下のよ
うにする。
【0101】顔領域推定の場合:各サンプル画像の特徴
画像で顔領域外の値を0としたもの 顔姿勢推定 :同上 顔照合 :個人ごとのサンプル画像集合につい
て、特徴画像を作成したもの この場合には個人辞書ごとに個別寄与係数を作成 また上記では、用途ごとの寄与係数によって、用途に応
じて、冗長性の高い部分画像辞書の認識処理への影響を
なるべく少なくし、精度を向上するのが目的であるが、
さらに寄与の低い部分画像辞書でのマッチングによる処
理時間増大を防ぐためには、本発明の第6ポイントとし
て既に述べたように、これら係数の分布から閾値を統計
的に決定し、その閾値以下の寄与係数の部分画像辞書は
使用しなければ良い。このために、例えば、上述の部分
画像辞書ごとに求められた寄与係数の頻度分布をとり、
判別分析法[6]により閾値CTを求め、各部分画像辞
書ごとに与えられた寄与係数Cwiについて Cwi<CT (13) なる部分画像辞書はマッチングに使用しない。
画像で顔領域外の値を0としたもの 顔姿勢推定 :同上 顔照合 :個人ごとのサンプル画像集合につい
て、特徴画像を作成したもの この場合には個人辞書ごとに個別寄与係数を作成 また上記では、用途ごとの寄与係数によって、用途に応
じて、冗長性の高い部分画像辞書の認識処理への影響を
なるべく少なくし、精度を向上するのが目的であるが、
さらに寄与の低い部分画像辞書でのマッチングによる処
理時間増大を防ぐためには、本発明の第6ポイントとし
て既に述べたように、これら係数の分布から閾値を統計
的に決定し、その閾値以下の寄与係数の部分画像辞書は
使用しなければ良い。このために、例えば、上述の部分
画像辞書ごとに求められた寄与係数の頻度分布をとり、
判別分析法[6]により閾値CTを求め、各部分画像辞
書ごとに与えられた寄与係数Cwiについて Cwi<CT (13) なる部分画像辞書はマッチングに使用しない。
【0102】(c)マッチング方法 顔領域推定部21、顔姿勢推定部22、照合部23、に
おいては、入力画像内について以下の手順でマッチング
を行う。
おいては、入力画像内について以下の手順でマッチング
を行う。
【0103】工程1:入力画像内から部分画像を抽出
し、それらの各々について、辞書内に登録された部分画
像辞書うち類似度最小なるものを求める(マッチン
グ)。 工程2:上記のマッチング部分辞書パターンの含まれる
サンプル用画像のうち、最も出現頻度の高いものIとそ
のときの頻度Hを求める。
し、それらの各々について、辞書内に登録された部分画
像辞書うち類似度最小なるものを求める(マッチン
グ)。 工程2:上記のマッチング部分辞書パターンの含まれる
サンプル用画像のうち、最も出現頻度の高いものIとそ
のときの頻度Hを求める。
【0104】工程3:信頼度T=(最大出現頻度H/入
力画像内の全局所ウインドウ数)を求める。 工程4:上記Iに相当する局所ウインドウについて、辞
書から座標のシフトをそれぞれ求め、その投票演算から
シフト量の頻度最大なるウインドウを選びそれらと辞書
からのアフィン変換を求める。
力画像内の全局所ウインドウ数)を求める。 工程4:上記Iに相当する局所ウインドウについて、辞
書から座標のシフトをそれぞれ求め、その投票演算から
シフト量の頻度最大なるウインドウを選びそれらと辞書
からのアフィン変換を求める。
【0105】上記において、工程1,工程2,工程3の
処理を照合部23が行い、また、工程1〜工程4を顔姿
勢推定部22が行う。最後に顔領域推定部21におい
て、工程1〜工程4に続いて、サンプル画像Iでの顔画
像領域に対して、上述のアフィン変換を施し、入力画像
内での顔領域を推定する。
処理を照合部23が行い、また、工程1〜工程4を顔姿
勢推定部22が行う。最後に顔領域推定部21におい
て、工程1〜工程4に続いて、サンプル画像Iでの顔画
像領域に対して、上述のアフィン変換を施し、入力画像
内での顔領域を推定する。
【0106】なお、上記でのIを推定値とし、推定信頼
度Tとアフィン変換係数によってリジェクトを行う。以
上で工程1においては、全節で述べた用途ごとの寄与係
数Cを用い、(3)″と同ように部分画像Ii の辞書空
間への射影Pi (k)を求めると寄与係数を考慮したマ
ッチングが行える。
度Tとアフィン変換係数によってリジェクトを行う。以
上で工程1においては、全節で述べた用途ごとの寄与係
数Cを用い、(3)″と同ように部分画像Ii の辞書空
間への射影Pi (k)を求めると寄与係数を考慮したマ
ッチングが行える。
【0107】 Pi (k)=Σ I(j) × C(i) × dk(j) (14) j=1,M ただし、Mは部分画像ベクトルの次元数、C(i)は部
分画像Ii の寄与係数、dk(j)は辞書空間の第k固
有ベクトルのj番要素である。
分画像Ii の寄与係数、dk(j)は辞書空間の第k固
有ベクトルのj番要素である。
【0108】さらに本発明の第7ポイントとしての輝度
の信頼度を(1)(c)と同ように求め、認識時に入力
画像から、上記と同ように部分画像を切り出し、その領
域内の各座標(x,y)に対して(4)式のT(x,
y)や(5)式のw1′のように求め、それをT(i)
とすると、 Pi (k)=Σ I(j)×C(i)×dk(j)×T(i) (15) j=1,Mのようにすることで、用途ごとの認識寄与に
加え、輝度の信頼度を考慮したロバストな認識が可能と
なる。
の信頼度を(1)(c)と同ように求め、認識時に入力
画像から、上記と同ように部分画像を切り出し、その領
域内の各座標(x,y)に対して(4)式のT(x,
y)や(5)式のw1′のように求め、それをT(i)
とすると、 Pi (k)=Σ I(j)×C(i)×dk(j)×T(i) (15) j=1,Mのようにすることで、用途ごとの認識寄与に
加え、輝度の信頼度を考慮したロバストな認識が可能と
なる。
【0109】以上、本発明の人物認識装置によれば、以
下の効果が考えられる。つまり、入退出管理、ATM機
器や券売機などの社会システムでの個人照合、およびパ
ソコン等OA機器のパスワードといった分野において、
非接触でユーザに負担の少ない個人照合部のニーズがあ
るが、その際にあまり特殊な装置を使用しないものとし
て画像認識よる方法が提案されているが従来装置では画
像認識では照明変動が少なくない環境では正確な認識が
困難であるという欠点がある。一方、本発明によれば、
辞書作成サンプル画像内の輝度分布の信頼性を入力画像
内の各画素輝度について検証し、輝度について信頼性の
高い画素、またはその周辺の画素のみを認識に利用する
ことで、輝度の大きな変化があっても安定な認識を行う
ことを可能とする。
下の効果が考えられる。つまり、入退出管理、ATM機
器や券売機などの社会システムでの個人照合、およびパ
ソコン等OA機器のパスワードといった分野において、
非接触でユーザに負担の少ない個人照合部のニーズがあ
るが、その際にあまり特殊な装置を使用しないものとし
て画像認識よる方法が提案されているが従来装置では画
像認識では照明変動が少なくない環境では正確な認識が
困難であるという欠点がある。一方、本発明によれば、
辞書作成サンプル画像内の輝度分布の信頼性を入力画像
内の各画素輝度について検証し、輝度について信頼性の
高い画素、またはその周辺の画素のみを認識に利用する
ことで、輝度の大きな変化があっても安定な認識を行う
ことを可能とする。
【0110】また、顔辞書として顔のある領域全体の画
像とするのではなく、顔画像に含まれる部分特徴領域近
傍の部分領域を用いて作成し(部分辞書パターン)、そ
れらのマッチング結果を総合判定することによって多少
の輝度変動や、他物体による隠れなどによる変動を吸収
することができる。
像とするのではなく、顔画像に含まれる部分特徴領域近
傍の部分領域を用いて作成し(部分辞書パターン)、そ
れらのマッチング結果を総合判定することによって多少
の輝度変動や、他物体による隠れなどによる変動を吸収
することができる。
【0111】この際、前記部分辞書パターンのデータサ
イズが大きくなって、本手法を実現するための装置規模
が大きくなることが問題となる。しかし、辞書作成サン
プル画像ごとの冗長性を統計的に評価して冗長なパター
ンを除去したり、特徴量変化が連続するようなサンプル
間においては、各部分辞書パターンも、それ自身ではな
く補完関数で近似して保持するなどにより辞書サイズを
小さくできる。
イズが大きくなって、本手法を実現するための装置規模
が大きくなることが問題となる。しかし、辞書作成サン
プル画像ごとの冗長性を統計的に評価して冗長なパター
ンを除去したり、特徴量変化が連続するようなサンプル
間においては、各部分辞書パターンも、それ自身ではな
く補完関数で近似して保持するなどにより辞書サイズを
小さくできる。
【0112】さらに顔抽出、姿勢推定、照合という各処
理に応じて、最適な部分パターンの寄与を考慮して使用
することにより、認識の精度と処理時間との両面から顔
認識性能を著しく向上することが可能となる。
理に応じて、最適な部分パターンの寄与を考慮して使用
することにより、認識の精度と処理時間との両面から顔
認識性能を著しく向上することが可能となる。
【0113】なお、参考文献を以下に示す。 [1]K.Sung and T.Poggio.,Example-based Learning for
View-based Human FaceDetection. In Proceedings fr
om Image Understanding Workshop,pp.843-850,Novembe
r 1994. [2] 中井:事後確率を用いた移動物体検出手法,情処研
報,94-CV-90,pp.1-8,1994 [3] 山口、福井、前田、動画像を用いた顔認識システ
ム、信学技報、PRMU97-50,pp17-23,(1997) [4]Shi,Tomasi,Good Features to Track,IEEE Conferen
ce on Computer Visionand Pattern Recognition(CVPR9
4)Seattle,June 1994 [5] 高木、下田、“画像解析ハンドブック”、東京大学
出版会、pp.553-554、1991 [6] 大津、判別および最小二乗基準に基づく自動しきい
値選定法、信学論、Vol.J63-D,No.4,pp.349-356,1980 [6] 高木、下田:画像解析ハンドブック PP.578 [7] 村瀬、ネイヤー、“多重解像度と固有空間表現によ
る3次元物体のイメージスポッティング、情処論、Vol.
36 No.10,pp2234-2243,Oct,1995
View-based Human FaceDetection. In Proceedings fr
om Image Understanding Workshop,pp.843-850,Novembe
r 1994. [2] 中井:事後確率を用いた移動物体検出手法,情処研
報,94-CV-90,pp.1-8,1994 [3] 山口、福井、前田、動画像を用いた顔認識システ
ム、信学技報、PRMU97-50,pp17-23,(1997) [4]Shi,Tomasi,Good Features to Track,IEEE Conferen
ce on Computer Visionand Pattern Recognition(CVPR9
4)Seattle,June 1994 [5] 高木、下田、“画像解析ハンドブック”、東京大学
出版会、pp.553-554、1991 [6] 大津、判別および最小二乗基準に基づく自動しきい
値選定法、信学論、Vol.J63-D,No.4,pp.349-356,1980 [6] 高木、下田:画像解析ハンドブック PP.578 [7] 村瀬、ネイヤー、“多重解像度と固有空間表現によ
る3次元物体のイメージスポッティング、情処論、Vol.
36 No.10,pp2234-2243,Oct,1995
【0114】
【発明の効果】以上、詳細に説明したとおり、本発明に
よれば、顔画像の認識処理を行うための辞書データに対
して輝度に関する信頼度を求め、これを関連づけて格納
しておくことで、認識処理の際に、例えば辞書データが
作成された際の照明が不適当な場合の認識にあまり適さ
ない辞書データの単位領域(メッシュ)に対しては、カ
メラからの原画像とのマッチング処理に用いず、又は用
いても低い程度でのマッチング処理を行う。これによ
り、確実な認識を実現するメッシュに関してはマッチン
グを確実に行い、信頼度の低いメッシュは省略等するこ
とで、全体として、識別精度を保持しながら、迅速な人
物の顔画像の識別処理を実現することができる。
よれば、顔画像の認識処理を行うための辞書データに対
して輝度に関する信頼度を求め、これを関連づけて格納
しておくことで、認識処理の際に、例えば辞書データが
作成された際の照明が不適当な場合の認識にあまり適さ
ない辞書データの単位領域(メッシュ)に対しては、カ
メラからの原画像とのマッチング処理に用いず、又は用
いても低い程度でのマッチング処理を行う。これによ
り、確実な認識を実現するメッシュに関してはマッチン
グを確実に行い、信頼度の低いメッシュは省略等するこ
とで、全体として、識別精度を保持しながら、迅速な人
物の顔画像の識別処理を実現することができる。
【0115】又更に、辞書データの単位領域(メッシ
ュ)それぞれにつき、マッチング処理にどれ程寄与する
かという観点から、寄与係数をそれぞれ設け、マッチン
グの際には、この寄与係数に応じて有効な複数メッシュ
を選択的に基準としてマッチングを行う。これにより、
識別精度を保持しながら、辞書データを削減することに
よって、迅速な人物の顔画像の識別処理を実現すること
ができる。
ュ)それぞれにつき、マッチング処理にどれ程寄与する
かという観点から、寄与係数をそれぞれ設け、マッチン
グの際には、この寄与係数に応じて有効な複数メッシュ
を選択的に基準としてマッチングを行う。これにより、
識別精度を保持しながら、辞書データを削減することに
よって、迅速な人物の顔画像の識別処理を実現すること
ができる。
【図1】本方法の第1実施形態に係る全体構成図。
【図2】本発明の第1実施形態に係る概略処理のフロー
チャート。
チャート。
【図3】本発明の第1実施形態に係る顔領域抽出のフロ
ーチャート。
ーチャート。
【図4】本発明の第1実施形態に係る顔パーツの抽出の
フローチャート。
フローチャート。
【図5】本発明の第1実施形態に係る顔照合処理のフロ
ーチャート。
ーチャート。
【図6】本方法の第2実施形態に係る全体構成図。
【図7】本発明の第2実施形態での辞書作成のフローチ
ャート。
ャート。
【図8】本発明の第2実施形態での認識のフローチャー
ト。
ト。
【図9】本発明の第2実施形態に係る特徴点抽出手法。
【図10】本発明の第2実施形態に係るコーナー抽出マ
スク。
スク。
【図11】本発明の第2実施形態に係るサンプル画像間
の距離例。
の距離例。
1…画像入力部 2…画像蓄積部 3…顔領域抽出部 4…顔パーツ抽出部 5…照合位置決定部 6…照合部 7…顔領域抽出用輝度頻度辞書 8…顔パーツ抽出用輝度頻度辞書 9…照合用輝度頻度辞書 10…顔切り出し辞書 11…顔パーツ辞書 12…顔照合辞書 13…ユーザ操作部 14…辞書
Claims (27)
- 【請求項1】認識対象画像の認識を行なう画像認識装置
において、 認識対象画像を入力する画像入力手段と、 この入力手段にて入力された認識対象画像から照合用の
辞書を作成する辞書作成手段と、 この作成手段にて作成した複数の辞書データに基づき認
識対象画像における各画素の輝度頻度を求めて保持する
輝度頻度辞書と、 認識対象画像の認識時には入力画像と前記作成手段にて
作成された辞書とを照合するとともに、この照合の際に
は前記輝度頻度辞書と入力画像の各画素の輝度に基づき
入力画像の各画素について信頼度を加味して照合を行な
う照合手段とを有することを有することを特徴とする画
像認識装置。 - 【請求項2】請求項1に記載の画像認識装置において、
前記照合手段は前記輝度頻度辞書に基づき認識対象画像
として尤もらしくない画素については照合に用いないよ
うにしたことを特徴とする画像認識装置。 - 【請求項3】請求項1に記載の画像認識装置において、
前記照合手段は前記輝度頻度辞書に基づき認識対象画像
として尤もらしくない画素については照合結果に対する
寄与度を低くするようにしたことを特徴とする画像認識
装置。 - 【請求項4】請求項1に記載の画像認識装置において、
前記輝度頻度辞書は前記作成手段による辞書データ作成
時の切出し画像の輝度頻度を求めて保持する顔領域抽出
用輝度頻度辞書を有し、前記抽出手段は前記輝度頻度辞
書に基づき認識対象画像の切出しを行なう顔領域抽出手
段を有することを特徴とする画像認識装置。 - 【請求項5】請求項4に記載の画像認識装置において、
前記辞書作成手段は、認識対象画像中の特定領域のパー
ツ画像に関するパーツ辞書を作成し、前記前記輝度頻度
辞書は前記作成手段によるパーツ辞書作成時のパーツ画
像の輝度頻度を求めて保持する類パーツ抽出用輝度頻度
辞書を有し、前記抽出手段は前記輝度頻度辞書に基づき
前記顔領域抽出手段にて抽出された認識対象画像から類
パーツ画像の切出しを行なう類パーツ抽出手段を有する
ことを特徴とする画像認識装置。 - 【請求項6】請求項5に記載の画像認識装置において、
前記辞書作成手段は認識対象画像中の特定領域の認識対
象画像に関する顔照合辞書を作成し、前記前記輝度頻度
辞書は前記作成手段による顔照合辞書の認識対象画像の
輝度頻度を求めて保持する顔照合用輝度頻度辞書を有
し、前記抽出手段は類パーツ抽出手段にて抽出された類
パーツ画像との関係から入力画像中の特定領域の認識対
象画像を照合用画像として選択する照合位置決定手段を
有し、前記照合手段は顔照合辞書と照合用画像とを照合
する際に前記顔照合用輝度頻度辞書に基づき基づき認識
対象画像として尤もらしい画素を用いて照合を行なうよ
うにしたことを特徴とする画像認識装置。 - 【請求項7】認識対象画像の認識を行なう画像認識方法
において、入力された認識対象画像から照合用の辞書を
作成し、この作成した複数の辞書データに基づき認識対
象画像における各画素の輝度頻度を求めて保持してお
き、認識対象画像の認識時には入力画像と前記辞書とを
照合するとともに、この照合の際には前記輝度頻度辞書
と入力画像の各画素の輝度に基づき入力画像の各両素に
ついて信頼度を加味して照合を行なうようにしたことを
特徴とする画像認識方法。 - 【請求項8】請求項7に記載の画像認識方法において、
前記入力画像と前記辞書とを照合する際には前記輝度頻
度辞書に基づき認識対象画像として尤もらしくない画素
については照合に用いないようにしたことを特徴とする
画像認識装置。 - 【請求項9】請求項7に記載の画像認識方法において、
前記入力画像と前記辞書とを照合する際には前記輝度頻
度辞書に基づき認識対象画像として尤もらしくない画素
については照合結果に対する寄与度を低くするようにし
たことを特徴とする画像認識装置。 - 【請求項10】認識対象画像の認識を行なう画像認識方
法において、入力された画像から認識対象画像領域を切
出し、切出された認識対象画像領域の画像中の特定領域
の認識対象画像から照合用の顔照合辞書を作成し、かっ
切出された認識対象画像領域における各画素の輝度頻度
を求めて顔領域抽出用輝度頻度辞書を作成し、認識対象
画像の認識時には入力画像中の画像のうち前記輝度頻度
に基づき認識対象画像として尤もらしい領域を認識対象
画像として抽出し、この抽出された認識対象画像中の特
定領域の認識対象画像から照合用画像を選択して前記顔
照合辞書と照合するようにしたことを特徴とする画像認
識方法。 - 【請求項11】請求項10に記載の画像認識装置におい
て、前記顔照合辞書を作成する際に、認識対象画像中の
特定領域のパーツ画像に関するパーツ辞書を作成すると
ともに、パーツ辞書作成時のパーツ画像の輝度頻度を求
めてパーツ抽出用輝度頻度辞書を作成し、前記顔照合辞
書と入力画像との照合を行なう場合には、前記顔領域抽
出用輝度頻度辞書に基づき抽出された認識対象画像から
パーツ抽出用輝度頻度辞書及びパーツ辞書に基づき入力
画像から特定領域のパーツ画像を抽出し、抽出されたパ
ーツ画像の位置関係から照合用画像を入力画像から選択
して前記顔照合辞書と照合するようにしたことを特徴と
する画像認識方法。 - 【請求項12】請求項10に記載の画像認識方法におい
て、前記顔照合辞書を作成する際に、顔照合辞書の認識
対象画像の輝度頻度を求めて保持する顔照合用輝度頻度
辞書を作成有し、前記顔照合辞書と照合用画像とを照合
する際には前記顔照合用輝度頻度辞書に基づき認識対象
画像として尤もらしい画素を用いて照合を行なうように
したことを特徴とする画像認識方法。 - 【請求項13】認識対象画像の認識を行なう画像認識装
置において、 認識対象画像を入力する画像入力手段と、 この入力手段にて入力されたサンプル画像から特徴点を
抽出する特徴点抽出手段と、 この特徴点抽出手段にて抽出された各特徴点近傍の部分
画像の特徴量を表す部分辞書パターンを形成して各特徴
点の部分辞書を作成する辞書作成手段と、 認識対象画像の認識時には前記入力手段にて入力された
入力画像から前記特徴点抽出手段にて各特徴点を抽出し
て各特徴点近傍の部分画像から得られた特徴量と前記部
分辞書の部分辞書パターンとの照合を行なう照合手段と
を有することを特徴とする画像認識装置。 - 【請求項14】請求項13の画像認識装置において、前
記特徴点抽出手段は認識対象画像中の小領域内における
輝度変化が特異な点又は輝度の幾何学的変化が特異な点
を特徴点として抽出することを特徴とする画像認識装
置。 - 【請求項15】請求項13の画像認識装置において、前
記辞書作成手段による辞書構築時に、サンプル画像から
得られた複数の部分辞書パターンについての冗長性を評
価し、非冗長とされた部分辞書パターンのみを部分辞書
に保持することを特徴とする画像認識装置。 - 【請求項16】請求項13の画像認識装置において、前
記辞書作成手段による辞書構築時に、サンプル画像から
得られた複数の部分辞書パターン金てを保持するのでは
なく、所定の間隔ごとに特徴量を示す部分辞書パターン
を保持しておき、その間の区間については補完する近似
関数を使用し特徴量を補完することを特徴とする画像認
識装置。 - 【請求項17】請求項13の画像認識装置において、各
部分辞書パターンに対して用途に応じて認識に寄与する
寄与係数を作成して保持しておき前記照合手段は寄与係
数を加味して照合を行なうようにしたことを特徴とする
画像認識装置。 - 【請求項18】請求項13の画像認識装置において、各
部分辞書パターンに対して用途に応じて認識に寄与する
寄与係数を作成して保持しておき、前記照合手段による
照合の際には、認識の用途に応じて寄与係数の分布から
認識に有効な部分辞書パターンの集合を選択して使用す
るようにしたことを特徴とする画像認識装置。 - 【請求項19】請求項13の画像認識装置において、辞
書データに基づき認識対象画像における各画素の輝度頻
度を求めて保持する輝度頻度辞書を有し、画像の認識時
には入力画像と前記作成手段にて作成された辞書とを照
合するとともに、この照合の際には前記輝度頻度辞書と
入力画像の各画素の輝度に基づき入力画像の各画素につ
いて信頼度を加味して照合を行なう照合手段とを有する
ことを有することを特徴とする画像認識装置。 - 【請求項20】入力された認識対象画像の認識を行なう
画像認識方法において、入力されたサンプル画像から特
徴点を抽出し、この抽出された各特徴点近傍の部分画像
の特徴量を表す部分辞書パターンを形成して各特徴点の
部分辞書を作成しておき、認識対象画像の認識時には入
力された入力画像から前記特徴点を抽出して各特徴点近
傍の部分画像から得られた特徴量と前記部分辞書の部分
辞書パターンとの照合を行なうようにしたことを特徴と
する画像認識方法。 - 【請求項21】請求項20の画像認識方法において、前
記特徴点抽出においては認識対象画像中の小領域内にお
ける輝度変化が特異な点又は輝度の幾何学的変化が特異
な点を特徴点として抽出することを特徴とする画像認識
方法。 - 【請求項22】請求項20の画像認識方法において、前
記辞書作成時に、サンプル画像から得られた複数の部分
辞書パターンについての冗長性を評価し、非冗長とされ
た部分辞書パターンのみを部分辞書に保持することを特
徴とする画像認識方法。 - 【請求項23】請求項20の画像認識方法において、前
記辞書作成時に、サンプル画像から得られた複数の部分
辞書パターン金てを保持するのではなく、所定の間隔ご
とに特徴量を示す部分辞書パターンを保持しておき、そ
の間の区間については補完する近似関数を使用し特徴量
を補完することを特徴とする画像認識方法。 - 【請求項24】請求項20の画像認識方法において、各
部分辞書パターンに対して用途に応じて認識に寄与する
寄与係数を作成して保持しておき前記照合手段は寄与係
数を加味して照合を行なうようにしたことを特徴とする
画像認識方法。 - 【請求項25】請求項20の画像認識方法において、各
部分辞書パターンに対して用途に応じて認識に寄与する
寄与係数を作成して保持しておき、前記照合手段による
照合の際には、認識の用途に応じて寄与係数の分布から
認識に有効な部分辞書パターンの集合を選択して使用す
るようにしたことを特徴とする画像認識方法。 - 【請求項26】請求項20の画像認識方法において、辞
書データに基づき認識対象画像における各画素の輝度頻
度を求めて保持する輝度頻度辞書を作成し、画像の認識
時には入力画像と前記辞書とを照合するとともに、この
照合の際には前記輝度頻度辞書と入力画像の各画素の輝
度に基づき入力画像の各画素について信頼度を加味して
照合を行なうことを有することを特徴とする画像認識方
法。 - 【請求項27】人物の顔画像を含む対象の画像を取り込
む取込工程と、 前記取込工程にて取り込んだ対象画像に関し、この対象
画像の所定領域内での輝度の分布の特異点に基づいて、
特徴点を検出する特徴点検出工程と、 予め格納された認識のための特徴点の複数基準データに
関して照合のための有効性を示す複数寄与係数をそれぞ
れ算出し格納する寄与係数工程と、 前記複数基準データの冗長性を考慮し、冗長な基準デー
タを削除する基準データ削除工程と、 前記基準データ削除工程にて冗長な基準データが削除さ
れた際の残りの複数基準データと、前記特徴点検出工程
にて検出した特徴点とを、前記寄与係数工程にて格納し
ている前記寄与係数に基づき、前記複数の単位領域ごと
に比較し、前記対象画像を照合する照合工程と、 を有することを特徴とする画像認識方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10268419A JP2000099722A (ja) | 1998-09-22 | 1998-09-22 | 人物顔認識装置及び人物顔認識方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10268419A JP2000099722A (ja) | 1998-09-22 | 1998-09-22 | 人物顔認識装置及び人物顔認識方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2000099722A true JP2000099722A (ja) | 2000-04-07 |
Family
ID=17458233
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP10268419A Pending JP2000099722A (ja) | 1998-09-22 | 1998-09-22 | 人物顔認識装置及び人物顔認識方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2000099722A (ja) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005148915A (ja) * | 2003-11-12 | 2005-06-09 | Noritsu Koki Co Ltd | 適正顔判別方法及びこの方法を実施する装置 |
JP2006505875A (ja) * | 2002-11-07 | 2006-02-16 | 本田技研工業株式会社 | 確率的外観集合体を使用するビデオに基づく顔認識 |
US7321668B2 (en) | 2003-11-27 | 2008-01-22 | Konica Minolta Holdings, Inc. | Object detection apparatus, object detection method and computer program product |
JPWO2005086089A1 (ja) * | 2004-03-03 | 2008-01-24 | 日本電気株式会社 | 物体の姿勢推定及び照合システム、物体の姿勢推定及び照合方法、並びにそのためのプログラム |
US7593551B2 (en) | 2001-12-14 | 2009-09-22 | Nec Corporation | Face meta-data generation and face similarity calculation |
US7680667B2 (en) | 2004-12-24 | 2010-03-16 | Kabuhsiki Kaisha Toshiba | Interactive robot, speech recognition method and computer program product |
JP2010250419A (ja) * | 2009-04-13 | 2010-11-04 | Seiko Epson Corp | 目の様態を検出する画像処理装置 |
JP2010282640A (ja) * | 2003-06-30 | 2010-12-16 | Honda Motor Co Ltd | 顔認識システム及び方法 |
JP2014186496A (ja) * | 2013-03-22 | 2014-10-02 | Toyota Central R&D Labs Inc | 対象物姿勢推定装置、及びプログラム |
JP2015513754A (ja) * | 2013-03-19 | 2015-05-14 | ▲ホア▼▲ウェイ▼技術有限公司 | 顔認識方法及びデバイス |
JP2016186703A (ja) * | 2015-03-27 | 2016-10-27 | ルネサスエレクトロニクス株式会社 | 画像認識方法、画像認識装置および画像認識プログラム |
CN107133590A (zh) * | 2017-05-04 | 2017-09-05 | 上海博历机械科技有限公司 | 一种基于人脸图像的身份识别*** |
CN113947428A (zh) * | 2021-10-14 | 2022-01-18 | 上海清赟医药科技有限公司 | 一种基于用户画像的对象拜访推荐方法 |
CN114329933A (zh) * | 2021-12-20 | 2022-04-12 | 北京力通通信有限公司 | 一种宽带功率放大器输入输出特性拟合方法 |
-
1998
- 1998-09-22 JP JP10268419A patent/JP2000099722A/ja active Pending
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7593551B2 (en) | 2001-12-14 | 2009-09-22 | Nec Corporation | Face meta-data generation and face similarity calculation |
JP2006505875A (ja) * | 2002-11-07 | 2006-02-16 | 本田技研工業株式会社 | 確率的外観集合体を使用するビデオに基づく顔認識 |
JP2010282640A (ja) * | 2003-06-30 | 2010-12-16 | Honda Motor Co Ltd | 顔認識システム及び方法 |
JP2005148915A (ja) * | 2003-11-12 | 2005-06-09 | Noritsu Koki Co Ltd | 適正顔判別方法及びこの方法を実施する装置 |
US7321668B2 (en) | 2003-11-27 | 2008-01-22 | Konica Minolta Holdings, Inc. | Object detection apparatus, object detection method and computer program product |
JP4692773B2 (ja) * | 2004-03-03 | 2011-06-01 | 日本電気株式会社 | 物体の姿勢推定及び照合システム、物体の姿勢推定及び照合方法、並びにそのためのプログラム |
JPWO2005086089A1 (ja) * | 2004-03-03 | 2008-01-24 | 日本電気株式会社 | 物体の姿勢推定及び照合システム、物体の姿勢推定及び照合方法、並びにそのためのプログラム |
US7680667B2 (en) | 2004-12-24 | 2010-03-16 | Kabuhsiki Kaisha Toshiba | Interactive robot, speech recognition method and computer program product |
JP2010250419A (ja) * | 2009-04-13 | 2010-11-04 | Seiko Epson Corp | 目の様態を検出する画像処理装置 |
JP2015513754A (ja) * | 2013-03-19 | 2015-05-14 | ▲ホア▼▲ウェイ▼技術有限公司 | 顔認識方法及びデバイス |
US9405969B2 (en) | 2013-03-19 | 2016-08-02 | Huawei Technologies Co., Ltd. | Face recognition method and device |
JP2014186496A (ja) * | 2013-03-22 | 2014-10-02 | Toyota Central R&D Labs Inc | 対象物姿勢推定装置、及びプログラム |
JP2016186703A (ja) * | 2015-03-27 | 2016-10-27 | ルネサスエレクトロニクス株式会社 | 画像認識方法、画像認識装置および画像認識プログラム |
CN107133590A (zh) * | 2017-05-04 | 2017-09-05 | 上海博历机械科技有限公司 | 一种基于人脸图像的身份识别*** |
CN113947428A (zh) * | 2021-10-14 | 2022-01-18 | 上海清赟医药科技有限公司 | 一种基于用户画像的对象拜访推荐方法 |
CN114329933A (zh) * | 2021-12-20 | 2022-04-12 | 北京力通通信有限公司 | 一种宽带功率放大器输入输出特性拟合方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110348319B (zh) | 一种基于人脸深度信息和边缘图像融合的人脸防伪方法 | |
US8320643B2 (en) | Face authentication device | |
CN108229297B (zh) | 人脸识别方法和装置、电子设备、计算机存储介质 | |
JP4903854B2 (ja) | デジタル画像におけるオブジェクト検出方法 | |
US8818034B2 (en) | Face recognition apparatus and methods | |
CN100423020C (zh) | 一种基于结构主元分析的人脸识别方法 | |
US7925093B2 (en) | Image recognition apparatus | |
US20130329970A1 (en) | Image authentication apparatus, image processing system, control program for image authentication apparatus, computer-readable recording medium, and image authentication method | |
JP2004133889A (ja) | 画像のオブジェクトを認識する方法及びシステム | |
Kherchaoui et al. | Face detection based on a model of the skin color with constraints and template matching | |
CN112949572A (zh) | 基于Slim-YOLOv3的口罩佩戴情况检测方法 | |
Guo et al. | Improved hand tracking system | |
Jun et al. | Robust real-time face detection using face certainty map | |
Anila et al. | Simple and fast face detection system based on edges | |
JP2000099722A (ja) | 人物顔認識装置及び人物顔認識方法 | |
CN113449704B (zh) | 人脸识别模型训练方法、装置、电子设备及存储介质 | |
Tathe et al. | Human face detection and recognition in videos | |
Fritz et al. | Attentive object detection using an information theoretic saliency measure | |
Curran et al. | The use of neural networks in real-time face detection | |
Fritz et al. | Object recognition using local information content | |
CN116994319A (zh) | 训练模型的方法和人脸识别方法、设备、介质 | |
Gowda | Age estimation by LS-SVM regression on facial images | |
Xu et al. | A novel multi-view face detection method based on improved real adaboost algorithm | |
Amine et al. | Face detection in still color images using skin color information | |
Yasukochi et al. | A recognition method of restricted hand shapes in still image and moving image as a man-machine interface |