JPH07302327A - 物体画像検出方法及び検出装置 - Google Patents
物体画像検出方法及び検出装置Info
- Publication number
- JPH07302327A JPH07302327A JP6188376A JP18837694A JPH07302327A JP H07302327 A JPH07302327 A JP H07302327A JP 6188376 A JP6188376 A JP 6188376A JP 18837694 A JP18837694 A JP 18837694A JP H07302327 A JPH07302327 A JP H07302327A
- Authority
- JP
- Japan
- Prior art keywords
- image
- dictionary
- similarity
- matching
- test
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 物体の撮影方向によらず、画像中の物体領域
を検出可能にする。 【構成】 辞書画像生成部において対象となるカテゴリ
ー（Ｌ種類）に属する物体をあらかじめ所定のＭ方向か
らカメラで撮影し、得られた画像から認識対象物体の領
域（照合領域）を抽出しその方向とそのカテゴリーを代
表する辞書画像（Ｎ＝Ｌ×Ｍ個，ｎ＝1,2,…,N）を生成
し、それら辞書画像を、物体の向き（撮影方向）ととも
に記憶しておく。テスト画像が与えられると、照合処理
部によりそのテスト画像中の照合位置(X,Y) の画像領域
に対してｎ番目の辞書画像との類似度r(n,X,Y)を算出
し、その照合処理を照合位置(x,y) 及び辞書画像番号ｎ
を変えて実行し、物体領域検出部により類似度ｒが最も
高くなるときの照合位置(Xma x,Ymax) を検出し出力す
る。
を検出可能にする。 【構成】 辞書画像生成部において対象となるカテゴリ
ー（Ｌ種類）に属する物体をあらかじめ所定のＭ方向か
らカメラで撮影し、得られた画像から認識対象物体の領
域（照合領域）を抽出しその方向とそのカテゴリーを代
表する辞書画像（Ｎ＝Ｌ×Ｍ個，ｎ＝1,2,…,N）を生成
し、それら辞書画像を、物体の向き（撮影方向）ととも
に記憶しておく。テスト画像が与えられると、照合処理
部によりそのテスト画像中の照合位置(X,Y) の画像領域
に対してｎ番目の辞書画像との類似度r(n,X,Y)を算出
し、その照合処理を照合位置(x,y) 及び辞書画像番号ｎ
を変えて実行し、物体領域検出部により類似度ｒが最も
高くなるときの照合位置(Xma x,Ymax) を検出し出力す
る。
Description
【０００１】
【産業上の利用分野】この発明は、人物顔など、特徴が
ある物体を任意の方向からカメラで撮影し得られた画像
をあらかじめ生成した辞書画像と照合処理することによ
りその画像中の該物体領域を検出する方法、および、該
検出領域の物体がカテゴリーに分類されて登録済みの人
物顔など、あらかじめ定めたカテゴリーのどれに属する
か、および、予め定めたカテゴリーに属するか否かを検
出する方法及びそれを使った装置に関するものである。
ある物体を任意の方向からカメラで撮影し得られた画像
をあらかじめ生成した辞書画像と照合処理することによ
りその画像中の該物体領域を検出する方法、および、該
検出領域の物体がカテゴリーに分類されて登録済みの人
物顔など、あらかじめ定めたカテゴリーのどれに属する
か、および、予め定めたカテゴリーに属するか否かを検
出する方法及びそれを使った装置に関するものである。
【０００２】
【従来の技術】例えば従業員や顧客のように予め決めた
特定の人間のみ特定な部屋、建物、あるいは区域への入
出を許可するため、入出しようとする人を自動的に識別
することが必要とされる場合がある。あるいは銀行に出
入りする不特定多数の人間の中から不審な人物を判別す
ることが必要とされる場合がある。このような場合、特
定の場所に入出する人間又はしようとする人間をカメラ
で撮影し、その画像からその人物の顔を識別又は判別す
ることが提案されている。
特定の人間のみ特定な部屋、建物、あるいは区域への入
出を許可するため、入出しようとする人を自動的に識別
することが必要とされる場合がある。あるいは銀行に出
入りする不特定多数の人間の中から不審な人物を判別す
ることが必要とされる場合がある。このような場合、特
定の場所に入出する人間又はしようとする人間をカメラ
で撮影し、その画像からその人物の顔を識別又は判別す
ることが提案されている。
【０００３】従来の画像中物体領域抽出装置には、濃淡
情報や色彩情報の閾値処理に基づいた方法がある。例え
ば、画像から人物の顔領域を抽出するときは、肌に相当
する濃度値や彩度・色相を求めて、肌領域を検出するた
めの閾値を設定し、画像全体を閾値処理する。また、別
の方法として、物体の形状をモデル化し、画像のエッジ
とフィッティングさせることで物体領域を抽出する方法
がある。
情報や色彩情報の閾値処理に基づいた方法がある。例え
ば、画像から人物の顔領域を抽出するときは、肌に相当
する濃度値や彩度・色相を求めて、肌領域を検出するた
めの閾値を設定し、画像全体を閾値処理する。また、別
の方法として、物体の形状をモデル化し、画像のエッジ
とフィッティングさせることで物体領域を抽出する方法
がある。
【０００４】従来の物体識別装置には、例えば、対象と
なる人物の正面顔又は横顔など特定方向の顔の画像を辞
書に用意しておき、テスト画像との照合をとって、人物
の同定を行う装置がある（例えば Ashoc Samal, Prasa
na A. Iyengar: "Automaticrecognition and analysis
of human faces and facial expressions" Patternreco
gnition, Vol.25,No.1,pp65-77,1992）。
なる人物の正面顔又は横顔など特定方向の顔の画像を辞
書に用意しておき、テスト画像との照合をとって、人物
の同定を行う装置がある（例えば Ashoc Samal, Prasa
na A. Iyengar: "Automaticrecognition and analysis
of human faces and facial expressions" Patternreco
gnition, Vol.25,No.1,pp65-77,1992）。
【０００５】
【発明が解決しようとする課題】従来の閾値処理による
物体抽出装置では、最適な閾値を設定する必要がある。
この最適な閾値は、物体の向きによって変動することが
多い。従って、物体の向きが未知の場合には、物体領域
を抽出するための閾値を設定することが困難であった。
また、形状モデルとエッジをフィッティングさせる方法
では、物体の向きにより画像での物体の形状が変化した
り、物体の一部の隠蔽や陰影などにより、物体の輪郭を
あらわすエッジを画像から正しく抽出できなかった場合
には、精度よく物体領域を抽出することができなかっ
た。
物体抽出装置では、最適な閾値を設定する必要がある。
この最適な閾値は、物体の向きによって変動することが
多い。従って、物体の向きが未知の場合には、物体領域
を抽出するための閾値を設定することが困難であった。
また、形状モデルとエッジをフィッティングさせる方法
では、物体の向きにより画像での物体の形状が変化した
り、物体の一部の隠蔽や陰影などにより、物体の輪郭を
あらわすエッジを画像から正しく抽出できなかった場合
には、精度よく物体領域を抽出することができなかっ
た。
【０００６】従来の物体識別装置では、辞書に用意して
おく画像と同じ方向から撮影した画像（正面顔）を入力
する必要があり、物体の撮影方向を何らかの方法で限定
するために、適用できる範囲が限られていた。本発明の
目的は、物体の撮影方向によらず、画像中の該物体領域
を高速な処理で安定に検出できる方法と装置、及び物体
があらかじめ定めたカテゴリー（登録してある人物、子
供顔、成人女性顔、成人男性顔など）のどれに属するか
検出する方法と装置、及び検出された物体があらかじめ
定めたカテゴリー（人物顔、子供顔、成人女性顔、成人
男性顔）に属しているか否かを検出する方法と装置を提
供することにある。
おく画像と同じ方向から撮影した画像（正面顔）を入力
する必要があり、物体の撮影方向を何らかの方法で限定
するために、適用できる範囲が限られていた。本発明の
目的は、物体の撮影方向によらず、画像中の該物体領域
を高速な処理で安定に検出できる方法と装置、及び物体
があらかじめ定めたカテゴリー（登録してある人物、子
供顔、成人女性顔、成人男性顔など）のどれに属するか
検出する方法と装置、及び検出された物体があらかじめ
定めたカテゴリー（人物顔、子供顔、成人女性顔、成人
男性顔）に属しているか否かを検出する方法と装置を提
供することにある。
【０００７】
【課題を解決するための手段】この発明によれば、対象
となるカテゴリー（Ｌ種類）に属する物体を予め複数の
所定のＭ方向からカメラで撮影し、得られた画像から認
識対象物体の領域（照合領域）を抽出し該方向と該カテ
ゴリーを代表する辞書画像（Ｎ＝Ｍ×Ｌ個，ｎ＝1,2,
…,N）を生成し、辞書画像生成手段にそれら辞書画像を
物体の向き（撮影方向）とともに記憶しておく。テスト
画像が与えられると、そのテスト画像中の照合位置(X,
Y) に対して前記ｎ番目の辞書画像との類似度r(n,X,Y)
を照合処理手段により算出し、その照合処理を(X,Y) 、
および、ｎを変えて実行し、類似度ｒが最も高くなると
きの位置(Xmax,Ymax) を物体領域に対応する領域として
出力する。
となるカテゴリー（Ｌ種類）に属する物体を予め複数の
所定のＭ方向からカメラで撮影し、得られた画像から認
識対象物体の領域（照合領域）を抽出し該方向と該カテ
ゴリーを代表する辞書画像（Ｎ＝Ｍ×Ｌ個，ｎ＝1,2,
…,N）を生成し、辞書画像生成手段にそれら辞書画像を
物体の向き（撮影方向）とともに記憶しておく。テスト
画像が与えられると、そのテスト画像中の照合位置(X,
Y) に対して前記ｎ番目の辞書画像との類似度r(n,X,Y)
を照合処理手段により算出し、その照合処理を(X,Y) 、
および、ｎを変えて実行し、類似度ｒが最も高くなると
きの位置(Xmax,Ymax) を物体領域に対応する領域として
出力する。
【０００８】この発明による物体領域検出方法及び装置
によれば、辞書画像生成手段において、対象となるカテ
ゴリー（Ｌ種類）に属する物体を代表する辞書画像の方
向数Ｍを適切に設定しておけば、どんな方向を向いた認
識対象物体を含むテスト画像が与えられても、該テスト
画像の照合領域と辞書画像との類似度が最大になる該テ
スト画像の照合領域の位置が該認識対象物体の位置に一
致し、そのときの辞書画像が該認識対象物体が属すカテ
ゴリを代表するものとすることができる。従って、テス
ト画像における認識対象物体の向きによらずに該認識対
象物体を含むように照合領域を抽出することができる。
によれば、辞書画像生成手段において、対象となるカテ
ゴリー（Ｌ種類）に属する物体を代表する辞書画像の方
向数Ｍを適切に設定しておけば、どんな方向を向いた認
識対象物体を含むテスト画像が与えられても、該テスト
画像の照合領域と辞書画像との類似度が最大になる該テ
スト画像の照合領域の位置が該認識対象物体の位置に一
致し、そのときの辞書画像が該認識対象物体が属すカテ
ゴリを代表するものとすることができる。従って、テス
ト画像における認識対象物体の向きによらずに該認識対
象物体を含むように照合領域を抽出することができる。
【０００９】
【実施例】以下に説明する各実施例では、対象となるカ
テゴリーｉとして、子供顔(i=1)、成人女顔(i=2) 、成
人男顔(i=3) を、領域抽出の対象として顔領域を、顔領
域内のＫ個の特徴点として左右の目と口の３点を選んだ
場合を例に説明するが、顔以外の物体を識別する場合に
も適用できることは容易に理解できよう。
テゴリーｉとして、子供顔(i=1)、成人女顔(i=2) 、成
人男顔(i=3) を、領域抽出の対象として顔領域を、顔領
域内のＫ個の特徴点として左右の目と口の３点を選んだ
場合を例に説明するが、顔以外の物体を識別する場合に
も適用できることは容易に理解できよう。
【００１０】図１はこの発明による第１の実施例の処理
と構成を示す機能ブロック図である。図１において、10
0 は辞書画像生成部であって、辞書画像入力部101 、顔
領域切り出し部102 、特徴点検出部103 、辞書画像記録
部104 より構成される。辞書画像入力部101 はカメラに
より構成され、ｉ＝１，２，３の何れかのカテゴリーに
属する合計ｐ人のそれぞれについてＭ方向の顔画像を取
り込み、得られた画像を顔領域切り出し部102 に出力す
る。
と構成を示す機能ブロック図である。図１において、10
0 は辞書画像生成部であって、辞書画像入力部101 、顔
領域切り出し部102 、特徴点検出部103 、辞書画像記録
部104 より構成される。辞書画像入力部101 はカメラに
より構成され、ｉ＝１，２，３の何れかのカテゴリーに
属する合計ｐ人のそれぞれについてＭ方向の顔画像を取
り込み、得られた画像を顔領域切り出し部102 に出力す
る。
【００１１】顔領域切り出し部102 は１フレームの画像
を保持する画像バッファを有し、受けた各画像から顔領
域を切り出し、予め決めた一定の大きさの顔領域のみの
画像として出力する。ここでは、辞書画像を生成するた
めの処理であるので、人手を介して顔領域を切り出して
も実用上問題にならない。特徴点検出部103 は顔領域切
り出し部102 より受けた顔画像から予め決めた特徴項目
である例えば目と口の特徴点を検出し、それらの特徴点
の位置を顔画像と共に辞書画像記憶部104 に供給する。
ここでの特徴点検出でも、辞書画像を生成するための処
理であるので、人手を介して検出しても実用上問題にな
らない。辞書画像記憶部104 は特徴点検出部103 より受
けた特徴点の位置と顔画像から辞書画像を生成して記憶
する。
を保持する画像バッファを有し、受けた各画像から顔領
域を切り出し、予め決めた一定の大きさの顔領域のみの
画像として出力する。ここでは、辞書画像を生成するた
めの処理であるので、人手を介して顔領域を切り出して
も実用上問題にならない。特徴点検出部103 は顔領域切
り出し部102 より受けた顔画像から予め決めた特徴項目
である例えば目と口の特徴点を検出し、それらの特徴点
の位置を顔画像と共に辞書画像記憶部104 に供給する。
ここでの特徴点検出でも、辞書画像を生成するための処
理であるので、人手を介して検出しても実用上問題にな
らない。辞書画像記憶部104 は特徴点検出部103 より受
けた特徴点の位置と顔画像から辞書画像を生成して記憶
する。
【００１２】辞書画像の生成は、例えば、各カテゴリー
ｉ＝１，２，３に属するｐ1,ｐ2,ｐ 3,人、合計ｐ人のそ
れぞれについて予め決めたＭ方向の顔画像を、それぞれ
の方向の顔画像毎に目と口の位置を用いて顔領域の大き
さと位置を合わせてから平均することにより得られる。
あるいは、各カテゴリー毎に、ｐ×Ｍ個の顔画像をＭ個
のクラスタに分け、各画像がａ×ｂ画素から成るとする
と、これら全画素を要素とするａ×ｂ次元のベクトル
（画像ベクトルと呼ぶ）でその画像を表現した場合、各
クラスタ内の全画像ベクトルの重心ベクトルであるセン
トロイド、または、セントロイドに最も近い画像ベクト
ル（顔画像）を辞書画像としてもよい。この様にして、
例えば図２に示すように、カテゴリーｉ＝1,2,…,Lのそ
れぞれについてＭ個の方向から見た代表的な顔画像と、
それらの各画像中の３つの特徴点の位置座標(x1,y1),(x
2,y2),(x3,y3) が対応づけられた辞書が得られる。図２
ではこれらの特徴点の位置座標を(xf,yf) で示してい
る。辞書画像記憶部104 は照合処理部106 から辞書画像
の読み出し要求を受けると、記憶している辞書画像を読
みだし出力する。
ｉ＝１，２，３に属するｐ1,ｐ2,ｐ 3,人、合計ｐ人のそ
れぞれについて予め決めたＭ方向の顔画像を、それぞれ
の方向の顔画像毎に目と口の位置を用いて顔領域の大き
さと位置を合わせてから平均することにより得られる。
あるいは、各カテゴリー毎に、ｐ×Ｍ個の顔画像をＭ個
のクラスタに分け、各画像がａ×ｂ画素から成るとする
と、これら全画素を要素とするａ×ｂ次元のベクトル
（画像ベクトルと呼ぶ）でその画像を表現した場合、各
クラスタ内の全画像ベクトルの重心ベクトルであるセン
トロイド、または、セントロイドに最も近い画像ベクト
ル（顔画像）を辞書画像としてもよい。この様にして、
例えば図２に示すように、カテゴリーｉ＝1,2,…,Lのそ
れぞれについてＭ個の方向から見た代表的な顔画像と、
それらの各画像中の３つの特徴点の位置座標(x1,y1),(x
2,y2),(x3,y3) が対応づけられた辞書が得られる。図２
ではこれらの特徴点の位置座標を(xf,yf) で示してい
る。辞書画像記憶部104 は照合処理部106 から辞書画像
の読み出し要求を受けると、記憶している辞書画像を読
みだし出力する。
【００１３】カメラにより構成されたテスト画像入力部
105 は検査対象の画像を取り込み、取り込んだ画像をテ
スト画像ＩT として照合処理部106 に出力する。照合処
理部106 は照合領域切り出し部107Aと、類似度算出部10
7 と、位置シフト部108 とにより構成される。照合領域
切り出し部107Aは１フレームの画像を保持する画像バッ
ファを有し、テスト画像入力部105 からテスト画像ＩT
を受けると、位置シフト部108 から指定された照合位置
初期値(X0,Y0) を基準とする所定の大きさの照合領域を
切り出し、類似度算出部107 に与える。類似度算出部10
7 は照合領域画像を受けると、辞書画像記憶部104 に辞
書画像の読み出し要求を出す。辞書画像記憶部104 は類
似度算出部107 の要求に応答して図２に示すＮ個の辞書
画像ＩDn(n=1,2,…,N)を特徴点位置(xf,yf) と共に順次
読みだして類似度算出部107 に出力する。次に類似度算
出部107 はテスト画像の照合領域と、Ｎ個の辞書画像と
の類似度r(n,X0,Y 0)、ただしn=1,2,…,N、をそれぞれ算
出し、それらの類似度を物体領域検出部109 に与えると
共に、照合位置の更新命令を位置シフト部108 に与え
る。図３は、照合位置(X0,Y0) でのテスト画像ＩT の領
域とn=1 の辞書画像ＩD1との類似度を算出する様子を示
している。
105 は検査対象の画像を取り込み、取り込んだ画像をテ
スト画像ＩT として照合処理部106 に出力する。照合処
理部106 は照合領域切り出し部107Aと、類似度算出部10
7 と、位置シフト部108 とにより構成される。照合領域
切り出し部107Aは１フレームの画像を保持する画像バッ
ファを有し、テスト画像入力部105 からテスト画像ＩT
を受けると、位置シフト部108 から指定された照合位置
初期値(X0,Y0) を基準とする所定の大きさの照合領域を
切り出し、類似度算出部107 に与える。類似度算出部10
7 は照合領域画像を受けると、辞書画像記憶部104 に辞
書画像の読み出し要求を出す。辞書画像記憶部104 は類
似度算出部107 の要求に応答して図２に示すＮ個の辞書
画像ＩDn(n=1,2,…,N)を特徴点位置(xf,yf) と共に順次
読みだして類似度算出部107 に出力する。次に類似度算
出部107 はテスト画像の照合領域と、Ｎ個の辞書画像と
の類似度r(n,X0,Y 0)、ただしn=1,2,…,N、をそれぞれ算
出し、それらの類似度を物体領域検出部109 に与えると
共に、照合位置の更新命令を位置シフト部108 に与え
る。図３は、照合位置(X0,Y0) でのテスト画像ＩT の領
域とn=1 の辞書画像ＩD1との類似度を算出する様子を示
している。
【００１４】照合領域切り出し部107Aは位置シフト部10
8 より更新された照合位置(X,Y) を受け取ると、その位
置を基準とする所定の大きさの照合領域をテスト画像か
ら切り出して類似度算出部107 に与える。類似度算出部
107 は上述と同様に、切り出されたその照合領域と辞書
画像との類似度r(n,X,Y)をそれぞれ算出して物体領域検
出部109 に出力するとともに、照合位置更新命令を位置
シフト部108 に出力する。但し、照合位置(X,Y) が予め
設定した最終位置(Xm,Ym) に到達したならば、照合処理
部106 の処理を終了し、物体領域検出部109 の処理に進
む。類似度算出部107 における類似度ｒの計算は、例え
ば、２つの画像の相関係数により算出すればよい。
8 より更新された照合位置(X,Y) を受け取ると、その位
置を基準とする所定の大きさの照合領域をテスト画像か
ら切り出して類似度算出部107 に与える。類似度算出部
107 は上述と同様に、切り出されたその照合領域と辞書
画像との類似度r(n,X,Y)をそれぞれ算出して物体領域検
出部109 に出力するとともに、照合位置更新命令を位置
シフト部108 に出力する。但し、照合位置(X,Y) が予め
設定した最終位置(Xm,Ym) に到達したならば、照合処理
部106 の処理を終了し、物体領域検出部109 の処理に進
む。類似度算出部107 における類似度ｒの計算は、例え
ば、２つの画像の相関係数により算出すればよい。
【００１５】位置シフト部108 は類似度算出部107 より
照合位置更新命令を受け取ると、前回の照合位置座標X,
Y のいづれか一方又は両方の値をそれぞれ予め決めた歩
進幅ΔX，ΔYだけ変化させ、変化後の位置を新たな照合
位置座標(X,Y) として類似度算出部107 に出力する。位
置の変化のさせ方は、例えば、テスト画像をラスタース
キャンするように行えばよい。即ち、例えばX をステッ
プΔX づつ歩進しX0からXm までスキャンする毎にY を
ΔY だけ歩進する事を繰り返し、Y をY0 からYm まで変
化させる。
照合位置更新命令を受け取ると、前回の照合位置座標X,
Y のいづれか一方又は両方の値をそれぞれ予め決めた歩
進幅ΔX，ΔYだけ変化させ、変化後の位置を新たな照合
位置座標(X,Y) として類似度算出部107 に出力する。位
置の変化のさせ方は、例えば、テスト画像をラスタース
キャンするように行えばよい。即ち、例えばX をステッ
プΔX づつ歩進しX0からXm までスキャンする毎にY を
ΔY だけ歩進する事を繰り返し、Y をY0 からYm まで変
化させる。
【００１６】物体領域検出部109 は類似度算出部107 よ
り受け取った類似度r(n,X,Y)が最大となるときの位置(X
max,Ymax) と辞書画像ＩDnを検出し、特徴点位置決定部
110に出力する。特徴点位置決定部110 は物体領域検出
部109 より受けた辞書画像ｎをテスト画像中の照合位置
(Xmax,Ymax) の領域に重ね、このときに、辞書画像に記
憶されている特徴点位置(xF,yF)である目と口の位置
(x1,y1),(x2,y2),(x3,y3)からテスト画像における目の
位置(X1,Y1)＝(Xmax+x1,Ymax+y1)、(X2,Y2)＝(Xmax+x2,
Ymax+y 2)と口の位置(X3,Y3)＝(Xmax+x3,Ymax+y3)を検出
する。
り受け取った類似度r(n,X,Y)が最大となるときの位置(X
max,Ymax) と辞書画像ＩDnを検出し、特徴点位置決定部
110に出力する。特徴点位置決定部110 は物体領域検出
部109 より受けた辞書画像ｎをテスト画像中の照合位置
(Xmax,Ymax) の領域に重ね、このときに、辞書画像に記
憶されている特徴点位置(xF,yF)である目と口の位置
(x1,y1),(x2,y2),(x3,y3)からテスト画像における目の
位置(X1,Y1)＝(Xmax+x1,Ymax+y1)、(X2,Y2)＝(Xmax+x2,
Ymax+y 2)と口の位置(X3,Y3)＝(Xmax+x3,Ymax+y3)を検出
する。
【００１７】位置シフト部108 における更新照合位置
(X,Y) が予め設定した最終照合位置座標(Xm,Ym) に達し
たときには、照合処理を終了し、物体領域検出部109 の
処理に進む。物体領域検出部109 では、受け取った類似
度r(n,X,Y)のなかの最大値を検出し、このときの照合位
置(Xmax,Ymax) と辞書画像ＩDnの番号ｎ、及びその画像
の有する特徴点位置(xf,yf) を物***置決定部110 に出
力する。図３に、類似度が最大となるときの位置(Xmax,
Ymax) を示す。物***置決定部110 は、物体領域検出部
109 より受けた情報ｎ,(Xmax,Ymax),(xf,yf)からテスト
画像における目と口の位置を決定する。図３に目と口の
位置 (X1,Y1)=(Xmax+x1,Ymax+y1) (X2,Y2)=(Xmax+x2,Ymax+y2) (X3,Y3)=(Xmax+x3,Ymax+y3) を示す。テスト画像上におけるこれらの特徴点の座標を
(Xf,Yf);f=1,2,3 と表すものとする。
(X,Y) が予め設定した最終照合位置座標(Xm,Ym) に達し
たときには、照合処理を終了し、物体領域検出部109 の
処理に進む。物体領域検出部109 では、受け取った類似
度r(n,X,Y)のなかの最大値を検出し、このときの照合位
置(Xmax,Ymax) と辞書画像ＩDnの番号ｎ、及びその画像
の有する特徴点位置(xf,yf) を物***置決定部110 に出
力する。図３に、類似度が最大となるときの位置(Xmax,
Ymax) を示す。物***置決定部110 は、物体領域検出部
109 より受けた情報ｎ,(Xmax,Ymax),(xf,yf)からテスト
画像における目と口の位置を決定する。図３に目と口の
位置 (X1,Y1)=(Xmax+x1,Ymax+y1) (X2,Y2)=(Xmax+x2,Ymax+y2) (X3,Y3)=(Xmax+x3,Ymax+y3) を示す。テスト画像上におけるこれらの特徴点の座標を
(Xf,Yf);f=1,2,3 と表すものとする。
【００１８】また、辞書画像の物体の方向Ｍについて
は、Ｍを大きくすればするほど、テスト画像ＩT におけ
る物体像の向きに対する適用能力が向上する。しかし、
Ｍを大きくすると、辞書画像を記憶するために必要な辞
書画像記憶部104 の記憶容量が増大するとともに、照合
処理1O6 での処理に時間がかかる。図４は、図５Ａ及び
５Ｂに示すように、顔方向を真正面から左右に６０度、
上下に３０度の範囲で、左右、上下にθ(=5,10,15,20,2
5,30,35,40,45,50,55,60)度の間隔で変化させた画像を
ｐ＝１０人について撮影して、方向別に平均した画像を
辞書画像とし、辞書画像の作成に用いた人物とは別の１
０人について、それぞれ顔方向が真正面から左右に６０
度、上下に３０度の範囲から選択した４５方向の顔画像
を取り込んだ４５０枚のテスト画像から顔領域を抽出す
る実験を行った結果を示し、縦軸は抽出成功率、横軸は
隣接方向角θである。図４より、θが１０度より小さく
なると辞書画像の総数が急激に増え、θが４０度以上に
なると顔領域の抽出精度が低下することが分かる。
は、Ｍを大きくすればするほど、テスト画像ＩT におけ
る物体像の向きに対する適用能力が向上する。しかし、
Ｍを大きくすると、辞書画像を記憶するために必要な辞
書画像記憶部104 の記憶容量が増大するとともに、照合
処理1O6 での処理に時間がかかる。図４は、図５Ａ及び
５Ｂに示すように、顔方向を真正面から左右に６０度、
上下に３０度の範囲で、左右、上下にθ(=5,10,15,20,2
5,30,35,40,45,50,55,60)度の間隔で変化させた画像を
ｐ＝１０人について撮影して、方向別に平均した画像を
辞書画像とし、辞書画像の作成に用いた人物とは別の１
０人について、それぞれ顔方向が真正面から左右に６０
度、上下に３０度の範囲から選択した４５方向の顔画像
を取り込んだ４５０枚のテスト画像から顔領域を抽出す
る実験を行った結果を示し、縦軸は抽出成功率、横軸は
隣接方向角θである。図４より、θが１０度より小さく
なると辞書画像の総数が急激に増え、θが４０度以上に
なると顔領域の抽出精度が低下することが分かる。
【００１９】そこで、この発明の１実施例では、隣接す
る方向角が１０度以上４０度未満になるように各カテゴ
リー毎にＭ個の画像を取り込み、特徴点座標(xf,yf) と
共に辞書画像として辞書画像記憶部104 に記憶すること
により、比較的に少ない辞書画像の数Ｎでも高い成功率
で物体領域を抽出でき、従って、物体領域を高速に精度
よく抽出できることが理解できる。
る方向角が１０度以上４０度未満になるように各カテゴ
リー毎にＭ個の画像を取り込み、特徴点座標(xf,yf) と
共に辞書画像として辞書画像記憶部104 に記憶すること
により、比較的に少ない辞書画像の数Ｎでも高い成功率
で物体領域を抽出でき、従って、物体領域を高速に精度
よく抽出できることが理解できる。
【００２０】以上説明した通り、本発明によれば、顔の
向きによらずに、画像における顔領域を抽出すること、
および、顔領域の特徴点として目や口の位置を検出する
ことができる。図６はこの発明による第２の実施例の処
理と構成を示す機能ブロック図である。ただし、ブロッ
クＩT で示す入力テスト画像と、図１の実施例において
最大類似度を与える照合位置(Xmax,Ymax) から決定され
た特徴点の座標(Xf,Yf),f=1,2,3 と、その時の辞書画像
番号ｎとが部分照合処理部502 に入力されることを模式
的に示している。部分照合処理部502 は照合領域切り出
し部503Aと類似度算出部503 と位置シフト部504 とを有
し、これらの動作は図１における照合処理部106の照合
領域切り出し部107A、類似度算出部107 及び位置シフト
部108 の動作と同様である。
向きによらずに、画像における顔領域を抽出すること、
および、顔領域の特徴点として目や口の位置を検出する
ことができる。図６はこの発明による第２の実施例の処
理と構成を示す機能ブロック図である。ただし、ブロッ
クＩT で示す入力テスト画像と、図１の実施例において
最大類似度を与える照合位置(Xmax,Ymax) から決定され
た特徴点の座標(Xf,Yf),f=1,2,3 と、その時の辞書画像
番号ｎとが部分照合処理部502 に入力されることを模式
的に示している。部分照合処理部502 は照合領域切り出
し部503Aと類似度算出部503 と位置シフト部504 とを有
し、これらの動作は図１における照合処理部106の照合
領域切り出し部107A、類似度算出部107 及び位置シフト
部108 の動作と同様である。
【００２１】図６の実施例において、部分辞書画像記憶
部501 には図７に示すように、図１の画像記憶部104 に
記憶してあるカテゴリーｉ、顔方向Ｍの各顔画像ＩDnに
対応して、その辞書画像の目・口の特徴点の座標(xf,
yf) を含む所定の大きさの部分領域画像Ａ1，Ａ2，Ａ3
の組が部分辞書画像ＩPn として記憶されている。部分
照合処理部502 は、図１で説明した照合処理により得ら
れたテスト画像と最も類似度の高い辞書画像の番号ｎと
テスト画像における特徴点位置(Xf,Yf) である目の位置
(X1,Y1),(X2,Y2) と口の位置(X3,Y3) が与えられると、
部分辞書画像記憶部501 にｎ番目の辞書画像ＩDnに対応
した部分辞書画像ＩPnの読み取り要求を出し、部分辞書
画像ＩPnを受け取る。部分照合処理部502 は目・口の特
徴点ｆ(=1,2,3)について、例えば図８にｆ＝１の場合を
示すように位置(Xf,Yf) の周辺で予め設定しておいた範
囲内で図１で説明した照合処理部104 の処理と同様に照
合位置(X,Y) を順次変えてテスト画像と部分辞書画像と
の類似度rf(n,f,X,Y)を算出し、算出した類似度を特徴
点位置高精度決定部505 に出力する。特徴点位置高精度
決定部505 は特徴点f=1,2,3 のそれぞれについて、類似
度が最大となるときのテスト画像におけるそれぞれの照
合位置(Xfmax,Yfmax) を検出し、更にこれらの照合位置
と辞書画像中の特徴点(xf,yf) からテスト画像中の特徴
点位置(X fmax+xf,Yfmax+yf) をf=1,2,3についてそれぞ
れ計算する。
部501 には図７に示すように、図１の画像記憶部104 に
記憶してあるカテゴリーｉ、顔方向Ｍの各顔画像ＩDnに
対応して、その辞書画像の目・口の特徴点の座標(xf,
yf) を含む所定の大きさの部分領域画像Ａ1，Ａ2，Ａ3
の組が部分辞書画像ＩPn として記憶されている。部分
照合処理部502 は、図１で説明した照合処理により得ら
れたテスト画像と最も類似度の高い辞書画像の番号ｎと
テスト画像における特徴点位置(Xf,Yf) である目の位置
(X1,Y1),(X2,Y2) と口の位置(X3,Y3) が与えられると、
部分辞書画像記憶部501 にｎ番目の辞書画像ＩDnに対応
した部分辞書画像ＩPnの読み取り要求を出し、部分辞書
画像ＩPnを受け取る。部分照合処理部502 は目・口の特
徴点ｆ(=1,2,3)について、例えば図８にｆ＝１の場合を
示すように位置(Xf,Yf) の周辺で予め設定しておいた範
囲内で図１で説明した照合処理部104 の処理と同様に照
合位置(X,Y) を順次変えてテスト画像と部分辞書画像と
の類似度rf(n,f,X,Y)を算出し、算出した類似度を特徴
点位置高精度決定部505 に出力する。特徴点位置高精度
決定部505 は特徴点f=1,2,3 のそれぞれについて、類似
度が最大となるときのテスト画像におけるそれぞれの照
合位置(Xfmax,Yfmax) を検出し、更にこれらの照合位置
と辞書画像中の特徴点(xf,yf) からテスト画像中の特徴
点位置(X fmax+xf,Yfmax+yf) をf=1,2,3についてそれぞ
れ計算する。
【００２２】このように、この実施例によれば、目や口
の周辺の部分領域辞書画像との照合を行うので、テスト
画像における目や口などの特徴点の位置を精度よく抽出
することができる。図９は図１の実施例において更に判
定処理部901 を設け、テスト画像中の検出された物体領
域の画像が属するカテゴリーを判定するようにした実施
例である。ただし、この実施例においては図１における
特徴点位置決定部110 を必要としない。
の周辺の部分領域辞書画像との照合を行うので、テスト
画像における目や口などの特徴点の位置を精度よく抽出
することができる。図９は図１の実施例において更に判
定処理部901 を設け、テスト画像中の検出された物体領
域の画像が属するカテゴリーを判定するようにした実施
例である。ただし、この実施例においては図１における
特徴点位置決定部110 を必要としない。
【００２３】物体領域検出部109 は、図１で説明したよ
うにしてテスト画像中の辞書画像と最も類似するときの
照合位置(Xmax,Ymax) を検出すると、その位置(Xmax,Y
max)と、そのときの辞書画像ＩDnの番号ｎとを判定処理
部901 に出力する。判定処理部901 は物体領域検出部10
9 より受けた照合位置(Xmax,Ymax) でのテスト画像の部
分領域とｎ番目の辞書画像ＩDnとの類似度r(n,Xmax,Y
max)から、テスト画像における物体が辞書画像の物体の
カテゴリーi=1,2,…,Lのどれに属するかを判別し、判別
結果を出力する。
うにしてテスト画像中の辞書画像と最も類似するときの
照合位置(Xmax,Ymax) を検出すると、その位置(Xmax,Y
max)と、そのときの辞書画像ＩDnの番号ｎとを判定処理
部901 に出力する。判定処理部901 は物体領域検出部10
9 より受けた照合位置(Xmax,Ymax) でのテスト画像の部
分領域とｎ番目の辞書画像ＩDnとの類似度r(n,Xmax,Y
max)から、テスト画像における物体が辞書画像の物体の
カテゴリーi=1,2,…,Lのどれに属するかを判別し、判別
結果を出力する。
【００２４】判定処理部901 の処理を、画像中の物体が
人物の顔である場合に男性的な顔(i=1) 、女性的な顔(i
=2) 、中性的な顔(i=3) のどれに近いかを判別する場合
を例に説明する。この場合、カテゴリー数Ｌ＝３であ
り、各カテゴリー内の像の方向数をＭとすると、全辞書
画像数は３Ｍである。例えば、３種類のカテゴリーのそ
れぞれに属することがわかっている顔画像を含む多数の
テスト画像について図１で説明した照合を行い、各テス
ト画像と各カテゴリーの全ての辞書画像のそれぞれとの
最大類似度ri(n,Xmax,Ymax) をそれぞれ求め、全てのテ
スト画像について得られた類似度を、照合カテゴリーi=
1,2,3 のそれぞれ毎に分類し、各カテゴリーｉ毎に類似
度に対するテスト画像の数の分布（頻度）を求めると、
例えば図１０Ａ，１０Ｂ，１０Ｃに示すような結果が得
られる。何れのカテゴリーの場合も、それぞれ類似度r1
th,r2 th,r3 thより大の範囲と小の範囲にピークを有する
２つの山が生じる。このことは、例えば入力テスト画像
をカテゴリーi=1 （即ち男性的な顔）と照合した場合、
類似度が閾値r1 thより大であったならば入力テスト画像
の顔は男性的であると判定でき、閾値r1 thより小さけれ
ばそれ以外、即ち女性的又は中性的顔であると判定でき
る。従って一般にカテゴリーｉとの照合において類似度
ri(n,Xmax,Ymax)＞ri th を満足するとき、入力テスト画
像はカテゴリーｉに属すると判定でき、それぞれのカテ
ゴリーｉについての閾値ri thと比較することにより入力
テスト画像がどのカテゴリーに属するか、あるいは何れ
にも属しないかが判定できる。
人物の顔である場合に男性的な顔(i=1) 、女性的な顔(i
=2) 、中性的な顔(i=3) のどれに近いかを判別する場合
を例に説明する。この場合、カテゴリー数Ｌ＝３であ
り、各カテゴリー内の像の方向数をＭとすると、全辞書
画像数は３Ｍである。例えば、３種類のカテゴリーのそ
れぞれに属することがわかっている顔画像を含む多数の
テスト画像について図１で説明した照合を行い、各テス
ト画像と各カテゴリーの全ての辞書画像のそれぞれとの
最大類似度ri(n,Xmax,Ymax) をそれぞれ求め、全てのテ
スト画像について得られた類似度を、照合カテゴリーi=
1,2,3 のそれぞれ毎に分類し、各カテゴリーｉ毎に類似
度に対するテスト画像の数の分布（頻度）を求めると、
例えば図１０Ａ，１０Ｂ，１０Ｃに示すような結果が得
られる。何れのカテゴリーの場合も、それぞれ類似度r1
th,r2 th,r3 thより大の範囲と小の範囲にピークを有する
２つの山が生じる。このことは、例えば入力テスト画像
をカテゴリーi=1 （即ち男性的な顔）と照合した場合、
類似度が閾値r1 thより大であったならば入力テスト画像
の顔は男性的であると判定でき、閾値r1 thより小さけれ
ばそれ以外、即ち女性的又は中性的顔であると判定でき
る。従って一般にカテゴリーｉとの照合において類似度
ri(n,Xmax,Ymax)＞ri th を満足するとき、入力テスト画
像はカテゴリーｉに属すると判定でき、それぞれのカテ
ゴリーｉについての閾値ri thと比較することにより入力
テスト画像がどのカテゴリーに属するか、あるいは何れ
にも属しないかが判定できる。
【００２５】この実施例によれば、物体の向きによらず
に、その物体が予め登録しておいたどのカテゴリーに属
するかを識別することができる。図９の実施例の特殊な
場合として、入力テスト画像中に人物像があるか否かだ
けを判定する場合には、辞書画像のカテゴリーとしては
１つとし、例えば男性、女性等についての多数の顔画像
をそれぞれＭ方向で取り込み、同じ方向の顔画像を平均
化した平均化顔画像をＭ方向のそれぞれについて求め辞
書画像として用意しておく。この様な辞書画像を使って
人物無し及び有りの多数のテスト画像を辞書画像と照合
すると、図１０Ｄに示すように人物を含むテスト画像の
類似度の分布と人物を含まないテスト画像の類似度分布
は互いに分離された山となるので、図１０Ｄのように類
似度の閾値r をそれらの山の間に設定することにより、
任意の入力テスト画像に人物が含まれているか否かを判
定することができる。この場合、図１における辞書画像
生成部100 に設けられている特徴点検出部103 を省略し
てもよい。あるいは、図９の実施例において辞書画像を
生成する場合に、図５Ａ，５Ｂで説明したように、各カ
テゴリー内のＭ方向の辞書画像の隣接する方向角が１０
度以上、４０度未満になるように物体に対する撮像方向
をそれぞれ選択することにより、精度の高い照合判定が
可能である。
に、その物体が予め登録しておいたどのカテゴリーに属
するかを識別することができる。図９の実施例の特殊な
場合として、入力テスト画像中に人物像があるか否かだ
けを判定する場合には、辞書画像のカテゴリーとしては
１つとし、例えば男性、女性等についての多数の顔画像
をそれぞれＭ方向で取り込み、同じ方向の顔画像を平均
化した平均化顔画像をＭ方向のそれぞれについて求め辞
書画像として用意しておく。この様な辞書画像を使って
人物無し及び有りの多数のテスト画像を辞書画像と照合
すると、図１０Ｄに示すように人物を含むテスト画像の
類似度の分布と人物を含まないテスト画像の類似度分布
は互いに分離された山となるので、図１０Ｄのように類
似度の閾値r をそれらの山の間に設定することにより、
任意の入力テスト画像に人物が含まれているか否かを判
定することができる。この場合、図１における辞書画像
生成部100 に設けられている特徴点検出部103 を省略し
てもよい。あるいは、図９の実施例において辞書画像を
生成する場合に、図５Ａ，５Ｂで説明したように、各カ
テゴリー内のＭ方向の辞書画像の隣接する方向角が１０
度以上、４０度未満になるように物体に対する撮像方向
をそれぞれ選択することにより、精度の高い照合判定が
可能である。
【００２６】次に、図６の実施例で示した部分照合の技
術と図９の実施例で示したカテゴリーの判定技術を組み
合わせ、例えばテスト画像中の人物像が眼鏡を掛けてい
るか否かを判定する場合のように、部分画像を部分辞書
画像と照合してその部分画像のカテゴリーを判定するよ
うに構成した実施例を図１１に示す。図１１において、
辞書画像生成部100 、テスト画像入力部105 、照合処理
部106 、及び物体領域検出部109 は図１の対応するもの
とそれぞれ同じ動作をし、特徴点位置決定部110 、部分
辞書画像記憶部501 、部分照合処理部502 、及び特徴点
位置高精度決定部505 は図６の対応するものとそれぞれ
同じ動作をする。
術と図９の実施例で示したカテゴリーの判定技術を組み
合わせ、例えばテスト画像中の人物像が眼鏡を掛けてい
るか否かを判定する場合のように、部分画像を部分辞書
画像と照合してその部分画像のカテゴリーを判定するよ
うに構成した実施例を図１１に示す。図１１において、
辞書画像生成部100 、テスト画像入力部105 、照合処理
部106 、及び物体領域検出部109 は図１の対応するもの
とそれぞれ同じ動作をし、特徴点位置決定部110 、部分
辞書画像記憶部501 、部分照合処理部502 、及び特徴点
位置高精度決定部505 は図６の対応するものとそれぞれ
同じ動作をする。
【００２７】特徴点位置高精度決定部505 は、図６の実
施例と同様にテスト画像において辞書画像と最も類似す
るときの照合位置(Xmax,Ymax) と、そのときの辞書画像
番号ｎを判定処理部902 に出力する。特徴点位置高精度
決定部505 はまた、図６の実施例と同様にして特徴点ｆ
について、部分辞書画像とテスト画像との類似度が最大
となるときの照合位置(Xfmax,Yfmax) と部分辞書画像Ｉ
Pnとを判定処理部902に出力する。
施例と同様にテスト画像において辞書画像と最も類似す
るときの照合位置(Xmax,Ymax) と、そのときの辞書画像
番号ｎを判定処理部902 に出力する。特徴点位置高精度
決定部505 はまた、図６の実施例と同様にして特徴点ｆ
について、部分辞書画像とテスト画像との類似度が最大
となるときの照合位置(Xfmax,Yfmax) と部分辞書画像Ｉ
Pnとを判定処理部902に出力する。
【００２８】判定処理部902 は、物体領域検出部109 よ
り受けた照合位置(Xmax,Ymax) でのｎ番目の辞書画像と
の類似度r(n,Xmax,Ymax)と、特徴点位置高精度決定部50
5 より受けた、位置(Xfmax,Yfmax)での部分辞書画像Ｉ
Pnとの類似度rf(n,Xfmax,Yfma x)とから、テスト画像に
おける物体が辞書画像の物体のどのカテゴリーに属する
かを判別し、判別結果を出力する。
り受けた照合位置(Xmax,Ymax) でのｎ番目の辞書画像と
の類似度r(n,Xmax,Ymax)と、特徴点位置高精度決定部50
5 より受けた、位置(Xfmax,Yfmax)での部分辞書画像Ｉ
Pnとの類似度rf(n,Xfmax,Yfma x)とから、テスト画像に
おける物体が辞書画像の物体のどのカテゴリーに属する
かを判別し、判別結果を出力する。
【００２９】判定処理部902 の処理を、テスト画像中の
物体が人物のときに、眼鏡をかけていない人物（カテゴ
リー i=1）、眼鏡をかけた人物（カテゴリー i=2）、サ
ングラスをかけた人物（カテゴリー i=3）のいずれであ
るかを判別する場合を例に説明する。この場合、辞書画
像生成部100 内の辞書画像記憶部104 （図１参照）に記
憶される辞書画像はＭ方向、３カテゴリーの顔画像であ
る。
物体が人物のときに、眼鏡をかけていない人物（カテゴ
リー i=1）、眼鏡をかけた人物（カテゴリー i=2）、サ
ングラスをかけた人物（カテゴリー i=3）のいずれであ
るかを判別する場合を例に説明する。この場合、辞書画
像生成部100 内の辞書画像記憶部104 （図１参照）に記
憶される辞書画像はＭ方向、３カテゴリーの顔画像であ
る。
【００３０】３種類のカテゴリーのそれぞれに属するこ
とが予め分かっている多数のテスト画像中の顔画像と眼
鏡なしのカテゴリー（i=1 ）の辞書画像との類似度r
1(n,Xma x,Ymax) の頻度分布を図１２Ａに示す。この場
合、眼鏡無し、眼鏡有り、サングラス有りのカテゴリー
がそれぞれ形成する頻度分布の３つの山のピークにおけ
る類似度は、この順に小さくなり、これらの隣接する山
の裾は互いに交差している。そのため図１２Ａに示すよ
うに、類似度の閾値r1 thをカテゴリーｉ＝１の山とカテ
ゴリーｉ＝３の山の間に選択しても、類似度r1(n,Xmax,
Ymax) が閾値r1 thより大の場合、眼鏡無しの人物または
眼鏡有りの人物のいずれかであると判定できるが、それ
らのどちらであるとも判定できない。そこで、この実施
例においては、部分辞書画像記憶部501 にカテゴリーi=
1 内の各角方向Ｍの画像に対応して目の部分領域画像Ｉ
Pnが記憶されている。
とが予め分かっている多数のテスト画像中の顔画像と眼
鏡なしのカテゴリー（i=1 ）の辞書画像との類似度r
1(n,Xma x,Ymax) の頻度分布を図１２Ａに示す。この場
合、眼鏡無し、眼鏡有り、サングラス有りのカテゴリー
がそれぞれ形成する頻度分布の３つの山のピークにおけ
る類似度は、この順に小さくなり、これらの隣接する山
の裾は互いに交差している。そのため図１２Ａに示すよ
うに、類似度の閾値r1 thをカテゴリーｉ＝１の山とカテ
ゴリーｉ＝３の山の間に選択しても、類似度r1(n,Xmax,
Ymax) が閾値r1 thより大の場合、眼鏡無しの人物または
眼鏡有りの人物のいずれかであると判定できるが、それ
らのどちらであるとも判定できない。そこで、この実施
例においては、部分辞書画像記憶部501 にカテゴリーi=
1 内の各角方向Ｍの画像に対応して目の部分領域画像Ｉ
Pnが記憶されている。
【００３１】この場合に対する既知の眼鏡無しのカテゴ
リー（i=1 ）に属する人物画像の目の部分領域に関する
類似度r1 f(n,Xfmax,Yfmax)の頻度分布を図１２Ｂに示
す。同図より、r1 f(n,Xfmax,Yfmax)＞r1 fth のときは、
眼鏡無しの人物であると判別すればよいことがわかる。
また、r1(n,Xmax,Ymax)≦r1 fthのときは、眼鏡有りの人
物またはサングラス有りの人物のいずれかであると識別
できる。この場合に対する眼鏡有りの人物のカテゴリー
の目の部分領域に関する類似度r2 f(n,Xfmax,Yfma x)の頻
度分布を図１２Ｃに示す。同図より、類似度がr2 f(n,X
fmax,Yfmax)＞r2 thのときは、眼鏡有りの人物であると
判別すればよいことがわかる。
リー（i=1 ）に属する人物画像の目の部分領域に関する
類似度r1 f(n,Xfmax,Yfmax)の頻度分布を図１２Ｂに示
す。同図より、r1 f(n,Xfmax,Yfmax)＞r1 fth のときは、
眼鏡無しの人物であると判別すればよいことがわかる。
また、r1(n,Xmax,Ymax)≦r1 fthのときは、眼鏡有りの人
物またはサングラス有りの人物のいずれかであると識別
できる。この場合に対する眼鏡有りの人物のカテゴリー
の目の部分領域に関する類似度r2 f(n,Xfmax,Yfma x)の頻
度分布を図１２Ｃに示す。同図より、類似度がr2 f(n,X
fmax,Yfmax)＞r2 thのときは、眼鏡有りの人物であると
判別すればよいことがわかる。
【００３２】図１１の実施例において、テスト画像中の
物体が眼鏡をかけていない人物であるかどうかを識別す
る場合には、辞書画像としてカテゴリー数Ｌ＝１で、眼
鏡をかけていないＭ方向の顔画像を辞書画像として辞書
画像生成部100 に用意する。この辞書画像を使ってテス
ト画像と照合すると、 （１）テスト画像に顔が含まれていないケース、 （２）テスト画像に眼鏡をかけた人物を含むケース （３）テスト画像に眼鏡をかけていない人物を含むケー
ス のそれぞれの類似度r(n,Xmax,Ymax)の頻度分布は例えば
図１２Ｄに示すようになる。判定処理部902 は物体領域
検出部109 から出力された類似度r(n,Xmax,Ymax)に基づ
いて図１２Ｄから、r(n,Xmax,Ymax)＞rth1のときは、上
記ケース（２）または（３）のいずれかであることと識
別できる。
物体が眼鏡をかけていない人物であるかどうかを識別す
る場合には、辞書画像としてカテゴリー数Ｌ＝１で、眼
鏡をかけていないＭ方向の顔画像を辞書画像として辞書
画像生成部100 に用意する。この辞書画像を使ってテス
ト画像と照合すると、 （１）テスト画像に顔が含まれていないケース、 （２）テスト画像に眼鏡をかけた人物を含むケース （３）テスト画像に眼鏡をかけていない人物を含むケー
ス のそれぞれの類似度r(n,Xmax,Ymax)の頻度分布は例えば
図１２Ｄに示すようになる。判定処理部902 は物体領域
検出部109 から出力された類似度r(n,Xmax,Ymax)に基づ
いて図１２Ｄから、r(n,Xmax,Ymax)＞rth1のときは、上
記ケース（２）または（３）のいずれかであることと識
別できる。
【００３３】次に、最大類似度を与える照合位置(Xmax,
Ymax) において前述と同様に特徴点位置を特徴点位置決
定部110 で決定し、部分照合処理部502 で特徴点を含む
部分領域と部分辞書画像を照合すると、ケース（２）と
（３）のそれぞれに対する部分領域類似度rf(n,Xfmax,Y
fmax) の頻度分布は例えば図１２Ｅのようになる。そこ
で判定処理部902 は部分領域類似度rf(n,Xfmax,Yfmax)
を使って図１２Ｅより、rf(n,Xfmax,Yfmax)＞rth2 のと
きは、眼鏡なしの人物であると判別することができる。
Ymax) において前述と同様に特徴点位置を特徴点位置決
定部110 で決定し、部分照合処理部502 で特徴点を含む
部分領域と部分辞書画像を照合すると、ケース（２）と
（３）のそれぞれに対する部分領域類似度rf(n,Xfmax,Y
fmax) の頻度分布は例えば図１２Ｅのようになる。そこ
で判定処理部902 は部分領域類似度rf(n,Xfmax,Yfmax)
を使って図１２Ｅより、rf(n,Xfmax,Yfmax)＞rth2 のと
きは、眼鏡なしの人物であると判別することができる。
【００３４】以上説明した通り、図１１の実施例によれ
ば、物体領域全体で照合した場合には差異の小さい別の
カテゴリーの物体でも、部分領域の照合を行うことによ
り正しく識別することができる。さらに、図１１の実施
例において、対象とするカテゴリーを論理的に統合する
ことにより、より一般的な識別装置に拡張することがで
きる。例えば、対象とするカテゴリーを前述のように ｉ＝１：男性顔、ｉ＝２：女性顔、ｉ＝３：サングラス
をかけた人物 とした場合に、カテゴリーi=1 に属するか否かを識別す
る装置とi=2 に属するか否かを識別する装置を組み合わ
せれば、人物顔(i=1 OR i=2)を識別することができる。
また、i=1 に属するか否かを識別する装置とi=3 に属す
るか否かを識別する装置を組み合わせれば、男性でサン
グラスをかけた人物(i=1 AND i=3) を識別することがで
きる。
ば、物体領域全体で照合した場合には差異の小さい別の
カテゴリーの物体でも、部分領域の照合を行うことによ
り正しく識別することができる。さらに、図１１の実施
例において、対象とするカテゴリーを論理的に統合する
ことにより、より一般的な識別装置に拡張することがで
きる。例えば、対象とするカテゴリーを前述のように ｉ＝１：男性顔、ｉ＝２：女性顔、ｉ＝３：サングラス
をかけた人物 とした場合に、カテゴリーi=1 に属するか否かを識別す
る装置とi=2 に属するか否かを識別する装置を組み合わ
せれば、人物顔(i=1 OR i=2)を識別することができる。
また、i=1 に属するか否かを識別する装置とi=3 に属す
るか否かを識別する装置を組み合わせれば、男性でサン
グラスをかけた人物(i=1 AND i=3) を識別することがで
きる。
【００３５】この様に、この実施例によれば、物体領域
全体で照合した場合には差異の小さい別のカテゴリーの
物体でも、部分領域の照合を行うことにより正しく識別
することができる。図１３は図１の実施例の変形実施例
であり、図１と対応するブロックには同じ番号を付けて
示して有る。辞書生成部100 において図１の場合と同様
に、例えば辞書画像入力部101 から取り込んだＬ個の各
カテゴリーの何れかに属するＰ人のＭ方向の顔画像を顔
領域切り出し部102 で所望の大きさに切り出す。切り出
された顔画像の目と口の特徴点の位置(xf,yf) を特徴点
検出部103 で検出し、それぞれのカテゴリーについて各
方向毎に目と口の位置(xf,yf) を用いて顔領域の大きさ
と位置を合わせてから平均する。この様にしてＬ×Ｍ個
の平均画像を作成する。
全体で照合した場合には差異の小さい別のカテゴリーの
物体でも、部分領域の照合を行うことにより正しく識別
することができる。図１３は図１の実施例の変形実施例
であり、図１と対応するブロックには同じ番号を付けて
示して有る。辞書生成部100 において図１の場合と同様
に、例えば辞書画像入力部101 から取り込んだＬ個の各
カテゴリーの何れかに属するＰ人のＭ方向の顔画像を顔
領域切り出し部102 で所望の大きさに切り出す。切り出
された顔画像の目と口の特徴点の位置(xf,yf) を特徴点
検出部103 で検出し、それぞれのカテゴリーについて各
方向毎に目と口の位置(xf,yf) を用いて顔領域の大きさ
と位置を合わせてから平均する。この様にしてＬ×Ｍ個
の平均画像を作成する。
【００３６】この実施例では更に、モザイク処理部121
が設けられ、これによって各平均画像をｖ×ｗのブロッ
クに分割し、それぞれのブロック内の画素濃度を平均化
する。この処理をモザイク処理と呼び、モザイク処理さ
れた画像をモザイク画像と呼ぶ。１つのモザイク画像の
全ブロック（ｖ×ｗ個）の濃度値の列を特徴列と呼び、
ｖ×ｗ次元のベクトルを構成している。図１４は、平均
画像を12×12のブロックに分割した例を示している。こ
の場合、特徴列は１４４次元のベクトルである。各モザ
イク画像の特徴列は辞書生成部122 に与えられる。
が設けられ、これによって各平均画像をｖ×ｗのブロッ
クに分割し、それぞれのブロック内の画素濃度を平均化
する。この処理をモザイク処理と呼び、モザイク処理さ
れた画像をモザイク画像と呼ぶ。１つのモザイク画像の
全ブロック（ｖ×ｗ個）の濃度値の列を特徴列と呼び、
ｖ×ｗ次元のベクトルを構成している。図１４は、平均
画像を12×12のブロックに分割した例を示している。こ
の場合、特徴列は１４４次元のベクトルである。各モザ
イク画像の特徴列は辞書生成部122 に与えられる。
【００３７】辞書生成部122 は、与えられたＬ個の各カ
テゴリーについてＭ個の特徴列fi,m(m=1,2,…,M)を受け
ると、カテゴリーを示す個別コードｉとＭ個の特徴列を
対応付けた、図１５に示すようなテーブルを作成し、辞
書記憶部123 に書き込む。テスト画像入力部105 は取り
込んだ画像をテスト画像として照合処理部106 に出力す
る。
テゴリーについてＭ個の特徴列fi,m(m=1,2,…,M)を受け
ると、カテゴリーを示す個別コードｉとＭ個の特徴列を
対応付けた、図１５に示すようなテーブルを作成し、辞
書記憶部123 に書き込む。テスト画像入力部105 は取り
込んだ画像をテスト画像として照合処理部106 に出力す
る。
【００３８】照合処理部106 は図１と同様の照合領域切
り出し部107Aと類似度算出部107 と位置シフト部108 に
加えて、モザイク処理部124 が設けられている。モザイ
ク処理部124 の処理は辞書生成部100 内のモザイク処理
部121 と同様のモザイク処理を行う。照合領域切り出し
部107Aはテスト画像入力部105 からテスト画像を受ける
と、位置シフト部108 から与えられた照合位置の初期値
(X0,Y0) を基準に所定の大きさの照合領域の画像を切り
出しモザイク処理部124 に与える。モザイク処理部124
は与えられた照合領域画像をモザイク処理し、処理され
た画像の特徴列を類似度算処理部107 に与える。類似度
算出処理部107 は辞書記憶部123 に辞書の読み出し要求
を出し、Ｎ＝Ｌ×Ｍ個の辞書特徴列（即ち辞書画像）を
順次受け、画像特徴列と各辞書特徴列との類似度r(n,
X0,Y0)をすべて算出し、それらの類似度を物体領域検出
部109 に出力するとともに、照合位置更新命令を位置シ
フト部108 に与える。位置シフト部108 は図１の場合と
同様に照合位置を更新して新しい照合位置(X,Y) を出力
する。照合領域切り出し部107Aは更新された照合位置で
テスト画像から照合領域を切り出し、モザイク処理部12
4 に与える。モザイク処理部124 はその照合領域画像の
モザイク処理を行い特徴列を算出し類似度算出部107 に
与え、テスト画像におけるその照合領域と辞書画像との
類似度r(n,X,Y)を算出して物体領域検出部109 に出力す
るとともに、照合位置更新命令を位置シフト部108 に与
える。上述の処理を繰り返し、照合位置(X,Y) が予め設
定した値であれば、照合処理部106 の処理を終了し、物
体領域検出部109 の処理に進む。類似度ｒは、例えば、
２つの特徴列の間のユークリッド距離の逆数により算出
すればよい。
り出し部107Aと類似度算出部107 と位置シフト部108 に
加えて、モザイク処理部124 が設けられている。モザイ
ク処理部124 の処理は辞書生成部100 内のモザイク処理
部121 と同様のモザイク処理を行う。照合領域切り出し
部107Aはテスト画像入力部105 からテスト画像を受ける
と、位置シフト部108 から与えられた照合位置の初期値
(X0,Y0) を基準に所定の大きさの照合領域の画像を切り
出しモザイク処理部124 に与える。モザイク処理部124
は与えられた照合領域画像をモザイク処理し、処理され
た画像の特徴列を類似度算処理部107 に与える。類似度
算出処理部107 は辞書記憶部123 に辞書の読み出し要求
を出し、Ｎ＝Ｌ×Ｍ個の辞書特徴列（即ち辞書画像）を
順次受け、画像特徴列と各辞書特徴列との類似度r(n,
X0,Y0)をすべて算出し、それらの類似度を物体領域検出
部109 に出力するとともに、照合位置更新命令を位置シ
フト部108 に与える。位置シフト部108 は図１の場合と
同様に照合位置を更新して新しい照合位置(X,Y) を出力
する。照合領域切り出し部107Aは更新された照合位置で
テスト画像から照合領域を切り出し、モザイク処理部12
4 に与える。モザイク処理部124 はその照合領域画像の
モザイク処理を行い特徴列を算出し類似度算出部107 に
与え、テスト画像におけるその照合領域と辞書画像との
類似度r(n,X,Y)を算出して物体領域検出部109 に出力す
るとともに、照合位置更新命令を位置シフト部108 に与
える。上述の処理を繰り返し、照合位置(X,Y) が予め設
定した値であれば、照合処理部106 の処理を終了し、物
体領域検出部109 の処理に進む。類似度ｒは、例えば、
２つの特徴列の間のユークリッド距離の逆数により算出
すればよい。
【００３９】物体領域検出部109 は図１の場合と同様
に、受け取った類似度r(n,X,Y)が最大となるときの照合
位置(Xmax,Ymax) と辞書画像番号ｎを検出する。この様
に、図１３の実施例によれば、照合領域をｖ×ｗ＝ｑ個
のブロックにしてモザイク処理することにより、対象領
域の位置ズレや大きさの違いやボケに対し強くなり、又
全体としての計算量が減少するため処理を高速にでき、
更に辞書画像を記憶するための記憶容量を削減すること
ができる。
に、受け取った類似度r(n,X,Y)が最大となるときの照合
位置(Xmax,Ymax) と辞書画像番号ｎを検出する。この様
に、図１３の実施例によれば、照合領域をｖ×ｗ＝ｑ個
のブロックにしてモザイク処理することにより、対象領
域の位置ズレや大きさの違いやボケに対し強くなり、又
全体としての計算量が減少するため処理を高速にでき、
更に辞書画像を記憶するための記憶容量を削減すること
ができる。
【００４０】次に、図１３の実施例を更に変形した実施
例を図１６に示す。辞書生成部100の処理は図１３の場
合と同じであり、説明を省略する。この実施例において
は更に、背景像保持部125 、物体領域抽出部126 、物体
計測部127 、ブロックサイズ限定部128 、及びブロック
サイズ変更部129 が設けられる。背景画像保持部125
は、テスト画像Ｉを得る例えば一定時間前に同じ方向で
テスト画像入力部105 によって撮影した画像を背景像と
して保持する。物体領域抽出部126 はその処理を図１７
に概念的に示すように、テスト画像入力部105 からのテ
スト画像ＩT と背景画像保持部125 からの背景画像ＩB
の差分処理を行って差分画像Ｉdfを得て、その差分画像
の全ての画素値を２値化処理して２値化画像Ｉdbを生成
する。図１７では人物像領域の画素が１、その背景の斜
線領域の画素が０であるとする。この２値画像Ｉの１に
ついてＸ軸及びＹ軸への射影をそれぞれ求めるとグラフ
(a),(b) で示すようなそれぞれの座標上の画素数の分布
が得られる。この分布(a),(b) の形状から人物像の頭部
の範囲、従ってその大きさＤx，Ｄy が図に示すように
求められる。
例を図１６に示す。辞書生成部100の処理は図１３の場
合と同じであり、説明を省略する。この実施例において
は更に、背景像保持部125 、物体領域抽出部126 、物体
計測部127 、ブロックサイズ限定部128 、及びブロック
サイズ変更部129 が設けられる。背景画像保持部125
は、テスト画像Ｉを得る例えば一定時間前に同じ方向で
テスト画像入力部105 によって撮影した画像を背景像と
して保持する。物体領域抽出部126 はその処理を図１７
に概念的に示すように、テスト画像入力部105 からのテ
スト画像ＩT と背景画像保持部125 からの背景画像ＩB
の差分処理を行って差分画像Ｉdfを得て、その差分画像
の全ての画素値を２値化処理して２値化画像Ｉdbを生成
する。図１７では人物像領域の画素が１、その背景の斜
線領域の画素が０であるとする。この２値画像Ｉの１に
ついてＸ軸及びＹ軸への射影をそれぞれ求めるとグラフ
(a),(b) で示すようなそれぞれの座標上の画素数の分布
が得られる。この分布(a),(b) の形状から人物像の頭部
の範囲、従ってその大きさＤx，Ｄy が図に示すように
求められる。
【００４１】ブロックサイズ限定部128 は、前記Ｄx ，
Ｄy をもとに、実際の認識対象物体の大きさが横Ｄx −
ｄx からＤx ＋ｄx 、縦Ｄy −ｄy からＤy ＋ｄy の範
囲にあると仮定して、ｖ×ｗブロックのサイズの可変範
囲を次のように決める。 横：(Ｄx−ｄx)/ｖ 画素から(Ｄx＋ｄx)/ｖ 画素の範囲 縦：(Ｄy−ｄy)/ｗ 画素から(Ｄy＋ｄy)/ｗ 画素の範囲 但し、割れきれない場合は四捨五入等で整数値にする。
Ｄy をもとに、実際の認識対象物体の大きさが横Ｄx −
ｄx からＤx ＋ｄx 、縦Ｄy −ｄy からＤy ＋ｄy の範
囲にあると仮定して、ｖ×ｗブロックのサイズの可変範
囲を次のように決める。 横：(Ｄx−ｄx)/ｖ 画素から(Ｄx＋ｄx)/ｖ 画素の範囲 縦：(Ｄy−ｄy)/ｗ 画素から(Ｄy＋ｄy)/ｗ 画素の範囲 但し、割れきれない場合は四捨五入等で整数値にする。
【００４２】類似度算出部107 は、テスト画像入力部10
5 からテスト画像を受けると、辞書記憶部123 に辞書画
像（辞書特徴列）の読み出し要求を出し、辞書特徴列を
受け取る。ブロックサイズ変更部129 は、ブロックサイ
ズ限定部128 で限定した範囲でブロックサイズを初期値
にfix し、モザイク処理部124 、類似度算出部107 、位
置シフト部108 は図１３で説明したと同様の処理を行
い、全ての照合位置においてモザイク処理と類似度算出
処理をし終えたらブロックサイズ変更部129 でブロック
サイズを一定幅ずつ変更して同様の処理を繰り返す。
5 からテスト画像を受けると、辞書記憶部123 に辞書画
像（辞書特徴列）の読み出し要求を出し、辞書特徴列を
受け取る。ブロックサイズ変更部129 は、ブロックサイ
ズ限定部128 で限定した範囲でブロックサイズを初期値
にfix し、モザイク処理部124 、類似度算出部107 、位
置シフト部108 は図１３で説明したと同様の処理を行
い、全ての照合位置においてモザイク処理と類似度算出
処理をし終えたらブロックサイズ変更部129 でブロック
サイズを一定幅ずつ変更して同様の処理を繰り返す。
【００４３】認識対象物体の大体の大きさを検出するこ
とにより、ブロックサイズの可変範囲を限定することが
でき、処理時間を短縮することができると共に、全く異
なったサイズで類似度が偶然大きくなってしまうような
エラーを防止することができる。図１８は各辞書画像の
特徴点が予め決めた位置関係となるように辞書用画像を
幾何学的正規化処理し、テスト画像についても特徴点の
位置関係が対応する正規化辞書画像の特徴点位置と一致
するように幾何学的正規化処理をする事により、照合精
度を高めるようにした実施例を示し、特徴点として、左
右の目領域の重心をP1とP2、口領域の重心をP3として抽
出する場合を示す。この実施例では、位置関係情報記憶
部131 、幾何学的正規化処理部132 及び認識用辞書画像
記憶部133から成る認識用辞書生成部130 が設けられ
る。一方、テスト画像入力側にも更に幾何学的正規化処
理部134 、類似度算出部135 及び判定処理部136 が設け
られる。
とにより、ブロックサイズの可変範囲を限定することが
でき、処理時間を短縮することができると共に、全く異
なったサイズで類似度が偶然大きくなってしまうような
エラーを防止することができる。図１８は各辞書画像の
特徴点が予め決めた位置関係となるように辞書用画像を
幾何学的正規化処理し、テスト画像についても特徴点の
位置関係が対応する正規化辞書画像の特徴点位置と一致
するように幾何学的正規化処理をする事により、照合精
度を高めるようにした実施例を示し、特徴点として、左
右の目領域の重心をP1とP2、口領域の重心をP3として抽
出する場合を示す。この実施例では、位置関係情報記憶
部131 、幾何学的正規化処理部132 及び認識用辞書画像
記憶部133から成る認識用辞書生成部130 が設けられ
る。一方、テスト画像入力側にも更に幾何学的正規化処
理部134 、類似度算出部135 及び判定処理部136 が設け
られる。
【００４４】認識用辞書生成部130 の位置関係記憶部13
1 には、予め決めた基準となる方向から参照物体を撮影
した場合の画像における特徴点の位置関係を記憶してい
る。この実施例では図１９Ａに示す例えば正面顔におけ
る３つの特徴点P1,P2,P3の次の位置関係を記憶してお
く。 (1) P1とP2を結ぶ直線は水平方向 (2) P1とP2の中点P0とP3を結ぶ直線は垂直方向 (3) P1とP2の距離 (4) P0とP3の距離 幾何学的正規化処理部132 は、位置関係情報記憶部131
に読み出し要求を出し、特徴点P1,P2,P3の位置関係を受
け取る。次に幾何学的正規化処理部132 は、辞書画像生
成部100 内の辞書画像記憶部104 から読み出された辞書
画像ＩDnとそれに対応する特徴点の位置(xf, yf), f=1,
2,3 を受け、それらの特徴点の位置関係が位置関係情報
記憶部131 から受けた特徴点P1,P2,P3の位置関係と一致
するような幾何学的変換、例えば、アフィン変換を受け
取った辞書画像ＩDnに施し、変換後の画像データから切
り出した照合領域を認識用辞書画像I'Dnとして認識用辞
書画像記憶部133 に記憶する。この処理を辞書画像生成
部100 から受けた全ての辞書画像ＩDn、n=1,…,Nについ
て実行する。照合領域の切り出しは、P1とP2間の距離の
定数倍を幅、P0とP3間の距離の定数倍を長さとする矩形
領域を切り出せばよい。図１９Ｂに、求めた認識用辞書
画像の一例を示す。
1 には、予め決めた基準となる方向から参照物体を撮影
した場合の画像における特徴点の位置関係を記憶してい
る。この実施例では図１９Ａに示す例えば正面顔におけ
る３つの特徴点P1,P2,P3の次の位置関係を記憶してお
く。 (1) P1とP2を結ぶ直線は水平方向 (2) P1とP2の中点P0とP3を結ぶ直線は垂直方向 (3) P1とP2の距離 (4) P0とP3の距離 幾何学的正規化処理部132 は、位置関係情報記憶部131
に読み出し要求を出し、特徴点P1,P2,P3の位置関係を受
け取る。次に幾何学的正規化処理部132 は、辞書画像生
成部100 内の辞書画像記憶部104 から読み出された辞書
画像ＩDnとそれに対応する特徴点の位置(xf, yf), f=1,
2,3 を受け、それらの特徴点の位置関係が位置関係情報
記憶部131 から受けた特徴点P1,P2,P3の位置関係と一致
するような幾何学的変換、例えば、アフィン変換を受け
取った辞書画像ＩDnに施し、変換後の画像データから切
り出した照合領域を認識用辞書画像I'Dnとして認識用辞
書画像記憶部133 に記憶する。この処理を辞書画像生成
部100 から受けた全ての辞書画像ＩDn、n=1,…,Nについ
て実行する。照合領域の切り出しは、P1とP2間の距離の
定数倍を幅、P0とP3間の距離の定数倍を長さとする矩形
領域を切り出せばよい。図１９Ｂに、求めた認識用辞書
画像の一例を示す。
【００４５】テスト画像がテスト画像入力部105 から入
力されると、図１の実施例と同様に辞書画像生成部100
からの辞書画像と照合処理部106 で照合して、その結果
に基づき物体領域検出部109 でテスト画像中の物体領域
（ここでは顔領域）を検出し、更に特徴点位置決定部11
0 で目及び口の特徴点位置(Xf, Yf), f=1,2,3 を決定す
る。幾何学的正規化処理部134 は検出された特徴点(Xf,
Yf)の位置関係が位置関係情報記憶部131 に保持されて
いる特徴点P1,P2,P3の位置関係と一致するように顔領域
画像をアフィン変換し、類似度算出部135 に出力する。
類似度算出部135 は認識用辞書画像記憶部133 から認識
用辞書画像I'Dnを順次読みだし、テスト画像中の変換さ
れた顔領域画像との類似度を算出し、判別処理部136 に
出力する。類似度としては、例えば２つの照合領域の画
像の相関係数を用いればよい。判別処理部136 では類似
度が最大の辞書画像が代表するカテゴリーを判別結果と
して出力する。
力されると、図１の実施例と同様に辞書画像生成部100
からの辞書画像と照合処理部106 で照合して、その結果
に基づき物体領域検出部109 でテスト画像中の物体領域
（ここでは顔領域）を検出し、更に特徴点位置決定部11
0 で目及び口の特徴点位置(Xf, Yf), f=1,2,3 を決定す
る。幾何学的正規化処理部134 は検出された特徴点(Xf,
Yf)の位置関係が位置関係情報記憶部131 に保持されて
いる特徴点P1,P2,P3の位置関係と一致するように顔領域
画像をアフィン変換し、類似度算出部135 に出力する。
類似度算出部135 は認識用辞書画像記憶部133 から認識
用辞書画像I'Dnを順次読みだし、テスト画像中の変換さ
れた顔領域画像との類似度を算出し、判別処理部136 に
出力する。類似度としては、例えば２つの照合領域の画
像の相関係数を用いればよい。判別処理部136 では類似
度が最大の辞書画像が代表するカテゴリーを判別結果と
して出力する。
【００４６】この様に図１８の実施例によれば、対象物
体領域から特徴点を抽出し、抽出した特徴点の位置関係
が、予め記憶しておいた基準となる方向から参照物体を
撮影したときの画像から抽出した特徴点の位置関係と一
致するように、取り込んだテスト画像における物体領域
を幾何学的に変換し、変換後の画像の類似度に基づいて
物体領域を抽出する。この様に画像を幾何学的変換する
ので、撮影する方向により画像における物体の形状の大
きさ、傾き等が変わる場合でも、辞書画像作成する際に
同一参照物体を異なる方向から撮影する回数を低減させ
ることができるし、テスト画像における物体の形状や大
きさが変わる場合でも、物体検出処理に要する計算量を
削減させ、かつ検出精度を向上させることができる。
体領域から特徴点を抽出し、抽出した特徴点の位置関係
が、予め記憶しておいた基準となる方向から参照物体を
撮影したときの画像から抽出した特徴点の位置関係と一
致するように、取り込んだテスト画像における物体領域
を幾何学的に変換し、変換後の画像の類似度に基づいて
物体領域を抽出する。この様に画像を幾何学的変換する
ので、撮影する方向により画像における物体の形状の大
きさ、傾き等が変わる場合でも、辞書画像作成する際に
同一参照物体を異なる方向から撮影する回数を低減させ
ることができるし、テスト画像における物体の形状や大
きさが変わる場合でも、物体検出処理に要する計算量を
削減させ、かつ検出精度を向上させることができる。
【００４７】図２０は図１の実施例において、テスト画
像の照合領域と辞書画像の明るさをそれぞれ正規化する
ことにより照合精度を高めるように構成した実施例を示
す。なお、特徴点位置決定部110 は省略される。この実
施例では、辞書画像生成部100 と照合処理部106 にそれ
ぞれ明るさ正規化部137,138 を設け、特徴点検出部103
及び照合領域切り出し部107Aからそれぞれ受けた画像の
照合領域の明るさの正規化を行う。従って辞書画像記憶
部104 には明るさが正規化された辞書画像が書き込ま
れ、また類似度算出部107 も明るさが正規化された照合
領域画像が与えられる。明るさの正規化は、例えば、照
合領域の濃度値の平均と分散が予め設定しておいた値と
なるように、各画素の濃度値を変換することにより実現
できる。別の正規化方法としては、照合領域の濃度値の
最小値と最大値をそれぞれ予め設定した値に変換し途中
の値も線形或は非線形変換することによっても実現でき
る。他の部分は図１の実施例と同様である。
像の照合領域と辞書画像の明るさをそれぞれ正規化する
ことにより照合精度を高めるように構成した実施例を示
す。なお、特徴点位置決定部110 は省略される。この実
施例では、辞書画像生成部100 と照合処理部106 にそれ
ぞれ明るさ正規化部137,138 を設け、特徴点検出部103
及び照合領域切り出し部107Aからそれぞれ受けた画像の
照合領域の明るさの正規化を行う。従って辞書画像記憶
部104 には明るさが正規化された辞書画像が書き込ま
れ、また類似度算出部107 も明るさが正規化された照合
領域画像が与えられる。明るさの正規化は、例えば、照
合領域の濃度値の平均と分散が予め設定しておいた値と
なるように、各画素の濃度値を変換することにより実現
できる。別の正規化方法としては、照合領域の濃度値の
最小値と最大値をそれぞれ予め設定した値に変換し途中
の値も線形或は非線形変換することによっても実現でき
る。他の部分は図１の実施例と同様である。
【００４８】図２０の実施例と同様に、図９の実施例に
おける辞書画像生成部100 内と照合処理部106 内にそれ
ぞれ明るさ正規化部137,138 を設けてもよい。この様
に、図２０の実施例によれば、物体領域内の各画素の濃
度の平均と分散が予め決めた値になるように各画素濃度
を変換し、変換後の画像から計算した類似度により物体
領域を検出する。このような明るさの正規化を行うこと
で、撮影する方向や他の条件により、テスト画像におけ
る物体の明るさが大きく変わっても、辞書画像との照合
精度の低下を防ぐことができる。
おける辞書画像生成部100 内と照合処理部106 内にそれ
ぞれ明るさ正規化部137,138 を設けてもよい。この様
に、図２０の実施例によれば、物体領域内の各画素の濃
度の平均と分散が予め決めた値になるように各画素濃度
を変換し、変換後の画像から計算した類似度により物体
領域を検出する。このような明るさの正規化を行うこと
で、撮影する方向や他の条件により、テスト画像におけ
る物体の明るさが大きく変わっても、辞書画像との照合
精度の低下を防ぐことができる。
【００４９】以上説明した様に、本発明は、対象となる
カテゴリーに属する物体をあらかじめ所定のＭ方向から
カメラで撮影し、得られた画像から該方向と該カテゴリ
ーを代表するＮ個の辞書画像を生成し、記憶しておき、
テスト画像が与えられると、該テスト画像の各位置にお
いて、Ｎ個の辞書画像との照合をとり、最も類似すると
きのテスト画像の位置を検出することにより画像中の物
体領域を抽出し、また、そのときの類似度から該物体が
対象となるカテゴリーに属するか否かを識別するので、
物体の撮影方向によらずに、画像中より該物体領域を高
速な処理で安定に抽出でき、さらに、抽出された物体が
あらかじめ定めたカテゴリー（人物顔、子供顔、成人女
性、成人男性）に属しているか否かを識別できる。
カテゴリーに属する物体をあらかじめ所定のＭ方向から
カメラで撮影し、得られた画像から該方向と該カテゴリ
ーを代表するＮ個の辞書画像を生成し、記憶しておき、
テスト画像が与えられると、該テスト画像の各位置にお
いて、Ｎ個の辞書画像との照合をとり、最も類似すると
きのテスト画像の位置を検出することにより画像中の物
体領域を抽出し、また、そのときの類似度から該物体が
対象となるカテゴリーに属するか否かを識別するので、
物体の撮影方向によらずに、画像中より該物体領域を高
速な処理で安定に抽出でき、さらに、抽出された物体が
あらかじめ定めたカテゴリー（人物顔、子供顔、成人女
性、成人男性）に属しているか否かを識別できる。
【００５０】本発明の応用として、銀行などでの出入口
の自動ドアの圧力センサ出力や現金自動支払機の操作開
始をトリガーにして取り込んだ人物画像を、本発明の物
体識別装置のテスト画像とした場合には、対象となるカ
テゴリーを人物顔として動作すれば、通常の顔（客）と
サングラスやマスクで顔を隠した人物（不審者）を識別
できるので、不審者を検出するシステムが実現できる。
の自動ドアの圧力センサ出力や現金自動支払機の操作開
始をトリガーにして取り込んだ人物画像を、本発明の物
体識別装置のテスト画像とした場合には、対象となるカ
テゴリーを人物顔として動作すれば、通常の顔（客）と
サングラスやマスクで顔を隠した人物（不審者）を識別
できるので、不審者を検出するシステムが実現できる。
【００５１】また、商店街を通過する人物やショーウィ
ンドーを見ている人物の画像を本発明の識別装置に入力
し、対象となるカテゴリーとして、男性顔、女性顔、眼
鏡をかけた人などを用意して、テスト画像の人物を各カ
テゴリーに分類することにより、どのような人物がどよ
うな物に関心を持っているかを分析する市場調査システ
ムに応用できる。
ンドーを見ている人物の画像を本発明の識別装置に入力
し、対象となるカテゴリーとして、男性顔、女性顔、眼
鏡をかけた人などを用意して、テスト画像の人物を各カ
テゴリーに分類することにより、どのような人物がどよ
うな物に関心を持っているかを分析する市場調査システ
ムに応用できる。
【図１】この発明の第１の実施例を示す機能ブロック
図。
図。
【図２】図１の辞書画像記憶部104 に記憶されている画
像の例を示す図。
像の例を示す図。
【図３】図１の照合処理を説明する図。
【図４】撮影方向角度間隔と物体領域抽出成功率の関係
を示すグラフ。
を示すグラフ。
【図５】Ａ及びＢは撮影方向角を説明するための図。
【図６】この発明の第２の実施例を示す機能ブロック
図。
図。
【図７】部分辞書画像の生成を説明する図。
【図８】部分照合処理を説明する図。
【図９】この発明の第３の実施例を示す機能ブロック
図。
図。
【図１０】Ａ〜Ｄは各カテゴリーの画像の類似度分布を
示すグラフ。
示すグラフ。
【図１１】この発明の第４の実施例を示す機能ブロック
図。
図。
【図１２】Ａ〜Ｅは各カテゴリーの画像の類似度分布を
示すグラフ。
示すグラフ。
【図１３】この発明の第５の実施例を説明する機能ブロ
ック図。
ック図。
【図１４】モザイク処理を説明するための図。
【図１５】辞書画像の特徴列を示す表。
【図１６】この発明の第６の実施例を示す機能ブロック
図。
図。
【図１７】画像中の物体の範囲を抽出する処理を示す
図。
図。
【図１８】この発明の第７の実施例を示す機能ブロック
図。
図。
【図１９】Ａ，Ｂは特徴点の関係を示す図。
【図２０】この発明の第８の実施例を示す機能ブロック
図。
図。
フロントページの続き (72)発明者 石井 健一郎 東京都千代田区内幸町１丁目１番６号 日 本電信電話株式会社内 (72)発明者 磯 俊樹 東京都千代田区内幸町１丁目１番６号 日 本電信電話株式会社内
Claims (29)
- 【請求項１】 Ｌ種類のカテゴリーの参照物体のそれぞ
れを予め決めたＭ通りの方向から撮影して得た画像から
生成された辞書画像ＩDn，ｎ＝1,2,…,N，Ｎ＝Ｌ×Ｍ，
Ｌは１以上の整数、Ｍは２以上の整数、を使って入力テ
スト画像中の所望の物体画像を物体領域として検出する
物体画像検出方法であり、以下のステップを含む： (a) 上記入力テスト画像に対する照合位置(X,Y) を更新
して出力し、 (b) 上記入力テスト画像中の上記照合位置(X,Y) を基準
として所定の大きさの領域の画像を照合領域画像として
切り出し、 (c) 上記照合領域画像と第ｎ番の上記辞書画像との類似
度r(n)を計算し、 (d) 上記照合位置(X,Y) と上記ｎを変えて上記類似度r
(n)を計算することを繰り返し、それによってＬカテゴ
リー、Ｍ方向のそれぞれの上記辞書画像との類似度r(n)
を得て、 (e) 上記ステップ(d) によって得られた上記類似度が最
大となるときの上記照合位置を物***置(Xmax, Ymax)と
して得ることにより、上記テスト画像中の上記物体領域
を検出する。 - 【請求項２】 請求項１記載の物体画像検出方法におい
て、上記テスト画像中の上記物体と、着目した少なくと
も１つの上記カテゴリーを代表する辞書画像との類似度
r(n)の大きさにより、上記テスト画像中の上記物体が上
記着目したカテゴリーに属するか否かを判別するステッ
プを含む。 - 【請求項３】 請求項２記載の物体画像検出方法におい
て、上記判別ステップは上記類似度r(n)を予め決めた閾
値と比較するステップと、その比較結果に基づいて上記
テスト画像中の上記物体が予め決めた少なくとも１つの
カテゴリーに属するか否かを決定するステップを含む。 - 【請求項４】 請求項１又は２記載の物体画像検出方法
において、上記Ｍは隣接する方向角が１０度以上４０度
以下になるように選択される。 - 【請求項５】 請求項１又は２記載の物体画像検出方法
において、上記辞書画像は、上記参照物体の画像の中の
照合領域を縦方向にｗ個及び横方向にｖ個に分割して得
られるｖ×ｗ＝ｑ個の各ブロックの代表画素値で構成さ
れるｑ個のブロック画像情報からなる辞書ブロック画像
情報列として生成し、 上記類似度を計算するステップは、上記テスト画像中の
上記照合位置(X,Y) における上記照合領域を縦方向にｗ
個及び横方向にｖ個に分割して得られるｖ×ｗ＝ｑ個の
各ブロックの代表画素値で構成されるｑ個のブロック画
像情報からなるテストブロック画像情報列を生成し、ｎ
番目の上記辞書ブロック画像情報列と上記テストブロッ
ク画像情報列との類似度を上記類似度r(n)として算出す
るステップである。 - 【請求項６】 請求項５記載の物体画像検出方法におい
て、上記辞書画像との最大の上記類似度r(n)を与えるカ
テゴリーを選択し、それにより上記テスト画像中の物体
が属するカテゴリーを判別するステップを含む。 - 【請求項７】 請求項５記載の物体画像検出方法におい
て、ｖ×ｗ＝ｑ個の各上記ブロックを構成する画素数は
予め決めた範囲内に限定されている。 - 【請求項８】 請求項１又は２記載の物体画像検出方法
において、上記類似度を得るステップは、上記照合領域
画像と上記辞書画像のそれぞれの照合領域内の画素の濃
度の平均と分散がそれぞれ予め決めた値になるように、
上記照合領域画像の各画素の濃度を変換し、濃度が変換
された上記照合領域画像の辞書画像に対する類似度を得
るステップである。 - 【請求項９】 請求項１または８記載の物体画像検出方
法において、最大の上記類似度を与えるカテゴリーを選
択し、それにより上記テスト画像中の物体が属するカテ
ゴリーを判別するステップを含む。 - 【請求項１０】 請求項１または２記載の物体画像検出
方法において、Ｌカテゴリーに属する上記参照物体を上
記Ｍ方向から撮影して得た画像から上記参照物体上の予
め決めた照合部の画像を上記辞書画像として切り出し、 上記参照物体の予め決めた少なくとも１つの特徴点に対
応する各上記辞書画像中の特徴点Ｐf の位置(xf, yf)を
上記辞書画像と対応して辞書画像記憶手段に記憶し、 上記テスト画像中の上記物***置(Xmax, Ymax)に類似度
が最も高い辞書画像を重ねて、該辞書画像に対応する上
記特徴点の位置を上記テスト画像中の位置(Xf,Yf) に変
換して出力する、ステップを含む。 - 【請求項１１】 請求項１０記載の物体画像検出方法に
おいて、上記辞書画像ＩDn，ｎ＝1,2,…,N，の各々にお
いて上記特徴点Ｐf を含む所定領域から部分辞書画像を
生成し、上記分辞書画像を上記辞書画像の番号ｎおよび
上記位置(xf, y f)とともに部分辞書手段に記憶してお
き、 上記テスト画像が与えられると、上記特徴点Ｐf の位置
(Xf, Yf)の周辺において、上記ｎ番目の辞書画像から作
られた上記部分辞書画像との類似度rfを部分照合処理と
して算出し、 上記部分照合処理を照合位置(X,Y) を変えて実行し類似
度 rf が最も高くなるときの位置を特徴点Ｐf の最適位
置(Xfmax, Yfmax)とし、上記最適位置を各特徴点毎に出
力するステップを含む。 - 【請求項１２】 請求項１０記載の物体画像検出方法に
おいて、 上記テスト画像における認識対象物体の領域を照合領域
として切り出し、 基準となる方向から上記参照物体を撮影したときの画像
から抽出した特徴点の間の位置関係を位置関係記憶手段
に記憶し、 上記辞書画像および上記テスト画像の照合領域からそれ
ぞれ特徴点を抽出し、 上記辞書画像および上記テスト画像の特徴点の位置関係
が上記位置関係記憶手段で記憶している関係になるよう
に、上記ｎ番目の辞書画像および上記テスト画像の照合
領域を幾何学的に変換し、 上記テスト画像と上記ｎ番目の辞書画像の上記幾何学的
に変換された照合領域間の類似度r(n)を算出する、ステ
ップを更に含む。 - 【請求項１３】 請求項１１記載の物体画像検出方法に
おいて、上記辞書画像との上記類似度r(n)の大きさと、
上記部分辞書画像との上記類似度rfの大きさとから、上
記テスト画像中の物体が対象とするどのカテゴリーに属
するかを判別するステップを含む。 - 【請求項１４】 請求項４記載の物体画像検出方法にお
いて、上記テストブロック画像情報列を生成するステッ
プは、上記入力テスト画像を得る所定時間前に同じ方向
から撮影して得た入力画像を背景画像として保持するス
テップと、現在の上記入力テスト画像と上記背景画像と
の差の画像を生成するステップと、上記差の画像から物
体領域の大きさを求めるステップと、上記物体領域の大
きさに基づいて上記ブロックサイズの範囲を決定するス
テップと、上記類似度r(n)を算出する処理を上記ブロッ
クサイズの範囲で初期値から一定幅ずつブロックサイズ
を変更して繰り返すステップとを含む。 - 【請求項１５】 Ｌ種類のカテゴリーの参照物体のそれ
ぞれを予め決めたＭ通りの方向から撮影して得た画像か
ら生成された辞書画像ＩDn，ｎ＝1,2,…,N，Ｎ＝Ｌ×
Ｍ，Ｌは１以上の整数、Ｍは２以上の整数、を使って入
力テスト画像中の所望の物体画像を物体領域として検出
する物体画像検出方法であり、以下のステップを含む： (a) 上入力テスト画像に対する照合位置(X,Y) を更新し
て出力し、 (b) 上記入力テスト画像中の上記照合位置(X,Y) を基準
として所定の大きさの領域の画像を照合領域画像として
切り出し、 (c) 上記辞書画像および上記テスト画像の照合領域から
それぞれ特徴点を抽出し、 (d) 基準となる方向から上記参照物体を撮影したときの
画像から抽出した特徴点の間の位置関係を位置関係記憶
手段に記憶し、 (e) 上記辞書画像および上記テスト画像の特徴点の位置
関係が上記位置関係記憶手段で記憶している関係になる
ように、上記ｎ番目の辞書画像および上記テスト画像の
照合領域を幾何学的に変換し、 (f) 上記テスト画像と上記ｎ番目の辞書画像の上記幾何
学的に変換された照合領域間の類似度r(n)を算出し、 (g) 上記類似度r(n)の大きさから上記テスト画像中の物
体が属するカテゴリーを判別する、ステップを含む。 - 【請求項１６】 Ｌ種類のカテゴリーの参照物体のそれ
ぞれを予め決めたＭ通りの方向から撮影して得た画像か
ら生成された辞書画像ＩDn，ｎ＝1,2,…,N，Ｎ＝Ｌ×
Ｍ，Ｌは１以上の整数、Ｍは２以上の整数、を記憶する
辞書画像記憶手段と、 上記入力テスト画像に対する照合位置(X,Y) を更新して
出力する位置シフト手段と、 上記入力テスト画像中の上記照合位置(X,Y) を基準とし
て所定の大きさの領域の画像を照合領域画像として切り
出す照合領域切り出し手段と、 上記照合領域画像と第ｎ番の上記辞書画像との類似度r
(n)をそれぞれ計算する類似度算出手段と、 上記照合位置(X,Y) と上記ｎを変えて上記類似度r(n)を
計算することを繰り返し、それによって得られたＬカテ
ゴリー、Ｍ方向のそれぞれの上記辞書画像との類似度r
(n)が与えられ、上記類似度が最大となるときの上記照
合位置を物***置(Xmax,Ymax) として得ることにより、
上記テスト画像中の上記物体領域を物体画像として検出
する物体領域検出手段、とを含む物体画像検出装置。 - 【請求項１７】 請求項１６記載の物体画像検出装置に
おいて、上記テスト画像中の物体と対象となるカテゴリ
ーを代表する辞書画像との上記類似度r(n)の大きさによ
り、上記テスト画像中の物体が対象となる予め決めた少
なくとも１つの上記カテゴリーに属するか否かを判別す
る手段を更に含む。 - 【請求項１８】 請求項１７記載の物体画像検出装置に
おいて、上記判別する手段は上記類似度r(n)を予め決め
た閾値と比較し、その比較結果に基づいて上記テスト画
像中の上記物体が上記予め決めた少なくとも１つのカテ
ゴリーに属するか否かを決定する手段である。 - 【請求項１９】 請求項１６記載の物体画像検出装置に
おいて、Ｌカテゴリーに属する上記参照物体を上記Ｍ方
向から撮影して得た画像から上記参照物体上の予め決め
た照合部の画像を上記辞書画像として切り出す辞書画像
切り出し手段と、 上記参照物体の予め決めたＦ個、Ｆは１以上の整数、の
特徴点に対応する各上記辞書画像中の特徴点Ｐf の位置
(xf,yf) を上記辞書画像と対応して記憶する辞書画像記
憶手段と、 上記テスト画像中の上記物***置(Xmax,Ymax) に類似度
が最も高い辞書画像を重ねて、上記辞書画像に対応する
上記特徴点の位置を上記テスト画像中の位置(X f,Yf) に
変換して出力する特徴点位置検出手段、を含む。 - 【請求項２０】 請求項１６又は１７記載の物体画像検
出装置において、上記Ｍは隣接する方向角が１０度以上
４０度未満になるように選択される。 - 【請求項２１】 請求項１６又は１７記載の物体画像検
出装置において、上記辞書画像は、上記参照物体の画像
の中の照合領域を縦方向にｗ個及び横方向にｖ個に分割
して得られるｖ×ｗ＝ｑ個の各ブロックの代表画素値で
構成されるｑ個のブロック画像情報からなるブロック画
像情報列として上記辞書画像記憶手段に記憶されてお
り、 上記類似度算出手段は、上記テスト画像中の上記照合位
置(X,Y) における上記照合領域を縦方向にｗ個及び横方
向にｖ個に分割して得られるｖ×ｗ＝ｑ個の各ブロック
の代表画素値で構成されるｑ個のブロック画像情報から
なるブロック画像情報列を生成し、ｎ番目の上記辞書画
像との類似度を上記類似度r(n)として算出する手段であ
る。 - 【請求項２２】 請求項２１記載の物体画像検出装置に
おいて、ｖ×ｗ＝ｑ個の各上記ブロックを構成する画素
数は予め決めた範囲内に限定されている。 - 【請求項２３】 請求項１６又は１７記載の物体画像検
出装置において、上記照合領域内の各画素の濃度の平均
と分散が一定になるように、各画素の濃度を変換する明
るさ正規化手段を更に含む。 - 【請求項２４】 請求項１６、２１または２３記載の物
体画像検出装置において、出力される最大の上記類似度
r(n)を与えるカテゴリーを選択し、それにより上記テス
ト画像中の物体が属するカテゴリーを判別する判別処理
手段を更に含む。 - 【請求項２５】 請求項１７記載の物体画像検出装置に
おいて、上記参照物体の予め決めたＦ個、Ｆは１以上の
整数、の特徴点に対応する各上記辞書画像中の特徴点Ｐ
f の位置(xf,yf) を上記辞書画像と対応して記憶する辞
書画像記憶手段と、 上記テスト画像中の上記物***置(Xmax,Ymax) に類似度
が最も高い辞書画像を重ねて、該辞書画像に対応する上
記特徴点の位置を上記テスト画像中の位置(Xf,Yf) に変
換して出力する特徴点位置検出手段と、を更に含む。 - 【請求項２６】 請求項１８または２５記載の物体画像
検出装置において、上記辞書画像ＩDn，ｎ＝1,2,…,N，
の各々において上記特徴点Ｐf を含む所定領域から部分
辞書画像を生成し、上記分辞書画像を上記辞書画像の番
号ｎおよび上記位置(xf,yf) とともに記憶する部分辞書
手段と、 上記テスト画像が与えられると、上記特徴点Ｐf の位置
(Xf,Yf)の周辺において、上記ｎ番目の辞書画像から作
られた上記部分辞書画像との類似度rf を部分照合処理
として算出する部分照合処理手段と、 上記部分照合処理を照合位置(X,Y) を変えて実行し類似
度 rf が最も高くなるときの位置を特徴点Ｐf の最適位
置(Xfmax,Yfmax) とし、上記最適位置を各特徴点毎に出
力する特徴点位置高精度検出手段と、を更に含む。 - 【請求項２７】 請求項２６記載の物体画像検出装置に
おいて、上記辞書画像との上記類似度r(n)の大きさと、
上記部分辞書画像との上記類似度rfの大きさとから、上
記テスト画像中の物体が対象とするどのカテゴリーに属
するかを判別する判別処理手段を含む。 - 【請求項２８】 請求項２５記載の物体画像検出装置に
おいて、 上記テスト画像における認識対象物体の領域を照合領域
として切り出す照合領域切り出し手段と、 基準となる方向から上記参照物体を撮影したときの画像
から抽出した特徴点の間の位置関係を記憶する位置関係
記憶手段と、 上記辞書画像および上記テスト画像の照合領域からそれ
ぞれ特徴点を抽出する特徴点検出手段と、 上記辞書画像および上記テスト画像の特徴点の位置関係
が上記位置関係記憶手段で記憶している関係になるよう
に、上記ｎ番目の辞書画像および上記テスト画像の照合
領域を幾何学的に変換する幾何学的正規化手段と、を更
に含む。 - 【請求項２９】 Ｌ種類、Ｌは１以上の整数、のカテゴ
リーの参照物体のそれぞれを予め決めたＭ通り、Ｍは２
以上の整数、の方向から撮影して得た画像から生成され
た辞書画像ＩDn，ｎ＝1,2,…,N，Ｎ＝Ｌ×Ｍ，を使って
入力テスト画像中の所望の物体領域を物体画像として検
出する物体画像検出装置であり以下を含む：上入力テス
ト画像に対する照合位置(X,Y) を更新して出力する位置
シフト手段と、 上記入力テスト画像中の上記照合位置(X,Y) を基準とし
て所定の大きさの領域の画像を照合領域画像として切り
出す照合領域切り出し手段と、 上記辞書画像および上記テスト画像の照合領域からそれ
ぞれ特徴点を抽出する特徴点検出手段と、 基準となる方向から上記参照物体を撮影したときの画像
から抽出した特徴点の間の位置関係を記憶する位置関係
記憶手段と、 上記辞書画像および上記テスト画像の特徴点の位置関係
が上記位置関係記憶手段で記憶している関係になるよう
に、上記ｎ番目の辞書画像および上記テスト画像の照合
領域を幾何学的に変換する幾何学的正規化手段と、 上記テスト画像と上記ｎ番目の辞書画像の上記幾何学的
に変換された照合領域間の類似度r(n)を算出する照合処
理手段と、及び上記類似度r(n)の大きさから上記テスト
画像中の物体が属するカテゴリーを判別する判別処理手
段。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6188376A JPH07302327A (ja) | 1993-08-11 | 1994-08-10 | 物体画像検出方法及び検出装置 |
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21901193 | 1993-08-11 | ||
| JP5-219011 | 1993-08-11 | ||
| JP27891293 | 1993-10-13 | ||
| JP5-278912 | 1993-10-13 | ||
| JP6-38005 | 1994-03-09 | ||
| JP3800594 | 1994-03-09 | ||
| JP6188376A JPH07302327A (ja) | 1993-08-11 | 1994-08-10 | 物体画像検出方法及び検出装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH07302327A true JPH07302327A (ja) | 1995-11-14 |
Family
ID=27460513
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6188376A Pending JPH07302327A (ja) | 1993-08-11 | 1994-08-10 | 物体画像検出方法及び検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH07302327A (ja) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000055811A1 (fr) * | 1999-03-12 | 2000-09-21 | Sony Corporation | Processeur de donnees, procede de traitement de donnees, et support d'enregistrement |
| JP2002288670A (ja) * | 2001-03-22 | 2002-10-04 | Honda Motor Co Ltd | 顔画像を使用した個人認証装置 |
| JP2004361989A (ja) * | 2003-05-30 | 2004-12-24 | Seiko Epson Corp | 画像選択システム及び画像選択プログラム、並びに画像選択方法 |
| JP2005108196A (ja) * | 2003-09-09 | 2005-04-21 | Fuji Photo Film Co Ltd | 対象物識別装置および方法並びにプログラム |
| JP2005309765A (ja) * | 2004-04-21 | 2005-11-04 | Fuji Xerox Co Ltd | 画像認識装置、画像抽出装置、画像抽出方法及びプログラム |
| JP2006505875A (ja) * | 2002-11-07 | 2006-02-16 | 本田技研工業株式会社 | 確率的外観集合体を使用するビデオに基づく顔認識 |
| JP2006338103A (ja) * | 2005-05-31 | 2006-12-14 | Nec Corp | パラメータ学習装置、パラメータ学習方法、およびプログラム |
| JP2008003798A (ja) * | 2006-06-21 | 2008-01-10 | Toyota Motor Corp | 画像処理装置及び画像処理プログラム |
| US7319778B2 (en) | 2002-01-15 | 2008-01-15 | Fujifilm Corporation | Image processing apparatus |
| WO2008142740A1 (ja) * | 2007-04-16 | 2008-11-27 | Fujitsu Limited | 画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム |
| WO2009004916A1 (ja) * | 2007-06-29 | 2009-01-08 | Nec Corporation | なりすまし検知システム、なりすまし検知方法およびなりすまし検知用プログラム |
| US7920725B2 (en) | 2003-09-09 | 2011-04-05 | Fujifilm Corporation | Apparatus, method, and program for discriminating subjects |
| JP2012103865A (ja) * | 2010-11-09 | 2012-05-31 | Canon Inc | 画像処理システム、撮像装置、画像処理装置及びそれらの制御方法、プログラム |
| JP2012238060A (ja) * | 2011-05-10 | 2012-12-06 | Azbil Corp | 照合装置 |
| JP2013205939A (ja) * | 2012-03-27 | 2013-10-07 | Fujitsu Ltd | 利用者検知装置、方法、及びプログラム |
| CN111401463A (zh) * | 2020-03-25 | 2020-07-10 | 维沃移动通信有限公司 | 检测结果输出的方法、电子设备及介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS624384A (ja) * | 1985-06-29 | 1987-01-10 | Oki Electric Ind Co Ltd | 半導体レ−ザの製造方法 |
| JPH02187866A (ja) * | 1989-01-17 | 1990-07-24 | Secom Co Ltd | 個人照合方法および装置 |
| JPH03252780A (ja) * | 1990-03-02 | 1991-11-12 | Nippon Telegr & Teleph Corp <Ntt> | 特徴量抽出方法 |
| JPH04101280A (ja) * | 1990-08-20 | 1992-04-02 | Nippon Telegr & Teleph Corp <Ntt> | 顔画像照合装置 |
| JPH0520442A (ja) * | 1991-07-17 | 1993-01-29 | Nippon Telegr & Teleph Corp <Ntt> | 顔画像照合装置 |
| JPH0573663A (ja) * | 1991-09-17 | 1993-03-26 | Nippon Telegr & Teleph Corp <Ntt> | ３次元物体の画像認識法 |
| JPH05108804A (ja) * | 1991-10-21 | 1993-04-30 | Nippon Telegr & Teleph Corp <Ntt> | ３次元物体の識別方法及びその実施装置 |
| JPH05159064A (ja) * | 1991-12-09 | 1993-06-25 | Nippon Telegr & Teleph Corp <Ntt> | 画像探索装置 |
| JPH05159063A (ja) * | 1991-12-09 | 1993-06-25 | Nippon Telegr & Teleph Corp <Ntt> | 画像検索装置 |
| JPH05174149A (ja) * | 1991-12-26 | 1993-07-13 | Nippon Telegr & Teleph Corp <Ntt> | 画像認識装置 |
-
1994
- 1994-08-10 JP JP6188376A patent/JPH07302327A/ja active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS624384A (ja) * | 1985-06-29 | 1987-01-10 | Oki Electric Ind Co Ltd | 半導体レ−ザの製造方法 |
| JPH02187866A (ja) * | 1989-01-17 | 1990-07-24 | Secom Co Ltd | 個人照合方法および装置 |
| JPH03252780A (ja) * | 1990-03-02 | 1991-11-12 | Nippon Telegr & Teleph Corp <Ntt> | 特徴量抽出方法 |
| JPH04101280A (ja) * | 1990-08-20 | 1992-04-02 | Nippon Telegr & Teleph Corp <Ntt> | 顔画像照合装置 |
| JPH0520442A (ja) * | 1991-07-17 | 1993-01-29 | Nippon Telegr & Teleph Corp <Ntt> | 顔画像照合装置 |
| JPH0573663A (ja) * | 1991-09-17 | 1993-03-26 | Nippon Telegr & Teleph Corp <Ntt> | ３次元物体の画像認識法 |
| JPH05108804A (ja) * | 1991-10-21 | 1993-04-30 | Nippon Telegr & Teleph Corp <Ntt> | ３次元物体の識別方法及びその実施装置 |
| JPH05159064A (ja) * | 1991-12-09 | 1993-06-25 | Nippon Telegr & Teleph Corp <Ntt> | 画像探索装置 |
| JPH05159063A (ja) * | 1991-12-09 | 1993-06-25 | Nippon Telegr & Teleph Corp <Ntt> | 画像検索装置 |
| JPH05174149A (ja) * | 1991-12-26 | 1993-07-13 | Nippon Telegr & Teleph Corp <Ntt> | 画像認識装置 |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7916977B2 (en) | 1999-03-12 | 2011-03-29 | Sony Corporation | Data processing apparatus, data processing method and recording medium |
| WO2000055811A1 (fr) * | 1999-03-12 | 2000-09-21 | Sony Corporation | Processeur de donnees, procede de traitement de donnees, et support d'enregistrement |
| JP2002288670A (ja) * | 2001-03-22 | 2002-10-04 | Honda Motor Co Ltd | 顔画像を使用した個人認証装置 |
| US7319778B2 (en) | 2002-01-15 | 2008-01-15 | Fujifilm Corporation | Image processing apparatus |
| JP2006505875A (ja) * | 2002-11-07 | 2006-02-16 | 本田技研工業株式会社 | 確率的外観集合体を使用するビデオに基づく顔認識 |
| JP2004361989A (ja) * | 2003-05-30 | 2004-12-24 | Seiko Epson Corp | 画像選択システム及び画像選択プログラム、並びに画像選択方法 |
| JP2005108196A (ja) * | 2003-09-09 | 2005-04-21 | Fuji Photo Film Co Ltd | 対象物識別装置および方法並びにプログラム |
| US8184870B2 (en) | 2003-09-09 | 2012-05-22 | Fujifilm Corporation | Apparatus, method, and program for discriminating subjects |
| US7920725B2 (en) | 2003-09-09 | 2011-04-05 | Fujifilm Corporation | Apparatus, method, and program for discriminating subjects |
| JP2005309765A (ja) * | 2004-04-21 | 2005-11-04 | Fuji Xerox Co Ltd | 画像認識装置、画像抽出装置、画像抽出方法及びプログラム |
| US7925093B2 (en) | 2004-04-21 | 2011-04-12 | Fuji Xerox Co., Ltd. | Image recognition apparatus |
| JP4507679B2 (ja) * | 2004-04-21 | 2010-07-21 | 富士ゼロックス株式会社 | 画像認識装置、画像抽出装置、画像抽出方法及びプログラム |
| JP2006338103A (ja) * | 2005-05-31 | 2006-12-14 | Nec Corp | パラメータ学習装置、パラメータ学習方法、およびプログラム |
| JP4687579B2 (ja) * | 2006-06-21 | 2011-05-25 | トヨタ自動車株式会社 | 画像処理装置及び画像処理プログラム |
| JP2008003798A (ja) * | 2006-06-21 | 2008-01-10 | Toyota Motor Corp | 画像処理装置及び画像処理プログラム |
| US8571322B2 (en) | 2007-04-16 | 2013-10-29 | Fujitsu Limited | Image processing method, image processing apparatus, image processing system and computer for recognizing shape change of a facial part |
| WO2008142740A1 (ja) * | 2007-04-16 | 2008-11-27 | Fujitsu Limited | 画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム |
| JP4781467B2 (ja) * | 2007-04-16 | 2011-09-28 | 富士通株式会社 | 画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム |
| US8315441B2 (en) | 2007-06-29 | 2012-11-20 | Nec Corporation | Masquerade detection system, masquerade detection method and masquerade detection program |
| WO2009004916A1 (ja) * | 2007-06-29 | 2009-01-08 | Nec Corporation | なりすまし検知システム、なりすまし検知方法およびなりすまし検知用プログラム |
| JP5170094B2 (ja) * | 2007-06-29 | 2013-03-27 | 日本電気株式会社 | なりすまし検知システム、なりすまし検知方法およびなりすまし検知用プログラム |
| JP2012103865A (ja) * | 2010-11-09 | 2012-05-31 | Canon Inc | 画像処理システム、撮像装置、画像処理装置及びそれらの制御方法、プログラム |
| JP2012238060A (ja) * | 2011-05-10 | 2012-12-06 | Azbil Corp | 照合装置 |
| JP2013205939A (ja) * | 2012-03-27 | 2013-10-07 | Fujitsu Ltd | 利用者検知装置、方法、及びプログラム |
| CN111401463A (zh) * | 2020-03-25 | 2020-07-10 | 维沃移动通信有限公司 | 检测结果输出的方法、电子设备及介质 |
| CN111401463B (zh) * | 2020-03-25 | 2024-04-30 | 维沃移动通信有限公司 | 检测结果输出的方法、电子设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6181805B1 (en) | Object image detecting method and system | |
| Majhi et al. | Novel features for off-line signature verification | |
| EP1357520B1 (en) | Method for verifying users and updating database, and face verification system using the same | |
| US6661907B2 (en) | Face detection in digital images | |
| CN101339609B (zh) | 图像处理装置和图像处理方法 | |
| JP4479478B2 (ja) | パターン認識方法および装置 | |
| US20060110014A1 (en) | Expression invariant face recognition | |
| CN101089874B (zh) | 一种远程人脸图像的身份识别方法 | |
| EP0967574A2 (en) | Method for robust human face tracking in presence of multiple persons | |
| JPH07302327A (ja) | 物体画像検出方法及び検出装置 | |
| CN111144366A (zh) | 一种基于联合人脸质量评估的陌生人脸聚类方法 | |
| JP2001216515A (ja) | 人物の顔の検出方法およびその装置 | |
| JP2005149506A (ja) | 対象物自動認識照合方法および装置 | |
| JP2003178306A (ja) | 個人認証装置および個人認証方法 | |
| KR20170006355A (ko) | 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치 | |
| KR102078249B1 (ko) | 얼굴 인증 방법, 얼굴 인증 장치, 이를 위한 컴퓨터 프로그램 | |
| CN108108760A (zh) | 一种快速人脸识别方法 | |
| Tsalakanidou et al. | Integration of 2D and 3D images for enhanced face authentication | |
| CN108875623A (zh) | 一种基于图像特征融合对比技术的人脸识别方法 | |
| Hebbale et al. | Real time COVID-19 facemask detection using deep learning | |
| JP3577908B2 (ja) | 顔画像認識システム | |
| JPH0883341A (ja) | 物体領域抽出方法とその装置及び物体認識装置 | |
| CN112801038A (zh) | 一种多视点的人脸活体检测方法及*** | |
| JP2003044853A (ja) | 顔検出装置、顔向き検出装置、部分画像抽出装置及びそれらの方法 | |
| JPH11306348A (ja) | 対象物検出装置及び対象物検出方法 |