JPH11306348A - 対象物検出装置及び対象物検出方法 - Google Patents

対象物検出装置及び対象物検出方法

Info

Publication number
JPH11306348A
JPH11306348A JP10110592A JP11059298A JPH11306348A JP H11306348 A JPH11306348 A JP H11306348A JP 10110592 A JP10110592 A JP 10110592A JP 11059298 A JP11059298 A JP 11059298A JP H11306348 A JPH11306348 A JP H11306348A
Authority
JP
Japan
Prior art keywords
image
collated
determination element
luminance
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10110592A
Other languages
English (en)
Inventor
Takuya Haketa
卓哉 羽毛田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Priority to JP10110592A priority Critical patent/JPH11306348A/ja
Publication of JPH11306348A publication Critical patent/JPH11306348A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Studio Circuits (AREA)

Abstract

(57)【要約】 【課題】光源等の環境変動の影響を受けずに被識別対象
物を確実に検出する。 【解決手段】画像入力部1から取り込んだ顔画像を含む
入力画像に対して、位置指定部24により領域モデルを
当て嵌める被照合局所領域の位置を指定する。そして、
指定した被照合局所領域毎に輝度正規化部25により輝
度正規化を行い、さらに、画像処理部26によりエッジ
検出等の画像処理を行う。そして、特徴量抽出部27に
より被照合局所領域の正規化され、画像処理された画像
に対して顔の領域モデルを当て嵌めて領域モデル内の各
判定要素取得領域の特徴量を抽出し、判定部28にて各
被照合局所領域毎に顔画像か否かの判定を行い、顔の検
出を行う。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、顔や物品など、被
識別対象物の検出を行う対象物検出装置及び対象物検出
方法に関する。
【0002】
【従来の技術】ある被識別対象物や背景を含む画像から
被識別対象物を検出する装置としては、例えば、特開平
7−129770号公報のものが知られている。これ
は、例えば、工場における組立て工程や検査工程などに
おいて、被識別対象物をテレビカメラで撮影し、この撮
影した入力画像と基準となるテンプレート画像との濃淡
画像について相関を取ることによって被識別対象物の位
置を検出するようにしている。具体的には、探索画像と
して、テンプレート画像と同じ大きさの局所領域を入力
画像中に設定し、これを順にずらしながらテンプレート
画像と探索画像との相関値を計算し、相関値が最も高い
位置をテンプレートが存在する位置として特定するよう
になっている。
【0003】また、テンプレートマッチング法を利用し
て入力画像から顔画像を検出するものとしては、例え
ば、特開平9−251534号公報や特開平9−446
76号公報が知られている。特開平9−251534号
公報のものは、入力画像から顔画像領域を抽出するため
に、予め登録されている標準顔画像(テンプレート)を
全画面にわたって移動させつつ相関値を計算し、最も高
い相関値を有する領域を顔領域として抽出するものであ
る。また、特開平9−44676号公報のものは、目を
濃淡情報で表したテンプレート画像で顔画像を含む画像
を走査し、対象領域の濃淡情報とテンプレート画像の濃
淡情報との相関演算を行い、類似度の高い領域を目の候
補として抽出する。同様に、鼻を濃淡情報で表したテン
プレート画像で顔画像を含む画像を走査して鼻の候補を
抽出し、口を濃淡情報で表したテンプレート画像で顔画
像を含む画像を走査して口の候補を抽出する。そして、
抽出が終了すると、顔領域の抽出を行うが、この時、
目、鼻、口の候補の組み合わせについて、予め用意され
ている目、鼻、口の位置関係と比較検証して画像の中か
ら顔画像を抽出するというものである。
【0004】さらに、顔画像の色情報を利用したものと
しては、例えば、特開平9−50528号公報が知られ
ている。これは、入力画像のRGB値から肌色領域を抽
出し、この領域に対して自動的にモザイクサイズを決定
し、その候補領域をモザイク化し、人物顔辞書と比較し
て人物顔の有無を判定し人物顔の切り出しを行うという
ものである。
【0005】
【発明が解決しようとする課題】ところで、顔は個人毎
に鼻や目の位置、大きさが様々であり、また、人物の顔
の検出の適用場所は工場内のファクトリ・オートメーシ
ョン装置と違い背景が複雑で、かつ外光環境の変動も大
きい場合が多い。照明や撮影環境が不安定な場合、特に
室内や屋外で複雑な背景を含む場合や背景に比べ人物の
顔が比較的小さい画像から人の顔の位置を検出する場合
などでは、背景中に顔を誤検出したり、顔を検出できな
い場合があった。
【0006】また、画像全体で輝度を正規化したとして
も肝心の被識別対象物、例えば人の顔のコントラスト等
が正規化されることは望めない。顔全体で正規化すると
被識別対象物を含む背景や明るさに依存した正規化が行
われ、被識別対象物の輝度を中心とした正規化ができな
い。通常カメラが自動的に行う補正もこの類である。人
物は様々な環境に存在するため、顔の検出に関してはこ
れらの複雑な背景、外光環境及び撮影デバイスの種類へ
の依存が障害になっている。特に背景に対し検出する顔
のサイズが小さい場合、この問題は顕著になる。また、
人物の肌の色を利用するような検出方法は照明条件に左
右され易い。
【0007】そこで、請求項1乃至6記載の発明は、入
力画像に対して被照合局所領域を順次指定し、この指定
した被照合局所領域の輝度正規化を行った後に、この被
照合局所領域に対して部分的に判定要素を取得すること
により、光源等の環境変動の影響をあまり受けずに被識
別対象物の検出ができ、これにより、確実な被識別対象
物の検出ができる対象物検出装置を提供する。また、請
求項7及び8記載の発明は、入力画像に対して被照合局
所領域を順次指定し、この指定した被照合局所領域の輝
度正規化を行った後に、この被照合局所領域に対して部
分的に判定要素を取得することにより、光源等の環境変
動の影響をあまり受けずに被識別対象物の検出ができ、
これにより、確実な被識別対象物の検出ができる対象物
検出方法を提供する。
【0008】
【課題を解決するための手段】請求項1記載の発明は、
被識別対象物画像を含む画像を入力する画像入力手段
と、この画像入力手段により入力した入力画像に対して
被照合局所領域を順次指定する位置指定手段と、この位
置指定手段にて指定した被照合局所領域毎に輝度正規化
を行う輝度正規化手段と、この輝度正規化手段にて輝度
正規化を行った被照合局所領域に対して部分的に判定要
素を取得する判定要素取得手段と、この判定要素取得手
段が取得した判定要素に基づいて被識別対象物画像か否
かの判定を行う判定手段とからなり、判定手段の判定結
果により被識別対象物の検出を行う対象物検出装置にあ
る。
【0009】請求項2記載の発明は、被識別対象物画像
を含む画像を入力する画像入力手段と、この画像入力手
段により入力した入力画像に対して被照合局所領域を順
次指定する位置指定手段と、この位置指定手段にて指定
した被照合局所領域毎に輝度正規化を行う輝度正規化手
段と、この輝度正規化手段にて輝度正規化を行った被照
合局所領域に対してエッジ検出等の画像処理を行う画像
処理手段と、この画像処理手段にて画像処理した被照合
局所領域に対して部分的に判定要素を取得する判定要素
取得手段と、この判定要素取得手段が取得した判定要素
に基づいて被識別対象物画像か否かの判定を行う判定手
段とからなり、判定手段の判定結果により被識別対象物
の検出を行う対象物検出装置にある。
【0010】請求項3記載の発明は、被識別対象物画像
を含む画像を入力する画像入力手段と、検出する被識別
対象物画像の特徴的な領域に対応して複数の判定要素取
得領域を設定した領域モデルを記憶した記憶手段と、画
像入力手段により入力した入力画像に対して記憶手段に
記憶した領域モデルを当て嵌める被照合局所領域を順次
指定する位置指定手段と、この位置指定手段にて指定し
た被照合局所領域に領域モデルを順次当て嵌める毎に、
この領域の輝度正規化を行う輝度正規化手段と、この輝
度正規化手段にて輝度正規化を行った被照合局所領域に
対して部分的に判定要素を取得する判定要素取得手段
と、この判定要素取得手段が取得した判定要素に基づい
て被識別対象物画像か否かの判定を行う判定手段とから
なり、判定手段の判定結果により被識別対象物の検出を
行う対象物検出装置にある。
【0011】請求項4記載の発明は、顔画像を含む画像
を入力する画像入力手段と、検出する顔画像の目、口、
鼻、頬等の特徴的な領域に対応して複数の判定要素取得
領域を設定した領域モデルを記憶した記憶手段と、画像
入力手段により入力した入力画像に対して記憶手段に記
憶した領域モデルを当て嵌める被照合局所領域を順次指
定する位置指定手段と、この位置指定手段にて指定した
被照合局所領域に領域モデルを順次当て嵌める毎に、こ
の領域の輝度正規化を行う輝度正規化手段と、この輝度
正規化手段にて輝度正規化を行った被照合局所領域に対
して部分的に判定要素を取得する判定要素取得手段と、
この判定要素取得手段が取得した判定要素に基づいて顔
画像か否かの判定を行う判定手段とからなり、判定手段
の判定結果により顔の検出を行う対象物検出装置にあ
る。
【0012】請求項5記載の発明は、請求項1乃至4の
いずれか1記載の対象物検出装置において、判定要素取
得手段は、判定要素として特徴量を取得することにあ
る。
【0013】請求項6記載の発明は、請求項5記載の対
象物検出装置において、判定要素取得手段は、被照合局
所領域に対して部分的にテンプレート画像を利用して特
徴量を取得することにある。
【0014】請求項7記載の発明は、入力した被識別対
象物画像を含む画像に対して被照合局所領域を順次指定
し、この指定した被照合局所領域に対して輝度正規化を
行い、続いて、この輝度正規化を行った被照合局所領域
に対して部分的に判定要素を取得し、この取得した判定
要素に基づいて被識別対象物画像か否かの判定を行い、
この判定結果により被識別対象物の検出を行う対象物検
出方法にある。
【0015】請求項8記載の発明は、入力する顔画像を
含む画像に対して、検出する顔画像の目、口、鼻、頬等
の特徴的な領域に対応して複数の判定要素取得領域を設
定した領域モデルを順次被照合局所領域を指定しながら
当て嵌め、領域モデルを順次当て嵌める毎に被照合局所
領域の輝度正規化を行い、続いて、この輝度正規化を行
った被照合局所領域に対して部分的に判定要素を取得
し、この取得した判定要素に基づいて顔画像か否かの判
定を行い、この判定結果により顔の検出を行う対象物検
出方法にある。
【0016】
【発明の実施の形態】本発明の実施の形態を図面を参照
して説明する。 (第1の実施の形態)なお、この実施の形態は被識別対
象物検出として顔検出を例にした場合について述べる。
図1は対象物検出装置の全体構成を示すブロック図で、
人物の顔を含む画像を入力する画像入力手段としての画
像入力部1と、この画像入力部1が入力した画像情報か
ら顔画像を検出する画像検出部2とで構成している。
【0017】前記画像入力部1は、図2に示すように、
人物の顔を撮影し、顔を含むデジタル濃淡画像情報を出
力するCCDカメラ11と、このCCDカメラ11から
のデジタル濃淡画像情報を取込む画像入力ボード12
と、この画像入力ボード12が取込んだデジタル濃淡画
像情報を記憶する画像メモリ13とで構成している。な
お、入力する画像はカラー画像でもよい。
【0018】前記画像検出部2は、図3に示すように、
モデル生成部21と、記憶手段とてのモデル記憶部22
と、特徴量記憶部23と、位置指定手段としての位置指
定部24と、輝度正規化手段としての輝度正規化部25
と、画像処理手段としての画像処理部26と、判定要素
取得手段としての特徴量抽出部27と、判定手段として
の判定部28とで構成している。
【0019】前記モデル生成部21は、図4に示すよう
に顔全体を特徴部分毎に分けて複数の判定要素取得領域
を設定した領域モデル31を生成するようになってい
る。すなわち、領域モデル31は、特徴部分として目、
鼻、口、頬の領域に分け、目に対する判定要素取得領域
32,33、鼻に対する判定要素取得領域34、口に対
する判定要素取得領域35、頬に対する判定要素取得領
域36、髪の毛に対する判定要素取得領域37を設定し
ている。
【0020】なお、領域モデルとしては、上述したウィ
ンドウモデル以外に図6に示すようなマスクモデルであ
ってもよい。このマスクモデルは、各領域をマスクで表
現するようになっている。すなわち、数値1及び2は目
に対する判定要素取得領域であり、数値3は鼻に対する
判定要素取得領域であり、数値4は口に対する判定要素
取得領域であり、数値5は頬に対する判定要素取得領域
である。なお、数値0の部分は除外する領域である。こ
のようなマスク表現により、より詳細な領域モデルを生
成することができる。
【0021】前記モデル記憶部22は、前記モデル生成
部21が生成した領域モデル31を記憶する。なお、ウ
ィンドウモデルの場合はウィンドウの左上を原点とし
て、各判定要素取得領域を表す子ウィンドウの座標や
幅、高さ等を記憶する。また、マスクモデルの場合はマ
スク値をそのまま記憶する。その他モデルの記憶方法と
してはその他様々な方法がある。
【0022】前記特徴量記憶部23は、幾つかの学習用
の予め輝度の正規化を施した後の顔のサンプルから領域
モデル内の各判定要素取得領域の特徴量を計測した結果
を記憶するもので判定用に利用する。例えば、特徴量と
しては、領域モデル内の各判定要素取得領域について次
のようなものを利用すればよい。
【0023】
【数1】
【0024】これは、右目の判定要素取得領域REの低
輝度特徴量の合計である。
【0025】
【数2】
【0026】これは、右目の判定要素取得領域REのエ
ッジ特徴量の合計である。
【0027】
【数3】
【0028】これは、左目の判定要素取得領域LEの低
輝度特徴量の合計である。
【0029】
【数4】
【0030】これは、左目の判定要素取得領域LEのエ
ッジ特徴量の合計である。
【0031】
【数5】
【0032】これは、鼻の判定要素取得領域Nの低輝度
特徴量の合計である。
【0033】
【数6】
【0034】これは、鼻の判定要素取得領域Nのエッジ
特徴量の合計である。
【0035】
【数7】
【0036】これは、口の判定要素取得領域Mの低輝度
特徴量の合計である。
【0037】
【数8】
【0038】これは、口の判定要素取得領域Mのエッジ
特徴量の合計である。
【0039】
【数9】
【0040】これは、頬の判定要素取得領域Cの輝度値
平均である。
【0041】
【数10】
【0042】これは、頬の判定要素取得領域Cの輝度値
分散である。なお、頬の判定要素取得領域Cの輝度値分
散については、目、鼻、口を取り除いた残りの頬の判定
要素取得領域Cは輝度分散が小さいという特徴を持って
いる。なお、画素の濃淡値を使用する場合は、例えば頬
の判定要素取得領域のみのテンプレート画像を用意し、
頬領域のみテンプレートマッチングの類似度を特徴量と
して利用することもできる。
【0043】前記位置指定部24は、入力画像中に領域
モデル31を当て嵌める位置、すなわち、被照合局所領
域を指定する。このときの被照合局所領域のサイズは用
意した顔のモデルと同じ大きさでよい。顔の検出のよう
に被識別対象物が画像上のどの位置にあるかを検出する
ような画像検出は、図6に示すように、入力画像IGの
全体にわたって被照合局所領域Pの位置を順次指定し移
動させることで行っている。図7は入力画像IGに対し
て領域モデルMを当て嵌める被照合局所領域を順次指定
し、顔の上に領域モデルMを当て嵌めた状態を示してい
る。
【0044】前記輝度正規化部25は、位置が指定され
た被照合局所領域毎に入力画像の輝度正規化を行う。例
えば、一定分散強調処理を行う。この方法は局所画像の
コントラストを改善し見やすくする方法として知られて
いる。この方法はある対象物のコントラストをどんな撮
影環境においても局所的に一定にするので画像検出に特
に効果的である。一定分散強調は被照合局所領域P毎に
次のような計算式により輝度の正規化を行う。
【0045】先ず、局所平均画像を下記計算式により求
める。
【数11】
【0046】次に下記計算式により局所領域の平均を0
にするように各画素を変換する。
【0047】
【数12】
【0048】次に下記計算式により局所分散値を求め
る。
【0049】
【数13】
【0050】そして、最後に下記計算式により、局所領
域内の各画素における変換画素e(x,y) を求める。結果
的に領域の局所分散は一定になる。
【0051】
【数14】
【0052】この被照合局所領域Pのサイズは顔の領域
モデルと同じ大きさに設定する。このような処理により
平均0、分散1の局所画像が作成されるが、このままで
は画像処理には都合が悪いので、例えば、標準偏差2σ
の範囲を0〜250、平均125の画像として変換す
る。被照合局所領域Pをこのような方法で輝度変換した
入力画像例を図8に示す。
【0053】図8の(a) は入力画像を示し、図8の(b)
、(c) 、(d) はそれぞれ被照合局所領域Pを順次指定
して輝度正規化を施した状態を示している。実際には画
像全体にわたり照合領域が指定されて輝度の正規化が行
われることになる。この正規化後の領域に顔の領域モデ
ルMを個々に当て嵌める。このように画像全体の輝度正
規化ではなく、前記位置指定部24により指定された被
照合局所領域Pについて毎回輝度の正規化を独立に行
う。
【0054】画像検出においては画像上のどこに被識別
対象物である顔が存在するか分からないということが前
提となっているので、図6に示したように被照合局所領
域Pを入力画像IGの全体にわたって移動させその都度
輝度正規化を行うことになる。被照合局所領域Pは照合
領域の大きさよりも移動量を小さく設定すればお互い一
部が重なることもある。被照合局所領域Pを数画素ずつ
移動させるとすれば、照合領域の指定回数及び輝度正規
化回数は1画像について数千回行われることもある。
【0055】しかし、このように被照合局所領域毎に対
象物中心の輝度正規化を行わなければ人物の顔のように
様々な環境に存在する被識別対象物の位置検出は困難に
なる。すなわち、背景を含めた形の輝度正規化では被識
別対象物のコントラスト等の改善は望めない。特に、背
景に対し被識別対象物のサイズが小さい場合、この傾向
は顕著になる。図9の(a) 、(b) は照明条件の異なる2
つの入力画像IG1 、IG2 について被照合局所領域P
が顔の上に位置したときの輝度正規化例を示している。
このように画像全体の撮影条件が異なっても被照合局所
領域毎に輝度正規化を行うので、被照合局所領域P内で
は略同一の明るさの画像が得られる。このように撮影条
件が異なっても被照合局所領域毎に輝度正規化を行うこ
とにより安定した顔の検出ができる。
【0056】前記画像処理部26は、正規化された被照
合局所領域についてエッジ検出等の画像処理を毎回行
う。これも入力画像全体で画像処理を行わずに輝度の正
規化された被照合局所領域毎に画像処理を行う。これに
より、正確な画像特徴を取得できることになる。ここで
の画像処理はエッジ特徴量のように画像処理しなければ
抽出できないような特徴量を利用した場合に行うもので
ある。例えば、正規化された被照合局所領域からエッジ
特徴を表す局所画像を生成する。これには通常の微分オ
ペレータを用いる。これで例えば人間の目、鼻、口等の
輪郭の特徴が抽出されることになる。勿論、被照合局所
領域が顔以外の部分では別の輪郭が抽出されることにな
る。
【0057】前記特徴量抽出部27は、被照合局所領域
Pの正規化された濃淡画像及びエッジ画像に対し顔の領
域モデルを当て嵌め領域モデル内の各判定要素取得領域
の特徴量を抽出する。
【0058】前記判定部28は前記特徴量抽出部27が
抽出した各判定要素取得領域の特徴量により領域モデル
を当て嵌めた被照合局所領域Pが顔画像か否かを判定す
る。すなわち、前記特徴量記憶部23に領域モデル内の
各判定要素取得領域の特徴量を学習サンプルから記憶す
る。顔の特徴量には個人差があるので領域モデル内の各
判定要素取得領域毎に特徴量の平均値を記憶しておいて
もよいが、図11に示すように、領域モデル内の各判定
要素取得領域について特徴量に幅を持たせたファジーメ
ンバーシップ関数を記憶しておく。このように特徴量自
体を直接記憶せずに判定用のデータを記憶してもよい。
この関数はある指定された位置における領域モデル内の
右目の判定要素取得領域REの低輝度画素量RE-dを入力し
て、その値に応じて0.0〜1.0の値を出力する。
【0059】図11ではRE-dが1,200〜10,00
0と被照合局所領域から計測された場合、μRE-dは1.
0を出力する。この範囲については、図10のようなサ
ンプル画像から得られた特徴量の個人差、変動を参考に
決定する。その他の範囲の値の場合は、台形の左右の辺
をなす一次関数の出力がμRE-dの値となる。μRE-d
1.0に近いほど右目の低輝度画素量として正しいこと
になる。
【0060】この台形のメンバーシップ関数の決定は、
図10に示したように、予め様々な学習用画像から顔の
特徴量を計測し、この計測した特徴量に基づいて決定す
る。同様に、図10に示したような各判定要素取得領域
のサンプル画像の特徴量から、RE-e、LE-d、LE-e、N-d
、N-e 、M-d 、M-e 、C-a 、C-v に対するファジーメ
ンバーシップ関数を定義し、それぞれの出力μRE-e、μ
LE-d、μLE-e、μN-d 、μN-e 、μM-d 、μM-e 、μ
C-a 、μC-v を算出する。
【0061】それぞれのメンバーシップ関数は、前記特
徴量記憶部23に記憶する。そして、最終的にその位置
が顔であるか否かを判定する。顔らしさFとしては、例
えば、
【数15】
【0062】のような関数を利用する。この式の場合、
個々のメンバーシップ関数の出力が1.0に近いほどF
は1.0に近くなる。但し、この式の場合、全てが1.
0でないとFは1.0にならない。
【0063】Fの式については様々な方法が考えられ、
ファジールールを利用したり、代数和で求めることもで
きる。このFの値が最も大きな被照合局所領域を顔の位
置とし、入力画像上のその位置に円を描くと、例えば図
12のような画像が得られる。以上の判定に関しては、
必ずしもファジー理論を利用する必要はない。また、よ
り確実な検出を行う場合には検出された位置において、
さらに本当に顔であるか否かの検証を行う。
【0064】このように、被識別対象物である顔を、
目、鼻、口、頬等の特徴的な判定要素取得領域に分けて
表現した顔の領域モデルを作成し、各判定要素取得領域
の位置関係を維持したこの領域モデルを入力画像に当て
嵌める被照合局所領域を指定し、この指定した被照合局
所領域毎に当て嵌めた領域モデル内の各判定要素取得領
域の特徴量を計測して領域モデル全体で顔か否かの判定
を行っているので、個々の顔の目、鼻等の部品の位置関
係を検証する必要がなく、簡潔な処理が実現できる。ま
た、顔の個人差による部品の位置ずれや大きさの違いな
どを吸収し、かつ、被写人物の前後位置における顔のサ
イズの変動や多少の顔の傾きも吸収できるため、簡潔で
安定した顔の検出ができる。
【0065】また、被照合局所領域を指定する毎にその
被照合局所領域の輝度正規化を行ってからその被照合局
所領域に当て嵌めた領域モデル内の各判定要素取得領域
の特徴量を計測して顔か否かの判定を行うので、光源等
の環境変動の影響をあまり受けずに顔の検出ができ、こ
れにより、確実な顔の検出ができる。
【0066】また、輝度正規化を行った被照合局所領域
に対してエッジ特徴を表す局所画像を生成する画像処理
を行ってから被照合局所領域に当て嵌めた領域モデル内
の各判定要素取得領域の特徴量を計測して顔か否かの判
定を行うので、目、鼻、口等の輪郭の特徴をより確実に
抽出することができ、この点においても確実な顔の検出
ができる。
【0067】(第2の実施の形態)この実施の形態も顔
検出に関し、基本的には第1の実施の形態と同様であ
り、異なる点は、領域モデルにおける頬の判定要素取得
領域をテンプレート画像に置き換えた点である。
【0068】すなわち、図13の(a) に示すように、マ
スク表現した顔の領域モデル51における頬の判定要素
取得領域をテンプレート画像52に置き換える。このテ
ンプレート画像は図13の(b) に示すような構成になっ
ている。なお、数値1の領域は右目の判定要素取得領域
53であり、数値2の領域は左目の判定要素取得領域5
4であり、数値3の領域は鼻の判定要素取得領域55で
あり、数値4の領域は口の判定要素取得領域56であ
る。このテンプレート画像52は、実際の顔画像から切
り取った濃淡画像でもよい。例えば、頬はほぼ平面なの
で濃淡値1,1,1,1,1,1,…のような濃淡画像を使用する。
これらの画像とテンプレートマッチングしたときの頬の
領域の類似度C-similarを求める。
【0069】この頬領域のテンプレート画像をgとし、
入力濃淡画像から指定された位置の頬領域をgと同じ大
きさで切り出した画像をfとすると、その類似度C-s
は、
【数16】
【0070】で表される。このとき、正規化相互相関に
よるテンプレートマッチングを行ってしまうと類似度が
大きく相違してしまう可能性がある。特に、頬はほぼ平
坦なので頬領域だけで輝度正規化を行うと画像によりば
らつきが生じやすい。これは頬領域のテンプレートだけ
で画像全体にわたり正規化相互相関によるテンプレート
マッチングを行った場合にも問題になる。
【0071】従って、顔全体の被照合局所領域で輝度正
規化を行った後にその部分領域の頬に対して通常のテン
プレートマッチングを行うことになる。類似度C-sは0
〜1の間の値となる。この類似度を第1の実施の形態と
同様に様々な人物より取得して学習し、判定用データと
してメモリに記憶し、図14に示すように、他の領域の
特徴量と一緒に利用する。実際の顔の判定は類似度を特
徴量の1つと考え、第1の実施の形態と同様な処理を行
えばよい。
【0072】このように顔全体のテンプレートマッチン
グではなく、領域モデルのうち、頬の領域のテンプレー
トマッチングと他の領域について特徴量を組み合わせて
も第1の実施の形態の場合と同様の作用効果が得られる
ものである。なお、この実施の形態では頬領域について
テンプレートとの類似度を求めるようにしたが必ずしも
これに限定するものではなく、テンプレート画像との距
離等を用いてもよい。
【0073】なお、前述した各実施の形態では、入力画
像の画像全体に対して、領域モデルを当て嵌める位置を
順次指定して特徴量を抽出し顔検出を行うようにしたが
必ずしもこれに限定するものではなく、図15に示すよ
うに、予め背景が既知の場合には、画像全体からその既
知の部分57を取り除いて候補領域58を生成し、その
候補領域58に対し、前述した各実施の形態と同様に領
域モデルを当て嵌める位置を順次指定して特徴量を抽出
し顔検出を行ってもよい。このようにすれば特徴量の抽
出処理がより迅速になる。
【0074】(第3の実施の形態)この実施の形態は、
被識別対象物検出として顔以外の物品検出に適用した例
について述べる。具体的には、シーンの中から一方通行
の道路標識を検出する例について述べる。なお、カラー
画像を用いて色特徴を利用してもよいが、ここでは濃淡
画像のみを利用した場合について述べる。対象は正面、
水平に配置されたシーン画像中の一方通行の標識とす
る。領域モデルとして、図16に示すような2つの判定
要素取得領域61,62からなる領域モデル60を使用
する。
【0075】矢印部の判定要素取得領域61をA1、そ
の他の判定要素取得領域62をA2とする。次に各判定
要素取得領域A1、A2において利用する特徴量を決定
する。一般に、一方通行の標識においては領域A1の輝
度はその他の領域A2に比べて高く、また、領域A1、
A2ともに輝度の分散値は非常に小さい。そこで、2つ
の領域A1、A2とも特徴量として平均輝度と輝度分散
値を利用するとして、それぞれA1-a、A1-v、A2-a、A2-v
とする。そして、様々な一方通行の道路標識のサンプル
画像からそれぞれの特徴量を計測し、図17に示すよう
な計測値を得る。そして、この学習結果から各領域A
1、A2の正しさとしては、例えば、図18に示すファ
ジーメンバーシップ関数を定義する。ここでは、領域A
1の平均輝度の正しさをμA1-aとして定義している。同
様に、領域A1の輝度分散値の正しさをμA1-vとして定
義し、領域A2の平均輝度の正しさをμA2-aとして定義
し、領域A2の輝度分散値の正しさをμA2-vとして定義
している。
【0076】実際の検出においては、先ず、標識65を
含む図19のようなシーンの画像を入力し、シーン画像
上を領域モデル60を順次移動させ、その都度各領域A
1、A2の平均輝度や輝度分散値を計測し、例えば、F
=μA1-a×μA1-v×μA2-a×μA2-vのような計算式にお
いてその場所に標識65がある確からしさFを計算し、
ある閾値よりもFが大きい位置に標識65があるとして
検出する。ここで図20に示すように領域モデルを当て
嵌める被照合局所領域P1について数11式から数14
式に基づきこの被照合局所領域P1の輝度正規化を行っ
た後、領域モデルを当て嵌めることになる。なお、図2
0は被照合局所領域の一部のみを示している。
【0077】このように、被識別対象物である標識65
をその標識画像の特徴的な判定要素取得領域A1、A2
に分けて表現した領域モデル60を作成し、各判定要素
取得領域の位置関係を維持したこの領域モデル60をシ
ーン画像上に当て嵌める被照合局所領域を指定し、この
被照合局所領域の輝度正規化を行ってからこの被照合局
所領域に領域モデルを当て嵌め、この領域モデル内の各
判定要素取得領域の特徴量を計測し、領域モデル全体で
標識か否かの判定を行っているので、この実施の形態に
おいても、環境変動の影響をあまり受けずに標識65を
確実に検出でき、また、簡潔で安定した標識の検出がで
きる。
【0078】
【発明の効果】請求項1乃至6記載の発明によれば、入
力画像に対して被照合局所領域を順次指定し、この指定
した被照合局所領域の輝度正規化を行った後に、この被
照合局所領域に対して部分的に判定要素を取得すること
により、光源等の環境変動の影響をあまり受けずに被識
別対象物の検出ができ、これにより、確実な被識別対象
物の検出ができる対象物検出装置を提供できる。
【0079】また、請求項2記載の発明によれば、輝度
正規化を行った被照合局所領域に対してエッジ検出等の
画像処理を行ってから部分的に判定要素を取得するよう
にしているので、さらに、輪郭検出が必要な被識別対象
物を確実に検出できる対象物検出装置を提供できる。
【0080】また、請求項3記載の発明によれば、入力
画像に対し被照合局所領域を指定し、この領域に検出す
る被識別対象物画像の特徴的な領域に対応して複数の判
定要素取得領域を設定した領域モデルを当て嵌めて判定
要素の取得を行っているので、さらに、簡潔な処理が実
現でき、簡潔で安定した被識別対象物の検出ができる対
象物検出装置を提供できる。
【0081】また、請求項4記載の発明によれば、入力
画像に対し被照合局所領域を指定し、この領域に検出す
る顔画像の目、口、鼻、頬等の特徴的な領域に対応して
複数の判定要素取得領域を設定した領域モデルを当て嵌
めて判定要素の取得を行っているので、さらに、簡潔な
処理が実現でき、簡潔で安定した顔の検出ができる対象
物検出装置を提供できる。
【0082】また、請求項7及び8記載の発明によれ
ば、入力画像に対して被照合局所領域を順次指定し、こ
の指定した被照合局所領域の輝度正規化を行った後に、
この被照合局所領域に対して部分的に判定要素を取得す
ることにより、光源等の環境変動の影響をあまり受けず
に被識別対象物の検出ができ、これにより、確実な被識
別対象物の検出ができる対象物検出方法を提供できる。
【0083】また、請求項8記載の発明によれば、入力
画像に対し被照合局所領域を指定し、この領域に検出す
る顔画像の目、口、鼻、頬等の特徴的な領域に対応して
複数の判定要素取得領域を設定した領域モデルを当て嵌
めて判定要素の取得を行っているので、さらに、簡潔な
処理が実現でき、簡潔で安定した顔の検出ができる対象
物検出方法を提供できる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態を示す全体構成のブ
ロック図。
【図2】同実施の形態における画像入力部の構成を示す
ブロック図。
【図3】同実施の形態における位置検出部の構成を示す
ブロック図。
【図4】同実施の形態において使用するウィンドウモデ
ル型の領域モデルの例を示す図。
【図5】同実施の形態において使用可能なマスクモデル
型の領域モデルの例を示す図。
【図6】同実施の形態における被照合局所領域の指定例
を示す図。
【図7】同実施の形態において領域モデルを顔の上に当
て嵌めた状態を示す図。
【図8】同実施の形態において入力画像及び一定分散強
調処理を行った被照合局所領域の各例を比較して示す
図。
【図9】同実施の形態において撮影条件の異なる2つの
入力画像に対する被照合局所領域の輝度正規化例を比較
して示す図。
【図10】同実施の形態においてサンプル顔画像から抽
出した各領域の特徴量の例を示す図。
【図11】同実施の形態における右目の判定要素取得領
域の低輝度画素量RE-dのファジーメンバーシップ関数例
を示す図。
【図12】同実施の形態における顔の位置検出結果例を
示す図。
【図13】本発明の第2の実施の形態を示すもので、マ
スク表現した顔の領域モデルにおける頬の判定要素取得
領域へのテンプレート画像の利用を示す図。
【図14】同実施の形態においてサンプル顔画像から抽
出した各領域の特徴量の例を示す図。
【図15】入力画像に対して領域モデルを当て嵌める場
合の他の例を示す図。
【図16】本発明の第3の実施の形態における領域モデ
ルの例を示す図。
【図17】同実施の形態においてサンプル画像から抽出
した各領域の特徴量の例を示す図。
【図18】同実施の形態における領域A1の平均輝度A1
-aのファジーメンバーシップ関数例を示す図。
【図19】同実施の形態におけるシーン画像例を示す
図。
【図20】同実施の形態において被照合局所領域毎の輝
度正規化を説明するための図。
【符号の説明】
1…画像入力部 2…画像検出部 22…モデル記憶部 23…特徴量記憶部 24…位置指定部 25…輝度正規化部 26…画像処理部 27…特徴量抽出部 28…判定部

Claims (8)

    【特許請求の範囲】
  1. 【請求項1】 被識別対象物画像を含む画像を入力する
    画像入力手段と、この画像入力手段により入力した入力
    画像に対して被照合局所領域を順次指定する位置指定手
    段と、この位置指定手段にて指定した被照合局所領域毎
    に輝度正規化を行う輝度正規化手段と、この輝度正規化
    手段にて輝度正規化を行った被照合局所領域に対して部
    分的に判定要素を取得する判定要素取得手段と、この判
    定要素取得手段が取得した判定要素に基づいて被識別対
    象物画像か否かの判定を行う判定手段とからなり、前記
    判定手段の判定結果により被識別対象物の検出を行うこ
    とを特徴とする対象物検出装置。
  2. 【請求項2】 被識別対象物画像を含む画像を入力する
    画像入力手段と、この画像入力手段により入力した入力
    画像に対して被照合局所領域を順次指定する位置指定手
    段と、この位置指定手段にて指定した被照合局所領域毎
    に輝度正規化を行う輝度正規化手段と、この輝度正規化
    手段にて輝度正規化を行った被照合局所領域に対してエ
    ッジ検出等の画像処理を行う画像処理手段と、この画像
    処理手段にて画像処理した被照合局所領域に対して部分
    的に判定要素を取得する判定要素取得手段と、この判定
    要素取得手段が取得した判定要素に基づいて被識別対象
    物画像か否かの判定を行う判定手段とからなり、前記判
    定手段の判定結果により被識別対象物の検出を行うこと
    を特徴とする対象物検出装置。
  3. 【請求項3】 被識別対象物画像を含む画像を入力する
    画像入力手段と、検出する被識別対象物画像の特徴的な
    領域に対応して複数の判定要素取得領域を設定した領域
    モデルを記憶した記憶手段と、前記画像入力手段により
    入力した入力画像に対して前記記憶手段に記憶した領域
    モデルを当て嵌める被照合局所領域を順次指定する位置
    指定手段と、この位置指定手段にて指定した被照合局所
    領域に領域モデルを順次当て嵌める毎に、この領域の輝
    度正規化を行う輝度正規化手段と、この輝度正規化手段
    にて輝度正規化を行った被照合局所領域に対して部分的
    に判定要素を取得する判定要素取得手段と、この判定要
    素取得手段が取得した判定要素に基づいて被識別対象物
    画像か否かの判定を行う判定手段とからなり、前記判定
    手段の判定結果により被識別対象物の検出を行うことを
    特徴とする対象物検出装置。
  4. 【請求項4】 顔画像を含む画像を入力する画像入力手
    段と、検出する顔画像の目、口、鼻、頬等の特徴的な領
    域に対応して複数の判定要素取得領域を設定した領域モ
    デルを記憶した記憶手段と、前記画像入力手段により入
    力した入力画像に対して前記記憶手段に記憶した領域モ
    デルを当て嵌める被照合局所領域を順次指定する位置指
    定手段と、この位置指定手段にて指定した被照合局所領
    域に領域モデルを順次当て嵌める毎に、この領域の輝度
    正規化を行う輝度正規化手段と、この輝度正規化手段に
    て輝度正規化を行った被照合局所領域に対して部分的に
    判定要素を取得する判定要素取得手段と、この判定要素
    取得手段が取得した判定要素に基づいて顔画像か否かの
    判定を行う判定手段とからなり、前記判定手段の判定結
    果により顔の検出を行うことを特徴とする対象物検出装
    置。
  5. 【請求項5】 判定要素取得手段は、判定要素として特
    徴量を取得することを特徴する請求項1乃至4のいずれ
    か1記載の対象物検出装置。
  6. 【請求項6】 判定要素取得手段は、被照合局所領域に
    対して部分的にテンプレート画像を利用して特徴量を取
    得することを特徴する請求項5記載の対象物検出装置。
  7. 【請求項7】 入力した被識別対象物画像を含む画像に
    対して被照合局所領域を順次指定し、この指定した被照
    合局所領域に対して輝度正規化を行い、続いて、この輝
    度正規化を行った被照合局所領域に対して部分的に判定
    要素を取得し、この取得した判定要素に基づいて被識別
    対象物画像か否かの判定を行い、この判定結果により被
    識別対象物の検出を行うことを特徴とする対象物検出方
    法。
  8. 【請求項8】 入力する顔画像を含む画像に対して、検
    出する顔画像の目、口、鼻、頬等の特徴的な領域に対応
    して複数の判定要素取得領域を設定した領域モデルを順
    次被照合局所領域を指定しながら当て嵌め、領域モデル
    を順次当て嵌める毎に被照合局所領域の輝度正規化を行
    い、続いて、この輝度正規化を行った被照合局所領域に
    対して部分的に判定要素を取得し、この取得した判定要
    素に基づいて顔画像か否かの判定を行い、この判定結果
    により顔の検出を行うことを特徴とする対象物検出方
    法。
JP10110592A 1998-04-21 1998-04-21 対象物検出装置及び対象物検出方法 Pending JPH11306348A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10110592A JPH11306348A (ja) 1998-04-21 1998-04-21 対象物検出装置及び対象物検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10110592A JPH11306348A (ja) 1998-04-21 1998-04-21 対象物検出装置及び対象物検出方法

Publications (1)

Publication Number Publication Date
JPH11306348A true JPH11306348A (ja) 1999-11-05

Family

ID=14539775

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10110592A Pending JPH11306348A (ja) 1998-04-21 1998-04-21 対象物検出装置及び対象物検出方法

Country Status (1)

Country Link
JP (1) JPH11306348A (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003022441A (ja) * 2001-07-06 2003-01-24 Minolta Co Ltd 領域抽出方法、領域抽出プログラム、領域抽出プログラムを記録したコンピュータ読取可能な記録媒体、および領域抽出装置
JP2005108196A (ja) * 2003-09-09 2005-04-21 Fuji Photo Film Co Ltd 対象物識別装置および方法並びにプログラム
JP2005215899A (ja) * 2004-01-28 2005-08-11 Yamaha Motor Co Ltd 対象物検出装置及びその方法
JP2005347873A (ja) * 2004-05-31 2005-12-15 Matsushita Electric Works Ltd 撮像装置
JP2006309714A (ja) * 2005-03-31 2006-11-09 Fuji Photo Film Co Ltd 顔判別方法および装置並びにプログラム
JP2007144947A (ja) * 2005-11-30 2007-06-14 Seiko Epson Corp 画像形成システム
JP2010004543A (ja) * 2009-07-13 2010-01-07 Panasonic Electric Works Co Ltd 撮像装置
US7920725B2 (en) 2003-09-09 2011-04-05 Fujifilm Corporation Apparatus, method, and program for discriminating subjects
JP2012235305A (ja) * 2011-04-28 2012-11-29 Canon Inc 画像処理装置及びその制御方法
WO2013035150A1 (ja) 2011-09-05 2013-03-14 株式会社モルフォ 顔認証システム、顔認証方法、および顔認証プログラム

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003022441A (ja) * 2001-07-06 2003-01-24 Minolta Co Ltd 領域抽出方法、領域抽出プログラム、領域抽出プログラムを記録したコンピュータ読取可能な記録媒体、および領域抽出装置
US7920725B2 (en) 2003-09-09 2011-04-05 Fujifilm Corporation Apparatus, method, and program for discriminating subjects
JP2005108196A (ja) * 2003-09-09 2005-04-21 Fuji Photo Film Co Ltd 対象物識別装置および方法並びにプログラム
US8184870B2 (en) 2003-09-09 2012-05-22 Fujifilm Corporation Apparatus, method, and program for discriminating subjects
JP2005215899A (ja) * 2004-01-28 2005-08-11 Yamaha Motor Co Ltd 対象物検出装置及びその方法
JP2005347873A (ja) * 2004-05-31 2005-12-15 Matsushita Electric Works Ltd 撮像装置
JP4572583B2 (ja) * 2004-05-31 2010-11-04 パナソニック電工株式会社 撮像装置
JP2006309714A (ja) * 2005-03-31 2006-11-09 Fuji Photo Film Co Ltd 顔判別方法および装置並びにプログラム
JP2007144947A (ja) * 2005-11-30 2007-06-14 Seiko Epson Corp 画像形成システム
JP2010004543A (ja) * 2009-07-13 2010-01-07 Panasonic Electric Works Co Ltd 撮像装置
JP4577446B2 (ja) * 2009-07-13 2010-11-10 パナソニック電工株式会社 撮像装置
JP2012235305A (ja) * 2011-04-28 2012-11-29 Canon Inc 画像処理装置及びその制御方法
WO2013035150A1 (ja) 2011-09-05 2013-03-14 株式会社モルフォ 顔認証システム、顔認証方法、および顔認証プログラム
US9042609B2 (en) 2011-09-05 2015-05-26 Morpho, Inc. Face authentication system, face authentication method, and face authentication program

Similar Documents

Publication Publication Date Title
JP4505362B2 (ja) 赤目検出装置および方法並びにプログラム
JP5629803B2 (ja) 画像処理装置、撮像装置、画像処理方法
KR100480781B1 (ko) 치아영상으로부터 치아영역 추출방법 및 치아영상을이용한 신원확인방법 및 장치
JP4743823B2 (ja) 画像処理装置、撮像装置、画像処理方法
EP1693782B1 (en) Method for facial features detection
CN111325769B (zh) 一种目标对象检测方法及装置
Nayar et al. Computing reflectance ratios from an image
JP2018092610A (ja) 画像認識装置、画像認識方法及びプログラム
JP2003178306A (ja) 個人認証装置および個人認証方法
JP2000105829A (ja) 顔パーツ検出方法及びその装置
JP2004094491A (ja) 顔向き推定装置および顔向き推定方法ならびに顔向き推定プログラム
US7460705B2 (en) Head-top detecting method, head-top detecting system and a head-top detecting program for a human face
CN113052142A (zh) 一种基于多模态数据的静默活体检测方法
JPH11306348A (ja) 対象物検出装置及び対象物検出方法
KR100755800B1 (ko) 얼굴색과 에이다부스트를 이용한 얼굴 검출기 및 검출방법
JPH11306325A (ja) 対象物検出装置及び対象物検出方法
JP4606304B2 (ja) 近赤外線顔画像作成装置、近赤外線顔画像作成方法、及び顔画像照合装置
JP3774495B2 (ja) 画像情報抽出装置および方法
KR101741758B1 (ko) 가려짐에 강인한 깊이정보 사용 캠쉬프트 기반의 실시간 얼굴추적 방법
JP2002342758A (ja) 視覚認識システム
JP2003044853A (ja) 顔検出装置、顔向き検出装置、部分画像抽出装置及びそれらの方法
JPH11283036A (ja) 対象物検出装置及び対象物検出方法
JP4661319B2 (ja) 画像処理装置及び画像処理方法
KR20030012193A (ko) 다양한 배경의 영상데이터에서의 눈 위치 검출방법
JP6855175B2 (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080629

Year of fee payment: 7

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080629

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090629

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 8

Free format text: PAYMENT UNTIL: 20090629

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 9

Free format text: PAYMENT UNTIL: 20100629

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 9

Free format text: PAYMENT UNTIL: 20100629

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 10

Free format text: PAYMENT UNTIL: 20110629

EXPY Cancellation because of completion of term