JP3264460B2 - 画像判別方法 - Google Patents
画像判別方法Info
- Publication number
- JP3264460B2 JP3264460B2 JP09932593A JP9932593A JP3264460B2 JP 3264460 B2 JP3264460 B2 JP 3264460B2 JP 09932593 A JP09932593 A JP 09932593A JP 9932593 A JP9932593 A JP 9932593A JP 3264460 B2 JP3264460 B2 JP 3264460B2
- Authority
- JP
- Japan
- Prior art keywords
- candidate
- face image
- component
- face
- contour
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
Description
顔画像候補が顔画像であるか否かの判別を、画像の角度
の変化、回転および背景に影響されることなく、良好に
行う画像判別方法に関するものである。
は、画像情報処理のキー技術のひとつと考えられ古くか
ら様々な手法により試みられている。特に、物体を顔と
し画像中の顔の認識を行う試みは盛んに行われている。
ると、例えば、 (1) 顔画像の標本の主成分を分析することにより得られ
る固有顔を用いた方法(Matthew,T.,Alex,P.,Eigenface
s for Recognition.Journal of Cognitive Neuroscienc
e,Vol.3,No.1,1991,71-86 )。
ザイク化した後、顔画像をニューラルネットワークの一
手法であるBP法により学習させ認識を行う方法(小杉
信(NTTヒューマンインタフェース研),ニューラ
ルネットワークを用いた顔画像識別の一検討,テレビジ
ョン学会技術報告,Vol.14,No50,1990.9,7-12)。
々木 努(NTTヒューマンインタフェース研),赤松
茂,他2名,正面顔画像の自動識別法の検討,信技
法,IE91-50,1-8 )。
ッド(粗くモザイク化した画像から細かくモザイク化し
た画像)を用いた方法(小杉 信(NTTヒューマンイ
ンタフェース研),シーンの中の顔の探索と認識,コン
ピュータビジョン76-7,1992.1.23,49-56)。
(Kohonen,T.,Lehtio,P.,Oja,E.,Kortekangas,A.,& Maki
sara,K.Demonstration of pattern processing propert
ies ofthe optimal associative mappings.Proceedings
of the International Conference on Cybernetics an
d Society,Washington,D.C.,Sept.19-21,1977,581-585.
(b)、J.Buhmann,J.Lange,& C.von der Malsburg,Distor
tion Invariant ObjectRecognition by Matching Hiera
rchically labeled Graphs.IJCNN 1989,Vol.1,Jun.198
9,155-159)。等が提案されている。
た(1) ,(2) および(3) の方法は、顔の回転、角度の変
化、背景の影響等の条件を予め意識して作成されたモデ
ルではなく、これらの条件には十分対応できるものでは
ない。また、上記(4) の方法においては、上記(1) ,
(2) および(3) の方法では対応できない、背景の影響を
考慮して作成されたものであるが、使用される顔画像は
正面を向いた像(以下正面像)のみであり、顔の回転や
角度の変化には対応できるものではなく、さらには背景
の影響に対しても十分対応できるものではなかった。さ
らに、上記(5) および(6) の方法については、顔の角度
の変化には対応できるものの、無背景であることが条件
であり、背景の影響に対しては対応できないものであっ
た。
像の回転、角度の変化、背景の影響にも十分対応できる
画像判別方法を提供することを目的とするものである。
法は、顔画像候補が顔画像であるか否かを判別する画像
判別方法において、前記顔画像候補から目の形状と適合
し易い成分を検出し、該目の形状と適合し易い成分のう
ち、前記顔画像候補の中心付近にある成分を強調し、前
記顔画像候補から複数の方向に傾斜した輪郭の直線成分
を検出し、該検出された直線成分を合成して、前記顔画
像候補の輪郭成分を検出し、前記中心付近が強調された
成分から該検出された輪郭成分を除去し、該輪郭成分が
除去された成分から、所定の方向に2つ並んだ成分を検
出することにより、前記顔画像候補から両目候補を検出
し、前記顔画像候補の角度の変化および/または回転に
より変動されない基準点として前記両目候補の中心を検
出し、該検出された両目候補の中心に基づいて、該両目
候補の中心を通る前記顔画像候補の対称軸を検出し、該
対称軸に基づいて前記顔画像候補の特徴部分を検出し、
前記両目候補の中心、前記対称軸および前記特徴部分の
情報に基づいて、前記顔画像候補が顔画像であるか否か
を判別することを特徴とするものである。
は、前記対称軸および/または前記特徴部分の検出を、
前記顔画像候補を前記基準点に基づく座標空間に展開す
ることにより行ってもよい。
準点を極とした極座標空間とすることが好ましい。
な態様は、請求項4から14に記載した通りのものであ
り、課題を解決するための手段としてここにその内容を
繰返すのは冗長となるので、ここでは省略する。
両目候補を検出し、顔画像候補の角度の変化および/ま
たは回転により変動されない基準点として両目候補の中
心を検出し、この基準点に基づいて顔画像候補における
対称軸および/または特徴部分を検出することにより、
この対称軸および/または特徴部分に基づいて顔画像候
補が顔画像であるか否かを検出するようにしたため、顔
画像候補の角度の変化、回転にかかわりなく顔画像候補
が顔画像であるか否かの判別を行うことができる。
軸および/または特徴部分を検出する際に、基準点に基
づいた座標空間に顔画像候補を展開することにより、対
称軸、特徴部分の検出をより容易に行うことができる。
この座標空間としては物体の基準点を極とした極座標空
間が最も適切な座標空間のひとつである。
影響されない基準点として顔画像候補に含まれる両目候
補の中心を検出し、両目候補の中心を極とした極座標空
間において対称軸および/または特徴部分を検出するこ
とによってより良好な判別を行うことができる。
口領域候補が含まれることが望ましい。
補、口領域候補のみならず、例えば耳、鼻、髮の毛等他
の特徴部分に基づいて、顔画像候補が顔画像であるか否
かの判別を行うようにしてもよいものである。
対しても、例えば、目を基準点として極座標変換を行い
特徴部分を検出するようにすれば、角度の変化や回転に
かかわりなく良好な判別を行うことができる。
出願人により提案されている特願平4-242458号あるいは
同4-242459号に記載されている方法により所定被写体候
補を抽出し、所定被写体候補が顔であるか否かを判別す
るのに適している。
ては、例えば、特願平4-242463号に記載されているよう
な、所定の画像と考えられる画像を自然画像中から発
見、抽出し、画像サイズを正規化して与えることができ
るような手法と組み合わせることにより、画像のサイズ
の変化にも対応できることとなり、さらに角度の変化や
回転にも対応できる判別が行えることになる。
説明する。本実施例では所定の画像が顔である場合につ
いて説明する。
す図である。図1に示すように、本発明による画像判別
方法は、与えられた画像1から両目候補の中心の探索2
を行い、次いでこの両目候補の中心を通る対称軸の探索
3を行う。この対称軸の探索3を行った後に、与えられ
た画像1から顔の輪郭候補の探索4を行い、これと並行
して与えられた画像1から口領域候補の探索5を行う。
その後、これらの探索により得られた情報に基づいて、
与えられた画像1が顔画像であるか否かの判別6を行う
ものである。
する。なお、この探索は視覚ニューラルネットワークと
顔の知識を利用して行うものとする。
られる小塊成分の検出がなされる。図2は、与えられた
画像1から両目候補の中心の検出を行うための第1ステ
ップを表す図である。まず、与えられた画像1から、複
数の方向性を有する目の形状と適合する成分を複数の方
向毎に抽出する。これは、図3に示すような目と考えら
れる小塊成分に反応し易い、小塊成分検出マスク10と、
与えられた画像1とのコンボリューションおよび非線形
処理により得られる。以下、その詳細について説明す
る。
は、目の形の強度変化に反応し易いように、マスク10の
負の部分が目の形に合うように楕円形をなしており、こ
の楕円の長手方向が、図3の状態を0度としたときに、
30度,60度,90度,120 度,150 度の6方向を向いた6
つの小塊成分検出マスク10A〜10Fを用いて、与えられ
た画像1をコンボリューションするものである。ここ
で、この小塊成分検出マスク10は、人間の脳の網膜神経
節細胞または外側膝状体の細胞に相当するものであり、
DOG関数により作成されるものである。このDOG関
数は、以下の式で表される。
120 ,150 度の各値に設定することにより、楕円の長手
方向が、0,30,60,90,120 ,150 度傾いた小塊成分
検出マスク10A〜10Fを作成することができるものであ
る(便宜上、各マスクをそれぞれ0度方向のマスク,30
度方向のマスク……150 度方向のマスクと呼ぶ)。
で与えられた画像1をコンボリューションおよび非線形
処理することにより、与えられた画像1からそれぞれの
小塊成分検出マスク10A〜10Fに適合した成分11A〜11
Fが検出される。
えられる小塊成分は与えられた画像1の中心付近に存在
することが多く、また与えられた画像1の中心付近の情
報がより重視されるため、検出された成分11A〜11Fの
中心付近の情報を強調するマスク12により成分11A〜11
Fの中心付近の情報が強調され、中心付近が強調された
成分13A〜13Fが得られる。ここで、中心を強調するマ
スク12としては、以下の式に示すような中心に向かって
単調増加する関数が考えられる。
された成分13A〜13Fは、目と考えられる小塊成分のみ
ならず、与えられた画像1の輪郭成分をも含んでいるも
のであるため、この成分13A〜13Fから輪郭成分の除去
が行われる。この輪郭成分の除去は、成分11A〜11Fか
ら輪郭成分が抽出され、この輪郭成分を成分13A〜13F
から除去することによって行われる。なお、ここでは簡
単のため、成分11Aからの輪郭の検出について説明す
る。
例における輪郭成分の検出を説明するための図である。
まず、図2における中心を強調する前の成分11Aから、
6方向の角度の輪郭の直線が各方向毎に抽出される。こ
れは、図5に示すような特定角度の直線検出マスク14と
成分11Aとのコンボリューションおよび非線形処理によ
って得られる。以下、その詳細について説明する。
ク14は、直線に反応し易いように、マスク14の正の部分
が、直線に適合するように細長楕円形状をなしており、
さらに、負の部分が正の部分の両側に分布するように選
択されている。このマスク14に十分な方位選択性を持た
せるにはこのような負の部分が不可欠である。そしてこ
の細長楕円の長手方向が、図5の状態を0度としたとき
に、30度,60度,90度,120 度,150 度の6方向を向い
た6つの特定の角度の直線検出マスク14A〜14Fを用い
て、成分13Aをコンボリューションするものである。こ
こで、このマスクは、大脳視覚野の単純型細胞に相当す
るものであり、ガボール関数により作成されるものであ
る。このガボール関数は以下の式で表される。
である。さらに、この式(4) におけるkx ,ky の
初期値により、細長楕円の長手方向が0,30,60,90,
120 ,150 度傾いたマスク14A〜14Fを作成することが
できるのである。
14Fの受容野サイズは、成分11Aのうち、必要とされる
輪郭成分以外の細い輪郭成分には反応しにくいように定
められている。すなわち、マスク14A〜14Fは成分11A
のうち、目と考えられる小塊成分には反応し難く、か
つ、必要な輪郭成分には反応し易いのである。このよう
にマスク14A〜14Fの受容野サイズを定めることによ
り、背景の存在にかかわらず良好に目と考えられる小塊
成分を検出できるのである。
A〜14Fで成分11Aをコンボリューションすることによ
り、成分11Aから各マスク14A〜14Fに適合した特定角
度の輪郭成分15A〜15Fが抽出される。
Fおよび特定の角度の直線検出マスク14A〜14Fによ
る、与えられた画像1および成分11A〜11Fのコンボリ
ューションおよび非線形処理は以下の式により行われて
いる。
画素同志を競合させ、最も大きい値を有する画素のみを
勝ち残らせる方向的競合を行う。例えば、特定の角度の
輪郭成分の左下角を原点としたx−y座標を考えたと
き、画素(0,0)について考えると、各輪郭成分15A〜15
Fの画素(0,0)のうち、最も大きい値を有する輪郭成分
の画素が選択されるのである。この方向的競合を各輪郭
成分15A〜15Fのすべての画素について行うと、輪郭成
分16が勝ち残ることとなる。
つの方向毎に検出されているため、方向的競合により勝
ち残った輪郭成分16における輪郭は滑らかにつながって
いないものである。そこで、ボカしマスク17により輪郭
成分16をコンボリューションし、輪郭成分16をボカした
成分18を作成し、輪郭を滑らかにする。
された方向的競合後の輪郭成分をボカし、成分18A〜18
Fを作成する。次いで、作成された成分18A〜18Fが、
図6に示すようにそれぞれの成分と対応する成分13A〜
13Fから減算されることにより、各成分13A〜13Fより
輪郭成分が除去されて、目の形に反応していると思われ
る小塊成分19A〜19Fが残る。なお、各成分13A〜13F
から各成分18A〜18Fを減算する際には、対応する各成
分の最大値が等しい値となるように正規化されて減算が
行われる。
成分19A〜19Fから、両目候補の中心であると思われる
場所、すなわち両目候補の中心候補を求める。図7は両
目候補の中心候補を求めるステップを表す図である。図
7に示すように、まず、小塊成分19A〜19Fをペアマス
ク20A〜20Fでコンボリューションする。このペアマス
ク20A〜20Fは、図7の白丸の部分が正の値をなすもの
であり、2つ重ね合わせると、この正成分が人間の両目
の間隔と略等しい間隔で、かつ、前述した小塊成分検出
マスク10A〜10Fの方向と同方向に並んでいる。
分19A〜19Fをコンボリューションし、このマスク毎の
コンボリューションの結果を乗算することにより、小塊
成分検出マスクと同方向に並んだ2つの小塊の中心と考
えられる位置が反応することとなり、図7に示すように
両目候補の中心候補21A〜21Fが求められる。
の中から最も大きく反応した両目候補の中心候補が求め
られ、これが両目候補の中心として検出される。なお、
本実施例においては、両目候補の中心候補21Aが両目の
中心22として求められる。
とにより、与えられた画像において顔画像が回転してい
る場合であっても両目候補の中心を求めることができ
る。なお、本実施例においては、両目候補の中心として
両眉と思われる部分の中心を求めてしまうような場合が
あるが、通常の人であれば目と眉は略同じ位置にあるた
め問題はない。
与えられた画像1における対称軸の探索が行われる。
ある。まず、両目候補の中心として選ばれた方向の小塊
成分19A上において、両目の中心22を極とし小塊成分19
Aを極座標変換する。
1より0度方向の小塊成分検出マスク10Aにより得られ
たものであるため、対称軸は、略180 度±30度の位置に
あることが予想される。そこで、極座標変換された小塊
成分19A′の180 度付近に仮の対称軸25′を設定し対称
軸25′を±30度の範囲で1度ずつ移動させ、極座標上に
おいてその仮の対称軸25′に対して右側の領域26Aと左
側の領域26Bの濃度値の相関が求められる。ここで、右
側の領域26Aと左側の領域26Bのうち、小塊成分の存在
し得る領域は、ある範囲内に限られているため、小塊成
分が存在し得ない、何も反応しない領域(本実施例にお
いては、極座標変換された小塊成分19A′の左右の端の
部分)は相関の演算に用いず、小塊成分の存在し得る領
域のみを相関の演算に用いるものである。この相関の演
算は、以下の式により行われる。
定し、相関を計算すると図8に示すような計算結果27が
得られる。この計算結果27において、最も相関が大きか
った仮の対称軸25′が顔の対称軸25として求められる。
この求められた対称軸25は、180 度よりわずかに向かっ
て右に傾斜している。
25上の点を始点とする、与えられた画像1における輪郭
成分を検出し、この検出された輪郭成分と予めテンプレ
ートとして学習された複数の方向を向いた顔の輪郭とを
比較し、予めテンプレートとして学習された顔の輪郭の
中に相当するものがあるか否かが検出される。
れる顔の輪郭の学習について説明する。
ある。図9に示すように、まず、両目の中心と目からの
距離により正規化された複数人の顔の輪郭データ31を求
める。この輪郭データ31は、両目を中心として10度刻み
に36個の点(輪郭座標41と呼ぶことにする)の集合とし
て得られる。次いで、この複数人の顔の輪郭データ31の
平均輪郭データ32の算出が行われる。この際、各輪郭デ
ータ31の各角度における分散35も算出しておく。
心を極として極座標変換する。この際、複数方向を向い
た顔の輪郭線の作成35を行う。すなわち、極を平均輪郭
データ32の上下左右にずらして極座標変換することによ
り上向き、下向き、右向き、左向きの顔の平均輪郭デー
タが得られる。このように、両目の中心をずらして極座
標変換することにより、図10に示すように正面データ3
6、上向きデータ37、下向きデータ38、左向きデータ39
および右向きデータ40を得る。
としてニューラルネットワークの空間的補間を取り入れ
た自己組織化学習34を行う。なお、空間的補間を用いた
自己組織化学習の詳細については特願平4-347237号明細
書に記載されているためここでは省略する。
学習について説明する。本発明の実施例における空間的
補間を用いた自己組織化学習は図11に示す64個のニュー
ラルネットワークの各細胞(本実施例では四角形に分布
している)に、図10に示す基本パターンである正面顔デ
ータ36、上向き顔データ37、下向き顔データ38、左向き
顔データ39および右向き顔データ40をこの順番で入力し
て行う。これらの顔データをそれぞれ1回ずつ入力した
段階を1回の学習とし、この学習を多数の細胞の学習が
終了するまで繰返し行った。
組織化学習結果を図12に示す。なお、図12(a) は、前述
した正面顔データ36、上向き顔データ37、下向き顔デー
タ38、左向き顔データ39および右向き顔データ40を学習
させたものであり、図12(b)はこれらのデータを180 °
回転させたデータを学習させたものである。図12(a)お
よび図12(b) において、正面顔データ36は細胞(3,4)
に、上向き顔データ37は細胞(4,1)に、下向き顔データ
38は細胞(2,7)に、左向き顔データ39は細胞(0,3)に、
そして右向き顔データ40は細胞(7,4)に学習されてお
り、他の細胞にはこれら5つのパターンの中間のパター
ンが学習されている。
て、前述した与えられた画像1の輪郭成分が、この自己
組織化学習結果に含まれているか否かを検出する。
した図4に示す輪郭成分16の両目候補の中心22を極と
し、前述した対称軸25上の点を始点として極座標変換
し、極座標変換された輪郭成分16′を得る。そして、こ
の輪郭成分16′と図12に示す自己組織化学習結果との比
較を行う。この比較の方法は、輪郭成分16′において、
前述した自己組織化学習により各細胞(0,0)〜(7,7)が
学習した輪郭座標位置における画素の濃度値の総和を計
算し、この総和が最も大きかった細胞を与えられた画像
1の輪郭であるとするものである。
場合があるため、各細胞の全ての輪郭座標41を矢印Aに
示すように上下方向に平行移動させて、濃度値の総和が
最も大きな位置を選択する。
てバラつきがある部分に対応させるため、上述した、各
細胞全ての輪郭座標41の上下方向への平行移動と合わせ
て、各々の輪郭座標41を、前述した分散の値だけ図14の
矢印Bの方向に移動させ、その移動する範囲において最
大の濃度値を総和を求める際に使用するようにしてもよ
い。これにより、輪郭座標41の分散が大きい顔の髪の部
分にも柔軟に対応できるようになる。
式で表すことができる。
検出するステップを表す図である。図15に示すように、
まず与えられた画像1を、両目候補の中心22を極とし、
対称軸25上の点を始点として極座標変換し、極座標変換
された画像50を得る。次いで画像50をYIQ基底に変換
する。ここでYIQ基底とは、R(赤)、G(緑)、B
(青)カラー画像に対し、
テレビの色信号と輝度信号とを分けるような場合に用い
られているものである。
画像中では顔の唇部分が最も明るく反応することが知ら
れている(小林,中村,森島,原島,“顔画像からの唇
の特徴点抽出法”,信学全大春,D-329,Mar.1990.)。す
なわち、YIQ基底のQ成分は、色空間の中で赤みのあ
るような紫色の部分に最も反応し易く、緑の部分に反応
し難いものである。したがって、YIQ基底のQ成分は
顔の中で唇の部分に最も明るく反応するのである。この
ように、画像50をYIQ基底に変換し、Q成分画像51を
得る。
標変換した後にYIQ基底に変換してQ成分画像51を得
ているが、与えられた画像1をYIQ基底に変換した後
に、極座標変換するようにしてもQ成分画像51を得るこ
とができる。
適合している部分が検出される。これは、図15に示すよ
うな口の形状に反応し易いマスク52により、Q成分画像
51をコンボリューションすることによって得られる。
の強度変化に反応し易いように、正の部分が口の形に合
うように楕円形をなしている。ここで、このマスク52は
図3に示した、目と考えられる小塊成分検出マスク10と
同様に人間の脳の網膜神経節細胞または外側膝状体の細
胞に相当するものであり、DOG関数により作成される
ものである。このマスク52のDOG関数は以下の式で表
される。
ているため、図2に示す小塊成分検出マスク10のように
複数の方向性を持つマスクを用いる必要はない。なお、
与えられた画像1の極座標変換を行わず、YIQ基底へ
の変換のみを行った場合は、小塊成分検出マスク10と同
様に複数の方向を向いたマスク52を用いてYIQ基底に
変換された、与えられた画像1をコンボリューションす
る必要がある。
ューションする際には、画像全体をコンボリューション
するのではなく、唇の存在しそうな範囲すなわち、極座
標上において角度が略180 度となる範囲のみコンボリュ
ーションするようにすれば、効率的な口領域検出が行え
る。
ンボリューションすることによりコンボリューション結
果53が得られる。この結果53の中で最も大きく反応した
部分、すなわち、本実施例においては部分54が口領域候
補として検出される。
探索、顔の輪郭候補の探索および口領域候補の探索によ
り得られた情報に基づき、与えられた画像1が顔画像で
あるか否かの判別がなされる。以下、この判別について
説明する。
れ、両目候補の中心の反応値y1、対称軸の相関値y
2 、輪郭座標位置の輪郭成分の濃度値の総和y3 、
そして口領域候補の反応値y4 として得られるもので
ある。そこで、図17に示すようにこれらの値y1 ,y
2 ,y3 ,y4 の重要度に応じて、結合重みw
1 ,w2 ,w3 ,w4 を決定し、これらの反応
値y1 ,y2 ,y3,y4 の重み付き総和を算出
し、この算出結果をしきい値処理して、顔画像候補1が
顔画像であるか否かの判別を行うものである。すなわ
ち、
た画像1は顔画像であると判別し、u≦0であれば与え
られた画像1は顔画像でないと判別するのである。
索に、顔の輪郭、口領域の探索は両目の中心、顔の対称
軸の探索に依存するので、結合重みw2 はw1 の関
数、w3 ,w4 はw1 ,w2 の関数として設定
してもよい。
た画像は、その後の画像処理等に用いられることとな
り、顔画像でないと判別された画像は、例えば、顔と考
えられる画像の発見、抽出処理と組み合わされている時
には再度抽出されることがないようにマスキング処理等
が施される。
れた画像が顔画像であるか否かを判別する際に、簡単な
重み付け総和によるしきい値処理を行っているが、これ
に限定されるものではなく、それぞれの反応値をニュー
ラルネットワークの細胞に入力し、各反応値に対応する
細胞の持つ振動子の位相、振幅を変化させ、それらの振
動子の干渉により、あるしきい値以上の反応が得られた
場合に顔画像と判定するようにしてもよい。さらに、両
目候補の中心の座標、輪郭座標、口領域候補の座標の位
置関係を評価した値を求め、この値を顔画像であるか否
かの判定に加えてもよい。
中心の探索、対称軸の探索、輪郭候補の探索および口領
域候補の探索により得られた情報に基づいて与えられた
画像が顔画像であるか否かの判別を行っているが、これ
に限定されるものではなく、他の顔の特徴である鼻や耳
あるいは髮の毛等を探索し、この探索により得られた結
果の情報に基づいて与えられた画像が顔画像であるか否
かの判別を行うようにしてもよい。
索および口領域候補の探索については、DOG関数によ
って作成されたマスクにより与えられた画像をコンボリ
ューションしてこれらの候補を検出するようにしている
が、マスクはDOG関数で作成されたものに限らず、両
目または口の形状に合うように作成されるものであれ
ば、いかなるものを用いてもよい。
出の際に使用する、予めテンプレートとして学習された
パターンとして空間的補間による自己組織化学習結果を
用いているが、これに限定されるものではなく、上下左
右正面顔の輪郭データの中間のパターンをマニュアルで
作成し、これをニューラルネットワークの各細胞に直接
割り当てるようにしてもよく、他の手法で作成したテン
プレートを用いてもよい。
補の中心点を上下左右に移動して作成しているが、上下
左右を向いた各顔の標本より平均輪郭データを求め、こ
れを用いて自己組織化学習させるようにしてもよい。
として顔画像を選んだが、顔画像に限定されるものでは
なく、交通標識等、様々な対象にも適用できる。
に対しても、例えば、目を基準点として極座標変換を行
い特徴部分を検出するようにすれば、角度の変化や回転
にかかわりなく良好な判別を行うことができる。
ば、特願平4-242463に記載されているような、所定の画
像を自然画像中から発見、抽出し、画像サイズを正規化
して与えることができるような手法と組み合わせること
により、画像のサイズの変化にも対応できることとな
り、さらに角度の変化や回転にも対応できる判別が行え
ることとなる。
よる画像判別方法は、与えられた画像の回転、角度の変
化に十分対応でき、背景が複雑であってもその影響を除
去することができるため、与えられた画像が所定の画像
であるか否かの判別を良好かつ高精度に行うことができ
る。
念を表す図
分の検出を行うためのステップを表す図
を表す図
のステップを表す図
クを表す図
ら輪郭成分を除去する状態を表す図
ップを表す図
を表す図
した状態を表す図
クの細胞を表す図
状態を表す図
る状態を表す図
プを表す図
クを表す図
する統合処理を表す図
出マスク) 14 特定の角度の輪郭成分検出マスク 16′,18 輪郭成分 19A〜19F 小塊成分 20A〜20F 両目候補の中心候補検出マスク(ペアマ
スク) 21A〜21F 両目候補の中心候補 22 両目候補の中心 25 対称軸 41 輪郭座標 52 口と考えられる小塊成分検出マスク
Claims (14)
- 【請求項1】 顔画像候補が顔画像であるか否かを判
別する画像判別方法において、 前記顔画像候補から目の形状と適合し易い成分を検出
し、該目の形状と適合し易い成分のうち、前記顔画像候
補の中心付近にある成分を強調し、前記顔画像候補から
複数の方向に傾斜した輪郭の直線成分を検出し、該検出
された直線成分を合成して、前記顔画像候補の輪郭成分
を検出し、前記中心付近が強調された成分から該検出さ
れた輪郭成分を除去し、該輪郭成分が除去された成分か
ら、所定の方向に2つ並んだ成分を検出することによ
り、前記顔画像候補から両目候補を検出し、 前記顔画像候補の角度の変化および/または回転により
変動されない基準点として前記両目候補の中心を検出
し、 該検出された両目候補の中心に基づいて、該両目候補の
中心を通る前記顔画像候補の対称軸を検出し、 該対称軸に基づいて前記顔画像候補の特徴部分を検出
し、 前記両目候補の中心、前記対称軸および前記特徴部分の
情報に基づいて、前記顔画像候補が顔画像であるか否か
を判別することを特徴とする画像判別方法。 - 【請求項2】 前記対称軸および/または前記特徴部
分の検出を、前記顔画像候補を前記基準点に基づく座標
空間に展開することにより行うことを特徴とする請求項
1記載の画像判別方法。 - 【請求項3】 前記座標空間を、前記基準点を極とし
た極座標空間とすることを特徴とする請求項2記載の画
像判別方法。 - 【請求項4】 前記目の形状と適合し易い成分の検出
を、前記顔画像候補とDOG関数に基づいて算出された
目検出マスクとのコンボリューションにより行い、 前記複数の方向に傾斜した輪郭の直線成分の検出を、前
記顔画像候補とガボール関数に基づいて算出された直線
成分検出マスクとのコンボリューションにより行うこと
を特徴とする請求項1から3のいずれか1項記載の画像
判別方法。 - 【請求項5】 前記輪郭の直線成分検出マスクの受容
野サイズを、前記輪郭の直線成分に反応し易く、前記目
の形状と適合し易い成分に反応し難く設定することを特
徴とする請求項4記載の画像判別方法。 - 【請求項6】 前記対称軸の検出を、 前記顔画像候補を前記両目候補の中心点を極として極座
標変換し、 該極座標変換された前記顔画像候補に仮の対称軸を設定
し、 該設定された仮の対称軸を前記極座標変換された前記顔
画像候補において所定範囲の角度移動させ、該移動され
る仮の対称軸を中心として前記顔画像候補の左右の相関
を算出し、 該算出された相関が最も大きい仮の対称軸を前記対称軸
とすることにより行うことを特徴とする請求項1から5
のいずれか1項記載の画像判別方法。 - 【請求項7】 前記顔画像候補の特徴部分に、顔の輪
郭候補および/または口領域候補を含むことを特徴とす
る請求項1から6のいずれか1項記載の画像判別方法。 - 【請求項8】 前記顔の輪郭候補の検出を、 前記顔画像候補から前記対称軸を基準として該画像に含
まれる輪郭成分を検出し、 該検出された輪郭成分と予めテンプレートとして学習さ
れた複数の方向を向いた顔の輪郭とを比較し、 該テンプレートとして学習された顔の輪郭の中に前記検
出された輪郭成分に相当するものがあるか否かを検出す
ることにより行うことを特徴とする請求項7記載の画像
判別方法。 - 【請求項9】 前記顔の輪郭の学習を、 ニューラルネットワークの多数の細胞に、上、下、左、
右および正面の5つの方向を向いた顔の輪郭データを入
力し、 該入力した輪郭データを最適マッチングしている細胞に
学習させるとともに、該細胞に隣接する所定範囲の隣接
領域内に存在する隣接細胞について、前記入力した輪郭
データと、前記多数の細胞のうち前記入力した輪郭デー
タと最適マッチングしている細胞以外の細胞に学習され
ている前記入力した輪郭データ以外の輪郭データとの間
で空間的補間を行い、多数の方向を向いた輪郭データを
自己組織化学習させることにより行うことを特徴とする
請求項8記載の画像判別方法。 - 【請求項10】 前記顔の輪郭データを、複数の顔の
輪郭データを平均することにより求めることを特徴とす
る請求項9記載の画像判別方法。 - 【請求項11】 前記自己組織化学習を、 前記顔の輪郭データの両目の中心を極として極座標変換
して作成された、正面を向いた顔の輪郭データと、 該極を上下左右に移動させて極座標変換することにより
作成された、上下左右を向いた顔の輪郭データを前記ニ
ューラルネットワークに入力することにより行い、 前記予めテンプレートとして学習された顔の輪郭に、前
記顔画像候補の輪郭成分に相当するものが含まれるか否
かの検出を、前記顔画像候補の輪郭成分を前記対称軸を
基準として、前記両目候補の中心点を極として極座標変
換し、 前記自己組織化学習された結果に該極座標変換された前
記顔画像候補の輪郭成分が含まれているか否かを検出す
ることにより行うことを特徴とする請求項9または10
記載の画像判別方法。 - 【請求項12】 前記口領域候補の検出を、 前記顔画像候補をYIQ基底に変換し、 該YIQ基底に変換された顔画像候補のうちのQ成分画
像において最も口の形状に適合し易い成分を、前記対称
軸および/または前記顔画像候補の輪郭成分を基準とす
る所定範囲内において検出することにより行うことを特
徴とする請求項7から11のいずれか1項記載の画像判
別方法。 - 【請求項13】 前記口領域候補の検出を、 前記両目候補の中心を極として極座標変換した前記Q成
分画像とDOG関数に基づいて算出された口領域検出マ
スクとのコンボリューションにより行うことを特徴とす
る請求項12記載の画像判別方法。 - 【請求項14】 前記顔画像候補が顔画像であるか否
かの判別を、前記両目候補の中心の反応値、前記対称軸
の相関および前記特徴部分に関するデータ値をy
i (i=1〜n,nは情報の数,以下同様)、該各デ
ータ値の重要度に応じた重みをwi (i=1〜n)と
し、 【数1】 但し、th:しきい値 なる演算を行い、u>0ならば顔画像であり、u≦0な
らば顔画像でないと判断することにより行うことを特徴
とする請求項1から13のいずれか1項記載の顔画像判
別方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP09932593A JP3264460B2 (ja) | 1993-04-26 | 1993-04-26 | 画像判別方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP09932593A JP3264460B2 (ja) | 1993-04-26 | 1993-04-26 | 画像判別方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH06309457A JPH06309457A (ja) | 1994-11-04 |
JP3264460B2 true JP3264460B2 (ja) | 2002-03-11 |
Family
ID=14244488
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP09932593A Expired - Fee Related JP3264460B2 (ja) | 1993-04-26 | 1993-04-26 | 画像判別方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3264460B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2768308B2 (ja) * | 1995-05-23 | 1998-06-25 | 日本電気株式会社 | パターン認識を用いた顔画像の特徴点抽出方法 |
JP2005084980A (ja) * | 2003-09-09 | 2005-03-31 | Fuji Photo Film Co Ltd | 顔画像付きカード用データ生成装置および方法並びにプログラム |
JP2007272435A (ja) * | 2006-03-30 | 2007-10-18 | Univ Of Electro-Communications | 顔特徴抽出装置及び顔特徴抽出方法 |
JP4659691B2 (ja) * | 2006-07-03 | 2011-03-30 | 株式会社日立製作所 | 特徴パターン検出装置 |
US11074479B2 (en) | 2019-03-28 | 2021-07-27 | International Business Machines Corporation | Learning of detection model using loss function |
US20240037994A1 (en) | 2021-03-30 | 2024-02-01 | Nec Corporation | Information processing apparatus, information processing method, and recording medium |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH067388B2 (ja) * | 1982-07-13 | 1994-01-26 | ソニー株式会社 | 人相データ測定装置 |
JPH0644282B2 (ja) * | 1985-10-02 | 1994-06-08 | 富士通株式会社 | 物体検索方式 |
JPH0782548B2 (ja) * | 1987-07-03 | 1995-09-06 | 日産自動車株式会社 | 円図形の中心検出方法 |
JP2986185B2 (ja) * | 1990-08-10 | 1999-12-06 | 新日本製鐵株式会社 | 線図形の線幅分類方式 |
JP2872776B2 (ja) * | 1990-08-20 | 1999-03-24 | 日本電信電話株式会社 | 顔画像照合装置 |
JPH04275685A (ja) * | 1991-03-01 | 1992-10-01 | Nippon Telegr & Teleph Corp <Ntt> | 画像領域識別処理方法 |
JPH05282457A (ja) * | 1991-09-12 | 1993-10-29 | Fuji Photo Film Co Ltd | 被写体認識方法 |
JP3008234B2 (ja) * | 1991-09-12 | 2000-02-14 | 富士写真フイルム株式会社 | 被写体抽出装置 |
JP3008235B2 (ja) * | 1991-09-12 | 2000-02-14 | 富士写真フイルム株式会社 | 被写体抽出装置 |
JP3008236B2 (ja) * | 1991-09-12 | 2000-02-14 | 富士写真フイルム株式会社 | 輪郭線場の傾斜検出装置 |
JP3226641B2 (ja) * | 1992-02-04 | 2001-11-05 | 富士写真フイルム株式会社 | パターン学習方法 |
JPH05266172A (ja) * | 1992-03-18 | 1993-10-15 | Sony Corp | 固体判別方法 |
-
1993
- 1993-04-26 JP JP09932593A patent/JP3264460B2/ja not_active Expired - Fee Related
Non-Patent Citations (1)
Title |
---|
佐々木努外3名,正面顔画像の自動識別法の検討,電子情報通信学会技術研究報告,日本,社団法人電子情報通信学会,1991年9月20日,Vol.91,No.220,pp.1−8 |
Also Published As
Publication number | Publication date |
---|---|
JPH06309457A (ja) | 1994-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103632132B (zh) | 一种基于肤色分割和模板匹配的人脸检测与识别方法 | |
CA2414743C (en) | System and method for automatically detecting neutral expressionless faces in digital images | |
Sun et al. | Face detection based on color and local symmetry information | |
CN114187665B (zh) | 一种基于人体骨架热图的多人步态识别方法 | |
US20070258627A1 (en) | Face recognition system and method | |
JPH0877334A (ja) | 顔画像の特徴点自動抽出方法 | |
CN112801015A (zh) | 一种基于注意力机制的多模态人脸识别方法 | |
CN110598574A (zh) | 智能人脸监控识别方法及*** | |
Gangonda et al. | VGHN: variations aware geometric moments and histogram features normalization for robust uncontrolled face recognition | |
JP3264460B2 (ja) | 画像判別方法 | |
CN114333023A (zh) | 基于角度估计的人脸步态多模态加权融合身份识别方法与*** | |
Hiremath et al. | Detection of multiple faces in an image using skin color information and lines-of-separability face model | |
Triesch et al. | Object recognition with multiple feature types | |
Chowdhury et al. | Fuzzy rule based approach for face and facial feature extraction in biometric authentication | |
Gottumukkal et al. | Real time face detection from color video stream based on PCA method | |
Karungaru et al. | Face recognition in colour images using neural networks and genetic algorithms | |
Prinosil et al. | Automatic hair color de-identification | |
Niazi et al. | Hybrid face detection in color images | |
CN114708654A (zh) | 一种将骨骼信息映射为图像的人物识别方法 | |
CN112163487A (zh) | 一种基于改进时空步态能量图的步态身份识别方法 | |
Shukla et al. | Comparison of Face Recognition algorithms & its subsequent impact on side face | |
JPH07234856A (ja) | パターン判別方法 | |
Shivashankar et al. | Emotion sensing using facial recognition | |
KR20020092522A (ko) | 손가락 마디 지문을 이용한 개인 식별 방법 및 그 장치 | |
Castro | Color Image Classification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20010821 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20011211 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071228 Year of fee payment: 6 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071228 Year of fee payment: 6 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071228 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081228 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081228 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091228 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101228 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101228 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111228 Year of fee payment: 10 |
|
LAPS | Cancellation because of no payment of annual fees |