JP4683236B2 - 目の位置の検出方法 - Google Patents

Description

本発明は、顔画像を含む画像から目の位置を自動的に検出する方法および検出システムに関する。

顔画像における目の位置は、被験者の顔画像に髪型のモデル画像を重ねて髪型シミュレーション画像を形成する場合や、被験者の顔画像に唇、眉等の化粧画像を重ねてメイクアップシミュレーション画像を形成する場合に、画像の大きさの調整や位置合わせのために検出されている。また、目の位置の検出や顔領域の位置の検出は、顔画像の目隠し処理、顔画像のフレーム処理、個人認証用画像の作成等においてもなされている。

従来、顔画像から目の位置を検出する方法としては、肌色領域の抽出により顔を検出し、さらにパターンマッチング等により目を検出する方法等が使用されている（非特許文献１、特許文献１）。

2005年第５回ＬＳＩ ＩＰデザインアワード受賞論文「高速・高信頼な顔検出を可能とする顔候補点検出法」（日経ＢＰ社） 特開２００４−９４９１７号公報

しかしながら、肌色領域の抽出は照明環境の影響を受ける。そのため、種々の照明環境で撮られた不特定多数の顔画像を対象とする場合には信頼性が問題となる。また、パターンマッチングの手法は、計算量が莫大となるという問題がある。

これに対し、本発明は、顔画像を含む画像から目の位置や顔領域の位置を、簡便な手法で自動的に信頼性高く検出できるようにすることを目的とする。

本発明者らは、(1)元画像から水平・垂直等の交差する２方向のぼかし画像を作成し、そのぼかし画像のぼかし方向のエッジを算出し、さらにそれらの交点を求め、一方、(2)顔画像を含む元画像の階調をつぶすことにより、好ましくは、髪領域と顔領域は判別できるが顔の造作は判別できない画像を得、(3)この階調をつぶした画像上でぼかし方向のエッジの交点を考えると、この交点を頂点とする矩形領域であって、その左右及び上に隣接する領域に比して明度が高い領域に顔画像が存在する場合が多く、したがって、かかる矩形領域を顔領域候補とすることができること、(4)個々の顔領域候補について、明度が変化した複数の画像を作成すると、高明度側のフェードアウトした画像から低明度側の画像に順次フェードインするに伴い、最初に現れる画素が瞳領域のものであること、(5)この場合、瞳領域の画素は対になって現れ、これにより目の位置候補を定められること、そして、(6)対をなして現れた目の位置候補の全ての目の位置検出用画像にわたる出現度数の集積結果から目の位置候補を特定できることを見出した。

即ち、顔画像を含む元画像から目の位置を検出する方法であって、
Ａ．(A1)元画像から交差する２方向にぼかしたぼかし画像を作成し、該ぼかし画像におけるぼかし方向のエッジの交点の位置を求めると共に、
(A2)元画像の階調をつぶした顔領域検出用画像を作成し、
(A3)顔領域検出用画像において、ぼかし方向のエッジの交点を一つの頂点とする矩形領域であって、その左右及び上の隣接領域に比して明度が高い領域を顔領域候補として検出する工程、
Ｂ．(B1)顔領域候補ごとに、明度が変化した複数の目の位置検出用画像を作成し、
(B2)目の位置検出用画像が高明度でフェードアウトした状態から低明度へフェードインするのに伴い、目の位置検出用画像に漸次現れる画素の固まり領域を検出し、
(B3)検出した画素の固まり領域のうち対となって現れたものを目の位置候補として選択し、
(B4)各目の位置候補の全ての目の位置検出用画像にわたる出現度数に基づいて目の位置候補を目の位置として特定する工程、
を有する目の位置の検出方法を提供する。

また、上述の目の位置の検出方法で目の位置を特定した後、その目の位置に対応する顔領域候補に基づいて顔領域を特定する顔領域の位置の検出方法を提供する。

さらに、本発明は、顔画像を含む元画像の取得手段、及び演算手段を備えた目の位置の検出システムであって、演算手段が、
元画像から交差する２方向にぼかしたぼかし画像を作成する機能、該ぼかし画像のぼかし方向のエッジを検出し、それらの交点の位置を求める機能、元画像の階調をつぶした顔領域検出用画像を作成する機能、顔領域検出用画像において、ぼかし方向のエッジの交点を一つの頂点とする矩形領域であって、その左右及び上の隣接領域に比して明度が高い領域を顔領域候補として検出する機能、顔領域候補ごとに、目の位置検出用画像として明度が変化した複数の画像を作成する機能、その画像が高明度でフェードアウトした状態から低明度へフェードインするのに伴い、目の位置検出用画像に漸次現れる画素の固まり領域を検出する機能、検出した画素の固まり領域のうち対となって現れたものを目の位置候補として選択する機能、及び各目の位置候補の全ての目の位置検出用画像にわたる出現度数に基づいて目の位置を特定する機能を備えている目の位置の検出システムを提供する。

また、本発明は、顔画像を含む元画像の取得手段及び演算手段を備えた顔領域の位置の検出システムであって、その演算手段が、上述の目の位置の検出システムの演算装置の機能に加えて、顔領域候補のうち目の位置が特定されたものを顔領域として特定する機能を有する顔領域の位置の検出システムを提供する。

本発明の方法あるいはシステムによれば、顔画像を含む元画像において、顔画像が存在しそうな顔領域候補を自動的に検出し、その顔領域候補毎に、明度を変化させた画像を複数形成して目の位置を特定するので、照明環境、被験者の肌色、被験者の瞳の色、顔画像における顔の向き等にかかわらず、元画像に含まれる目の位置や、その目の位置に対応する顔領域を自動的に信頼性高く短時間で検出することができる。

さらに、本発明の方法あるいはシステムのうち、目の位置の検出方法あるいはシステムによれば、目の位置を基準にして種々のヘアスタイル画像を任意の顔画像にフィッティングさせる髪型シミュレーション画像の形成や、目の位置を基準にして化粧後の顔の部分画像を任意の顔画像にフィッティングさせる化粧シミュレーション画像の形成等のように、目の位置を基準にして複数の画像情報をフィッティングさせることによりシミュレーション画像を形成する場合に、自然さのあるシミュレーション画像を短時間で形成することが可能となる。

また、個人情報保護のための目隠し処理のように、目及びその近傍領域を塗りつぶしたり、モザイクをかけたり、さらには、顔領域全体にモザイクをかける等の画像処理を行う場合にも、本発明の方法あるいはシステムを好適に用いることができる。

以下、図面を参照しつつ本発明を詳細に説明する。

図１は、顔画像を含む元画像において、個々の顔画像の目の位置を検出する本発明の目の位置の検出方法、及び、目の位置の検出の後、顔領域の位置を検出する本発明の顔領域の位置の検出方法の一実施例を示す流れ図であり、図２は、これらの方法を実施する目の位置及び顔領域の位置の検出システム１０のブロック図である。

このシステム１０は、撮像装置１及びパソコン本体２からなっており、パソコン本体２には、ディスプレイ３、イメージスキャナ４、プリンタ５等が接続されている。

撮像装置１は、顔画像を含む元画像の取得手段として設けられており、市販のデジタルカメラを使用することができる。

パソコン本体２は、演算手段として設けられており、概略、カラー画像のグレースケール化、階調の変更、明度補正、画像サイズの変更、全体的ぼかし、水平、垂直等の所定方向のぼかし、エッジ抽出、画像の重ね合わせ、図形の拡大・縮小機能等の画像処理機能や、これらを組み合わせて後述するように所定のフェードイン割合のフェードイン画像を作成する機能、明度の変化に伴ってコントラストを変化させる機能（例えば、明度を高くするにしたがいコントラストを下げ、また、明度を低くするにしたがいコントラストをあげる機能）等を備えている。これらの個々の画像処理機能は、例えば、アドビシステム社製フォトショップ等の市販のイメージ処理ソフトをパソコン本体２に搭載することにより得ることができる。

また、このパソコン本体２は、明度の異なる複数の画像を明度の低い又は高い順にリスト番号を付けて管理する機能、画像上で所定領域の明度を他の領域の明度と対比し、所定の抽出条件の下に選択する機能等を有しており、より具体的には、元画像から、交差する２方向にぼかしたぼかし画像として水平・垂直ぼかし画像を作成し、その水平・垂直ぼかし画像の水平エッジと垂直エッジを検出し、その交点の位置を求める機能、元画像の階調をつぶした目の位置検出対象領域設定用画像を作成する機能、目の位置検出対象領域設定用画像において、前記水平エッジと垂直エッジの交点を一つの頂点とする矩形領域を設定する機能、矩形領域のうち、左右及び上の隣接領域に比して明度が高い領域を顔領域候補として検出する機能、顔領域候補ごとに、目の位置検出用画像として明度が変化した複数の画像を作成する機能、その画像が高明度でフェードアウトした状態から低明度へフェードインするのに伴い、目の位置検出用画像に漸次現れる画素の固まり領域を検出する機能、検出した画素の固まり領域のうち対となって現れたものを目の位置候補として選択する機能、及び各目の位置候補の全ての目の位置検出用画像にわたる出現度数に基づいて目の位置を特定する機能等を有している。

このシステム１０を用いた目の位置の検出方法は、図１に示すように、概略、
Ａ．顔画像を含む元画像から顔領域候補を検出する工程、
Ｂ．顔領域候補ごとに目の位置候補を検出し、それを特定する工程
の２つの工程からなる。

工程Ａでは、まず、目の位置の検出対象とする顔画像を有する元画像をパソコン本体２に取得する。元画像は、例えば、撮像装置１で顔画像を含む写真を撮り、それをパソコン本体２に取り込ませてもよく、イメージスキャナ４を用いて顔画像を含む写真を読み取ることによってもよく、インターネット等の通信回線を利用してそのような画像を取得してもよい。

なお、元画像としては、１つの元画像中に含まれる顔画像の数は、単数でも複数でもよいが、本発明は複数の顔画像のとき、更に複数の顔画像のサイズが異なるときに特に効果を発揮するので、複数の方が好ましい。

次に、必要に応じて、元画像にグレースケール化、サイズ調整、ぼかし、明度補正等の前処理を行う。

このうち、グレースケール化は、本発明の目の位置の検出方法では、カラー情報が不要であるため、取得した元画像がカラー画像の場合に、後の処理量を低減させるために行う。

グレースケール化の方法としては、各画素において、(1)Ｒ、Ｇ、Ｂの各値の最大値と最小値の平均を利用する方法、(2)Ｒ、Ｇ、Ｂの各値の平均を利用する方法、(3)Ｒ、Ｇ、Ｂの各値に所定の重み付け係数（ＮＴＳＣ等）を掛けた後、それらの平均をとる方法等を使用することができる。例えば、(3)の方法においては、次式
Ｙ（出力輝度）＝0.298912×Ｒ＋0.568811×Ｇ＋0.114478×Ｂ
を利用すればよい。

サイズ調整は、元画像を目の位置の検出処理に適した画像サイズに調整するもので、具体的には、検出精度の点から長辺を３２０ピクセル以上とすることが好ましく、汎用パソコンの演算速度の点から長辺を４８０以下のピクセル程度に画面サイズを変更することが好ましい。

ぼかし処理は、元画像中の顔画像がシャープであると、後の画像処理で細かいエッジが多数現れ、目の位置候補の検出のノイズとなるので、必要に応じて行う。この場合、ぼかしの程度は、弱〜中とすることが好ましく、例えば、各画素について、注目点の画素とその周囲の２５画素に対して１〜５の重み付ぼかしフィルタを使用して輝度の平均値を出力するぼかし処理を行う。このぼかし処理は、必要に応じて複数回行っても良い。

明度補正は、顔領域検出用画像の作成に際し、元画像が極端に明るかったり暗かったりする場合に行うことが好ましい。明度補正の方法としては、例えば、図３Ａ（ａ）のように明るすぎる元画像２０について、あるいは図３Ｂ（ａ）のように暗すぎる元画像２０について、それぞれ元画像２０の明度ヒストグラムを作成し、最大カウント数の１．５％〜１５％、好ましくは３％〜８％以下のカウント数である画素値のカウント数をゼロとした後、カウント数がゼロではない画素値のうち最大の画素値Ｘmaxおよび最小の画素値Ｘminを求める。次に、図３Ａ（ｂ）、図３Ｂ（ｂ）のように、元画像の画素値Ｘiを次式に代入して明度補正後の画素値とすることにより元画像の明度補正を行う。

但し、Ｘi＜Ｘminの場合、Ｘi＝Ｘminとし、
Ｘi＞Ｘmaxの場合、Ｘi＝Ｘmaxとする。

明度補正の方法としては前述の方法に限らず、種々の方法が適用可能である。例えば、予め任意の画像を基準画像とし、その平均明度を測定すると共に、水平・垂直ぼかし画像の作成及び顔領域検出用画像の作成のための適正明度変化量を決定しておき、基準画像の平均明度に対する元画像の平均明度の比率を算出し、基準画像における適正明度変化量に平均明度の比率を乗じた量だけ元画像の明度を変化させて元画像の明度を補正する。

ここで、基準画像における適正明度変化量の決定は次のように行う。まず、基準画像の平均明度を明暗両方向に１階調ずつ変化させた画像を作成し、それぞれの画像に対して後述する目の位置の検出対象領域の検出を行い、その検出結果が実際に顔画像の存在する領域と整合しているかを目視で判断し、その検出の成功率を計算する。そしてその成功率が最大になる画像の平均明度を求め、これと基準画像の平均明度との差を適正明度変化量とする。

基準画像としては、５〜２０人の顔画像が写っており、個々の顔画像の最大サイズと最小サイズの比が、顔の長さで１〜３倍以内であるものが好ましい。目の位置の検出対象領域の設定は次に示す方法によればよい。

図４は、こうして元画像２０に前処理として、グレースケール化、サイズ調整、ぼかし及び明度補正をしたときの、前処理前の元画像２０と前処理後のぼかし画像２１を示している。

前処理をした後は、図１の工程(A1)で、交差する２方向にぼかしたぼかし画像として、図５（ｃ）のような水平・垂直ぼかし画像２４を作成する。この水平・垂直ぼかし画像２４は、同図（ａ）のように作成した水平ぼかし画像２２と同図（ｂ）のように作成した垂直ぼかし画像２３を合成したものである。なお、本発明において、このぼかし画像におけるぼかしの２方向は水平方向と垂直方向に限らず、例えば図７に示すように斜め２方向としてもよい。この場合、２方向の交差角は、鋭角側の角θを６０°以上とすることが好ましい。ただし、その後の演算を簡単にするため、交差する２方向は水平方向と垂直方向とし、図５（ｃ）に示したような水平・垂直ぼかし画像２４を作成することが好ましい。

ぼかし画像におけるぼかしの程度は、例えば、水平ぼかし画像２２では、元画像２０に対し、１画素ごとに、該画素を中心とする水平方向８０〜１２０ピクセルの平均画素値を求め、その画素値を当該画素の画素値とするという操作を全画素について行うことにより得ることができ、同様に、垂直ぼかし画像２３では、元画像２０に対して、１画素ごとに、該画素を中心とする垂直方向８０〜１２０ピクセルの平均画素値を求め、その画素値を当該画素の画素値とするという操作を全画素について行うことにより得ることができる。

この他、水平ぼかし画像２２や垂直ぼかし画像２３の作成方法としては、まず、水平ぼかし画像と垂直ぼかし画像を作成し、次にそれらを合成するという２段階の手法によらず、各画素について、該画素を中心とする水平方向８０〜１２０ピクセルと垂直方向８０〜１２０ピクセルの平均画素値を同時に演算する方法によってもよい。

次に、図６に示す水平・垂直エッジ画像２５のように、水平・垂直ぼかし画像２４における水平エッジと垂直エッジを求め、それらのエッジの交点の位置を求める。水平エッジや垂直エッジの検出には、ぼかし機能も備えたエッジフィルタを使用することが好ましく、例えば、次式の水平エッジフィルタや、垂直エッジフィルタを使用することができる。

一方、図１の工程(A2)で、元画像の階調をつぶした顔領域検出用画像を作成する。

顔領域検出用画像としては、図８Ａに示すように、元画像２０の明度を変化させることにより、髪領域と顔領域は判別できるが顔の造作は判別できない状態、即ち、髪領域と顔領域はおおよそ判別できるが、顔内部は全く現れていないか、あるいは目・鼻・口はわかるが誰の顔だか判別しがたい状態に高階調側を多くつぶした画像を作成することが好ましい。

顔領域検出用画像２６の作成方法は、元画像２０の撮影条件にもよるが、基本的には元画像２０から、フェードイン割合として２５〜３５％の画像を作成することが好ましい。

ここで、所定のフェードイン割合の画像は、例えば、元画像が２５６階調の場合、以下の通りに作成することができる。

まず、フェードイン０％の画像は、全ての画素の画素値を一律２５５とする。

また、フェードインｘ％の画像は、元画像において画素値が２．５５ｘ未満の画素は元画像の画素値を有し、画素値が２．５５ｘ以上の画素（但し、ｘ＞０）は一律画素値２５５を有するとする。

例えば、フェードイン１０％の画像は、元画像において、画素値が２５．５（＝255×0.1）未満の画素はその画素値のまま、画素値が２５．５以上の画素は画素値を一律２５５にする。

フェードイン２０％の画像は、元画像において、画素値が５１．０（＝255×0.2）未満の画素はその画素値のまま、元画像の画素値が５１．０以上の画素は画素値を一律２５５にする。

フェードイン１００％の画像は、全ての画素の画素値を元画像の画素値のままとする。

なお、顔領域検出用画像２６は、図８Ｂに示すように、階調を反転させたネガ画像として形成し、以降の画像処理を、階調を反転させて行ってもよい。

また、顔領域検出用画像２６の作成方法は、所定のフェードイン割合の画像を作成する方法に限らず、種々の２値化処理による方法が適用可能である。例えば、元画像２０の明度ヒストグラムの中心明度値を閾値とする２値化処理など、元画像の特性に基づき閾値を決める種々の２値化処理（一般的に可変閾値処理と呼ばれている）により顔領域検出用画像２６を作成することができる。

次に、図１の工程(A3)に示すように、顔領域検出用画像２６において、顔領域であることが期待される顔領域候補を検出する。この顔領域候補としては、顔領域検出用画像２６と、水平・垂直ぼかし画像の水平エッジと垂直エッジの交点を一つの頂点とする矩形領域であって、その左右及び上の隣接領域に比して明度が高い領域を検出する。これは、グレースケール画像では、肌や髪の色が異なる人種を問わず、また、頭髪の有無も問わず、顔領域が、頭、帽子、衣服、その他の顔領域の周囲に比して明るいという本発明者の知見に基づくものである。

顔領域候補の具体的な検出方法としては、例えば、まず、図９に示すように、顔領域検出用画像２６上に水平・垂直ぼかし画像の水平・垂直エッジ画像２５を重ね、水平エッジと垂直エッジの各交点Ｐにおいて、その交点Ｐを一つの頂点とする微小な正方形３０を想定し、交点Ｐを基点（即ち、相似形に拡大する場合の拡大中心）として正方形を次の(ａ)又は(ｂ)の条件が満たされるまで右下方向、左下方向、右上方向及び左上方向にそれぞれ拡大する。

(ａ)正方形内で画素値２５５のピクセルの割合が６０％以上となった後に６０％未満になったとき
(ｂ)正方形の拡大方向の線幅１ピクセルの縦辺又は下辺をなすピクセルにおいて、画素値２５４以下のピクセルの割合が、１／３以下になった後に１／３以上になったとき

次に、図１０に示すように、拡大を停止した時点の正方形３１の左右及び上に隣接する領域で、それぞれ正方形の一辺を長辺とし、正方形の一辺の１／３〜１／２の長さを短辺とする長方形３２ａ、３２ｂ、３２ｃを想定し、これらの長方形３２ａ、３２ｂ、３２ｃについて、次の(ｐ)又は(ｑ)の条件が満たされる場合に、その正方形３１を顔領域候補とする。なお、正方形３１が画像領域検出用画像２６の隅に位置するために上述の３つの長方形が全ては描けない場合でも、描ける範囲で長方形を描き、次の(ｐ)又は(ｑ)の条件を判断する。

(p)長方形３２ａ、３２ｂ、３２ｃの全ピクセルの１０％以上、好ましくは２０％以上が画素値２５４以下である
(q)長方形３２ａ、３２ｂ、３２ｃの長辺のうち、正方形３１側の長辺の長さの１／３以上、好ましくは２／５以上のピクセルが画素値２５４以下である

この顔領域候補の検出方法は、交点Ｐが、額と髪の境に生じる水平エッジと、顔とその左右の髪領域の境に生じる垂直エッジとの交点であり、額の角隅部から斜め外側上方の頭髪領域内に入った点となるか、あるいは、耳たぶの下あたりの点となる場合が多いことから、交点Ｐから微小な正方形３０を右下方向、左下方向、右上方向又は左上方向に拡大すると、その拡大した正方形３１が顔領域である場合には、その正方形３１は、それに近接する領域よりも明るくなり、上述の条件を満たすことによる。

なお、交点Ｐを基点にして拡大する図形は、正方形に限らず、長方形等であってもよく、拡大を停止したときの図形と、明度を対比する近傍領域も、上述のような３つの長方形３２ａ、３２ｂ、３２ｃに限らず、例えば、正方形３１をその左右及び上から囲むコ字状の領域を想定してもよい。顔領域候補の検索工程を、演算手段により完全に自動化できるようにする限り、適宜設定することができる。

こうして、図１１に示すように、顔領域検出用画像２６中に、複数の顔領域候補３３を検出することができる。なお、同図に示したように、顔領域候補３３の複数が一つの領域で重なっていてもよい。

顔領域候補３３を検出した後は、個々の顔領域候補３３ごとに目の位置を検出する工程Ｂを行う。

工程Ｂでは、まず、工程(B1)において、目の位置候補の検出のため、顔領域候補ごとに、目の位置検出用画像として、明度が変化した複数の目の位置検出用画像を形成する。より具体的には、例えば図１２に示すように、前述した所定のフェードイン割合の画像の形成方法に従ってフェードイン０％から漸次明度を低下させたフェードイン画像を、１０〜８０％まで１％刻みに７０階層程度作成する。

なお、このフェードイン画像の階層の作成に際しては、検出精度を保ちつつ処理速度を高くするため、予め、顔領域候補３３のうち、一辺の大きさが８０〜１２０ピクセルより大きなものは、一辺の大きさが８０〜１２０ピクセルとなるように、各顔領域候補３３の画像サイズを調整することが好ましく、また、ノイズを低下させるため、必要に応じてぼかし処理を行うことが好ましい。

また、フェードイン画像の形成に際しては、明度を上げるにつれてコントラストを下げ、明度を下げるにつれてコントラストをあげると、フェードイン画像中に目の部分がより鮮明に現れるので好ましい。

この他、目の位置検出用画像として、例えば、γ値を漸次変化させることにより図１２に示すように明度が変化した画像を複数形成してもよく、これ以外にも種々の一般的方法を用いることが可能である。

図１２からわかるように、検出対象領域の明度をあげて完全にフェードアウトさせた画像から明度を低下させてフェードイン画像の階層を形成していくと、通常、まず最初に瞳に画素の固まりが検出され、次に鼻や口に画素の固まりが検出される。また、瞳領域の画素の固まりは左右一対として現れる。

そこで、工程(B2)で、顔領域候補３３から形成した目の位置検出用画像を高明度でフェードアウトした状態から低明度へフェードインするのに伴い、目の位置検出用画像に漸次現れる画素の固まり領域を検出する。そして、工程(B3)で目の位置候補として、左右一対の画素の固まりを選択する。階層によっては、瞳の他に口元、眉、額等の領域にも、画素の固まり領域が対になって現れるが、この段階では、これらの画素の固まり領域も目の位置候補として選択する。

この場合、対をなしている画素の固まり領域のうち、目の位置候補として選択するものの条件として、予め次の(1)、(2)を設定しておくことが好ましい。
(1)左右一対の画素の固まり領域の横方向の距離が一定の範囲にあること
(2)左右一対の画素の固まり領域の縦方向の距離が一定の範囲にあること

図１３は、顔領域候補３３のある階層のフェードイン画像において、顔領域中に現れた画素の固まり領域を矩形で示し、さらにこれらのうち対をなしているものを直線で結んだものである。

次に、工程(B4)で各目の位置候補の全ての目の位置検出用画像にわたる出現度数に基づいて目の位置候補を目の位置として特定する。より具体的には、図１４に示すように、各フェードイン画像毎に現れた一対の目の位置候補を、目の位置検出用画像の全階層にわたって集積し、その出現度数をカウントし、このカウント数の多い順にランキングリストを作成する。このカウントでは、フェードアウトした顔画像から段階的に明度を下げていった場合に最初に現れ、最終段階まで現れ続ける瞳領域の目の位置候補が通常、最大カウント（ランキング第１位）となる。そこで、カウント値が２以下のものは目の位置候補から外し、また、原則的に最大カウントの目の位置候補の位置を目の位置候補として絞り込む。

ただし、次の(a)〜(c)の条件を全て満たした場合、あるいは(d)の条件を満たした場合には、カウント数が２番目に多かった目の位置候補の位置を目の位置として特定する。
(a)ランキング第２位の目の位置候補が、ランキング第１位の目の位置候補より上方にある場合
(b)ランキング第２位の目の位置候補の目と目の中心間距離が、ランキング第１位の目の位置候補の中心間距離より長い場合
(c)ランキング第２位の目の位置候補の左右の瞳にあたる領域が、共にランキング第１位の目候補の左右の瞳にあたる位置よりも外側にある場合
(d)ランキング第１位の目の位置候補とランキング第２位の目の位置候補の縦方向の距離が、目と眉の距離程度に離れ、ランキング第１位の目の位置候補がランキング第２位の目の位置候補よりも上にある場合

このうち、(a)〜(c)は、ランキング第１位がまれに口領域になることがあるのに対し、口の位置を目の位置であると誤判定しないためのものであり、(d)は、目の周りの眉等を目の位置であると誤判定しないためのものである。

以上により、図１５に示すように、個々の目の位置の検出対象領域において、目の位置
候補（より正確には瞳の位置）を正確に検出することが可能となる。

以上の目の位置候補の特定方法は、工程Ａで設定した全ての顔領域候補についてそれぞれ行う。また、いずれかの顔領域候補において、目の位置を特定できなかった場合には、その領域には目が存在しないとして扱う。

こうして個々の目の位置の検出対象領域で特定された目の位置を、最終的に図１６に示すように元画像の対応する位置に重ね、元画像における個々の顔画像の目の位置とすることが可能となる。

また、工程(B4)で目の位置を特定した後、工程(B5)でその目の位置に対応する顔領域候補に基づいて顔領域を特定することにより、元画像中の顔領域の位置も検出することができる。この場合、特定した目の位置に対応する顔領域候補の矩形領域をそのまま顔領域とする必要はなく、元画像において顔領域を特定する目的に応じて、検出した目の位置を含む多角形領域としてもよく、円形領域としてもよく、肌色領域としてもよい。ここで、顔領域の大きさは、検出した両目の間隔や顔領域候補の大きさ等に応じて、適宜設定しておくことができる。また、各顔領域候補において目の位置の検出に加え、フェードイン法を用いて口や鼻の位置も検出し（画像の認識・理解シンポジウム（MIRU2006），論文集CD-ROM，IS1-18「顔パーツ（髪・眉・目・鼻・口）検出の高精度化と実用化」，2006.7.19.発行）、少なくとも、目の他に鼻又は口が含まれる領域を顔領域としてもよい。

また、目の位置に対応する顔領域であって、大きさあるいは位置のずれているものが複数重なり合っている場合には、これらの和領域に基づいて顔領域を定めてもよい。例えば、元画像において顔領域のモザイク処理を目的とする場合には、本来の顔領域に確実にモザイク処理を施すため、和領域に基づくことが好ましい。

本発明の目の位置の検出方法及び顔領域の位置の検出方法は、複数顔画像において、目の位置の検出対象とする個々の被写体の肌の色、瞳の色、顔の向き、照明環境の変化によらず、精度よく、簡便な演算方法で、高い処理速度で目の位置を検出することができる。したがって、白人、黒人を問わず、複数顔画像から目の位置を検出することができる。

本発明により検出された目の位置は、髪型シミュレーション画像を形成する場合、化粧シミュレーション画像を形成する場合、顔画像の目隠し処理をする場合、顔画像のフレーム処理をする場合、個人認証用画像を作成する場合など、目の位置の検出が必要とされる種々の場面で利用することができる。

また、本発明により検出された顔領域の位置も、顔画像の目隠し処理をする場合、デジタルカメラ撮影時の顔色補正又は撮影画像の顔色補正をする場合、プリンタ印刷時の顔色補正をする場合等で利用することができる。

本発明の目の位置の検出方法及び顔領域の位置の検出方法の流れ図である。 目の位置及び顔領域の位置の検出システムのブロック図である。 明度補正の説明図である。 明度補正の説明図である。 前処理前の元画像と前処理後のぼかし画像である。 水平ぼかし画像、垂直ぼかし画像、水平・垂直ぼかし画像である。 水平・垂直ぼかし画像から検出した水平エッジと垂直エッジの画像である。 斜め２方向のぼかし画像である。 顔領域検出用画像（ポジ画像）である。 顔領域検出用画像（ネガ画像）である。 顔領域候補の検出のための、水平エッジと垂直エッジの交点を基点とする正方形の説明図である。 顔領域候補の検出条件の説明図である。 顔領域検出用画像中に顔領域候補を示した図である。 顔領域候補の明度を変化させた目の位置検出用画像である。 ある階層のフェードイン画像に、目の位置候補を示した図である。 ある階層の目の位置検出用画像において、全階層にわたる目の位置候補を集積して表示した図である。 特定した目の位置を顔領域候補に表示した図である。 検出した目の位置と顔領域の位置を元画像に重ねた図である。

符号の説明

１ 撮像装置
２ パソコン本体
３ ディスプレイ
４ イメージスキャナ
５ プリンタ
１０ 目及び顔領域の位置の検出システム
２０ 元画像
２１ 前処理後のぼかし画像
２２ 水平ぼかし画像
２３ 垂直ぼかし画像
２４ 水平・垂直ぼかし画像
２５ 水平・垂直エッジ画像
２６ 顔領域検出用画像
３０ 微小な正方形
３１ 拡大を停止した正方形
３２ａ、３２ｂ、３２ｃ 長方形
３３ 顔領域候補
Ｐ 水平・垂直ぼかし画像における水平エッジと垂直エッジの交点

Claims (9)

1. 顔画像を含む元画像から目の位置を検出する方法であって、
   Ａ．(A1)元画像から交差する２方向にぼかしたぼかし画像を作成し、該ぼかし画像におけるぼかし方向のエッジの交点の位置を求めると共に、
   (A2)元画像の階調をつぶした顔領域検出用画像を作成し、
   (A3)顔領域検出用画像において、ぼかし方向のエッジの交点を一つの頂点とする矩形領域であって、その左右及び上の隣接領域に比して明度が高い領域を、顔領域候補として検出する工程、
   Ｂ．(B1)顔領域候補ごとに、明度が変化した複数の目の位置検出用画像を作成し、
   (B2)目の位置検出用画像が高明度でフェードアウトした状態から低明度へ漸次明度低下するのに伴い、目の位置検出用画像に漸次現れる画素の固まり領域を検出し、
   (B3)検出した画素の固まり領域のうち対となって現れたものを目の位置候補として選択し、
   (B4)各目の位置候補の全ての目の位置検出用画像にわたる出現度数に基づいて目の位置候補を目の位置として特定する工程、
   を有する目の位置の検出方法。
2. 工程Ａ(A2)において、明度補正をした元画像から顔領域検出用画像を作成する請求項１記載の目の位置の検出方法。
3. 工程Ａ(A2)において、元画像が２５６階調の場合に、フェードイン０％の画像は全ての画素が画素値２５５を有し、フェードインｘ％の画像（但し、ｘ＞０）は、元画像において画素値が２．５５ｘ未満の画素は元画像の画素値を有し、画素値が２．５５ｘ以上の画素は一律画素値２５５を有するとしたときに、顔領域検出用画像として、ぼかし処理をした元画像に対してフェードイン２５〜３５％の画像を形成する請求項１又は２記載の目の位置の検出方法。
4. 交差する２方向を水平方向と垂直方向とする請求項１〜３のいずれかに記載の目の位置の検出方法。
5. 工程Ａ(A3)において、水平エッジと垂直エッジの交点を一つの頂点とする微小な正方形を想定し、その交点を基点として正方形を次の(ａ)又は(ｂ)の条件が満たされるまで右下方向、左下方向、右上方向及び左上方向にそれぞれ拡大し、
   (ａ)正方形内で画素値２５５のピクセルの割合が６０％以上となった後に６０％未満になったとき
   (ｂ)正方形の拡大方向の線幅１ピクセルの縦辺又は下辺において、画素値２５４以下のピクセルの割合が、１／３以下になった後に１／３以上になったとき
   
   拡大を停止した時点の正方形の左右及び上に隣接する領域で、それぞれ正方形の一辺を長辺とし、正方形の一辺の１／３〜１／２の長さを短辺とする長方形を想定し、これらの長方形について、次の(ｐ)又は(ｑ)の条件が満たされるものを顔領域候補とする請求項４記載の目の位置の検出方法。
   (p)全ピクセルの１０％以上が画素値２５４以下である
   (q)長方形の正方形側の長辺の長さの１／３以上のピクセルが画素値２５４以下である
6. 請求項１〜５のいずれかに記載の方法で目の位置を特定した後、その目の位置に対応する顔領域候補に基づいて顔領域を特定する顔領域の位置の検出方法。
7. 顔画像を含む元画像の取得手段、及び演算手段を備えた目の位置の検出システムであって、演算手段が、
   元画像全体をぼかす機能、元画像から交差する２方向にぼかしたぼかし画像を作成する機能、該ぼかし画像のぼかし方向のエッジを検出し、それらの交点の位置を求める機能、元画像の階調をつぶした顔領域検出用画像を作成する機能、顔領域検出用画像において、ぼかし方向のエッジの交点を一つの頂点とする矩形領域であって、その左右及び上の隣接領域に比して明度が高い領域を顔領域候補として検出する機能、顔領域候補ごとに、目の位置検出用画像として明度が変化した複数の画像を作成する機能、その画像が高明度でフェードアウトした状態から低明度へ漸次明度低下するのに伴い、目の位置検出用画像に漸次現れる画素の固まり領域を検出する機能、検出した画素の固まり領域のうち対となって現れたものを目の位置候補として選択する機能、及び各目の位置候補の全ての目の位置検出用画像にわたる出現度数に基づいて目の位置を特定する機能を備えている目の位置の検出システム。
8. 交差する２方向を水平方向と垂直方向とする請求項７記載の目の位置の検出システム。
9. 顔画像を含む元画像の取得手段、及び演算手段を備えた顔領域の位置の検出システムであって、演算手段が、請求項７又は８記載の演算手段の機能、及び顔領域候補のうち目の位置が特定されたものに基づいて顔領域を特定する機能を有する顔領域の位置の検出システム。