JP4530173B2 - 顔パーツの位置の検出方法及び検出システム - Google Patents

顔パーツの位置の検出方法及び検出システム Download PDF

Info

Publication number
JP4530173B2
JP4530173B2 JP2006113893A JP2006113893A JP4530173B2 JP 4530173 B2 JP4530173 B2 JP 4530173B2 JP 2006113893 A JP2006113893 A JP 2006113893A JP 2006113893 A JP2006113893 A JP 2006113893A JP 4530173 B2 JP4530173 B2 JP 4530173B2
Authority
JP
Japan
Prior art keywords
mouth
eyes
circumscribed rectangle
pixels
nose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006113893A
Other languages
English (en)
Other versions
JP2007286923A (ja
Inventor
浩 池田
圭一 森谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kao Corp
Original Assignee
Kao Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kao Corp filed Critical Kao Corp
Priority to JP2006113893A priority Critical patent/JP4530173B2/ja
Priority to US12/159,509 priority patent/US8131013B2/en
Priority to PCT/JP2006/325972 priority patent/WO2007074844A1/ja
Priority to EP06843356.4A priority patent/EP1970859B1/en
Priority to CN200680053540XA priority patent/CN101390128B/zh
Priority to TW095149419A priority patent/TWI378396B/zh
Publication of JP2007286923A publication Critical patent/JP2007286923A/ja
Application granted granted Critical
Publication of JP4530173B2 publication Critical patent/JP4530173B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、顔画像から目、口、鼻といった顔パーツの位置を自動的に検出する方法に関する。
顔画像における目、口、鼻といった顔パーツの位置の検出は、被験者の顔画像の目、口、鼻、その他の顔パーツの部分ないしそれらの周辺領域に色画像などを重ねてメイクアップシミュレーション画像を形成する場合に必要とされている。
この他、目の位置の検出は、被験者の顔画像に髪型のモデル画像を重ねて髪型シミュレーション画像を形成する場合に、画像の大きさの調整や位置合わせのためになされており、また、顔画像の目隠し処理、顔画像のフレーム処理、個人認証用画像の作成等においてもなされている。
従来、顔画像から目の位置を検出する方法としては、肌色領域の抽出により顔を検出し、さらにパターンマッチング等により目を検出する方法等が使用されている(非特許文献
1、特許文献1)。
2005年第5回LSI IPデザインアワード受賞論文「高速・高信頼な顔検出を可能とする顔候補点検出法」(日経BP社) 特開2004−94917
しかしながら、肌色領域の抽出は照明環境の影響を受ける。そのため、種々の照明環境で撮られた不特定多数の顔画像を対象とする場合には信頼性が問題となる。また、パターンマッチングの手法は、計算量が莫大となるという問題がある。
これに対し、本発明は、顔画像から目、口及び鼻の位置を、簡便な手法で信頼性高く自動的に検出できるようにすることを目的とする。
本発明者らは、顔画像から、明度が逐次変化した複数のグレースケール画像を作成し、高明度側のフェードアウトした画像から順次フェードインした画像を観察した場合に、フェードアウトした顔領域に最初に現れる画素が瞳領域のものであること、この場合、瞳領域の画素は対になって現れること、対をなして現れた画素領域の全グレースケール画像にわたる出現度数を集積すると、その集積結果に基づいて目の位置を特定できること、さらに、フェードアウトした画像から順次フェードインした画像を観察した場合に得られる画素の固まりのうち、目の位置と特定の関係にあるものを選択し、それら相互の位置関係について条件を付加することにより、口の位置や鼻の位置も特定できることを見出した。
即ち、本発明は、顔画像から、明度が逐次変化した複数のグレースケール画像を作成し、グレースケール画像が高明度でフェードアウトした状態から低明度へフェードインするのに伴い、フェードアウトした顔領域に漸次現れる画素の固まり領域を検出する方法(以下、フェードイン法という)を行い、検出された画素の固まり領域のうち、対となって現れたものを目の位置候補として選択し、各目の位置候補の全グレースケール画像にわたる出現度数に基づいて目の位置を特定し、
フェードイン法で検出された画素の固まり領域であって漸次現れる画素の成長が停止したものを、縦方向の位置が重なるものごとにグループ化し、
グループ化した画素の固まり領域ごとに外接矩形を形成し、
外接矩形のうち、両目との位置関係から予測される所定領域内にあるものを口の位置候補とし、
口の位置候補とした外接矩形のうち、横幅が最大のものを口の位置として特定する顔パーツの位置の検出方法を提供する。
また、本発明は、上述の方法で口の位置を特定した後、フェードイン法で検出された画素の固まり領域であって漸次現れる画素の成長が停止したものごとに外接矩形を形成し、
外接矩形のうち、両目の位置との位置関係から予測される所定領域内にあるものを鼻の位置候補とし、
鼻の位置候補とした外接矩形のうち、その下辺が、口の位置として特定した外接矩形の上辺よりも上方にあり、横幅が最大のものを鼻の位置として特定する顔パーツの位置の検出方法を提供する。
さらに、本発明は、顔画像の取得手段と演算手段を備えた、顔パーツの位置の検出システムであって、演算手段が、
顔画像から、明度が逐次変化した複数のグレースケール画像を作成する機能、
グレースケール画像が高明度でフェードアウトした状態から低明度へフェードインするのに伴い、フェードアウトした顔領域に漸次現れる画素の固まり領域を検出する機能、
検出した画素の固まり領域のうち、対となって現れたものを目の位置候補として選択する機能、
各目の位置候補の全グレースケール画像にわたる出現度数に基づいて目の位置を特定する機能、
検出した画素の固まり領域であって漸次現れる画素の成長が停止したもののうち、縦方向の位置が重なるものをグループ化する機能、
グループ化した画素の固まり領域ごとに外接矩形を形成する機能、
グループ化した画素の固まり領域の外接矩形のうち、両目との位置関係から予測される所定領域内にあるものを口の位置候補とする機能、
口の位置候補とした外接矩形のうち、横幅が最大のものを口の位置として選択する機能、
検出した画素の固まり領域であって漸次現れる画素の成長が停止したものごとに外接矩形を形成する機能、
検出した画素の固まり領域ごとの外接矩形のうち、両目との位置関係から予測される所定領域内にあるものを鼻の位置候補とする機能、
鼻の位置候補とした外接矩形のうち、その下辺が、口の位置として特定した外接矩形の上辺よりも上方にあり、横幅が最大のものを鼻の位置として特定する機能
を備えている検出システムを提供する。
本発明の顔パーツの位置の検出方法あるいは検出システムによれば、まず、フェードイン法で得られる画素の固まり領域を目の位置候補として検出し、目の位置候補の全グレースケール画像にわたる出現度数に基づいて目の位置を特定する。次に、フェードイン法で得られる画素の固まり領域であって漸次現れる画素の成長が停止したものをグループ化し、グループ化した画素の固まり領域の外接矩形を想定し、その外接矩形と目との位置関係及び外接矩形の横幅から口の位置を特定する。さらに、フェードイン法で得られる画素の固まり領域であって漸次現れる画素の成長が停止したものの外接矩形を想定し、その外接矩形と目との位置関係、口との位置関係及び外接矩形の横幅から鼻の位置を特定する。したがって、照明環境、被験者の肌色、被験者の瞳の色、顔画像における顔の向き等にかかわらず、目、口、鼻の位置を信頼性高く検出することができ、さらにパターンマッチングが不要であるため、高速の演算処理により目、口、鼻の位置を検出することができる。
よって、目の位置を基準に用いて種々のヘアスタイル画像を被験者の顔画像にフィッティングさせる髪型シミュレーション画像の形成や、化粧後の目、鼻、口といった顔パーツないしそれらの周辺領域の画像を被験者の顔画像にフィッティングさせるメイクアップシミュレーション画像の形成等において、自然さのあるシミュレーション画像を、演算装置を用いて自動的に簡便に形成することが可能となる。
以下、図面を参照しつつ本発明を詳細に説明する。
図1は、目、口、鼻の位置を順次検出する本発明の一実施例の方法の流れ図であり、図2は、この方法を実施する顔パーツの位置の検出システムのブロック図である。
このシステム10は、撮像装置1及びパソコン本体2からからなっており、パソコン本体2には、ディスプレイ3、イメージスキャナ4、プリンタ5等が接続されている。
撮像装置1は、被験者の顔画像の取得手段として設けられており、市販のデジタルカメラを使用することができる。
パソコン本体2は、明度が逐次変化した複数のグレースケール画像(例えば、256階調のグレースケール画像の階層において、画素値が2〜3階調ずつ変化したもの)を作成する画像処理機能を備えている。
グレースケール画像の作成手法としては、各画素において、(1)R、G、Bの各値の最大値と最小値の平均を利用する方法、(2)R、G、Bの各値の平均を利用する方法、(3)R、G、Bの各値に所定の重み付け係数(NTSC等)を掛けた後、それらの平均をとる方法等があるが、本発明においては、(3)の手法において、例えば次式
Y(明度)=0.298912×R+0.568811×G+0.114478×B
を利用し、階調を2〜3階調ずつ変化させることが好ましい。このようなグレースケール化の画像処理機能は、例えば、アドビシステム社製フォトショップ等の市販のイメージ処理ソフトをパソコン本体2に搭載することにより得ることができる。
また、パソコン本体2は、明度の変化に伴ってコントラストを変化させる機能(例えば、明度を高くするにしたがいコントラストを下げ、また、明度を低くするにしたがいコントラストをあげる機能)、グレースケール画像の階層を明度の低い又は高い順にリスト番号を付けて管理する機能、グレースケール画像の階層において、明度が高明度でフェードアウトした状態から低明度へフェードインするのに伴い、フェードアウトした顔領域に漸次現れる画素の固まり領域を検出する機能、検出した画素の固まり領域のうち対となって現れたものを目の位置候補として選択する機能、及び各目の位置候補の全階層のグレースケール画像にわたる出現度数をカウントし、その値に基づいて目の位置を特定する機能、各目の位置候補の全グレースケール画像にわたる出現度数に基づいて目の位置を特定する機能を有し、また、検出した画素の固まり領域であって漸次現れる画素の成長が停止したもののうち、縦方向の位置が重なるものをグループ化する機能、グループ化した画素の固まり領域ごとに外接矩形を形成する機能、グループ化した画素の固まり領域の外接矩形のうち、両目と特定の位置関係にあるものを口の位置候補とする機能、口の位置候補とした外接矩形のうち、横幅が最大のものを口の位置として特定する機能を有し、さらに、検出した画素の固まり領域ごとに外接矩形を形成する機能、検出した画素の固まり領域ごとの外接矩形のうち、両目と特定の位置関係にあるものを鼻の位置候補とする機能、鼻の位置候補とした外接矩形のうち、その下辺が、口の位置として特定した外接矩形の上辺よりも上方にあり、横幅が最大のものを鼻の位置として特定する機能などを有している。
このシステム10を用いた顔パーツの位置の検出方法では、まず、顔パーツの位置の検出対象とする顔画像、好ましくは正立の顔画像をパソコン本体2に取得する。顔画像は、例えば、撮像装置1で対象者の顔画像を撮り、それをパソコン本体2に取り込ませてもよく、イメージスキャナ4を用いて対象者の顔写真を読み取ることによってもよく、インターネット等の通信回線を利用して取得してもよい。
次に、必要に応じて、顔画像の画素数を顔パーツの位置の検出処理に適したサイズに調整する。より具体的には、顔画像の画素数が多すぎると検出処理に過度の負担が掛かり、少なすぎると顔パーツの位置の検出精度が低下するため、480×360〜320×240程度に画像サイズを変更する。
また、顔画像がシャープであると、後の画像処理で細かいエッジが多数現れ、目、口、鼻の各顔パーツの位置候補の検出のノイズとなるので、必要に応じて顔画像にぼかし処理を行う。この場合、ぼかしの程度は、弱〜中とすることが好ましく、例えば、各画素について、注目点の画素とその周囲の25画素に対して1〜5の重み付ぼかしフィルタを使用して輝度の平均値を出力するぼかし処理を行う。このぼかし処理は、必要に応じて複数回行っても良い。
さらに、本発明の顔パーツの位置の検出方法においては、顔画像にカラー情報は不要であるため、取得した画像がカラー画像の場合には、後の処理量を低減させるため、グレースケール画像に変換する。
次に、取得した顔画像において、目の位置を検出するが、その前に予め目の位置の検出対象領域を設定しておくことが好ましい。例えば、図3のように、グレースケール顔画像20に対し、目の位置の検出対象領域として矩形枠21を設定する。この矩形枠21の設定方法としては、顔画像20について、縦サイズの1/8をAとした場合に、縦3A、横4Aの領域を、その領域の中心Oが、顔画像20の中心座標と重なるように形成すればよく、ここで、顔画像20の中心座標は、顔画像20の横幅の中心線上で顔画像20の上辺から3.5Aの位置とすればよい。このように目の位置の検出対象領域として矩形枠21を設定する方法は、上半身が写っている任意の正立画像に対して適用することができる。
次に、図4に示すように、明度が逐次変化した複数のグレースケール画像を形成する。より具体的には、例えば256階調のグレースケール画像において、完全にフェードアウトした画素値0の画像から30〜100階層程度作成する。この階層内の画素値で50〜130の中に目の部分が必ず現れる。この場合、明度を上げるにつれてコントラストを下げ、明度を下げるにつれてコントラストをあげると、フェードイン画像中に目の部分がより鮮明に現れるので好ましい。
図4からわかるように、グレースケール画像の明度をあげて完全にフェードアウトさせた画像から逐次明度を低下させてフェードイン画像の階層を形成していくと、通常、まず最初に瞳に画素の固まりが検出され、次に鼻や口に画素の固まりが検出される。また、瞳領域の画素の固まりは左右一対として現れるので、左右一対の画素の固まりを選択する。階層によっては、瞳の他に口元、眉、額等の領域にも、画素の固まり領域が対になって現れるが、この段階では、これらの画素の固まり領域も目の位置候補として選択する。
なお、画素の固まり領域の検出においては、画像処理を簡便に行えるようにする点から、逐次明度が変化したグレースケール画像の階調を、図5に示すように反転させることが好ましい。
また、目の位置候補として検出する画素の固まりの条件として、前述のようにグレースケール顔画像20の縦サイズの1/8をAとした場合に、画素の固まりの領域の大きさを縦0.5A〜0.7A、横0.7A〜1.0Aの範囲内に設定しておくことが好ましい。通常、目の位置にある画素の固まり領域の大きさは、この範囲内の大きさを有するので、このような大きさの条件を設定しておくことにより、目の位置の検出に要する後の処理量を軽減することができる。
図6は、ある階層のフェードイン画像において、顔領域中に現れた画素の固まり領域の外接矩形を示し、さらにこれらのうち対をなしているものを直線で結んだものである。なお、図6では、画素の固まり領域の対をわかりやすくするために画素の固まり領域を外接矩形で囲っているが、目の位置の検出に際し、画素の固まり領域を外接矩形で囲むことは必ずしも必要ではない。
対をなしている画素の固まり領域のうち、目の位置候補として選択するものの条件として、予め次の(1)〜(4)を設定しておくことが好ましい。
(1)左右一対の画素の固まり領域の横方向の距離が一定の範囲にあること
(2)左右一対の画素の固まり領域の縦方向の距離が一定の範囲にあること
(3)左右一対の画素の固まり領域のうち、左側の画素の固まり領域が、顔画像の矩形枠21の左半分の領域にあること
(4)左右一対の画素の固まり領域のうち、右側の画素の固まり領域が、顔画像の矩形枠21の右半分の領域にあること
次に、図7に示すように、各フェードイン画像毎に現れている一対の目の位置候補をグレースケール画像の全階層にわたって集積し、その出現度数をカウントし、このカウント数の多い順にランキングリストを作成する。このカウントでは、フェードアウトした顔画像から段階的に明度を下げていった場合に最初に現れ、最終段階まで現れ続ける瞳領域の目の位置候補が通常、最大カウント(ランキング第1位)となる。そこで、原則的には、この最大カウントの目の位置候補の位置を目の位置と特定する。
ただし、次の(a)〜(c)の条件を全て満たした場合、あるいは(d)の条件を満たした場合には、カウント数が2番目に多かった目の位置候補の位置を目の位置として特定する。
(a)ランキング第2位の目の位置候補が、ランキング第1位の目の位置候補より上方にある場合
(b)ランキング第2位の目の位置候補の中心間距離が、ランキング第1位の目の位置候補の中心間距離より長い場合
(c)ランキング第2位の目の位置候補の左右の瞳にあたる領域が、共にランキング第1位の目候補の左右の瞳にあたる位置よりも外側にある場合
(d)ランキング第1位の目の位置候補とランキング第2位の目の位置候補の縦方向の距離が、目と眉の距離程度に離れ、ランキング第1位の目の位置候補がランキング第2位の目の位置候補よりも上にある場合
このうち、(a)〜(c)は、ランキング第1位がまれに口領域になることがあるのに対し、口の位置を目の位置であると誤判定しないためのものであり、(d)は、目の周りの眉等を目の位置であると誤判定しないためのものである。
以上により、図8に示すように、顔画像(画像処理する前の元画像)において、目の位置(より正確には瞳の位置)を正確に検出することが可能となる。
本発明では、目の位置を検出した後、口の位置と鼻の位置を順次検出するが、顔画像が図9Aに示すように傾いている場合には、口の位置と鼻の位置の検出に先立ち、図9Bに示すように、両目の瞳を結ぶ直線が水平になるように顔画像の座標を回転させ、顔画像の傾きを補正することが好ましい。
また、顔画像中、口と鼻の検出対象領域とする矩形枠を予め設定しておくことが好ましい。例えば、図10に示すように、顔画像20について、縦サイズの1/8をAとした場合に、両目を2つの頂点とする逆正三角形から上下方向にそれぞれA,左右方向にそれぞれ0.5Aだけ幅だしした矩形枠21’を設定する。
口の位置の検出に際しては、目の位置の検出で使用したグレースケールの階層画像において、好ましくは設定した矩形枠21’内で、検出された画素の固まり領域であって漸次現れる画素の成長が停止したものを縦方向の位置が重なるものごとにグループ化する。例えば、図11に示すように、画素の固まり領域A、Bは一つのグループCにグループ化される。
なお、画素の固まり領域をグループ化するに際し、グループ化後の最大領域は、横方向が、両目の瞳の距離の1.1倍、縦方向が両目の瞳の距離の0.6倍を超えないようにする。これにより、不要なノイズを、口の位置を検出するための画素の固まり領域のグループから排除することができる。
グループ化した画素の固まり領域ごとに外接矩形を形成し、外接矩形のうち、両目の位置と特定の関係にあるもの、より具体的には、図12に示すように、両目の瞳の位置を左右の頂点とする逆正三角形Tを描き、その逆正三角形Tの下頂点を中心とする、直径が該逆正三角形の一辺長さの0.65〜1.0倍の円40を描き、一方、グループCの外接矩形30の中心を円の中心とする外接矩形30に内接する円41を描き、この円41が上述の円40と重なりを有する場合に、その重なりを有する円41と対応する外接矩形30を口の位置候補とする。
そして、口の位置候補とした外接矩形が複数存在する場合、横幅が最大である外接矩形を口の位置として特定する。
こうして口の位置とする外接矩形30を特定した後、その特定した外接矩形の横幅を、口を構成する画素の横幅とする。
ここで、口の位置として選択した外接矩形の横幅が、両目の瞳を結ぶ直線の2等分線を(逆三角形の下頂点)を跨がない場合には、その2等分線を中心として、口の位置として選択した外接矩形が左右対称となるように、その外接矩形を横方向に伸張し、その伸張した矩形で口の位置を特定する。
なお、以上の処理で口の位置とする外接矩形となるものが存在しなかった場合には、フェードイン法による目の位置を次の目の位置候補(カウントランキングが次の順位の目の位置)に特定して口の検出をやり直す。
本発明において、口の位置を特定した後は、鼻の位置を検出する。鼻の位置の検出に際しては、目の位置の検出で使用したグレースケールの階層画像において、好ましくは図11に示すように、設定した前述の矩形枠21’内において、検出された画素の固まり領域を格別グループ化することなく、各画素の固まり領域の外接矩形31、32、33、34を形成する。そして、形成した外接矩形31、32、33、34のうち、両目の位置と特定の関係にあるもの、より具体的には、口の位置の検出の場合と同様に、図12に示すように、両目の位置を左右の頂点とする逆正三角形Tを描き、その逆正三角形Tの下頂点を中心とする、直径が該逆正三角形の一辺長さの0.5〜0.7倍の円42を描き、一方、各外接矩形31、32、33、34の中心を円の中心とする各外接矩形31、32、33、34に内接する円を描き、その円が上述の円42と重なりを有する場合に、その重なりを有する円と対応する外接矩形32、33を鼻の位置候補とする。
そして、鼻の位置候補とした外接矩形32、33のうち、その下辺が、口の位置として特定した外接矩形30の上辺よりも上方にあり、横幅が最大のものを鼻の位置として、より詳細には、鼻の位置として特定した外接矩形の下辺により、鼻の下端の位置と幅を特定する。
ここで、鼻の位置として特定した外接矩形の横幅が、両目の瞳を結ぶ直線の2等分線を(逆三角形の下頂点)を跨がない場合には、その2等分線を中心として、鼻の位置として選択した外接矩形が左右対称となるように、その外接矩形を横方向に伸張し、その伸張した矩形の下辺で鼻の下端の位置と幅を特定する。
こうして鼻と口の位置を特定するにあたり、図9Aに示したように、傾いている顔画像を、図9Bに示したように、傾きを補正した場合には、眼、鼻、口の位置を特定後、座標を逆回転させ、それらの位置を当初の傾いている顔画像における位置に変換する。
本発明は、目の位置、口の位置、鼻の位置の検出が必要とされる化粧シミュレーション画像の形成等において、有用となる。
顔パーツの位置の検出方法の流れ図である。 顔パーツの位置の検出システムのブロック図である。 目の位置の検出対象領域の説明図である。 明度を逐次変化させたグレースケール画像である。 明度を逐次変化させたグレースケール画像の階調反転画像である。 あるフェードイン画像における画素の固まり領域の説明図である。 目の位置候補を、グレースケール画像の全階層にわたって集積した状態の説明図である。 検出した目の位置を表示した元画像である。 傾いている顔画像である。 傾きを補正した顔画像である。 口の位置と鼻の位置の検出対象領域の説明図である。 画素の固まり領域の外接矩形及びそのグループ化の説明図である。 口又は鼻の位置候補とする外接矩形の選択方法の説明図である。
符号の説明
1 撮像装置
2 パソコン本体
3 ディスプレイ
4 イメージスキャナ
5 プリンタ
10 顔パーツの位置の検出システム
20 グレースケール顔画像
21 目の位置の検出対象領域とする矩形枠
21’ 口の位置、鼻の位置の検出対象領域とする矩形枠
30 画素の固まり領域の外接矩形をグループ化した外接矩形
31、32、33、34 画素の固まり領域の外接矩形
40、41、42 円

Claims (5)

  1. 顔画像から、明度が逐次変化した複数のグレースケール画像を作成し、グレースケール画像が高明度でフェードアウトした状態から低明度へフェードインするのに伴い、フェードアウトした顔領域に漸次現れる画素の固まり領域を検出する方法(以下、フェードイン法という)を行い、検出された画素の固まり領域のうち、対となって現れたものを目の位置候補として選択し、各目の位置候補の全グレースケール画像にわたる出現度数に基づいて目の位置を特定し、
    フェードイン法で検出された画素の固まり領域であって漸次現れる画素の成長の停止したものを、縦方向の位置が重なるものごとにグループ化し、
    グループ化した画素の固まり領域ごとに外接矩形を形成し、
    外接矩形のうち、両目との位置関係から予測される所定領域内にあるものを口の位置候補とし、
    口の位置候補とした外接矩形のうち、横幅が最大のものを口の位置として特定する顔パーツの位置の検出方法。
  2. 両目の瞳を左右の頂点とする逆正三角形を描き、その逆正三角形の下頂点を中心とする、直径が該逆正三角形の一辺の長さの0.65〜1.0倍の円を描き、その円と、外接矩形の中心に位置する内接円とが重なる当該外接矩形を口の位置候補とする請求項1記載の顔パーツの位置の検出方法。
  3. 請求項1記載の方法で口の位置を特定した後、フェードイン法で検出された画素の固まり領域であって漸次現れる画素の成長が停止したものごとに外接矩形を形成し、
    外接矩形のうち、両目との位置関係から予測される所定領域内にあるものを鼻の位置候補とし、
    鼻の位置候補とした外接矩形のうち、その下辺が、口の位置として特定した外接矩形の上辺よりも上方にあり、横幅が最大のものを鼻の位置として特定する顔パーツの位置の検出方法。
  4. 両目の瞳を左右の頂点とする逆正三角形を描き、その逆正三角形の下頂点を中心とする、直径が該逆正三角形の一辺の長さの0.5〜0.7倍の円を描き、その円と、外接矩形の中心に位置する内接円とが重なる当該外接矩形を鼻の位置候補とする請求項3記載の顔パーツの位置の検出方法。
  5. 顔画像の取得手段と演算手段を備えた、顔パーツの位置の検出システムであって、演算手段が、
    顔画像から、明度が逐次変化した複数のグレースケール画像を作成する機能、
    グレースケール画像が高明度でフェードアウトした状態から低明度へフェードインするのに伴い、フェードアウトした顔領域に漸次現れる画素の固まり領域を検出する機能、
    検出した画素の固まり領域のうち、対となって現れたものを目の位置候補として選択する機能、
    各目の位置候補の全グレースケール画像にわたる出現度数に基づいて目の位置を特定する機能、
    検出した画素の固まり領域であって漸次現れる画素の成長が停止したもののうち、縦方向の位置が重なるものをグループ化する機能、
    グループ化した画素の固まり領域ごとに外接矩形を形成する機能、
    グループ化した画素の固まり領域の外接矩形のうち、両目との位置関係から予測される所定領域内にあるものを口の位置候補とする機能、
    口の位置候補とした外接矩形のうち、横幅が最大のものを口の位置として特定する機能、
    検出した画素の固まり領域であって漸次現れる画素の成長が停止したものごとに外接矩形を形成する機能、
    検出した画素の固まり領域ごとの外接矩形のうち、両目との位置関係から予測される所定領域内にあるものを鼻の位置候補とする機能、
    鼻の位置候補とした外接矩形のうち、その下辺が、口の位置として特定した外接矩形の上辺よりも上方にあり、横幅が最大のものを鼻の位置として特定する機能
    を備えている顔パーツの位置の検出システム。
JP2006113893A 2005-12-28 2006-04-17 顔パーツの位置の検出方法及び検出システム Expired - Fee Related JP4530173B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2006113893A JP4530173B2 (ja) 2006-04-17 2006-04-17 顔パーツの位置の検出方法及び検出システム
US12/159,509 US8131013B2 (en) 2005-12-28 2006-12-26 Method and detecting system for positions of facial parts
PCT/JP2006/325972 WO2007074844A1 (ja) 2005-12-28 2006-12-26 顔パーツの位置の検出方法及び検出システム
EP06843356.4A EP1970859B1 (en) 2005-12-28 2006-12-26 Detecting method and detecting system for positions of face parts
CN200680053540XA CN101390128B (zh) 2005-12-28 2006-12-26 脸部器官的位置的检测方法及检测***
TW095149419A TWI378396B (en) 2005-12-28 2006-12-28 Method and system for detecting positions of facial features

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006113893A JP4530173B2 (ja) 2006-04-17 2006-04-17 顔パーツの位置の検出方法及び検出システム

Publications (2)

Publication Number Publication Date
JP2007286923A JP2007286923A (ja) 2007-11-01
JP4530173B2 true JP4530173B2 (ja) 2010-08-25

Family

ID=38758633

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006113893A Expired - Fee Related JP4530173B2 (ja) 2005-12-28 2006-04-17 顔パーツの位置の検出方法及び検出システム

Country Status (1)

Country Link
JP (1) JP4530173B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009232240A (ja) * 2008-03-24 2009-10-08 Seiko Epson Corp 画像処理装置、画像処理方法、および画像処理のためのコンピュータプログラム
JP5227212B2 (ja) * 2009-02-09 2013-07-03 株式会社 資生堂 肌色測定装置、肌色測定プログラム、メイクアップシミュレーション装置及びメイクアップシミュレーションプログラム
JP6098133B2 (ja) * 2012-11-21 2017-03-22 カシオ計算機株式会社 顔構成部抽出装置、顔構成部抽出方法及びプログラム
CN112883758B (zh) * 2019-11-29 2023-08-25 杭州海康威视数字技术股份有限公司 一种活体检测方法、装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01314385A (ja) * 1988-06-14 1989-12-19 Nec Corp 顔画像検出方法及び装置
JP2000311248A (ja) * 1999-04-28 2000-11-07 Sharp Corp 画像処理装置
JP2004094917A (ja) * 2002-07-08 2004-03-25 Toshiba Corp 仮想化粧装置及びその方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01314385A (ja) * 1988-06-14 1989-12-19 Nec Corp 顔画像検出方法及び装置
JP2000311248A (ja) * 1999-04-28 2000-11-07 Sharp Corp 画像処理装置
JP2004094917A (ja) * 2002-07-08 2004-03-25 Toshiba Corp 仮想化粧装置及びその方法

Also Published As

Publication number Publication date
JP2007286923A (ja) 2007-11-01

Similar Documents

Publication Publication Date Title
US11250241B2 (en) Face image processing methods and apparatuses, and electronic devices
CN110660117B (zh) 确定图像控键位置
CN112330526B (zh) 一种人脸转换模型的训练方法、存储介质及终端设备
CN108229276B (zh) 神经网络训练及图像处理方法、装置和电子设备
EP1970859B1 (en) Detecting method and detecting system for positions of face parts
CN108734078B (zh) 图像处理方法、装置、电子设备、存储介质及程序
JP2007213377A (ja) 顔特徴点検出方法および装置並びにプログラム
JP2005242567A (ja) 動作評価装置及び方法
CN113011450B (zh) 青光眼识别的训练方法、训练装置、识别方法及识别***
JP4530173B2 (ja) 顔パーツの位置の検出方法及び検出システム
US10803677B2 (en) Method and system of automated facial morphing for eyebrow hair and face color detection
US9323981B2 (en) Face component extraction apparatus, face component extraction method and recording medium in which program for face component extraction method is stored
JP4775599B2 (ja) 目の位置の検出方法
JP4831344B2 (ja) 目の位置の検出方法
JP4683236B2 (ja) 目の位置の検出方法
CN114596213A (zh) 一种图像处理方法及装置
US8223220B2 (en) Image processing device, image processing method, and information storage medium
JP5093540B2 (ja) 目の位置の検出方法および検出システム
JP4831361B2 (ja) 目の位置の検出方法および検出システム
WO2005057496A1 (ja) 画像からの対象物検出方法及び対象物検出装置
CN107479842A (zh) 虚拟现实场景中字符串显示方法及头戴显示设备
KR101117543B1 (ko) 표지판 평가 시스템
CN111080743B (zh) 一种头部肢体特征点连线的人物作画方法及装置
CN113408531B (zh) 一种基于图像识别的目标物形状框选方法及终端
CN117635838A (zh) 三维人脸重建方法、设备、存储介质及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100519

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100601

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130618

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees